1 / 41

DBA 指南：数据屏蔽和数据子集

DBA 指南：数据屏蔽和数据子集. Lucy xu 销售咨询总监 甲骨文（中国）软件系统有限公司. 以下内容旨在概述产品的总体发展方向 。 该内容仅供参考 ，不可纳入任何合同 。 该内容不构成提供任何材料、代码或功能的承诺，并且不应该作为制定购买决策的依据 。 此处所述有关 Oracle 产品的任何特性或功能的开发、发布以及相应的日程安排 均由 Oracle 自行决定 。. 议题. 为什么用生产数据进行升级测试？ 数据屏蔽 (Data Masking) 数据 子集 (Data Subsetting ) 测试系 统 生成 客户案例.

hada
Download Presentation

DBA 指南：数据屏蔽和数据子集

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. DBA 指南：数据屏蔽和数据子集 Lucy xu 销售咨询总监 甲骨文（中国）软件系统有限公司

  2. 以下内容旨在概述产品的总体发展方向。该内容仅供参考，不可纳入任何合同。该内容不构成提供任何材料、代码或功能的承诺，并且不应该作为制定购买决策的依据。此处所述有关 Oracle 产品的任何特性或功能的开发、发布以及相应的日程安排均由 Oracle 自行决定。

  3. 议题 • 为什么用生产数据进行升级测试？ • 数据屏蔽 (Data Masking) • 数据子集(Data Subsetting) • 测试系统生成 • 客户案例

  4. 为什么用生产数据进行升级测试？

  5. 升级是保证业务成功的关键Upgrades are Core to the Success of Your Business 即将发布的版本 已发布版本 主版本 12.2 11i10 12 12.1 小版本 12.1.2 12.1.3 RUP1…RUP2…RUP3… 04年11月 2007年1月 09年5月 09年12月 10年8月 12/12.1中的新产品 改进的产品领域 8.50 8.51 8.52 8.53 8.54 8.55 8.56 PeopleTools 应用 特性包 特性包 特性包 特性包 9.1 9.2 9.3 开发 测试 迁移 发现

  6. 升级流程 发现 开发 测试 迁移

  7. 在开发和测试中的生产数据 好处与挑战

  8. 供应安全测试环境 数据屏蔽及数据子集 数据屏蔽 数据子集 • 在开发和测试环境中将生产系统 中的敏感数据替换为模拟但合理 的数据 • 使应用测试有现实意义的同时 仍然合规 • 从生产数据获取到 开发环境中的有关联 关系的一部分数据 • 在实现有现实意义的 应用测试的同时减少 存储费用 防弹式的 应用测试

  9. 企业应用的数据屏蔽及子集 客户关系管理 人力资源管理 供应链管理 金融 • 跨应用中的各表之间是什么关系？ • 什么样的数据提取规则可以产生引用完整性的子集？ • 所提取的数据子集是否可以存入到测试系统的现有存储中？ • 跨应用的敏感数据都是哪些不同类型？ • 这些敏感数据存在何处并且它们之间关系如何？

  10. 数据屏蔽及数据子集方法论 生产系统 ORACLE 非生产系统 IBM DB2MS SQL • 发现：定位敏感数据并发掘关联关系 • 评估：定义优化的数据屏蔽格式及子集的条件 • 安全：利用屏蔽和子集创建安全的测试/开发系统 • 测试：验证应用的完整性及数据安全

  11. 数据屏蔽 (Data Masking)

  12. 数据屏蔽 关键概念 敏感数据识别 屏蔽格式 数据屏蔽 定义 关联关系 应用数据模型

  13. 敏感数据识别 什么是敏感数据？ • 业务驱动 • 隐私法 (HIPAA)，工业规范 (PCIDSS) • 保密规则（数据保护政策） 敏感数据存在哪？ • 应用文档 • 用户界面 • 基于模式的，如 EMP.NATIONAL_ID • 基于数据的，如 16 位 #s beginning with 4 or 5.

  14. 敏感字段类型库 • 预定义的搜索模式（基于数据库模式及数据） • 查询整个应用以进行数据匹配 • 归类于基于匹配查询模式

  15. 数据屏蔽格式库 • 为 PII 数据提供的 40 多种现成的屏蔽格式 • 内置的屏蔽原始体以方便扩展格式库 • 为复杂格式用户定义的基于 SQL 或 PL/SQL 的函数 • 一次定义任意部署 • 可自更新的 Oracle 提供的屏蔽格式

  16. 自动的引用完整性 数据库和应用应用 — 强制性 CUSTOMER CUSTIDNAMEREP_ID 200 ACME 12 201 BIG BOX 15 SUPPORT CUSTIDCSR_ID 200 13 EMPLOYEE EMPIDNAMETITLE 12 SMITH SALESREP 13 JONES CSR 14MCNEIL CEO 15 SALVATORE SALES MGR 读取数据字典数据以强制保持引用完整性 数据库引用完整性 (Referential Integrity) 读取应用元数据（EBS、融合管理软件）以强制保持引用完整性 应用引用完整性 (Referential Integrity) 数据屏蔽后保持原数据分布的状态 数据分布

  17. 复杂屏蔽技术 基于条件的屏蔽 复合屏蔽 • 复合屏蔽 • 多列组合，如地址（街道、城市、省、邮编） • 基于条件的屏蔽 • 屏蔽国家识别号，如由各国家定义的社会保险号 • Deterministic（可重复） • 可重复的一致性屏蔽，如跨数据库关联一致性或跨不同克隆的一致性 • 可逆转 • 基于关键词的可保留格式的屏蔽。 • 洗牌式 (Shuffle) • 在一定范围内随机选择 • 扰动式 (Perturbation) • 对于某个值产生随机屏蔽值，如生日 • 可扩展（通过 PL/SQL）

  18. E-Business Suite 数据屏蔽模板 • 包含全部应用内容 • 950 列/ 1900 个规则 • HCM — 工资、雇用信息、个人信息 • TCA、ATG、财务、项目…… • 定位及屏蔽敏感数据的最佳实践 • 列、关联关系及屏蔽规则 for PII 及敏感特性 • 克隆后删除口令的说明（文档： 419475.1） • 由 DB 去除识别

  19. EBS 模板中有哪些未被屏蔽 • 财务数据 • 结果 • 预期(Forecasts) • 设计指标 • 非结构化数据 • DFF（描述性 Flex 字段） • 对了解内容的“开发者”及“地区”flex fields 被屏蔽 • 标注 • 附件 • 内部主键（user_id、person_id）

  20. 屏蔽应用用户 • EBS 模板可以屏蔽应用用户（FND 用户） • 屏蔽后，原用户不能登录 • 对于原始随机用户（如 SYSADMIN），用户名将被保留但口令会被重置 • 如有需要保留原应用用户以进行测试 • 提供了新的interface table 以导入“豁免用户”： • 用户免除屏蔽 • 可选将用户改名 (JSMITH  TEST1) • 指定新口令

  21. 融合管理软件屏蔽模板 • 屏蔽 471 张表与 792 列 • 6 大家族：HCM、CRM、CDM、PRC、FIN、SCM • 经融合管理软件开发认证 • 应用IT、SaaS团队正在部署 FA 屏蔽

  22. 应用模板 — 自更新 • 问题：减少为数据屏蔽而进行的手工安装配置应用模板的工作量 • 解决方案：自更新 • EM Store 递交应用屏蔽模板 @由自动更新安全地从Oracle 到 EM 软件库 • 屏蔽格式及定义自动转换并导入数据屏蔽 (Masking) • 为实施准备就绪 EM @ 政府 EM @ 零售 EM @ 电信 EM @ 制造 模板

  23. 数据子集(Data Subsetting)

  24. 数据子集 关键概念 敏感数据识别 屏蔽格式 数据屏蔽定义 Referential 关系 应用数据模型 数据子集 定义 子集 参数 数据提取子句

  25. 子集 生产数据 • 基于条件 • 财务年 (Fiscal Year) • 地理区域 美洲 360M 30% 北美 FY 2009 FY 2013 FY 2010 FY 2012 欧洲 120M 10% 欧洲 亚洲 • 基于存储 • 生产数据量的百分比 • 目标存储量

  26. 基于条件和基于存储目标的子集 权衡

  27. 基于条件的子集：流程 时间 (FY:2011) • 选择应用 • 自动选择需要包含在子集中的表 • 定义提取条件 • 自动贯穿关系层次以定位记录行 • 指定子集参数 • 分析表的统计信息，以估算根据指定的子集参数所生成的数据库大小 维度（地区：亚洲） 空间 （大小：10%）

  28. 基于条件：指定表类型 FISCAL YEAR AP_INVOICES REGION PO_VENDORS SALES_FACT • 表大小是表类型的一个功能 • 大表：交易表、Fact 表 • 小表：维度表、Lookup 表、Reference 表 • 大表：指定的子集条件包括下层依存 • 小表：没有指定的子集条件；表被完全引入 AP_INVOICE_LINES PRODUCT BUSINESS UNIT MFG_PARTS CHANNEL

  29. 测试系统生成

  30. 数据屏蔽与数据子集 与所有新建数据库的方法相集成 数据泵导出/导入 数据屏蔽 + 数据 子集 RMAN 拷贝 基于精简供应的克隆 备份/恢复

  31. 使用“写入时复制”技术进行数据库（精简）克隆使用“写入时复制”技术进行数据库（精简）克隆 生产数据库 测试主数据库 屏蔽和子集 • 分钟级数据库克隆 • 平衡存储复制“写入时复制”技术 • 初始支持 Sun ZFS 存储及Netapp存储 • 不仅仅是 Flexclone • 与数据管理相集成（屏蔽和子集） • 配置管理（Lineage 和 Association 跟踪） • 存储意识的“计量和收费” 功能性复制 — 用户可以创建多份拷贝进行功能测试而不占用空间 010110011101001010 000111010 云用户可以创建自己的快照并可“时空穿越”到更早的快照

  32. At-Source 数据屏蔽 最大程度依从 PCI–DSS 原先 新状态 生产数据被复制到测试库并使敏感数据暴露于危险当中直至屏蔽 生产 测试 生产 测试 屏蔽后的数据泵文件 010010110010101001001001001001001001001001001000100101010010010010011100100100100100100100001001001011100100101010010010101010011010100101010010 010010110010101001001001001001001001001001001000100101010010010010011100100100100100100100001001001011100100101010010010101010011010100101010010 克隆并屏蔽 At-source 屏蔽 敏感数据在从生产库复制出以前就被脱敏；生产数据库保持不变

  33. 集成的子集及屏蔽 高性能地为新测试系统加密 原方法 新方法 生产数据首先要提取到子集中，然后敏感数据再被分别屏蔽 生产库 测试库 生产库 测试库 屏蔽过的数据泵文件 010010110010101001001001001001001001001001001000100101010010010010011100100100100100100100001001001011100100101010010010101010011010100101010010 010010110010101001001001001001001001001001001000100101010010010010011100100100100100100100001001001011100100101010010010101010011010100101010010 一步式子集及屏蔽 数据子集 克隆并屏蔽 (Mask) 采用 At-source 屏蔽一步完成将生产数据提取到子集的过程以及敏感数据屏蔽过程

  34. 高性能数据屏蔽及子集 Exadata X2-2 满配性能基线

  35. 数据屏蔽的领导者 Gartner 对数据屏蔽技术的评价 • Oracle 是位居前三位的数据屏蔽厂商 • Gartner 说： • 在 Oracle 数据库中快速屏蔽数据 • 与 Oracle Enterprise Manager 相集成以方便使用 • 为主流套装软件内置的模板、EBusiness Suite、PeopleSoft（即将发布） • 专注技术于数据库安全领域 神奇象限图形由 Gartner, Inc. 作为较大研究报告的一部分发布，应结合整个报告来理解其意义。这些 Gartner 报告可从 Oracle 索取。

  36. 增强合规安全性的同时减少费用Forrester 的数据屏蔽包的总经济影响 (ROI) • 自动发现并屏蔽敏感数据，提高工作效率 • 减少内部开发及维护的成本 • 减少数据安全费用 • 过去 3 年的 ROI 为 242% • 5.4 个月的回报周期

  37. Oracle 的不同之处 • 集中的、复杂且安全的生成测试系统 • 具有复杂屏蔽技术的用户库，且库可被扩展 • 与应用生命周期管理相结合 • 只要一个工具即完成整个应用架构的生成、监控、修补（应用程序到磁盘） • 与测试工具相集成 • 为 Oracle 应用优化 • 应用开发团队构造应用安全 • 基于数据库优化的高性能

  38. Oracle 数据库安全解决方案 为数据保护与合规的深度防御 管理 监测 预防 数据发现与分类 活动监控 屏蔽、 加密、修订 数据库生命周期管理 数据库防火墙 职责分离 安全隐患扫描 审计与报告 多因素认证

More Related