石油和天然气行业 大数据解决方案

2. 石油和天然气行业大数据解决方案 刘晓伍 甲骨文大中华区企业架构部 企业架构师 电子邮件：xiaowu.liu@oracle.com

3. 以下内容旨在概述产品总体发展方向。该内容仅供参考，不可纳入任何合同。本演示不承诺提供任何材料、代码或功能，也不应将其作为购买决策的依据。所描述的有关 Oracle 产品的任何特性或功能的开发、发布和时间安排均由 Oracle 自行决定。

4. 议题 • 石油和天然气行业面临的大数据挑战 • Oracle高性能数据管理解决方案 • 石油和天然气行业大数据应用场景示例 • Oracle大数据解决方案总结

5. 大数据的四个关键特征（4V） 地理数据 101100101001001001101010101011100101010100100101 文本 传感器 VOLUME VELOCITY VARIETY VALUE 高速 价值 多样 海量 难以发掘

6. 大数据处理 大数据生命周期 新需求 决策 获取 新工具来获取和组织信息 易集成新基础设施快速接入 快速处理内存处理 高级 分析 分析 组织

7. 石油行业面临的挑战（1）被数据淹没 － 太多、太快 • 镜头下的操作风险 • 对员工的危险： 在严寒地带，远离海岸的地方钻井； • 监管者： 想更快获得更多信息。 • 不能分析远程地点正在发生了什么，并将其分析共享给井场 • 数据量的激增 • 实时数据被认为不可管理 • 来得太快； • 太多； • 目视进行分析，因为工具不存在。

8. 石油行业面临的挑战（2）油藏取征 － 不堪重负 • 传统数据量呈指数增长：地震，录井 • 需要将来自钻井现场的实时数据代入到地球模型中去 • 行业需要一个中立的集成平台来避免供应商锁定 • 爆炸解析和模拟结果的管理

9. 石油行业面临的挑战（3）钻探 －不再容易 • 需要在更困难，更公共的条件下进行钻井作业 • 人员的风险上升 • 公司信誉的风险上升 • 需要减少NPT（非有效时间） • 无法访问到上下文相关数据（例如临井） • 由于成本的原因RTOC的使用受到局限 对关键钻井作业的所有数据进行记录并发布给进行分析和决策的大量用户。

10. 石油行业面临的挑战（4）生产 －更低成本、更高产出 • 需要用更少的工程师完成更多的实时决策 • 需持续优化以实现产出最大化 • 来自公众和监管压力，要求对油井进行实时监控 • 运营、作业数据需与静态数据整合 • 财务、技术、流程

11. 石油行业面临的挑战（5）企业数据存储 － 海量数据 • 庞大的数据量 • 不熟悉的（新的）密集数据类型，诸如微地震，电磁的以及分布式温度传感器（DTS） • 半结构化和非结构化数据的集成 • 保存实时数据 • 缺乏基于标准的产品

12. 石油行业的现状问题分析 • 数据采集和分析经常是人工手动的（信息孤岛） • 缺乏对跨运营、技术、财务方面数据的可视性，因而难以制定及时的运营、战术和战略决策 • 各自独立的系统来支持分离的资产团队（不集成） • 有限的实时团队协作 • 批量分析工具不适用于现代实时数据流 采集 分析 执行 “及时执行” “实时分析 和决策制定” “总资产意识” 油藏取征 钻井 生产

13. 石油行业需要的解决方案 需要满足这些要求 … 获得收益 …

14. 议题 • 石油和天然气行业面临的大数据挑战 • Oracle高性能数据管理解决方案 • 石油和天然气行业大数据应用场景示例 • Oracle大数据解决方案总结

15. 从传感器到Oracle解决方案的数据流 • Oracle高性能数据管理解决方案将充分使用现有的数据获取基础设施 传感器 井场 聚合器 WITSML 钻井数据 RTU 传感器 Oracle高性能数据管理解决方案 MTU/ DCS/ SCADA 传感器 Protocol TBD 传感器 RTU 传感器 生产数据 历史数据 PRODML 传感器 过程控制 或 数据采集系统 RTU = 远程控制单元 MTU = 主控制单元 DCS = 分散控制系统 模拟到数字

16. Oracle高性能数据管理整体架构 Oracle解决方案将实现传统解析数据基础上，获取和分析钻井及生产实时数据。 • 针对上游的高性能数据管理解决方案 传感器 Exalogic Exadata Exalytics 实时 钻井 钻井 数据 RTU WITSML 服务 CEP RTD BAM 传感器 井场 聚合器 PPDM + 数据模型 Essbase Hyperion OBIEE TimesTen MTU/ DCS/ SCADA DB企业版 数据挖掘选件 R企业版 空间数据库选件 GoldenGate 传感器 Protocol TBD 第三方应用 传感器 PRODML 服务 历史数据 实时 生产 RTU 传感器 生产 数据 PPDM 一体机 实时一体机 分析一体机 传感器 PRODML WITSML DLIS Loader SQL Loader CEP = 复杂事件处理 BAM = 业务活动监控 RTD = 实时决策 日志 ASCII 格式数据 油气生产数据交换标准 井场信息传递标准

17. Oracle高性能数据管理引入Hadoop技术 高性能数据管理 Exalogic Exadata Exalytics 实时 钻井 WITSML 服务 OEP RTD BAM PPDM + 数据模型 Essbase Hyperion OBIEE TimesTen DB企业版 数据挖掘选件 R企业版 空间数据库选件 GoldenGate 第三方应用 传感器 PRODML 服务 实时 生产 钻井 数据 RTU 传感器 井场 聚合器 PPDM 一体机 实时一体机 分析一体机 MTU/ DCS/ SCADA 传感器 • 软硬一体预集成 • 软硬一体，工程化调优 • 全集成系统，完整机柜，插电即用 • Infiniband • 全套商业支持 • 开源软件商业支持 Hadoop • 操作系统商业支持 Linux • 硬件商业支持 Sun x86 • 品牌优势 • Oracle + Cloudera OPC/UA, DA, WITS 传感器 大数据 一体机 历史数据 RTU 传感器 NoSQL HDFS Hadoop w/ Loader Cloudera 大数据 一体机 生产 数据 传感器 DLIS Loader SQL Loader CEP = 复杂事件处理 BAM = 业务活动监控 RTD = 实时决策 日志 ASCII 格式数据

18. Oracle高性能数据管理支撑智能油田 关键特征 集成就绪、高性能、高可用、云服务、线性扩展、节能环保 经营管理数据 智能油田云平台部署方案 生产管理数据 一体化运维管理平台(OEM 12C), RUEI ETL (1) 钻井数据 (2) 油气生产数据 (3) 公用工程数据 Exalogic Exadata Exalytics Exalogic Exadata 结构化数据源 Exalytics DB企业版 数据挖掘选件 R企业版 空间数据库选件 GoldenGate CEP RTD BAM 集成 适配器 Essbase Hyperion OBIEE TimesTen Endeca 油田数据中心 ODBC连接器 过程控制数据 ODI 数据仓库 ETL 数据集成适配器 ETL SOA/BPM ETL WebCenter 元数据 WLS/Coherence 智能分析云平台 中间件云平台 数据库云平台 工程设计集成系统 … 大数据 云平台 非结构化数据源 视频数据 Big Data 云平台 DLIS Loader SQL Loader 数据集成适配器 作业区综合数据库 作业区综合数据库 作业区综合数据库 Big Data 连接器 APDM EPDM NoSQL HDFS Hadoop w/ Loader Cloudera 工程图文数据库 内容管理系统 数据集成适配器 日志 ASCII 格式数据 数字档案馆 … 数据集成适配器 社交数据 市场数据 CEP = 复杂事件引擎 BAM = 业务活动监控 RTD = 实时决策 生产指挥系统 测井生产管理系统 运销管理系统 地理信息系统 XX统建系统 Infiniband连接 40G带宽

19. Oracle高性能数据管理Oracle Exalogic中间件云服务器 • 性能 • 用于运行任何WebLogic应用或合作伙伴提供的软件产品的极限性能硬件； • 大大提高了几乎所有标准的Linux或者Java应用程序的性能； • 优点 • 以更少的占地空间、能耗、软硬件成本，支持任何给定的工作负载； • 因为Exalogic是Oracle预先整合的，因此它也更容易实施，管理以及维护。

20. Oracle高性能数据管理Exalogic上的附加组件 • 复杂事件处理 CEP （Complex Event Processing) • 可以处理多事件流以实现实时特征和趋势的感知（报警）； • 通过Oracle BAM提供必要的可见性以减少开发风险； • 业务活动监测BAM（Business Activity Monitor） • 分析事件发生时的情况； • 根据当前情况进行响应； • 实时决策 RTD (Real Time Decision) • 运营决策框架； • 根据实时进程情况确定决策 • 自动化； • 自我学习的预测模型 流计算引擎

21. Oracle高性能数据管理Exalogic上的附加组件 • WITSML 服务 • 实时提供钻探，日志和模拟数据的传输 • 高性能的Web服务接口 • PRODML 服务 • 提供生产和报表数据的传输 • 高性能的Web服务接口 • 第三方应用程序 • 来自斯伦贝谢、哈里伯顿等公司的商业应用程序 • 内部客户化开发或者Java应用研发

22. Oracle高性能数据管理Oracle Exadata 数据库云服务器 • 性能 • 在混合实时动态数据和静态数据的复杂工作负载中表现极佳 • 复杂的实时数据仓库 • 数据库内的分析工具 • 优点 • 优化的数据库整合和存储负载系统 • 降低运营风险和IT成本 • 在数据挖掘中有极佳表现

23. Oracle高性能数据管理Exadata上的附加组件 • Oracle 高级分析 • Oracle数据挖掘 • 自动筛选数据以找出隐藏的特征，发现新的情景/洞察并做出预测 • 直接在数据库里运行 • Oracle R企业版 • 直接针对存贮在Oracle数据库里数据运行的“R统计引擎” • Oracle Spatial空间数据库 • 空间信息可以以一个本地Oracle数据库的形式进行保存并在公司范围内共享 • Oracle GoldenGate • 实时数据整合以及跨多个数据库实例的同步

24. Oracle高性能数据管理Oracle Exalytics商务智能云服务器 • 性能 • 大规模并行处理，实现更复杂的分析和一个数据库无法应对的查询速率 • 支持海量数据加载和复杂按需计算的实时分析 • 优化内存使用和智能缓存生成 • 优点 • 优化的分析平台实现高级的数据虚拟化 • 监测异常情况，实现更快速的计算以及更严密的风险管理 • 可扩展的硬件架构

25. Oracle高性能数据管理Exalytics的附加组件 • TimesTen • 极限高性能的内存数据库 • OBIEE • 高度可扩展的、丰富的面向用户的企业商务智能（BI）产品综合套件 • Essbase • 拥有高性能计算引擎的多维联机分析处理（OLAP）服务器 • 为有效开发定制分析以及企业绩效管理应用提供了一个丰富的环境 • Hyperion • 与BI工具有机整合的财务绩效管理组件

26. Oracle 高性能数据管理与众不同 • Oracle专门为实时数据分析而设计的硬件 • Oracle 专门为优化数据库性能和扩展性而设计的硬件 • Oracle 的软件产品具有可以对此类问题提供统一解决方法的宽度 • Oracle用人们熟悉的行业标准组件完成以上所有任务 • Oracle 承诺开发基于标准的解决方案

27. Oracle 高性能数据管理优点 • 跨更多油井的更快速的分析 • 及时的决策制定 • 运用所有可用的信息资产类型 • 充分利用现有的石油技术专业应用投资 • 与实时信息相结合 • 基于一个成熟的，为人熟知的IT基础设施，选择成本最有效的提供商

28. Oracle 高性能数据管理 • Oracle是唯一一家具有完整架构的高性能数据管理供应商 • …使得石油天然气公司可以实现自动化分析流程 … • …贯穿油藏描述，钻井和采油 … • …为了制定接近实时的战略和战术上的优化决策

29. 议题 • 石油和天然气行业面临的大数据挑战 • Oracle高性能数据管理解决方案 • 石油和天然气行业大数据应用场景示例 • Oracle大数据解决方案总结

30. 脱水工艺流程图（PFD） 天然气输入 再生气冷却 原料气空气预冷机 脱水 预冷 再生气罐 原料气分离器 分子筛床 燃烧加热炉 后置过滤器 脱水气输出

31. 燃烧加热炉(Fired Heater)管道仪表流程图 再生气 温度计 流量开关 点火源 燃料气 流量计 警报器 控制器 Safety Instrumented System(SIS) 安全仪表系统 手控开关

32. 燃烧加热炉(Fired Heater) • 燃料气开/关以控制加热炉内的温度； • 再生气流经加热炉内的管时被加热； • 燃料气开着的时候，再生气必须在流动，否则管和加热炉将至危险温度； • 燃料也须通过控制器正确控制，维护加热炉内温度恒定； • 此谓“温度流量串级控制回路”； • 紧急情况发生时，警报器通知SIS(安全仪表系统)危险状况，SIS将酌情关闭点火器和燃料气。

33. SIS（安全仪表系统） • SIS采用警报和再生气流量决定是否紧急关闭； • SIS视流量在设定点，因为流量开关被破坏； • 因为流量仍在设定点，高温也被视为合理； • 当温度到太高的时候，SIS不能足够快地作出反应，因为温度上升非常快； • 即使作出反应，也似乎太晚无法阻止管破裂，或失控的火灾。 可能出安全生产事故问题的地方

34. Oracle解决方案 • Oracle的自学习解决方案，分析实时数据和过往数据来侦测不寻常的行为模式； • 系统设计足够快，可伸缩并且灵活； • 如有不寻常的事件发生时，将通知操作人员，并给出合理解释为何处理过程中该状态有些异样； • 通过给操作人员提供正确的知识，以正确的方式展现，让其拥有坚实的理由采取措施/动作，并且给工程师提供线索来判定什么导致了该异样行为。

35. 数据流示意 Simulator NoSQL DB Oracle Event Processing Coherence 模拟实时操作数据 Hadoop R 内存网格 流计算软件 WebCenter Content R统计引擎 内容管理软件 WebLogic Servlet Spatial 用户 空间组件 Primavera IDM 工程项目管理软件 身份/认证软件

36. Oracle给出的数据分析方案 传统模式的弊端 • 计量仪可能给出错误数据 • 不能利用过去的数据来进行预测分析 • 操作员须预防事故 • 大数据 • 记录下所有过去的数据和事件； • 定期分析过去的数据发现新的模式和统计情况，例如： • 将数据映射到一个正常的分布； • 执行回归和模式分析。 • 快速产生的数据 • 将过程的现在状态和大数据分析产生的统计情况进行比较。 • 对于任何异常和不寻常趋势创建警报。 VS 大数据分析带来的好处 • 持续自学习的系统 • 无偏见的：规则由数据统计产生 • 给操作员和工程师更多相关信息 • 操作员由预测转变为作出反应

37. 石油行业中大数据的其他应用场景 • 生产和销售： • 通过大数据技术建立国际石油市场预测模型，采用时间序列法，根据计量经济学原理，建立油价预测模型。 • 炼化企业中大量使用数目庞大的传感器，各式各样的传感器是工业的神经，获知自动化工业生产线上实时数据。对这些实时数据进行快速的获取和处理，并从中获得有价值的信息，从而能够优化生产线，提高生产率。 • 石油开采： • 通过大数据挖掘和应用，包括使用分布式传感器、高速通信系统和数据挖掘技术等去监控并调整远程作业，使用实时数据进行分析决策和事故预测等，大幅度提高决策的准确性和全面性，不断实现油气增产。 “每五秒钟，传感器就会发出油泵的工作条件，这些新的数据源产生了太多干扰，关键是选出重要部分--是信息而不单单是数据。” “传感器中未传出的数据有可能预测泵故障或者提供钻探条件的详细信息。配备传感器的钻头能送回关于钻头进入什么环境的数据，可以获取这些数据，并与类似钻井比较，然后分析是什么类型的岩层，以及可能会遇到什么情况。”

38. 议题 • 石油和天然气行业面临的大数据挑战 • Oracle高性能数据管理解决方案 • 石油和天然气行业大数据应用场景示例 • Oracle大数据解决方案总结

39. 总结 • 完备的数据管理和处理体系–多结构化； • 全面覆盖大数据捕获、组织、分析和决策整个过程； • 组合多种数据计算模式应对挑战； • 软硬一体优化，预集成； • Infiniband高速网络互联 • 线性横向扩展； • 极限性能，支撑实时决策。 石油和天然气行业 高性能数据管理解决方案