slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
利用 Oracle Database 12c 实现 Oracle 数据库压缩 PowerPoint Presentation
Download Presentation
利用 Oracle Database 12c 实现 Oracle 数据库压缩

Loading in 2 Seconds...

play fullscreen
1 / 36

利用 Oracle Database 12c 实现 Oracle 数据库压缩 - PowerPoint PPT Presentation


  • 302 Views
  • Uploaded on

利用 Oracle Database 12c 实现 Oracle 数据库压缩. Oracle 系统技术 产品管理高级总监 Kevin Jernigan. 以下内容旨在概述产品的总体发展方向 。 该内容仅供参考 ,不可纳入任何合同 。 本演示不承诺提供任何材料、代码或功能,也不应将其作为购买决策的依据 。 此处所述有关 Oracle 产品的任何特性或功能的开发、发布以及相应的 日程安排均由 Oracle 自行决定 。. 议题. 数据增长带来的挑战 Oracle Database 12 c 的新特性 压缩功能 其他功能 优势总结. 数据增长带来的挑战.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

利用 Oracle Database 12c 实现 Oracle 数据库压缩


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
oracle database 12c oracle
利用 Oracle Database 12c 实现 Oracle 数据库压缩

Oracle 系统技术

产品管理高级总监

Kevin Jernigan

slide4
议题
  • 数据增长带来的挑战
  • Oracle Database 12c 的新特性
  • 压缩功能
  • 其他功能
  • 优势总结
slide5
数据增长带来的挑战
  • IT 必须支持快速增长的数据量
    • 在线访问和内容呈爆发式增长
    • 政府数据保留法规
  • 性能通常会随着数据增长而下降
  • 自动压缩数据和移动数据
    • 降低存储成本
    • 提升性能
  • 需要管理数据增长
    • 不降低性能
    • 不增加成本
    • 尽可能减少管理干预
slide6
高级压缩选件的优势
  • 透明:100% 对应用程序透明
  • 更小:减少占用空间
    • 资本支出:降低生产、备用、备份、测试和开发数据库的服务器和存储成本 …
    • 运营支出:降低加热、冷却、占地面积成本 …
      • 随着数据库规模的增长,在数据库的生命周期中实现额外而有持续性的节约
  • 更快:事务、分析、数据仓库
    • 更快的内存中加速:缓冲区缓存和闪存缓存中能容纳 3 至 10 倍的数据
    • 加快查询速度
    • 加快备份和恢复速度
  • 跨 CPU、DRAM、闪存、磁盘和网络的端到端成本/性能优势
slide8
热图 - 数据的可视化使用

深入洞察有助于识别机会和促进自动化

表级热图

分区级热图

101010101110101001101011100001010001011011101010100101001001000010001010101

行级热图

slide9
热图
  • 数据库热图
    • 从数据库级热图上可以看出表和分区的使用状态
    • 块级热图显示的是行级访问
    • 同时显示读取和写入
    • 将行访问和全表扫描区分开来
    • 显示上次访问以及一段时间内的访问柱状图
  • 高性能
    • 内存技术 (“In-Memory” technology)
    • CPU 开销极低
slide10

针对

快速分析的

压缩列存储

针对快速 OLTP

的行存储

自动数据优化

随着数据老化:

  • 活动减少
  • 数据量增加
  • 较旧的数据主要

用于报告

合规性和

报告

报表

OLTP

10 倍压缩

15 倍压缩

alter table … add policy

… compress for query after 3 months of no modification

… compress for archive after 1 year of no modification

本季度

此前几年

今年

针对最大压缩的

存档压缩

列存储

数据使用逐渐减少后,自动数据优化会自动在线的将数据转换为列压缩

slide11

自动数据优化 (ADO)

  • 声明式策略规范:条件动作
    • ALTER TABLE employee ILM ADD POLICY ROW STORE COMPRESS ADVANCED ROW AFTER 3 DAYS OF NO MODIFICATION;
    • 条件为数据创建、访问、修改后的时段
    • 动作可以为压缩分层或表空间分层
  • 策略继承自表空间或表
    • 新表继承自表空间;也可以应用于现有表
    • 新分区(包括间隔分区)继承自表
  • 即时和后台策略的执行
    • 定期执行行级策略
      • 用户可配置执行频率
    • 段级策略在维护时段执行
  • 策略可以进行扩展,以整合业务规则
    • 用户可以添加自定义条件以控制执行
      • 例如,自订单发货日起 3 个月内
slide12
自动数据优化简单的声明式 SQL 扩展

活跃

ALTER TABLE sales ILM add…

频繁

访问

偶尔

访问

休眠

slide13
高级网络压缩
  • 在发送端压缩即将传输的网络数据,然后在接收端解压缩
    • 降低通过数据连接传输的会话数据单元 (SDU) 大小
      • 降低数据大小即可减少传输 SDU 所需的时间
      • 在窄带宽连接中,借助更快的 CPU,能够显著改进性能
        • 由于传输时间的减少,SQL 查询响应明显加快
slide14
闪回数据存档历史表
  • 闪回数据存档 - FDA
    • 在发生更改时,透明地进行跟踪
    • 在单独的历史表中进行跟踪
    • 历史表具有安全、防篡改的特性
    • FDA 历史表优化
      • 高级行压缩
      • 高级 LOB 压缩和去重
      • 压缩分层
  • 用例
      • 治理 / 监管 / 合规性 (GRC)
      • 替代应用开发
      • 错误纠正
      • 替代 CDC 和 DW
slide15

其他 ACO 功能

混合列压缩

  • 存储快照优化
    • 存储快照只需一步即可恢复
    • 无需将数据库置入在线备份模式
    • 支持全面恢复或时间点恢复
  • 在线移动分区(任何压缩级)
    • ALTER TABLE ...MOVE PARTITION ONLINE 启用了无阻塞在线 DDL
    • DML 操作在移动过的分区上持续、不间断地运行
    • 支持所有压缩格式 - BASIC、ACO 或 HCC

Oracle 数据库企业版

数据分区

选件

高级

压缩选件

活跃

历史

不太活跃

通常为 2 倍至 4 倍压缩

slide18

ACO 压缩功能

闪回数据归档

历史表

  • 高级行压缩
    • 压缩数据分区/表
  • 高级 LOB 压缩高级 LOB 去重
      • 压缩和去重非结构化数据
  • RMAN/DataPump压缩
      • 压缩备份
  • Data Guard Redo传输压缩
  • 高级网络压缩
      • 压缩网络流量
  • 闪回数据归档历史表

Oracle 数据库企业版

数据分区

选件

高级

压缩选件

活跃

历史

不太活跃

通常为 2 倍至 4 倍压缩

18

slide19
高级行压缩
  • 分区/表/表空间数据压缩
    • 支持常规 DML 操作(插入、更新)
    • 通常为 2 倍至 4 倍压缩率
  • 显著消除/减少 DML 的写入开销
    • 批量压缩将对事务性能的影响降至最低
  • “数据库感知”压缩
    • 无需将数据解压缩 - 数据在内存中保持压缩
    • 减少 I/O 操作和提高内存效率通常可提高读取性能
erp 10

表扫描性能

DML 性能

小于

3% 的开销

快 2.5 倍

时间

(秒)

时间

(秒)

实际压缩效果 - ERP 数据库 10 个最大的表

存储利用率

缩小 3 倍

MB

slide21
为什么采用混合列压缩
  • 通常,数据以行格式来组织
  • 可选方法:以列格式存储数据
    • 集中存储列数据可大幅增加压缩率
  • 优化的Exadata存储可最大程度提高针对 HCC 压缩表的查询性能
          • 充分利用Exadata存储服务器中的处理能力、内存和Infiniband网络
          • 混合列压缩已扩展至Pillar Axiom 和 Sun ZFS 存储设备 (ZFSSA)
slide22
关于混合列压缩
  • 混合列压缩表
    • 压缩表可以通过传统 DML 操作修改
    • 适用于批量加载和批量查询的数据
  • 工作原理
    • 将表组织到压缩单元 (CU) 中
      • CU 为多个数据库块
    • 在压缩单元内,数据按列组织而不是按行组织
      • 列组织可收拢类似值,从而增大压缩率

压缩单元

列 4

列 1

列 2

列 5

列 3

缩小 10 到 15 倍

slide23

逻辑压缩单元

块标题

块标题

块标题

块标题

压缩单元标题

C3

C7

C5

C8

C1

C4

C2

C6

C8

压缩单元
  • 压缩单元
    • 跨多个数据库块的逻辑结构
    • 在数据加载期间按列组织数据
    • 单独压缩各列
    • 一组行的所有列数据存储在压缩单元中
slide24
查询和存档压缩

查询压缩

  • 存储空间平均节省 10 倍
  • 扫描 IO 减少 10 倍

存档压缩

  • 存储空间平均节省 15 倍
    • 有些数据可达 70 倍
  • 冷数据或历史数据

空间优化

针对 Exadata 上的速度进行了优化

回收 93% 的磁盘

保持数据在线

更小的数据仓库

更快的性能

slide25
查询压缩级别
  • 查询压缩可提供两种级别的压缩
    • “高”级别通常可节省 10 倍存储空间
    • “低”级别通常可节省 6 倍存储空间
  • 优化以提高扫描查询性能
  • 默认为“高”
    • 最大程度地节省存储空间并发挥查询性能优势
slide26
存档压缩
  • 存档压缩可提供两种级别的压缩
    • “高”级别通常可节省 15 倍存储空间
    • “低”级别通常可节省 10 倍存储空间
  • 信息生命周期管理 (ILM) 和数据存档的最佳方法
    • 最大限度地减少存储占用空间
    • 无需将数据移动至磁带或价格较低的磁盘
    • 数据始终在线且始终可访问
      • 适用于存有极少被访问的数据的表或分区
      • 针对历史数据运行查询(无需从磁带恢复)
      • 更新历史数据
      • 支持模式(schema)变化(添加/删除列)
slide27
用户压缩案例
  • 数据仓库用户(数据仓库压缩)
    • 顶级金融服务机构1: 11 倍
    • 顶级金融服务机构2:24 倍
    • 顶级金融服务机构 3: 18 倍
    • 顶级电信公司1:8 倍
    • 顶级电信公司 2: 14 倍
    • 顶级电信公司 3: 6 倍
  • 科学数据用户(存档压缩)
    • 顶级研发用户(拥有数 PB 级数据): 28 倍
  • OLTP 存档用户(存档压缩)
    • SAP R/3 应用程序,全球顶级零售商: 28 倍
    • Oracle 电子商务套件,Oracle Corp.: 23 倍
    • 定制的呼叫中心应用程序,顶级电信公司: 15 倍
slide29
高级 LOB 压缩/去重
  • LOB 通常会有 2 倍至 3 倍的缩减
      • 自动避免压缩后无法从中受益的数据
      • 对内容管理、电子邮件应用程序和数据存档应用程序很有用
  • 对读取操作没有负面影响
    • 通常可提高缓存数据的读取性能
  • 能够为重复数据存储单个物理映像
    • 显著降低空间消耗
    • 极大地提高写入和复制操作的性能
datapump
DataPump 压缩
  • 从 Oracle Database 10g开始提供元数据压缩功能
  • 在导出期间压缩表数据
    • 无需在导入前解压缩
  • 只需一步即可压缩数据和元数据
    • 压缩的数据直接传送到磁盘,从而降低磁盘空间需求
    • 内部测试显示转储文件最多缩小 75%
  • 对应用程序透明
    • 可对压缩文件使用完整的DataPump功能
slide31
RMAN 备份压缩
  • 大幅降低备份数据的存储要求
    • 备份数据将在写入磁盘或磁带前压缩,且无需在恢复前解压缩
  • 三种级别的 RMAN 压缩:低、中和高
    • “低”压缩级别

特别适合于备份操作受 CPU 约束的情况

    • “中”压缩级别

平衡 CPU 使用率和压缩率

    • “高”压缩级别

最佳的压缩率和最高的 CPU 使用率

特别适合于备份操作受网络或 I/O 限制的情况

data guard redo
Data Guard Redo传输压缩
  • 压缩主数据库和备用数据库之间的网络通信流量
  • 带宽较低的网络 (<100Mbps)
    • 将传输 1GB 数据所需的时间缩短 15-35%
    • 带宽消耗最多可降低 35%
  • 高带宽网络 (>100 Mbps)
    • 压缩不会缩短传输时间
    • 但会显著降低带宽消耗(最高可达 35%)
oracle
Oracle 数据库压缩的优势
  • 透明:100% 对应用程序透明
  • 更小:减少占用空间
  • 更快:事务、分析、DW
  • 跨 CPU、DRAM、闪存、磁盘和网络的端到端成本/性能优势
  • Oracle Database 12c 的新特性
    • 自动化:热图和 ADO
    • 网络压缩
    • 其他存储优化