为 Oracle 数据库优化 Sun ZFS 存储设备

为 Oracle 数据库优化 Sun ZFS 存储设备 江岱祥系统事业部高级销售顾问

以下内容旨在概述产品的总体发展方向。该内容仅供参考，不可纳入任何合同。本演示不承诺提供任何材料、代码或功能，也不应将其作为购买决策的依据。Oracle 有权自行决定任何产品的特性或功能的开发、发布和时间安排。

议题 • NFS 简介 • 性能测量最佳实践 • Oracle Direct NFS 助力Oracle 存储 • Oracle Direct NFS 和 HCC 助力Oracle 存储 • Oracle 远程内存直接访问 (RDMA)

Oracle 存储战略 最佳独立产品集成使用更佳

NFS 简介 • NFS 即Network File System（网络文件系统） • 该系统最初由 Sun Microsystems 于 1984 年以 RPC 为基础开发而成 • NFS 是一个分布式文件系统协议 • NFS 是一个开放式标准，任何人都可以实现该标准 • 保障企业数据访问安全 • 通常通过TCP over IP 实现，可以使用 RPC/RDMA • 归功于摩尔定律 • 使用数据块和文件协议是为方便起见，而不是为了提高性能

NFS —在各方面表现俱佳 • 支持任何应用的任何负载的数据访问 • 几乎可在 1984 年后生产的任何硬件上运行 • 适合为简单应用提供数据服务 • 缓存 • 提前读取 • 延后写入

NFS 用于 Oracle 数据库 • 数据库文件 • 控制 • 数据 • 联机重做 • 恢复文件 • 归档的重做 • 备份集 • 映像副本 Sun ZFS 存储设备上的 NFS

使用 NFS 实施 Oracle • 正确设置挂载选项 • 对实例进行正确调优 • 将并发 RPC 请求的数量设为最大 • 开启的 TCP 缓冲区大小至少为 4MB • MOS 上有详细说明 • 文档 ID 1354980.1：Sun Storage 7000 统一存储系统常见问题解答 • 文档 ID 359515.1：使用 NFS 时 Oracle 文件的挂载选项

Oracle NFS 结构图 Sun ZFS 存储 Oracle 服务器 Oracle 实例 I/O 请求 ZFS 文件系统 NFS 客户端执行 I/O NFS 服务器 RPC RPC 建立连接确保交付 TCP TCP IP NIC IP 网络链路 NIC

Oracle NFS 工具 Sun ZFS 存储 Oracle 服务器 Oracle 实例 AWR/Analytics ZFS 文件系统 NFS 客户端 NFS 服务器 nfsiosat/Analytics RPC RPC mountstat / mdb netstat TCP TCP IP NIC IP sar/Analytics NIC

性能测量最佳实践比较结果并找到限制 Oracle 实例操作系统限制？存储系统

常见的 NFS 设计限制 • NFS 和 TCP 可能需要针对特定的硬件系统进行调优 • 多链路系统的数据传输效率低下，实施起来麻烦 • 操作系统 RPC 栈的设计无法为许多I/O 进行排队 • 连接瓶颈限制了发送到 TCP 层的数据 • 从 Oracle 实例到 NFS 客户端的 I/O 传输效率低下 • 内核缓冲区复制占用大量 CPU 处理能力和 CPU 互联带宽 • 需要精心配置才能实现最佳性能 • 更难部署，维护费用高昂，易出错

Oracle Direct NFS — 集成的NFS 客户端 调优的 NFS 和 TCP 可扩展的 RPC 针对 Oracle 进行了优化优化的 I/O 传输横向网络扩展

Oracle Direct NFS 结构图 Sun ZFS 存储 Oracle 服务器 Oracle 实例 I/O 请求 ZFS 文件系统 Direct NFS 客户端执行 I/O NFS 服务器 RPC RPC 建立连接确保交付 TCP TCP IP NIC IP 网络链路 NIC

Oracle Direct NFS 的详细实施说明 • 链接数据库主目录中的 Oracle Direct NFS 库 • Make -f $ORACLE_HOME/rdbms/lib/ins_rdbms.mk dnfs_on • 配置 oranfstab 文件 • 客户端和 NFS 服务器挂载点、IP 地址路径和路由 • MOS 文档 ID 1354980.1 中有完整示例 • Direct NFS I/O 排队调优 • dnfs_batch_size 初始化参数 • 为您的数据库软件下载针对 Bug13647945 的补丁

为 Oracle Direct NFS 优化 Sun ZFS 存储设备网络配置 • 将 NFS 服务器线程从 500 个增加到 1000 个 • 如果交换机支持，则使用链路聚合 (LACP) • 如果不使用 LACP，则使用 IPMP • 为 IPMP 组中的每个物理链路配置 1 个 IP 地址 • 配置自适应路由 • 使用可以支持的最大数据报 • 10GbE 使用巨型帧 • InfiniBand使用Connected 模式

Gerhard Kuppler SAP 客户高级总监，甲骨文公司 “SAP 客户可从以下方面受益于 [Oracle] Direct NFS：优于所有绑定解决方案；吞吐量高于大多数 SAN 解决方案。”

Oracle Direct NFS 检验点：8 KB读取 • Linux 内核 NFS • 软件瓶颈 • RPC/CPU • 25K IOPS 限制 • Oracle Direct NFS • 硬件瓶颈 • 145K IOPS = 10GbE • 225K IOPS ≈ 2x10GbE 吞吐量（IO/秒）

Oracle Direct NFS 检验点：1 MB读取 • Linux 内核 NFS • 软件瓶颈 • 680 MBPS 限制 • Direct NFS • 硬件瓶颈 • 1100 MBPS = 10GbE • 2000 MBPS ≈2x10GbE 吞吐量（MB/秒）

Oracle Direct NFS 检验点：1 MB 写入 • Linux 内核 NFS • 软件瓶颈 • 710 MBPS 限制 • Direct NFS • 硬件瓶颈 • 1100 MBPS = 10GbE • 1800 MBPS ≈2x10GbE 吞吐量（MB/秒）

Oracle Direct NFS 检验点：OLTP 处理 • 相同响应时间下吞吐量增加 3.2 倍 • 相同吞吐量下响应时间快 4.3 倍 • CPU 效率提高 2 倍 • 遇到应用级别瓶颈

再次提升—数据效率 • 摩尔定律让 CPU 相对比较便宜 • 其他两种比较昂贵的数据中心资源 • 网络带宽 • 存储空间 • 利用 CPU 资源节省带宽和空间

使用混合列压缩 (HCC) 助力 Oracle Direct NFS 了解数据压缩列针对 Oracle 进行了优化节省网络带宽提高存储效率

Oracle Direct NFS 结构图 Sun ZFS 存储 Oracle 服务器 Oracle 实例 I/O 请求 ZFS 文件系统 Direct NFS 客户端执行 I/O NFS 服务器 RPC RPC 建立连接确保交付 TCP TCP IP NIC IP 网络链路 NIC

使用 Oracle Direct NFS 和 HCC 时的吞吐量 • 无压缩 • 1GbE 瓶颈 • 基准 • HCC Query Low • 1GbE 瓶颈 • 吞吐量提升 12 倍 • HCC Archive High • CPU 瓶颈 • 吞吐量提升 7.5 倍 280 MR/分钟吞吐量（百万行/分钟） 12 倍 7.5 倍

远程内存直接访问 (RDMA) 零副本联网低延迟传输针对 Oracle 进行了优化高带宽网络提高了 CPU 效率

包含 RDMA 的 NFS 结构图 Oracle 服务器 Sun ZFS 存储 Oracle 实例 I/O 请求 ZFS 文件系统 NFS 客户端执行 I/O NFS 服务器 RPC RPC 建立连接 NIC 网络链路 NIC

RDMA 助力 RMAN 备份 1520 MB/秒 • CPU 受限的系统 • 备份吞吐量提高 2.3 倍 • 因 CPU 处理 I/O 请求效率提高而获益 2.3 倍吞吐量（MB/秒） 670 MB/秒

RDMA 助力 OLTP • 读取响应时间受限的系统 • I/O 响应时间缩短 20% • 事务吞吐量提高 38% DB 文件顺序读取数（毫秒）事务速率（数据库事务数/秒）

总结 Oracle 数据库 Oracle 存储最大程度提高应用性能

参加甲骨文全球大会了解更多 • Oracle 数据库存储管理自动化 • 用 Pillar Axiom 整合 SAN 存储 • 使用 Oracle 存储和 Storage Archive Manager实现存档分层存储 • 使用 Sun ZFS 备份设备备份 Oracle 集成系统 • Oracle NAS 和 SAN 存储助力 Oracle 虚拟桌面环境

为 Oracle 数据库优化 Sun ZFS 存储设备