1 / 18

高能物理海量数据迁移系统的设计与实现

高能物理海量数据迁移系统的设计与实现. 石京燕，臧冬松，程耀东 高能物理所 计算中心. 大纲. 背景与需求 迁移系统设计与实现 下一步工作. 数据迁移需求. 数据密集型计算需要处理海量数据 BESIII 实验数据： 4PB 存储介质：磁盘，磁带 大规模数据迁移需求： 磁盘 磁带库 本系统应用对象：针对同站点 BES 数据迁移. BES 数据分层存储结构. BES 数据分层存储结构（续）. 登录结点服务器，提供用户登录连接、调试程序及提交作业。 用户提交的作业被批作业管理系统送到后端的计算结点上运行。

abdul-bolton
Download Presentation

高能物理海量数据迁移系统的设计与实现

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 高能物理海量数据迁移系统的设计与实现 石京燕，臧冬松，程耀东 高能物理所 计算中心

  2. 大纲 • 背景与需求 • 迁移系统设计与实现 • 下一步工作

  3. 数据迁移需求 • 数据密集型计算需要处理海量数据 • BESIII实验数据：4PB • 存储介质：磁盘，磁带 • 大规模数据迁移需求： 磁盘 磁带库 • 本系统应用对象：针对同站点BES数据迁移

  4. BES数据分层存储结构

  5. BES数据分层存储结构（续） • 登录结点服务器，提供用户登录连接、调试程序及提交作业。 • 用户提交的作业被批作业管理系统送到后端的计算结点上运行。 • 所有作业通过对共享文件系统的访问进行数据读写操作。 • 存储采用三级目录结构，计算结点本地硬盘—挂载在文件服务器上的磁盘阵列 – 磁带库。 • 较高的性价比。

  6. 迁移系统体系结构

  7. 体系结构说明 • 用户接口接收用户迁移任务发送给数据传输控制器。 • 数据传输控制器分析迁移任务内容，将迁移任务包装成传输作业提交给数据传输服务器 • 数据传输服务器将传输作业分配到各个传输节点上运行 • 传输节点连接磁盘阵列和磁带库，完成二者之间的数据复制，迁移。 • 数据库用于存放数据传输作业具体信息，并实时更新作业运行状态。

  8. 用户接口 • 命令行 • 网页

  9. 传输任务控制器 • 分析传输任务 • 整理迁移文件 • 包装传输作业

  10. 传输任务控制器（续） • 实现方法 • 磁带库 磁盘 • 对磁带文件根据磁带位置进行排序 • 保证抓取，翻转磁带等机械动作用时最少 • 磁盘 磁带库 • 磁盘数据文件磁盘缓冲池磁带 • 计算传输文件大小及个数，判断磁盘缓冲池状态 • 保证磁盘缓冲池有足免的空余空间 • 传输任务分割 • 根据磁带库实际情况将任务分割成多个作业并行进行

  11. 传输服务器 • 专用的批作业管理系统 • 接收从传输任控制器提交的传输作业 • 将作业调度到传输节点进行传输

  12. 数据服务器 • 用于存放传输作业信息 • 提供用户查询作业状态 • 作业状态实时进行更新

  13. 系统实现 • 数据库管理软件：二次开发的CASTOR I • 数据传输服务器：TORQUE 2.4.1 • 设置两个传输对列：ToCator, FromCastor • 数据库软件：MySQL 4.1.2 • 两个数据表： • 用户数据传输任务信息（用户提交） • 用户数据传输作业信息（传输任务控制器生成）

  14. 系统实现（续） • 传输节点： • 万兆网卡 • Castor客户端 • 磁盘阵列客户端 • 数据传输控制器 • 功能模块：Python语言编写 • 作业状态更新模块：C语言编写 • 作业状态周期更新：crontab

  15. 系统实现(续)

  16. 下一步工作 • 性能调优 • 根据数据文件所在磁带进行数据作业拆分 • 将磁盘阵列直接挂载到磁带库服务器直接进行复制

  17. 问题？

  18. 谢谢！

More Related