1 / 18

基于集群的分布式文件系统设计

基于集群的分布式文件系统设计. 演讲者 : 王景飞 指导 教师 : 林思明 李清勇. To Store the World. 目 录. 1. 项目背景. 2. 系统设计. 3. 可靠性改进. 4. 性能评定. 5. 结论. 目 录. 1. 项目背景. 2. 系统设计. 3. 可靠性改进. 4. 性能评定. 5. 结论. 项目背景. 互联网、搜索引擎、数据挖掘迅猛发展，网络存储需求不断增长。 国内分布式存储欠缺。 中科院计算所项目需求。. 目 录. 1. 项目背景. 2. 系统设计. 3. 可靠性改进. 4. 性能评定.

eric-barber
Download Presentation

基于集群的分布式文件系统设计

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 基于集群的分布式文件系统设计 演讲者: 王景飞 指导教师: 林思明 李清勇 To Store the World

  2. 目 录 1.项目背景 2. 系统设计 3. 可靠性改进 4. 性能评定 5. 结论 To Store the World

  3. 目 录 1.项目背景 2. 系统设计 3. 可靠性改进 4. 性能评定 5. 结论 To Store the World

  4. 项目背景 • 互联网、搜索引擎、数据挖掘迅猛发展，网络存储需求不断增长。 • 国内分布式存储欠缺。 • 中科院计算所项目需求。 To Store the World

  5. 目 录 1.项目背景 2. 系统设计 3. 可靠性改进 4. 性能评定 5. 结论 To Store the World

  6. 系统设计(1) 系统整体结构 To Store the World

  7. 系统设计(2) • 主控服务器 存储并维护系统元数据；同时负责系统全局维护，为系统中的关键节点。 • 数据存储服务器 用户的文件在该系统中会被分成等大小的数据块，并分布的存储在系统的数据存储服务器中。数据存储服务器为最终数据载体。 • 客户端 客户端作为系统的一个组成部分出现，提供最终用户访问该系统的接口。 To Store the World

  8. 系统设计(3) 实际系统架构 To Store the World

  9. 目 录 1.项目背景 2. 系统设计 3. 可靠性改进 4. 性能评定 5. 结论 To Store the World

  10. 可靠性改进(1) 系统快照 • 存储元数据 存储的对象为主控服务器中的元数据，包括目录、文件、数据块信息等。这些是系统运行的关键数据，存储在主控服务器的内存中，以提高访问速度。将元数据备份在磁盘上，使主控服务器可以从故障中恢复。 • 定时存储 因为快照操作是将元数据写入磁盘，所以频率不能太高，以免影响系统性能。 To Store the World

  11. 可靠性改进(2) 日志系统 • 辅助快照 两次快照之间的时间间隔内，系统元数据也可能发生变化。引入日志系统来辅助快照完成元数据的数据备份。 • 记录操作 将每一个操作压缩成“操作类型+操作数”的形式，存放在日志文件中。通过记录快照之后的操作来记录元数据变化情况。 To Store the World

  12. 可靠性改进(3) 主控服务器热备份 • 内存中元数据 • 快照、日志文件备份 • 虚操作 To Store the World

  13. 目 录 1.项目背景 2. 系统设计 3. 可靠性改进 4. 性能评定 5. 结论 To Store the World

  14. 性能评定(1) 文件读写效率 系统对于小文件的支持并不是很好，在分布式存储的情况下，小文件效率并不是很好。但如果客户端和数据服务器运行在同一台主机上时，系统对小文件会采取本地存储策略进行优化。 对于大文件的存储，已经获得较好的存储效率，速率瓶颈在于网络带宽。 To Store the World

  15. 性能评定(2) 系统故障恢复时间 TEXT 系统恢复时间与存储在系统中的数据量成正比，在数据量为4GB的情况下，系统恢复只需要200ms，预测在数据量较大的情况下，仍然可以保证较快的故障恢复速度。 To Store the World

  16. 目 录 1.项目背景 2. 系统设计 3. 可靠性改进 4. 性能评定 5. 结论 To Store the World

  17. 结论 To Store the World 系统获得了较好的性能和可靠性，可以满足当前项目的需求。 用户在数据量较大的环境下尚未进行性能评定，尚需进一步进行研究。

  18. Thank You ! 王景飞 2009.6.15

More Related