1 / 29

Mizan : A System for Dynamic Load Balancing in Large-scale Graph Processing

Mizan : A System for Dynamic Load Balancing in Large-scale Graph Processing. Presenter ：王春磊. 东北大学计算机软件研究所. 负载均衡处理方法分类. 静态的负载均衡处理 通过 Hash 划分，范围划分， Min-cut 等等方法，尽可能在运行前将数据均匀分配 由于数据集本身性质以及她图算法的行为都会影响计算节点的工作量，所以静态负载均衡处理并不能完全的解决负载不均的问题. 动态 的负载均衡处理 在运行的过程中，对各个计算节点相关信息的统计，并通过这些统计信息，动态的进行负载均衡处理

norton
Download Presentation

Mizan : A System for Dynamic Load Balancing in Large-scale Graph Processing

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Mizan: A System for Dynamic Load Balancing in Large-scale Graph Processing Presenter：王春磊 东北大学计算机软件研究所

  2. 负载均衡处理方法分类 • 静态的负载均衡处理 • 通过Hash划分，范围划分，Min-cut等等方法，尽可能在运行前将数据均匀分配 • 由于数据集本身性质以及她图算法的行为都会影响计算节点的工作量，所以静态负载均衡处理并不能完全的解决负载不均的问题 • 动态的负载均衡处理 • 在运行的过程中，对各个计算节点相关信息的统计，并通过这些统计信息，动态的进行负载均衡处理 • 有一定的通信开销，信息维护开销 西南大学物理科学与技术学院 2004级物理学3班 hzx

  3. 动态负载均衡处理分类 • 集中式负载均衡处理 • 各个计算节点的统计信息汇总到单个节点（如Master节点），有该节点控制和管理负载均衡处理 • 有可能造成管理节点负载过大 • 分散式负载均衡处理 • 每个计算节点都维护一份统计信息，并根据信息自发的尽心负载均衡处理 • 通信量较大 西南大学物理科学与技术学院 2004级物理学3班 hzx

  4. 论文主要内容

  5. 图算法分类 • 稳定的图算法 • 每次迭代发送和接收的信息量不变 • PageRank算法， SimRank算法 • 不稳定的图算法 • 每次迭代发送和接收的信息量不变 • 各种各样的在社交网络上的模拟（广告传播） • Top-K Ranks in PageRank

  6. 监测信息 西南大学物理科学与技术学院 2004级物理学3班 hzx

  7. 监测信息

  8. 负载均衡处理的时机

  9. 负载均衡处理的步骤 • 1. 通过统计数据来鉴别负载不均的节点 • 不均衡的计算节点的

  10. 负载均衡处理的步骤 • 2. 选择负载均很处理的目标 • 在接收信息量、发送信息量，响应时间三个监测量中，选择一个当前情况下对效率影响最大的量作为负载均衡处理的目标

  11. 负载均衡处理的步骤 • 3. 选择迁移目标计算节点 • 将负载较重的节点与负载较轻的计算节点配对

  12. 负载均衡处理的步骤 • 4. 选择迁移的图顶点

  13. 负载均衡处理的步骤 • 4.迁移图顶点 • 延时迁移策略

  14. Evaluation • Experiments: • Implemented Mizan using C++ and MPI • 12 machines with i5 processor 16GB RAM

  15. Evaluation • Benchmarks: • Static: disables any dynamic migration • Work Stealing (WS): Pregel version • Mizan.

  16. Evaluation • Static Mizan vs. Giraph:

  17. Evaluation • PageRank on three system:

  18. Evaluation • Migration costs:

  19. Evaluation • Un-stationary algorithm:

  20. Evaluation • Migration overhead:

  21. Really? • Some arguable parts of Mizan: • Cost: migration planning, multi global information synchronization(S1,S2,S3) • Especially in S3, global order maintaining • Large data transferred in migration • Migration will lead more cross-communication • Centralized management bad than decentralized? • Not friendly to graph mutation ……

  22. Step 1

  23. Step 2 • Select the migration objective • Outgoing msg, incoming msg, response time • Compute correlation between: • Outgoing msgand response time • Incoming msgand response time • Default response time

  24. Step 3

  25. Step 4

  26. Step 5 • Migrate vertices • when all workers arriving at migration barrier • Migrated data: • vertex ID • State • edge information (friends list) • the received messages it will process

  27. 谢谢！ 2014.04.05 东北大学计算机软件研究所

More Related