1 / 15

云跟踪：基于云平台的大规模 Internet 内容分发

云跟踪：基于云平台的大规模 Internet 内容分发. 博士（二年级末）：李振华 学号： 10948866 个人主页 ： http://net.pku.edu.cn/~lzh 导师 ：代亚非 教授. 背景 1 ：龟速和神速. 大家是否常常头痛于 IE 、 FireFox 下载之 “龟速” ？ 是否每每惊叹于 迅雷 下载之 “神速” ？. 背景 2 ：浏览器大混战. 大家是否感觉到 搜狗浏览器 的下载速度最近明显提升？那么原因是什么呢？ 具体原因， 360 安全浏览器 也很想知道 * 数据包分析显示， 搜狗浏览器 （可能） 在后台 “悄悄” 实现了迅雷相似的技术.

nevan
Download Presentation

云跟踪：基于云平台的大规模 Internet 内容分发

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 云跟踪：基于云平台的大规模Internet内容分发 博士（二年级末）：李振华学号：10948866 个人主页：http://net.pku.edu.cn/~lzh 导师：代亚非 教授

  2. 背景1：龟速和神速 • 大家是否常常头痛于IE、FireFox下载之“龟速”？ • 是否每每惊叹于迅雷下载之“神速”？

  3. 背景2：浏览器大混战 • 大家是否感觉到搜狗浏览器的下载速度最近明显提升？那么原因是什么呢？ • 具体原因，360安全浏览器也很想知道 * 数据包分析显示，搜狗浏览器（可能）在后台“悄悄”实现了迅雷相似的技术

  4. 隐藏在背后的“神秘技术” • 隐藏在迅雷、QQ旋风、搜狗浏览器、360安全浏览器背后的神秘技术——云跟踪 • 引发迅雷和QQ旋风的战斗 • 引发浏览器大混战

  5. Internet内容分发 • 什么是Internet内容分发？ * Internet内容分发可以简单理解为从Internet下载文件 • 核心问题：如何下载得更快？ * 难以改变的：骨干网带宽、用户接入带宽、TCP/UDP协议性能 * 可以改变的：数据源的多少和调度方法！ * = 多源并行下载

  6. BitTorrent不可以吗？ • 一个自然的问题：BT是典型的多源并行下载，BT不是已经解决问题了吗？ • 实际情况是：常常找不到“好”的BT种子，而且此时好不代表一直好，P2P的下载性能不稳定。 • 问题：怎么才能让P2P用户下载高速且稳定？ • 思路：从Internet“云”中寻找稳定的数据源！

  7. 云跟踪 • 基于云平台的大规模Internet内容分发 P2P： 高扩展 低成本 高动态 高异构 云计算： 低扩展 高成本 高可靠 易管理

  8. 云跟踪的特点 • 其跟踪的云平台全部来自第三方服务器，所以搭建云跟踪系统十分轻量级！几十台服务器即可。 下载Photoshop P2P用户集群 云跟踪

  9. 云跟踪系统简化原理图 • 涉及到搜索引擎、数据库、资源调度、P2P等技术

  10. 云跟踪当前面临的挑战？

  11. 1、资源爬虫的性能 • 目前做的最好的资源爬虫是狗狗 • 但狗狗检索到的资源其实并不多 * 还有很多有用的数据源没有被发现 • 狗狗检索到的资源也有不少失效的

  12. 2、资源爬虫的合法性 • 迅雷要上市，担心狗狗不合法，被迅雷以1万元的“白菜价”卖给“无关联第三方” • 狗狗的价值，你懂的…… • 非技术问题，但非常重要 清仓大甩卖！

  13. 3、云跟踪和ICP的关系 • ICP：Internet Content Provider（内容提供商） • 云跟踪给用户带来了下载的神速，但跳过了ICP的页面和广告，可能有损ICP的商业利益 • ICP和迅雷之间的利益博弈/纠纷此起彼伏 网页 资源 P2P用户集群 云跟踪

  14. 资源调度算法 • 巨量的服务器和用户、极高的动态性与异构性 * 服务器集合S = {S1, S2, ..., Sn}，n一直变化 * 用户集群集合P= {P1, P2, ..., Pm}，m一直变化 * 对每个Pi，其成员构成Pi ={Ui1, Ui2, ..., Uiq}，q一直变化 • 网络资源调度通常假设服务器是稳定的； • P2P资源调度常常局限于一个用户集群内部； • 然而云跟踪监控着上百万台服务器，服务器本身的动态性成为无法忽视的问题 * 调度周期、调度参数的设置更为精细和复杂

  15. Q&A

More Related