340 likes | 533 Views
视频点播系统中关联性特征研究与应用. 演讲人:张茜 导 师:王宗敏 教授. 主要内容. 选题背景及意义 视频点播应用中存在的问题 国内外研究现状 课题的研究内容、创新点 已做工作 结论与下一步工作 参考文献. 选题背景及意义. 视频流媒体正在成为 Internet 最主要的流量 视频流媒体流量超过互联网消费流量的一半 2013 年视频流媒流量将占据互联网消费流量的 90% 2013 年视频流媒体流量将是 2000 年美国骨干网流量的 700 倍. 选题背景及意义. 点播( Video-on-Demand )
E N D
视频点播系统中关联性特征研究与应用 演讲人:张茜 导 师:王宗敏 教授
主要内容 • 选题背景及意义 • 视频点播应用中存在的问题 • 国内外研究现状 • 课题的研究内容、创新点 • 已做工作 • 结论与下一步工作 • 参考文献
选题背景及意义 • 视频流媒体正在成为Internet最主要的流量 • 视频流媒体流量超过互联网消费流量的一半 • 2013年视频流媒流量将占据互联网消费流量的90% • 2013年视频流媒体流量将是2000年美国骨干网流量的700倍
选题背景及意义 • 点播(Video-on-Demand) • 末来所有的视频都会是根据用户自己意愿进行点播 • 官方 • 中国网络电视台CNTV成立 • 各省市级网络电视台纷纷成立 • 三网融合 • 民营 • 优酷VS搜狐 • PPTV,PPStream, Tudou • 国外 • YouTube, HuLu
选题背景及意义 • 视频点播系统中关联性特征体现之一: 一个视频的多个视频片段之间存在关联性:瑞尔森大学的He Yi-feng [1]等人通过对用户观看的历史数据进行数据挖掘分析发现视频片段之间存在一定的关联性。
选题背景及意义 • 视频点播系统中关联性特征体现之二: 多个视频之间存在一定的关联性: • 视频网站如YouKu、YouTube等提供的视频推荐功能,即每个视频会为用户推荐几个关联性视频,如YouTube中通常会推荐约20个左右。这种推荐模式在一定程度上影响了用户的观看行为,即用户观看完某视频会以极大的概率去观看推荐视频,用户的这种观看行为使得视频之间存在一定的关联性。 • 在社交网站上用户分享的视频之间存在一定的关联性,如在人人网、腾讯微博等这样的社交网站上,一个用户分享的视频会被其部分好友观看,因而两个互为好友的用户分享的视频由好友之间的关系产生了一定的关联性。
选题背景及意义 视频点播系统中的关联性特征 给问题的解决 带来了新的思路与挑战 VoD应用中关键问题研究
VoD应用中存在的问题之一 日益增长的用户数量以及海量的媒体数据 引发的问题 C/S结构的视频点播服务在可扩展性方面存在一定的局限性 解决方案 基于P2P技术的视频点播,P2P VoD[2] 引发的问题 用户进行交互式操作时,向节点请求查找数据过程中存在一定的时延, 影响用户的观看满意度,如何提高用户观看满意度?
VoD应用中存在的问题之二 VoD应用在指定服务器上的静态部署模式以及日益增长的视频和用户数量 引发的问题 动态化和经济化的服务模型 解决方案 云平台的”pay-as-you-go”模式使得动态化和经济化的服务成为可能。 引发的问题 如何向云平台进行内容和带宽迁移?其中的关键问题有哪些?
VoD应用中存在的问题之三 随着社交网站Ren Ren、腾讯微博等的日益流行,越来越多的用户通过其所在社交网站中的好友推荐或分享视频来观看视频网站如Youku, 土豆,ku6等中的视频。(图中显示为Ren Ren上用户分享的视频来源[3]) 引发的问题 针对社交网站上的这部分视频用户群体,作为视频网站的服务提供商应如何提高这部分用户群体的视频观看满意度?
国内外研究现状 针对第一个研究问题,已经有许多研究者(香港大学、中山大学、华中 技大学、西蒙菲沙大学等)针对P2P 视频点播系统中节点组织策略做了一 的工作,其目的都是实现节点快速定位目的节点如Instantleap[4]、D-Splay[5 ]、RINDY[6]、DSL[7]。 • RINDY 和Instantleap是将不同播放进度的节点组织到一起,通过一 定 的查找策略,实现快速查找。 • D-Splay和DSL是基于对现有查找结构改造以适用于点播系统中节点的快速查找。
国内外研究现状 • 针对第二个研究问题,已有很多直播、点播系统尝试了其往云平台上迁移的策略,并对其关键问题进行了研究: • 文献[8]中提出了一种基于云平台的点播服务。根据排队论建立用户行为模型来预测向云平台请求的带宽量,来实现点播系统中带宽能力向云平台的迁移。 • 文献[9]中分析了大规模点播系统中用户观看流行度的变化趋势,并提出了一种视频内容向云平台的迁移策略,该策略给出了在什么时间上传什么内容给云平台才能达到开销最小并能满足用户需求。 • 文献[10]中给出了C/S和P2P模式下的大规模直播系统在往云平台迁移过程中的问题以及解决方案。 • 文献[11]中提出了一种视频内容往内容云服务器上迁移的策略,但未考虑云服务器分布在不同地域,以及用户观看行为的地域特征
国内外研究现状 • 针对第三个问题的相关研究为: • 文[12]对社交网站中的视频传播进行了研究,并给出了基于高尔顿-沃特森分支模型的视频传播模型; • 文[13]通过对社交网站中用户的观看行为进行了测量,并提出了Social Tube, 一种p2p辅助的社交网站模型以提高社交网站用户观看视频的满意度; • 文[3]通过对人人网用户观看视频行为的测量,指出用户的观看行为是受其关注的好友和视频的流行度影响的,基于此提出了社交网站中用户的视频预取策略,以提高观看满意度; • 文[14]对腾讯微博上用户分享与观看视频行为进行了测量,对视频在腾讯微博上的传播范围和地域进行了分析,提供了一种视频副本在服务器和节点上的放置和替换策略,该策略减少了用户的跨区域请求,提升了节点本地缓存视频的观看率,从而有效地提升了用户的观看满意度。
国内外研究现状 总结: • 针对第一个研究问题,现有的研究在实现节点组织策略以快速定位目的数据片段时,都未考虑视频片段之间存在关联性这一特征。 • 针对第二个研究问题,目前研究的向云平台迁移的视频都是无关联性视频,因视频网站推荐功能而具有相关联性的视频如YouTube,YouKu等并未给出相应的迁移方案,此类视频因具有关联性特征,在迁移策略上不同于已研究的无关联性视频。 • 针对第三个研究问题,已有对社交网站上分享视频的研究,侧重于社交网站中用户的观看行为以及视频在社交网站中的传播模型,基于此来设计相应的提高用户满意度的方案。而未对用户行为产生的视频之间的关联特征进行研究与应用。 视频的关联性特征应考虑进去,该特征对三个研究问题会带来 新的研究思路与挑战
课题的研究内容、创新点 研究内容: • 视频点播系统中实现节点快速定位目的数据的节点组织策略 • 因视频网站推荐功能而具有关联性特征的点播视频向云平台迁移的策略 • 提高社交网站上用户观看点播视频满意度的方案
课题的研究内容、创新点 三个研究内容所对应的创新点: • 基于视频片段关联性的节点组织策略,利用视频点播片段之间关联性强度不同这一特点,使具有相似兴趣点的节点自主地组织在一起,节点大部分的请求数据可从其邻居直接获得,从而提高了跳播操作时的节点定位目的数据效率。 • 以YouTube为实例,基于从YouTube上抓取的数据,总结用户观看这些因视频网站推荐而具有关联性特征视频的行为特征,提出一种基于簇的云平台带宽迁移方案,并给出一种考虑视频关联性和流行度地域性差异的云平台内容迁移方案。 • 对社交网站上分享点播视频间的关联性特征进行研究,基于此来改进视频的内容放置与预取策略以提高用户观看满意度。 • 总结:视频点播系统中关联性特征的存在,为三个问题的解决带来了创新点
已做工作(一) • 提出一种基于视频片段关联性的节点自组织策略,利用视频点播片段之间关联性强度不同这一特点,提出了一种节点自组织策略,使具有相似兴趣点的节点自主地组织在一起,节点大部分的请求数据可从其邻居直接获得,从而提高了跳播操作时的节点查找效率。
已做工作(一) • 该策略引起的问题: 节点在观看过程中自主选择有相似兴趣点的节点添加至邻居列表,邻居数目会逐渐增加,然而节点通过邻居发现目的片段,由拖放操作产生的控制开销主要来自于查找目的数据过程中经历节点数目,因此所提策略会在一定程度上会因邻居数目的盲目增大而增大开销降低效率。 邻居优化(集合覆盖问题):基于贪心算法的算法设计来解决该问题
已做工作(一) 不同网络规模下的平均查找时延 邻居上限m的设置对最大邻居列表交换次数的影响
已做工作(一) 节点邻居优化策略的性能 邻居上限值m的设置对节点接收到的平均查询消息的影响 定位服务器负载
已做工作(二) • 实现了因视频网站推荐功能而具有相关联性特征的视频向云平台进行带宽迁移和内容迁移的方案 • 实施方案: • 以YouTube为例,通过对实际数据采集,发现用户以大于90%的概率观看一个视频三跳以内的视频,基于这一特征提出了基于簇的云平台带宽迁移方案,并给出了具体的迁移策略与最优租用云服务器的算法。 • 将云服务器分布在不同地域和视频观看流行度具有地域性特征这一实际情况考虑在内,使得云服务上的内容放置方案是在尽量保持视频间关联性不被忽略的前提下考虑到地域性分布特征而进行的,该内容放置问题可抽象化描述为有限制的K中心点划分问题。
已做工作(二) 实际流行度和预测流行度偏差 未能满足的用户比率
已做工作(二) • 节点能力和行为对租用开销的影响
已做工作(二) • 所提租用算法与随机租用算法在租用代价上的对比
已做工作(二) • 图来自文 [15]中对YouTube视频的统计,统计显示视频的部分观看用户会集中来自于某一区域,左图为视频的整体流行度对区域流行度的影响,可以 看出,当一视频的观看用户数大于1000时,其来自于同一地区的用户数占总的用户的比率大约为0.4。 右图为视频的部分观看用户来自某个集中区域的概率。
已做工作(二) 内容放置问题可抽象化描述为有限制的K中心点划分问题。 目标:最大化的保持放置在云平台上同一内容服务器上视频的关联关系。 限制条件:1)用户的本地请求率大于某一设定值 2)各个云服务器之间的负载差值小于某一设定值。
已做工作(二) 与WPAM[11]的对比 算法中两个限制参数对相关联两个视 频被放置在不同服务器上的比率的影响
结论与下一步的工作 • 结论: • 介绍了视频点播系统中关联性特征的体现 • 通过国内外研究现状分析,指出目前VoD中存在的三个问题的解决方案都未考虑关联 性特征,该特征可能对VoD应用中存在的问题的解决带来新的思路与挑战 • 给出了课题研究的三个主要问题与创新点。考虑到视频点播系统中的关联性特征,提出了前两个问题的解决方案。
结论与下一步的工作 • 下一步的工作: 针对第三个问题,即社交网站上的这部分视频用户群体,视频服务提供商应如何提高这部分用户群体的视频观看满意度。以往的工作侧重于社交网站中用户的观看行为以及视频在社交网站中的传播模型,基于此来设计相应的内容放置或预取方案以提高用户满意度。而未对用户行为产生的视频之间的关联特征进行研究,该关联性特征可能会给视频内容放置于预取方案带来新的思路以更好地提高用户满意度。
参考文献 [1] He Yi-feng, Shen Guo-bin, Xiong Yong-qiang, et al. Optimal Prefetching Scheme in P2P VoD Applications With Guided Seeks[J]. IEEE Transactions on Multimedia, 2009, 11(1): 138 – 151. [2] 沈时军,李三立. 基于P2P的视频点播系统综述[J]. 计算机学报,2010, 33(4):613-624. [3] Zhi Wang, Lifeng Sun, Shiqiang Yang, and Wenwu Zhu. Prefetching Strategy in Peer-Assisted Social Video Streaming[C]. In Proc. Of ACM MM 2011, Nov, 2011. [4] Qiu Xuan-jia, Wu Chuan, Lin Xiao-la, et al. Instantleap: Fast neighbor discovery in p2p VoD streaming[C]. Proceedings of NOSSDAV, 2009, 19-24. [5] Guo Hong-fang, Liu Jiang-chuan, Wang Zong-min. Frequency-Aware Indexing for Peer-to-Peer On-Demand Video Streaming[C]. Proceedings of IEEE ICC, 2010, 1-5. [6] Cheng Bin, Jin Hai, and Liao Xiao-fei. Supporting VCR functions in p2p VoD services using ring-assisted overlays[C]. Proceedings of IEEE ICC, 2007, 1698 – 1703. [7] Wang Dan, Liu Jiang-chuan. A dynamic skip list-based overlay for on-demand media streaming with vcr interactions[J]. IEEE Transactions on Parallel and Distributed Systems, 2008, 4(19): 503–514. [8] Y. Wu, C. Wu, B. Li, X. Qiu, F. C. Lau (2011). CloudMedia: When Cloud on Demand Meets Video on Demand.In: Proceedings of IEEE ICDCS. [9]H.Li,L.Zhong,J. Liu,B.Li,K.Xu(2011). Cost-effective Partial Migration of VoD Services to Content Clouds. In: Proceedings of IEEE Cloud. [10]F. Wang, J. Liu, M. Chen (2012). CALMS: Migration towards Cloud-Assisted Live Media Streaming. In: Proceedings of IEEE INFOCOM. [11]X. Cheng, J. Liu (2011). Load-Balanced Migration of Social Media to Content Clouds. In: Proceedings of ACM NOSSDAV
参考文献 [12] Haitao Li, Jiangchuan Liu, Ke Xu, Song Wen. Understanding Video Propagation in Online Social Networks[C]. In Proc. of IEEE IWQoS. 2012. [13]Ze Li, Haiying Shen, Hailang Wang, Guoxin Liu and Jin li. SocialTube: P2P-assisted Video Sharing in Online Social Networks[C]. In Proc. of IEEE Infocomm. 2012. [14]Zhi Wang, Lifeng Sun, Xiangwen Chen, Wenwu Zhu,Jiangchuan Liu, Minghua Chen and Shiqiang Yang. Propagation-Based Social-Aware Replication for Social Video Contents[C]. In Proc. of ACM MM 2012. 2012. [15]A. Brodersen, S. Scellato, M. Wattenhofer(2012). YouTube Around the World: Geographic Popularity of Videos. ACM www
已发表的论文 • Qian Zhang, Runzhi Li, Hongfang Guo, Zongmin Wang, “ BSLstream: A Biased Skip List index scheme for P2P VoD with VCR Support ”, In the Proc. Of International Conference on Multimedia and Signal Processing (CMSP 2011)[C] ,China 2011. (EI:20113414259463) • Qian Zhang, Yusong Lin, Zongmin Wang, “Cost-effectivecapacity migration of Peer-to-Peer social media to clouds”, Peer-to-Peer Networking and Applications[J], May,2012. DOI:10.1007/s12083-012-0148-4 (SCI index) • 张茜,李润知,林予松,王宗敏. P2P VoD中基于视频片段关联性的节点自组织策略. 小型微型计算机系统[J]. 2012(已录用) • 刘永鹏,李润知,张茜,王宗敏. 基于DirectShow的P2P VOD数据播放设计与实现. CERNET第十九届学术年会论文集[C]. 2012,49(17):211-216