1 / 24

5 、 基于 本体 的 网络信息聚合及其应用

应用层. 中间件层. 信息源层. 5 、 基于 本体 的 网络信息聚合及其应用. 信息源：网页 爬取：爬虫 ( 含动态网页 ) 解析： 基于本体的语义标注 全局本体 = 概念 + 关系 + 实例 局部本体 - 表格： 1+1+N 方法 - 文本：条件随机场 生成聚合信息 存储、发布、应用. 报价单位 产品 价格 报价日期. 时间序列分析：统计软件 ( SPSS17.0 ) 周价格曲线 事件关联分析 区划价格差异 中、长期预测，短期预测. . 应用举例：粮食价格分析. 数据来源：

raanan
Download Presentation

5 、 基于 本体 的 网络信息聚合及其应用

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 应用层 中间件层 信息源层 5、基于本体的网络信息聚合及其应用 • 信息源：网页 • 爬取：爬虫(含动态网页) • 解析： • 基于本体的语义标注 • 全局本体 =概念+关系+实例 • 局部本体 -表格：1+1+N方法 -文本：条件随机场 • 生成聚合信息 • 存储、发布、应用 • 报价单位 • 产品 • 价格 • 报价日期

  2. 时间序列分析：统计软件(SPSS17.0) • 周价格曲线 • 事件关联分析 • 区划价格差异 • 中、长期预测，短期预测  应用举例：粮食价格分析 • 数据来源： - 中华粮网（http://datacenter.cngrain.com/IndexByPrice.aspx） - 东北粮食网（http://www.ls119.cn/baojia/Default.aspx） - 中国农业信息网（http://2010jiuban.agri.gov.cn/jghq/） - 中国畜牧网（http://xumu.com.cn:8001/html/market/index.html） - 中原畜牧网（http://www.hnfeed.com/market/） - 阿里巴巴农业资讯（http://info.china.alibaba.com/news/subject/v2-s5015505.html） • 粮食价格分析 • 稻谷 • 小麦 • 玉米 • 2009.7 — 2010.7 • 指数平滑法 • 自回归法 • ARIMA模型法 • 季节分解法 • 谱图分析法

  3. 2009.7.15 2010.7.10 稻谷 红色：观测值 蓝色：拟合值 • 09.12-10.02：春节临近，消费旺季，涨价 • 10.03-10.04：旱情严重，涨价 • 10.05：稻谷轮换出库，需求淡季，降价 • 10.06：水灾，减产，涨价

  4. Outlier Outlier Outlier 2010.1.1 2010.7.10 小麦 红色：观测值 蓝色：拟合值 绿色：预测值 真值 • 出现离群值(outlier)：2月、3月、6月中旬 原因：原始数据错误、聚合处理错误、突发事件驱动 • 6月末-7月初：涨价（春季低温、化肥涨价、惜售） • 预测：出现误差；短期预测难度大！须深入研究！

  5. 小麦区划 • 周期性：7 天 • 预测：误差较小，周期性 • 华东 • 中南 • 华北 • 西北 • 东北 • 西南 红色：观测值，蓝色：拟合值，绿色：预测值

  6. 小麦区划 • 3-4月份：西南地区价格明显高！ • 原因：春季旱情严重。

  7. 网络信息聚合的意义 • 聚合信息服务 • 热门信息推送 • 按需求订制 • 难点：完整、精度、重组 • 行业领域应用 • 可靠建模依据 • 政策制订支持 • 事件关联分析 • 短期预测 • 方法与手段：基于本体的语义理解+时间序列分析

  8. 征询合作研究 • 自然基金重点项目：非对称广域覆盖信息共享网络 • 三个参加单位： • 清华大学（CESL实验室） • 西南科技大学（绵阳，马建国教授、邢玲副教授、……） • 电子科技大学（成都，隆克平教授、徐杰副教授、……） • 经费：190万元 • 时间：2010-2013年，四年 • 合作研究方向： • 非对称信息共享网络的数学、物理模型 • 信息共享网络动力学系统的大规模时空动态仿真 • 基于语义的网页分析、内容聚合、数据挖掘 • 合作形式： • 博士后 • 校际合作 任勇：reny@tsinghua.edu.cn 18911803773

  9. 谢 谢

  10. WWW业务特征 • 文件传输为主 • Poisson到达：负指数分布 • 文件长度服从重拖尾分布：Bounded Pareto • 网站文件服务时间也服从重尾的BP分布 • 重尾业务：持续时间具有重拖尾分布特性的业务 • 重拖尾业务实质：被长流调制的慢变的布朗运动 • 用户满意度指标：阻塞概率、平均响应时间 • 播存结构理论分析：有限忍耐度的排队系统分析

  11. 文件长度服从BP分布（Bounded Pareto） • k = 1.22 kbyte, p = 1 Mbyte, α= 1.1 • 文件长度均值6.56 kbyte，方差7.17×10^8 • 大于100kbyte的文件占0.72% • 大文件产生的数据量占27.1% • 文件长度服从负指数分布，则大于100kbyte的文件占2.4/千万，数据量占3.7/百万。 • M/ G/ 1、 M/ G/ ∞、 M/ M / c可解析。 • M/ G/ c无法直接分析，没有分析工具！

  12. 重尾业务特点及其处理方法 • 大方差（LV）：α< 2 时无穷大方差，尾分布部分截断（比如BP），方差仍然特别大 • 重拖尾（HTD）：尾分布业务在总流量中占相当大的比例，即小概率事件产生较大影响（流量） • 长相关（LRD）：持续时间服从重拖尾分布的ON/OFF 过程通常表现出长相关的特征 • 重尾业务处理方法——分解： • ①长短流分解：Xd= DC，最大忍耐时间·处理吞吐量 • ②持续时间分解：45%流<2秒；2%流>15分钟，却占50% • ③突发性分解：α-β分解，Aggμ+ 3Aggstd 临界速率 ① Elephant and Mice ! ② Dragon flies and Tortoises!

  13. 网络业务的时间尺度特性 • 小时间尺度（1 ms）traffic变化原因： • Buffers, scheduling algorithms • 中时间尺度（100 ms）traffic变化原因： • TCP流控协议 • 大时间尺度（1-10 s）traffic变化原因： • 路由变化 • 中长期traffic变化原因： • 带宽增长、用户数增长

  14. 与本课题直接相关的其它研究项目 • 自然基金，互联网络业务源模型与业务量预测， 已完成 • 自然基金，复杂互联网络的整体动力学理论、方法及其应用， 已完成 • 自然基金，共享信息网络新结构及关键技术研究， 已完成 • 自然基金，宽带网络生存性策略研究， 已完成 • 自然基金，共享信息的第二类网络， 已完成 • 863-项目，多层网络数据语义分类与理解技术研究， 已完成 • 863-项目，具有语义标引的互补结构网络， 已完成 • 863-项目，第五媒体物理链路传输协议研究， 已完成 • 973-子项，一体化网络与普适服务体系下的移动和传感网， 在研 • 自然基金：应用层网络行为与互联网整体性能的关联及对策 在研 • 973-子项，IP网生存性的通用机理和调控方法， 在研 • 国家杰出青年基金，新一代光互联网体系结构及关键技术， 在研 • 自然基金，基于虚拟坐标的IP网络定位理论与技术研究， 在研 • 自然基金，四川省青年基金，网络无功流量测量， 在研 • 新一代广播网的语义计算与内容管理机制研究， 在研 • 博士点基金，音视频数据的内容管理技术研究， 在研

  15. 发表文章 • Lei Wang, Yong Ren, etc. Measurement and Statistics of Application Business in Complex Internet. Complex’09, 23–25 February 2009, Shanghai, China • Yi-Peng Li, Yi-Hua Huang, Lei Wang, Yong Ren. The Nonlinear Mechanism of Phase Transition in Computer Networks. Complex’09, 23–25 February 2009, Shanghai, China • Ying Li, Hongduo Cao, Xiuming Shan, Yong Ren. An estimation formula for the average path length of scale-free networks , Chinese Physics B, Vol.17, No.7, pp.2327-2306, 2008.7 • Yang Liu, Jian Yuan, Xiuming Shan, Yong Ren and Zhengxin Ma. Self-determined mechanisms in complex networks, Physica A: Statistical Mechanics and its Applications Volume 387, Issues 8-9, Pages 2145-2154, 15 March 2008 • 山秀明，刘旸，张林，王磊，任勇，袁坚，王耀希．P2P应用系统用户共享行为的复杂网络模型.计算机应用研究，2008年，25（6）：1853-1855 • 任勇，王磊．基于包层次的小子集观测．第三届全国复杂动态网络学术论坛，2006.12，北京 • 任勇，李幼平．双结构互联网定量分析与验证平台设计．第二届全国复杂动态网络学术论坛，2005.10，北京 • Xing Ling, Ma Jianguo, Li Youping. Dual-Mode Transmission Network for DTV [J]. IEEETRANSACTIONS ON CONSUMER ELECTRONICS, 2008,54(2):474-480 • Haoxiang Zhang, Lin Zhang, Xiuming Shan, and Victor. O. K. Li, Performance Evaluation of Adaptive Probabilistic Search in P2P Networks, IEICE Transaction on Communications, Vol. E91-B, No. 4. pp.1172-1175, 2008 • 马建国，李在铭．广播型网格．计算机科学，2004.8 • 孙海峰，马建国，李幼平．基于UCL的DTV Commerce安全认证模型[J]．电子技术应用，2008，34(1):129-131

  16. 邢玲，马建国，李幼平，刘志文．移动通信中的信息共享结构[J]．北京理工大学学报[J]，2008，28(8):737-740邢玲，马建国，李幼平，刘志文．移动通信中的信息共享结构[J]．北京理工大学学报[J]，2008，28(8):737-740 • 马建国，席明贤，林益民，李幼平．中国Internet路由级跳数测量与分析[J]．计算机应用研究，2008，25(7):2112-2114 • 马卫东，李幼平，马建国，周明天．面向Web网页的区域用户行为实证研究[J]．计算机学报，2008，31(6):960-967 • 王磊，周淑华，袁坚，任勇，山秀明．虚拟网络行为对互联网整体特性的影响．物理学报，2007，56（1）：36-42 • 马建国，李幼平等．广播型网格的用户兴趣图谱．电子学报，2005，33(1): 142 – 146 • 马建国，李幼平等． 数据广播中的UCL标引与传输机制.电子学报，2004，32(10) : 1621 – 1624 • 邢玲，马建国，李幼平，刘志文．一种基于UCL的中文网页信息过滤方法．电子学报，2006， Vol.34(10): 1752-1757 • 马建国，邢玲．信息过滤技术及VJ实现.系统工程与电子技术．2004，Vol. 26(3):382-385 • Ma Jianguo, Xing Ling, Li Youping. An Information Sharing Structure of Broadcasting. LECTURE NOTES IN COMPUTER SCIENCE, 3320:558-563, 2004 • Ma Jianguo, Liu Guihua, Xing Ling. An Agent Of Data Broadcasting Based On UCL，2003 IEEE International Conference on Natural Language Processing and Knowledge Engineering, NLP-KE'03 Beijing, China. Oct, 2003,IEEE press.pp.215-220 • Ma Jianguo, Xing Ling, Li Zaiming. MIS-Grid for Future Mobile Communications. Electronics Technology of China.2004, Vol.2(4):12-15+36 • Ling Xing, Youping Li, Zhiwen Liu. A Mechanism of Active Services for Network Based on UCL. The 4th International Conference on Active Media Technology (AMT 06). pp.289-292, 2006 • J. Yuan, et al, A Cross-Correlation Based Method for Spatial-Temporal Traffic Analysis, Performance Evaluation, Vol 61/2-3, pp 163-180, 2005

  17. Keping Long, R. S. Tucker, S. Cheng, J. Ma, R. Zhang. A New Approach to Multi-Layer Network Survivability: Strategies, Model and Algorithm. Journal of High Speed Networks, 10(2):127-134, Sept. 2001 • Keping Long, Wang Qian, Cheng Shiduan, Chen JunLiang. Quantitative Adaptive RED in Differentiated Service Networks. Journal of Computer Science and Technology, 18(2):223-229, Mar. 2003 • Keping Long, Xiaolong Yang, Sheng Huang, Xin Yang, Yujun Kuang. The SLA-Compatible Fault Management Model for Differentiated Fault Recovery, Proc. HPCC 2006 (High Performance Computing and Communications), Springer-Verlag LNCS vol.4208, p.737-742, Sept. 2006 • Jia Li, Keping Long, Xiaolong Yang, Ping Cheng, Zheng Gu, DiffServ-aware OBGP: A New Inter-domain End-to-End Lightpath Setup Scheme, Proc. of SPIE APOC'2006, pp:63541P1 - 63541P8, Sept. 2006 • Xiaolong Yang, Min Zhang, Keping Long. An Efficient Multiple-constraints QoS Routing Algorithm Based on Nonlinear Path Distance. Proceedings of Springer-Verlag LNCS 3314, pp.365-370, Dec. 2004 • J. Xu, D. Fournier-Prunaret, A-K. Taha, P. Chargé, "Chaotic dynamics in an N-dimensional system based upon a sine square maps", IEEE International Workshop on Nonlinear Maps and Applications (NOMA’07), Toulouse, France • Jie Xu, “Study the dynamic chaotic generated by functions sinusoidal for applications to the security of the transmissions ”, Congress of the PhD students (EDSYS 2006), Tarbes, France • Jie Xu, “Study of the chaotic signals in telecommunication”, Presentation of a poster in “Doctorales INP 2006”, Toulouse, France • Pascal Chargé, Jie Xu, Danièle Fournier-Prunaret, Abdel-Kaddous Taha, “A simple open chaos generator based upon a sine map”, 15th IEEE International Workshop on Nonlinear Dynamics of Electronic Systems (NDES 2007), Tokushima, Japan

  18. D. Fournier-Prunaret, J. Xu., A.Taha, P.Chargé, "Attractors and bifurcations in sine maps", 22th International Conference Differential Equations and Related Topics (Petrovskii’07), Moscow, Russia • D. FOURNIER-PRUNARET, A.-K. TAHA, J. XU, P.CHARGÉ, “Attractors and bifurcations in 2-D and 3-D sin maps”, European Conference on Iteration Theory (ECIT’06), Gargnano, Italy • 张林，任勇，山秀明．负载均衡的人工生命路由算法．《通迅学报》，2004，Vol.25，No.4A，pp.290–297 • 陆俊秀，山秀明，任勇，马正新．TCP流量的多尺度分析．《数据采集与处理》，2004，Vol.19，No.1，pp.5–9 • 刘锋，山秀明，任勇，张军，马正新．计算机网络的长程相关特性．《物理学报》，2004，Vol.53, No.2, pp. 373-378 • J.X. Lu, X. M. Shan, Y. Ren, Overlay networking: applications and research challenges,《通迅学报》, 2004, Vol.25, No.12, pp.46–52 • L.Zhang, Y.Ren, X.M.Shan, Pheromone-Based Ant Routing System for IP Networks, Tsinghua Science and Technology, 2004, Vol.9, No.2, pp.213-218 • 李旲，山秀明，任勇．具有幂率度分布的因特网平均最短路径长度估计． 《物理学报》，2004，Vol.53, No. 11, pp.3695–3700 • 山秀明，李旲，焦健，任勇，仇贲，曹轶群．网络病毒行为模式分析．《中国工程科学》，2003，Vol.5, No.12, pp.55 –59 • 王磊，周淑华，宋永华，任勇，山秀明．一种藉合连接机制的Internet仿真模型．微计算机信息，2007，23（34）：190-191 • X. Wang, Y. Ren, X.M. Shan, WDRLS：A Wavelet-Based On-Line Predictor for Network Traffic, IEEE GlobalCom 2003, Vol.7, 1–5Dec, pp.4034– 4038 • C. Liu, X.M. Shan, Self-suppressed NACK-based Multicast Congestion Control, Proc. of ICT 2003, February 2003 • 任丰原，林闯，任勇，山秀明．大时滞网络中的拥塞控制算法．《软件学报》，2003，Vol.14, No. 3, pp.503-511

  19. W. Wu, Y. Ren, X.M. Shan, Providing proportional loss rate and loss rate bounds for adaptive traffic: A new relative diffserv model, IEICE Transactions on Communications, 002 (1), pp.129-136 • F.Y. Ren, X.H. Yin, Y. Ren, X.M. Shan, A Robust Active Queue Management Algorithm Based on Sliding Mode Variable Structure Control, IEEE INFOCOM2002, Vol.1, 23-27 June, pp.13 –20 • 任丰源，任勇，山秀明，王福豹．二进制ABR流量控制算法的建模与分析．《计算机学报》，2002，6，pp.651-656 • 尹逊和，任丰源，任勇，山秀明．鲁棒的主动队列管理新算法．《计算机学报》，2002，10， pp.1018-1023 • 刘锋，任勇，山秀明，互联网络数据包传输的一种简单元胞自动机模型，《物理学报》，2002，Vol.51，No.6，pp.1175-1180 • X. Wang, X.M. Shan, A Wavelet-Based Method to Predict Internet Traffic, Int. Conf. On Communication Circuits and Systems, ICCCAS2002, pp.690-694 • F.Y. Ren, Y. Ren, X.M. Shan, Design of fuzzy controller for active queue management, Computer Communications 2002, 25, pp.874-883 • J. Yuan, K. Mills, Exploring Collective Dynamics in Communication Networks, Journal of Research of the National Institute of Standards and Technology, 107 (2), 179-191, 2002 • 袁坚，任勇，刘锋，山秀明．复杂计算机网络中的相变和整体关联行为．《物理学报》，2001，Vol.50，No.7，pp.1221-1225 • W. Wu, Y. Ren, X.M. Shan, A self-configuring PI controller for active queue management, APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.368-371. (IEICE Trans. on Comm. Vol.E84-B, Nov. 2001) • W. Wu, Y. Ren, X.M. Shan, Modeling dynamical behaviors of AQM-TCP joint system using Markov chains, APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.372-375.(IEICE Trans. on Comm. Vol.E84-B, Nov. 2001)

  20. W. Wu, Y. Ren, X.M. Shan, Stability analysis and parameter selection of RED, APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.376-379.(IEICE Trans. on Comm. Vol.E84-B, Nov. 2001) • F.Y. Ren, Y. Ren, X.M. Shan, Fluid-based analysis of ABR flow control in ATM networks, APCC2001, Tokyo, Japan, Sep. 16-20, 2001, pp.630-635.(IEICE Trans. on Comm. Vol.E84-B, Nov. 2001) • L. Zhang, Y. Ren, X.M. Shan, 1/f noise in multi-agent cooperative routing, ICNF 2001, Florida, USA, Oct. 22-25, p541-545 • F.Y. Ren, Y. Ren, X.M. Shan, Enhancement to RED algorithm, The 9th IEEE Int. Conf. On Networks. (ICON2001), Bangkok, Thailand, Oct. 10-12, 2001, pp.14 -19 • 张林，任勇，山秀明．人工生命路由算法及其在Internet网中的应用．《电信网技术》，2001，Vol.11. No.4 • 任丰源，任勇，山秀明．主动网络的研究与进展，《软件学报》，2001，Vol.12，No.11，pp.1614-1622 • J. Yuan, Y. Ren, X.M. Shan, Self-Organized Criticality in a Computer Network Model, Physical Review E61, 2000, pp.1067-1071 • J. Yuan, Y. Ren, X.M. Shan, Self-Organized Criticality in One Dimensional Packet Flow Model, Chinese Physics, 2000,Vol.9, No.9, pp.641-648 • 袁坚，任勇，山秀明．一种计算机网络的元胞自动机模型及分析．《物理学报》，2000，Vol.49，No.3，pp.398-402 • W. Wu, J. Yuan, X.M. Shan, Y. Ren, Exploring Collective Behaviors with Short-Range Correlation Between Routers, IEEE ICCT’2000, Beijing, Aug. 2000, pp.70-75 • 单琳伟，袁坚，任勇，山秀明．接入网联合接纳控制．北京邮电大学学报，2007，30(5)：9-12 • 吴霖，任勇，山秀明．QoS路由及其在IP中的实现．《现代电信科技》，2000.7，pp.16-21

  21. 发明专利 • 任勇等，国家发明专利：可移植的网络信息共享方法，2008101149145 • 任勇等，Nokia发明报告（提交美国专利）：A Web Page Segmentation Algorithm based on Link Layout（基于链接布局特征的网页分块算法），Nokia: NC66751 • Yong Ren, etc. US Patent：Improvements in or relating to user removable memory and associated methods，US-PA-SN:12/154,143，AD No:915-018.017 • 任勇等，国家发明专利：基于移动网状网的智能交通信息系统，200610144015.0 • 马建国等，国家发明专利：教育信息资源的语义标引方法，200410034544.6 • 马建国等，国家发明专利：网络信息资源的语义标引方法，200410034543.1 • 马建国等，国家发明专利：数据广播系统中的UCL嵌入方法，200410034539.5 • 马建国等，国家发明专利：教育信息资源降低误码率的控制方法，200410034542.7 • 马建国等，国家发明专利：互补结构网络的可信服务机制，200610021691.9 • 马建国等，国家发明专利：互补结构网络，200610021692.3 • 隆克平，王飞，黄胜等，国家发明专利：一种新型多层多粒度光交叉连接结构，200610054478.8 • 阳小龙，李培江，隆克平等，国家发明专利：一种新型的波长/波带共享转换结构，200610054476.9 • 常交法，王汝言，隆克平等，国家发明专利：一种光突发交换网络故障监测方法，200610054211.9 • 黄胜，阳小龙，隆克平等，国家发明专利：一种包含光分插复用器的多粒度光交换结构，200610054477.3

  22. 移动网关 Mobile Gateway Scenery Weather Gateway Gateway Internet Civil structure monitoring Traffic Gateway Gateway The uSD-Card Based Mobile Gateway to Sensor Networks

  23. Back Cover of Mobile Phones or PDAs Alcohol Sensor Temperature Sensor Magnetic Sensor Acceleration Sensor

  24. Hold Information ---- Control World acceleration compass position temperature

More Related