理论篇 （续）

1. 面向21世纪课程教材 数字图书馆原理及应用 理论篇（续） 刘炜 上海图书馆数字图书馆研究所

2. 数字图书馆产生背景 • 信息技术发展的后果； • 图书馆业务处理对象：信息载体质和量的变化； • 图书馆业务处理手段：网络化、虚拟化、自动化； • 迫使图书馆必须调整馆藏结构、变革处理流程、改变服务方式。 第二章 数字图书馆的发展

3. 数字图书馆的产生背景-内因 • 文献载体电子化、数字化； • 文献信息利用手段受到信息技术发展的影响，特别是计算机和网络技术的发展。 第二章 数字图书馆的发展

4. 数字时代实现图书馆的四大职能 • 图书馆的四大社会职能*在数字时代的延续 • 保存人类文化遗产 • 开发智力资源 • 传递科技信息 • 开展社会教育 *出处：国际图联(IFLA)1975年在法国里昂举行的关于图书馆职能的学术研讨会 第二章 数字图书馆的发展

5. 图书馆在信息社会中居于中心地位 • 国际图联（IFLA）在2003年柏林信息社会全球峰会的决议中指出，图书馆在信息社会中居于中心地位[1]。图书馆以信息载体为处理对象，通过对其所负载的知识内容的加工、处理和整序，达到传播和利用知识的目的。随着信息社会的到来，图书馆这样一个以信息载体及其负载的知识内容为工作对象的社会机构，从形态到结构、从流程到手段都在发生巨大变革，数字化和网络化是图书馆面临的必然趋势，数字化是源，网络化是流，通过网络手段将数字信息提供给用户是图书馆服务的最终目的。 [1]参见：http://www.csls.org.cn/international/interconfe1.htm（访问日期：2004年7月27日） 第二章 数字图书馆的发展

6. 数字图书馆的产生背景-外因 信息资源的剧增 第二章 数字图书馆的发展

7. 数字化信息量举例 • 音乐作品(莫扎特)：约100MB • 报纸(华尔街杂志)：100MB/年(文本) • 卡片目录(美国国会图书馆)：17GB • 广播(WABC) ：270GB/年(未经压缩) • 网络论坛(Netnews)：300GB/年 • 地区图书馆(加州大学图书馆)：1.4TB(图书扫描版) • Internet出版(WWW)：1997年约4TB • 电视(CNN新闻)：1GB/1小时, 6TB/年(经压缩) • 录像带出租(Blockbuster Video)：9TB • 科研图书馆(美国会图书馆)：全部图书馆数字化20TB • 来源：美国伯克利加州大学教授Peter Lyman和Alex Internet公司总裁Brewster Kahle所著《文化制品数字化存档行动纲要》。 第二章 数字图书馆的发展

8. 120 100 80 Radio TV Cable Internet 38 13 10 <5 Millions of Users (USA) 60 40 Cable Internet Radio TV 20 0 1980 1995 2000 1950 320M 230M 175M 140M 110M Rest of World Japan/AP Western Europe US 1998 1999 2000 2001 2002 互连网以爆炸方式发展普及 # of Years to Reach 50 MM Users (USA) 1922 Source: Morgan Stanley Research ... 到全球每个角落 第二章 数字图书馆的发展

9. 300 Exabytes 全球信息存在形式 模拟 数据 20 Exabytes 纸 胶片 录象带 离线 1000 Petabytes 在线 CDs 数字影像 磁带 100 Terabytes . Internet 硬盘 文件系统 10 HTML 第二章 数字图书馆的发展 Source: Information TYO (June 1999) by Ashok Chandra, IBM Research - Almaden

10. 世界信息总量 • 全世界每年生产信息1 x 1018 2 x 1018 字节信息, 大约为全世界每人250MB字节。 • 印刷体只占0.003%, 磁介质93%。 • Email达11,285TB。 • Usenet 73TB。 • 2000年WWW公共浏览网页21亿, 平均每个网页10K数据,每年新增700万网页。2001年网页将达到40亿。 • 众多数据库以非网页形式存储7,500TB数据,包含5,500亿记录或文件。 • 中国短信信息总量10亿条/年* 第二章 数字图书馆的发展

11. 1999年世界范围静态信息生产量(单位：TB, 千千兆, 1012字节) 介质 媒体形态 产量/上限 产量/下限 增长率 纸张 图书 报纸 期刊 办公文件 小计 8 25 12 195 240 1 2 1 19 23 2 2 2 2 2 光学介质 音乐光盘 数据光盘 DVDs 小计 58 3 22 83 6 3 22 31 3 2 100 70 磁介质 数字摄象磁带 个人计算机硬盘 部门服务器 单位服务器 小计 300,000 766,000 460,000 167,000 1,693,000 300,000 7,660 161,000 108,550 577,210 5 100 100 100 55 总计 2,120,539 635,480 50 来源：曾民族先生的有关报告 第二章 数字图书馆的发展

12. 数字图书馆的产生背景-外因 信息高速公路的建设和因特网的发展 第二章 数字图书馆的发展

13. Internet 利用量 • Internet 用户: 30 to 300 million in 2001 • Internet 流量: 每 70 天翻一番 • 电子商务: 2002年1.3 万亿美元 • 1997年PC台数销售量超过 TV 第二章 数字图书馆的发展

14. 网络信息资源的挑战 • 数量巨大 • 没有一个搜索引擎能够覆盖万维网的16% 网站； • 所有搜索引擎加起来覆盖了万维网的42% • 极端异质 • 信息值不同 • 长度不同 • 语法或输入错误 • 内容错误、过时或不可靠 • 多种格式 • 多语种 • 速度问题 • 每分钟需要接受15,000 ~ 20,000次查询请求 第二章 数字图书馆的发展

15. 数字图书馆的产生背景-外因 数字化技术的发展 第二章 数字图书馆的发展

16. 信息服务领域的技术进步 (1) 技术类别 七十年代 (联机服务) 八十年代 (Internet服务) 九十年代中期以来 (网络服务) 网络 联机 LAN, Internet 第二代Internet宽带网, MAN,无线, 网格, 网络服务 计算机 小型计算机 个人电脑 手持, 家用, 芯片 磁盘价格(1MB) 约1万美元 1988年11.54美元 1994 0.71美元, 1998 0.07美元, 2000 0.03美元 2002 0.01美元 信息量单位 MB, GB GB, TG TG, PB, EB 数字化 OCR, 模式识别 数字化Audio/video 语音识别 第二章 数字图书馆的发展

17. 信息载体 文本 多媒体 虚拟空间 信息层次 文本信息 显形知识 隐形知识 信息组织 结构化, 关系数据库 半结构化, 关系数据库 非结构化, 数据仓库, 信息体系结构(IA) 内容特征(标识) 规范控制 元数据(metadata) 专业元数据 内容组织格式 MARC SGML, HTML XML, 专业标置语言 内容组织体系 Thesaurus Wordnet CYC, Taxonomy, Ontology 内容转换 压缩技术, 汉字切分关键词抽取 试验性：自动标引, 自动分类, 自动摘要, 自动翻译 实用性, 智能化：自动标引, 自动分类, 自动摘要, 自动翻译, 自动文本生成 内容控制 全文文本排序、算法改进 假设内容处理单元都是独立的, 最多仅是词法、句法关联 数据挖掘、数据融合、文本挖掘、信息抽取, 可视化 信息服务领域的技术进步(2) 第二章 数字图书馆的发展

18. 信息链接 文献内部, 文献间, 引文链接 超文本链接,跨库链接,Internet链, Intranet链接 跨网链接, 语义链接跨语言链接 集合组织 主题网站 信息门户, 跨网门户 虚拟资源门户, 语义门户 信息提供 文本 多媒体 个性化, 可视化 信息推荐 SDI 推技术, TOC, Alert awareness, Recommender, Wrapper, information filtering 信息检索 全文文本 搜索引擎 多媒体检索, 内容检索, 语义检索 用户界面 菜单 多窗口, 多媒体 可视化 信息服务领域的技术进步 (3) 第二章 数字图书馆的发展

19. 数字图书馆发展的社会背景 • 数字图书馆是社会信息化发展的必然产物 • 数字图书馆是评价一个国家信息基础水平的重要标志 • 数字图书馆是21世纪全球文化竞争的焦点之一 • 数字图书馆建设有利于带动相关行业发展 第二章 数字图书馆的发展

20. 数字图书馆产生演变过程 • 形成过程 • 文献资源数字化 • 数字资源集成 • 数字资源共享 第二章 数字图书馆的发展

21. 数字图书馆产生演变过程 • 早期数字化技术和概念探索阶段 • V. 布什的As we may think • 兰开斯特的无纸化社会预言 • 电子图书馆的定义与猜想 • 图书馆自动化管理系统的研究开发 • 数字图书馆项目启动 • 数字图书馆建设与利用 第二章 数字图书馆的发展

22. 美国数字图书馆研究开发情况 第二章 数字图书馆的发展

23. DLI1研究项目 • 加州大学伯克利分校——环境电子图书馆：可升级的、智能化和分布式电子图书馆的原型 • 加州大学圣巴巴拉分校——亚历山大项目：图象和空间参考信息综合服务的分布式数字图书馆的初步探索 • 卡内基﹒梅隆大学（Carnegie Mellon University） —— 信息媒体：集成声音、图象和语言理解技术创建和探索数字视频图书馆 • 伊利诺大学厄尔巴那分校——构建互联空间：为大学工程学科建立数字图书馆的基本架构 • 密歇根大学——智能信息搜索 • 斯坦福大学——斯坦福综合电子图书馆 第二章 数字图书馆的发展

24. DLI2研究项目 • 专家选择利用信息的轨迹研究及其利用 • 图象传输中的安全研究 • WWW上自动化参考“图书馆员” • 为人文科学服务的实验图书馆 • 棉质藏品的2D/3D重建 • 高性能的数字图书馆分类系统：从信息搜寻到知识管理 第二章 数字图书馆的发展

25. DLI2特点概述 • 信息检索领域技术在不断进步； • 数字图书馆的研究领域极大地扩展； • 许多重组因特网网络资源的努力正在取得效果； • 出现数字图书馆专业课程，对专业教育做出贡献 第二章 数字图书馆的发展

26. DLI-2在规模、范围、内容和方向上的显著变化 • 受资助单位大幅度增加 • 在过去纯研究的风格外，增加了面向实际问题的研究和开发 • 除保留了传统的体系结构、信息检索、互操作主题之外，一些新的研究主题受到关注，如：信息保藏、添加声音、建立和维护数字图书馆的实际问题、与医疗有关的电子病历、医学图象等 • 与情报学的联系密切 • 地理信息核医学情报是众多项目的交汇点 第二章 数字图书馆的发展

27. 加州大学数字图书馆 • 1999年1月开馆，9所图书馆联合 • 目标： • 资源共享 • 补充传统收藏，促进资源利用 • 履行职能，管理资源 • 应用用数字图书馆技术，实践新的服务模式 • 对社会公众开放 第二章 数字图书馆的发展

28. 加州大学数字图书馆 最新资源：报纸历史文档 • Palmer's Index to The Times (coverage: The Times 1790 to 1905) • The Official Index to The Times (coverage: The Times 1906 to 1980) • The Historical Index to The New York Times (coverage: 1851 to September 1922) • Palmer's Full Text Online (coverage: The Times 1785-1870 full text) 第二章 数字图书馆的发展

29. 美国国会图书馆 • 国家数字图书馆 • 美国记忆 • 数字图书馆竞争项目 第二章 数字图书馆的发展

30. 美国国会图书馆 • 图书馆竞争项目概况 • 首次将国家数字图书馆馆藏扩大到国会图书馆之外； • 三年内由Ameritech提供200万美元奖金； • 每年不超过十个获奖项目； • 竞赛向除了联邦图书馆之外的所有美国境内的图书馆、档案馆、历史协会和其它原始资料收藏机构开放； • 所有选择的资料必须世纪在美国历史的原始资料； • 所有数字化资料必须通过美国国会图书馆“国家数字图书馆”网站对外服务； • 所有内容须经知名图书馆专家审核。 第二章 数字图书馆的发展

31. 大不列颠图书馆 建设数字图书馆的主要任务 • 促进各类书目、联合目录的利用，对现有馆藏的揭示提供详尽信息，改善馆藏存取； • 促进数字化馆藏资源建设和利用； • 注重创新各种数字化资源的服务模式; • 制订规划进行馆藏资源的数字化建设； • 促成呈缴本制度的改革，使之包括数字化出版物； • 在管理、用户服务、部门协作、员工技能等各方面均得到提高。 第二章 数字图书馆的发展

32. 大不列颠图书馆 • 传统图书馆走向数字图书馆的典型 • 从收藏和利用的角度出发，考虑到数字媒体的大量涌现，图书馆无法不正视，读者也需要数字媒体； • 扩大读者群体，发展图书馆的无疆界服务； • 成为国家数字信息网络的重要组成部分，参与信息基础设施计划； • 实现国家提出的继续教育和终身教育职能。 • 政府部门（研究与创新中心：Research and Innovation Center）大力推行，号召企业界赞助(但似乎不太成功)。 第二章 数字图书馆的发展

33. 第二章 数字图书馆的发展

34. 第二章 数字图书馆的发展

35. 各国数字图书馆计划 • 西方八国集团数字图书馆计划: • 法、日、美、英、加、德、意、俄的“全球信息社会”项目，其内含各国文化历史精华。 第二章 数字图书馆的发展

36. 国外数字图书馆建设的特点 • 严格规划，分工协作 • 研究涉及面比较广 • 研究重点各有所异 • 投入资金量较大 • 注重基础设施支持 • 运行模式值得借鉴 • 多渠道投入 • 市场化运营 第二章 数字图书馆的发展

37. 我国数字图书馆发展概况 • 中国数字图书馆工程 • 国家科技数字图书馆 • 中国高等教育文献保障体系 • 中国实验型数字图书馆计划 • 教育部数字图书馆“九五”公关项目 • 中国知识基础设施工程 • 万方数据资源系统 • 辽宁省数字图书馆项目 • 台湾的数字图书馆 第二章 数字图书馆的发展

38. 我国数字图书馆建设的特点 • 运行模式：国家、地方、企业投入，免费/收费相结合 • 研究力量：图书馆界，科研机构，IT厂商 • 研究重点：数字化 • 存在问题：版权/技术/模式 第二章 数字图书馆的发展

39. 数字图书馆的发展趋势和方向（B）p34 • 趋势： • 服务形态用户化：从以数字化资源为中心转为以向用户提供集成服务为中心发展； • 资源形态全息化：存储全息化，海量信息的综合存储、检索、查询技术取代目前众多的单一形式的资源系统； • 管理形态集成化：资源高度集成化管理、自动超链接技术的使用，易用性强； • 技术形态高级化：数字化技术进一步完善，各类计算机技术迅猛发展，在数字图书馆中广泛得到应用； • 事业形态标准化：数字图书馆标准化将取得较大进展，从软硬件规格、接口、协议到用户界面，普遍采用各类标准； • 事业发展社会化和国际化：跨行业、跨国合作联合开发建设的趋势明显。 第二章 数字图书馆的发展

40. 数字图书馆的发展趋势和方向（B） • 方向： • 加强数字图书馆建设的战略管理 • 加强特色资源建设 • 加强数字图书馆建设的合作协调 • 加强数字图书馆的可用性评价 • 加强数字图书馆的知识管理 • 加强数字图书馆的标准化管理 • 加强数字图书馆用户的研究与关系管理 第二章 数字图书馆的发展

41. 数字图书馆的发展趋势和方向（B） • 方向： • 宏观管理层面： • 加强数字图书馆建设的战略管理 • 加强数字图书馆建设的合作协调 • 数字资源层面： • 加强特色资源建设 • 加强数字图书馆的知识管理 • 网络服务层面： • 加强数字图书馆的可用性评价 • 加强数字图书馆用户的研究与关系管理 • 技术层面： • 加强数字图书馆的标准化管理 第二章 数字图书馆的发展

42. 网格技术对于数字图书馆的影响（A） 回答要点： • 什么是网格技术 • 网格技术的基本特点是什么？ • 网格技术的特点与数字图书馆特点的结合点 • 网格技术在数字图书馆中的应用 第二章 数字图书馆的发展

43. 网格技术及其特征（A） • 网格概念来源于电力网格，是因特网信息技术的最新发展和前沿领域； • 网格是高性能计算机、数据资源和因特网三种技术有机结合的产物； • 网格以资源共享为基本特征，是一个一致的、开放的、标准的计算环境和平台。 第二章 数字图书馆的发展

44. 网格技术在数字图书馆建设中的应用（A） • 为数字图书馆构造统一的平台 • 有利于数字图书馆的信息集成 • 有利于实现资源共享 • 有利于海量信息处理 • 有利于数字图书馆进行知识管理 第二章 数字图书馆的发展

45. 关于网格的参考资料 • 目前的网格热来自于”网格计算”，网格计算是指通过一定的体系构架规范与协议，通过一定的软件工具将互联网上分散的计算机结点组合成统一虚拟的一台超级计算机。 • 从计算网格出发，还有数据网格、信息网格、知识网格、语义网格等等延伸概念。以及还有一些平行的概念比如资源网格、服务网格等等。 • 信息网格是要利用现有的网络基础设施、协议规范、Web和数据库技术，为用户提供一体化的智能信息平台，提供用户点播及一站式的服务。 • 与计算网格不同，信息网格与知识网格关注信息与知识的整体体系结构、如何来表述、元数据内容，以及如何进行互连和保持一致性，数据的安全等等。 • 管理网格与网格化管理我个人理解应该是管理上的概念，与计算网格基础上产生的各种网格概念有较大的区别 • 目前的中心图书馆建设只是一个独立完整的图书馆自动化系统，从网络层面来看，它是一个层次架构形式的网络。 • 我们已经在中心图书馆平台上成功进行了图书馆自动化系统层面的中心馆建设，我们还可以在中心图书馆平台进行数字图书馆层面的建设，可以利用许多网格技术与方法，建成多个信息与知识网格，含有分布全市的成百个网格节点。 • 在中心馆网格建设中，要注意的是研究网格计术、标准与规范，制定相应的信息与知识的描述与元数据规范，制定相应的接口协议，进行相应的工具开发，同时要策划、制定相应网格的目标、内容与建设方略，鼓励中心图书馆建设各方积极参与。 • 从网格的概念出发，我们目前策划的上海年华之类的项目是非常适合以信息网格的形式开展建设的项目。美国当年的美国记忆（American Memory）就有过以中小型图书馆进行数字图书馆建设项目竞赛的形式，发动各个馆生产本地有特色的反映美国历史文化的资源。 第二章 数字图书馆的发展

46. 李幼平：文化网格 • 1. Internet是世纪末人类的一项伟大创造，它非常适合于经济发达、人口稠密的地区。它还将持续发展。已经出现了更先进的Internet-Ⅱ，今后还将出现Internet-Ⅲ。文化网格不是用来取代Internet，而是补充Internet之不足。2. “数字鸿沟”的现象表明，Internet不适合于非发达地区解决数字文化的普及问题。3. “数字鸿沟” 的本质是“成本鸿沟”。Internet（尤其是它的最后一公里）的“户均成本”同单位平方公里的用户密度有关。在经济不发达和人口稀少的广大农村，不但居民收入低，而且每平方公里的潜在用户很少，成本除以户数，户均成本大幅度提高。穷的地方成本反而贵了，造成难以克服的“鸿沟”。 要让八亿中国农民享用数字文明，只能偏离TCP/IP规定的方向寻找另类出路。4. 对Internet而言，文化网格的思维是一种怪异，一种另类。它没有路由，没有网关，没有带宽瓶颈，没有“最后一公里”，但仍维持用户对资源的自由选择，维持双向互动，只不过手段完全两样。我们试图依托存储密度的科技的进步，加上卫星广播和短信反馈等成熟技术，从正向传播、逆向反馈两个方面大幅度降低成本，找到在不发达地区普及数字文化的出路。5. 正向传播方面，“一次广播，亿户收存”，固定的广播成本除以上亿的用户数目，户均成本自然大幅度减少。同“一对一”或“端对端”的相比，万维网是“个案生产”，文化网格是“大批生产”，利用“规模效应”强占优势。从降低成本角度看，用户愈多愈合算。中国有十三亿人口，人口众多本来是给信息化出了难题，在这儿反而成了推动创新的动力。6. 以国家名义组建超级文化资源。其中包括250种报纸，250个网站，500种期刊和一千门课程，形成内容极其丰富、足以满足各种的个性需求的、全国规模的文化资源，通过卫星DVB-S大于 32Mbps（345GB/天）的带宽直播，让960万平方公里国土内数亿用户平等受益，城乡无欺，任他们自由选择收存的对象。超级文化资源每天大约产生10GB的新鲜内容，24小时之内卫星可以重复广播数十遍，再加以适当防错编码，全国城乡很容易做到“凡曾广播，我都拥有”。7. 改“逐页下载”为“整体镜像”。因为用户端存储容量很大，只要是用户指明的网站或栏目，先不计较具体内容，一概先存下来再说。这些网站上每增添任一个新的网页，用户端很快也就有了，这就叫“镜象”。对“零距离”存储器的内容选择，效果等效于对“远距离”网站的内容选择。“远互动”变成“近互动”，公众网站上的资源变成“我的资源”。这种“私有化”不同于物质资源的私有化，它没有分配冲突，没有互相妨碍，没有病毒困扰，没有户数限制，没有时间等待。实现了真正的共享（communion）而不仅仅是总量守恒意义下的的分享（share）。8. “整体镜象”另一好处是大大简化逆行反馈信道。大量“远互动”被“近互动”取代，意味着需要反馈到远处信源端的信息巳减至最少，变成了十分简短的“短信”。中国特色的“短信”还处于萌芽状态，但有一条巳经肯定：它可以做到低成本。9. 下行极宽、极大，上行极窄、极短，组成极不对称的双向互动，这是文化网格怪异之处，也是它实现低成本运作的创意所在。10. 《新型信息化化的模式与方案》是一个意义重大的研究工作，路甬祥、李国杰院士巳经为它指明了方向。我相信，在他们的领导下，课题一定能拿到经费，并取得实质性的成果。路甬祥院士早就指出：信息资源有许多不同于物质资源的特性，最重要的一点就是它的共享性。信息资源可以极低的成本进行克隆，这意味着共享信息资源的代价应该很小。 第二章 数字图书馆的发展

47. 思考题 • 简述数字图书馆发展的历史（阶段，特征） • 谈谈数字图书馆的发展方向 • 网格技术对于数字图书馆建设的意义 第二章 数字图书馆的发展