1 / 65

金碧辉

科技评价培训班. 文献计量学指标与科技评价. 金碧辉. 中国科学院文献情报中心. 文献计量学指标与科技评价. 关于 SCI 的讨论. SCI 是一种实用的评价工具. 由于 SCI 收录中国期刊少，或者说没有收录中国最好的期刊， 因此，不能反映中国的科学水平. 5000多种 SCI 期刊，质量参差不齐，影响因子可以解决期刊 的质量评估问题. 文献计量学指标与科技评价. 将 SCI 推向极至. 对 SCI 论文的高额奖励. 论文数量 X 系数=奖金. 影响因子 X 系数=奖金. “科学工分制”. 文献计量学指标与科技评价. 从两段对话谈起.

hova
Download Presentation

金碧辉

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 科技评价培训班 文献计量学指标与科技评价 金碧辉 中国科学院文献情报中心

  2. 文献计量学指标与科技评价 关于SCI的讨论 SCI 是一种实用的评价工具 由于SCI收录中国期刊少，或者说没有收录中国最好的期刊， 因此，不能反映中国的科学水平 5000多种SCI期刊，质量参差不齐，影响因子可以解决期刊 的质量评估问题

  3. 文献计量学指标与科技评价 将SCI推向极至 对SCI论文的高额奖励 论文数量X系数=奖金 影响因子X系数=奖金 “科学工分制”

  4. 文献计量学指标与科技评价 从两段对话谈起 对话对象：某大学化学与生物学系主任兼科技处处长 就生物学与化学学科的科研周期来看，每年发表3-5篇论文是否合适？ 还是比较合适的。 那么这样的要求是否会导致科研人员去追求发表论文而不是探索科学问题？ 你提的问题太对了。现在的评价导向就是让科研人员为发表而写文章。 我曾经问过系里的老师，你们发表了那么多文章，有没有一些科学突破？ 回答是：NO

  5. 文献计量学指标与科技评价 从两段对话谈起 对话对象：某地质大学副校长 就地质学科的科研周期来看，每年发表3篇论文是否合适？ 不合适。 那么为什么还要求博士生在三年的学习期间发表3篇论文呢？ 因为大家都这么做，不做不行。

  6. 文献计量学指标与科技评价 从两段对话谈起 问题的普遍性 缺乏与科学研究客观规律相适应的科学合理的科技评价方法。随波逐流，将柔性的科技评价变成刚性的数量指标。 问题的严重性 作为科学研究最活跃的因素，即人的因素失去了科学好奇心和探索精神，发表文章成了理所当然的奋斗目标。按文章数量论酬劳的“创举”，又给科学研究套上了功利的枷锁。更可怕的是，新一代的科学后备军就在这样的环境下“陶冶”成长。

  7. 文献计量学指标与科技评价 从两段对话谈起 问题的症结 缺乏对定量指标局限性的认识，走入“定量指标=客观评价”的误区。 缺乏科技评价目标与科技评价效果自恰性的检查和反省。 缺乏讲真话的评价氛围和相应的制度建设，导致专家的定性评价出 现信任危机。

  8. 文献计量学指标与科技评价 文献计量学 文献计量学： 以文献信息为对象，用数学和统计学的方法对文献分布 的规律进行研究与分析的一门科学。

  9. 过程和环境 结果 质量 系统功能 主观思维 外部干预 文献计量学指标与科技评价 科技评价 科学技术评价是对科学技术活动及其产出和影响的价值进行判断 的认识活动。科学技术评价既是科学共同体运行的内在机制，也 也是科学技术管理的工具，是对科学技术活动进行预测、决策、 管理、监督、验收的手段。 干扰？ 促进？

  10. 文献计量学指标与科技评价 文献计量学与科技评价 科技评价的内涵要比文献计量学和科学计量学所能测度的内 容丰富的多。如果仅用定量数据评价科学活动，科技评价会 因此变得刚性、科学探索会因此而保守、学术思想会因此而 僵化、中国科学会因此而蒙受损失。 在宏观和中观层次上的定量观测结果具有一定的参考价值。 在微观层次上，由于科学研究活动是一种复杂的人类社会活 动，单纯的定量指标很难对个性化的科研结果，特别是科研 结果的质量高低作出科学、合理的评价。

  11. 文献计量学指标与科技评价 定量数据告诉我们什么

  12. 文献计量学指标与科技评价 定量数据告诉我们什么

  13. 文献计量学指标与科技评价 定量数据告诉我们什么 专利与R&D总开支OECD国家（1999年）与非OECD国家（2000年）

  14. 文献计量学指标与科技评价 定量数据告诉我们什么 专利与全时科技人员部分OECD国家与非OECD国家（1998年）

  15. 文献计量学指标与科技评价 数字背后的陷阱 SCI论文 是事实! ？ 是繁荣? 有泡沫?

  16. 文献计量学指标与科技评价 数字背后的陷阱 SCI论文 在国际期刊上发表论文意味着什么 达到了在某刊正式发表的水平 ？ SCI论文 学术价值 

  17. 文献计量学指标与科技评价 数字背后的陷阱 SCI论文 科学共同体的范式和同行评议制度 决定了 高水平的期刊上聚集了高水平的论文 ？ 高水平期刊 高水平论文 

  18. 文献计量学指标与科技评价 数字背后的陷阱 SCI论文 1997、1999和2002年TOP期刊论文 ？ 高水平期刊 高水平论文 

  19. 文献计量学指标与科技评价 数字背后的陷阱 SCI论文 1997、1999和2002年TOP期刊论文 ？ 高水平期刊 高水平论文 

  20. 引频<5 34043篇 论文占总数 54.26% 引频占总数 10.23% 引频>100 424篇 论文占总数 0.68% 引频占总数 10.66% 引文 论文 文献计量学指标与科技评价 数字背后的陷阱 SCI论文 10种物理学TOP期刊论文 ？ 论文(篇) 62743 被引频次 657230 高水平期刊 高水平论文 

  21. 文献计量学指标与科技评价 数字背后的陷阱 ？ SCI论文 10种物理学TOP期刊论文 世界 论文(篇) 62743 引频>100 0.68% 引频<5 54.26% 引频0 13.27% 中国 论文(篇) 3212 引频>100 0.06% 引频<5 64.48% 引频 0 19.46% 高水平期刊 高水平论文 

  22. 文献计量学指标与科技评价 数字背后的陷阱 ？ SCI论文 15种化学TOP期刊论文 世界 论文(篇) 54127 引频>100 0.47% 引频<5 45.02% 引频 0 8.31% 中国 论文(篇) 2122 引频>100 0 引频<5 58.91% 引频 0 13.15% 高水平期刊 高水平论文 

  23. 文献计量学指标与科技评价 数字背后的陷阱 ？ SCI论文 28种生物学TOP期刊论文 世界 论文(篇) 45655 引频>100 34.22% 引频<5 27.09% 引频 0 6.93% 中国 论文(篇) 224 引频>100 5.36% 引频<5 43.75% 引频 0 11.16% 高水平期刊 高水平论文 

  24. 文献计量学指标与科技评价 数字背后的陷阱 SCI论文 被SCI 收录的某中国期刊 2000年 影响因子0.993 被引频次327 自引314 2002年 影响因子2.532 被引频次1535 自引1431 ？ 玩数字游戏的高手 欺骗了科学家与决策者 搅乱了正常的学术秩序 干扰了统计数据的客观性

  25. 文献计量学指标与科技评价 数字背后的陷阱 EI论文 收录标准: 目次页的前几篇文章 英文文摘比较标准的文章 ？ 收录标准与科研评价标准风马牛不相及

  26. 文献计量学指标与科技评价 数字背后的陷阱 ISTP 收录标准: 虽然有同行评议过程,但标准比正式期刊低 吸引更多的同行参加会议是国际会议的组织策略之一 ？ 优秀的论文都会在正式期刊上发表

  27. 评价 评判价值 价值标准 评价结果 文献计量学指标与科技评价 科技评价评什么 SCI论文 EI论文 不同类型的科研 与教学活动具有 不同的价值标准 ？ 国内领先 国际先进 ？

  28. 目标 文献计量学指标与科技评价 科技评价的行为主体 管理者 提高科研质量与效率、优化资源配置 评价专家 事实求事评判科研工作的价值，提出建议 被评价者 明确工作目标，获得勇于探索的动力

  29. 文献计量学指标与科技评价 美国的经验 GPRA对以前实行的评价方法的看法 出版物数量： 单独使用出版物数量，或在缺乏能够充分体现绩效的其他信息、缺乏对科研环境考察的情况下，有可能造成一个即使不是错误的，至少也是不完善的结果。仅仅使用出版物数量作为一个绩效指标，依赖它来运作，也许会影响出版模式或出版率，造成那种只注重创作更多论文的动机，却忽略了对新知识的探索。

  30. 文献计量学指标与科技评价 美国的经验 GPRA对以前实行的评价方法的看法 评估的根本原则： 联邦科学机构必须明确各自在科学发展中的定位与性质，制定实现国家目标的最佳的可行性角色的评估战略。适当的评估战略应当鼓励美国科学能力的最有效的使用，保持和提高研究系统的优越性和响应性。 一些被采用的评估方法应该精确地反映出被评估的项目的优先权。造成那些引起负面动机的绩效指标必须被消除，因为它们比根本没有指标更糟糕。

  31. 文献计量学指标与科技评价 美国的经验 GPRA对以前实行的评价方法的看法 评估的根本原则： 为确保世界级研究水平而对科学事业进行管理，同行评议是基础。研究项目要由科学专家来评定其价值，资金的配置也须以研究项目的科学价值为依据。潜在的科研项目和科研计划要根据知识前沿领域的卓越的研究活动的标准进行评价。同行评议的价值评估同样可以被用来对一个机构的基础科学项目作回顾性评价。这种回顾性评价的结果可以与其他有关信息资源相结合。

  32. 文献计量学指标与科技评价 美国的经验 基础科学项目评估原则 首先对项目目标作清晰详尽的描述； 规划出旨在维持和提升研究系统的优点和回报的标准； 建立起对管理人员有用的绩效指标，鼓励风险投入； 避免过度繁重的，或花费太大的，或可能引起制造数据的动机的评估活动； 合并对项目绩效的价值评价和同行评议； 使用多种评价素材和证据，如定量指标、定性指标和叙述性报告的结合； 进行实验以规划出一套有效的评估工具； 提出评估报告，为完善未来的政策发展和项目计划提供参考； 将评估结果传达给公众和有关代表。

  33. 文献计量学指标与科技评价 荷兰的研究 荷兰物质科学基础研究基金会凝聚态物理56个项目同行评议结果与文献计量学指标的排序结果之间的相关性分析 荷兰莱顿大学科学社会学研究中心

  34. 评价 评判价值 价值标准 评价结果 文献计量学指标与科技评价 科技评价评中的问题 SCI论文 EI论文 不同类型的科研 与教学活动具有 不同的价值标准 ？ 国内领先 国际先进 ？

  35. 简单地使用定量数据，用定量数据代替同行评议。简单地使用定量数据，用定量数据代替同行评议。 将SCI论文和EI论文放到了不恰当的位置，成为 最高的学术标准。 量化评价结果不科学地与个人利益挂钩，这种利益 驱动的评价导向引发了科研人员的短期行为。 文献计量学指标与科技评价 科技评价评中的问题

  36. 文献计量学指标与科技评价 科技评价中的问题 问题 定量数据=客观性 ？ 管理者的认识误区 不敢讲真话 评价者的人情文化 被评价者的无奈与行为异化 科研目的：为了发表文章，而不是探索未知问题 借文章、抄袭、制造假数据、拆分文章、拼凑文章、 小团体互引、不敢大胆探索、用钱买引文……

  37. 文献计量学指标与科技评价 如何对待定量数据的排序 定位 作用 利用 少一点 新闻、抄作 目标与结果 一致性 多一点 研究、观察

  38. 文献计量学指标与科技评价 如何对待定量数据的排序 定位 作用 利用 辅助 为评价专家提 供思考的空间 参考

  39. 文献计量学指标与科技评价 如何对待定量数据的排序 定位 作用 利用 纵向比较 切忌定量评价的 绝对化和简单化 同类比较 与定性评价结合 目标与结果一致

  40. 文献计量学指标与科技评价 科技评价检验 价值取向 检验 评价方法 评价标准 评价结果

  41. 文献计量学指标与科技评价 专家的告诫 加菲尔德： 对于那些从定量数据中得出的定性结论总是取决于其应用中的智慧。

  42. 文献计量学指标与科技评价 专家的告诫 H.F.墨德教授： 只有当文献计量学指标具备了足够先进的技术水平，只有当人们对文献计量学指标的自身缺陷有了足够的认识时，也只有在这些指标与其他更多的定性评价信息相融合时，文献计量学指标才能成为科研绩效评价的有效工具。

  43. 文献计量学指标与科技评价 专家的告诫 R.鲁索教授： 科学计量学指标并不是要取代专家,而是为了能够对研究工作进行观察和评论,从而使专家能掌握足够的信息,形成根据更充分的意见,并在更高的信息集成水平上更具有权威性。

  44. 文献计量学指标与科技评价 如何运用定量数据中的信息 英国科学技术办公室主任David A. King 2004年7月15日《Nature》： The scientific impact of nations 美国海军研究所Ronald N. Kostoff博士 2004年9月27日《The Scientist》： The (Scientific) Wealth of Nations

  45. 文献计量学指标与科技评价 如何运用定量数据中的信息 King：选择了31个国家或地区作比较对象，中国的归一化篇均引文倒数第四。 Kostoff：如果要向决策者提供有用的信息，就需要对感兴趣的国家的关键技术进行仔细分析后，再进行国家层次的总体分析才有意义，也才能评价表达国家政策的这些技术之间的关系。Kostoff对关键性的纳米技术领域进行了SCI论文数量的统计，结果是中国第一，美国第二。

  46. 文献计量学指标与科技评价 如何运用定量数据中的信息 纳米技术高度关键领域的论文数（1997-2002年） 中国第1位，比美国高出14%。在前6位国家中，中国、日本和韩国等亚洲国家的论文数比美国、德国和法国三个西方国家的论文数多20%。

  47. 文献计量学指标与科技评价 如何运用定量数据中的信息

  48. 文献计量学指标与科技评价 如何运用定量数据中的信息

  49. 文献计量学指标与科技评价 如何运用定量数据中的信息

  50. 文献计量学指标与科技评价 如何运用定量数据中的信息

More Related