科学技术评价方法及主要国家的做法

科学技术评价方法及主要国家的做法 刘云北京理工大学 2004年12月

内容提要 一、引言二、什么是科学技术评价三、为什么要开展科学技术评价四、科学技术评价方法及其应用五、主要国家科技评价的做法六、几点启示

一、引言 科学技术评价活动在科学技术发展的不同历史时期具有不同的特征。在近代科学技术发展的早期，由科学家个人兴趣和好奇心驱动的自由探索研究成为科学技术活动的主要形式，科研活动主要依靠自筹资金、社会资助和权贵的捐助，政府的投入很少。科技活动的文化属性突出。科学技术评价主要限于科学共同体内部的学术评价和对科学家重大科学发现的优先权的识别，评价的目的在于促进学术交流、建立科学规范、引导研究方向。

一、引言 20世纪以来，人类的科学技术活动进入“大科学”时代，科学技术在国家经济、社会和安全中的战略地位日益凸现,成为第一生产力。特别是二战以后，发展科学技术成为国家战略和国家政策的重要方面。科技活动的文化属性和生产力属性并重。政府对科学技术活动的宏观引导与组织管理不断加强，对科学研究的投入不断加大。科学技术评价不仅限于科学共同体内部的学术评价机制，也成为政府制定科技政策、配置科技资源和实施有效管理的重要行为（手段）。

共同理念自由发展 观念共同目标严格管理生产活动物质资源-精神产品过程物质财富循环增值文化活动成果水平、质量、精品效益、数量、规模方针、政策引导组织制度规范个人创造与灵感环境团队精神与合作等科技活动的本质规律对评价的要求科学技术工作是集生产力和文化属性为一体的活动

科技活动的本质规律对评价的要求 • 科技评价的困难在于：需要寻找一种能兼顾生产力评价和文化评价为一体的方法。

二、什么是科学技术评价 • 概念内涵科学技术评价是对科学技术活动及其产出和影响的价值进行判断的认识活动。科学技术评价既是科学共同体和科学技术发展内在的、基本的学术评价机制，也是科学技术管理的工具，是对科学技术活动进行预测、规划、决策、管理、监督的手段。

二、什么是科学技术评价 科学技术评价分类 • 按科技活动阶段：事前评价、事中评价、事后评价。 • 按评价目的：立项评审、中期评估、结题验收、绩效评价。 • 按评价对象：政策评价、计划评价、项目评价、机构评价、人员评价、成果评价等。 • 按评价方法：定性评价、定量评价、综合评价等。 • 按评价执行方：内部评价、外部评价。

二、什么是科学技术评价 科学技术评价的原则 • 科学性 • 独立性 • 客观性(注意客观与主观的统一,反映事物的本质属性) • 公正性 • 国际性 • 实效性 • 公开性

三、为什么要开展科学技术评价 科学技术评价的需求： • 优化配置政府科技资源； • 提高政府科技决策与管理的科学化水平； • 提高科研工作的效率和质量（引入竞争激励机制）； • 促进科学发展目标与国家目标紧密结合（政策引导）； • 营造有利于原始性创新的环境和文化； • 向公众“交帐”和说明公共资金使用效果（赢得公众的支持、预算制度改革的要求）。

四、科学技术评价方法及其应用 • 定性评价：同行评议法、回溯和案例评价法 • 定量评价：文献计量法、经济计量法 • 综合评价：多指标综合评价法、定标比超法

1、同行评议方法(制度) 同行评议（peer review）是充分依靠科学家群体对科学技术活动（包括科研活动、科研资助、科研管理等）进行民主管理的一种方法（或制度）。具体而言，同行评议是指某一领域或与其邻近领域的专家采用同一种评价标准，共同对涉及相关领域的某一事项进行独立的价值评议的过程，其评价结果为有关部门的决策提供依据。

1、同行评议方法(制度) • 同行评议是科技评价中应用最广泛和可信度较高的评价方法，尤其是对用定量方法难以测度和判断的科研活动的价值评估(merit review)，具有其他方法不可替代的优势。 ——美国经济发展委员会：“美国基础研究体系的一个基本优势就是，通过一种认真和具有竞争性的同行评议过程来分配经费拨款。” ——美国国家科学技术理事会基础科学委员会：“在对单个政府部门当前计划的评审中，以同行评议为基础的价值评价将继续是主要工具。”

1、同行评议方法(制度) ——美国GPRA确定的评价原则：“为确保世界级研究水平而对科学事业进行管理，同行评议是基础。研究项目要由专家来评定其价值，资金的配置也须以研究项目的科学价值为依据。潜在的科研项目和科研计划要根据知识前沿领域的卓越的研究活动的标准进行评价。同行评议的价值评估同样可以被用来对一个机构的基础科学项目作回顾性评价。

1、同行评议方法(制度) • 同行评议广泛应用于各类科技评价活动： ——科学出版物（论文、著作等）的评审 ——学位、荣誉和职称评定 ——科研项目评审 ——科研成果的验收与评奖 ——科研机构评价 ——科技政策和科技计划评价 • 同行评议的方式：通信评议（函评）；会议评审；函评+会评；现场评议。

1、同行评议方法（制度） • 同行评议法的优点：价值评价 • 存在的缺陷： ——“熟人关系网” ——崇尚权威 ——“马太效应” ——不利于支持创新性的非共识项目 ——剽窃行为

NIH申请研究资助的同行评议 1、机构设置主任办公室 18个专业研究所 4个综合研究中心、资源中心和图书馆 3个临床医疗、信息技术服务和评估机构（科学评估中心CSR）

2、NIH科学评估中心（CSR） （1）设立三大综合评审组（临床与人口基础研究、生理系统、分子和细胞机理）和100多个专业评审组 • 集中受理申请 • 将项目申请分配给CSR的各专业评审组或研究所的学科评审组 • 将潜在的资助项目申请分配给NIH的研究所 • 100多个专业评审组对提交的项目申请的科学创新价值进行评议

2、NIH科学评估中心（CSR） （2）分配项目申请的依据 ——专业评审组基于 • 每个专业评审组的评审指南 ——研究所基于 • 研究所的使命 • 研究所的方向

3、申请资助的双重评估系统 （1）第一层次的评估（项目评价） ——专业评审组（SRG） • 对申请资助项目的科学创新价值进行评议 • 对于是否予以资助和资助期限提出建议（2）第二层次评估（管理和政策评价） ——国家咨询理事会（NAC） • 评估SRG对申请资助项目评议的质量 • 对NIH项目官员提出资助建议 • 评估优先资助项目 • 提出政策建议

4、NIH研究资助的评议过程 国立卫生研究院研究资助申请医学院或研究中心科学评估中心将申请分配给各专业评审组和研究所创新研究思想提交申请专业评审组评估科学价值执行研究分配经费研究所评估项目的可行性咨询理事会和委员会提出建议行动研究所所长向NIH主任提出最后决策建议

5、CSR的同行评议制度 （1）CSR的同行评议 • 各专业评审组由一位与该专业密切相关的资深专家担任专业评审主管（SRA） • 每一个专业评审组由12-24名专家组成（主要来自学术界） • 每一次专业评审组会议要评审约60-100个项目申请（2）同行评议专家遴选标准 • 科学研究造诣深、专业水平高 • 博士学位或相当水平 • 成熟的判断力 • 工作成效显著 • 学术视野宽阔 • 公平公正 • 热心服务 • 妇女和少数民族的适当代表

5、CSR的同行评议制度 （3）无利益冲突的证明并签字（回避制度） • 与申请者的关系：配偶、父母、儿女、合作者 • 担任过有关机构的官员、主任、理事、雇员或合作者 • 与有关机构进行过谈判或存在预期雇佣的有关协议及其他类似关系（4）保密制度 • 评议材料和评审会会议录所反映的特殊信息仅供讨论和NIH项目官员使用 • 在形成每次会议结论时，讨论材料要销毁或反馈所有与评审有关的材料 • 除评审主管（SRA）外，讨论内容将不列入评审会议录 • 评审过程中的有关问题应提交评审主管

6、专业评审组评审会 （1）评审标准 • 科学意义：本研究能解决一项重要问题吗？能发展新的科学知识吗？ • 方法和路径：设计思路和方法是否先进、可行？能解决遇到的问题吗？ • 创新：有无新颖的概念和方法？其研究目标是原始创新吗？ • 主要成员：主要成员接受过良好的训练吗？ • 环境：现有条件能支持可能的成功吗？科研环境有独一无二的特点吗？（2）决定是否同意资助的要素 • 科学价值 • 项目实施的考虑 • 经费使用的合理性

6、专业评审组评审会 （3）专业评审组的行动 • 对申请项目科学价值的优先等级给分（1.0-3.0；百分制）基于有关的评审标准，评审组首先判断该申请项目科学价值的等级在所有被评审项目的一半以上的行列，对请求的研究时间和资助经费提出建议，给出优先等级的评分，综合讨论中的意见和建议，给出评议结论。 • 不评分（一半以下）评审组成员全体一致认为该申请项目的科学价值的等级在所有被评审项目的一半以下的行列，就不予评分。通讯评议意见汇总后经评审组审议反馈给申请者。 • 延缓在没有附加信息的情况下，评审组无法给出推荐意见。当然，可以访问该项目的有关网站，或由申请者提供补充材料。

6、专业评审组评审会 （4）专业评审组的后续行动 • 按优先等级分数和百分数计算排序 • 提供总结材料 • 对通过评审的申请项目，专业评审组要以书面的形式给出总结建议，希望研究所对该项目进行资助。 • 书面总结建议一般包括： ——评议的概要和结论 ——原始的批评意见 ——优先级评分和百分制评分排序 ——预算建议 ——项目管理注意事项 • 移交国家咨询理事会作进一步考虑

7、国家咨询理事会的评议行动 • 同意专业评审组的意见 • 修改专业评审组的意见 • 对延缓的项目组织复审

同行评议的制度安排 1、同行评议专家资格审查制度 ——是保证同行评议有效性的基本前提 • 确定专家遴选标准 • 同行或单位推荐 • 专家基本情况登记 • 专家资格审查 • 专家公示 • 专家入库

同行评议的制度安排 2、建立同行评议专家库 ——为评价活动提供充足的、符合要求的专家人选 • 根据评价的需要确定专家数量规模 • 专家信息的完整性 • 专家信息的动态跟踪与更新 • 专家评议信息记录 • 专家库定期评估与动态更新制度 • 专家公示（尤其是评价委员会和专家组成员） • 专家库共享机制

同行评议的制度安排 3、评价专家遴选的随机原则 ——避免人为因素干扰，保证遴选程序的公正性 • 根据评价需要提出所需评价专家的特征信息（研究领域、专长、职称、年龄、地区、部门、机构等） • 遵循相应规则在专家库中随机遴选

同行评议的制度安排 4、评价专家定期更换制度——保证评价专家委员会（专家组）的权威性、公正性和代表性，避免相关利益关系对评价工作的影响 • 实行任期制，定期更换 • 评价专家委员会（专家组）成员任期一般不超过两届 • 在规定的届期内逐年按比例更换专家

同行评议的制度安排 5、评价专家回避制度——避免评价专家与被评价者之间的利益关系，保证评价的客观、公正性 • 被评价者可以提出回避专家的名单，书面出据证据和理由 • 评价专家保证与被评价者之间无利益冲突关系，并书面签字 6、评价意见反馈制度——提高专家评价的客观、公正和科学性 • 被评价方具有知情权 • 评价意见反馈给被评价的人员或单位

同行评议的制度安排 7、对评价意见的申诉制度——加强对评价活动的监督制约机制 • 被评价方对评价意见持有异议，可以向评价委托方或评价监督委员会提出申诉 • 被评价方提供书面材料 • 评价监督委员会负责调查并做出仲裁 8、评价专家信用制度——提高评价专家的责任感和信誉度，保证评价工作客观、公正 • 跟踪记录评价专家的评价活动信息 • 建立评价专家信用库 • 定期在内部组织对评价专家信用的反评估 • 反评估结果为调整和更换专家提供依据

同行评议的制度安排 9、国际评价机制——保证评价工作客观、公正，提高评价的质量和水平 • 建立海外评价专家库 • 按合适比例邀请国际一流专家参与评价工作 • 注意国家安全和保密问题 10、对“非共识”项目建立小额探索资助机制——保证创新性“非共识”项目的探索机会 • 识别“非共识”项目 • 建立小额探索资助基金 • 评审专家署名推荐 • 项目主管提议，请个别专家复审 • 研究期限1-2年

同行评议的制度安排 11、对申请项目的新构思实行“优先权”制度——避免剽窃行为 • 对申请项目的新构思实行“优先权”的书面备案 • 保护申请人的原始性创新思想

2、案例与回溯评价法 • 特点：对关键事件或典型案例进行回顾和剖析，分析导致关键事件发生的科学内外部因素，分析研究工作环境和资助机制对取得重要成果的作用与影响，总结成功经验与不足，预见科研工作可能产生的影响，提高科学研究与科研管理工作的显示度。

2、案例与回溯评价法 • 优点：清晰描绘研究工作的关键事件及其价值，以及内外因素对研究工作的影响。 • 缺点：评价结果难以反映整体，结论不具普适性。成本高、研究周期长。 • 一般适用于投资周期长、投资强度大的重大科技计划（项目）、大科学工程以及科研机构的评价等。

2、案例与回溯评价法 • 应用：美国NSF采用案例和回溯评价方法，定期展示基础研究的贡献。著名的评估工作有： 1968年，技术回溯与科学中的重大事件 1973年，创新过程中科学与技术的相互作用 1980年，基础研究如何获得了意想不到的回报

3、文献计量评价法 • 文献计量评价法是利用科学产出的文献计量指标的定量数据，采用数学和统计学方法，对科学活动规律及其影响进行研究与分析的一种方法。 • 文献计量评价法基于《科学引文索引》（SCI）和专利数据库，采取论文指标、引文指标、专利引文指标等从宏观层面研究国家的科学能力、科学前沿发展趋势、科学活动的水平及影响具有统计学意义上的合理性和可信度，对国家宏观科技政策和科技管理具有一定的参考价值。

3、文献计量评价法 ——代表性的工作 • 美国NSF《科学与工程指标》（双年份） • 美国ISI《科学观察》（双月刊） • 英国OST《科学、工程与技术年度统计报告》（年度） • 中国科技信息研究所《中国科技论文统计与分析》（年度） • 中科院文献情报中心《世界科学中的中国研究报告》(不定期)

3、文献计量评价法在中国科学国际比较中的应用3、文献计量评价法在中国科学国际比较中的应用 ——2002年，SCI收录中国论文数量达到39015篇，占世界科学论文的比例从1987年的1.25%上升到4.38%，位于美、英、日、德、法之后，居世界第6位。（1994年居第15位） ——1991-2003年间，中国论文被引频次62万多次，名列世界第19位、亚洲第3位。 ——1997-2002年，中国论文数量平均增长19%，论文平均被引篇数平均增长19.4%。 ——1992-2003年，中国在世界科学TOP25国家中综合排名第14位，材料科学名列世界第6位，数学第8位，化学第10位，物理学第13位。

3、文献计量评价法 • 但在微观层面上，例如在评价科研人员或某一个具体项目时，文献计量指标存在诸多局限性，如指标的单一性、学科间的不可比较性、科学价值的不可表征性等等,导致其客观性大打折扣。因此，仅依据定量数据得出评价结论，往往成为一种“Stupid Indicator”。 • 利用文献计量指标评价科研产出能力和水平时，有一个系统误差问题，评价结果的误差与评价系统的尺度大小呈负相关关系，即系统的尺度越大，评价结果的误差就越小，反之，评价结果的误差就越大。

3、文献计量评价法 • 文献计量评价法较多应用于宏观层面（如国家间的比较）和中观层面（如同质机构间的比较）的科技评价。 • 评价某一个人（或某一个项目）的科研产出质量及影响，应以“同行评议”方法为主，文献计量指标仅作为参考指标。

4、经济计量评价法 • 经济计量评价法是基于投入-产出模型或生产函数模型对科技活动效率或效益进行评估的一种方法。包括： ——成本效益法：成本、效益、净现值、收益率等指标。 ——生产功能法：利用资本、劳动力、研究经费支出来测度科研活动对产品附加价值的边际贡献。 ——投入产出法：经济系统投入-产出的相互依存关系。 • 由于其产出指标主要采取生产要素和经济效益指标，该方法一般仅适用于开发类研究活动或科技产业化的评价，不适合基础研究和应用研究。

4、经济计量评价法 • 针对宏观层面的基础研究和应用研究的绩效评估，有时可以采用投入产出统计指标来测度科研活动的投入产出效率，如单位投入产出的论文数、引文数、专利数、获奖数等，或产出单位论文数、引文数、专利数、获奖数所需的投入成本。

投入产出的国际比较（以英国为例） • 以仅占世界1%的人口，英国的R&D经费支出占世界R&D经费支出总量的4.5%；英国的科学产出论文占世界科技论文总量的8%；英国科学家论文被引次数占世界科学论文被引用总数的9%；20世纪，英国科学家获奖占国际权威科学奖励的10%（至2000年，英国获诺贝尔自然科学奖人数达75名，居世界第二）；英国专利申请数占世界专利申请总数的3.4%；英国高技术出口额占世界高技术出口总额的8%。 • 结论：英国基础研究的投入-产出效益是世界上较高的，英国科学技术总体实力和水平在世界上处于前列，其研究与发展（R&D）一直保持相当高的水准。

投入产出的国际比较（举例） • 我国科学研究的投入产出效率与发达国家相比有较大的差距。中科院王志新院士对中科院与德国马普协会的比较研究表明（1995年数据）：马普协会有2900名科学家和6500名流动人员，每年科研经费11亿美元，每年发表SCI论文超过1万篇，平均每篇论文投入10万美元；而中科院有4万名科技人员和1万多名研究生，每年科研经费4亿美元，每年发表SCI论文2000篇，平均每篇论文投入20万美元，是德国马普协会的两倍。

5、定标比超法（Bench Marking） • 定标比超法是经济活动领域中应用最广、影响最大的竞争情报方法之一。（美国施乐公司对日本公司竞争时最早使用） • 最早将定标比超方法用于科学研究活动评价的是美国科学院科学、工程与公共政策委员会（COSEPUP）。 • 1997年和1998年美国科学院分别出版了两份研究报告：《美国数学研究国际定标比超》《美国材料科学与工程研究的国际定标比超》

5、定标比超法 • 开展学科领域的国际定标比超评价时,一般要回答三个问题: （1）本国在该领域相对于其他国家和地区处于什么样的地位? （2）影响本国在该领域的研究绩效是什么? （3）基于现在的发展趋势,本国在近期和远期会处于什么样的相对位置? • 定标比超法一般多应用于学科领域的国际比较及科研机构的诊断和战略性评价。

1992-2002年，我国部分学科篇论文平均引用率与世界水平比较1992-2002年，我国部分学科篇论文平均引用率与世界水平比较

科学技术评价方法及 主要国家的做法