1 / 54

结果导向的监测

结果导向的监测. 介绍与研讨会. 中欧公共管理二期项目. 2013 年 11 月. Prof. Dr. Eckart Koch. koch@hm.edu. www.eckart-koch.de. 时间表. 2013 年 11 月 27 日 星期三. 主题. 时间. 09:00 - 09:20. 开幕式. 概述：结果导向监测体系的六个步骤. 09:20 - 10:30. 第一步：结果模型. 介绍、互动 / 工作组. 10:30 - 10:45. 茶歇. 10:45 - 12:00.

maisie
Download Presentation

结果导向的监测

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 结果导向的监测 介绍与研讨会 中欧公共管理二期项目 2013年11月 Prof. Dr. Eckart Koch koch@hm.edu www.eckart-koch.de

  2. 时间表 2013年11月27日 星期三 主题 时间 09:00 - 09:20 开幕式 概述：结果导向监测体系的六个步骤 09:20 - 10:30 第一步：结果模型 介绍、互动/工作组 10:30 - 10:45 茶歇 10:45 - 12:00 继续：结果导向监测的六个步骤 第二步到第六步：聚焦指标 介绍、互动/工作组 12:00 - 13:30 午餐时间 13:30 - 15:00 结果导向监测的六个步骤 工作组：结果模型和结果导向的监测 15:00 - 15:15 茶歇 15:15 - 17:00 全体会议 讨论工作组成果 2

  3. 0.1 为什么要采取结果导向的监测？ 准备/战略规划 战略规划 结果导向的监测规划 运作规划 新措施的战略规划 业务规划 适当指导 实施 学习 实施 指导 监测 评估 3

  4. 0.1为什么要采取结果导向的监测？ 管理 结果导向监测是以目标为导向、持续性采集与分析数据的基础 结果导向监测可告知是否能实现既定结果—目标导向 结果导向监测为决策提供基本信息 战略 结果导向监测告知问题、非预期的重要结果/影响和风险 结果导向监测告知项目战略是否需要调整 合作 结果导向监测为项目合作方提供对话基础 结果导向监测集合所有项目合作方 学习 结果导向监测推动各层级的学习进程 结果导向监测促进内外交流 结果导向监测是报告和评估的基础 4

  5. 0.1为什么要采取结果导向的监测？ 规划结果导向监测体系的六个步骤 1. 检查结果模型和结果设想 项目指导 知识管理 责任制 2. 确定建立结果导向监测体系的要求 6. 计划如何使用结果导向监测的成果 3. 使结果可衡量 5. 确定 WOM格式 4. 实施指标 5

  6. 0.1为什么要采取结果导向的监测？ 规划结果导向监测体系的六个步骤 第一步 检查并调整结果模型和结果设想（以及意外情况和风险） 第二步 阐明结果导向监测体系的要求 • 确定特殊利益和利益相关方 • 考虑合作机构的监测体系 • 阐明资源 第三步 使结果可衡量 • 确定观察领域 • 检测并制定指标 （现有指标，结果指标，过程指标，特殊指标） 检查指标质量 第四步 实施指标 （方法、时间、责任、成本） 第五步 制定结果导向监测的格式 第六步 规划后续措施—利用结果导向监测的成果 指导：决策、战略（MIS） 责任：报告、公共关系、展示、感兴趣的机构 6 学习与知识管理

  7. 第一步 结果模型和结果设想 7

  8. 第一步：结果模型和结果设想 1.1 确定项目结果（项目将实现的成果） 1.2 制定结果模型 1.3 确定有关设想（结果设想） 1.4 说明总体项目战略（包括手段和主要活动） 1.5 分析风险和（正面与负面）的意外情况（非预期的结果） 8

  9. 1.1 确定项目结果 结果是什么？ 长期 中期 短期 计划中的 正面 结果/影响 • 增强效应 情境和行为的改变 计划外的 • 获得额外资助 如加强管理绩效、改善对话 负面 • 项目关键人物离开 项目 • 非受益人的消极态度 干预 非项目 • 能力发展 • 直接咨询 • 设备 9

  10. 1.1确定项目结果 中欧公共管理二期项目—主题领域 主题领域3 制定质量管理和绩效评估框架 主题领域1 支持PAR和服务导向的管理 主题领域 2 主题领域4 加强行政部门和人力资源体系 中欧政府管理对话

  11. 1.1确定项目结果 中欧公共管理二期项目的精选成果 必要的衡量指标： (行动导向型)中欧公共管理二期项目的目的： 支持中国政府在法治基础上实现向高效率服务型政府的转变 。 （结果导向型）中欧公共管理二期项目目的： 成功启动了向依法执政、高效服务型政府转型 的程序。 •更高的工作效率 •服务为本 •依法执政 l •良好的开端 TA2: 建立PAO的公务员 和人力资源管理系统，运行 良好 TA4: 在各级别建立可持续 的中国-欧盟对话平台 TA1: 中央和地方公共管理 组织（PAOs）为全体公民提供平等享受公共服务的权力 TA3: 在所选的PAO组织内 采用质量控制管理（QCM） 以及参与式绩效评估框架（PAF） TA2: 提高PAO工作人员的 工作表现 TA4: 创造一个电子学习环境 TA1: PAO 为公民提供所需服务 TA2: 制定公务员政策以及 人力资源管理政策 TA3: 选定PAO组织的工作人员熟悉质量控制管理体系和参与式绩效评估框架 TA1: PAO 清楚地了解 公民需要的服务 TA2: 在制定PAO相关政策时 采用欧盟经验 TA3: 在试点机构内开发 质量控制管理体系和参与式绩效评估框架并进行测试 TA1: PAO 的工作人员都 接受了充分的培训 TA1: 制定PAR法律法规， 借鉴欧盟经验，发展基服 务型管理 PAO: 中央和地方公共管理组织 11 QCM: 质量控制管理体系 PAF: 参与式绩效评估框架

  12. 1.1确定项目结果 检查中欧公共管理二期项目各工作组的工作成果 请检查： • 是否是中欧公共管理二期项目预计实现的有关成果 • 需要时改变规划 • 必要时添加额外成果 12

  13. 1.1确定项目结果 结果应该结构化 结果可以是 结果互相关联 超出项目控制的一个愿景 • 层级 项目的整体目标 • 互相关联 产出 • 高度聚合 长期结果 结果 其他项目 目标 中期结果 结果 FoA 结果FoA 结果 非预期结果 结果 结果 （使用产出） 由第三方产生 结果 （产出） 风险 短期结果 13 结果 （产出）

  14. 1.2 制定结果模型 结果模型- 结果导向监测的基础 合作方共同决定 • 项目的结果和目的 • 责任领域（系统限制） • 手段及主要活动 14

  15. 1.2 制定结果模型 确立结果模型的关键问题 • 结果是否显示人事变动和具体内容变动？ • 你能按照逻辑顺序排列这些结果吗？ • 这些结果是如何相互联系的？ • 项目为什么样的结果承担责任？ • 实现这些变动需采取的战略方案是什么？ • 谁是合作对象？ • 怎样实现这些变动（活动及手段）？ 15

  16. 1.2 制定结果模型 战略考量 长期目标 中欧公共管理二期项目目标 支持中国政府在法治基础上实现向高效率服务型政府的转变 项目目标 要实现什么？ 需要考虑： 要求： 战略 有效 如何实现该目标？ (1) 整体及具体内容： 高效 所涉及的利益，优先事项和具体需要； 社会文化价值观和特点；合作方案 最佳替代 (2) 资源和限制 时间、资金、机构 (3) 手段和方法 与结果模型相关 (4) 核心活动 16

  17. 结果模型—例1 PZ: 确定发展具有竞争力的私营部门，特别是中小企业的框架条件。 模块目的 HRDME：“私营部门发展和职业教育的公共和私立组织协调有效地执行授权 .“ 有合格的职业 教育老师（与 TTEP相关联） • C2: 目的：通过公私部门利益相关方的合作，提高职业教育的质量，加强其以劳动力市 • 场为导向的特点 (2) C2：省级MoES及其相关 机构和职业教育学院的人员 能力增强 (4) 私营部门的参与和加入使 以劳动力市场为导向的职业 教育体系得以建立和加强 (3) C2: 改善初等职业教育 与培训同私营部门的合作 (5) 管理职业教育 的法律框架条件 得到改进 (7) 有实施NQF的法律 规范 (6) 发展增强劳动力能力 的观念，并付诸实施 (10) 发展私营部门和职业教育相 联系的观念 (8) 制定职业教育 法律草案 (13) 起草一份结构框架 合理的法律规范 (12) 按照私营部门的要求，制定 并使用以劳动力市场为导向的 课程体系 (9)展示改善公私合作的可能性并传达给合作方 (11) 职业教育的公 众形象得到改善

  18. 结果模型 – 例2 The MoEF and BCCT coordinate implementation of the national climate change strategy effectively 3.5 (a) 坏境森林部 /BCCT 1.2 / 2.3 (a) 环境和森林部提名的机构已成功获 得多边基金会的认可，可直接获得国际融资 3.2 环境森林部/BCCT 满 足项目质量保证的所有方面 1.3 环境和森林 部为各部门提供 有关CC问题的 普遍接受的技术 建议 监督的项目已得到大幅 改善 1.4 环境和森 林部定期召开 有关CC问题的 协调会议 附加 2/3：焦点和 CCCs 协调气候调 整与缓和措施 2.3 (b) 环境和森林部 / FS 6: FoA 3: NIE 满足成功认证 的要求 环境和森林部 环境和森林部/BCCT 进行国际协商的能 力得到了加强 与BCCT 的气候基金的管理得到了改善 3.4 (a) 监查官、 审计员和其它相 关机构有效地 监督了气候基 金的使用 1.1 (a) BCCSAP 3.5 (b) 已被纳入国家规划 文件 3.1 (b) 环境和森 林部与BCCT为 气候基金支持的 CC项目制定了 i标准 BCCT 为 BCCTF支持的 项目开发了 评估和M&E体 系 3.1 (a) CC 项目对于性别 和其它气候弱势群体敏 感，实现无害的增长 1.6 环境和森林 部委气候财政 框架提供信息 FoA 2: 环境和 森林部财政管理的 改善可促进其获得国际 融资 2.1 BCCT/NIE 采用了国际财 政管理的标准 、 . 1.1 (b) 更新BCCSAP 3.3 申请部门和 监测机构已改善气 候智能项目管理的 能力和标准 FoA 1: 附加 7: BCCT 保证与其它基金 会和机构定期交 流知识和经验 3.4 (b)监查官、 审计员和其它相 关机构加强了与 CC相关的能力 3.6 BCCT的制度 和人力资源能力 得到了加强，可为 信托董事会在执行 任务时提供技术支持 MoEF/BCCT 协调和实施国家 气候变化战略的技术能力已经 改善 Add 8: 2.2 环境和森林部已 确定全面改善财政管 理的理念，以满足国 际基金会的要求 潜在NIE 的评估已 实施， 1.5 环境和森林部专 门解决CC项目的组 织改革已成功实施 NIE 由环境和森林 部指定 FS 2: 制定连贯 的政府CC政策 需要与规划部门密切合作（财政部，规划委员会）

  19. 1.3 确定相关假设 (结果设想) “假设”或“结果设想”是什么? 假设/结果设想 • ... 是实现具体结果的必要前提/要求 • ... 是某一结果导向更高级结果的具体条件 • ...需要举行必要的活动来实现结果 假设/结果设想 • ... 有助于理解项目逻辑 • ... 经常用于制定指标（以供监测） • ... 通过结果间的各种（标号）箭头显示 19

  20. 1.3 确定相关假设（结果设想） 结 果 目 的 3 活动 手段 1 2 Koch - GIZ Wirkungsmodell

  21. 1.3 确定相关假设 (结果设想) • 检查结果模型的完整性和内部逻辑关系 • 为项目确定重要的假设/结果设想 21

  22. 1.4 说明项目整体发展战略 手段 1 人员配备 国内及国际上的主要专家 国内和国际上的非主要专家 2 能力发展措施 培训 网络联系 会议，对话，研讨会 直接咨询 在职培训，指导，训练 3 设备 4 研究 5 其它 22

  23. 1.4 说明项目整体发展战略 添加 • 手段 • 核心活动 • 里程碑 23

  24. 1.5 分析风险以及（正面和负面的）意外情况 风险是什么？ 风险即： ……那些可能对项目产生负面影响的外部因素。 • 风险在项目控制以外 • 应当预期可能产生的风险并将其纳入项目战略考虑的范围内； • 对后果进行合理的分析； • 将新产生的风险列入考虑和观察对象。 24

  25. 1.5 分析风险以及（正面和负面的）意外情况 意外情况和非预期结果是什么? • 所有活动和结果都会引发非预期结果的出现。 • 非预期结果可以是正面的也可以是负面的。 应监控那些严重的负面结果 结果/效果 预 期 非预期 为减少、缓和甚至利用这些负面结果，应考虑适当的应对策略 正面 正面 负面 在某些情况下要修改项目战略 25

  26. 1.5 分析风险和（正面与负面的）意外情况 将风险和非预期的负面结果分类 非预期的负面结果 风险 3 2 2 影响 1 3 1 可能性 可能性 (1) (1) (2) (2) (3) (3) 26

  27. 1.5 分析风险和（正面与负面的）意外情况 描述缓解战略 风险分类 可能产生的影响 风险缓解战略 非预期的负面结果分类 可能产生的影响 缓解战略 27

  28. 项目指导 责任 知识管理 1. 检查结果模型和结果设想 第二步 2. 确定建立结果导向监测体系的要求 6. 计划如何使用结果导向监测的成果 3. 使结果可衡量 5. 确定WOM的格式 4. 实施指标 阐明结果导向监测体系的要求 28

  29. 第二步：阐明要求 重要问题 谁需要监测信息？ • 现有监测经验和体系可否利用？ • 能提供什么样的资源？ 参与战略和管理决策的人员 阐明利益、期望和信息需求 检查合作机构的现有监测体系 如果可能，利用合作方现有的监测体系 支持并帮助合作方建立结果导向的监测体系 人力与财力资源 说明并提供所需资源（为M&E提供5%-8%） 29 Koch - GIZ Wirkungsmodell

  30. 第二步：阐明要求 感兴趣的个人或机构 信息需求 能否利用现有的监测体系？ 是否提供资源？ 30

  31. 第二步：阐明要求 （1）谁对监测结果感兴趣？ （2）他们有什么样的监测兴趣？ （3）现有的监测经验或体系能否使用？ （4）可以利用哪些资源？ 31

  32. 项目指导 责任 知识管理 1. 检查结果模型和结果设想 第三步 2. 确定建立结果导向监测体系的要求 6. 计划如何使用结果导向监测的成果 3. 使结果可衡量 5. 确定WOM的格式 使结果可衡量 4. 实施指标 32

  33. 第三步：使结果可衡量 3.1 确定观察领域 3.2 找出（检查）指标 3.3 指标的质量检查 33

  34. 3.1 确定观察领域 观察领域对于结果的实现至关重要 • 结果模型的要素 • 风险 • 非预期的负面结果 34

  35. 第 3.1步：确定观察领域 序号 观察领域： 应观察和评估什么？ 指标 备注 结果、风险、 意外情况 1 提高职业教育的形象 结果编号 教育学校的预算从… 增加到… …. 2 3 以后再填 4 5 6 35

  36. 第 3.1步：确定观察领域 确定观察领域： 项目的重要方面—哪些需要定期观察 请说明并给出理由 36

  37. 第3.2步：找出指标 为什么需要指标？ 指标可以间接衡量复杂的结果 （1）指标表明改变 帮助评估项目进展 促进目标导向和高效项目的实施 （2）指标使结果可衡量，可评估 利用基准和目标值 通过创造透明度 （3）指标促进内外交流 通过使用通用术语现 通过对项目达成共识 （4）最终：实现目标层级的目标值通常是对于客户的核心承诺 37

  38. 第3.2步：找出指标 指标的要素 指标包含以下要素 标准（内容） 应该改变什么？ 数量（多少） 改变的程度是什么？ 目标群体（谁） 观察对象是谁？ 时间（何时） 什么时候开始改革？ 举例：确定绩效评估框架之后，在2016年之前，至少有5个不同机构的绩效每年至少提升10%。 至少有80%的毕业生在六个月之内找到了合适的工作 38

  39. 第3.2步：找出指标 制定 （1） ... 为观察领域制定结果导向的指标 （2） ... 定性和定量的指标 （3） ... 含有里程碑的额外过程指标 （4） ... 必要时，为指导目的、报告要求、额外的利益相关方和跨领域方面制定额外指标 （5） ... 易于监测的指标 ... 只是数量有限的指标（最多10到15个） 39 （6）

  40. 第3.2步：找出指标 检查现有指标，制定额外指标 • 结果导向的指标 • 流程指标 • 其它 40

  41. 第3.3步：指标的质量检查 指标应该智能化 智能 指标必须 详细 ... 精确制定，与目标相关 可衡量 ... 可以量化且能够衡量变化 可实现 ... 现实且能实现 相关的 ... 衡量项目的一个重要方面 与时间有关 ... 基于时间制定. 41

  42. 第 3.3步：指标的质量检查 指标应达到质量标准 序号 标准 说明 这意味着，指标 … 指标必须 ... 1 准确 ... 必须清楚制定，用词清晰，必须说明时间 2 有效 …精确衡量计划中应衡量的结果 3 可靠 …持续衡量同一方面（方便比较结果） 4 相关 …衡量对于实现结果至关重要的改变 5 可实现 ...衡量项目能够在项目期内实现的结果 6 以行为改变为导向 …衡量情境的改变或目标群体或中间人行为的改变 7 可衡量 …需要能实际采集到的数据 8 高效 … 只产生合理的花费 9 可接受 … 数据采集流程、分析结果和最终成果在社会方面和文化方面均 可接受 42

  43. 第 3.3步：指标的质量检查 质量标准 序号 指标 要求 注释1） 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 1）如需重新制定的；不需要的；见规划文件；数据采集详情；需要的基准；监测期

  44. 第 3.3步：指标的质量检查—举例 质量标准—举例 序号 指标 / 要求 1 to 9 标注 关键词 1 2 3 4 5 6 7 8 9 √ √ √ √ √ √ √ 1 A1 √ √ 提供指标4 √ √ √ √ √ √ -- -- -- 2 A 2 难以衡量 √ √ √ √ √ √ √ √ √ 3 B √ √ 4 C -- 流程指标 √ √ √ √ √ √ √ √ √ 5 D1 提供指标1 √ √ √ 6 D2 -- -- -- -- -- -- 不适用 提供指标2 7 8 9 10 44

  45. 项目指导 责任 知识管理 1. 检查结果模型和结果设想 第四步 2. 确定建立结果导向监测体系的要求 6. 计划如何使用结果导向监测的成果 3. 使结果可衡量 5. 确定WOM的格式 4. 实施指标 实施指标 45

  46. 第四步：实施指标 关于…的决定 数据采集方法 责任 时间安排 成本预期 46

  47. 第四步：实施指标 关于…的决定 数据采集方法 流程责任 哪类数据？采集的频度？ 谁采集数据？ • 数据采集方法：如调查问卷、采访、观察、 • 文件？ 谁控制数据质量？谁总结并分析数据？ 谁负责整体的监测流程？出问题时谁做决策？ 多少数据：样本，整个目标群体，控制组？ 数据来源和数据的可靠性 谁利用监测结果作指导？ 数据采集机构？是否和其它机构合作？ 成本预期 时间安排 工作日 x 人力 x 每日成本 发送监测报告的截止日期 其它直接和间接的成本（如差旅费、管理费用）: 报告撰写开始日期和数据准备的截止日期 每年每项指标的平均成本： 总结、分析数据的开始日期 数据采集的开始日期

  48. 第四步：实施指标 请决定： • 数据采集的方法和手段 • 时间安排 流程责任 请预计： 数据采集和分析的成本 48

  49. 项目指导 责任 知识管理 1. 检查结果模型和结果设想 第五步 2. 确定建立结果导向监测体系的要求 6. 计划如何使用结果导向监测的成果 3. 使结果可衡量 5. 确定WOM的格式 4. 实施指标 制定结果导向监测的格式

  50. 第五步：制定结果导向监测的格式 is needed to structure the process of data generation and documentation 结果导向监测的格式用来建构数据生成和编集的流程 结果设想、假设/风险 目标和结果 为记录进展情况和结果偏离情况以及指导干预需加以观察 （可能的话，也可以是体系范围外的结 果） 活动 责任 指标 负责所有监测活动 ... 各个层面，包括里程碑和观察期 时间表 指标可以衡量：目标、各类结果、跨领 域的问题 方法 每项指标中需提及信息来源和方法 50

More Related