1 / 40

评价研究设计

评价研究设计. 实验的分类. 实验 物理学研究 化学 动物实验 实验的长处和不足 类实验 无法完全控制实验条件. 研究的两个效度. 内部效度 针对于本研究的对象，研究结果的真实度 外部效度 研究的结果在多大程度上能推论（广）到其他地方. 实验、类实验与两个效度. 实验 内部效度高，外部效度低 类实验 内部效度要打折，而外部效度高. 项目（干预）成功的两个基本条件. 1 、有效的项目设计 即：如果项目干预方案得到完全的实施，那么，项目的目标就能实现，项目所要解决的问题就能解决 2 、项目实施 即：项目的方案得以按质、按量地实施、完成

makya
Download Presentation

评价研究设计

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 评价研究设计

  2. 实验的分类 • 实验 • 物理学研究 • 化学 • 动物实验 • 实验的长处和不足 • 类实验 • 无法完全控制实验条件

  3. 研究的两个效度 • 内部效度 • 针对于本研究的对象，研究结果的真实度 • 外部效度 研究的结果在多大程度上能推论（广）到其他地方

  4. 实验、类实验与两个效度 • 实验 • 内部效度高，外部效度低 • 类实验 • 内部效度要打折，而外部效度高

  5. 项目（干预）成功的两个基本条件 • 1、有效的项目设计 • 即：如果项目干预方案得到完全的实施，那么，项目的目标就能实现，项目所要解决的问题就能解决 • 2、项目实施 • 即：项目的方案得以按质、按量地实施、完成 • 二者缺一不可

  6. 项目失败 项目理论失败 错误的项目设计 很好的项目实施 项目失败 项目实施失败 有效的项目设计 不好的项目实施 项目失败 有效的项目设计 很好的项目实施 项目成功

  7. 项目理论 • 建立项目理论、进行有效干预 • 基于项目理论、进行项目评价

  8. 项目理论的例子 • 60年代美国卫生部关注婴儿死亡率和婴儿智力低下， 拨经费开展干预项目 • 前提假设 • 婴儿死亡率及智力低下与低体重儿（早产）相关 • 低体重儿与孕妇孕期未及时治疗疾病和营养不良相关 • 这种情况可在某些人群中发现，如未成年怀孕，>35的孕妇，多产孕妇，有早产史，或收入低下的家庭 • 基于上述相关关系。建立项目理论 • 如果找到高危母亲 • 如果能让她们参加项目 • 如果能将针对这些因素服务有效地提供给她们 • 那么，就能降低早产出生率 • 那么，就可以降低婴儿死亡率和智力低下

  9. 社会问题及干预 项目干预设计 项目实施 项目产出 社会问题 贫穷 疾病 失业 犯罪 需求评估项目设计项目评估 过程评价 项目效果

  10. ？ ？ ？ 鉴定的问题 项目设计 项目实施 项目产出 项目效果？ 项目评价的基本问题 • 是问题吗？问题有多严重、范围有多大、影响谁？需求评估 • 项目设计有效吗？项目论证（对设计进行评估） • 项目执行了吗？实施评估（过程评估） • 项目有效果吗？项目效果评估 • 项目干预值得吗？ 成本-效果分析

  11. 评价设计思路 评价设计思路 需求评估 方案论证 实施的评价 项目实施 项目产出 项目设计 问题 效果评价：项目解决了问题了吗

  12. 评价研究的目的 • 评价研究的目的是 • 检验新的做法是否被实施 • 如果被实施，效果如何？ • 目标人群是否收益？ • 项目的效果是否可持续？ • 如何进一步改进、完善

  13. 评价的类型 • 过程评价 • 效果评价

  14. 基本评价设计 • 1、前后比较 • 1、 O X O • 2、干预组与对照组比较 • 2.1、 X O • O • 2.2、 O X O • O O • 3. 时间序列分析 • 3.1. O1 O2 O3 X O4 O5 O6 • 3.2. O1 O2 O3 X O4 O5 O6 • 3.3. O1 O2 O3 O4 O5 O6

  15. 效果评价的任务 • 如何估计完全是由于项目干预所带来的效果？

  16. 项目净效益 Y 项目前 项目干预 项目后 项目干预组 α1 对照组 α2 α1 项目效益Y = 项目后(yepre ) — 项目前（yepost） = _ α2 对照组的变化(Δyc ) = 项目后(ycpre ) 项目前（ycpost） = _ α1 项目组的变化(Δye ) = 项目后(yepre ) 项目前（yepost） = α2 项目净效益 = — α1 利用回归模型控制混杂因素，估算项目效益

  17. 变量的分类项目目标变量、干预变量、控制变量变量的分类项目目标变量、干预变量、控制变量 • 因变量Y： • 早产儿出生率 • 婴儿死亡率，智力低下 • 干预变量X：针对各种因素的服务干预 • 参加项目（是， 否） • 控制变量 • 年龄、教育、性别 • 当地经济增长 • 交通

  18. 利益相关者评价方法 • 确定利益相关者 • 澄清利益相关者的关注点 • 定义评价研究所要问答的问题 （研究课题） • 如何回答评价研究所要回答的问题 • 选择指标 • 选择评价设计 • 数据分析方案

  19. 1. 确定利益相关者 2. 澄清利益相关者的关注点 3. 定义评价研究所要问答的问题（研究课题） 4. 如何回答评价研究所要回答的问题 a. 选择指标 b. 选择评价设计 c. 数据分析方案 d. 数据收集方案 5. 过程评价 澄清项目理论 澄清项目干预关键流程 按照干预流程，检查干预的实施 评价目标人群是否得到干预服务 6. 项目效果评价 7. 撰写项目评价报告 8. 报告的散发 利益相关者评价方法的评价步骤

  20. 利益相关者及其关注点和评价课题 利益相关者 关注 评价命题 农民 能否看得起病？ 项目合作医疗是否会降低农民 看病的费 用？ 能不能看好病 合作医疗对服务的质量是否有所改进？ 卫生局、 政府 农村卫生服务的改进 有哪些新服务开展？ 服务的质量高吗？ 服务的利用 谁利用卫生服务？ - 服务成本效益吗？

  21. 讨论题 • 中关村地区高血压患病率较高，当地卫生部门拟开展试点，寻求有效的、经济的可持续的高血压干预方法，以便在面上推广应用。 • 1、你如何设计干预试点项目，请列出步骤及每一步骤期望的结果； • 2、你如何设计试点评价方案，请列出步骤及每一步骤期望的结果。

  22. 利益相关者评价方法 • 确定利益相关者 • 澄清利益相关者的关注点 • 定义评价研究所要问答的问题 （研究课题） • 如何回答评价研究所要回答的问题 • 选择指标 • 选择评价设计 • 数据分析方案

  23. 利益相关者及其关注点和评价课题

  24. 高血压试点效果评价 评价命题 结果指标 自变量指标 评价设 利益相关者 关注点 计

  25. 选择评价指标 • 明确概念 • 初选评价指标 • 评价评价指标

  26. 选择评价指标 • 明确概念 • 明确各种不同的概念定义 • 确定概念的定义 • 明确概念的不同角度

  27. 选择评价指标 • 初选评价指标 • 选择多少指标 • 如何制定指标 • 如何将指标转化成调查表

  28. 选择评价指标 • 评价评价指标 • 必须明确测量真正要测量的， 测量的结果是可靠得住的 • 评估有效性、可靠性 • 试调查

  29. 制定调查问卷 • 选择的区域 • 结果指标的测量 • 干预指标及研究指标的测量 • 背景指标的测量 • 问卷内容 • 提问的用词、语序、语气 • 简短、直接和非直接提问（敏感问题）、 • 无诱导 • 提问的种类 • 开放式问题和封闭式问题 • 场景式提问

  30. 抽样 • 抽样方法 • 概率抽样 • 简单概率抽样 • 系统抽样 • 分层抽样 • 多步整体抽样 • 非概率抽样 • 目的性抽样 • 限额（按比例）抽样 • 样本大小

  31. 评价设计的有效性 • 有效性与评价设计相联系 • 内部有效性 • 所谓评价设计是内部有效的，那么，项目评价人员则能自信地说评价的结果是正确的。 • 外部有效性 • 指评价的结果能推广到其它地方的程度 • 内部有效性对于评价来说是至关重要的，如果没有内部有效性，就不能说效果是项目带来的还是其它因素造成的。

  32. 1. 确定利益相关者 2. 澄清利益相关者的关注点 3. 定义评价研究所要问答的问题（研究课题） 4. 如何回答评价研究所要回答的问题 a. 选择指标 b. 选择评价设计 c. 数据分析方案 d. 数据收集方案 5. 过程评价 澄清项目理论 澄清项目干预关键流程 按照干预流程，检查干预的实施 评价目标人群是否得到干预服务 6. 项目效果评价 7. 撰写项目评价报告 8. 报告的散发 利益相关者评价方法的评价步骤

  33. 1、背景 简介 陈述项目要解决的问题 2、评价命题 3、描述项目干预 4、项目的预期效果 5、原因分析及项目理论 6、项目目的 7、项目目标 8、项目目标人群 9、论述项目干预前的需求评估，如果没有进行需求评估，则论述在需求评估时应关注的问题，以及相应的评估方法 10、批判性地评论项目是否有项目执行情况的监测，如果没有，提出并论述你的具体建议。 11、描述评价设计（OXO） 12、结果指标、干预指标及分析性指标 13、如何测量结果指标，论述测量的可靠性、有效性 14、如何测量控制性变量 15、抽样方法 16、分析方法 17、详细讨论该评价设计的内部有效性、外部有效性的影响因素。 18、评价的意义 项目评价建议书

  34. I. 简介（背景） 卫生问题 干预项目 评价命题 II. 方法 评价设计 干预的目标、活动 样本 结果指标 信度(稳定度，可靠性) 效度 指标收集的质量保证 分析方法 III. 结果 回答率 人口及其它特征的描述 效果分析 成本效果分析 IV. 结论 V. 建议 表格、图 表1 表2 图1 附件 调查表 问卷 样本量计算 调查员培训材料 评价报告

  35. 1、背景 简介 陈述项目要解决的问题 2、评价命题 3、描述项目干预 4、项目的预期效果 5、原因分析及项目理论 6、项目目的 7、项目目标 8、项目目标人群 9、论述项目干预前的需求评估，如果没有进行需求评估，则论述在需求评估时应关注的问题，以及相应的评估方法 10、批判性地评论项目是否有项目执行情况的监测，如果没有，提出并论述你的具体建议。 11、描述评价设计（OXO） 12、结果指标、干预指标及分析性指标 13、如何测量结果指标，论述测量的可靠性、有效性 14、如何测量控制性变量 15、抽样方法 16、分析方法 17、详细讨论该评价设计的内部有效性、外部有效性的影响因素。 18、评价的意义 项目评价建议书（设计）

  36. 选择评价指标 • 初选评价指标 • 选择多少指标 • 如何制定指标 • 如何将指标转化成调查表

  37. I. 简介（背景） 卫生问题 干预项目 评价命题 II. 方法 评价设计 干预的目标、活动 样本 结果指标 信度(稳定度，可靠性reliability) 效度(validity) 指标收集的质量保证 分析方法 III. 结果 回答率 人口及其它特征的描述 效果分析 成本效果分析 IV. 结论 V. 建议 表格、图 表1 表2 图1 附件 调查表 问卷 样本量计算 调查员培训材料 评价报告

More Related