课程与教学评价的 基本模式

1. 课程与教学评价专题讲座二 课程与教学评价的基本模式 高凌飚 2007年9月18日 Email: gaolb@scnu.edu.cn

2. 课程评价的理论背景 • 评价模式的历史发展 • 重要的课程评价模式 • 当前常见的22种评价模式

3. 课程评价的理论背景

4. 为什么需要评价模式 • 作为一个整体，评价的诸多要素：目的、原则、目标、主体、对象、内容、方法、程序、解释中的任何一种变化，会引起评价过程和结果的改变。 • 需要有一定的结构和规范，确定评价的诸要素的情况以及它们之间的相互关系。这就导致了评价模式（模型）的产生。

5. 何谓评价模式 • 评价模式： • 英文Evaluation Model，直译为模型，含义与数学模型、物理模型易混淆，改译为模式 • These are not models in the sense of mathematical models used to set given theories, but they are models in the sense that each one characterizes its author’s view of the main concepts and structure of the evaluation work, while at the same time serving the exemplary function of providing guidelines for using these concepts to arrive at defensible descriptions, judgments, and recommendations. Stufflebeam et al., Evaluation Models, Boston:Kluwer Academic Publisher, p. 19 • 含义包括 • 对特定的评价理念和过程的一种概括、缩影和抽象 • 某一知名设计者所做的有典型意义的评价 • 某种特定评价方式的程式

6. 以“工厂”为隐喻的学校图式 • 学校即工厂 • 课程：生产的工具 • 学生：从待加工的原材料变为有用的产品 • 教师：工程师 • 教与学：获得期望成果的可控工具和元素 • 教学过程：由专家进行的塑造过程 • 按照预定的技术规范认真细致地制造产品 • 除去一些影响效率和消耗过多资源的工具 • 对进入“工厂”的原材料即生源的高度重视 • 根据生源的质量决定“生产”的工序

7. 利用适当的技术可以解决学生学习种的问题 • 对教育的因果关系的更为全面的认识可以促进教育质量的提高 • 未来的雇主是产品的消费者 • 工厂图式的变形：高科技装配线 • 教师应瞄准问题解决和故障排除 • 基于工厂图式的评价： • 关注产品质量的评价－目标导向的评价 • 对消费者负责的评价－终结性评价 • 对目标的重视 • 对量的评价的重视 • 对纸笔测验的重视

8. 以“旅行”为隐喻的学校图式 • 上学如旅行 • 课程是学生旅行的线路 • 教师是导游兼旅伴 • 不同的旅行者对旅程有不同的体验 • 旅行的效果与旅行者原来的预期、智慧、兴趣和意愿有关 • 影响旅行效果的因素难以确认，但是必须的 • 不在意旅行对旅行者所产生的影响的性质 • 以巨大的努力去设计更为丰富和有趣的旅程

9. 基于旅行图式的评价 • 关注项目的进程以及项目对不同的人的影响 • 以历时的方式收集资料 • 收集资料方法包括质的方式，如深度的观察，开放式的访谈，个案研究，人类学方法，档案分析，等等 • 多元的评价指标 • 关注项目成功或失败的原因

10. 课程评价概念的变化 • 现代主义→后现代主义 • 理性主义→自然主义 • 要素/简化→整体 • 元叙事→不存在元叙事 • 预测→说明 • 了解→感受 • 控制→增进 • 知识→经验 • 评价式的质询→评价式的技术 • 量化的测量→质性的描述 • 证实→劝说 • 评价→诊断

11. 课程评价的历史发展

12. 1900以前：改革时期 （Age of Reform） • 1900-1930：效率与测验时期 (Age of Efficiency and Testing) • 1930-1945：泰勒时期 (Tylerian Age) • 1946-1957：空白时期 (Age of Innocence) • 1958-1972：发展时期 (Age of Development) • 1973-1983：专业化时期 (Age of Professionalization) • 1983-：扩展与整合时期 (age of Expansion & Integration)

13. 1900-1930：效率与测验时期 • 强调系统化、标准化，追求效率 • 利用多种指标来评价教学的效率 • 开支 • 学生流失率 • 升学率 • ┅ • 开发多种测验技术 • 客观测试 • 常模参照测试

14. 1930-1945：泰勒时期 • 建立系统的课程与评价理论 • 课程：a set of broadly planned school experiences designed and implemented to help students achieve specified behavioral outcomes. • 教育评价：to assess the extent that valued objectives have been achieved as part of an instructional program. • 目标参照模式的确定

15. 1946-1957：空白时期 • 理论概念上的空白，实践上不受重视 • 评价技术大发展 • 标准化测试 • 教育统计 • 教育试验设计 • 教育目标分类学

16. 1958-1972：发展时期 • 四种技术的广泛应用和问题的出现 • 泰勒目标模型、标准化测验、专家评定、现场研究 • 新的评价方式的开发 • 对泰勒目标模式的修正： (Metfessel & Michael) • 标准参照测试 • 系统分析方法 • 评价的概念化：课程评价概念应涵盖 • 对目标评价的需要 • 对输入的检测 • 教育单位的实施和传递情况 • 内部的目标 • 预料之外的目标

17. 1973-1983：专业化时期 • 评价工作的专业化发展：评价从一般意义上的教育研究透析出来，成为一种独立的专业 • 评价的技术应服务于 • 系统的研究 • 对教育的诊断 • 确认问题的核心价值 • 解决现实问题 • 保证诚信、精确 • 新的评价模式 • 目标游离模式(Goal-free) • CIPP模式(Context Input Process Product) • 反对者模式(Adversary/Advocate Teams) • 应答模式(Responsive Evaluation) • 消费者导向模式(Consumer-oriented Evaluation) • 自然探究模式(Natural Inquiry) • 个案研究模式(Case Study)

18. 1983-：扩展与整合时期 • 评价专业队伍与机构的扩展 • 各种评价模型与方法的整合

19. 重要的课程评价模式

20. 泰勒(R.W. Tyler)模式 • 20世纪30年代 • 确认目标 • 行为目标 • 内容 • 目标导向的学习经验 • 目标实现程度 • 纸笔测验 • 观察、交谈 • 问卷、作品展示

21. 改进的目标模式－梅特赛尔(Metfessel)模式 • 20世纪60年代 • 全员参与课程编制与评价活动 • 提出目标范例，进行等级排列 • 将评价目标转换成教学实施目标 • 设计标准测验 • 以测验和观察收集说明课程效果的资料 • 统计分析 • 根据标准进行价值判断和解释 • 提出改进建议

22. 落差(Discrepancy)模式 • 在标准S与实际表现P之间进行比较，找出差距D • 检验比较的五个阶段 • 设计阶段：设计方案的预期目标与设定的标准比较 • 装置阶段：装置方案的预期目标、资源要求、活动内容与设定的设计方案比较 • 过程评价：了解中间目标是否达成 • 产出评价：了解实际结果与预期结果的差距 • 成本效益：

23. CIPP模式 • 20世纪60年代由Stuffebeam提出 • 背景评价(Context) • 确定背景条件 • 投入评价(Input) • 确定输入方案的合理性 • 过程评价(Process) • 检测实际实施计划对预定方案的变动 • 记录实际实施过程 • 提供资料以供决策判断 • 成果评价(Product) • 测量、解释课程实施的结果

24. CSE模式 • 20世纪60年代由美国洛杉基加州大学评价研究中心(Center for Study of Evaluation)提出 • 需要评定：确认课程目标 • 方案计划：选择达成目标的最佳方案 • 形成性评价：是评价的重点，确认实施过程与目标要求的吻合程度 • 总结性评价：对教育质量进行全面的检测

25. 反对者(Adversary)模式 • 20世纪70年代中叶提出 • 争论提出：确认需要加以评价的问题 • 争论选择：从需要评价的问题中选择最重要的问题 • 辩论准备：观点对立的双方做准备 • 听证：通过对立意见的交锋确认最佳方案

26. 回应(Responsive)模式 • Stake于1976年提出 • 收集各方面课程决策者与实施者以至与教育活动有关的各方所关心的问题 • 以问题为先导，确认评价的范围、活动方式、目标和重点 • 将评价的问题概念化、具体化，确认需要的资料，选择观察的对象和工具 • 观察课程实施前后和过程中的情况，收集资料 • 进行描述或个案分析 • 检验资料的有效性 • 对资料进行筛选组合 • 展示评价结果

27. 目标游离模式(Goal-free) • Scriven于1973年提出 • 评价内容从目标（想干什么）转到实效（干了什么） • 主要形式： • 描述式：对课程与教学系统的各个方面进行了解和描述 • 批评与鉴赏式：用质性的观察手段对课程与教学系统的各个方面以及课程的进程进行描述、批评和表扬

28. 自然探究（Natural Inquiry)模式 • 基本观点： • 事物的多元性 • 研究主体与客体的交互性 • 知识获得过程的个体性 • 建构的同时性 • 价值牵连 • 采用质的研究方法进行课程评价 • 特点： • 自然情境；以人为研究工具；重视隐性知识；质性方法；目的性取样；归纳法处理资料；从下而上；逐步生成研究计划；暂时性的研究结果、推论和应用；个案式分析和诠释；由焦点决定研究领域；非一致性的效标。

29. 当前常见的22种评价模式

30. Approach 1：Public Relations-Inspired Studies公共关系－鼓吹研究 • 目的在于帮助项目主管/公共关系官员为项目设计一个令人信服的、正面的公众形象。 • 利用数据使核定项目者确信项目的合理性和有效性。 • 使用的典型方法包括带偏向性的调查，标准图表，有目的地挑选一些证明文件和轶事，对已获信息的“窜改”，只选择正面的研究结论，报道集中趋势而非变化的趋势，掩饰令人窘迫的事件，等等。 • 评价者和委托方只传达项目成效的正面信息，而压制关于项目的缺点、问题的负面信息，这样做很可能误导纳税人、核定项目者以及其他关心项目真正价值的各方。 • 评价者在联系项目主办方、委托方以及监督人的公共关系活动方面需要小心行事。

31. Approach 2：Politically Controlled Studies政治控制研究 • 典型方法包括隐性调查、模拟研究、私人民意测验、私人信息归档以及免除对研究结论的选择。

32. Approach 3：Objectives-Based Studies基于目标的研究 • 目的：确定项目的目标能否达成 • 方法：目标的具体化，收集并分析有关的信息，从而决定如何成功地达成每一个目标 • 适用于评价集中的目标 • 最后获得的信息对于完善项目或其他事业时毫无用处 • 信息范围太窄 • 没有覆盖正面和负面的副作用 • 无法对无价值的目标评分

33. Approach 4：Accountability, Particularly Payment By Results Studies绩效研究 • 目的：提供准确计算的结果 • 查明造成项目结果优劣的责任性原因

34. Approach 5：Objectives Testing Programs客观测试项目 • 指向：学校课程目标，课程内容，具体标准 • 目的：比较，检验，诊断 • 优点： • 可以有效地获得在学校课程领域内关于学生成绩的可靠信息 • 结合学科的本质和特色 • 局限 • 只有终结性数据 • 强化选择，淡化能力 • 强调低水平的学习目标 • 只反映标准化指标，没有反映教学质量

35. Approach 6：Outcomes Evaluation As Value –Added Assessment进步值评估 • 特征： • 系统地收集基于标准化的表现指标，以决定赋予的进步值 • 对相关政策，责任，绩效情况进行分析 • 目的： • 进行决策 • 明确责任和绩效 • 反馈引导方向 • 优点 • 结果数据库的系统化和制度化 • 以标准化的方式来研究和发现改进提高的方法 • 缺点 • 功利性强 • 受政治的影响大

36. Approach 7：Performance Testing表现式测验 • 用于弥补典型的多重选择测验的局限 • 特点： • 目标具有生活—技能指向 • 表现任务与内容相关 • 通过实践展示学习成就 • 优点： • 减少瞎猜 • 直接检查学生的写作、计算、实验能力以及其他生活技能 • 问题： • 费时 • 需要大量的资源支持 • 很难获得可信的分数 • 可用来测量的技能范围很窄 • 缺乏比较的标准，尤其是基于国家水平的标准

37. Approach 8：Experimental Studies实验式研究 • 以问题为导向 • 以准评价技巧为特点 • 实验性研究的组成包括：问题表述、干预、假设、研究、偶然干扰、比较组 • 研究的问题：干预对结果变量产生什么的效果 • 优点： • 关注结果 • 为确定干预和结果变量之间相对清晰、非偶然的联系提供了有力的分析方法 • 缺点： • 剥夺了控制组的权益

38. Approach 9：Management Information Systems管理信息系统 • 为管理者提供所需的管理信息，计划、指引、控制并报告关于其项目或责任范围。 • 先行组织包括：项目目标、具体化活动、计划项目里程碑或事件 • 管理信息系统的目标在于继续为管理者提供他们所需的信息来 • 问题：将这类工业取向类型的系统应用到教育上的困难在于教育项目的产品没有狭窄的、精确的定义

39. Approach 10：Benefit-Cost Analysis Approach收益成本分析模式 • 目的： • 决定与项目投入相关的成本 • 决定项目结果的货币价值，计算收益—成本比率 • 比较这些类似项目的计算比率 • 判断项目的在经济方面的生产力 • 分析过程 • 对项目投入的成本分析 • 成本—绩效分析 • 收益—成本分析

40. Approach 11：Clarification Hearing听证 • 模仿司法聆迅的听证方式： • 反对者和支持者双方申述辩论 • 陪审团根据证据做出判断 • 目的：保证评价的观众都接受到关于项目优势和缺点双方的证据

41. Approach 12：Case Study Evaluations 个案研究评价 • 对特定项目做集中深入的描述、分析和综合 • 调查者不以任何方式控制项目 • 研究从地理、文化、组织、历史背景的角度来进行分析 • 集中测量其内部的运作过程 • 检查如何投入的使用 • 同时运用质性评价和量化评价手段

42. Approach 13：Criticism and Connoisseurship艺术批评模式 • 用艺术批评和文学批评的方法 • 由专家来进行 • 目标：描述、批评、阐明一个特定项目的价值。 • 优点：培养了专家，发展了专家的见解 • 缺点：依赖于特定专家的专长和素质，带有很强的主观性

43. Approach 14：Program Theory-Based Evaluation基于理论的评价 • 启动形式： • 充分发展的、经过验证的理论 • 接近这个理论的早期阶段 • 目的： • 决定项目的利益在理论上的合理程度 • 理解项目成功或失败的原因 • 为项目的发展提供方向

44. Approach 15：Mixed-Methods Studies混合研究 • 将质性和量化的方法有意识地混合使用 • 先行组织： • 形成性评价和总结性评价 • 质性评价和量化评价 • 内部评价和外部评价 • 基本目的： • 完善项目 • 提供方向

45. Approach 16：Decision/Accountability-Oriented Studies决策/绩效导向研究 • 包括形成性评价和阶段总结性评价 • 优点：鼓励连续地、系统地计划、实施促进项目完善的评价。 • 主要局限： • 评价偏离其结果 • 需要评价者和项目各方的合作

46. Approach 17：Consumer-Oriented Studies消费者导向研究 • 目的： • 判断备选项目的产品和服务的相关价值， • 帮助纳税人、参与者和潜在的受益者作出明智的选择。 • 条件： • 具有极高的可信度和能力的专家 • 足以让专家进行彻底的研究的资源 • 获得所需信息的其他方法

47. Approach 18：Accreditation/Certification Approach认可/证明模式 • 资格认证考核

48. Approach 19：Client-centered Studies (or Responsive Evaluation)客户中心研究（或责任评价） • 特点： • 评价者必须与各客户群体合作并为其服务 • 客户群体包括 • 教师 • 管理者 • 发展者 • 纳税人 • 立法者 • 项目主办方等等。

49. Approach 20：Constructivist Evaluation建构性评价 • 行动研究

50. Approach 21：Deliberative Democratic Evaluation协商民主评价 • 先行组织包括： • 民主参与 • 用对话的形式来检测并鉴别项目各方的投入 • 有准备地完成对有关项目价值的可防御性的测量 • 目的：是在完成对项目测量的过程中实施民主参与 • 方法：讨论、调查以及辩论