第五章 实证研究的设计与评价

1. 第五章 实证研究的设计与评价 樊景立 香港科技大学 梁建 上海交通大学 陈志俊 香港科技大学

2. 引 言 • 研究设计（research design）是对研究项目的结构和过程进行的整体安排，可以作为实证研究的起点。 • 通过研究设计，研究者将一项研究的多个成分有机的结合在一起：包括提出研究问题、回顾文献、收集数据、分析数据等。 • 研究设计是研究项目的核心环节。

3. 好的研究设计可以将研究涉及的变量纳入一个清晰连贯的体系，以此回答研究所提出的问题（Duft,1983）。好的研究设计可以将研究涉及的变量纳入一个清晰连贯的体系，以此回答研究所提出的问题（Duft,1983）。 • （Duft,1995）回顾了自己在《美国管理学会学报》、《管理科学季刊》担任审稿人期间的经验。他认为在最后被拒绝发表的文章中，大约有20%是因为研究设计不当。

4. 一、实证研究的本质 1.1 社会科学中的实证主义取向 • 自20世纪50年代以来，实证主义的思想一直在社会科学中占有举足轻重的地位。 • 实证主义的研究范式： • 实证主义倡导的研究方法大多是用于检验预先建立的研究假设或命题，如果得到的数据与研究假设的预期一致，就认为假设是可以接受的；相反，则拒绝原假设。 • 从实验或问卷调查中得出数据，然后在统计分析的基础上研究结论。 • 实证主义思想更多强调的是理论检验（theory testing），而不是发展新理论。

5. 科学研究的核心问题在于判断变量间的因果关系。科学研究的核心问题在于判断变量间的因果关系。 • 实证主义的研究范式提出了判断因果关系的三个前提条件(Cook and Campbell,1979)： • （1）假设的因与果之间必须存在某种联系（contiguity); • （2）因果之间的时间顺序——因必须先于果发生（temporal sequence）; • （3）因与果间的关系必须恒定存在（constant conjunction）

6. Popper(1977)进一步修订了实证主义的研究范式，他强调推论变量间的因果关系需要消除其他可能的各种替代解释（alternative variables）。也就是说，其他的无关的、没有加以控制的外生变量（extraneous variables）可能会影响到因变量与自变量间的关系。 • 所以说，假设检验的过程仅是一个证伪（falsification）的过程。一个理论假设在实证研究中只能是得到支持（或暂时得到接受），而不能得到证明（proof）。

7. 1.2 实证研究中的资料收集 • 三种数据来源： • 外部可直接观察到的事件作为数据来源（董事会会议次数或频率作为衡量公司董事会结构的测量指标、员工获得专利的数目作为衡量员工创造能力的指标） • 在面对无法直接观察的对象（如员工的态度或动机、企业的价值观等）时，需要借助一定的测量工具——量表，将研究对象数学化表达（子公司效能问卷使用的王重鸣教授1994年设计的组织效能量表 、文化控制量表构建） • 也可将测量工具用于可以观察的行为（如请上司评价部属的工作业绩和行为）等。

8. 1.3 实证研究的一般过程 (a) X’ Y’ (b2) (b1) (c) X Y (d) 资料来源：Schwab(1999)构念效度统计结论效度内部效度

9. 四种研究效度 • 就上述的研究过程，可以区分四种研究效度指标： • 构念效度(construct validity) • 统计结论效度(statistical conclusion validity) • 内部效度(internal validity) • 外部效度(external validity)

10. 构念效度 • 构念效度(construct validity)指测量的准确性，上图中线(b1)和(b2)代表了构念与变量之间的对应关系。幻灯片 8 • 在通过各种操作手段将不能直接观察的构念转换为可数量化估计的变量时，测量就不可避免的引入了各种误差。如果测量的变量与抽象的构念之间不能准确对应，那么由此得出的结论就会出现偏差，将这样的研究评价为构念效度偏低。

11. 研究者可以从两方面提高构念效度： • 第一，研究者需要精确定义构念的含义并明确它的理论结构。 • 第二，从变量测量的角度，研究者要选择合适的测量方式，控制测量误差。

12. 统计结论效度 • 统计结论效度是指以统计检验对假设的关系进行解释的可信度，对应的是图中的线(d)。幻灯片 8 • 统计结论效度评价的对象：实证研究中运用的统计检验手段或方法（因子分析、回归分析、方差检验或者结构方程等）是否正确。 • 如果假设检验时使用的方法存在缺陷，则统计结论效度就存在问题。 • 影响统计结论效度的因素： • 样本太小造成统计检测力度缺乏； • 测验问卷和实验操作信度的缺乏； • 被试样本的差异等

13. 统计检验的本质是通过抽样的方式对变量间的关系作出泛化的推论，任何统计结论都可能面临统计结论效度的问题。统计检验的本质是通过抽样的方式对变量间的关系作出泛化的推论，任何统计结论都可能面临统计结论效度的问题。 • 四种可能的统计决策： • 接受正确的零假设、 • 拒绝错误的零假设、 • 拒绝正确的零假设 • 接受错误的零假设。

14. 拒绝正确的假设称为一类错误（Type Ⅰerror）：即两变量间并没有联系，但是根据自己的统计结果却拒绝了零假设，得出两变量间存在显著性关系。 • 提高统计结论效度的方法： • 选择正确的检验手段 • 更加严格的检验标准 • 取样随机化等

15. 接受错误的零假设称为二类错误（Type Ⅱ error），即两变量间存在显著性关系的时候，却接受了零假设，认为它们之间不存在相关性。 • 提高研究的统计结论效度的方法： • (1)增大样本量； • (2)通过控制外生变量、抽取同质性比较高的样本和选用高可信的测量工具等方法，减少因变量中与自变量无关的总体变异； • (3)根据理论检测方向性的研究假设（directional hypothesis）。

16. 内部效度 • 内部效度是指变量间因果关系推论的可信度。对应的是图中的线（c）。幻灯片 8 • 当我们判断自变量（X）与因变量（Y）间存在因果关系时，是否考虑了剔除其他各种可能的解释？

17. 实证研究中影响内部效度的主要因素来自于除自变量之外的各种混淆变量。实证研究中影响内部效度的主要因素来自于除自变量之外的各种混淆变量。 • Cook和Campbell(1979)总结了七种混淆变量： • （1）过去事件的影响； • （2）成熟效果（maturation）：受测者本身随着时间的流逝而发生身心的变化； • （3）测验效果：测量过程本身可能会改变所要测量的现象； • （4）统计回归（statistical regression）：若接受实验者为极端分散的群体，实验的后测结果就会有趋向其长期平均数的情况； • （5）自我选择效果（self-selection）：研究未采用随机抽样，造成被选择的人在能力或特制方面存在差异或不相等； • （6）被调查对象的退出或流失； • （7）研究样本所提供的信息偏误。

18. 外部效度 • 外部效度是指研究结论在其他情境中的可重复程度，是将研究结论推广到其它群体、时间和情境的可信程度。 • 比如，以大学生为研究样本得到的决策研究结论，可能无法推广到企业的CEO。这样的研究就缺乏一定的外部效度。 • 提高外部效度的措施：选取具有代表性的样本

19. 四、实证研究中的变异量的控制 4.1研究中的变量变异——外生变异、误差变异、系统变异 • 外生变量：即除自变量以外，可能影响到因变量的因素。 • 误差变异：各种随机因素引起的变异，比如被试者受测时的心情、当时的物理环境等。

20. 自变量 （收入水平） 因变量 （工作满意度） 误差 （被试者心情、测验环境等） 外生变量 （组织气氛、个人期望、人格特征） 图3 构成因变量变异的各种因素

21. 从以下三方面对变异量进行控制： • 最大化系统变异（maximize systematic variance） • 控制外生变异（control extraneous variance） • 最小化误差变异（minimize error variance）。

22. 4.2 最大化系统变异 • 系统变异： • 指因变量的变异中受到自变量影响的部分。 • 系统变异在因变量的变异中占的变种越大，说明研究中自变量的影响越明显，也就更有机会发现支持我们假设的证据。 • 最大化系统变异的方式：样本选择、对自变量的精准测量。 • 例如，研究收入水平与工作满意度的关系时，如果选择的样本都对工作满意，或者薪水是相同的，那么很难得出支持研究的结论。

23. 4.3 控制外生变异 • 外生变异会系统的影响我们感兴趣的因变量，但却与我们的研究无关。这类变量在其他的研究中可能是很好的自变量，但却不属于我们关注的焦点，因此需要对外生变量进行有效控制，将其与自变量隔离或将其效应最小化。 • 例如：在研究创新战略对公司经营业绩的影响时，我们必须控制公司的规模（大规模往往利润更高）和行业特征（某些行业利润相对偏高）等。虽然这两个因素都不是研究的关注点，但会影响公司的获利能力。当控制这些变量时，才可以相信，公司利润的变动是创新的结果而不是规模或行业的影响。

24. 控制外生变异的方式有三种： • 排除法(elimination)：选择同质性的外生变量。 • 例如：要了解收入水平对个人满意度的影响，同时性别也有可能对满意度产生影响，在取样时我们就可以单独选择男性或者女性。 • 随机分配法(random assignment)：将被试者随机分配到不同的控制组中，使外生变量的效应相互抵消。 • 配对法(matching)：将外生变异进行配对处理，创造相对等的研究条件。 • 例如，要考察一项组织变革的成效，可以选择另一家没有变革的企业作为控制组。

25. 4.4 最小化误差变异 • 误差变异是指随机因素而导致的因变量变异，是随机性质的。最典型的误差变异是测量误差（比如短暂的情绪波动等），或研究者控制不了的未知因素。将误差最小化的目的是，使系统变异尽可能的显示出来。 • 通常误差变异和外生变异是无法区分的，统称剩余部分（residual） • 因变量的总变异包括：自变量造成的组间差异（between group variance）和剩余部分。减少误差就可以使测量更精确，提高F值，从而增加显著性结果的可能性。

26. 控制误差变异的方法： • （1）控制数据收集过程，减少被试个体差异。人与人之间的差异越小，由于个体差异带来的误差变异也越小。 • （2）减少测量误差（error of measurement） • 提高测量的精确程度，以提高测量的信度（reliability） • 有效的控制测量情境（指导的语速、问卷调研环境等）

27. 二、研究设计在实证研究中所扮演的角色 • 研究设计是整个研究过程的执行计划，其基本目的有三个： • （1）通过数量化的分析，为假设中涉及的构念间的关系提供有效的检验。 • （2）满足实证研究四种效度指标的要求。 • （3）控制研究中涉及的变异量。

28. 研究设计是一个研究项目的整体蓝图，包括确定研究主题，通过文献回顾和探索性访谈发展研究假设，确定抽样方法、测量和操作化手段，以及这些因素对统计分析的影响等。Royer和Zarlowski(2001)曾经试图用图4表述研究设计的过程。研究设计是一个研究项目的整体蓝图，包括确定研究主题，通过文献回顾和探索性访谈发展研究假设，确定抽样方法、测量和操作化手段，以及这些因素对统计分析的影响等。Royer和Zarlowski(2001)曾经试图用图4表述研究设计的过程。

29. 第一步：确定研究主题 第二步：文献回顾和探索性访谈 第三步：定义研究问题 第四步：进行研究假设 中间阶段：前测试 第五步：收集数据 第六步：分析数据 第七步：结果

30. 实验法 准实验设计 问卷调查 二手数据 案例研究 各类研究类型本身没有优劣之分。对研究类型的选择取决与研究问题的性质和研究者对结果的预期。过于烦琐的研究方法并不能够代替对概念本身清楚的界定和说明。 2.2 研究类型的选择

31. Royer和Zarlowski(2001)建议读者在选择研究方法时应思考以下几个问题：Royer和Zarlowski(2001)建议读者在选择研究方法时应思考以下几个问题： • 这种方法适合我的研究问题吗？ • 这种方法可以带来预期的研究结果吗？ • 使用这种方法需要哪些条件？ • 这种方法自身有哪些局限？ • 还有哪种方法适合现在的研究问题吗？ • 现在选择的方法优于其他方法吗？如果是，为什么？ • 在使用这种方法时，我需要掌握哪些技能？ • 我现在掌握这些技能吗？如果没有，我可以学到这些技能吗？ • 我是否需要其他方法来提高对研究现象的观察？

32. 2.3 研究设计与研究问题 • 为了保证研究的效度，提高研究的效率和质量，我们需要根据研究问题进行研究设计，选择研究类型。如果无视研究问题的性质而随意选取研究方法，往往会导致研究设计的差错。

33. 2.3 研究设计与资料分析 • 资料分析的方法本身没有优劣之分，应与所研究的问题相结合。资料分析是为回答研究问题而服务的，应在研究设计的指导下进行。 • 确定研究问题指明了研究的具体现象，针对资料收集和分析方法的设计就回答了从哪里得到数据以及应当如何处理得到的数据的问题。

34. 五、结论 • 作为社会科学的一个分支，我们在管理学研究中面临很多方法论上的挑战：研究方法的局限使我们无法对变量间因果关系作出清晰的界定、对研究的变量无法进行直接的测量、人类组织活动自身的复杂性等。同时，管理学自身的特性也要求研究者必须深入企业、接近企业员工去得到研究必需的资料。而这又往往超越了研究者自身的能力和角色。 • 我们需要用不太精确的工具去理清一个复杂性同中各种关系，但我们又不能随意地收集自己需要的信息，这些局限和困难都加重了研究设计在整个研究中的重要程度。为了保证研究的问题得到满意的回答，无论如何强调研究设计的重要性都是不过分的。

35. 谢 谢！