300 likes | 493 Views
教育测验的命题与分析. 涡阳县第一中学教育科研究办公室 2009 年 11 月. 教育测验的基本流程 第一部分:编制试题流程. 定题、检审、编排. 明确测验目的. 分析教育目标. 建立双向细目表. 取材并编拟试题. 编拟主 观试题. 试测并分析. 施测与评定. 编拟客 观试题. 教育测验的基本流程 第二部分:测量分析流程. 获取试卷信息. 绘制各类统计图表. 分析并评价. 用学科专业知识解释试卷整体和各试题的数据意义、成因分析. 信度. 总体描述统计. 提出教学建议. 效度. 难度. 抽样描述统计. 区分度. 一、命题的一般原则
E N D
教育测验的命题与分析 涡阳县第一中学教育科研究办公室 2009年11月
教育测验的基本流程 第一部分:编制试题流程 定题、检审、编排 明确测验目的 分析教育目标 建立双向细目表 取材并编拟试题 编拟主 观试题 试测并分析 施测与评定 编拟客 观试题
教育测验的基本流程 第二部分:测量分析流程 获取试卷信息 绘制各类统计图表 分析并评价 用学科专业知识解释试卷整体和各试题的数据意义、成因分析 信度 总体描述统计 提出教学建议 效度 难度 抽样描述统计 区分度
一、命题的一般原则 1.目的性原则 2.典型性原则 3.灵活性原则 4.科学性原则
二、命题的一般步骤: 1.确定测验目的 2.分析教育目标,编制双向细 目表 3.拟编各类试题
(1).按照教学目标,确定各级教学目标的 试题在整份试卷中的分配。 各教学目标在试卷中的一般分配。
(2). 根据知识内容的重要性和综合性程度进行纵向设计。 (3).根据纵横双向比例把实际给分分配到中间的每个格子中去,这样就制成了测验的双向细目表。
三、各类试题的编制 (一).客观性试题的编制 1.选择题的编制。 (1)题干的长度要适中 (2)题干的内容要求 (3)选项的要求 2.简答题的编制 (1)简答题的优缺点 (2)简答题材的编制原则。
(二)主观性试题的编制 1.主观性试题的特点 2.编制主观性试题需要注意事项 四、试测与分析 五、测验的编辑和实施 1.试题的检查 2.试题的编排 3.测验的施行 4.测验的评定
第二部分:分析测量结果 获取试卷信息 绘制各类统计图表 分析并评价 用学科专业知识解释试卷整体和各试题的数据意义、成因分析 信度 总体描述统计 提出教学建议 效度 难度 抽样描述统计 区分度
一、总体描述分析 (一)获取信息,统计描述 (二)总体样本与抽取样本 (三)常用到的统计指标及计算方法 1.信度 (1).信度的统计学意义: 一个良好的教育测验首先必须保证测验的结果可靠,测验结果的可靠性为测验的信度。在教育测量学中对信度的估计或计算,一般采用相关分析的方法,即计算出两种变量的相关系数(rxy),用相关系数的大小来表示一致程度的高低。其取值范围-1≤r≤1。
(2)复本信度 复本信度是一种表示测验等值性的方法,复本信度可用等值系数表示。 (3)内部一致性信度 分半信度: 将一个测验分裂为两个假定相等而独立的部分来记分,通常以项目的奇数为一组,偶数为另一组,分组以后,求其两组分数的相关系数,最后用斯皮尔曼-布朗公式校正,以求得整个测验的信度系数。
第一,计算出每个被试的奇数题总分(X1)和偶数题总分(X2)第一,计算出每个被试的奇数题总分(X1)和偶数题总分(X2) 第二,用积差相关求出两部分总分的相关系数,用如下公式计算: rX1X2= rX1X2代表相关系数; N代表样本人数; X1代表每个被试的奇数题总分;X2代表每个被试偶数题总分。 例用Excel的强大运算功能可以很方便地计算出积差相关系数.
第三,用斯皮尔曼-布朗公式校正,因为分半后,试题的长度减半,其计算公式如下:第三,用斯皮尔曼-布朗公式校正,因为分半后,试题的长度减半,其计算公式如下: rtt= rX1X2为分半信度系数;rtt为校正后的信 度系数。 第四,查相关系数表,找出一定自由度下的临界值,判断相关性,相关性越高,表示信度越大。
(4)等级相关法 我们可以通过等级相关来求评分者评分的可信程度,或者用学生的平时成绩作为参照,来判断一次测验的信度。其计算方法如下。 用斯皮尔曼等级相关公式计算。 rs= rs为等级相关系数; D为两位评分者对同一试卷所评等级之差; N为被评分的试卷数(或人数)
2.效度 (1)效度的意义 效度是一种测验能够正确地测量出它所要测量的特性或功能的程度。一般我们主要考虑内容效度。所谓内容效度,是指测验内容与预定要测的内容之间的一致性程度。 (2)内容效度的估计方法 ①逻辑分析法 ②统计分析法 独立测验相关法。 评分一致性考查法。
3.难度难度是指测验题目的难易程度。在教育测量中,一般是以能够正确回答试题的人数与参加测验的总人数之比,作为难度指标。 (1)客观性试题计算难度的方法 ①原始定义法 当测验题目是采用二分法记分时,可用以下公式计算项目的难度: P= 在这里,P为难度系数; R为答对该题的人数;N为参加测验的总人数。
如果选择题的各题的选项数目不同,而又要比较它们的难度时,就要对上述公式进行校正。如果选择题的各题的选项数目不同,而又要比较它们的难度时,就要对上述公式进行校正。 CP= 在这里,CP为校正后的难度值; P为实际得到的通过率 K为选择题的选项数目
②极端分组法 当举行大规模测验时,这时也可以采用极端分组法计算难度。极端分组法是根据测验总分按高低次序排列,用极端组在某项目的平均通过率表示度。 公式为: P= 在这里,PH为高分组通过率; PL为低分组通过率。 计算步骤为: 第一,按测验部分由高到低排序; 第二,从高分段向下选出全部试卷的27%为高分组; 第三,从低分段向上选出全部试卷的27%为低分组; 第四,按公式计算难度值。
(2)主观性试题计算难度的方法 ①平均分数法 当该题是一定主观性的试题,不能简单的以对错判定时,一般采用下面的公式计算项目难度: P= 在这里,为被试在某项目的平均得分; W为该项目上的满分。 例如:数学测验某题的满分为24分。全体考生在该题上的平均分是12分,该题的难度为P=12/24=0.50。
②极端分组法 对主观性试题,如果考生人数较多,计算项目难度时可用下列公式来计算: P= 在这里,XH为高分组在该题所得总分; XL为低分组在该题所得总分; H为该题的最高得分; L为该题的最低得分; N为考生总人数的25%。
4.区分度 (1)区分度是测验对考生实际水平的区分程度。 区分度是测验项目分析的重要内容,它是作为评价试题质量,筛选试题的主要指标和依据。区分度一般用D表示,D的取值范围在-1.00和+1.00之间。 (2)区分长度与难度的关系很密切。 (3)区分度的计算 ①极端分组法计算客观性试题区分度 客观性试题区分度的计算公式为: D=PH-PL 在这里,D为区分度; PH为高分组通过率; PL为低分组通过率。
②极端分组法计算主观性试题的区分度 主观性试题区分度的计算公式为: D= 在这里, XH为高分组测验总分; XL为低分组测验总分; H为某题最高得分; L为某题最低得分; N为考生总人数的25%。
②相关法计算试题区分度 积差相关 当考生在试题上的得分与测验总分都属于连续变量时,比如考试总分和第一题简答题得分,可以采用积差相关法计算试题的区分度。 其计算公式为: r= 在这里,r为积差相关系数; X为考生某题得分; Y为考生测验总分; N为考生数。
求出相关系数后,需要进行显著性检验,检验方法可直接查“积差相关系数显著性临界值表”,根据df=n-2与显著性水平a=0.05或a=0.01,查找相对应的临界值。若求得的相关系数等于或大于该临界值,则说明求得的相关关系数结果有显著意义,也说明该试题的区分度达到显著水平。“积差相关系数显著性临界值表”在常见的统计学中附有,也可直接到一中教研究室查询。 求出相关系数后,需要进行显著性检验,检验方法可直接查“积差相关系数显著性临界值表”,根据df=n-2与显著性水平a=0.05或a=0.01,查找相对应的临界值。若求得的相关系数等于或大于该临界值,则说明求得的相关关系数结果有显著意义,也说明该试题的区分度达到显著水平。“积差相关系数显著性临界值表”在常见的统计学中附有,也可直接到一中教研究室查询。
点二列相关 当测验的一个变量是连续变量,另一个变量为真正的二分变量时,例如选择题只有“对”和“不对”,就要用点二列相关法计算区分度。其计算公式为:点二列相关 当测验的一个变量是连续变量,另一个变量为真正的二分变量时,例如选择题只有“对”和“不对”,就要用点二列相关法计算区分度。其计算公式为: r= 在这里,r为点二列相关系数; 为考生答对某题的平均得分; 为考生答错某题的平均得分; p为答对某题人数占全体考生人数之比; q为答错某题人数占全体考生人数之比,q=1-p; St为全体考测验得分的标准差。
5.平均数与标准差 平均数是最常用的一种集中量。集中量是代表一组数据典型水平或集中趋势的量,它描述数据分布的规律。 标准差是一种差异量,一组数据离差平方的算术平均数,称为方差。标准差是指方差的平方根。其定义公式为: S= 在这里,表示离差, 表示平均数。 N代表总频数。 标准差可以用原始数据法来计算,其公式为: S= 在这里,X代表原始数据;N表示总频数。
二、绘制统计图表、解释统计意义 三、发现问题,提出解决问题的建议 坚持命题与分析的科学性,才能使测量更准确,我们的判断才能更接近事实。假如,我们编制的试题, 能代表学生学习目标的95%; 学生能考出其学习结果的95%; 考试的可信程度有95%; 阅卷评分有95%可信; 试题分析能贴近真实情况的95%的前提下, 事实上,我们只获得了真实情况的: 95%×95%×95%×95%×95%=77.38% 所以,命题与分析的每一个环节的科学与精确,是使我们更真实地了解教与学的重要保障。