Download
1 / 54
690 likes | 1.13k Views
教育測驗編製與分析技術在學習診斷評量上的應用. 余民寧 教授 政大教育學系. 基本教學模式. 教學目標. 起點行為. 教學活動. 教學評量. 提 供 回 饋. 教學評量是一種歷程，以確保教學目標之達成為宗旨。. 教學評量的目的. 瞭解起點行為及適當安置學生 規劃教學活動及調適教學步調 診斷學習困難及激勵學習動機 評定學習成就及報告學業成績. 教學評量的基本原則. 一、依據教學目標 二、兼顧多重目標 三、採用多元方法 四、進行多次評量 五、重視反應歷程 六、善用評量結果. 標準化測驗編製流程圖. 教師自編成就測驗.
E N D
教育測驗編製與分析技術在學習診斷評量上的應用教育測驗編製與分析技術在學習診斷評量上的應用 余民寧 教授 政大教育學系
基本教學模式 教學目標 起點行為 教學活動 教學評量 提 供 回 饋 教學評量是一種歷程，以確保教學目標之達成為宗旨。
教學評量的目的 • 瞭解起點行為及適當安置學生 • 規劃教學活動及調適教學步調 • 診斷學習困難及激勵學習動機 • 評定學習成就及報告學業成績
教學評量的基本原則 一、依據教學目標 二、兼顧多重目標 三、採用多元方法 四、進行多次評量 五、重視反應歷程 六、善用評量結果
教師自編成就測驗 1.準備測驗編製計畫 2.編擬測驗試題 3.試題與測驗的審查 4.試題與測驗的分析 5.測驗的編輯
準備測驗編製計畫 一、確立測驗的目的和目標 （一）認知的教學目標 （二）情意的教學目標 （三）動作技能的教學目標 二、設計雙向細目表 三、選定測驗的題型 （一）選擇型試題（客觀測驗） （二）補充型試題（論文測驗）
1.下列何者為當今(2005年)的美國總統？ (1)李登輝 (2)陳水扁 (3)柯林頓 (4)小布希 :題幹 :誘答選項 :誘答選項 :誘答選項 :正確選項 編擬測驗試題 一、選擇題的性質：
二、選擇題的類型 類型Ⅰ：Ｐ → Ｃ 說明：此題型表示一個命題產生一個結果； 亦即，學生必須根據命題的陳述，從 ｋ個選項中挑選出一個正確（或較佳 ）的答案。 目標：主要是測量名詞的記憶能力，亦可以用 來測量理解和應用等層次的學習目標。
類型一例題 空城計一文是摘自哪一本書？ （挑一個正確的答案） A. 西遊記 B. 水滸傳 *C. 三國演義 D. 東周列國志
二、選擇題的類型（續） 類型Ⅱ：Ｐ1∩Ｐ2∩……∩Ｐn → Ｃ 說明：此題型表示交集（即 ∩）數個命題以產生 一個 結果；亦即，學生必須在多個命題條件的限制 下思考，然後從ｋ個選項中挑選出一個正確的 答案。這種類型可以增加試題的困難度和複雜 性，比較能夠測量出較高層次的認知能力。 目標：主要是測量應用、分析、及推理層次的認 知能力。
類型二例題 姊妹二人共有 100元，今姊姊給妹妹12元後，兩人的錢變得一樣多，問：原來姊妹二人各有多少錢？ A. 姊51元，妹49元 B. 姊72元，妹28元 *C. 姊62元，妹38元 D. 姊38元，妹62元
二、選擇題的類型（續） 類型Ⅲ：Ｐ Ｃ 說明：此題型表示命題是屬於（或包含於）結 果中；亦即，學生必須能夠知道所陳述 的命題應該歸類到哪一類結果中，然後 從ｋ個選項中分辨之。這種類型試題， 只要變化一下命題或結果（二者之一皆 可），便能產出另一題複本試題來。 目標：主要是測量分類層次的認知能力。
類型三例題 皮亞傑（J. Piaget）被認為是哪一類心理學家？ *A. 發展（developmental） B. 工業（industrial） C. 心理計量（psychometric） D. 社會（social）
二、選擇題的類型（續） 類型Ⅳ：(Ｐ1∩Ｐ2 )U(Ｐ1∩Ｐ2 )U (Ｐ1∩Ｐ2 ) U(Ｐ1∩Ｐ2 ) …→ Ｃ 說明：此題型表示題幹中有ｎ個命題，各有「對或錯」之分，然後要求學生分別判斷其對錯，再從２ｎ 個可能結果中，選出正確的一個。如果題幹所提供的命題數是兩個（即ｎ＝２），則可能產生４個不同的選擇，其中有一個是正確的，三個是錯誤的（即誘答選項）；如果命題數是三個（即ｎ＝３），則可以產生８個不同的選擇，其中有一個是正確的，七個是錯誤的，當這種情況出現時，選擇題的四個選項最好是安排「兩錯一對」或「兩對一錯」的選擇，而不要安排「三錯一對」、「三對一錯」、「全對」或「全錯」的選擇供學生挑選，以降低學生因猜題而猜中的機率。 目標：主要是測量綜合與評鑑層次的認知能力。
類型四例題 (1). 民「惟」邦本──只 (2). 「惟」聞女嘆息──只 上述「惟」字的用法，何者正確？ A. (1)和(2)都正確 B. (1)正確， (2)不正確 *C. (1)不正確， (2)正確 D. (1) 和(2)都不正確
二、選擇題的類型（續） 類型Ⅴ：Ｐ1：Ｐ2 :: Ｐ3：Ｃ 說明：此題型表示第一個命題「對」（versus）(即：)第二個命題的關係，「猶如」（same as）或「相當於」（similar to）（即 ::）第三個命題「對」一個結果的關係；亦即，學生必須先行判斷前面兩項命題間的關係，然後，推論後兩項命題間應有的關係為何，再從四個選項中挑選一個正確的選項。 目標：主要是測量演繹及歸納相關事項的能力，以及應用、綜合、評鑑等認知能力。
類型五例題 「舅舅奉養外公、外婆」對「家庭的生物功能」，猶如「表哥帶弟妹玩耍」對「家庭的__」？ A. 心理功能 B. 教育功能 *C. 娛樂功能 D. 社會功能
類型五的變例 變例：「Ｐ1：Ｃ1 :: Ｐ2：Ｃ2」 媽媽對＿＿的關係，猶如爸爸對＿＿的關係？ *A. 嬸嬸，姨丈 B. 堂弟，表哥 C. 舅舅，姑丈 D. 姑姑，嫂嫂
三、選擇題的命題原則 原則：1. 試題的設計應該能夠測量到 重要的學習成果。 原則：2. 每個試題的選項數目應該保 持一致。 原則：3. 題幹的敘述宜清楚表達題 意，避免過短或過長。
三、選擇題的命題原則（續） 原則：4. 題幹的敘述宜保持完整，避免被選項分割成兩個部份或段落。 [不良例題]：（題幹的敘述被選項分割，造成題意被干擾） My mother A. talk to B. speaks *C. is talking to D. is speaking my father.
三、選擇題的命題原則（續） 原則：5. 選項的敘述宜力求簡短，必要或相同的敘述字詞宜放在題幹中。 [不良例題]：（選項中相同的字詞重覆出現多次，增加閱讀時間) 「軍書十二卷」、「同行十二年」、「策勳十二轉」，以上三句中的「十二」是？ A. 表示真實的數目 B. 表示吉祥的數目 C. 表示固定的數目 *D. 表示很多的數目
三、選擇題的命題原則（續） 原則：6. 所有錯誤選項的敘述，應該具有與題幹敘述相關聯的似真性或合理性，以發揮應有的誘答功能。 [不良例題]：（錯誤選項缺乏似真性，錯得過於離譜，喪失誘答力） 美國的首都是？ A. 台北 B. 東京 *C. 華盛頓 D. 倫敦
三、選擇題的命題原則（續） 原則：7. 儘量在題幹中使用肯定句的敘述，避免使用否定句的敘述；如果必須使用否定句敘述時，宜特別強調否定句的字眼或字詞。 [不良例題]：（沒有特別強調否定句敘述的字眼） 請選出沒有對仗的句子？ A. 調素琴，閱金經 *B. 山不在高，有仙則名 C. 苔痕上階綠，草色入簾青 D. 南陽諸葛廬，西蜀子雲亭
三、選擇題的命題原則（續） 原則：8. 試題必須確定只有一個清楚表達的正確答案或相對較佳的答案。 [不良例題]：（題意不明確，相對較佳答案可能不止一個） 與高雄縣相當的是下列哪一個都市？ A. 高雄市 B. 台東市 *C. 新竹市 D. 鳳山市
三、選擇題的命題原則（續） 原則：9. 選項之文法必須與題幹和試題格式一致。 [不良例題]： （選項中的文法與題幹不符） Ken：Look at this! There is worm in the apple. Sue：But that kind of apple is very healthy. Ken：What are you talking about？ A. Ken don't listen to Sue. *B. Ken doesn't think Sue is right. C. Ken want Sue to say it again. D. Ken hoped Sue to eat the apple.
三、選擇題的命題原則（續） 原則：10. 題幹和選項中的敘述應該避免暗示正確答案的線索出現。 [不良例題]：（題幹與正確答案中的敘述，均使用相同的字眼） John：Let's _____ football this afternoon. Joe ：I don't like to play football. *A. play B. go C. run D. kick
[不良例題]：（題幹中的文法結構（如：an）提供暗 示答案的線索） A：What are you doing？ B：I'm eating an ____ . A. banana B. kiwi-fruit C. fried-chicken *D. apple
[不良例題]：（正確答案的敘述和排序，一字不漏地直抄課文）[不良例題]：（正確答案的敘述和排序，一字不漏地直抄課文） 「廉」的意義是指？ A. 正正當當的行為 B. 清清白白的辨別 *C. 規規矩矩的態度 D. 切切實實的覺悟
[不良例題]： （正確答案的敘述特別詳細、過長） 下列有關「需求」的敘述，何者有誤？ A. 需求是慾望的具體化 B. 需求乃指整條需求曲線 C. 需求是客觀的表示 *D. 需求是其他條件不變時，消費者在一定期間內對特定財貨，在特定的價格下，願意且能夠購買的數量
[不良例題]：（誘答選項中使用絕對性的字眼（如：總是、絕不、都是、從來沒有、惟一等），暗示該誘答選項是錯誤的）[不良例題]：（誘答選項中使用絕對性的字眼（如：總是、絕不、都是、從來沒有、惟一等），暗示該誘答選項是錯誤的） Achievement tests help students improve their learning by： A. encouraging them all to study hard. *B. informing them of their progress. C. giving them all a feeling of success. D. preventing any of them from neglectingtheir tasks.
[不良例題]：（包含兩個內容重疊的誘答選項，暗示該誘答選項是錯誤的）[不良例題]：（包含兩個內容重疊的誘答選項，暗示該誘答選項是錯誤的） 什麼類型試題是在測量考生的回憶力？ *A. 補充型試題 B. 選擇型試題 C. 配合題 D. 選擇題
[不良例題]：（包含兩個意義相同的誘答選項，暗示該誘答選項是錯誤的）[不良例題]：（包含兩個意義相同的誘答選項，暗示該誘答選項是錯誤的） 「絮聒」的意義是指？ A. 棉花飄落的樣子 B. 柔細飄揚的棉花 *C. 語煩不斷的樣子 D. 喜歡講話的樣子
三、選擇題的命題原則（續） 原則：11. 錯誤選項儘量避免使用「以上皆非」和「以上皆是」。 [不良例題]： 「五倫」中的哪一倫是發生在家庭裡？ A. 兄弟倫 B. 夫婦倫 C. 父子倫 *D. 以上皆是
[不良例題]： 下列日常用具中，何者使用電動機做為動力？ A. 電話機 B. 烤麵包機 C. 電視機 *D. 以上皆非
三、選擇題的命題原則（續） 原則：12. 以隨機方式排列及調整正確答案出現的位置和次數。 原則：13. 以變化題幹或改變選項任何一者，來控制試題之難度。 原則： 14. 保持同一份測驗中的每個試題各自獨立。
三、選擇題的命題原則（續） 原則：15. 使用經濟有效的試題格式。 原則：16. 儘可能不要依照教科書內容的順序 來排列試題。 原則：17. 試題不宜過多，以免變成速度測驗。 原則：18. 如果還有其他管道可以改進選擇題 試題編製的有效性，可以不必墨守 上述原則性的成規。
試題與測驗的分析 一、試題分析部份 1.難度指標（difficulty index）的分析。 2.鑑別度指標（discrimination index）的分析。 3.誘答力（distraction）的分析（使用選擇題時）。 4.注意指標（caution index）的分析。 二、測驗分析部份 1.信度指標（reliability index）的分析。 2.效度指標（validity index）的分析。 3.差異指標（disparity index）的分析。
Tester For Windows 2.0版的使用 一、輸入命令列 二、輸入試題的標準答案 三、輸入原始反應資料矩陣 三、執行程式 四、存檔或列印 五、結果檔解讀
結果檔解讀 一、試題分析部份 1.難度指標。 2.鑑別度指標。 3.誘答力分析（使用選擇題時）。 4.注意指標。 二、測驗分析部份 1.信度係數。 2.效度係數。 3.差異指標。
難度與鑑別度指標的涵義 難度： Ｐi＝ (ＰiH +ＰiL ) / 2 數值愈大，表示題目愈簡單。 數值愈小，表示題目愈困難。 鑑別度： Di＝ (ＰiH -ＰiL) 數值愈大，表示題目品質愈好，鑑別力愈高。 數值愈小，表示題目品質愈差，鑑別力愈低。
誘答力分析的涵義 判斷原則： 一、至少有一位低分組學生選擇任何一個 不正確選項。 二、選擇不正確選項的低分組學生人數應 該比高分組學生人數還多。
信度與效度的涵義 信度： 簡單的說，指測量分數的精確性。 數值愈大，表示測量結果愈可信。 效度： 簡單的說，指測量分數的正確性。 數值愈大，表示測量結果愈正確。
差異係數的涵義 值域： (完美量尺) 0 差異係數 1 (隨機測驗) 常模參照測驗： 差異係數 0.50 為標準 顯示正常 差異係數 0.60 為異質 顯示異常 效標參照測驗： 差異係數 0.40 為標準 顯示正常 差異係數 0.50 為異質 顯示異常
注意係數的涵義 種類： 試題注意係數vs.學生注意係數 值域： (完美反應組型) 0 注意係數 (隨機反應組型) 判斷標準： 1.當 0 注意係數 < .50 時，表示正常程度。 2.當 .50 注意係數 < .75 時，表示應予注意，以* 標記。 3.當 .75 注意係數以上時，表示特別注意，以** 標記。
優良試題的挑選 鑑別度指標 試 題 評 鑑 .40 以上 非常優良 .30 - .39 優良，但可能需要修改 .20 - .29 尚可，但可能需要修改 .19 以下 劣，需要刪除或修改 先挑選 Di .25 再挑選 Ｐi .50
