1 / 24

NTT の実践的利用： 2 段階モデルに よる 英語プレイスメントテスト の 分析

NTT の実践的利用： 2 段階モデルに よる 英語プレイスメントテスト の 分析. 第 7 回日本テスト学会 企画セッション３：ニューラルテスト理論 ２００９年９月４日 新潟青陵大学　木村哲夫. 発表の概略. “ ニューラルテスト理論による英語プレイスメントテストの作成と評価 ”( 木村 ,2009) の概要. 英語プレイスメントテストの開発 NTT と IRT による分析の比較 外部テスト結果との比較 下位テストごとに能力を分析 → その結果をもとに総合力を分析 下位潜在 ランク→ 順位数 の和 下位潜在ランク→ 段階ニューラルテスト 結果の比較と考察

dard
Download Presentation

NTT の実践的利用： 2 段階モデルに よる 英語プレイスメントテスト の 分析

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. NTTの実践的利用：2段階モデルによる英語プレイスメントテストの分析NTTの実践的利用：2段階モデルによる英語プレイスメントテストの分析 第7回日本テスト学会 企画セッション３：ニューラルテスト理論 ２００９年９月４日 新潟青陵大学　木村哲夫

  2. 発表の概略 “ニューラルテスト理論による英語プレイスメントテストの作成と評価”(木村,2009)の概要 • 英語プレイスメントテストの開発 • NTTとIRTによる分析の比較 • 外部テスト結果との比較 • 下位テストごとに能力を分析→ その結果をもとに総合力を分析 • 下位潜在ランク→ 順位数の和 • 下位潜在ランク→ 段階ニューラルテスト • 結果の比較と考察 • 今後に向けて 2段階モデルによる英語プレイスメントテスト分析

  3. 英語プレイスメントテスト作成の流れ 項目選択のための予備テスト 項目分析 CTT：点双列相関係数(P.BIS) IRT： 1PLMによる項目分析(ZL値) NTT：項目参照プロファイル(IRP) Misfit除去の基準 Misfit Person：ZL ＜－1.96 Misfit Item：P.BIS＜0.25 misfit の除去 プレイスメントテスト完成

  4. 予備テストの項目数と受験者数 misfit の除去

  5. NTTの項目困難度(β)と1PLMの項目困難度(θ)の比較NTTの項目困難度(β)と1PLMの項目困難度(θ)の比較 rs= .97 rs= .91 rs= .89

  6. 疑似クラス分け 予備テストで、プレイスメントテストに選ばれた64問すべてを回答した75人のデータをもとに、下位テストごとのランク数の単純和により、擬似的に５クラス分けを行った。 Rvg Vgの潜在ランク （Q=10) Rdlg Dlgの潜在ランク （Q=10) Rmlg Mlgの潜在ランク （Q=10) RT 総合評価 (下位テストのランクの単純和) ３～３０

  7. 潜在ランク和(RT)によるクラス分け

  8. 各クラスの英語基礎力総合評価(RT、θT、ST)の代表値と散布度の比較各クラスの英語基礎力総合評価(RT、θT、ST)の代表値と散布度の比較

  9. R、θ、S 間の相関係数 • 注：RT:θTとRT:STはスピアマンの順位相関係数(rs)を、θT:STはピアソンの積率相関係数(r)を用いた。

  10. 他の英語能力試験結果との比較(CASEC) n =55 n =55 rs=.80 • r=.76

  11. 他の英語能力試験結果との比較(TOEIC Bridge) n =13 n =13 rs=.89 • r=.90

  12. 2段階モデルによる英語プレイスメントテストの分析2段階モデルによる英語プレイスメントテストの分析 NTTにより求めた下位テストの潜在ランク (Rvg, Rdlg, Rmlg)の単純和(SUM)で 本当によいのか？ NTTにより求めた下位テストの潜在ランクを 段階ニューラルテスト(graded neural test, GNT)：LRT-SOMモデルにより分析すべきでは？

  13. 2段階モデルによる英語プレイスメントテストの分析2段階モデルによる英語プレイスメントテストの分析 ① 2008 疑似クラス分け(N=75) ② 2009 N短大のクラス分け(N=125) 潜在ランク(Rvg, Rdlg, Rmlg) の単純和(SUM)をもとに ５クラス分け SUM NTT(Q=10)により下位テストの潜在ランク(Rvg, Rdlg, Rmlg)を求め GTN 潜在ランク(Rvg, Rdlg, Rmlg) を項目としてGNT(Q=5)により５クラス分け • NTT分析は予備テストで得られたIRPを固定し、①はneutet、②はexametrikaを使 • LRT-SOMモデルにより、潜在ランクの目標分布を指定せずに行った。 • GNTの分析はexametrikaを使いLRT-SOMモデルにより、 潜在ランクの目標分布を • 一様分布として行った。

  14. SUMによるクラス分けとGNTによるクラス分けの相関SUMによるクラス分けとGNTによるクラス分けの相関 • ①のGNTをQ=10とした場合は、弱順序配列を満たさなかった • 順位相関係数はスピアマンの順位相関係数

  15. クラス分け結果の差異 • 分析方法の違いによるクラス人数の差異 • 分析方法によって推定ランクが異なるケース(D)

  16. GNTのテスト参照プロファイル(TRP) ① 2008 (N=75) ② 2009(N=125)

  17. 下位テストの相対潜在ランク分布(LRD)と • 相対ランク・メンバーシップ分布(RMD) ① 2008 (N=75) Vg Dlg Mlg ② 2009(N=125) Vg Dlg Mlg

  18. GNTの相対潜在ランク分布(LRD)と相対ランク・メンバーシップ分布(RMD)GNTの相対潜在ランク分布(LRD)と相対ランク・メンバーシップ分布(RMD) ① 2008 (N=75) ② 2009(N=125)

  19. GNTの項目参照プロファイル(IRP) ① 2008 (N=75) ② 2009(N=125)

  20. GNTの境界カテゴリ参照プロファイル(BCRP) ① 2008 (N=75) RVg RDlg RMlg ② 2009(N=125) RVg RDlg RMlg

  21. GNTの項目カテゴリ参照プロファイル(ICRP) ① 2008 (N=75) RVg RDlg RMlg ② 2009 (N=125) RVg RDlg RMlg

  22. 2段階モデルによる英語プレイスメントテストの分析（まとめ）2段階モデルによる英語プレイスメントテストの分析（まとめ） NTTとGNTの2段階で分析することで、クラス(能力）の境界を解釈・設定しやすくなる。 予備テストで識別力の高い項目を用意した場合 SUMでもGNTでもほぼ同様のクラス分けができる。 SUMとGNTによるクラス分けで異なる結果が出るのは、GNTは下位テストの識別力の差を考慮するためであろう。 GNTで一様分布を指定することで、より均等なクラス分けが実現する。

  23. 2段階モデルによる英語プレイスメントテストの分析（今後に向けて）2段階モデルによる英語プレイスメントテストの分析（今後に向けて） 下位テストに読解問題を加える(GNTによる分析） 英語基礎力の構成概念の妥当性の検討 各下位テストに項目数を増やし(等化）アイテムバンクを構築・公開：学校(教員)間での共有 各下位テストをMoodle-based CATにする 潜在ランクを何らかのCan-D0-Chartへ対応づける

  24. ご静聴ありがとうございました。 本英語プレイスメントテスト実施ご希望の方、 本研究についてご質問のある方は、 kimura@n-seiryo.ac.jp あてにご連絡ください。

More Related