CRETの研究発表論文 Dissertation

CRETから、最新の教育・テストに関する研究発表論文をお届けします。

International Meeting of the Psychometric Society (IMPS 2011) 発表報告
~Setting a Target Test Information Function for Assembly of IRT-Based Classification Tests(IRTに基づく合否テスト構成のための目標テスト情報関数の設定について)~

 項目反応理論(IRT)ベースのテスト構成の際に必要となるテスト情報関数(test information function; TIF)の設定法について、香港の香港教育学院で開催されたPsychometric Societyの国際大会(IMPS 2011)でポスター発表しました。セッション全体では50を超えるポスター発表が行われ、心理測定学の研究者を中心に盛んに意見が交わされました。

 テスト構成(test assembly)とは、そのテストが一定の測定精度を持つように項目プールから最適な項目のセットを数値計算によって選び出す作業です。IRTによって構成されるテストの測定精度はTIFで表されますが、テスト構成にあたってはそのTIFの目標値を設定する必要があります。通常この目標値はどの能力レベルでどの程度の測定精度が出ればよいのか(能力値の推定の標準誤差の大きさ)、手持ちの項目でどの程度のTIFを持つテストが構成できるのか、といったことやこれらの「見当」に基づくシミュレーションによって試行錯誤を繰り返しながら設定されますが、少数の「条件」を与えればある程度の目標値を系統的に求められる方法があると便利です。本研究では、特に合否の二値判定を目的とするテストの構成において、許容される誤判定率(真の能力値が合格/不合格レベルなのにテスト結果が不合格/合格になってしまう理論的確率)と、合否の判定ライン(能力尺度上の閾値)の2つを与えたときに最適となるTIFを数値的に求める方法を提案しました。

 最適なTIFとは何かを定めるために、問題を「統計的決定理論」の枠組みで定式化しました。一定の決定ルールと損失関数を用いると、合否判定の「リスク関数」は真の能力値が与えられたときの条件付き誤判定率となります。また、能力値の分布でその期待値をとったものは「ベイズリスク」と呼ばれ、これは全体での誤判定率となります。ただし、これらの誤判定率の計算にはTIFが定まっていることが必要です。通常の決定理論ではベイズリスクを最小とするような決定ルールを探すことが目的となります。しかし、今回の問題では決定ルールは既知という条件で、ベイズリスクが一定以下になるようなTIFを求めることになります。

 ベイズリスクの計算自体が複雑な積分計算を必要とするので、その中に含まれているTIFについて最適化するのは容易ではありません。そこで、より扱いやすいリスク関数(条件付き誤判定率)に着目しました。リスク関数に一定の関数形を仮定すると、ベイズリスクの積分結果を解析的に扱いやすい形に持ち込むことができ、閾値の値とベイズリスク=全体の誤判定率を一定以下にするという条件からその関数を一意に定めることができます。その関数が定まれば、目標とするTIFの値を一意に決めることができます。そこで、閾値と全体の誤判定率の値を様々に変化させて、目標TIFがどのようになるかをプロットしてみました。

 結果、閾値が能力の母集団分布の平均に近いほど、また誤判定率を小さくするほど、目標TIFは大きくなりました。例えば、誤判定率を10%以下に抑えようとすると、閾値と能力値の母集団平均の差が1のときは計算された目標TIFの最大値が3程度でよいのですが、閾値が母集団平均と等しい場合に最大値で16程度をとるTIFを設定しなければならないことがわかりました。このように閾値と誤判定率を与えるだけでTIFの目安が得られることは本研究のもたらす大きな利点であると言えます。

 一方で、直感に反する興味深い結果も得られました。通常は、閾値に近い能力値を持つ被験者の判定精度は必然的に悪くなるので閾値近辺では特にTIFを高くしたいと考えますが、今回の結果では逆に閾値近辺ではTIFを低くせよという結果になりました。これは、理論的には「元々判定精度が悪いのだから諦めろ」ということを示しています。

 今回の結果は、リスク関数に仮定した特定の関数形に依存するものです。他の適当なリスク関数の形や、他の決定ルールや損失関数の下ではどのような異なった結果が得られるのか、といったことを今後さらに調べていく必要があると考えます。
 

pdf 発表ポスターPDF(380KB)
(CRET研究員 加藤 健太郎)

その他研究員 -Other Researcher-

研究発表論文

<< | 1 | 2 | >>

CRETの研究領域

テストの評価や解析についての研究を行う。海外の教育テスト研究機関との協同研究や交換プログラムなども実施。







>> 研究室の
詳細はこちら

コミュニケーション能力、チームワーク能力、ソーシャルスキルなどを測定するテスト方法の研究開発を行う。

相川 充

-Atsushi Aikawa-
筑波大学 人間系
博士(心理学)

>> 研究室の
詳細はこちら

コンピューターベースのテストの基盤研究や、メディアと認知に関わる基礎研究、およびそれらの知見を活かした応用研究および実践研究を行う。

赤堀 侃司

-Kanji Akahori-
東京工業大学 名誉教授

>> 研究室の
詳細はこちら