項目反応理論（item response theory; IRT）に基づくテストの開発にあたっては、予備実査によって回答データを集め、個々のテスト項目について識別力や困難度といった特性（項目パラメータ）を推定しておく必要があります。項目パラメータを精度よく推定するためには相当数のデータを集めなければなりませんが、予備実査実施上の様々な制約やコストなどの面から十分な数のデータが集められない状況も少なくありません。こうした場合には、事前に入手可能な情報を定量的に分析に組み込むことによってデータから得られる情報を補い、一定の推定精度を確保することが考えられます。その際、(a)既に項目パラメータがわかっている既存の類似の項目を参考にする、(b)項目の内容や回答に必要とされるスキルなどの特徴から項目パラメータの値を予測する、(c)作問者、編集者、出題内容の専門家などのエキスパートの意見を利用する、といった方法が考えられますが、本研究では(c)の方法について考えました。

事前情報を一定の形式に従って推定に利用するための方法としてベイズ推定法があります。ベイズ推定では項目パラメータに関する事前情報を確率分布の形で表しておき（これを事前分布といいます）、これをデータから得られる情報（尤度といいます）と掛けあわせることによって項目パラメータの事後分布というものを求め、この事後分布に基づいて推定値を決めることになります。従って、本研究の文脈ではエキスパートの意見を事前分布の形で表現する、或いはエキスパートから事前分布を引き出すことが必要となります。この作業は確率査定（probability assessment）と呼ばれ、経済学における意思決定などの場面では比較的よく用いられています。

しかし、作問者などの項目作成のエキスパートはIRTに関する知識を持たない場合が多く、項目パラメータに関して直接事前分布を査定するのは容易ではありません。そこで、エキスパートがより具体的なイメージを持ちやすいと思われる「正解率」に関して事前分布を引き出しておき、これを項目パラメータの事前分布に変換する方法を考えました。ただし、IRTにおけるある項目の正解率は、その項目に回答する受験者の能力値に依存します。そこで、能力値の平均値が既知の集団（特定の学校の生徒など）を2つイメージしてもらい、それぞれの集団で正解率の確率分布がどのようになるかを次のような質問によって尋ねました：

「この集団の正解率が80％以下になる確率はどれくらいですか？」

「この集団の正解率が50％以下になる確率はどれくらいですか？」

想定してもらった2つの集団のそれぞれに関するこれらの質問に対する回答（確率値）に、ベータ分布と呼ばれる確率分布を当てはめることによってその分布の形を決定することができます。これを統計理論に基づいて変換すると項目パラメータの事前分布が得られます。ベータ分布を使用した理由は、IRTの2パラメータ・ロジスティック・モデルを用いた場合に数学的に扱いやすい形となること、上記のような確率値で表される「データ」に対してベータ分布を当てはめる既存の計算法が利用できるという2点であり、これらを考案・採用した点が類似の先行研究に対する本研究の意義であると考えます。

今後の課題としては、今回の方法で得られた事前分布を用いてベイズ推定を実行するプログラムの開発、ベータ分布の当てはめアルゴリズムの改良、そして実際のデータを用いた推定精度の検証などが必要であると考えられます。

発表ポスター（250KB）

（前CRET研究員　加藤 健太郎）