동등집단 설계를 사용하는 수직척도화에서 공통 능력척도의 개발을 위한 IRT 추정 방법의 비교

Abstract

문항반응이론(IRT) 기반 수직척도화(vertical scaling)에서 여러 학년들 간의 공통 능력척도는 ‘다집단 동시추정’ 방법과 ‘개별추정 및 척도연계’ 방법을 통해 개발될 수 있다. 수직척도화를 위한 자료수집 설계의 하나인 동등집단 설계에서 다(학년)집단 동시추정 방법과 개별추정 및 척도연계 방법의 기능을 모의실험을 통해 비교 분석하였다. 동등집단 설계에서, 3개의 학년 각각에서 두 랜덤 피험자 집단이 이전 학년 수준의 검사와 해당 학년 수준의 검사에 독립적으로 응시하는 것으로 설정하였다. 모의실험의 결과, IRT 수직 공통 능력척도를 개발함에 있어 전반적으로 개별추정 및 척도연계 방법이 다집단 동시추정 방법보다 우수한 수행을 보였다. 이러한 결과는 공통-문항 설계 혹은 척도화-검사 설계에서 발견된 결과와 상반된 것으로 보인다. 자료수집 설계에 따라 두 가지 IRT 수직 공통 능력척도 개발 방법의 상대적 기능이 다른 이유를 논의하였다.

In item response theory (IRT) based vertical scaling, a common ability scale can be developed using the ‘multiple-group concurrent estimation’ method or the ‘separate estimation and scale-linking’ method. This study investigated, through computer simulations, the comparative performances of these two IRT estimation methods under the equivalent groups design. In the equivalent groups design, three grades were involved and examinees in each grade were randomly assigned to take either the test level designed for their grade or the test level designed for one grade below their grade. The computer simulations showed that overall the separate estimation and scale-linking method performed better than the multiple-group concurrent estimation method in developing a vertical common scale. This comparative results are inconsistent with those from the previous research conducted under the common-item and scaling-test designs. The possible reasons that the separate estimation and scale-linking method could be superior to the multiple-group concurrent estimation were discussed.