표본 수와 사전정보의 정확도 수준이 베이지안 IRT 동등화에 미치는 영향

Abstract

기존의 문항반응이론 방식으로는 모수 추정과 동등화가 불가능할 정도의 표본 크기에서도 동등화의 가교 역할을 할 문항들의 모수 추정치를 확보하고 있을 때, 베이지안 IRT 동등화가 효과를 발휘할 수 있는지를 알아보려는 목적으로 이 연구가 수행되었다. 36개의 채점 문항들에는 모든 응시자가 반응하고 8개의 가교 문항들은 두 구획으로 나뉘어 반반씩 응답하게 한 양분 문항들로 구성된 국가영어능력평가(1급) 읽기능력시험 4차 모의평가 검사 자료를 사용했다. 표본 크기를 700명 또는 200명으로 줄이는 대신, 사전 정보의 정확도 수준을 최하 10부터 최고 1,000까지 높이면서 고정상위모수(Fixed Hyper-Parameters)방식으로 WinBUGS를 통해 모수를 추정하고 동등화 했다. 그 결과, 표본 크기가 매우 작음에도 불구하고 가교 문항 모수치간 상관이 거의 1.0에 가까웠다. 특성곡선전환 방식의 동등화와 베이지안 방식의 동등화는 동등 점수뿐만 동등화 관계를 볼 때에도 서로 달랐으나, 베이지안 방식들 간에는 표본 크기가 작아져도 정확도 수준을 높이면 서로 큰 차이가 없었다. 평균자승편차제곱근이나 적률 보존 상태를 보더라도, 베이지안 IRT 동등화는 표본 크기가 작을 때에도 사전 정보의 정확도를 높임으로써 효과적으로 동등화가 이루어질 수 있음을 알 수 있었다. 사전 정보를 지정하는 다른 위계적 사전 정보 방식 들이 사용될 경우에 어떤 결과가 기대되는지 등의 후속 연구를 제언하기도 했다.