행렬표집가교문항설계의 대규모시험에서 베이지안 IRT 동등화의 최적 사전정보 탐색

Abstract

행렬표집가교문항설계의 대규모 고부담 시험에서 베이지안 IRT 동등화의 최적 사전 정보를 탐색해 보았다. 단순 가교검사설계로 수집된 국가수준학업성취도평가 2007년 고1 영어 시험의 가교 문항들을 문항 형태와 채점 범주 수를 감안하여 최대 8 개의 구획을 가진 행렬 표집 설계로 변형하고, 사전 정보 수준을 달리하는 5 가지 베이지안 IRT 동등화 결과를 평균자승편차, 추정의 표준오차, 동등화 관계 양상 등으로 비교했다. 베이지안 방식이 기존의 IRT 방식들을 개선해 줄 수 있다는 증거를 발견하였다. 사전 정보의 정확도를 일정 수준 낮춤으로써 동등화 관계를 개선할 수 있었다. 정확도 수준을 너무 높게 하거나 너무 낮게 하는 것은 IRT 동등화를 개선하는데 도움이 되지 않았다. 사전 정보 분포를 다양하게 가정해 보거나, 정확도에 관한 상위 사전 정보를 가정하는 등의 추가 노력이 필요함을 제언했다.