혼합형태의 공통+행렬표집 가교문항설계의 베이지안 IRT 동등화 방안

Abstract

가교 문항의 노출 위험을 적게 하면서 피험자의 수험 부담을 줄일 수 있도록 하는 공통+행렬 표집 가교 문항 설계(Common plus Matrix-sampled Anchor Items Design)에서 사용 가능한 문항반응이론(IRT)의 동등화 방안을 확장하려는 목적으로 본 연구가 수행되었다. 기존의 최대우도추정(MLE) 방식에 의한 동등화 방안들을 베이지안 사전 정보(Bayesian Informative Priors)를 활용하는 새로운 IRT 동등화의 부분 집합으로 보면서, 행렬 표집 설계에서 가장 안정적인 결과를 나타내는 베이지안 IRT 동등화 방안을 찾아보려 했다. 고전적인 가교 문항 설계로 수집된 국가수준 학업성취도 평가의 고1 국어 시험 자료를 최대 6개의 구획으로 행렬 표집되는 자료로 변형하였다. 구획 수가 많아지고 또 구획 당 피험자 수가 적어지면서 모수 추정 및 동등화에 어느 정도의 오차가 발생하는지를 알아보았다. 또한 사전 정보를 제시하는 방식에 따라 모수 추정 및 동등화에 어떤 영향이 있는지를 알아보았다. MLE 방식의 문항모수고정(FPIP) 방법은 점-사전 정보(Point Prior)를 활용한 베이지안 IRT 동등화로, 그리고 특성곡선전환(CCT) 방법은 사전 정보가 없는(Flat Prior) 베이지안 IRT 동등화와 같은 것으로 보고, 이에 덧붙여 사전 정보의 정도를 달리하는 MCMC 방식의 두 가지 베이지안 IRT 동등화 방법들(즉, Informative Prior, High Informative Prior)을 적용해보았다. 사전 정보의 활용 정도가 지나치게 높거나(Point Prior) 낮은 경우(Flat Prior)보다는 어느 일정 수준의 사전 정보(Informative Priors)를 활용할 때 안정적인 동등화 결과를 나타낼 것이라는 가정을 지지할만한 명확한 증거를 찾을 수 없었다. 가장 안정적인 결과를 보인 점-사전 정보 방법의 한계와, 최적의 사전 정보 수준을 찾는 후속 연구의 필요성 등을 논의했다.