비 최적조건의 행렬표집설계에서 베이지안 동등화의 최소조건 탐색

Abstract

양분 문항 뿐 아니라 다분 채점 문항이 포함되어 있고 단일 차원을 가정하기 어려운 검사로서, 문항 노출 위험을 줄이고 피험자의 수험 부담을 덜어주기 위해 가교 문항이 행렬 표집 방식으로 배치되는데 각 구획에 배정된 피험자들의 능력 수준이 같지 않고 그 수도 적은 검사가 있을 수 있다. 기존의 최대우도 추정 방식으로는 해결하기 어려운 이러한 검사 자료에서 베이지안 방식으로 문항반응이론의 모수를 추정하고 동등화 할 때 고려해야 할 최소한의 조건을 찾는 것이 본 연구의 목표이다. 국가수준학업성취도평가 2006년-2007년의 검사 자료를 바탕으로 구획 수(1개, 6개, 11개, 15개)와 그에 따른 피험자 수(1,500명, 250명, 136명, 100명), 능력 수준(평균 수준, 높은 수준, 낮은 수준), 검사의 차원성(1-차원, 2-차원) 등을 고려해서 모의 자료를 생성했다. 준거 검사의 가교 문항 특성과 피험자 능력 수준을 상위 사전 정보(hyper prior)로 추가하면서 문항 및 능력 모수를 추정하고 동등화를 수행했다. 양분 채점 문항은 2-모수 로지스틱 모형을, 다분 채점 문항은 등급반응모형을 가정하여 WinBUGS 프로그램으로 IRT 모수를 추정하고 동등화를 수행했다. 다양한 비 최적 조건에서의 동등화 결과는 최적 조건의 동등화를 준거로 하는 평균제곱편차(RMSD)를 계산하여 평가했다. 피험자 능력이 평균 수준일 때에는 문항 특성만을 사전 정보로 활용해도 구획 수나 표본 크기, 검사의 차원성에 따른 동등화의 영향이 없었다. 한편, 능력 수준이 평균보다 높거나 낮을 경우에는 구획 수가 증가하거나 표본 크기가 작아짐에 따라 동등화 오차가 커졌는데, 피험자 능력 수준을 사전 정보로 추가함으로써 해소되었다. 피험자 능력 분포가 구획 간에 고를 때 가장 양호한 동등화 결과를 보였다. 구획 간 피험자 능력 수준이 다르더라도 모두 다 높거나 낮지 않다면, 피험자 능력 분포를 사전 정보로 고려하지 않아도 안정적인 베이지안 동등화를 수행할 수 있었다.