서답형이 포함된 행렬표집 가교문항 설계에서 베이지안 IRT 동등화의 위계적 모형화 가능성

Abstract

특정 구획에 배정된 피험자의 능력 수준이 같지 않으며, 문항 유형이 섞여 있고 단일 차원을 가정하기 어려운 검사의 가교 문항들이 행렬 방식으로 표집 될 때에도 안정적으로 모수를 추정하고 동등화를 수행할 수 있는 위계적 상위 사전 정보 방안을 찾고자 하는 목적으로 이 연구가 수행되었다. 국가수준학업성취도평가 2006년-2007년의 고1 영어 검사 자료를 바탕으로 모의 자료를 생성했다. 모의 자료 생성 조건은 가교 문항의 표집 방식, 구획 간 피험자 능력의 차이, 검사의 차원성 등이었다. 상위 사전 정보를 위계적으로 고려하는 방식이 특정 값으로 상위 모수를 고정하는 방식에 비해 모수 추정과 동등화 오차를 줄일 수 있는지를 알아봤다. 양분 문항은 2-로지스틱 모형을, 다분 문항은 등급반응모형을 가정하여 WinBUGS 프로그램으로 IRT 모수를 추정하고 동등화를 수행했다. 연구 결과는 평균제곱편차를 계산해서 평가했다. 상위 모수 고정 방식보다는 위계적 사전 정보 방식이 더 효과적이라는 선행 연구의 일반적인 결과와 달리, 가교 문항의 모수를 점 사전 정보 방식으로 부여하고 채점 문항의 모수를 추정하고 동등화하는 본 연구는 위계적 방식보다 고정 방식이 더 효과적인 것으로 나타났다. 별난 데이터인 경우에는 위계적 방식이 더 효과적이지만, 활용될만한 사전 정보가 존재하고 또 그 정보가 적절하다면 분산을 작게 하는 상위 모수 고정 방식도 잘 작동된다는 선행 연구와 상충되지 않는다는 결론에 도달했다.