검사 길이 변화에 따른 국가수준 학업성취도 평가의 안정성 분석

Abstract

본 연구는 대규모 평가에서 일어나는 문항 수 감축 상황이 점수척도의 안정성에 어떠한 영향을 끼치는지 점검하는 것을 목적으로 하였다. 따라서 “대규모 표준화 검사도구가 이전과 비교하여 축소된 문항 수로 구성됨에도 불구하고 척도의 점수대별 오차가 안정적인가?”하는 문제를 확인하기 위한 모의실험을 수행하였다. 이를 위해 검사 길이가 축소되기 이전의 교과별(국어, 수학, 영어) 실제 검사를 기반으로 모의 검사를 구성하였다. 또한 문항반응이론에 기반하여 동일한 능력점수()를 가진 학생별로 1,000명의 모의 검사에 대한 응답 자료를 생산하였다. 국가수준 학업성취도 평가와 유사한 목적을 가진 대규모 학생평가에서는 특히 ‘기초학력 미달’ 학생 비율에 대한 연도 간 변화에 사회적인 관심이 크게 집중되므로 척도의 안정성은 ‘기초학력’과 ‘기초학력 미달’ 판별의 정밀함이 관건이다. 본 연구를 통해 산출된 모의실험 결과를 요약하면, 기초학력과 기초학력 미달의 경계선 부근 학생을 판별하기에 적당할 정도로 난이도가 낮으면서(문항반응이론 난이도 b –1.5)이면서 변별력도 어느 정도 갖춘 (문항반응이론 변별도 a 0.5) 문항을 교과별 검사에서 최소한 3개 이상 갖춘 경우, 기초학력 미달 분할점수 부근 학생의 성취도(능력점수) 추정의 평균오차(RMSE)가 0.05를 초과하지 않을 정도로 안정적임을 확인하였다.