IRT 능력 분포 모수 추정량의 표준오차 추정

Abstract

문항반응이론(IRT)에서 피험자 모집단의 능력 분포의 추정을 위해 정규적 방법과 비모수적 방법이 사용되어 왔다. 본 연구의 목적은 IRT 능력 분포 모수(평균과 표준편차) 추정량의 표준오차 추정 공식의 특성을 모의실험을 통해 검토하는 것이다. 모의실험 요인으로 검사의 길이(25, 50), 모집단 분포의 유형(정규 분포, 정적 편포, 부적 편포), 표본의 크기(500, 2000), 추정에 사용된 능력 점의 수와 범위(5개 점과 [-2, 2], 10개 점과 [-3, 3], 20개 점과 [-4, 4]) 등을 고려하였다. 주요 결과는 다음과 같았다. 첫째, 모집단 분포가 정규 분포일 때, 정규적 방법은 능력 점의 수가 증가할수록 분포 모수뿐만 아니라 모수 추정치의 표준오차 또한 보다 정확하게 추정하는 경향을 보였다. 둘째, 모집단 분포가 정적 편포 혹은 부적 편포일 때, 비모수적 방법은 능력 점의 수가 증가할수록 분포 모수를 보다 정확하게 추정하였으나, 모수 추정치의 표준오차는 능력 점의 수가 20일 때 확률 추정치의 표준오차의 과도한 증가로 상당히 과대 추정되었다. 셋째, 비모수적 방법의 모수 추정치에 대한 표준오차의 과대 추정 문제는 정규적 방법의 표준오차 공식을 대신 사용하였을 때 적절히 해결될 가능성이 있음을 보였다.

In item response theory (IRT), the normal and nonparametric methods have been used to estimate the ability distribution of an examinee population. The purpose of this study is to examine the characteristics of the formulas for the standard errors of the estimators of IRT ability distribution parameters (mean and standard deviation) through simulations. The simulation factors considered were test length (25 and 50), population distribution type (normal, positively-skewed and negatively-skewed distributions), sample size (500 and 2000), and number and range of ability points to be used for estimation (5 points and [-2, 2], 10 points and [-3, 3], and 20 points and [-4, 4]). Main results were as follows. First, when the population distributions were normal, the normal method tended to estimate not only the distribution parameters but also the standard errors of the parameter estimates more accurately as the number of ability points increased. Second, when the population distributions were positively or negatively skewed, the nonparametric method estimated the distribution parameters more accurately as the number of ability points increased, but the standard errors of the parameter estimates were severely overestimated in the 20 points conditions due to the enormous increase in the standard errors of probability estimates. Third, it was shown that such an overestimation problem in the nonparametric method might be resolved properly when the standard error formulas of the normal method were used instead.