역균형화 단일집단 설계를 사용하는 검사동등화에서 차별적 순서효과의 통계적 유의성 검정 및 검정력 분석

Abstract

단일집단 설계를 사용하여 두 검사형 간의 동등화 관계를 수립하고자 할 경우 피험자들의 검사 응시순서에 대한 역균형화는 거의 필수적이다. 이러한 역균형화 단일집단 설계에서 검사형()과 응시순서()와의 상호작용 효과를 차별적 순서효과(differential order effects)라 부른다. 본 연구의 목적은 전체 표본의 크기가 인 역균형화 단일집단 설계를 사용하여 두 검사형 간의 동등화를 수행하고자 할 때, 차별적 순서효과에 대한 통계적 유의성 검정의 원리와 방법을 제시하는 것이다. 주요 연구 결과는 다음과 같다. 차별적 순서효과에 대한 유의성 검정은 자유도가 1과 인 분포를 따르는 통계량 를 사용하여 이루어질 수 있다. 통계량은 수준 수 =2인 세 개의 요인-랜덤집단(), 응시순서(), 검사형()-을 포함하는 라틴방진 설계(Latin square design)에서의 랜덤집단() 요인의 주효과에 대한 유의성 검정 통계량으로 단순화 된다. 이 통계량은 수리적으로 ‘1 피험자-간 및 1 피험자-내 요인’ 반복측정 설계에서의 ‘피험자-간 효과’ 검정을 위한 통계량과 일치한다. 나아가 알려진 혹은 추정된 비중심 모수()와 효과크기()를 이용하여 유의수준 에서의 통계량의 검정력(power) 분석을 실시할 수 있다.

When conducting equating of two test forms using the single group design, counterbalancing the order of administration of the forms is almost always required in practice. In the single group test equating design with counterbalancing, differential order (DO) effects refer to the interaction effects of test forms (A) and administration orders (B). The main purpose of this study is to present the principle and methods of conducting the statistical significance test for the DO effects in the counterbalanced single group design involving a total sample size of 2n. Main findings are as follows. One can conduct the significance test for the DO effects using a statistic , which follows an F distribution with the degrees of freedom of 1 and 2n-2. The statistic simplifies to the F statistic for the main effects of a random groups factor (G) in a 2x2 Latin square design including the three factors, G, A, and B. Also, the statistic is equal to the F statistic used for the significance test of the between-subjects effects in a ‘one between-subjects factor and one within-subjects factor’ repeated-measures design. Further, one can perform power analyses for the statistic at a significance level (alpha) once the noncentrality parameter and effect size for are identified or estimated with sample data.