Messick의 타당도 관점에서 Rasch 측정모형 적용을 통한 대학 강의평가 도구개발의 타당화

Abstract

본 연구는 대학에서 인문․사회계열에 적용 가능한 이론중심 강의평가 문항을 개발해서 Messick(1995)이 분류한 타당도의 틀 속에서 Rasch 측정모형을 적용해서 검사문항을 타당화 하는 것을 목적으로 실시되었다. 문헌 분석을 통해서 개발된 15개의 문항을 가지고 514명의 대학생들을 대상으로 문항에 대한 타당화 분석을 시도하였다. 검사내용에 기초한 타당도를 확인하기 위한 문항 적합도 분석결과 15개 문항 모두 양호한 적합도 지수 값을 보여주었으며, 실제에 기초한 타당도를 확인하기 위한 평정척도 분석 역시 5점 척도가 적절하다는 것을 확인해주었다. 내적구조에 기초한 타당도 확인을 위한 잔차 분석 결과는 평가문항의 단일차원을 지지해주고 있는 것으로 나타났다. 마지막으로 일반화에 기초한 타당도 증거를 확보하기 위해서 차별기능문항 분석 및 신뢰도 분석이 수행되었다. 성별에 기초한 차별기능문항 분석의 경우 한 개 문항을 제외하고는 차별기능문항이 발견되지 않았으며, 신뢰도 계수 역시 양호한 값을 보여주고 있는 것으로 나타났다.

This study investigates the questionnaires which is used to evaluate instruction in universities. Specifically, this study aims to test the validity of items within the framework of the content, substantive, structural, generalizability, external, and consequential aspects of validity as described by Messick(1995). This study is performed by the application of rating scale model which is based on the Rasch model. The results can be summarized as the four findings. First, fit statistics(INFIT and OUTFIT) for items were between 0.65～1.49, suggesting that items fit the Rasch measurement model. The point-measure correlation coefficient reflects the correlation between measurement of a single item and the Rasch measure of the scale. The point-measure correlation coefficient for all 15 items in this study were above 0.5, indicating the higher the relationship between the item value and the total score measure. Second, person fit statistics also revealed that approximately 11% in the study sample showed fit values greater than 1.5. This implies that the Rasch model requirements are not being severely violated to accommodate the data from this sample. Further, the category statistics from the Rasch analysis indicated that the average measures advance monotonically with category. Third, To investigate the dimensionality of the scale, Principal component analysis of standardized residuals was performed. The result indicated that the percentage of variance accounted for by the Rasch model was 71.1%. Fourth, the differential item functioning for gender indicated 1 out of 15 items as displaying DIF.