대학 내 자유반응형 평가 객관성 제고 방안 탐색: Many－Facets Rasch Measurement Model을 활용한 비교과 프로그램 평가 사례를 중심으로

Abstract

[연구목적] 본 연구는 대학의 다양한 평가 상황에서 Many－Facets Rasch Measurement Model(MFRMM)이 유용할 수 있음을 보이는 것에 목적이 있으며, 이를 위해 대학 비교과 프로그램 평가 상황을 중심으로 사례분석을 실시했다. [연구방법] 본 연구의 연구목적 달성을 위해 평가자 12명이 153개의 비교과 프로그램을평가한 자료를 Facets 프로그램을 통해 분석했다. [연구결과] 분석 결과 평가자 엄격성, 문항 난이도가 유의미한 차이를 보여 이를 고려한평가가 중요하다는 점을 확인했다. 또한 프로그램 성과 점수를 동일단면 위에서 종합적으로 검토하여 평가 전반의 효과를 종합적으로 파악할 수 있음을 확인했다. 평가자&문항과평가자&프로그램의 편파․상호작용이 상당히 존재하는 것으로 나타나 평가 전반에서 해당 효과 고려가 평가결과를 개선 할 수 있음을 확인했다. 결과적으로 MFRMM을 통해보다 객관적인 평가결과를 도출 할 수 있으며, 이를 평가 전반에 대한 개선 방안의 근거로적극적으로 활용할 수 있음을 확인했다. [연구의 시사점] 비교과 프로그램 평가뿐만 아니라, 대학의 다양한 평가 상황에서 Many －Facets Measurement Model은 객관적이고 타당하며, 효율적인 평가를 위해 유용한 대안이 될 수 있음을 제안했다.