snowIRT: Development of an open source statistical program for distractor analysis

Abstract

This study aimed to analyze multiple-choice questions that are most commonly used in educational settings. For this purpose, a statistical module that can perform distractor analysis in the jamovi program environment, an open source statistical program, was developed using the R language. In the developed statistics module, we implemented an analysis environment to aide field teachers. Without special knowledge of statistical programs, this module can easily be executed through presenting various analysis charts along with optional response frequency, correct response rate, and discrimination index according to ability level group. Additionally, it is notable that the developed analysis program is an open source program that can be installed and used without restrictions, supporting Windows, Mac, and Linux computer environments.

본 연구에서는 교육 현장에서 학생 성취도 평가 유형으로 가장 많이 사용되는 선다형 문항에 대한 문항 분석을 위해서 오픈소스 통계 프로그램인 jamovi 프로그램 환경에서 문항 분석을 수행할 수 있는 통계 모듈을 R 언어를 사용해서 개발했다. 개발된 통계 모듈을 가지고 능력 수준 집단에 따른 선택지 응답 빈도, 정답률, 변별도 지수와 함께 다양한 분석 도표를 제시함에 의해서 통계프로그램에 대한 특별한 지식을 가지고 있지 않은 현장 교사들도 쉽게 사용할 수 있도록 분석 환경을 구현했다. 또한 개발된 분석 프로그램은 오픈 소스 프로그램으로 누구나 사용제약 없이 설치해서 사용할 수 있으며, 윈도우, 맥 및 리눅스 컴퓨터 환경을 지원하고 있다.