딥러닝 기반 언어모델을 이용한 한국어 학습자 쓰기 평가의 자동 점수 구간 분류 -KoBERT와 KoGPT2를 중심으로-

Abstract

이 연구에서는 '한국어 딥러닝 모델'이 '한국어 학습자의 쓰기 자료에 대한 한국어 교사의 평가 점수'를 어느 정도 유사하게 예측할 수 있는지 살펴보았다. 구체적으로 이 연구에서는 304편의 한국어 쓰기 자료와 각각에 대한 평가 점수를 KoBERT와 KoGPT2로 학습시킨 후 그것이 인간 채점자(한국어 교사)의 평가 점수를 어느 정도 유사하게 예측하는지 실험하였다. 학습 데이터는 주제에 따라 '직업'과 '행복'으로 구분하였고, 점수에 따라 4종 레이블을 부착하였다. 7겹 교차 검증을 통한 실험 결과, KoBERT에서는 '직업' 데이터에서 48.8%, '행복' 데이터에서 65.2%의 분류 정확도를 나타냈다. KoGPT2에서는 같은 데이터에 대해 각각 50.6%와 58.9%의 분류 정확도를 나타냈다. 더불어, 모든 주제를 통합한 데이터에서는 KoBERT와 KoGPT2에 대해 각각 54.5%와 46.5%의 분류 정확도를 확인할 수 있었다. 이 연구를 통해 한국어 쓰기 자료에 대한 자동 채점 시스템의 가능성을 확인할 수 있었다. 향후 GPT-3의 한국어 모델이 개발되는 등의 기술 발전이 이루어진다면, 이 연구에서 시도한 한국어 자동 채점 시스템도 충분히 가능할 것으로 기대한다.