한국어 학습 모델별 한국어 쓰기 답안지점수 구간 예측 성능 비교Comparison of Korean Classification Models’ Korean Essay Score Range Prediction Performance
- Authors
- 조희련; 임현열; 이유미; 차준우
- Issue Date
- Mar-2022
- Publisher
- 한국정보처리학회
- Keywords
- 한국어 심층학습 언어모델; KoBERT; KcBERT; KR-BERT; 문서 분류; Deep Learning-Based Korean Language Model; KoBERT; KcBERT; KR-BERT; Document Classification
- Citation
- 정보처리학회논문지. 소프트웨어 및 데이터 공학, v.11, no.3, pp 133 - 140
- Pages
- 8
- Journal Title
- 정보처리학회논문지. 소프트웨어 및 데이터 공학
- Volume
- 11
- Number
- 3
- Start Page
- 133
- End Page
- 140
- URI
- https://scholarworks.bwise.kr/cau/handle/2019.sw.cau/56896
- ISSN
- 2287-5905
2734-0503
- Abstract
- 우리는 유학생이 작성한 한국어 쓰기 답안지의 점수 구간을 예측하는 문제에서 세 개의 딥러닝 기반 한국어 언어모델의 예측 성능을 조사한다.
이를 위해 총 304편의 답안지로 구성된 실험 데이터 세트를 구축하였는데, 답안지의 주제는 직업 선택의 기준(‘직업’), 행복한 삶의 조건(‘행복’),돈과 행복(‘경제’), 성공의 정의(‘성공’)로 다양하다. 이들 답안지는 네 개의 점수 구간으로 구분되어 평어 레이블(A, B, C, D)이 매겨졌고, 총 11건의점수 구간 예측 실험이 시행되었다. 구체적으로는 5개의 ‘직업’ 답안지 점수 구간(평어) 예측 실험, 5개의 ‘행복’ 답안지 점수 구간 예측 실험, 1개의혼합 답안지 점수 구간 예측 실험이 시행되었다. 이들 실험에서 세 개의 딥러닝 기반 한국어 언어모델(KoBERT, KcBERT, KR-BERT)이 다양한훈련 데이터로 미세조정되었다. 또 두 개의 전통적인 확률적 기계학습 분류기(나이브 베이즈와 로지스틱 회귀)도 그 성능이 분석되었다. 실험 결과딥러닝 기반 한국어 언어모델이 전통적인 기계학습 분류기보다 우수한 성능을 보였으며, 특히 KR-BERT는 전반적인 평균 예측 정확도가 55.83%로가장 우수한 성능을 보였다. 그 다음은 KcBERT(55.77%)였고 KoBERT(54.91%)가 뒤를 이었다. 나이브 베이즈와 로지스틱 회귀 분류기의 성능은각각 52.52%와 50.28%였다. 학습된 분류기 모두 훈련 데이터의 부족과 데이터 분포의 불균형 때문에 예측 성능이 별로 높지 않았고, 분류기의어휘가 글쓰기 답안지의 오류를 제대로 포착하지 못하는 한계가 있었다. 이 두 가지 한계를 극복하면 분류기의 성능이 향상될 것으로 보인다.
- Files in This Item
- There are no files associated with this item.
- Appears in
Collections - Da Vinci College of General Education > 1. Journal Articles
![qrcode](https://api.qrserver.com/v1/create-qr-code/?size=55x55&data=https://scholarworks.bwise.kr/cau/handle/2019.sw.cau/56896)
Items in ScholarWorks are protected by copyright, with all rights reserved, unless otherwise indicated.