독-한 기계번역 정확도 평가의 언어학적 접근 – 구글번역기와 네이버 파파고를 중심으로

Abstract

본 논문은 현재 국내에서 가장 폭넓게 사용되는 구글번역기(GT)와 네이버 파파고(Naver)의 독-한 번역의 번역정확도를 언어학적 관점에서 실증적으로 평가하고 비교함으로써, 독-한 기계번역 활용의 시사점과 언어학적 고찰을 제시하고자 한다. 이를 위해 독일어 기사와 일상 대화의 독-한 기계번역물의 어휘정확도(Wortkorrektheit)와 언어학적 정확도 평가(Ling-Eval)를 수행하였다. 먼저 구글과 네이버 번역문의 어휘정확도는 텍스트 유형에 따라 기사는 구글, 대화는 네이버가 통계적으로 유의미한 수준에서 더 높았고, 언어학적 평가 점수는 대상 문장 전체에서 구글이 통계적으로 유의한 수준으로 네이버보다 높았다. 언어학적 평가 항목 8개 중 6개 항목(‘시제/화법’, ‘문장 구분’, ‘수식 범위’, ‘공지시’, ‘논리 관계’, ‘정보 구조’)에서 구글과 네이버는 유의미한 차이가 없이 높았으나, ‘의미 정보성’과 ‘문화 적합성’ 항목에서 구글이 네이버보다 문장 전체, 그리고 기사 유형에서 유의미하게 높았고, 네이버는 대화 번역의 ‘문화 적합성’에서 유의미하게 높은 평가를 받았다. 이러한 번역정확도 평가 결과는 원문의 텍스트 유형과 독일어 수준이 기계번역기의 선택과 활용에 고려되어야 한다는 점을 시사한다. 또한 최신 신경망기계번역기의 개선된 번역 성능에도 불구하고 ‘의미 정보성’과 ‘문화 적합성’이 아직 가장 취약한 항목이라는 점을 확인할 수 있었다. 이는 현재의 구글과 네이버의 신경망 기계번역기를 구현하는 사전학습 언어모델이 양적으로 보다 충분하고 질적으로 보다 정확한 독-한 번역 데이터를 학습데이터로 활용할 필요가 있음을 보여준다.