통사론적 다양성을 고려한 문장 임베딩 대조 학습 기법

Abstract

언어 모델이 자연어 이해 (Natural Language Understanding) 하위 task를 수행하기 위해 좋은 품질의 문장 임베딩을 생성하는 것은 중요하다. 이를 위해 SimCSE는 NLI dataset을 이용한 지도 대조 학습 기법을 제안하였다. 우리는 기존 지도 대조 학습 기법을 통해서는 모델이 다양한 통사 구조를 학습하기 어려움을 보이고, 이를 보완하기 위해 구문 변형을 적용하는 메커니즘을 제시한다. 우선, ParsEval metric을 통해 NLI dataset 내의 문장들의 통사론적 유사도가 일반적인 dataset에 비해 월등히 높음을 보인다. 또한 다양한 문장 구조를 가진 dataset으로 변형하기 위해 hypothesis 문장에 AEDA를 활용하여 구문 변형을 적용한다. 제시된 기법으로 학습한 모델은 대부분의 STS task에서 기존 모델 보다 좋은 성능을 달성하였으며, HANS dataset에서도 2.67%의 큰 폭으로 성능을 향상시켰다.