개방형 텍스트 생성에서 엔트로피 측정을 통해 올 수 있는 토큰을 판별하는 방법

Abstract

Transformer 기반의 생성 모델의 등장으로 개방형(open-ended) 텍스트 생성 모델은 더욱 사람과 유사한 텍스트를 생성할 수 있게 되었다. 사전 학습된 autoregressive 언어 모델을 활용하여 다음 토큰 예측을할 때 모델은 토큰 후보들 간의 표면형 경쟁(surface form competition) 문제를 겪게 된다. 이를 보완하기 위해 top-, nucleus sampling (top-) 등의 디코딩 전략을 활용하지만, 와 값을 설정하는 데에어려움이 있다. 이는 높은 확률 질량 값을 가지는 토큰을 올 수 있는 토큰으로 간주했기 때문에, 어디까지가 현 위치에 올 수 있는 토큰 후보인지를 알기 어려워서 발생한 문제이다. 따라서 본 논문에서는 하위확률 구간(bottom-′)의 간단한 엔트로피 계산을 통하여 현재 위치에 올 수 있는 토큰인지 아닌지 판단하는 방법을 제시한다. 제시한 방법으로 생성한 이진 분류기의 area under the ROC curve (AUC)는0.843으로 좋은 성능을 가진다.