오픈 도메인 질의응답을 위한 Dense Text Retrieval에서의 Teacher-free self-training 지식 증류 기법의 효과

Abstract

최근의 dense retrieval 연구에서는 기존의 2단계 프레임워크의 ranker 모델에서 retriever 모델로 지식을 증류함으로써 더욱 효과적인 retriever 모델을 얻을 수 있다는 것을 보여주었다. 하지만 이러한 지식 증류 기법은 별도로 사전에 교사 모델(teacher model)을 학습시켜야 하고, 학생 모델(student model)에게 지식을 증류하기에 가장 적합한 교사 모델을 찾는 데에 많은 시간과 노력이 필요하다는 한계점이 존재한다. 본 논문에서는 학생 모델 자기 자신을 교사 모델로 사용하여 지식을 증류하는 방법인 teacher-free self-training 지식 증류 기법을 사용한 dense retriever 모델을 제안한다. 초기 학습 단계에서는 손실 함수로 negative log likelihood를 사용하고, 후반 학습 단계에서는 teacher-free 증류 기법을 이용한 손실 함수를 사용한다. 이는 교사 모델을 사용하지 않는 다른 teacher-free 지식 증류 기법인 self-regularization이나, label smoothing regularization에서 실제 정답을 기반으로 정답이 아닌 문서를 모두 동일한 값으로 두어 soft label을 만드는 것과 달리, 학습된 모델의 예측을 기반으로 정답인 문서와 유사하다고 판단되는 문서는 그렇지 않은 문서보다 더 높은 값을 가질 수 있도록 한다. 실험에서, 기존의 dense passage retrieval 모델에 대해 향상된 성능을 보여 제안 방법의 효과를 입증한다.