목적 지향 대화 시스템을 위한 어댑터 기반 학습 방법

Abstract

최근에는 목적 지향 대화 시스템의 성능 향상을 위해 Hyper-Scale의 Transformer기반의 사전 학습된 언어 모델을 사용하고 있다. 하지만 사전 학습된 언어 모델의 크기가 증가함에 따라 Fine-tuning을 진행할 때 문제점이 발생한다. 언어 모델의 Fine-tuning 과정은 전체 파라미터를 학습하기 때문에 크기가 증가하면 학습 시간이 오래 소요된다. 또한 충분한 저장 공간이 필요하다. 본 연구는 이러한 문제점을 해결하기 위해 Transformer 기반의 언어 모델에 해당하는 파라미터는 학습하지 않고 이후 Adapter, LoRA의 구조를 결합해 대화 지식을 효율적으로 학습하는 방법을 제안한다. 제안 모델의 성능 평가는 목적 지향 대화 시스템에서 주로 쓰이는 벤치마크 데이터 셋인 Multi-WOZ 2.0 데이터를 사용했다. 실험결과 기존 모델의 Fine-tuning에 비해 8%의 파라미터로 학습을 진행했음에도 불구하고 제안모델은 기존 모델과 2% 오차범위 내의 비슷한 성능을 보였다. 따라서 학습시간과 저장공간의 효율성이 비약적으로 향상되었음을 증명하였다.