관련 연구 자동 생성을 위한 LLM의 활용 및 정제 기법 제안

Abstract

과거부터 꾸준히 지식 그래프(Knowledge Graph)와 언어 모델(LM, Language Model)의 통합에 대한 많은 연구가 다뤄지고 있다. 그 중, 지식 그래프의 구조화된 지식을 이용해 자동 텍스트 생성을 다루는 연구는 그리 활성화되지 않았다. 본 연구에서는 기존 논문들과 비슷한 수준의 특정 도메인 관련 연구 항목(Related Work)을 자동 생성하기 위한 방법론, 즉, ‘1) 최적의 Prompt 선정, 2) 4단계 정제기법을 통해 Triple 추출, 3) 지식 그래프 구축, 4) 관련 연구 자동 생성’을 제안한다. 제안된 방법론은 대규모 언어 모델(LLM) 중, GPT-4를 활용하고, 4단계 정제 기법을 적용하여 관련 연구를 자동으로 생성하도록 설계했다. 그렇게 설계된 모델은 Triple 추출에서 #Supp, #Cont, Fluency에서 17.3, 14.1, 4.2의 성능과 GPT-4 자동 평가 기준, 100점 기준 정제 전, 88.5점에서 정제 후, 96.5점으로 기존 논문과 비슷한 수준의 유의미한 관련 연구 자동 생성 능력을 보였다.