PVCE: 프롬프트 변형을 통해 LLM의 응답 일관성을 검증하는 결량 프레임워크

Abstract

대형 언어 모델(Large Language Model, LLM)은 자연어 이해 및 생성 능력을 바탕으로 다양한 응용 분야에서 핵심 기술로 자리 잡고 있다. 그러나 LLM의 응답은 동일한 질문이라도 프롬프트 표현 방식에 따라 내용이 변하는 프롬프트 민감도(prompt sensitivity)와 사실과 다른 정보를 제공하는 환각(hallucination) 문제가 존재한다. 이를 해결하기 위해 프롬프트 변형을 통한 응답 일관성 평가가 필요하지만, 프롬프트 변형 기법에 따른 LLM 응답의 일관성과 정확성을 체계적으로 비교하고 평가하는 연구는 상대적으로 미비하다. 이에 본 연구에서는 세 가지 프롬프트 변형 기법 (조건 추가, 부정 요구, 모순 정보 요구)을 적용하여 GPT-4o 모델의 응답 일관성과 정확성을 정량적으로 평가하고 그 결과를 비교 분석하였다. 그 결과, 세 가지 프롬프트 변형 기법을 적용하여 LLM 응답에 대한 정량적인 일관성 평가를 수행할 수 있었으며, 각 데이터셋에서 높은 정확성과 재현성을 확보하였다. 본 연구를 통해 프롬프트 변형 기반 평가 방식이 LLM 응답의 신뢰성 검증을 위한 실용적 도구로 활용 가능함을 확인하였으며, 향후 LLM 기반 응용 서비스에서 응답 품질 개선과 프롬프트 설계 최적화에 기여할 수 있을 것으로 기대한다.