자동 생성 테스트의 Assertion 증강: LLM 기반 테스트 코드 개선이 돌연변이 결함 검출에 미치는 영향

Abstract

본 연구는 자동 생성 테스트가 가진”약한 Assertion(단언문)” 문제를 해소하기 위하여 범용 GPT-4 모델을 활용해 테스트 코드의 검증 구문을 자동으로 강화하는 방법을 제안하고, 소규모 실험을 통해 그 효과를 정량적으로 분석한다. 실제 오픈소스 프로젝트 1종의 3개 클래스를 대상으로 실험한 결과, LLM 기반 테스트 코드 개선은 평균 Mutation Score를 18.3%p 향상 시키면서도 커버리지에는 영향을 주지 않는 것으로 나타났다. 이는 실행 경로를 바꾸지 않고도 검증 구문만 강화하여 결함 검출력을 높일 수 있음을 시사한다.