생성 AI와 음성 인식을 활용한 메타버스 가상 면접 플랫폼

Abstract

본 논문에서 제안하는 새로운 가상 면접 플랫폼은 메타버스와 인공지능의 결합을 통해 구현된 시스템이다. 음성 생성 및 합성, GPT 기반의 질문 생성 기술을 활용하여, 사용자와 인터뷰 모델 간의 상호작용을 강화하고 감정이 담긴 음성 데이터를 통한 면접을 제공한다. GPT-4를 기반으로 하는 면접 질문 생성은 역량과 잠재 능력을 효과적으로 평가하기 위해 프롬프트 엔지니어링을 적용한다. 가상 면접 환경은 유니티 엔진을 통해 구축되며, 디지털 휴먼을 활용한 가상 면접관과 립싱크 기술의 적용으로 실제 면접과 유사한 상황을 보여준다. 제안 방법은 답변을 분석해 상세한 면접 결과를 제공하는 기능이 포함되기 때문에, 참여자들이 실제 면접 전에 자신의 능력을 점검하고 면접 기술을 향상시킬 수 있는 기회를 제공할 수 있다.