음성을 통한 감정 인식 기반의 가상 에이전트 감정적 반응 생성의 설계 및 구현

Abstract

본 논문은 음성 기반 감정 인식 기술을 활용하여 가상 에이전트의 감정적 반응 시스템을 설계하고 구현하였다. 구현된 시스템은 사용자의 음성 톤과 발화 내용을 종합적으로 분석하여 감정 상태를 추정하고, 이를 바탕으로 가상 에이전트가 언어적 및 비언어적 반응을 제공한다. 이는 혼합현실(MR) 환경에서 사용자 경험을 혁신적으로 향상시키며, 정신건강 지원, 교육 및 훈련, 사회적 상호작용 강화와 같은 다양한 응용시나리오에서 실질적으로 활용될 수 있는 가능성이 있다. 다만, 본 연구는 사용자 실험 및 다양한 데이터셋 평가가 부족하며, 에이전트의 반응이 제한적인 사전 정의된 행동에 국한된다는 한계가 있다. 이러한 한계에도 불구하고, 본 연구는 가상 에이전트와의 정서적 상호작용을 강화하는 새로운 가능성을 제시하였으며, 향후 연구를 통해 더욱 발전된 상호작용 시스템으로 확장될 수 있는 기초를 마련하였다.

This paper presents the design and implementation of a system that generates emotional responses in virtual agents using speech-based emotion recognition technology. By analyzing users’ speech tone and content, the system estimates emotional states in real-time and provides tailored linguistic and non-linguistic responses, strengthening the sense of emotional connection. The proposed system demonstrated its potential to significantly enhance user experiences in mixed reality (MR) environments and showcased practical applications in various scenarios, such as mental health support, education and training, and social interaction enhancement. However, limitations include the lack of user experiments and diverse dataset evaluations, as well as the restriction of agent responses to predefined behaviors. Despite these challenges, this study introduces new possibilities for enhancing emotional interactions with virtual agents and establishes a foundation for future advancements in interactive systems.