가상 현실에서의 멀티 모달, 딥러닝 기반 사이버 멀미 예측

Abstract

사이버 멀미는 가상 현실(VR)에서 사용자 경험을 저하시키는 요소 중 하나이다. 이와 관련하여 VR 콘텐츠, 신체 움직임, 생체 신호와 관련한 데이터를 사용하여 사이버 멀미를 완화할 수 있는 연구들이 많이 진행되고 있다. 최근 연구들은 인공지능 기술을 활용한 사이버 멀미 예측 모델을 제안하기도 한다. 본 논문에서는 VR 콘텐츠 영상, 눈 움직임, 머리 움직임, 생체 신호 데이터를 사용하여 사이버 멀미를 예측하는 모델을 제안한다. 우리는 13 명의 참여자로부터 수집된 데이터를 기반으로 예측 모델을 구축하였으며 0.88 F1-score 의 성능을 보였다. 실험 결과는, 사이버 멀미와 연관성이 높은 센서 데이터들에 대한 종합적 고려의 필요성과 개인의 특성을 반영한 예측 모델의 구성에 대한 중요성을 강조한다.