몰입형 가상현실 환경에서 손 제스처와 음성을 결합한 멀티모달 인터랙션

Abstract

본 연구는 몰입형 가상현실 환경에서 연속적이고 반복적인 작업을 위해 손 제스처와 음성 정보를 결합하는 방법에 대해 제안한다. 멀티모달 인터랙션에서 작업 도중 모달 간의 상호 보완적인 인터랙션을 유지하면서 작업전체의 불필요한 모달 사용을 줄여야 한다. 일반적으로 각 모달을 독립적 관리하되, 순차적 혹은 동시 사용을 하는 것이 목적 적합할 것이다. 이렇게 각 모달을 결합하는 방법을 바탕으로 가상의 객체를 생성하고 조작하는 인터랙션 방법을 디자인하고 구현해보았다. 사용자 실험을 통해서 정성적이고 정략적으로 인터랙션 디자인을 평가한 결과, 연속적이고 반복적인 가상 조작을 자연스럽고 빠르게 수행할 수 있었다.