3차원 추적영역 제한 기법을 이용한 손 동작 인식 시스템

Abstract

본 논문에서는 손 추적과 제스처 인식 시스템을 제안한다. 제안한 시스템은 사용자 손의 3차원 기하학적 정보를 취득하기위해 별도의 장비를 사용한다. 특히, 기존의 물체 검출 및 추적 시스템들에서 제기 되었던 추적 과정에서의 문제점을 피하기위해 능동적인 타원체 영역을 만들고 손 추적을 위한 영역을 타원체 영역의 안으로 제한했다. 제안된 시스템은 미리 정의된기간 동안에 손 위치의 이동평균을 계산한다. 그리고 추적영역은 3차원 공간에 편성된 공분산에 기반한 사용자 손 움직임의불확실성을 추정하여 통계적인 데이터에 따라 능동적으로 제어하였다. 또한 손 위치가 획득되었을 때, 손 제스처를 인식하기위해 펼쳐진 손가락을 검출한다. 사용자 인터페이스 체제 기반의 시스템을 구현하여 복잡한 환경에서 다중의 대상들이 동시에존재하는 경우이거나 일시적인 가려짐이 발생하는 경우에도 정확성을 보여 매우 안정적으로 동작할 수 있음을 보여주며, 약24-30fps의 프레임 비율로 사용할 수 있는 가능성을 보여주었다.

In this paper, we propose a hand tracking and gesture recognition system. Our system employs a depth capture deviceto obtain 3D geometric information of user’s bare hand. In particular, we build a flexible tracking volume and restrict thehand tracking area, so that we can avoid diverse problems caused by conventional object detection/tracking systems. Theproposed system computes running average of the hand position, and tracking volume is actively adjusted according to thestatistical information that is computed on the basis of uncertainty of the user’s hand motion in the 3D space. Once theposition of user’s hand is obtained, then the system attempts to detect stretched fingers to recognize finger gesture of theuser's hand. In order to test the proposed framework, we built a NUI system using the proposed technique, and verifiedthat our system presents very stable performance even in the case that multiple objects exist simultaneously in thecrowded environment, as well as in the situation that the scene is occluded temporarily. We also verified that our systemensures running speed of 24-30 frames per second throughout the experiments.