3차원 영상복원 데이터를 이용한 HMM 기반 의도인식 시스템

Abstract

대뇌 상의 mirror neuron system은 시각 정보에 기반한 모방학습 기능을 담당한다. 관측자의 mirror neuron system 영역을 관찰할 때, 행위자가 수행하는 목적성 행위의 전체가 아닌, 부분적으로 가려지거나 보이지 않는 영역을 포함하는 경우에도 해당 영역의 뉴런이 발화되는 과정을 통해 전체 행동의 의도를 유추할 수 있다. 이러한 모방학습 기능을 3D 비전 기반 지능 시스템에 적용하는 것이 본 논문의 목표이다. 본 연구실에서 선행 연구된 스테레오 카메라를 기반으로 획득된 3차원 영상에 대한 복원을 수행한다. 이 때 3차원 입력영상은 부분적으로 가려진 영역을 포함하는 손동작의 순차적 연속영상이다. 복원 결과를 기반으로 가려진 영역을 내포한 행위에 대하여 LK optical flow, unscented Kalman filter를 이용한 특징검출을 수행하고 의도인식의 수행을 위해, Hidden Markov Model을 활용한다. 순차적 입력데이터에 대한 동적 추론 기능은 가려진 영역을 포함한 손동작 인식 수행에 있어 적합한 특성을 가진다. 본 논문에서 제안하는 의도 인식을 위해 선행 연구에서 복원 영상에서의 객체의 윤곽선 및 특징 검출을 시뮬레이션 하였으며, 검출 특징에 대한 시간적 연속 특징벡터를 생성하여 Hidden Markov Model에 적용함으로써, 의도 패턴에 따른 손동작 분류 시뮬레이션을 수행하였다. 사후 확률 값의 형태로 손 동작 분류 결과를 얻을 수 있었으며, 이를 통한 성능의 우수함을 입증하였다.