초고속 동영상으로부터 인체 동작에 대한 3D 모델 생성

Abstract

동영상으로부터 인체의 3D 동작 모델 생성 및 예측에 관한 연구가 활발히 이루어지고 있다. 기존에는 평속영상으로부터 관절 좌표를 추정하여 운동학적 모델을 생성하거나, 3D 재구성을 통해 인체의 3D 동작 모델을 생성한다. 하지만 스포츠와 같이 빠른 동작을 평속 카메라로 촬영하였을 때는 흐림 현상이 빈번히 발생한다. 이로 인해 3D 모델 생성 과정에서 잡음이 생성되어 부자연스러운 결과물이 생성된다. 본 논문에서는 초고속영상을 사용하여 이러한 문제를 해결하고자 한다. 제안하는 방법은 3D 재구성과 3D 사람 자세 추정을 결합하여 단일 시점 초고속 동영상으로부터 인체의 역동적인 동작에 대한 3D 모델을 생성한다. 실험을 위하여 초고속 동영상은 960fps로 획득했으며, PIFu와 MotioNet을 활용하였다. 실험을 통한 성능 평가 결과 P2S와 Chamber는 기존의 방법과 유사했지만, Normal은 0.084cm로 현저히 개선되었다.