깊이 추정을 통한 사람 3차원 형상 추정 성능 향상 연구

Abstract

최근 RGB 단일 영상으로부터 3차원 형상을 추정하는 기법에서 많은 발전이 이루어졌지만, 실루엣과 키포인트와 같은 제한적인 추출물만 입력으로 활용하고 있다. 본 연구에서는 최근 많은 향상을 보인 영상 기반 깊이 정보를 같이 활용하였을 때 사람 형상 추정에 성능 향상이 있는지 분석해보고자 한다. 세부적으로 Pre-trained 된 깊이 추정 모델 HDNet[1]을 활용하여 자세 추정 모델 STRAPS[2]를 학습시킨다. 실험 결과 3DPW와 SSP-3D 데이터셋에서 MPJPE-PA 수치가 기존 대비 향상됨을 보이며 이를 통해 사람 형상 추정에 있어 깊이 정보의 유용성을 확인할 수 있다.