비디오 상의 얼굴에 대한 3차원 변형 시스템

Abstract

본 논문에서는 비디오 상의 얼굴을 사용자가 원하는 대로 3차원적으로 변형시켜볼 수 있도록 하는 시스템을 제안한다. 제안된 시스템의 3차원 얼굴 변형은 비디오 프레임의 얼굴 영역에 사용자가 변형을 가한 3차원 얼굴 모델을 덮어 씌우는 방식으로서, 기존의 애플리케이션이나 방법과 달리 비디오 상에서 3차원 변형을 실시간으로 가할 수 있도록 한다. 이를 위해 변형 가능한 3차원 얼굴 모델을 영상과 정합하고, 동시에 사용자가 가한 변형을 정합된 모델에 적용, 프레임 영상을 텍스처 매핑하여 렌더링한다. 이러한 과정은 많은 연산을 요하기 때문에 기능별로 소프트웨어 모듈을 나눠 각각의 쓰레드에서 병렬적으로 처리하도록 구현함으로써 실시간 처리가 가능하도록 하였다. 실험 결과를 통해 비디오 상의 얼굴의 눈 주변, 코, 턱, 볼 등 부위들에 대해, 기존 애플리케이션에 비해 자연스러운 변형을 실시간으로 가할 수 있음을 확인할 수 있다.