조명 환경에 강인한 얼굴 교체 기술

Abstract

본 논문에서는 조명이 다른 환경에서도 목표 영상 내의 얼굴을 참조 영상의 얼굴로 자연스럽게 교체를 할 수 있는 기술을 제안한다. 화이트 밸런스(white balance)를 이용하여 두 영상의 R, G, B 이득 값을 추출하고, 이를 이용하여 참조 영상의 조명 성분을 목표 영상의 조명 성분에 근사화시킨다. 이후, 히스토그램 명세화 기반의 피부톤 일치 기술을 사용하여 참조 얼굴의 피부톤을 목표 얼굴에 맞게 일치시키고, ASM(active shape model)을 사용하여 두 얼굴의 특징점들을 각각 추출한다. 추출된 얼굴 특징점들을 이용하여 두 얼굴 각각 폴리곤 단위로 메쉬화하고, 두 얼굴 간에 대응되는 폴리곤 사이에 어파인 변환을 사용하여 얼굴 교체를 수행한다. 교체된 얼굴에서 발생하는 부자연스러운 경계 부분은 적응적 가중치 기반의 블렌딩 기술을 사용하여 자연스럽게 제거한다. 실험 결과, 본 논문에서 제안하는 방법이 서로 다른 조명 환경을 갖고 있는 영상들에서도 자연스럽게 얼굴을 교체할 수 있는 것을 확인할 수 있었다.