변형 자동 인코더를 활용한 모션 스타일 이전

Abstract

본 논문에서는 변형 자동 인코더 네트워크(variational autoencoder network)의 잠재 공간 내에 스타일 자동 인코더 네트워크를 적용하여 컨텐츠 캐릭터의 모션에 스타일 캐릭터 모션의 스타일 정보를 이전하는 프레임워크를 제안한다. 이 프레임워크를 사용하면 기존의 변형 자동 인코더를 통해 얻은 모션의 다양성을 스타일 캐릭터 모션의 스타일 정보를 이전하여 증가시킬 수 있다. 또한 입력 데이터 및 출력 데이터에 모션의 속도 정보를 포함시켜 이전 프레임의 모션에 속도를 적분하여 모션을 계산함으로써, 변형 자동 인코더로 인한 샘플링과 잠재 공간 내에서 스타일 정보가 이전된 새로운 잠재 변수의 디코더 네트워크를 통한 확장으로 발생할 수 있는 부자연스러운 동작을 개선할 수 있다.

In this paper, we propose a framework that transfers the information of style motions to content motions based on a variational autoencoder network combined with a style encoding in the latent space. Because we transfer a style to a content motion that is sampled from a variational autoencoder, we can increase the diversity of existing motion data. In addition, we can improve the unnatural motions caused by decoding a new latent variable from style transfer. That improvement was achieved by additionally using the velocity information of motions when generating next frames.