VAE의 잠재 변수를 활용한 비지도 기반 제어 가능한 확산 모델

Abstract

최근 확산확률모델 (Diffusion Probabilistic Models)이 여러 이미지 생성모델 중 가장 좋은 성능을 보이고 있으며 활발히 연구되고 있다. 그 중에서도 트랜스포머를 이용한, 텍스트 설명에 기반한 이미지 생성이 집중적으로 연구되고 있다. 그러나 텍스트 기반으로 훈련된 확산확률모델은 다른 생성 모델들과 비교해 좋은 품질의 이미지를 생성하고 사용자가 원하는 이미지를 생성할 수 있도록 제어하는 것에는 용이하나, 모델의 크기가 너무 크다는 단점이 존재한다. 따라서 본 논문에서는 기존의 Beta-VAE의 특성분리된잠재변수 (disentangled latent variables) 를 이용하여 확산모델을 비지도 방식으로 제어하는 방법을 제안한다. Diffusion Autoencoder의 구조를 참고해 Beta-VAE의 잠재변수를 확산 모델에 추가 하였으며,InfoGAN의 손실 함수를 참고하여 확산모델의 훈련에 잠재변수를 반영하였다. 실험 결과 제안하는 방법은 데이터 레이블 없이도 확산모델을 통해 의미론 적인 특징을 제어하며 이미지를 생성할 수 있었다.