시공간 평탄화 제약 조건을 이용한 동적 비디오에서의 초해상도 영상 복원

Abstract

초해상도 영상 복원이란 임의의 저해상도 영상 혹은 영상 시퀀스로부터 고해상도 영상을 복원해 내는 것을 말한다. 저해상도 영상들은 일반적으로 노이즈가 많고 블러링 되어 있기 때문에 이러한 저해상도 영상으로부터 화질이 좋은 고해상도 영상을 복원하는 기술은 항공 사진, 감시용 영상, 의료 영상 등 다양한 분야에 유용하게 사용될 수 있다. 특히, 노이즈가 많고 블러링된 오래된 공연 영상 자료들을 화질이 좋은 고해상도 영상으로 복원함으로써, 무형 문화를 보존하는데 응용되어 질 수도 있다. 본 논문에서는 동적 비디오에 적용할 수 있는 반복적 고해상도 영상복원 방법을 제안하였다. 기존의 방법은 전 단계에서 예측된 고해상도 영상에서 만들어진 저해상도 영상들과 실제 관측된 저해상도 영상들과의 차이만을 다음 단계에서 보정해주는데 반해 본 논문에서는 공간 및 시간영역의 국부 정보를 영상의 평탄화에 관계된 제한 조건에 적용한 후, 그에 대한 양을 동시에 고려하였다. 이러한 고려를 통해 에지는 보존되면서 주변 영역과 주변 프레임 사이에는 자연스러운 연속성을 가지는 고해상도 영상을 획득하였다. 또한 잘못된 움직임 추정에 의해 발생하는 에러를 줄이기 위해 양방향 필터링을 움직임 벡터에 의해 생긴 시간적 에지에 적용하였다. 마지막으로 점 확산 함수에 의한 번짐 현상을 정교하게 모델링 하기 위해 본 논문에서는 움직임 벡터에 따른 타원 가중치 평균 필터를 이용하였다. 제안한 방법의 성능을 검증하기 위하여 직접 촬영한 비디오와 인위로 열화 시킨 비디오를 대상으로 실험을 수행하였다. 제안한 방법은 카메라의 움직임이 있거나 혹은 물체의 움직임이 있는 비디오에서 움직임 주변에 발생하는 잔상을 효과적으로 감소시키면서 선명하고 자연스러운 영상을 복원하였다.

This paper proposes an efficient super resolution method based on iterative back projection (IBP). The existing super resolution methods usually have focused on the videos containing global motion only and they also have high computational complexity. Therefore, for real-time super resolution over video sequences, these methods are not suitable. However, iterative back projection method by Irani and Peleg is a stable and less demanding approach which is appropriate for video sequences. Therefore, the proposed method is based on iterative back projection. However, they still have some drawbacks, the artifacts owing to incorrect motion estimation and poor quality than reconstruction-based methods. To solve these problems, the proposed approach is explained below. In contrast to conventional iterative back projection methods, the proposed method enforces the spatio-temporal smoothness prior based on Huber Markov random field (MRF) image prior. While iterative process to estimate high resolution image is performed, the amount of the spatio-temporal constraints is updated simultaneously. As a result, the reconstructed image is much smoother and more continuous. In addition, to reduce artifacts caused by incorrect motion estimation we applied bilateral filtering to temporal edge based optical flows between adjacent frames. We also use elliptical weighted area (EWA) filter whose kernel shape and size are determined by the motion vector so that point spread function (PSF) is approximated more accurately. The proposed algorithm is applied to both synthetic and real sequences and compared with the results of the other reconstruction methods. We confirmed that the proposed method is highly robust to inaccurate motion estimation and produces high resolution images with preserved edge.