디퓨젼 모델의 생성적 이벤트 그리드 표현 예측 기반 영상 복원 기술

Abstract

이미지 복원 문제(특히 디블러링)에서 이벤트 카메라를 통해 촬영한 뒤 합성한 이벤트 그리드 표현을 이용해 성과를 얻은 이전 연구들이 많지만, 이벤트 센서가 장착되지 않은 스마트폰이나 일반 디지털 카메라 환경에서는 적용이 불가능하다는 한계가 있다. 이벤트 시뮬레이터의 사용을 고려해볼 수 있겠지만 연속된 샤프 이미지들 없이 단일 블러 이미지만 주어지는 실세계 테스트 환경에서는 이벤트 시뮬레이터 사용 역시 불가하다. 이는 이벤트 그리드 표현을 예측하는 모델의 필요성을 강조한다. 본 논문에서는 저품질 영상(특히 블러)으로부터 이벤트 그리드 표현을 생성하는 모델을 학습하고, 이 생성 모델을 기존 이미지 복원 모델 앞단에 추가하여 종단간 학습 함으로써, 복원 성능을 기존 네트워크들 대비 향상시켰다. 이를 통해, 이벤트 카메라가 없는 환경에서도 우리의 이벤트 그리드 표현 생성 모델을 통해 생성된 이벤트가 다양한 복원 태스크에서 실질적인 효과를 발휘함을 입증하였다.

Although many prior works in image restoration particularly deblurring have leveraged event grid representation synthesized from recordings by event cameras to achieve impressive results, these approaches cannot be applied in smartphone or conventional digital camera environments that lack event sensors. One might consider using an event simulator, but in real-world test scenarios where only a single blurred image is available (without any sequence of sharp frames), simulator-based approaches are also infeasible. This limitation underscores the need for a model that predicts an event-grid representation. In this paper, we train a model to generate event-grid representation directly from low-quality (especially blurred) images, and we insert this generative module upstream of existing deblurring or joint deblurring and low light enhancement networks for end-to-end training, thereby improving restoration performance over conventional backbones. We demonstrate that even in environments without event cameras, the synthetically generated event data produced by our grid-channel generation model provides substantial benefits across a variety of image restoration tasks.