Single Image Super-Resolution using Efficient Dual Attention Transformer

Abstract

Recently, window-based self-attention methods in image super-resolution (SR) have demonstrated excellent performance. However, most of these local-window self-attention methods focus exclusively on the spatial dimension, making efficient extraction of global information a challenge. To tackle this issue, we propose the Efficient Dual Attention Transformer (EDAT), designed to extract features from two perspectives and effectively implement global attention. Our EDAT utilizes two attention blocks to achieve dual attention. We conducted experiments on five SR benchmark datasets, demonstrating that our proposed EDAT outperforms other models of similar size while requiring less computational effort.

최근 이미지 초해상화 분야에서 window 기반의 self-attention을 활용한 접근법들이 뛰어난 성능을 달성하고 있다. 그러나 local-window self-attention을 사용하는 대부분의 방법은 공간 차원만을 따라서 attention을 수행하고 있으며, 전역적인 정보를 효율적으로 추출하는 것은 여전히 어려운 과제로 남아있다. 이러한 문제를 해결하기 위해 본 논문에서는 두 가지 관점에서 feature를 추출하고 global attention을 효율적으로 수행할 수 있는 효율적인 듀얼 어텐션 트랜스포머 (EDAT)를 제안한다. EDAT는 두 가지 attention block을 사용하여 두 가지 측면에서의 dual attention을 가능하게 한다. 5개의 초해상화 벤치마크 데이터셋에 대해 실험을 수행하여 제안하는 EDAT가 유사한 크기를 가진 다른 모델들보다 더 적은 계산으로 우수한 성능을 달성함을 입증한다.