On-sensor 이미지 신호 처리를 위한 자동화된 딥러닝 가속기 설계

Abstract

Deep Neural Network 기반의 Image Signal Processing (ISP-DNN)은 demosaicing 등의 기법을 활용하여 이미지 품질을 향상시키지만, 이러한 모델을 CMOS image sensor 상에 구현할 경우 고해상도 입력으로 인해 activation 저장을 위한 메모리 요구가 증가하면서 연산 및 메모리 측면에서 큰 부담을 초래한다. Layer fusion은 연속적인 연산 단계를 통합함으로써 메모리 사용량을 줄일 수 있지만, 그만큼 연산기 수가 증가하게 되며, 이는 on-sensor 환경처럼 자원이 제한된 경우에는 중요한 문제로 작용한다. 이러한 문제를 해결하기 위해, 본 논문에서는 연산 및 메모리 요구를 균형 있게 조절할 수 있는 자동화된 deep learning accelerator 설계 framework인 ISP2DLA를 제안한다. 본 framework는 line buffer 크기와 MAC (Multiply-Accumulate) unit 수를 조절하여 하드웨어 설계를 최적화하고, 두 가지 ISP-DNN 모델에 대해 gate count를 14–79% 절감함으로써 constrained resource 환경 내에서도 효율적인 on-sensor ISP model inference를 가능하게 한다.

Deep neural network-based image signal processing (ISP-DNN) improves image quality with techniques such as demosaicing, but these models pose substantial computational and memory challenges when implemented on CMOS image sensors, particularly due to the high-resolution inputs that increase memory requirements for activations. Layer fusion reduces memory usage by combining consecutive processing steps, yet it increases the required number of compute units, a critical issue in resource-limited on-sensor environments. To address these challenges, we introduce ISP2DLA, an automated deep learning accelerator design framework that balances computational and memory demands for on-sensor ISP. This framework optimizes hardware designs by adjusting line buffer sizes and the number of MAC units, reducing gate counts by 14--79% across two ISP-DNN models, thus enabling efficient on-sensor ISP model inference within constrained resources.