LeNet-5 에서 로그 양자화를 통한 메모리 대역폭 최소화

Abstract

딥러닝에서 많이 사용되는 Convolution Neural Network (CNN) 구조는 Convolution 연산으로 인해 많은 곱셈을 필요로 한다. 곱셈은 덧셈에 비해 하드웨어 자원을 많이 소모하므로 로그 변환을 이용하여 Convolution 계산에서의 곱셈을 덧셈으로 변환하면 연산에 필요한 하드웨어 자원, 특히 메모리 사용량을 줄 일 수 있다. 본 논문에서는 Lenet- 5 네트워크에서 32-bit 부동소수점 곱셈을 8-bit 로그 변환을 사용하여, 정확도의 감소는 거의 없이, 실행 시간과 메모리 사용량이 향상되는 것을 보인다. 본 논문에서는 두 가지 방식으로 로그 변환을 시도한 결과, 정확도는 각각 0.44%와 0.99%의 감소가 있었으나, 메모리 사용량은 부동소수점 연산 대비, 각각 65%와 10% 만큼 줄어들었음을 확인하였다.