ReLU가 합성된 행렬 곱 연산의 부분 생략을 통한 딥 러닝 모델 추론 시간 개선

Abstract

최근 딥 러닝의 활용 분야가 넓어지는 추세이며, 많은 파라미터들을 가지고 있는 Large-Scale 딥 러닝 모델들이 좋은 성능을 보이는 경향이 있다. 그리고 크기가 큰 모델을 이용한 딥 러닝 추론은 필연적으로 많은 자원과 긴 시간을 요구하므로 딥 러닝 모델의 효율적인 활용을 위해서는 추론 시간의 단축이 필수적으로 요구된다. 본 논문에서는 딥 러닝 추론 과정에서 활성화 함수인 Rectified Linear Unit 과 행렬 곱을 융합하고, 두 연산과정에서 계산할 출력 값의 부호를 미리 예측하여 계산의 양을 줄이는 네 가지 방법을 제안하며, 네 가지 계산 생략 방법의 비교를 통해 정확도를 거의 해치지 않는 선에서 계산의 양을 줄여 추론 시간을 절약하는 최적의 방안을 도출한다.

Deep learning has expanded its utilization, and large-scale deep learning models containing many parameters tend to perform well. As large-scale models inevitably require many resources and long inference time, reducing the inference time is essential for efficient utilization of deep learning models. We fuse the activation function Rectified Linear Unit and matrix multiplication in the inference process, and reduce the amount of computation by predicting the sign of the output values to be computed in the computational processes. We propose four methods for reducing the computation and derive an optimal method that saves inference time with low accuracy loss by reducing the amount of computation by comparing these four methods.