ReLU가 합성된 행렬 곱 연산의 부분 생략을 통한 딥 러닝 모델 추론 시간 개선

Abstract

최근 딥 러닝의 활용 분야가 넓어지는 추세이며, 많은 파라미터들을 가지고 있는 Large-Scale 딥 러닝 모델들이 좋은 성능을 보이는 경향이 있다. 그리고 크기가 큰 모델을 이용한 딥 러닝 추론은 필연적으로 많은 자원과 긴 시간을 요구하므로 딥 러닝 모델의 효율적인 활용을 위해서는 추론 시간의 단축이 필수적으로 요구된다. 본 논문에서는 딥 러닝 추론 과정에서 활성화 함수인 Rectified Linear Unit 과 행렬 곱을 융합하고, 두 연산과정에서 계산할 출력 값의 부호를 미리 예측하여 계산의 양을 줄이는 네 가지 방법을 제안하며, 네 가지 계산 생략 방법의 비교를 통해 정확도를 거의 해치지 않는 선에서 계산의 양을 줄여 추론 시간을 절약하는 최적의 방안을 도출한다.