CPU기반 장치에서 효율적인 딥러닝 추론을 위한 컨볼루션 신경망의 가속 방법의 성능 비교

Abstract

Internet of Things (IoT) 디바이스와 같은 저전력 소형 장치에서 CPU를 효과적으로 활용하여 컨볼루션 신경망의 추론의 실행 시간을 개선하는 연구가 활발히 이뤄지고 있다. 이런 연구들은 연산량을 감소시킨 컨볼루션 신경망 모델의 설계, 신경망 압축 방법 등을 적용하여 제한적인 하드웨어 성능에서 딥러닝의 추론의 실행시간 개선을 위한 방법을 제안하였다. 하지만 이러한 최적화 방법은 컨볼루션 레이어의 특성에 따라 가속화 효과가 클 수도 있지만, 매우 제한적일 때도 많다. 본 논문에서는 IoT 장치에서 몇 가지 컨볼루션 레이어의 가속화 기법을 적용한 후 성능을 측정하고, 분석하였으며, 이를 통하여 컨볼루션 레이어의 특성에 적합한 가속화 방법을 적용하였을 때, 가속화 전후 대비 최대 17.68배 개선된 실행 시간의 성능 향상을 얻을 수 있다는 것을 보인다.