SIMD 병렬화를 활용한 CNN 가속화

Abstract

최근 머신 러닝이 다양한 응용 분야에서 좋은 효과를 보임에 따라 Internet of Things (IoT)용 저전력 소형 기기에서 머신 러닝을 적용하려는 시도가 늘어나는 추세이다. 그러나 IoT 디바이스와 같이 자원이 제약된 임베디드 환경에서는 Graphic Processing Unit (GPU)와 같은 고성능 연산기가 없는 경우가 대부분이기 때문에, 머신 러닝을 임베디드 시스템에서 가속하려면 Central Processing Unit (CPU)을 최대한 활용하는 것이 중요하다. 반면, Single Instruction Multiple Data(SIMD) 병렬화를 위한 명령어와 그를 위한 연산기는 현대의 CPU 에 일반적으로 내장되어 있으며 멀티미디어 및 신호처리 등의 다양한 분야에서 활용되어 왔다. 임베디드에서 가장 널리 쓰이는 ARM 계열 프로세서에서는 SIMD 명령어 집합인 NEON 을 지원한다. 본 논문에서는 기존 대비 더 효과적인 방법으로 NEON 명령어를 이용한 병렬화 기법을 제시하여 Convolution Neural Network (CNN) 가속화가 가능함을 보인다. 이 방법을 통해 실행 속도 면에서 원래의 코드보다 59.3%의 성능 향상을 얻었고, 일반적인 방법을 이용한 NEON 병렬화 코드보다도 34.71%의 성능 향상을 보였으며, 에너지 소모에서도 최대 47.4%의 감소가 됨을 보여준다.