프루닝된 컨볼루션 신경망의 고효율 연산 방법

Abstract

최근, 컨볼루션 신경망이 깊어짐에 따라 연산량과 파라미터의 양이 커지는 것이 큰 문제로 대두되고 있다. 특히, 메모리 용량과 연산 능력이 제한된 임베디드 환경에서는 기존의 딥러닝 모델을 경량화하는 것이 필수적이며, 이를 위해서 프루닝 기법이 널리 사용되고 있다. 프루닝을 통해 간략화된 컨볼루션 신경망은 0 값이 많은 sparse 한 구조를 갖지만, 기존의 신경망 연산 방법은 피연산자가 0 값인 경우에도 그대로 연산을 하기 때문에 불필요한 연산이 많이 수행된다. 본 논문에서는 프루닝된 컨볼루션 신경망에서의 효율적인 연산 방법으로 외적을 이용한 Sparse Matrix-Matrix Multiplication (SpMM)을 제안한다. 실험을 통해, 임베디드 환경에서 기존 연산 방법 대비 속도가 최대 7.1 배 개선된 것을 확인하였다.