딥러닝 모델의 압축 방법에 따른 엣지 장치에서의성능 평가 연구

Abstract

강력한 GPU 기반의 컴퓨팅 자원을 바탕으로, 우수한 성능의 딥러닝 모델이 대거 출현하였다. 해당 모델들을 컴퓨팅 자원이 충분하지 않은 IoT/Edge device 환경에 적용하기 위해 모델 압축(model compression) 기법의 필요성이 증가하고 있다. 본 논문에서는 Tensorflow 2 Framework의 ImageNet으로 학습된 Resnet50, VGG19 Model을 전이 학습을 이용하여 CIFAR-10 Dataset으로 재학습시킨 후, 모델 압축 기법 중 지식 증류(Knowledge Distillation), 가중치 가지치기(Weight Pruning), 양자화(Quantization)의 3가지 기법을 활용하여 모델 압축 전/후 성능을 비교하였다. 모델 크기와 한 이미지 당 처리 시간, 정확도를 단일 GPU를 통해 GPU 서버와 NVIDIA Jetson Nano 환경에서 측정 후 비교하여, 각 기법에 대한 장단점을 분석했다. 지식 증류 기법은 student 모델에 의해 모델의 크기와 inference 실행 시간이 결정이 되지만, 학습량이 정확도에 미치는 영향이 크다는 것을 알 수 있었다. 가중치 가지치기 기법은 제거되는 가중치의 sparsity에 의해 정확도 및 모델의 크기가 결정이 된다. 마지막 양자화 기법은 파일사이즈의 높은 압축률과 정확도를 보였다. 하지만, inference 시간이 다른 모델 압축 기법에 비해 확연히 길어지며, 양자화 인식 훈련을 거치지 않고 훈련 후 양자화만 적용하였을 때, 충분한 정확도가 나온다면 양자화 인식 훈련은 오히려 정확도의 감소를 야기할 수 있다는 단점을 보였다.