딥러닝 모델의 압축 방법에 따른 엣지 장치에서의성능 평가 연구A Study on the Performance Evaluation of Edge Device according to the Compression Method of Deep Learning Model
- Other Titles
- A Study on the Performance Evaluation of Edge Device according to the Compression Method of Deep Learning Model
- Authors
- 정은성; 최진욱; 최수혁
- Issue Date
- 2021
- Publisher
- 대한전자공학회
- Keywords
- Compression; Edge device; Knowledge Distillation; Pruning; Quantization
- Citation
- 전자공학회논문지, v.58, no.6, pp.50 - 60
- Journal Title
- 전자공학회논문지
- Volume
- 58
- Number
- 6
- Start Page
- 50
- End Page
- 60
- URI
- https://scholarworks.bwise.kr/hongik/handle/2020.sw.hongik/15773
- ISSN
- 2287-5026
- Abstract
- 강력한 GPU 기반의 컴퓨팅 자원을 바탕으로, 우수한 성능의 딥러닝 모델이 대거 출현하였다. 해당 모델들을 컴퓨팅 자원이 충분하지 않은 IoT/Edge device 환경에 적용하기 위해 모델 압축(model compression) 기법의 필요성이 증가하고 있다. 본 논문에서는 Tensorflow 2 Framework의 ImageNet으로 학습된 Resnet50, VGG19 Model을 전이 학습을 이용하여 CIFAR-10 Dataset으로 재학습시킨 후, 모델 압축 기법 중 지식 증류(Knowledge Distillation), 가중치 가지치기(Weight Pruning), 양자화(Quantization)의 3가지 기법을 활용하여 모델 압축 전/후 성능을 비교하였다. 모델 크기와 한 이미지 당 처리 시간, 정확도를 단일 GPU를 통해 GPU 서버와 NVIDIA Jetson Nano 환경에서 측정 후 비교하여, 각 기법에 대한 장단점을 분석했다. 지식 증류 기법은 student 모델에 의해 모델의 크기와 inference 실행 시간이 결정이 되지만, 학습량이 정확도에 미치는 영향이 크다는 것을 알 수 있었다. 가중치 가지치기 기법은 제거되는 가중치의 sparsity에 의해 정확도 및 모델의 크기가 결정이 된다. 마지막 양자화 기법은 파일사이즈의 높은 압축률과 정확도를 보였다. 하지만, inference 시간이 다른 모델 압축 기법에 비해 확연히 길어지며, 양자화 인식 훈련을 거치지 않고 훈련 후 양자화만 적용하였을 때, 충분한 정확도가 나온다면 양자화 인식 훈련은 오히려 정확도의 감소를 야기할 수 있다는 단점을 보였다.
- Files in This Item
- There are no files associated with this item.
- Appears in
Collections - Graduate School > Software and Communications Engineering > 1. Journal Articles
![qrcode](https://api.qrserver.com/v1/create-qr-code/?size=55x55&data=https://scholarworks.bwise.kr/hongik/handle/2020.sw.hongik/15773)
Items in ScholarWorks are protected by copyright, with all rights reserved, unless otherwise indicated.