Elastic Net 정규화와 초매개변수 탐색을 통한 합성곱 신경망의 희소성 유도 최적화 기법

Abstract

본 논문에서는 효율적인 합성곱 신경망을 구현하기 위해 Elastic Net 정규화와 초매개변수 탐색을 통한 합성곱 신경망을 경량화하는 알고리즘을 제안한다. 기존 방법에서는 Least Absolute Shrinkage and Selection Operator(LASSO) 정규화를 통해 신경망의 가중치 희소성을 유도하지만, 이 방법은 신경망의 정확도가 떨어진다는 단점이 있다. 한편, Ridge 정규화는 가중치 희소성을 유도하지는 않지만, 신경망의 과적합을 방지하여 정확도를 향상시키는 장점이 있다. 따라서 본 논문에서는 위 두 정규화 방법의 장점을 결합한 Elastic Net 정규화를 이용하여 합성곱 신경망을 학습하였으며 정규화 항들의 초매개변수를 효율적으로 찾기 위하여 grid search를 활용하였다. 제안하는 방법을 통해 학습한 합성곱 신경망은 다른 정규화 방법들에 비해 정확도 손실이 적으면서도 가중치의 희소성이 높았다.