데이터 병렬화 기반 분산 딥 러닝 시스템의 노드 간 통신 방안 성능 평가

Abstract

최근 딥 러닝 기술의 큰 발전으로 기존 머신 러닝 기술들이 성공적으로 해결하지 못하던 많은 문제들을 해결할 수 있게 되었다. 이러한 성공을 위해서는 풍부한 학습 데이터와 거대한 학습 모델이 요구되며, 이에 따라 단일 머신이 아닌 분산 환경에서 모델을 학습하는 분산 딥 러닝 기술들이 연구되고있다. 본 논문에서는 대표적인 분산 딥 러닝 방법들을 소개하고, 각 방법들의 학습 성능을 비교하였다. 실험을 통해, 노드 간 통신 빈도가 잦은 방안일수록 학습 성능이 떨어지고, 적은 방안일수록 성능이 향상됨을 확인하였다. 또한 각 방안들에 대해 분산 환경을 구성하고 있는 워커 노드의 수가 증가함에 따라 학습 성능이 전체적으로 감소하는 경향을 확인하였다