파라미터 서버 기반의 분산 딥 러닝 시스템을 위한 파라미터 샤딩 기술 성능평가

Abstract

최근 딥 러닝 (deep learning) 기술의 큰 발전으로 기존 기계 학습 분야의 기술들이 성공적으로 해결하지 못하던 많은 문제들을 해결할 수 있게 되었다. 이러한 딥 러닝 기술의 성공은 풍부한 학습 데이터를 활용하여 거대한 모델을 학습한 것에서 기인한다. 그러나, 이러한 학습 과정은 단일 컴퓨터에서 처리하기에 너무 많은 시간을 요구한다. 이에 따라 단일 컴퓨터가 아닌 여러 컴퓨터 서로 네트워크로 연결되어 있는 분산 컴퓨팅 환경에서 모델을 학습하는 분산 딥 러닝 (distributed deep learning) 기술들이 연구되고 있다. 본 논문에서는 대표적인 분산 딥 러닝 방안인 파라미터 서버 (parameter server) 기반 분산 딥 러닝 방안들을 소개하고, 해당 방안들에 적용 가능한 최적화 방안인 파라미터 샤딩 기술도 소개한다. 실험을 통해, 각 방안들에 대한 파라미터 샤딩 기술의 효과를 확인하고 그러한 결과가 나온 이유를 규명하였다.