클라우드 컴퓨팅을 위한 하둡 기반 재분배 샘플 정렬 모델

Abstract

구글 구조는 저비용과 효율적인 관리 기능을 제공하여 클라우드 컴퓨팅의 핵심 플랫폼으로 주목받고 있다. 대다수의 클라우드 컴퓨팅 서비스는 구글 구조의 대안으로서 공개 소스인 하둡 시스템을 기반으로 하고 있다. MapReduce는 하둡과 구글 구조에서 가장 기본적이고 중요한 병렬 처리 연산이다. 이 연산은 해쉬 분할을 사용하는 셔플-정렬 단계를 포함하나 해쉬는 레코드의 부하 불균형 문제를 발생시켜 균등한 서비스 제공이 어려우며, 백본 네트워크를 과도하게 사용하여 성능 저하에 큰 문제를 발생시킨다. 본 연구에서는 이러한 레코드 불균형 문제를 해결하기 위한 재분배 샘플 정열 모델을 제안하였다. 실제 레코드가 할당되기 전에 할당될 노드에 전송될 레코드의 개수를 계산하고, 실제 레코드의 전송 시 균형이 이루어질 수 있도록 인접노드와 재분배를 수행한다. 이 알고리즘은 원래의 샘플 정렬과 동일한 복잡도를 갖는 것으로 분석되었으며, 재분배를 이용한 샘플 정렬은 균등한 부하 할당으로 보다 향상된 자원관리가 가능해지고, 인접노드간의 통신을 극대화하여 백본 네트워크의 전송을 감소시켜 성능 향상이 가능하게 되었다.