하둡 클러스터의 대역폭을 고려한 압축 데이터 전송 및 저장 기법

Abstract

산업 현장과 공공 기관에서 생성 및 수집되는 데이터의 크기가 빠르게 증가하고 있다. 기존의 데이터 처리 서버는 스케일 업 방식으로 성능을 높여 증가하는 데이터를 처리하였다. 그러나 데이터의 생성 속도가 폭증하는 빅데이터 시대에는 기존 방식의 서버로는 데이터 처리에 한계가 있다. 이러한 한계를 극복하기 위해 스케일 아웃 방식으로 데이터를 분산 처리하는 분산 클러스터 컴퓨팅 시스템이 등장하게 되었다. 그러나 분산 클러스터 컴퓨팅 시스템은 데이터를 분산 처리하기 때문에 네트워크 대역폭을 비효율적으로 사용할 경우 클러스터 전체의 성능을 하락시킬 수 있다. 본 논문에서는 네트워크 대역폭을 고려하여 하둡 클러스터에서 데이터 전송 시 데이터를 압축 전송하는 기법을 제안한다. 제안 기법은 네트워크 대역폭과 압축 알고리즘의 특징을 고려하여 최적의 압축 전송 기법을 선정 후 전송한다. 실험 결과는 제안 기법을 사용할 경우 데이터 전송 시간과 크기를 감소시킨 것을 보여준다.