Flink 기반 스트림 프로세싱 태스크 스케쥴링 최적화 기법

Abstract

빅데이터 프레임워크의 기본 처리 단위는 태스크이다. 태스크를 클러스터에 적절히 배치함으로서 부하를 분산하여 기존 한 대의 컴퓨터로서 감당할 수 없었던 처리가 가능해졌다. 초기 빅데이터 처리 패러다임은 배치 프로세싱으로서 데이터 소스가 유한하고 이를 한 번에 처리하는 방식이었다. 따라서 로컬리티와 로드 밸런스를 고려한 스케쥴링에 대한 연구가 활발하였다. 그러나 빅데이터 분야에 스트리밍 프로세싱이 부상하면서 기존 배치 프로세싱을 위한 스케쥴링 기법외에 스트리밍을 위한 효율적인 배치 기법의 필요성이 대두되고 있다. 따라서 본 논문은 기존의 배치 기법에 대한 한계를 보이고 이를 최적화할 수 있는 기법을 제시한다.

행사명: 한국정보과학회 2017년 한국컴퓨터종합학술대회

행사 기간: 2017년 6월 18일 ~ 20일

행사 장소: 라마다프라자 제주 호텔

주관 기관: 한국정보과학회