디스크 기반 그래프 엔진의 입출력 성능 향상을 위한 그래프 오더링

Abstract

빅데이터와 소셜 네트워크의 발전과 더불어 거대한 그래프를 처리하는 연구도 활발하게 진행되고 있다. 최근 그래프 처리의 성능 향상을 위해 Gorder 라는 그래프 오더링 기법이 제안되었다. 이 기법은 메모리 상의 그래프 레이아웃을 변형하여 데이터 접근 패턴을 CPU 캐시에 적합하게 바꿈으로써 성능을 향상시킨다. 하지만 그래프 알고리즘의 캐시 지역성에만 초점을 두고 설계되었기 때문에 디스크 기반 그래프 엔진에서는 적합하지 않고 전처리 비용도 크다는 문제점이 있다. 제시한 문제점을 해결하기 위해, 본 논문에서는 새로운 그래프 오더링인 I/O Order를 제안하였다. I/O Order는 디스크 기반의 그래프 엔진에서 지역성 외에 입출력 부하를 고려하여 설계되었다. 또한, 오더링 비용을 줄이기 위해 간단한 scheme을 사용한다. 본 논문에서 제시된 I/O Order는 Gorder와 비교해 전처리 비용이 최대 9.6배 감소하였고 성능은 지역성이 낮은 그래프 알고리즘에서 Random 대비 최대 2배 이상 향상되었다.