폭소노미 기반 다중문서 요약을 위한 맵리듀스 프레임워크

Abstract

최근 웹 관련 기술이 발전함에 따라 SNS를 활용한 차세대 웹 서비스가 점차 증가하고 있으며, 이로 인해 10년 전까지만 하더라도 1년 동안 생성되는 콘텐츠의 양이 현재 1개월 만에 그 이상이 생성될 정도 로 콘텐츠의 양이 엄청난 속도로 증가하고 있다. 특히 텍스트 위주로 구성된 웹 문서 형태의 콘텐츠인 경우 사용자는 모든 문서를 선택하여 직접 눈으로 읽고 확인함으로써 자신이 원하는 정보의 획득 여부를 판단해야 한다는 불편함 존재하고 있다. 이를 해결하기 위하여 최근 다양한 문서요약기법들이 연구되고 있지만 단일 시스템에서 작동하는 요약기법들은 많은 비용과 시간을 요구하고 있는 실정이다. 본 논문에 서는 기존의 폭소노미 기반 문서요약 시스템에 빅데이터 처리기술인 맵리듀스(MapReduce)를 접목시켜 다중 문서들을 실시간으로 빠르게 분석하고 요약하기 위한 기법을 제안한다.