빅 데이터 처리 기술을 활용한 연관 단어 추출 기법

Abstract

최근 IT 기술이 발전함에 따라 소셜 네트워크를 통해 엄청난 양의 데이터가 증가하고 있다. 데이터가많아짐에 따라 수많은 정보를 검색할 수 있다는 장점이 있는 반면에 방대한 데이터 속에서 사용자가 원하는 정보를 찾기 위하여 많은 시간과 노력이 필요하다. 사용자의 검색 편의성 향상을 위하여 국내에서 주로 사용되는 포털 사이트들은 연관 단어를 제공하여 사용자가 찾고자 하는 정보를 얻게 도와주지만 현재이슈가 되는 연관 단어들을 보여주기 때문에 검색 단어와 연관 단어의 사이의 의미적 관련성을 찾기 힘들다. 또한 현재 날짜 기준으로 연관 단어를 제공하기 때문에 특정 시점 또는 전체 기간에 대한 연관 단어를 파악하기 쉽지 않다. 본 논문에서는 이러한 문제를 해결하기 위하여 빅 데이터 플랫품인 Hadoop과NoSQL중 오픈소스로 널리 사용되는 HBase를 이용하여 특정 단어에 대한 의미적 관련성이 높은 연관 단어와 관련 데이터를 효율적으로 추출하는 기법을 제안한다. 마지막으로 실험을 수행하여 제안하는 시스템의 우수성을 보인다