Map/Reduce를 이용한 블로그 연결망 분석 시스템 설계

Abstract

본 논문에서는 블로그 연결망을 분석하기 위한 새로운 방법론을 제시하며, 대용량의 연결망 데이터를 안정적으로 분산처리 할 수 있는 방안을 제시한다. 우선, 각 연결망 데이터의 시간 경과에 따른 행위 가중치의 값을 보정하여, 최근의 행위가 과거의 행위보다 높은 연결강도를 가질 수 있도록 한다. 이는 시간의 흐름에 따라 서로간의 연결강도가 동적으로 변화될 수 있으며, 서로간의 연결 랭킹의 순위가 달라질 수 있음을 의미한다. 둘째로, 명시적으로 연결행위를 가지지 않은 블로그의 경우 블로그의 성격을 대표할 수 있는 키워드간의 유사도를 추출하여, 묵시적으로 연결망 내에 흡수하도록 한다. 따라서, 이전의 방법론과는 달리 더 많은 블로그 노드간의 연결을 분석할 수 있으며, 실제 연결행위로 이루어진 연결강도에 블로그 간의 속성이 반영된 의미적인 연결망도 포함된 분석이 가능하도록 한다.

Recently, on-line social network has been increasing according to development of internet. The most representative service is blog. A Blog is a type of personal web site, usually maintained by an individual with regular entries of commentary. These blogs are related to each other, and it is called Blog Network in this paper. In a blog network, posts in a blog can be diffused to other blogs. Analyzing information diffusion in a blog world is a very useful research issue, which can be used for predicting information diffusion,abnormally detection, marketing, and revitalizing the blog world. Existing studies on network analysis have no consideration for the passage of time and these approaches can only measure network activity for a node by the number of direct connections that a given node has. As one solution, this paper suggests the new method of measuring the blog network activity using logistic curve model and Cosine-similarity in key words by the Map/Reduce programming model