CALL: 대규모 언어 모델 기반 온라인 정치 커뮤니티 특성 추출 및 평가 전략

Abstract

온라인 정치 커뮤니티는 현대 사회에서 정치적 담론을 위한 영향력 있는 공간으로 확대되면서, 사람들의 정치적 이해와 의사결정에 영향을 미친다. 온라인 커뮤니티의 여론과 가치관은 이용자 간 상호작용을 통해 예측할 수 없는 방향으로 변화하기 때문에, 이를 정확하게 포착하고 해석하는 것은 연구적으로 중요해지고 있다. 그러나 온라인 커뮤니티를 분석하는 선행 연구는 노동집약적인 수동 분석이나 규칙 기반 접근법에 의존하였기 때문에 데이터 분석의 확장성과 포괄성에 한계가 있었다. 이러한 한계를 극복하기 위해, 본 연구는 대규모 언어 모델(LLM)의 지식과 데이터 처리 능력을 활용하여 온라인 커뮤니티의 특성을 반영하는 인공지능 에이전트를 생성 및 평가하는 CALL (Community-Agent LLM-based Representation) 프레임워크를 제안한다. CALL은 특정 주제에 대해 커뮤니티의 게시물을 선별하고, 핵심 논점을 추출한 후 이를 LLM 에이전트에 주입한다. CALL 프레임워크의 효과성을 엄격하게 검증하기 위해, 세 종류의 범용 LLM 모델(GPT, Gemini, Claude)을 활용하여 두 가지 차원에서(여론 일치 및 가치관 정렬) 평가했다. 실험 결과, CALL은 국내 온라인 커뮤니티의 정치적 가치관을 베이스라인 대비 효과적으로 포착하면서도 일반화 가능성을 보여주었다. 본 연구는 LLM 기반의 온라인 정치 커뮤니티 에이전트 구축 과정에서의 특성 추출의 중요성과 다양한 커뮤니티의 고유한 특성에 프레임워크를 적용하기 위한 중요한 고려 사항을 논의한다.

Online political communities are expanding as influential spaces for political discourse in modern society and influence individuals’ political understanding and decision-making. As online community opinions and values evolve in unpredictable directions through user interactions, accurately capturing and interpreting them is becoming increasingly important in research. However, previous research on online community analysis has faced limitations, often relying on labor-intensive manual analysis or rule-based approaches, both of which constrain the scalability and comprehensiveness of data analysis. To address these limitations, we propose the CALL (Community-Agent LLM-based Representation) framework, which leverages the knowledge and data processing capabilities of Large Language Model (LLM) to generate and evaluate AI agents that reflect online community characteristics. CALL filters community posts on specific topics, extracts key arguments, and injects them into LLM agents. To rigorously validate the effectiveness of the CALL framework, we evaluated it using three general-purpose foundation models (i.e., GPT, Gemini, Claude) across two dimensions (i.e., opinion consistency and value alignment). Experimental results show that CALL captures the political values of Korean online communities more effectively compared to baseline methods and demonstrates generalizability. Our study highlights the importance of feature extraction in developing LLM-based agents for online political communities and provides key considerations for adapting the framework to the unique characteristics of diverse communities.