한국어 벤치마크를 활용한 오픈웨이트 LLM의 아첨 경향 평가: 어조와 논거 강도의 영향을 중심으로

Abstract

최근 대형언어모델(LLM)이 의료, 법률 등 고위험 전문 분야로 도입됨에 따라, 모델이 사실 여부와관계없이 사용자의 의견에 맹목적으로 동조하는 아첨(Sycophancy) 현상이 신뢰성의 주요 위협 요인으로 대두되고 있다. 본 연구는 최신 오픈 웨이트 모델(Gemma3 27B, Qwen3 Next 80B, Mistral Large 3)을 대상으로, 한국어 물리 상식 질의응답(Ko-PIQA) 및 한국어 의학 분야 질의응답(korMedMCQA) 벤치마크에서의 아첨 양상을 실증적으로 분석하였다. 사용자의 발화 어조와 논거강도를 조합하여 프롬프트를 생성하고 모델의 답변 변화를 추적하였다. 본 실험 범위에서는 모델의 질의응답 정답률과 아첨에 대한 저항력 간 일관된 대응 관계가 관찰되지 않았으며, 모델이 최초에 정답을 선택하더라도 사용자의 반박에 굴복하여 오답을 선택하는 퇴행적 아첨(regressive sycophancy) 현상이 최신 오픈 웨이트 모델에서도 두드러지게 확인되었다. 또한 영역에 따라 아첨을 유발하는 어조가 상이하게 나타나, 영역별 맞춤형 평가의 필요성이 제기되었다. 아울러 단순한 반박보다 허위 권위나 조작된 증거가 제시될 때 아첨 경향이 급격히 증가함을 확인하였다. 본 연구는 LLM이 사용자의실제 사용 시나리오에서도 아첨을 완화하고 정직성을 유지할 수 있어야 함을 강조한다.

As large language models (LLMs) are increasingly being deployed in high-stakes fields such as medicine and law, the phenomenon of sycophancy—where models blindly align with user opinions regardless of factual correctness—is emerging as a major threat to reliability. This study empirically analyzed sycophancy patterns in Korean Physical Common Sense QA (Ko-PIQA) and Korean Medical QA (korMedMCQA) benchmarks, targeting the latest open-weight models (Gemma3 27B, Qwen3 Next 80B, Mistral Large 3). We generated prompts by combining user tones and argument strengths and tracked the changes in the models' responses. Within the scope of this study, no consistent relationship was observed between the models' QA accuracy and their resistance to sycophancy. Furthermore, regressive sycophancy was prominently observed even in the latest open-weight models. It was also observed that the tones triggering sycophancy varied by domain, suggesting the necessity for domain-specific evaluations. Additionally, we confirmed that sycophancy tendencies increased drastically when false authority or fabricated evidence was presented, rather than simple rebuttals. This study emphasizes that LLMs must be able to mitigate sycophancy and maintain honesty even in real-world user scenarios.