국내 커뮤니케이션 연구에서의 연구 재현성: 출판 편향과 p-해킹의 실증 연구

Abstract

최근 연구 재현성 위기는 다양한 학문 분야에 걸쳐 학술적 신뢰성과 투명성에 대한 우려를 불러일으키며, 낮은 통계적 검정력, 선택적 보고, 의심스러운 연구 관행 등에 대한 논의를 촉발시켰다. 그러나 이러한 논의의 확산에도 불구하고 국내 학계에서는 재현성 문제에 대한 실증적 논의와 체계적인 접근이 상대적으로 부족한 실정이다. 이에 본 연구는 국내 커뮤니케이션 분야 학술지에 게재된 양적 실증 연구를 대상으로, 연구 재현성을 저해할 수 있는 출판 편향과 p-해킹의 가능성을 정량적으로 평가하는 것을 목적으로 한다. 이를 위해 최근 5년간(2020–2024년) 한국연구재단 KCI 기준 영향력 상위 10개 학술지에 수록된 총 1,086편의 논문을 검토하고, 이 중 통계적 유의성 검정 통계치를 포함한 405편의 논문에서 추출한 6,481건의 검정 통계치를 기반으로 z-커브 분석을 수행하였다. 분석 결과, 통계적으로 유의미한 결과가 보고된 비율(ODR)은 59.1%였으나 실제로 그러한 결과가 도출될 것으로 기대되는 비율(EDR)은 23.5%에 불과하여, 유의미한 결과가 과도하게 보고되었을 가능성이 제기되었다. 또한 통계적으로 유의미한 결과가 반복 연구에서 재현될 확률(ERR)은 약 74.6%로 추정되었으며, 보고된 유의미한 결과 중 약 17.1%는 거짓 발견일 가능성(FDR)이 있는 것으로 나타났다. 이러한 결과는 국내 커뮤니케이션 연구에서 출판 편향과 p-해킹을 포함한 의심스러운 연구 관행이 일정 수준 존재함을 시사하며, 그 영향 또한 우려할 만한 수준으로 나타났다. 이상의 결과를 기반으로 국내 커뮤니케이션 연구에 내재한 구조적 한계(예: p-값 중심의 보고 관행, 사전 등록 및 검정력 분석에 대한 낮은 관심 등)를 검토하고, 연구 재현성 제고를 위한 제도적 개선 및 인식 전환의 필요성을 논의하였다.