양적 연구에서 도출된 회귀계수 추정값의 실질적 유의성에 관한 연구 - 한국행정학보와 한국정책학회보를 중심으로 -

Abstract

본 연구의 목적은 행정학･정책학 연구 중에서 회귀분석을 한 연구를 분석하여 회귀계수 추정값의 실질적인 유의성(practical significance)에 대한 분석이 현재 잘 이루어지고 있지 않음을 보이고, 양적 연구의 질을 제고하기 위해 회귀분석 결과의 실질적인 유의성을 분석하는 것이 매우 중요하다는 것을 피력하는 것이다. 통계적 추론 시 자주 활용되는 논리는 Fisher의 통계적 추론 방식이다. 연구자는 이 논리를 기반으로 설명변수가 결과변수에 미친 효과값을 추정하고 그 추정값의 통계적 유의성(statistical significance)을 판단하여 분석 결과의 유의성을 도출한다. 하지만 어떤 회귀분석 결과의 유의성은 추정값이 통계적으로 유의한지 유의하지 않은지 뿐만 아니라 추정값의 크기(실질적 유의성)에 의해서도 큰 영향을 받는다. 따라서 연구자는 도출한 추정값의 크기에 대한 심도 있는 해석을 해야 좀 더 유의미한 함의를 도출할 수 있다. 최근 5년 동안 한국행정학보와 한국정책학회보에 출판된 양적 연구 중에서 회귀분석 결과의 실질적인 유의성까지 분석한 논문은 1.37%에 불과하였다. 행정학･정책학 관련 양적 연구의 결론 타당성(conclusion validity)을 확보하기 위해 추정값의 실질적인 유의성을 분석하는 관행이 정착되어야 한다고 판단된다.

The purpose of this paper is twofold. First, we examine whether the analysis of practical significance is conducted among public administration and policy research that use regression analysis. Second, we emphasize the importance of examining practical significance of statistical results, in order to promote the quality of quantitative studies in public administration and policy. The logic that is often used in modern statistical inference is Fisherian inference. Researchers examine the significance of quantitative studies by estimating the effect of an explanatory variable on an outcome variable and analyzing whether the effect estimates are statistically significant based on the Fisherian logic. Note, however, that the significance of any research depends not only on statistical significance but also on the effect size (practical significance). An in-depth analysis of the effect estimates is, therefore, necessary in order for a researcher to derive appropriate policy implication from the estimated results. By examining the regression analysis published in Korean Public Administration Review and Korean Policy Studies Review from 2014 to 2018, we find that the share of published papers that analyzed the practical significance of the estimated results is only 1.37%. We argue that researchers should devote more on analyzing practical significance of estimated effects in order to secure conclusion validity of public administration and policy research.