웹 기반 정책도구 효과의 준실험 서베이에 의한 추정: 영등포구 OK 시스템 사례

Abstract

웹기반 정책도구의 광범위한 도입 이후 효과 평가에 대한 관심이 높다. 하지만 e-정책도구 정책효과 평가 연구들이 직접 자료수집 보다는 2차적인 서베이 데이터에 기초하여 긍정적 정책효과가 있었다고 결론을 내리면서 정책효과 평가 결과가 얼마나 정확한 것인가에 대한 의문이 있었다. 이 연구의 목적은 영등포구가 2008년 OK 시스템 성과 측정을 위하여 실시한 서베이 조사 결과를 준실험 설계 데이터로 재구성한 후, OK 시스템의 순수 정책 효과가 무엇인가? OK 시스템을 단순히 알고 있다는 사실도 정책도구 효과의 긍정적 평가에 기여하는가? 투명성의 다른 정책효과와의 영향 관계는 무엇인가를 검토하였다. OK 시스템 서베이 데이터 응답자 348명을 정책실험 집단 (사용해 본 경험이 있는 집단)과 비교집단 (시스템을 모르는 집단, 알고 있으나 사용해 본 적이 없는 집단)으로 구분 후, 시스템의 순수 정책효과를 추정하고, 정책도구에 관한 지식의 효과, 투명성이 다른 정책효과 (반부패, 만족도, 품질개선, 신뢰도)에 대한 영향을 추적하였다. OK 시스템의 순수 정책효과 및 시스템에 관한 지식의 정책변수에 대한 영향은 유의하였고, 투명성 효과는 신뢰도 개선에 대한 것이 가장 컸다. 연구 결과는 서베이 조사방식은 비교집단을 구성하지 못 하는 경우 순수 정책효과 추정에 한계가 있고, 정책수단 총 효과에서 지식 효과를 배제하지 못하는 경우, 정책효과를 실제보다 과장할 수 있는 증거를 제시하였다. 이 연구는 웹 기반 정책수단 성과의 측정에 있어서 비교집단을 사용하지 않은 단일집단 사후 서베이 설계의 한계에 대한 이해와 더불어 e-정책도구 정책효과 평가 설계 및 타당성 개선에 기여한다.

A quasi-experimental design is a research method that allows causal inferences in assessing the impacts of policy interventions through treatment-control comparisons while some survey participants but not others are naturally exposed to the intervention. In this study, we traced both the policy impacts of the OK system developed by the Yeongdeungpo-Gu office and some limitations of the evaluation based on a simple survey design that did not have an experimental or a comparison group, applying a quasi-experimental survey design. The OK system survey data were used to evaluate the effects of the system; they included questionnaire items that naturally assigned respondents either to a treatment or to a comparison group. We assigned 348 respondents to three groups: “don’t know the system,” “know but didn’t use the system,” and “used the system.” The results revealed that the differences both between the treatment group (“used the system”) and the comparison group (“don’t know the system” and “know but didn’t use the system”) and between the treatment group (“know but didn’t use the system”) and the comparison group (“don’t know the system”) were significant. These results may be evidence that policy effects obtained from a survey with no comparison group could bedetermined not by the survey participants’ actual experiences but by public awareness of the system, which may mislead researchers into making the wrong decisions. These findings contribute to our understanding of how inferences from a survey can be biased in estimating the effects of a policy tool.