평가자에 따른 작문 평가 결과의 비교 연구 - 채점(scoring) 및 총평(description)의 양상을 중심으로 -

Abstract

이 연구는 작문 평가에서 교수자 한 사람의 평가 결과가 얼마나 신뢰할 만한 것인가라는 물음에서 시작되었으며, 평가자에 따라서 작문 평가 결과가 얼마나 달라지는지 알아보고자 하였다. 이를 위해 대학생들이 작문 과제로 제출한 다섯 편의 글을 여러 평가자들에게 10점 만점으로 채점하고 총평을 써줄 것을 의뢰하였다. 평가자들은 크게 비전문가 집단과 전문가 집단으로 나누고, 비전문가집단은 다시 작문 교육에 대해 배운 적이 없는 대학 1학년 학생들과 국어교육과 4학년 학생들도 나누고, 전문가 집단은 중등학교 국어교사 집단과 작문을 지도하는 대학 교수 집단으로 나누어 평가 결과를 비교하였다. 조사 결과 비전문가 집단의 평가자간 신뢰도는 상당히 높게 나타난 반면 전문가 집단의 평가자간 신뢰도는 비교적 낮게 나타났고, 특히 대학 교수들의 평가자간 신뢰도는 매우 낮았다. 이를 통해 작문 교육에 관련된 지식이나 작문 평가의 경험이 많은 집단에서 오히려 평가자간 신뢰도가 낮게 나타날 수 있다는 사실을 확인하였다. 또한 평가자들의 총평을 비교해본 결과 동일한 글의 동일한 특징에 대해서 상반된 평가를 내리거나, 글에 대한 해석이 엇갈리는 경우들을 발견할 수 있었다. 이런 양상을 볼 때 평가자 간 협의가 채점 결과의 합의를 위해서만 이루어 질 것이 아니라 평가자 사이의 해석의 공유와 충실한 피드백의 산출을 위해서도 수행될 필요가 있음을 알 수 있었다.