아시아대학 순위(THEAUR) 평가방법 개선 방안 연구

Abstract

본 연구는 Times Higher Education(THE)의 아시아대학 순위 평가에서 평가영역별로 영향력의 차이가 있는지 확인하고 이를 개선할 수 있는 방안을 탐색하고자 하였다. 2015년도 결과에 다중회귀분석을 시행하여 가장 영향력이 큰 평가영역과 그 영역에 의해 높은 순위에 오른 대학이 있는지 확인하였다. 특정 영역에 의해 순위가 상승하는 문제점을 해결하기 위해 T점수를 적용한 후 순위와 평가영역들의 영향력 변화를 분석하였다. 2015년도 평가에서 가장 영향력이 큰 영역은 인용이었고, 인용 영역의 점수만으로 높은 순위에 위치한 대학들이 존재하였다. 평가영역별 원점수를 T점수로 전환하고 THE에서 정한 가중치를 적용한 후 순위를 다시 산출하였다. T점수를 적용하자 총 67개의 대학들에서 순위 상승과 하락이 일어났다. T점수와 THE의 가중치를 적용한 순위에 다중회귀분석을 시행한 결과에서는 평가영역들의 영향력이 배정받은 가중치와 유사해졌다. THE 아시아대학 순위 평가의 평가영역은 영향력이 상이하였다. 특정 평가영역에 의해 대학의 순위가 오르고 있었고, 평가기관이 배정한 가중치에 따라 순위가 산출되지 못하고 있었다. T점수를 적용하자 대학 순위가 변하였고, 평가영역들의 영향력이 평가기관의 가중치와 비슷하게 변하였다. T점수는 평가영역 간 영향력 차이 문제를 해소하였다. THE는 평가결과가 타당하고 합리적으로 나올 수 있도록 평가방법을 개선해야 한다.

The purpose of this study is to investigate whether the evaluation areas of the Times Higher Education’s Asia University Rankings (THEAUR) have different effects on the result(the total score) and to examine the solution to this difference. By conducting multiple regression with the THEAUR 2015 data, the most influential area and the institutions which attained higher ranks due to the area were analyzed. In order to resolve the rank increase because of a specific evaluation area, changes of the ranks and influence of the areas were analyzed after using the T-score. The most powerful area of the THEAUR 2015 was citation. Some institutions could attain favorable ranks as their citation score was much higher than other areas’ scores. Then, the raw scores of the areas were converted into a T-score. The new rankings were calculated. Subsequently, positions of 67 institutions were changed. Using multiple regression in the new ranking showed that the evaluation areas’ influence correlated with the assigned weights. The influence of the THEAUR’s evaluation areas was different. Some institutions obtained higher ranks due to a specific area, and the results of the THEAUR did not correspond with the assigned weights. T-score changed the ranks, and the influence of the areas became analogous to the THE’s intention. T-score can compensate for the difference problem of the evaluation areas’ influence. THE should change the methodology of the THEAUR in order to make the evaluation results more valid and logical.