토큰분석을 이용한 프로그램 구조 비교 분석

Abstract

프로그램 유사성 비교 방법 중에서 토큰을 기반으로 하는 재래식 방법은 어휘분석으로 생성된 토큰들을 순차적으로 나열해서 비교한다. 그러나 프로그램 비교는 구조정보를 잃어버리는 토큰의 1차원 배열로 비교하는 것보다 프로그램이 가지는 구조정보를 포함시켜 비교하는 것이 합리적이다. 구문트리를 기반으로 프로그램을 비교하는 방법은 프로그램 문장의 구문구조정보를 비교단위에 포함시킨다. 구문분석으로 생성되는 구문트리(abstract syntax tree)는 트리로 구조화된 토큰정보를 (즉, 부분트리를) 비교 단위로 할 수 있다. 프로그램의 구조화된 토큰정보는 구조적으로 묶인 토큰들을 의미하며 유사성 측정기준이 된다. 본 연구에서는 프로그램의 구조화된 토큰정보를 기준으로 프로그램의 유사도를 비교하는 방안에 대해 살펴본다.