지식 그래프를 활용하여 지식을 추가한 워드 임베딩

Abstract

워드 임베딩(word embedding)이란 컴퓨터가 어떤 단어에 대해 인지할 수 있게 하기 위해서 텍스트를 구성하는 하나의 단어를 수치화하는 방법이다. 즉, 단어를 특정 차원의 벡터로 매핑 시켜주는 것을 말한다. 단어를 Glove나 Word2Vec를 활용하여 임베딩을 하게 되면 단어의 의미 자체를 어느 정도 벡터화할 수 있게 된다. 이렇게 되면 각 단어들 사이의 유사도를 측정할 수가 있고, 벡터 연산을 통해서 추론을 내릴 수가 있다. 예를 들어, ‘한국’에 대한 벡터에서 ‘서울’에 대한 벡터를 빼고, ‘도쿄’에 대한 벡터를 더한 벡터와 가장 가까운 단어를 찾으면 ‘일본’이라는 단어가 나온다. 이 논문에서는 지식 그래프에서 추출한 지식을 학습 데이터로 사용하여 추가로 학습시켜 벡터 연산을 통한 추론 능력이 기존의 Glove나 Word2Vec보다 더 뛰어난 워드 임베딩 모델을 제안한다.