자가-주의집중 매커니즘을 통한 의미적 관계 분류 성능 및 해석가능성 개선

Abstract

관계 분류는 문장에서 개체 쌍 간에 나타나는 의미적 관계를 분류하는 문제로써 자연어처리에서 중요한 과제이다. CNN과 RNN 계열의 딥러닝 모델들이 좋은 성능을 보이고 있지만, 이들은 모두 고정적인 단어의 표현 벡터를 사용하기 때문에 문맥에 따라 의미와 관계가 변하는 단어의 의미를 학습하기 어렵다. 본 논문에서 우리는 자가-주의집중 매커니즘을 기반으로 하여 단어 간의 의미적 관계가 고려된 단어의 표현 벡터를 만드는 새로운 기법을 제안한다. 이 기법을 적용하여 SemEval-2010 Task 8 데이터 세트 기준 84.4%의 기존 모델을 능가하는 F1-score를 얻을 수 있었다. 또한 자가-주의집중 매커니즘의 시각화를 통해 모델이 주어진 문장을 어떻게 이해하고 있고 분류하는데 있어 어떤 단어를 주목하고 있는지를 해석할 수 있도록 하여 모델 해석가능성을 크게 향상시켰다. 해석할 수 있도록 하여 모델 해석가능성을 크게 향상시켰다.