구 구문분석을 위한 양방향 Masked attention과 N-gram Span Attention

Abstract

Attention 메커니즘은 딥러닝의 중요한 측면이 되었으며, 특히 자연어 처리 (NLP) 분야에서 그 중요성이커졌다. 그러나 구구조 구문분석과 같은 작업에서는, attention 메커니즘이 문장 범위를 형성하는 데 필요한 방향성 정보가 부족할 수 있다. 이 문제를 해결하기 위해, 우리는 양방향 masked attention 과 N-gramSpan Attention을 제안하고 두 메커니즘을 통합한 하나의 BNA 모델을 제안한다. 이 모델은 attention 메커니즘을 수정하여 각 단어 간의 명시적인 종속성을 포착하고 출력 범위 벡터의 표현을 강화한다. 제안된모델은 Penn Treebank와 Chinese Treebank 데이터셋에서 높은 수준의 성능을 달성하였으며, 각각 96.47및 94.15의 F1 점수를 기록하였다.