레이블 기반의 핵심 자질 학습을 통한 문서 범주화에서의 효과적인 전이학습 방법론Effective Transfer Learning in Text Classification with the Label-Based Discriminative Feature Learning
- Other Titles
- Effective Transfer Learning in Text Classification with the Label-Based Discriminative Feature Learning
- Authors
- 김균엽; 강상우
- Issue Date
- Mar-2022
- Publisher
- 한국정보과학회
- Keywords
- 자연어학습; 전이학습; 사전학습; 단어 임베딩; 문장 임베딩; natural language processing; transfer learning; pre-training; word embedding
- Citation
- 정보과학회논문지, v.49, no.3, pp.214 - 220
- Journal Title
- 정보과학회논문지
- Volume
- 49
- Number
- 3
- Start Page
- 214
- End Page
- 220
- URI
- https://scholarworks.bwise.kr/gachon/handle/2020.sw.gachon/83703
- DOI
- 10.5626/JOK.2022.49.3.214
- ISSN
- 2383-630X
- Abstract
- 전이학습을 이용한 자연어처리는 대용량의 일반적인 데이터를 이용하여 사전학습된 모델을 downstream task에서 사용함으로써 성능이 향상되었다. 하지만 사전학습에서 사용되는 데이터는 적용 영역과 무관한 데이터이기에 적용 영역에 특화된 자질이 아닌 일반적인 자질을 학습하는 문제점이 있다. 따라서 본 논문에서는 사전 학습 모델의 임베딩이 downstream task에 특화된 자질들을 학습하도록 유도한다. 제안 방법으로는 샘플링된 data pair의 대조 학습과 더불어 label embedding과의 대조 학습을 통해 downstream task의 label정보를 학습하는 방법을 제안한다. 제안 방법의 성능입증을 위해 문장 분류 데이터셋에 대한 실험을 진행하고 임베딩에 대한 PCA(Principal component analysis)와 K-means clustering을 통하여 downstream task의 자질들이 학습되었는지 정성평가를 진행한다
- Files in This Item
- There are no files associated with this item.
- Appears in
Collections - IT융합대학 > 소프트웨어학과 > 1. Journal Articles
Items in ScholarWorks are protected by copyright, with all rights reserved, unless otherwise indicated.