BERT의 은닉 계층과 다중 Generator를 활용한 Semi-Supervised GAN

Abstract

딥러닝 모델을 학습하기 위해 상당한 데이터가 필요하다. 모델을 학습하거나 활용할 때 특히 라벨이 있는 데이터가 필요하다. 하지만, 라벨이 있는 데이터를 얻는 것은 상당한 시간과 인적 자원이 필요한 작업으로 비용이 많이 요구된다. 이를 해결하기 위해 준지도 학습(Semi-Supervised Learning)으로 텍스트 데이터에 대해 분류하는 방법을 본 논문에서 소개한다. 준지도 학습을 진행하기 위해 Semi-SupervisedGAN을 이용한 모델을 사용하였다. 기존 텍스트 분류를 위한 Semi-Supervised GAN의 Generator가 생성하는 가짜 데이터는 다양한 클래스를 생성하지 못하며 진짜 데이터의 분포와 비슷하게 만들지 못한 것을관찰했다. 이를 개선하기 위해 Bidirectional Encoders Representation from Transformers(BERT)의 은닉계층인 Transformer 인코더 계층마다 다른 문법적인 요소를 학습한다는 점을 활용하여 이를 다중Generator의 인풋으로 가짜 데이터를 만들 때 적용하여 진짜 데이터의 분포와 비슷하게 가짜 데이터를 만들도록 하였다. 더 나아가 가짜 데이터의 Mode Collapse를 해결하기 위해 가짜 데이터에 대한 라벨을 예측하는 손실 함수를 추가하였다. 이를 통해 기존 모델보다 더욱 품질 좋은 가짜 데이터를 생성하여 AGNews 데이터에서 6.4%의 정확도 향상이 있었다.