Sequence dicriminative training 기법을 사용한 트랜스포머 기반 음향 모델 성능 향상open accessImproving transformer-based acoustic model performance using sequence discriminative training
- Other Titles
- Improving transformer-based acoustic model performance using sequence discriminative training
- Authors
- 이채원; 장준혁
- Issue Date
- May-2022
- Publisher
- ACOUSTICAL SOC KOREA
- Keywords
- Speech recognition; Transformer; Sequence discriminative training; Weighted finite state transducer; 음성인식; 트랜스포머; 시퀀스 분류 학습; 가중 유한 상태 전이기
- Citation
- JOURNAL OF THE ACOUSTICAL SOCIETY OF KOREA, v.41, no.3, pp.335 - 341
- Indexed
- SCOPUS
KCI
- Journal Title
- JOURNAL OF THE ACOUSTICAL SOCIETY OF KOREA
- Volume
- 41
- Number
- 3
- Start Page
- 335
- End Page
- 341
- URI
- https://scholarworks.bwise.kr/hanyang/handle/2021.sw.hanyang/191208
- DOI
- 10.7776/ASK.2022.41.3.335
- ISSN
- 1225-4428
- Abstract
- 본 논문에서는 기존 자연어 처리 분야에서 뛰어난 성능을 보이는 트랜스포머를 하이브리드 음성인식에서의음향모델로 사용하였다. 트랜스포머 음향모델은 attention 구조를 사용하여 시계열 데이터를 처리하며 연산량이 낮으면서 높은 성능을 보인다. 본 논문은 이러한 트랜스포머 AM에 기존 DNN-HMM 모델에서 사용하는 가중 유한 상태 전이기(weighted Finite-State Transducer, wFST) 기반 학습인 시퀀스 분류 학습의 네 가지 알고리즘을 각각 적용하여 성능을 높이는 방법을 제안한다. 또한 기존 Cross Entropy(CE)를 사용한 학습방식과 비교하여 5 %의 상대적word error rate(WER) 감소율을 보였다.
- Files in This Item
-
- Appears in
Collections - 서울 공과대학 > 서울 융합전자공학부 > 1. Journal Articles
![qrcode](https://api.qrserver.com/v1/create-qr-code/?size=55x55&data=https://scholarworks.bwise.kr/hanyang/handle/2021.sw.hanyang/191208)
Items in ScholarWorks are protected by copyright, with all rights reserved, unless otherwise indicated.