음성/영상 정보를 이용한 새로운 끝점추정 방식에기반을 둔 음성인식 시스템

Abstract

본 논문에서는 멀티미디어 데이터에 존재하는 입술의 움직임 (영상언어)과 음성을 함께 이용하여 음성의 끝점을 정확히 추정하는 방법과 이를 기반으로 한 음성인식 시스템을 제안한다 . 잡음 섞인 음성의 끝점추정 방법은 다음과 같다 . 각 테스트 단어에 대하여 영상언어를 이용한 끝점과 깨끗한 음성을 이용한 끝점을 각 구한 후 이것들의 차이를 계산한다 . 이 차이에 영상언어 끝점을 더하여 잡음 섞인 음성의 끝점으로 추정한다 . 이와 같은 끝점(즉, 음성구간)의 추정방법을 인식기에 적용한다 . 동일한 구간의 음성이 인식기, 새로운 인식기에서는 각 단어별로 추정된 서로 다른 구간의 음성이 각 해당 단어모델에 입력된다. 제안된 방식을 모의실험 한 결과 , 음성잡음의 크기에 관계없이 정확한 끝점을 추정 할 수 있었으며 , 그 결과 약 8% 정도의 인식률 향상을 이루었다 .