이미지 태그를 활용한 시각질의응답 시스템

Abstract

딥러닝 기술 기반의 컴퓨터 비전 및 자연어 처리 기술을 활용하여 특정 이미지에 대한 사용 자 질의에 자동 응답하는 시각질의응답(Visual Question Answering, VQA) 시스템이 주목을 받 고 있다. 최근 주의(attention) 모델 기반 VQA 시스템이 높은 정확도를 보이고 있지만 학습되 지 않은 새로운 장소나 객체 등 데이터가 부족한 이미지에 대해서는 정확한 응답을 하지 못한 다는 단점을 가지고 있다. 본 논문에서는 이러한 단점을 극복하기 위하여 인터넷 상의 지식베 이스인 이미지 태그 정보들을 활용하여 좀 더 세부적인 질의에 정확한 대답을 할 수 있는 SVQA 시스템을 제안한다. 다양한 실험 예제를 통하여 S-VQA가 세부적인 질의에 정확한 답변 을 하는 것을 보인다.