비디오 영상 기반 온톨로지 실시간 자동 생성 프레임워크

Abstract

영상 데이터의 양이 날마다 급증하고 영상 객체 인식 기술의 발달로 인해 여러 응용 연구가 활발해졌다. 하지만 구축하고자 하는 온톨로지에 대한 설계 그리고 구현에 이르기까지 상당한 시간 비용이 발생하여 온톨로지에 대한 수동적인 구축이 어렵다. 본 논문에서는 시간적 줄거리 영상을 통해 인물과 씬(scene)의 의미적 관계에 대한 풍부한 의미 정보를 담을 수 있는 미디어 스크립트 기반의 구조화 된 표준 온톨로지 스키마를 제안하고 딥러닝과 온톨로지 표준 언어 owl을 사용하여 비디오/영화 기반 온톨로지 자동 생성 프레임워크를 제안한다. 제안된 프레임워 크의 핵심기술로 시각적인 장면을 객체(object)/씬(scene) 레벨의 다양한 미디어 메타데이터를 종 합적으로 탐지해내고, 이들에 관한 지식 표현 관계를 자동 생성하기 위한 심층 기계학습 기술 을 통합적으로 사용하였다. 프레임워크 평가를 위한 실제 예로, 유명한 드라마‘미생’에피소드 에 대해 지식 자동 생성 프레임워크를 수행한 결과 등장인물에 대해 F1 score 98.2%, 등장인물 행위에 대해 F1 score 61.4%의 성능을 보여 제안한 프레임워크의 적절성을 뒷받침하였다.