TV 프로그램을 위한 등장 인물 검색 및 분석 시스템과 활용

Abstract

동영상을 대상으로 하는 검색이 다변화되면서 하나의 동영상 파일에서도 관심 있는 부분만을 검색해 볼 수 있는 방법에 대한 연구가 본격적으로 진행되고 있다. 이 중 TV프로그램을 대상으로 하는 검색에서는 특징 인물에 대한 동영상 부분을 검색하는 것에 대한 요구가 증가하고 있다. 본 논문에서는 TV프로그램을 대상으로 등장인물을 찾아내고 등장 구간을 분석해 주는 CARA(charater Appearance Retrieval and Analysis)시스템과 이 시스템에서 사용된 새로운 얼굴 검출 및 인식 알고리듬을 제안한다. 또한 제안한 시스템이 검색 서비스를 위해 어떻게 활용되는지를 보인다. CARA시스템은 Face DB Maker와 Face Recognizer의 두 부분으로 구성되어 있다. Face DB Maker는 동영상의 프레임에서 얼굴을 검출하고 , 검출된 얼굴을 사용자가 인물 DB에 등록할 수 있도록 한다. Face Recognizer는 인물 DB에 있는 인물을 인식하여 인물의 등장 구간과 각 씬에 등장하는 인물 명을 표시한다. Face DB Maker와 Face Recognizer에는 잘못된 검출 결과나 인식 결과를 수동으로 정정할 수 있는 기능이 있기 때문에 검색 서비스 사용자에게 좀 더 정확한 정보를 제공할 수 있다. CARA시스템에 사용된 얼굴 검출 및 인식 알고리듬은 동영상을 재생하면서 동시에 수행할 수 있도록 DCT/LDA라는 얼굴 특징값 생성 방법을 사용함으로써 정확도를 훼손시키지 않으면서도 계산속도를 향상 시켰다. CARA시스템은 독립형 혹은 플러그인으로 동작가능하며 플러그인은 동영상에 포함된 다양한 메타데이터를 입력하는 카탈로깅 시스템에 적용 가능하다. CARA시스템을 이용하여 특징 연예인 혹은 정치인이 등장하는 장면을 검색하는 서비스를 더욱 쉽게 제공할 수 있다.

This paper describes a Character Appearance Retrieval and Analysis (CARA) system for TV programs and a set of novel algorithms for detecting and recognizing faces for the system. The CARA system consists of two main components: Face DB Maker and Face Recognizer. The Face DB Maker detects faces in video frames and then guides users to register the detected faces of interest into the database. The Face Recognizer displays the appearance interval of each character on the timeline interface and the list of scenes with the names of characters that appear on each scene. These two components also provide a function to modify incorrect results, which is helpful to provide accurate character retrieval services. In the proposed face detection and recognition algorithms, we reduce the computation time without sacrificing the recognition accuracy by using the DCT/LDA method for face feature extraction. We also develop the CARA system in the form of plug-in. By plugging in our system to a cataloging system, the metadata about the characters in a video can be automatically generated. Through this system, we can easily realize sophisticated on-demand video services which provide the search of scenes of a specific TV star.