객체의 속성 정보를 이용한 감성기반 이미지 검색 및 주석 기법

Abstract

이미지로부터 느낌, 감정과 같은 주관적 측면을 효과적으로 포착하기 위한 방법에 관한 연구는 여전히 도전적인 주제이다. 본 논문에서는 이미지 내에 존재하는 개체들에 관한 주관적 측면 중 감성적 측면을 효과적으로 예측하기 위한 다계층 학습 기법을 제안한다. 제안하는 기법은 개체의 고수준 속성 정보가 개체에 대한 감성에 영향을끼칠 것이라는 가정에 기반한다. 예를 들어, “작고”, “털이 있는”, “하얀색” 동물들은 “귀여움”이라는 감성과 연관될 수 있을 것이다. 이러한 가정에 기반하여, 1) 개체와 고수준 속성정보 간의 속성 학습 계층 및 2) 속성정보와 감성정보 간의 감성 학습 계층의 두 단계 계층으로 구성되는 감성 학습 프레임워크를 구축한다. 마지막으로,Animals with Attributes 데이터 집합을 이용한 실험을 통하여 제안하는 기법의 강점과 잠재성을 보이고 향후 연구의 방향에 대하여 토의한다.

How to capture subjective aspects such as emotion, feeling from the image is still a challenging issue. In this paper, we propose a novel multi-level learning approach to predict the emotional aspects of the concept in images. The proposed approach is based on the assumption that high-level attributes of a concept will affect user’s subjectivity to the concept. For example, an animal with high-level attributes ‘small’, ‘furry’, and ‘white’ can be associated with the emotional term ‘cute’. Based on this assumption, we build a multi-layer subjectivity learning framework which consists of 1) attribute learning layer that predicts high-level attributes of a concept and 2) subjectivity learning layer which exploits the outputs from the attribute learning layer for predicting the emotional aspects of the concept. We show the strengths and potentials of our approach through various experimental results on Animals with Attributes dataset and discuss further research directions.