Implementation of Melody Playback Method through Image Classification and Stroke Analysis

Abstract

In this study, we devised a application that generates and reproduces music by analyzing images received from a user. It was aimed not only to capture the technical meaning of auditioning images, but also to express emotions and intentions in user's images. In the proposed application, a user draws a picture of a desired object. The application uses artificial intelligence to determine which object an image is. After that, the emotions that can be connected with each objects. The application determines the key that matches the mood through the emotion associated with the object. After setting a key suitable for the emotion, the user's stroke order is analyzed, and the melody is composed based on the extracted user’s stroke data. In the future, research on arts such as painting and music will be continued as well as implementing auditory expression of images. Based on this, we will present the direction to embody the artistic and intention in the image into music. It will also be a meaningful attempt as a direction of combination between engineering fields such as artificial intelligence for recognizing pictures and art fields such as picture analysis, and music production.

본 연구에서는 사용자로부터 입력받은 이미지를 분석하여 그에 맞는 음악을 생성, 재생하는 방법을 고안 하였다. 단순히 이미지를 청각화 하는 기술적인 의미 뿐 아니라 사용자의 이미지에 담긴 정서와 의도 또한 담아내는 것을 목표로 하였다. 사용자는 본 연구에서 제안된 어플리케이션에 원하는 물체를 그린다. 인공지 능을 통해 이미지가 어떤 물체인지 판별 후, 그 물체와 이어질 수 있는 감정을 대응해 해당 멜로디의 감정과 분위기를 맞출 수 있도록 하였다. 정서에 알맞는 음정(key)를 설정한 뒤, 사용자가 이미지를 그릴 때 입력한 획순을 분석해 이를 기준으로 음계를 추출하여 선율을 생성하였다. 향후 이미지의 청각적 표현을 구현하는 것뿐만 아니라 그림에 대한 예술적인 이해와 의미 있는 음악을 만들어내기 위한 화성법 등의 작곡이론을 연 구하여 이미지에 담긴 예술성과 의도를 음악에 담아낼 수 있는 한 가지 방향을 제시할 것이다. 또한 그림을 인식하고 판별하기 위한 인공지능 기술과 그림 분석, 음악 생성 등의 예술 분야를 결합해 공학과 예술의 융 합이라는 방향으로서 의미 있는 시도가 될 것이다.