텐서플로우를 이용한 미디어아트 제작 연구 -마젠타API의 응용을 중심으로-

Abstract

머신러닝은 4차 산업혁명의 핵심 기술로 디자인과 예술 창작에도 큰 변화를 가져오고 있다. 미디어아트는 첨단 예술과 테크놀로지를 결합시킨 아트 분야로 머신러닝을 활용한 창작의 가능성의 실험이 활발한 분야이다. 본 논문은 머신러닝을 활용한 미디어아트 작품 FVTM:From Vera to Magenta(2019)의 제작 과정 분석을 통해 머신러닝의 아트와 디자인의 실제적 활용 가능성을 탐구하였다. 먼저 인공지능과 머신러닝의 기술의 발전과정을 살펴보았고, 4가지 주요 머신러닝 프레임워크들의 특징을 비교하였다. 본 연구의 프레임워크로 선택된 구글 텐서플로우의 특징을 밝히고, 아티스트를 위해 개발된 마젠타 API의 사운드 모델과 이미지 모델의 구성을 분석하였다. 작품 제작 단계에서 FTVA의 오픈소스를 활용한 리믹싱의 진화과정을 밝히고, 작품 구현의 두 가지 축을 이루는 마젠타 API의 사전 훈련된 VAE 모델을 적용한 사운드 생성과 색상값의 중첩 과정을 통한 시각 요소의 생성 및 매핑과정을 설명하였다. 완성된 FVTM 작품의 의의와 새로운 모델 훈련 및 적용을 통한 후속 연구의 가능성을 논의하였다. 본 논문은 머신러닝 API를 활용한 실제 생성형 작품제작을 통하여 머신러닝과 아트와 디자인의 협동 창작을 촉진하기를 기대한다.

Machine learning is the core technology of 4th industrial revolution and brought big changes in art and design creations. Media art is a form of art practice which converge cutting edge art and design and possibilities of creating art with machine learning is active in this field. This paper investigate the pratical possibilities of machine learning in art and design through analysing the creative process of interactive web art work FVTM:From Vera to Magenta(2019). The paper surveyed the development of artificial intelligence and machine learning technology and compared the characteristics of four major machine learning frameworks. Main study illustrates the characteristic of Google’s Tensorflow, the chosen framework for project and analyse two components of Magenta API which was developed based on Tensorflow especially for artists and designers; it’s sound models and image models. In creation stage, the paper illustrates evolution of open source remixing process for FVTM and explain the two main elements of the work; generation of sound applying pre-trained VAE model of Magenta API and creation and mapping process of visual elements which utilize the process of color value overlapping. Significance of FVTM work and possible of future work using new model build, train and mapping. By presenting the process of creating generative art work using machine learning API, the paper aim to stimulate more active collaboration between machine learning and art of various disciplines.