청각과 시각의 교차감각 매핑에 의한 소리 시각화 연구

Abstract

연구배경 청각-시각 교차감각은 서로 다른 두 감각 채널 간의 상호작용이다. 오늘날 미디어 환경은 멀티모달리티(multi-modality)가 강화되는 방향으로 발전하고 있다. 다양한 미디어 분야에서 청각과 시각의 상호작용성은 커뮤니케이션 효과와 사용자 몰입도를 증강하는 요인이다. 다가올 미디어 환경에서 청각과 시각의 서로 다른 두 감각 간의 상호작용성을 효과적으로 활용하기 위한 디지털 미디어에서의 소리-시각화 프레임워크 연구가 요구된다. 연구방법 먼저 공감각과 교차감각의 메커니즘에 대하여 고찰하였다. 다음 단계로, 사례통합분석 방법론으로 청각-시각 교차감각의 선행연구 패턴을 분석하여 청각-시각 교차감각의 속성을 도출하였다. 마지막으로, 청각-시각 교차감각의 속성을 적용한 청각–시각 관계에 관한 조합 매트릭스를 개발하였다. 연구결과 소리 속성 중 하나인 음고는 모든 연구에서 일관되게 명도와 관련이 있었다. 채도는 배음과 가장 관련이 있었으며 음고와 음량, 템포에 의해서도 영향을 받았다. 공감각과 일반인의 교차감각 모두에서 공통으로 정확히 일치하는 색의 정의는 단정할 수 없으나, 음악적 정서나 촉각적 심상 등의 공유된 감성을 매개로 하여 유사한 색채 반응이 나타나는 경향성을 확인하였다. 결론 지금까지 시청 공감각에 대한 연구는 제한된 조건과 일반화하기에 적은 표본으로 수행된 경우가 대부분이다. 본 연구는 다른 문화권과 다른 시기에 다양한 조건과 연구방법으로 수행된 연구들을 종합하여 공감각 속성 및 교차감각 패턴을 도출할 수 있었다. 또한, 이를 토대로 미디어를 이용한 소리 시각화에 있어서 청각-시각 정보의 조합 매트릭스를 활용한 소리-시각화 프레임워크를 제안하였다는 데 그 의의가 있다.