그래프 합성곱 신경망 기반 멀티미디어 추천에서의 모달리티 융합 방법 평가

Abstract

사용자와 상품 간의 상호작용 정보 외에 상품의 이미지/텍스트 모달리티와 같은 멀티모달 데이터를 추가로 활용하는 멀티미디어 추천은 최근 그래프 합성곱 신경망을 기반으로 연구가 활발히 진행되고 있다. 이들은 사용자/상품 임베딩을 모달리티 별로 다르게 학습하고, 그들을 융합하여 최종 사용자/상품 임베딩을 만든 뒤 이를 추천에 활용한다. 따라서, 사용자/상품 별 모달리티 임베딩들을 어떻게 융합하는 지가 추천 정확도에 큰 영향을 미칠 수 있다. 그러나, 사용자/상품 별 모달리티 임베딩들을 어떻게 융합하는 것이 추천 정확도 개선에 가장 효과적인지에 대해 다룬 연구는 없다. 본 논문에서, 우리는 실세계 데이터 집합을 활용한 실험을 통해, 어떠한 모달리티 융합 방법이 추천 정확도 개선에 가장 효과적인지 비교하고 분석한다.