Normal map 생성을 이용한 물질 이미지 분류

Abstract

본 연구에서는 이미지 물질의 표면의 특성을 나타내는데 사용되는 노말 맵(normal map) 이미지를 생성하고, 이를 활용하여 원본 물질 이미지의 분류 정확도를 향상시키는 방법을 제안한다. 우선, (1) 이미지 내에서 물질의 표면 특성을 반영하고 있는 노말 맵을 생성하기 위해서 Generator로 Attention-R2 Gate를 적용한 U-Net을 사용하고, 생성된 노말 맵과 원본 노말 맵의 유사도를 Reconstruction loss로 활용한 Pix2Pix 기반의 방법을 사용하였다. 그 다음으로 (2) 앞서 만들어진 노말 맵 이미지를 분류 네트워크의 Attention Gate에 적용하여 원본 물질 이미지를 분류의 정확도를 개선할 수 있는 네트워크를 제안한다. 그리고 Pixar Dataset을 이용하여 생성된 노말 맵에 대해서, Ground Truth에 해당하는 노말 맵 사이의 유사도를 평가한다. 이 때, 유사도 측정 방식에 따라 다르게 적용된 reconstruction loss function의 결과를 비교한다. 또한 물질 이미지 분류에 대한 평가를 위해서 MINC-2500과 FMD 데이터셋을 기준으로 제안된 방법과 선행연구의 비교 실험을 통해 보다 정확하게 구분할 수 있음을 확인하였다. 본 논문에서 제안된 방법은 이미지 내에서 물질을 파악하는 할 수 있는 다양한 이미지 처리 및 네트워크 구축에 기반이 될 수 있을 것으로 기대된다.