샘플링된 깊이 추정 특징 맵을 이용한 의미론적 분할

Abstract

본 논문은 전방향의 어안 이미지 데이터셋을 사용하여 깊이 추정 네트워크와 의미론적 분할 네트워크를 같이 훈련하는 다중 태스크 학습 네트워크를 고안했다. 깊이 추정 네트워크로부터 나오는 특징 맵을 샘플링한 후 멀티 스케일로 구성하여 의미론적 분할 네트워크에 넘겨준다. 이로 인해 기존의 의미론적 분할에 사용되는 네트워크보다 훨씬 가벼운 구조를 구성하며 다른 의미론적 분할 네트워크와 비슷한 성능을 내고 있다. 또한 깊이 추정 태스크에서 의미론적 정보를 함께 학습함으로써 잘못된 깊이가 복원되고 노이즈가 사라지는 결과를 보여주었다. 따라서 깊이 추정과 의미론적 분할을 동시에 학습함으로써 서로 추출할 수 없는 정보들에 대해 공유하며 상호 보완적인 역할을 해주어, 효율적인 다중 태스크 학습 결과를 보여주었다. 추가적으로 전방향 어안 이미지 데이터셋에 대해서도 다중 태스크 학습이 가능함을 보여주었다.

This paper proposes a multi-task learning network for semantic segmentation using feature maps from depth estimation networks. The feature map sampled from the depth estimation network was organized into multi-scale and handed over to the semantic segmentation network. This makes up a much lighter structure than the networks used for conventional semantic segmentation, while producing similar performance. Also in depth estimation, false depth results are reduced and noise was suppressed by learned semantic information. It achieved good performance for both tasks by simultaneously learning depth estimation and semantic segmentation, sharing information that cannot be retrieved, and being complementary to one another. Additionally, we showed that multi-task learning is possible for omnidirectional fisheye image dataset.