깊이정보와 역변환 기반의 포인트 클라우드 렌더링 품질 향상 방법

Abstract

포인트 클라우드 콘텐츠는 실제 환경 및 물체를 3차원 위치정보를 갖는 점들과 그에 대응되는 색상 등을 획득하여 기록한 실감 콘텐츠이다. 위치와 색상 정보로 구성된 3차원 점으로 이루어진 포인트 클라우드 콘텐츠는 확대하여 렌더링 할 경우 점과 점 사이의 간격이 벌어지면서 빈 구멍이 발생하게 된다. 본 논문에서는 포인트 클라우드 확대 시 점들 간 간격이 벌어져 생기는 구멍을 찾고 구멍에 대해 깊이정보를 활용한 역 변환 기반 보간 방법을 통해 포인트 클라우드 콘텐츠 품질을 개선하는 방법을 제안한다. 영상의 확대나 카메라 근접 등으로 포인트들의 간격이 벌어지면 틈이 생기면서 구멍 사이에 뒷면의 포인트들이 렌더링 되어 보간 방법을 적용하는데 방해요소로 작용한다. 이를 해결하기 위해 포인트 클라우드의 뒷면에 해당하는 점들을 제거한다. 다음으로 빈 구멍이 발생한 시점의 깊이 맵(depth map)을 추출한다. 마지막으로 역 변환을 하여 원본의 데이터에서 픽셀을 추출한다. 제안하는 방법으로 콘텐츠를 렌더링 한 결과, 기존의 크기를 늘려 빈 영역을 채우는 방법에 비해 렌더링 품질이 평균 PSNR 측면에서 1.2 dB 향상된 결과를 보였다.