깊이정보와 역변환 기반의 포인트 클라우드 렌더링 품질 향상 방법

Abstract

포인트 클라우드 콘텐츠는 실제 환경 및 물체를 3차원 위치정보를 갖는 점들과 그에 대응되는 색상 등을 획득하여 기록한 실감 콘텐츠이다. 위치와 색상 정보로 구성된 3차원 점으로 이루어진 포인트 클라우드 콘텐츠는 확대하여 렌더링 할 경우 점과 점 사이의 간격이 벌어지면서 빈 구멍이 발생하게 된다. 본 논문에서는 포인트 클라우드 확대 시 점들 간 간격이 벌어져 생기는 구멍을 찾고 구멍에 대해 깊이정보를 활용한 역 변환 기반 보간 방법을 통해 포인트 클라우드 콘텐츠 품질을 개선하는 방법을 제안한다. 영상의 확대나 카메라 근접 등으로 포인트들의 간격이 벌어지면 틈이 생기면서 구멍 사이에 뒷면의 포인트들이 렌더링 되어 보간 방법을 적용하는데 방해요소로 작용한다. 이를 해결하기 위해 포인트 클라우드의 뒷면에 해당하는 점들을 제거한다. 다음으로 빈 구멍이 발생한 시점의 깊이 맵(depth map)을 추출한다. 마지막으로 역 변환을 하여 원본의 데이터에서 픽셀을 추출한다. 제안하는 방법으로 콘텐츠를 렌더링 한 결과, 기존의 크기를 늘려 빈 영역을 채우는 방법에 비해 렌더링 품질이 평균 PSNR 측면에서 1.2 dB 향상된 결과를 보였다.

The point cloud content is immersive content recorded by acquiring points and colors corresponding to the real environment and objects having three-dimensional location information. When a point cloud content consisting of three-dimensional points having position and color information is enlarged and rendered, the gap between the points widens and an empty hole occurs. In this paper, we propose a method for improving the quality of point cloud contents through inverse transformation-based interpolation using depth information for holes by finding holes that occur due to the gap between points when expanding the point cloud. The points on the back are rendered between the holes created by the gap between the points, acting as a hindrance to applying the interpolation method. To solve this, remove the points corresponding to the back side of the point cloud. Next, a depth map at the point in time when an empty hole is generated is extracted. Finally, inverse transform is performed to extract pixels from the original data. As a result of rendering content by the proposed method, the rendering quality improved by 1.2 dB in terms of average PSNR compared to the conventional method of increasing the size to fill the blank area.