비디오 영상의 비지도 영상 정합을 이용한 파랑 이동 속도 추정

Abstract

본 논문은 대용량 비디오 영상에서 파랑 추적을 통한 파랑 이동 속도 추정을 위하여 비지도 학습 기반 영상 정합 기술을 소개한다. 연안에서 파랑은 자체의 높은 비선형성과 비선형 상호작용에 의한 높은 복잡도, 그리고 센서 기반 관측의 어려움으로 물리 방정식을 이용한 파랑 이동 속도의 정확한 추정이 어렵다. 본 연구에서 제안하는 방법은 연안 비디오 영상을 이용한 다양한 비선형 파랑 거동에 대한 학습을 통하여 파랑을 정확히 추적함으로써 파랑의 이동 속도를 계산할 수 있다. 오토인코더를 이용하여 주변광 등 외부 요인이 제거된 파랑 이동 장면 영상을 추출하고, 이로부터 시-공간 비선형 영상 정합을 통해 파랑 추적에 대한 변위 벡터를 추출하여, 단위 시간에 대한 파랑의 이동 변위를 계산한다. 추정된 파랑 이동 속도의 정확도 평가를 위해 실제 관측값과 기존 영상 처리 방법으로 추정된 값을 비교 분석하였다.

In this paper, we propose an image registration method based on unsupervised learning to estimate wave celerity by tracking wave movements using a large amount of video imagery. It is difficult to estimate the wave celerity accurately using physics-based modeling in the coastal region, owing to the limitations of in-situ measurement and the high nonlinearity of wave phenomena itself as well as high complexity from nonlinear interactions. In order to estimate wave celerity, the proposed method learns the nonlinear wave behavior from the video imagery. Autoencoder is applied to separate hydrodynamics scenes from environmental factors, such as daylights. The displacement vector of propagating waves is computed by non-linear spatio-temporal image registration. The wave celerity is estimated by accumulating the displacement vectors along time. In this paper, we compare the wave celerity measurement with conventional image processing methods and actual measurement using sensors for accuracy evaluation.