스케일링-웨이블릿 혼합 신경회로망 구조 설계

Abstract

신경회로망은 차원이 확장됨에 따라 학습에 필요한 계산량이 기학급수적으로 증가하는 문제가 발생한다. 이를 극복하기 위해 직교성을 지닌 웨이블릿 신경회로망이 제안되었다. 웨이블릿 함수의 경우 스케일과 중심을 결정함으로써 신경회로망의 노드로 구성된다. 본 논문에서는 웨이블릿 함수를 이용하여 망을 구성하는 과정에 스케일링 함수를 함께 은닉층의 노드로 복합 구성함으로써 스케일링 함수를 이용하여 대강 근사(rough approximation)를 행한 다음, 웨이블릿 함수를 이용하여 미세 근사(fine approximation)를 행하도록 구성하는 복합 신경회로망을 제안한다. 또한, 복합 신경회로망을 구성하는 과정에서 미세 근사에 필요한 웨이블릿 함수의 개수를 유전 알고리즘을 이용하여 결정한다.

The neural networks may have problem such that the amount of calculation for the network learning goes too big according to the expansion of the dimension. To overcome this problem, the wavelet neural networks(WNN) which use the orthogonal basis function in the hidden node are proposed. One can compose wavelet functions as activation functions in the WNN by determining the scale and center of wavelet function. In this paper, when we compose the WNN using wavelet functions, we set a single scale function as a node function together. We intend that one scale function approximates the target function roughly, the other wavelet functions approximate it finely. During the determination of the parameters, the wavelet functions can be determined by the global search for solutions suitable for the suggested problem using the genetic algorithm and finally, we use the back-propagation algorithm in the learning of the weights.