온라인 커리큘럼 강화학습 기반 무인항공기를 활용한 재난 상황 네트워크 복구 연구

Abstract

최근 무인 항공기(Unmanned Aerial Vehicle; UAV)를 적용해 무선 네트워크를 구축하는 플라잉 애드혹 네트워크(Flying Ad-hoc Network, FANET)에 관한 연구가 활발히 진행되고 있다. FANET은 2차원 공간 상에 장애물이위치하는 경우에도 3차원 공간에 릴레이 노드를 배치하여 애드혹 네트워크 구축이 가능하다는 장점이 있어 재난또는 위기 상황에서의 비상 네트워크로 활용할 수 있다. 본 논문은 애드혹 네트워크 구축 이후, 부분적 노드 동작불능으로 소스 노드와 목적 노드 간의 연결이 불가할 때를 대비한 부분 복구 알고리즘을 제안한다. 이때, 중앙 시스템의 제어 없이 무인항공기가 자율적으로 다양한 상황에 의사결정이 가능하도록 심층강화학습(deep reinforcement learning) 알고리즘을 고려한다. 목표 달성 상황에서만 보상이 주어지는 지연되며 희소할 수 있는문제를 해결하기 위해 커리큘럼 방식과 순환 신경망의 적용을 고려한다. 또한, 제안된 의사결정 모델의 경우 완벽한 상태 정보를 알지 못한 채 부분 관측 만으로 행동을 결정할 수 있도록 설계 하였다. 모의 실험을 통해TD3(Twin Delayed Deep Deterministic Policy Gradient)로 학습된 무인 항공기가 다양한 시나리오에서 성공적으로 이동하여 FANET을 재구성할 수 있음을 확인