Autonomous Driving Strategy for Bottleneck Traffic with Prioritized Experience Replay

Abstract

인공지능을 활용한 자율주행 연구가 가속화됨에 따라, 도로 정체와 같은 복잡한 환경에서 주행 가능한 자율주행 기술에 대한 수요가 증가하고 있다. 이에 고차원의 상태정보에 즉각적인 의사결정이 가능한 심층강화학습(deep reinforcement learning) 기반의 자율주행 연구가 주목을 받고 있다. 본 연구에서는 교통 정체가 빈번히 발생하는병목구간의 성공적인 통과를 위한 부분 관측가능한 마르코프 의사결정과정(Partially Observable Markov Decision Process; POMDP)을 제안한다. 정책 학습에는 Twin Delayed Deep Deterministic Policy Gradient(TD3) 알고리즘을 사용하며, 우선적 경험 재생(prioritized experience replay) 기반의 샘플링 방식을 사용한다. 결과적으로 우선적경험 재생 기반의 자율주행차량이 무작위(random) 경험 재생 기반 개체보다 복잡한 도로에서 우수한 성능을 보임을 확인하였다.