강화학습 기반 CAV 거동 제어 알고리즘을 통한 통제차로 회피 전략 개발 및 평가

Abstract

자율주행차량은 운전자의 인적요인을 제거하여 보다 이상적이고 일정한 주행행태를 교통류에 반영하여 이를 통해 긍정적인 영향을 미칠 것으로 기대되는 반면 아직 차량 중심 자율주행의 한계로 인해 다양한 돌발상황에서 적절한 대처를 하지 못하고 교통류에 악영향을 끼치며 사고 또한 끊이지 않고 있다. 이에 따라 자율주행차량이 교통류에 기대하는 만큼의 긍정적인 영향을 가져오기 위해선 V2X(Vehicle to Everything, V2X) 통신 기반 인프라의 협력을 포함한 자율협력주행차량(Connected Automated Vehicle, CAV)으로 발전할 필요가 있다. 교통사고나 공사와 같은 돌발상황으로 인한 차로 통제상황의 경우 CAV의 협력 주행 효과는 두드러질 것이다. 통제상황을 인프라 통신을 통해 CAV가 사전에 정보를 획득하고 이를 통해 CAV들의 거동을 적절히 제어할 수 있다면 체계적인 CAV의 움직임으로 인해 기존의 통제상황으로 인해 발생하는 병목현상 등의 문제점을 해소하고 교통류를 원활하게 유도할 수 있을 것으로 기대된다. 이는 CAV 기동제어가 가능한 향후 LV4 자율주행 상황에서 폐쇄차로 상황을 원활하게 회피하고 통과하기 위한 전략에 대한 연구가 필요함을 의미한다. 교통상황과 같은 큰 차원의 상태 공간을 고려할 수 있는 강화학습은 실시간 동적으로 변하는 교통상황에 따라 유연하게 대응할 수 있어야 하는 CAV의 제어 문제를 해결하기 위한 유망한 프레임워크로써 최근 부상하고 있다. 이에 따라 본 연구에서는 통제 차로를 회피하기 위한 강화학습 기반 전략을 개발하고 교통류에 미치는 영향을 평가함으로써 향후 커넥티드 환경에서 CAV의 통제 차로 회피 전략 개발 방법론으로서 강화학습의 유용성을 입증하였다.

Autonomous vehicles (AVs) are expected to positively impact traffic flow by eliminating human factors and ensuring more ideal and consistent driving behaviors. However, due to the limitations of vehicle-centric autonomy, AVs still fail to appropriately handle various unexpected situations, adversely affecting traffic flow and causing crashes. Therefore, for AVs to achieve their anticipated positive impact on traffic flow, it is necessary to evolve into Connected Autonomous Vehicles (CAVs), including the cooperation of infrastructure based on Vehicle to Everything (V2X) communication. The cooperative driving effect of CAVs will be evident in the case of lane closed situations caused by unexpected events such as traffic accidents or construction. If CAVs can acquire information about the lane closed situation through infrastructure communication in advance and control their maneuvers of CAVs appropriately, it is expected that the systematic movement of CAVs will alleviate issues such as bottlenecks caused by closed lanes and ensure a smoother traffic flow. This indicates the necessity for research on strategies to smoothly avoid and pass through closed lane situations in future LV4 autonomous driving situation where CAV maneuver control is possible. Reinforcement learning, which can accommodate large state spaces like traffic situations, has recently emerged as a promising framework for addressing the control challenges of CAVs, which must flexibly respond to real-time dynamic traffic conditions. Therefore, this study developed a reinforcement learning-based strategy for avoiding closed lanes and evaluated its impact on traffic flow, thereby demonstrating the utility of reinforcement learning as a methodology for developing closed lane avoidance strategies for CAVs in future connected environments.