실용적 강화학습 기술 동향: 모방학습부터 오프라인 강화학습까지

Abstract

최근 강화학습의 패러다임은 온라인에서 오프라인으로 전환되고 있다. 이러한 변화는 시뮬레이션 기반 게임 과제에 국한된 온라인 강화 학습의 비실용성을 극복하기 위함이다. 본 논문에서는 사전 수집된 고정 데이터 세트를기반으로 정책을 학습하는 실용적인 강화학습 기술을 소개하고자 한다. 이러한 시도는 모방학습부터 시작되었고, 최근 각광받고 있는 오프라인 강화학습(offline reinforcement learning) 방식으로 발전하였다. 오프라인 강화학습에서는 본질적인 문제인 분포 이동(distributional shift)을 해결하기 위해 제안된 오프라인 강화학습 알고리즘들에 대해 소개하고자 한다. 마지막으로 해당 분야에서 현재 해결되지 않은 문제들과 한계에 대해 논의한다.