DQN을 이용한 트레이딩 예측을 위한 강화학습 모델 구현

Abstract

본 연구는 주가 기본 데이터와 기술 분석 데이터 그리고 주가 변동 요소 데이터를 이용하여, 트레이딩 행동 예측을 위한 강화학습 모델을 구현하였다. 강화학습 모델은 에이전트를 인공신경망으로 사용하였으며, 환경은 현재 상태, 다음 상태, 행동, 보상, 에피소드 종료로 구축하였다. 본 연구는 세 가지 강화학습 모델을 구축하여 학습결과를 비교하였다. 첫 번째 모델은 버퍼의 학습 데이터를 랜덤하게 추출하고, 하나의 신공신경망으로 학습하였다. 두 번째 모델은 버퍼의 데이터를 순서적으로 추출하고, 두 개의 인공신경망으로 학습하였다. 세 번째 모델은 버퍼의 데이터를 랜덤하게 추출하고 두 개의 인공신경망으로 학습하였다. 실험 결과, 세 번째 방법이 근소하게 결과가 좋았으며, 학습 결과가 10배에서 1000배 까지의 이득을 남기는 행동을 하였다. 또한, 학습결과가 좋은 종목이 테스트 결과도 좋았으며, 이것은 종목별로 주가의 패턴에 기인한 것으로 추정된다.