에너지 수집형 IoT 엣지 컴퓨팅 환경에서 사용자 QoE를 높이기 위한 Q-러닝 기반 동적 태스크 오프로딩 기법

Abstract

일반적인 IoT 장치는 배터리를 에너지원으로 사용하기 때문에 제한적인 수명을 가질 수밖에 없다. 따라서 이문제를 근본적으로 해결하기 위해 최근에는 태양에너지를 중심으로 다양한 환경 에너지 수집형 IoT에 관한 연구가 진행되고 있다. 한편, IoT 장치의 에너지 문제와 지연시간과 같은 측면에서 QoE를 향상시키고자 많은 연구가진행되고 있는데, 이러한 QoE 향상을 위한 대부분의 연구들은 비용 최소화 문제, 특별히 에너지 사용 최소화 문제로 접근하고 있다. 그러나 제한적인 에너지로 인한 이러한 에너지 비용 최소화 방향의 접근은 지속적인 에너지수집이 가능한 에너지 수집형 IoT 장치에는 적합하지 않다. 많은 에너지 수집형 IoT 장치들은 지속적으로 에너지를 수집할 수 있기 때문에, 비용 최소화적 접근 보다는 수집되는 에너지를 최대한 활용할 수 있도록 하는 비용최적화 방향으로 접근해야 한다. 본 논문에서는 에너지 수집형 IoT 엣지 컴퓨팅 환경에서, 수집에너지 활용을 최대화 하면서 사용자의 QoE를 향상시킬 수 있는, 강화학습 기반의 동적 태스크 오프로딩 기법을 제안한다. 제안된기법은, 동적으로 변하는 에너지 수집량과 IoT 장치 및 엣지 노드의 정보를 이용해 Q-learning을 모델링 했으며, 이는 기존 최소화 문제의 복잡한 모델링과 비교해 매우 단순하지만, 효율적인 동작을 할 수 있다. 결과적으로 제안 기법은 EH-IoT 응용 사용자에게, 수집된 에너지를 최대한 활용해 안정적으로 오랜 기간 사용할 수 있는 높은안정성을 제공하고, 지연시간 측면에서도 빠른 응답시간을 보여줌으로써, 높은 QoE를 제공할 수 있다.