A Study on Deep Reinforcement Learning for Energy Conservation in IoT Tracking Applications

Abstract

사물 인터넷 (IoT) 기반 표적 추적 시스템은 움직이는 표적 위치를 수집하기 위해 많은 센서 디바이스가 공동으로 연결된 스마트 팜, 스마트 팩토리, 스마트 시티와 같은 애플리케이션에서 필요하다. 각 센서 디바이스는 배터리로 작동하되 지속적으로 실행되며, 디바이스가 위치한 환경에서 목표 정보를 인식하는 과정으로 에너지를 소비한다. 기존의 실시간 IoT 추적 애플리케이션에서는 센서 디바이스의 에너지 소비를 줄이기 위해 클러스터링, 정보 기반 및 기타 접근 방식과 같은 많은 방법을 사용하여 최상의 센서 디바이스를 선택했다. 그러나 추적 애플래케이션에서 센서 선택 문제를 해결하기 위해 기계 학습 방법, 특히 심층 강화 학습 (Deep RL)을 적용하는 것은 센서 노드의 배터리 수명 제한으로 매우 까다롭다. 본 연구에서 제안된 시스템은 IoT 타켓 애플리케이션에서는 에너지 소비 문제를 극복하기 위해 Deep Q-Network 기반 심층 강화 학습 모델을 활용하였다. 시뮬레이션 결과는 최상의 센서 선택 및 에너지 소비 측면에서 유리한 기능을 보여주고 있다.|The Internet of Things (IoT) based target tracking system is required for applications such as smart farm, smart factory and smart city where many sensor devices are jointly connected to collect the moving target positions. Each sensor device continuously runs on battery-operated power, consuming energy while perceiving target information in a particular environment. To reduce sensor device energy consumption in real-time IoT tracking applications, many traditional methods such as clustering, information-driven, and other approaches have previously been utilized to select the best sensor. However, applying machine learning methods, particularly deep reinforcement learning (Deep RL), to address the problem of sensor selection in tracking applications is quite demanding because of the limited sensor node battery lifetime. In this study, the proposed system utilized a long short-term memory deep Q-network (DQN) based Deep RL target tracking model to overcome the problem of energy consumption in IoT target applications. The simulation results show favorable features in terms of the best sensor selection and energy consumption.