Reinforcement Learning-Based Offloading in Unmanned Aerial Vehicle-Aided Edge Computing Systems

Abstract

Unmanned aerial vehicles (UAVs) have recently shown an ever-increasing trend in many areas of civil applications as well as military applications such as surveillance, reconnaissance, augmented reality, etc. Due to ease of flexibility in terms of mobility and cost, UAVs can be deployed anywhere to provide seamless connectivity where terrestrial infrastructure is not available or damaged. However, both performing communication and executing computation-intensive tasks become huge burden for a UAV to perform a mission because of the battery lifetime being very limited. To mitigate this issue, mobile edge computing (MEC) is considered as a reliable and effective platform which can provide additional computational support at the edge of the network. Incorporating an MEC server enables to offload the computationally intensive tasks to be offloaded from UAVs to the edge server. This reduces the transmission delay significantly compared to a cloud server. However, based on the dynamic characteristics of different tasks, offloading decision is a major issue. Furthermore, most tasks have a stringent deadline that the task needs to be executed. UAV swarm-enabled MEC systems can be effectively leveraged to address this problem. Most of the existing studies consider the assumption that a single-UAV system has sufficient communication and computation capacity to perform any mission which is very unlikely. In this thesis, we propose a deep reinforcement learning based computation offloading (DRLCO) scheme using double deep Q-learning for surveillance applications. DRLCO minimizes the total weighted cost by jointly considering task execution delay and energy consumption. The DRLCO technique can effectively address the dynamic environment and based on the task characteristics, effective offloading decisions are made. The performance of DRLCO is evaluated through computer simulation and compared with conventional offloading schemes. The simulation results show that proposed DRLCO mechanism can outperform the conventional offloading techniques in terms of total offloading cost, task execution delay and energy consumption. |무인 비행체(UAV)는 최근 감시, 증강 현실, 가상 현실 등과 같은 군사 응용 분야뿐만 아니라 민간 응용 분야의 많은 영역에서 지속적으로 증가하는 추세를 보이고 있다. 높은 이동성과 낮은 비용으로 인해 UAV는 지상 기반 시설을 이용할 수 없거나 손상된 곳에서 원활한 연결을 제공하기 위해 어디에나 배치될 수 있다. 그러나 제한된 배터리 용량 때문에, 통신과 계산 집약적 작업을 함께 수행하는 것은 UAV 임무 수행에 큰 부담이 된다. 이 문제를 완화하기 위한 모바일 에지 컴퓨팅(MEC)은 네트워크 에지에서 추가 컴퓨팅 지원을 제공할 수 있는 안정적이고 효과적인 플랫폼으로 간주된다. MEC 서버를 활용하면 계산 집약적인 작업을 UAV에서 에지 서버로 오프로드하여 클라우드 서버에 비해 전송 지연을 크게 줄일 수 있다. 그러나 서로 다른 작업의 동적 특성에 따라 오프로드 결정이 주요 문제가 된다. 또한 대부분의 작업에는 엄격한 실행 마감 시간이 있다. UAV 군집 지원 MEC 시스템을 효과적으로 활용하여 이 문제를 해결할 수 있다. 대부분의 기존 연구는 단일 UAV 시스템이 임무를 수행하기에 충분한 통신 및 계산 용량을 가지고 있다는 가정한다. 본 논문에서는 보안 감시 응용을 위한 심층 강화 학습 기반 계산 오프로딩(DRLCO) 기법을 제안한다. DRLCO 기법은 이중 심층 Q-학습을 사용하고 태스크 실행 시간과 에너지 소모량을 함께 려함으로써 총 가중치 비용을 최소화한다. DRLCO 기법은 동적 환경을 효과적으로 해결할 수 있으며 작업 특성에 따라 효과적인 오프로드 결정이 내려진다. 컴퓨터 시뮬레이션을 통해 DRLCO 성능을 평가하고 기존 오프로드 방식들과 비교한다. 시뮬레이션 결과에 의하면, 제안한 DRLCO 메커니즘이 총 오프로드 비용, 작업 실행 지연 및 에너지 소비 측면 등에서 기존 오프로드 기법들보다 우수하다.