Multi-Objective Reinforcement Learning-based Power Allocation for Massive MIMO Networks

Abstract

The joint optimization of spectral and energy efficiency through power allocation techniques is a critical requirement for emerging fifth-generation and beyond networks. While various algorithmic approaches, such as genetic algorithms and convex optimization, have been considered for optimizing the trade-offs between spectral and energy efficiency in cellular networks, these methods suffer from high computational costs. Deep reinforcement learning-based methods have shown promise in addressing the computational challenges of single-objective optimization problems in wireless networks. Despite the potential of deep reinforcement learning approaches, utilizing them for the joint optimization of spectral and energy efficiency has yet to be noticed in the existing literature. In this thesis, we propose a downlink transmit power allocation method based on a multi-objective asynchronous advantage single actor–multiple critics model. This method aims to optimize spectral and energy efficiency trade-offs in massive multiple-input-multiple-output assisted multi-cell networks. Furthermore, we also propose a Bayesian rule-based preference weight updating mechanism, multi-objective advantage function, and balanced-reward aggregation method. These proposed methods ensure effective training and control biases toward any specific objective reward during the training process of our model. Based on extensive simulations, we demonstrate that the proposed model-based power allocation method outperforms the other techniques, especially Pareto front approximation policy-driven multi-objective reinforcement learning-based power allocation strategies.|5G 네트워크와 차세대 이동통신 기술의 발전에 따라 스펙트럼 및 에너지 효율성의 공동 최적화 기술은 핵심적인 연구 주제로 자리 잡아 왔다. 그러나, 스펙트럼과 에너지 효율성 사이의 복잡한 trade-off 관계로 인해 genetic 알고리즘 및 convex optimization solver 기반의 전통적인 최적화 솔루션은 높은 계산 복잡도가 요구된다. 이러한 계산 복잡도 문제를 해결하기 위한 방안으로, 다양한 강화학습 알고리즘 기반의 솔루션 연구가 활발히 수행되고 있으나, 이를 활용한 무선 네트워크의 다중목표를 공동으로 최적화하기 위한 연구는 크게 활성화되지 않았다. 따라서, 본 학위 논문에서는 downlink multi-cell massive MIMO 네트워크 시나리오에서의 기존 솔루션에서 야기되는 계산 복잡도를 해결함과 동시에 스펙트럼 효율성과 에너지 효율성 사이에 발생하는 trade-off를 효과적으로 최적화하기 위한 multi-objective asynchronous advantage single actor – multiple critics (MO-A3Cs) 모델 기반 하향링크 전송 전력 할당 기법을 제안한다. 제안하는 모델은 multi-objective Markov decision process에 의해 모델링 되며, 기존의 단일 스칼라 형태의 보상은 보상 벡터로 확장된다. 더불어, 본 논문에서는 학습 과정에서의 스펙트럼 및 에너지 효율성 사이의 특정 목표로 수렴되는 것을 방지함과 동시에 스펙트럼 및 에너지 효율성을 공동으로 최적화하기 위한 행동 정책을 학습시키기 위해 Bayesian rule 기반 선호도 가중치 갱신 기법, multi-objective advantage function 및 balanced-reward aggregation 기법을 소개한다. 실험 결과를 통해, 제안하는 MO-A3Cs 모델은 학습 과정에서의 기존의 강화학습 모델에서 야기되는 특정 목표에 대한 편향 없이 trade-off 최적화를 위한 효율적인 학습이 가능한 것을 확인할 수 있으며, Pareto front approximation policy 기반의 다중목표 강화학습의 대표적인 알고리즘을 포함한 여러 하향링크 전송 전력 할당 기법을 능가하는 공동 최적화 성능을 달성할 수 있음을 확인하였다.