Reinforcement Learning-based User Association for Cloud Radio Access Networks

Abstract

클라우드 무선 액세스 네트워크(C-RAN)는 끊임없이 증가하는 사용자 수요를 충족시키면서 사용자에게 원활한 연결을 제공하는 5G 이동통신 시스템 아키텍처이다. C-RAN에서 기지국 기능은 BBU(Base Band Unit)와 RRH(Remote Radio Head)로 구분되며, 그 다음 여러 사이트의 BBU는 클라우드 컴퓨팅 및 가상화 기술을 사용하여 중앙 집중화되고 가상화된다. 모든 데이터 처리 및 제어는 BBU pool 내에서 수행되며 RRH는 무선 송수신 기능을 담당한다. 5G의 요구 사항에 따라, 단거리 소형 셀 기반 RRH가 중복 배치된다. 사용자의 이동성은 사용자가 여러 개의 RRH 범위 내에서 이동할 때 RRH와의 연결에 상당한 영향을 미친다. 기존의 핸드오버 방식은 대부분 사용자가 RRH로부터 수신하는 신호 강도에 의존하여, 불필요하고 빈번한 핸드오버를 유발한다. 따라서 사용자가 핸드오버를 수행하기 전에 핸드오버 제어 매개 변수를 최적화하고, 사용자를 네트워크에서 불필요한 핸드오버를 줄이는 RRH에 다시 연결해야 한다. 본 논문은 fuzzy logic을 이용하여 핸드오버 제어 매개변수를 신중하게 최적화하고, 강화학습 알고리즘을 사용하여 핸드오버를 위한 대상 RRH를 선택하여 C-RAN에서의 핸드오버를 수행한다. 제안된 강화학습 기반 사용자 선택 방법의 핵심 요소는 알고리즘의 빠른 수렴을 위해 가속 기술을 활용한다. 본 연구의 주요 목표는 사용자의 서비스 품질(QoS) 요구사항을 유지하면서 핸드오버 후 연결성이 최대한 오래 유지되도록 사용자를 RRH와 다시 연결하는 것입니다. 다양한 환경에서의 시뮬레이션 결과는 제안된 방법이 QoS 요구사항을 보장하면서 핸드오버 횟수를 크게 줄일 수 있음을 보여준다.|Cloud radio access network (C-RAN) is a promising architecture for the 5G mobile communication system that provides seamless connectivity to the users while satisfying the ever-increasing user demand. In C-RAN, the base station functionality is divided into baseband unit (BBU) and remote radio head (RRH), then the BBUs from multiple sites are centralized and virtualized using cloud computing and virtualization techniques. All the data processing and controlling are performed inside the BBU pool and RRHs are responsible for radio functionalities. According to the requirements of 5G, the short-range small cell-based RRHs are densely deployed in an overlapping manner. The mobility of users has a significant impact on their association with RRHs when a user moves within the coverage of multiple RRHs. The traditional handover schemes mostly rely on the signal strengths a user receives from an RRH which will cause a large number of unnecessary and frequent handovers. So, it is necessary to optimize handover control parameters before the handover occurs for a user and re-associate the user to an RRH that reduces the unnecessary handovers in the network. This paper investigates the handover in C-RAN by carefully optimizing the handover control parameter with fuzzy logic and selecting the target RRH for handover with a reinforcement learning (RL) algorithm. A key ingredient of the proposed RL-based scheme is to use an acceleration technique for faster convergence of the algorithm. Our main goal is to re-associate users with an RRH in a way such that the association after the handover remains as long as possible while maintaining the quality of service (QoS) requirements of the users. Numerical results show that the proposed scheme can significantly reduce the number of handovers while ensuring the QoS requirements.