Deep Reinforcement Learning-Based Coordinated Beamforming for mmWave Massive MIMO Vehicular Networks

Abstract

연결된 장치의 수가 증가함에 따라, 고속 전송 속도와 엄청난 대역폭으로 더 많은 사용자를 지원하기 위해 밀리미터파 (mmWave) 기술은 산업과 학계 모두에서 유망한 연구 분야 중 하나가 되었다. 5세대 (B5G) 기술을 넘어서는 중요한 조력자로서 mmWave용 mmWave 빔포밍은 수년간 연구되어 왔다. 빔포밍 작업의 기준선인 MIMO (Multi-Input Multi-Output) 시스템은 mmWave 무선 통신 시스템에서 데이터를 스트리밍하기 위해 다중 안테나에 크게 의존한다. 또한 고속 mmWave 애플리케이션은 차단 및 대기 시간 오버헤드와 같은 문제에 직면해 있다. 또한, 모바일 시스템의 효율성은 대형 안테나 어레이 mmWave 시스템에서 최고의 빔 형성 벡터를 발견하는 데 필요한 높은 훈련 오버헤드에 의해 심각한 영향을 받는다. 명시된 과제를 완화하기 위해 본 논문에서는 여러 기지국(BS)이 하나의 이동국(MS)을 공동으로 서비스하는 새로운 심층 강화 학습 (DRL) 기반 조정 빔 형성 체계를 제안한다. 그런 다음 구성된 솔루션은 제안된 DRL 모델을 사용하고 가능한 빔 포밍 코드북 후보 중 BS에서 차선의 빔 포밍 벡터를 예측한다. 이 솔루션은 신뢰할 수 있는 커버리지, 최소 훈련 오버헤드 및 짧은 대기 시간으로 모바일 mmWave 애플리케이션을 용이하게 하는 완벽한 시스템을 가능하게 한다. 수치 결과는 제안된 알고리듬이 낮은 훈련과 대기 시간 오버헤드를 보장하면서 이동성이 높은 mmWave 대규모 MIMO 시나리오에 대해 달성 가능한 합계 속도를 크게 높일 수 있음을 보여줍니다.|With the increase in the number of connected devices, to facilitate more users with high-speed transfer rates and enormous bandwidth, millimeter-wave (mmWave) technology has become one of the promising research sectors in both industry and academia. As a critical enabler for beyond fifth-generation (B5G) technology, mmWave beamforming for mmWave has been studied for many years. Multi-input multi-output (MIMO) system, which is the baseline for beamforming operation, rely heavily on multiple antennas to stream data in mmWave wireless communication systems. Moreover, high-speed mmWave applications face challenges such as blockage and latency overhead. Furthermore, the efficiency of the mobile systems is severely impacted by the high training overhead required to discover the best beamforming vectors in large antenna array mmWave systems. In order to mitigate the stated challenges, in this thesis, we propose a novel deep reinforcement learning (DRL) based coordinated beamforming scheme where multiple base stations (BSs) serve one mobile station (MS) jointly. The constructed solution then uses a proposed DRL model and predict the suboptimal beamforming vectors at the BSs out of possible beamforming codebook candidates. This solution enables a complete system that facilitates highly mobile mmWave applications with dependable coverage, minimal training overhead, and low latency. Numerical results demonstrate that our proposed algorithm remarkably increase the achievable sum rate capacity for the highly mobile mmWave massive MIMO scenario while ensuring low training and latency overhead.