Deep Reinforcement Learning-Based RIS-Aided Wireless Communication Systems

Abstract

재구성 가능한 지능형 표면(RIS)은 맞춤형 무선 전송을 제공할 수 있으며 밀 리미터파(mmWave) 무선 통신 시스템의 차단 문제를 극복하기 위해 현재 무선 기지국(BS)의 반사경으로 사용될 때 매우 중요한 활성화 기술로 간주됩니다. 28GHz 이상의 주파수에서 작동하는 네트워크에 Gbps 데이터 처리량을 제공 하는 것은 유망한 6세대(6G) 및 무선 서비스를 넘어서는 전략입니다. 또한 RIS 는 산란 환경을 개선하고 반사 신호 다중 경로를 생성할 수 있는 능력 때문에 막 힘 영향을 완화하고 불필요한 전환을 크게 낮출 수 있는 엄청난 기회를 가지고 있습니다. 그러나 RIS 요소가 너무 많기 때문에 BS 및 반사경 RIS 구성을 최 적화하는 것이 복잡하고 성능 손실이 발생합니다. 이 백서에서 심층 강화 학습 (DRL)의 인기가 높아짐에 따라 우리는 BS가 피드백으로 구성된 RIS에서 상태 데이터를 가져오는 비볼록 최적화 문제를 해결하기 위해 쌍 지연 심층 결정적 정책 기울기(TD3) 접근 방식을 사용합니다. 사용자의 채널 상태에서. 결과적 으로 연속 위상 편이 및 빔포밍 매트릭스 제어가 있는 실제 시스템의 경우 BS 는 Nakagami-m 페이딩 환경에서 BS의 전송 전력 할당 및 위상 편이 구성으로 구성된 최적의 동작을 보장합니다. 실험 결과는 제안된 솔루션이 기존의 다른 벤치마크를 능가함을 보여줍니다.|Reconfigurable Intelligent Surface (RIS) can offer a customizable wireless transmission and is regarded as an incredibly crucial enabling technology when used as reflectors for current wireless base stations (BSs) to overcome the blockage challenges of millimeter wave (mmWave) wireless communications systems. It is a promising sixth-generation (6G) and beyond wireless services strategy to offer Gbps data throughput for networks operating at frequencies beyond 28 GHz. Furthermore, RIS has a tremendous opportunity to mitigate the blockage impact and significantly lower the needless switching because of its capacity to enhance the scattering environment and produce reflecting signal multipath. However, because there are so many RIS elements, optimising the BS and reflector RIS configuration is complex and will result in performance loss. Due to the growing popularity of deep reinforcement learning (DRL) in this thesis, we employ a twin-delayed deep deterministic policy gradient (TD3) approach to solve non-convex optimization problems where the BS gets state data from the RIS, composed of feedback from the channel states of users. Consequently, for real-world systems with continuous phase-shift and beamforming matrix control, the BS ensures optimal action constituted of the transmission power allotment of BS and phase-shift configuration in the Nakagami-m fading environment. The experimental findings demonstrate that the suggested solutions outperform other existing benchmarks.