本發(fā)明涉及無線通訊，特別涉及一種多ris輔助的無線網絡覆蓋優(yōu)化方法及裝置。

背景技術：

1、近年來由于無線數(shù)據流量急劇增加，人們對通信服務質量的要求也在同步提升，這激發(fā)了對未來無線通信速度、質量和安全性的強烈需求。為了實現(xiàn)這一愿景，可重構智能表面（reconfigurable?intelligent?surface，簡稱ris）已經成為無線通信的一種新興的范式，比傳統(tǒng)的解決方案具有顯著的優(yōu)勢。ris能夠通過反射向位于阻塞區(qū)域的用戶提供視距(los)鏈路，以提高傳統(tǒng)無線網絡的覆蓋范圍和容量。

2、為了進一步提高無線網絡覆蓋率，一般會對ris輔助進行無線網絡覆蓋優(yōu)化。然而，現(xiàn)有的研究主要集中在優(yōu)化ris的相移方面，即通過對調整ris的相位角來優(yōu)化網絡覆蓋，并且目前的研究主要集中在優(yōu)化單個ris的相移方面，由此來增強網絡覆蓋，但這種僅對ris相移的優(yōu)化方案存在一定的局限性，最終網絡覆蓋率的優(yōu)化效果有效。

技術實現(xiàn)思路

1、基于此，本發(fā)明的目的是提供一種多ris輔助的無線網絡覆蓋優(yōu)化方法及裝置，以解決背景技術當中的至少一技術問題。

2、根據本發(fā)明實施例的一種多ris輔助的無線網絡覆蓋優(yōu)化方法，應用于多ris輔助的無線通訊網絡當中，所述方法包括以下步驟：

3、根據所述多ris輔助的無線通訊網絡的系統(tǒng)架構，建立多ris輔助的無線通訊網絡的信道模型；

4、基于所述多ris輔助的無線通訊網絡的信道模型，構建目標獎勵函數(shù)；

5、以最大化目標獎勵函數(shù)為目標，以每個ris的部署位置及相位角為優(yōu)化變量，以每個ris的部署范圍及相位角范圍為約束條件，構建優(yōu)化問題；

6、采用預設的深度確定性策略梯度算法來對所述優(yōu)化問題進行迭代求解，得到優(yōu)化后的每個ris的部署位置及相位角，以對所述多ris輔助的無線通訊網絡進行網絡覆蓋優(yōu)化。

7、另外，根據本發(fā)明上述實施例的一種多ris輔助的無線網絡覆蓋優(yōu)化方法，還可以具有如下附加的技術特征：

8、進一步地，所述多ris輔助的無線通訊網絡的信道模型包括：

9、基站到網格點 si的信道增益 ha,si、基站到ris的信道增益 ha,r、以及ris到網格點 si的信道增益 ɡr,si，具體定義為:

10、

11、其中， si∈{ s1, s2,……, sk}，其中 k為基站服務范圍的網格總數(shù)， ε1、 ε2以及 ε3分別代表 ha,si、 ha,r和 ɡr,si的信道鏈路的rician因子， l1、 l2以及 l3分別代表 ha,si、 ha,r和 ɡr,si的路徑損耗，分別表示 ha,si、 ha,r和 ɡr,si的los分量，分別表示 ha,si、 ha,r和 ɡr,si的nlos分量。

12、進一步地，所述目標獎勵函數(shù)為：

13、

14、其中， rr( t)代表第 r個ris的目標獎勵函數(shù)， m代表ris的個數(shù)。

15、進一步地，所述多ris輔助的無線通訊網絡包括用于主基站輔助的ris以及用于干擾基站輔助的ris；

16、其中，用于主基站輔助的ris的目標獎勵函數(shù)為：

17、 r( t)= r( t) rsrp+ r( t) sinr

18、其中，用于干擾基站輔助的ris的ris的目標獎勵函數(shù)為：

19、 r( t)?= r( t) sinr

20、其中，

21、其中，

22、式中， r( t) rsrp代表參考信號接收功率的目標獎勵函數(shù)， r( t) sinr代表信號與干擾加噪聲比的目標獎勵函數(shù)，代表網格點 si處的參考信號接收功率的目標獎勵函數(shù)，代表網格點 si處的信號與干擾加噪聲比的目標獎勵函數(shù)， rsrpsi代表網格點 si處的參考信號接收功率， sinrsi代表網格點 si處的信號與干擾加噪聲比， thrsrp和 thsinr為對應閾值。

23、進一步地，其中：

24、

25、式中，代表主基站到網格點 si處的信道增益矩陣、代表干擾基站到網格點 si處的信道增益矩陣，代表主基站輔助的ris到網格點 si的信道增益矩陣、代表干擾基站輔助的ris到網格點 si的信道增益矩陣，代表主基站到主基站輔助的ris的信道增益矩陣、代表干擾基站到干擾基站輔助的ris的信道增益矩陣，和代表主基站和干擾基站的對角矩陣， x1和 x2分別代表主基站和干擾基站所要傳輸?shù)挠脩魯?shù)據量， v1代表主基站輔助的ris帶來的動態(tài)噪聲， n代表環(huán)境噪聲。

26、進一步地，采用預設的深度確定性策略梯度算法來對所述優(yōu)化問題進行迭代求解的步驟包括：

27、每隔預設時間 t，控制各ris在當前狀態(tài)環(huán)境下和當前策略網絡下選擇動作并執(zhí)行；

28、獲取各ris在執(zhí)行動作后環(huán)境返回的獎勵并觀察到下一個狀態(tài)，以獲得多組訓練樣本，并將多組訓練樣本存儲在經驗回放緩沖區(qū)當中；

29、從所述經驗回放緩沖區(qū)當中隨機抽取一個批次的訓練樣本，并計算各ris在當前策略網絡的?q?值，并通過最小化均方誤差來迭代更新策略網絡的參數(shù)，直到網絡收斂，輸出最終網絡參數(shù)，得到優(yōu)化后的每個ris的部署位置及相位角。

30、進一步地，針對用于主基站輔助的ris，其更新策略網絡的參數(shù)的步驟包括：

31、采用預設的策略異步更新規(guī)則對策略網絡的ris的部署位置及相位角進行異步更新；

32、其中，策略異步更新規(guī)則為使ris的部署位置更新頻率慢于相位角更新頻率，具體使在ris的部署位置固定下對相位角進行最優(yōu)求解、然后再更新ris的部署位置，以此迭代直到收斂。

33、根據本發(fā)明實施例的一種多ris輔助的無線網絡覆蓋優(yōu)化裝置，所述裝置包括：

34、模型建立模塊，用于根據所述多ris輔助的無線通訊網絡的系統(tǒng)架構，建立多ris輔助的無線通訊網絡的信道模型；

35、函數(shù)構建模塊，用于基于所述多ris輔助的無線通訊網絡的信道模型，構建目標獎勵函數(shù)；

36、問題構建模塊，用于以最大化目標獎勵函數(shù)為目標，以每個ris的部署位置及相位角為優(yōu)化變量，以每個ris的部署范圍及相位角范圍為約束條件，構建優(yōu)化問題；

37、覆蓋優(yōu)化模塊，用于采用預設的深度確定性策略梯度算法來對所述優(yōu)化問題進行迭代求解，得到優(yōu)化后的每個ris的部署位置及相位角，以對所述多ris輔助的無線通訊網絡進行網絡覆蓋優(yōu)化。

38、根據本發(fā)明實施例的一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如上述的多ris輔助的無線網絡覆蓋優(yōu)化方法。

39、根據本發(fā)明實施例的一種多ris輔助的無線網絡覆蓋優(yōu)化設備，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上述的多ris輔助的無線網絡覆蓋優(yōu)化方法。

40、與現(xiàn)有技術相比：通過以每個ris的部署位置及相位角作為優(yōu)化變量，一方面考慮了ris的部署位置及相位角，另一方面還考慮了多個ris之間的環(huán)境協(xié)同，從而將多個ris的部署位置及相位角進行協(xié)同優(yōu)化，并采用能夠實現(xiàn)多任務多智能體協(xié)作的深度確定性策略梯度算法來對優(yōu)化問題進行求解，大幅提升了無線網絡覆蓋率優(yōu)化效果。