本發(fā)明涉及智能交通系統(tǒng)及車聯(lián)網(wǎng)通信，具體而言，涉及一種車聯(lián)網(wǎng)數(shù)據(jù)分配信息年齡最小化方法。

背景技術(shù)：

1、在智能交通系統(tǒng)中，車輛通過無線通信網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸，基站收集并處理車輛的信息。然而，當(dāng)基站處于城市中較為偏遠(yuǎn)的位置時，城市中基站和車輛之間的長距離傳輸會影響數(shù)據(jù)包的質(zhì)量，進(jìn)而影響基站對數(shù)據(jù)的解碼和恢復(fù)能力，最終影響城市交通管理系統(tǒng)的決策。

2、無人機(uav)的靈活性和可靠的視距特性使其能夠作為移動中繼節(jié)點，輔助基站收集車輛信息。無人機在移動過程中可以動態(tài)地調(diào)整其位置和通信策略，以優(yōu)化數(shù)據(jù)傳輸?shù)男?。然而，在這種場景中，數(shù)據(jù)包信息的新鮮度(即信息年齡，aoi)是一個關(guān)鍵指標(biāo)，因為它直接關(guān)系到城市交通決策的及時性和準(zhǔn)確性。

3、那么，在車聯(lián)網(wǎng)環(huán)境下使用無人機作為移動中繼節(jié)點時，行走車輛的數(shù)據(jù)包該如何調(diào)度才能保證其信息年齡最?。慨?dāng)信息年齡最小時，無人機軌跡該如何規(guī)劃？針對該問題，現(xiàn)有技術(shù)中并沒有直接答案。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是如何在車聯(lián)網(wǎng)環(huán)境下實現(xiàn)無人機輔助的車輛數(shù)據(jù)包調(diào)度和無人機軌跡規(guī)劃的最優(yōu)解，為克服以上現(xiàn)有技術(shù)的缺陷，本發(fā)明提供一種車聯(lián)網(wǎng)數(shù)據(jù)分配信息年齡最小化方法。

2、本發(fā)明提供的一種車聯(lián)網(wǎng)數(shù)據(jù)分配信息年齡最小化方法，包括如下步驟：

3、s1：基于以無人機為移動中繼節(jié)點的車聯(lián)網(wǎng)建立以最小化所述車聯(lián)網(wǎng)中所有車輛的平均信息年齡和所述無人機的能耗為目標(biāo)的最優(yōu)化模型；

4、s2：基于所述最優(yōu)化模型獲得通過所述無人機與所述車聯(lián)網(wǎng)所在約束環(huán)境交互的馬爾可夫過程，并規(guī)定所述馬爾可夫過程的循環(huán)次數(shù)；

5、s3：基于所述馬爾科夫過程，通過近端策略優(yōu)化算法訓(xùn)練所述無人機并達(dá)到所述循環(huán)次數(shù)，獲得近端優(yōu)化模型；

6、s4：在所述基站中以所述近端優(yōu)化模型駕馭所述無人機運行以最小化所有車輛的平均信息年齡和所述無人機的能耗。

7、本發(fā)明所公開的車聯(lián)網(wǎng)數(shù)據(jù)分配信息年齡最小化方法，通過提前訓(xùn)練獲得近端優(yōu)化模型，并以該模型執(zhí)行信息年齡更新和無人機軌道選擇，可以減輕無人機的計算和決策負(fù)擔(dān)，使其主要專注于物理移動和通信任務(wù)，從而提高無人機的能源效率和任務(wù)執(zhí)行效果，而且基站作為中央控制節(jié)點，可以收集并處理整個網(wǎng)絡(luò)的狀態(tài)信息，從而做出全局最優(yōu)決策。此外，通過近端優(yōu)化模型優(yōu)化信息年齡更新和無人機移動路徑，能夠有效利用網(wǎng)絡(luò)資源和能源，減少不必要的通信和移動開銷，提高系統(tǒng)的能效。不僅適用于智能交通系統(tǒng)中的車輛網(wǎng)絡(luò)數(shù)據(jù)分配，還可以應(yīng)用于無人機群協(xié)作任務(wù)、應(yīng)急救援和災(zāi)害管理等多個領(lǐng)域，具有廣泛的應(yīng)用前景和商業(yè)價值。

8、在一種可能的實施方式中，所述步驟s1包括如下步驟：

9、s11：建立一個基站關(guān)聯(lián)一架無人機、一架所述無人機關(guān)聯(lián)多個車輛的通信網(wǎng)結(jié)構(gòu)，據(jù)此獲得所述車聯(lián)網(wǎng)；

10、s12：將指定時間劃分為多個時隙，并基于所述無人機位置變化將導(dǎo)致其覆蓋范圍變化的通信事實獲得各時隙所述無人機與各車輛間的連接約束；

11、s13：基于所述車聯(lián)網(wǎng)的通信信道特征獲得各時隙所述無人機與各車輛間的信道增益；

12、s14：基于所述步驟s13所獲各時隙所述無人機與各車輛間的信道增益獲得各時隙二者間的數(shù)據(jù)傳輸速率；

13、s15：根據(jù)所述無人機推進(jìn)過程的能耗算法獲得各時隙所述無人機的推進(jìn)能耗，并根據(jù)所述無人機以調(diào)度操作進(jìn)行懸停的事實獲得所述無人機的總能耗；

14、s16：將所有所述車輛的信息采樣行為設(shè)置為遵循所有所述時隙均進(jìn)行采樣更新，并以狀態(tài)更新最小數(shù)據(jù)量代表各所述車輛一次成功狀態(tài)更新的最低數(shù)據(jù)量需要，然后基于所述步驟s14所獲數(shù)據(jù)傳輸速率獲得各所述車輛在各時隙的狀態(tài)更新的數(shù)據(jù)量，根據(jù)各所述車輛在各時隙的狀態(tài)更新的數(shù)據(jù)量與所述狀態(tài)更新最小數(shù)據(jù)量的比較情況獲得各所述車輛的信息年齡更新算法；

15、s17：基于所述步驟s15所獲的各時隙所述無人機的總能耗獲得所述無人機在所述指定時間的平均能量消耗，基于所述步驟s16所獲信息年齡更新算法獲得所有所述車輛在所述指定時間的平均信息年齡，并將所述平均能量消耗與所述平均信息年齡之和的最小值作為所述目標(biāo)；

16、s18：規(guī)定所述無人機的工作區(qū)域，以所述工作區(qū)域和所述步驟s12所獲連接約束作為所述目標(biāo)對應(yīng)的約束，據(jù)此獲得所述最優(yōu)化模型；

17、與現(xiàn)有技術(shù)相比，采用上述技術(shù)方案能夠基于車聯(lián)網(wǎng)的顯示約束為最優(yōu)化信息年齡和能耗降低提供約束和目標(biāo)，從而為馬爾科夫過程的建立和據(jù)此訓(xùn)練獲得近端優(yōu)化模型提供了保障依據(jù)。

18、在一種可能的實施方式中，所述步驟s12所獲的所述無人機與各車輛間的連接約束的算式為：

19、

20、式中，

21、i＝0,1,2,…i-1代表所述無人機和車輛之間通信，i為車輛總數(shù)；

22、所述指定定時間劃分為n個時隙，n＝1,2,…,n代表時隙數(shù)；

23、是一個二元變量，代表第i個車輛被所述無人機調(diào)度，否則

24、與現(xiàn)有技術(shù)相比，采用上述技術(shù)方案能夠考了無人機的移動性，根據(jù)無人機位置變化會導(dǎo)致其覆蓋范圍的變化的事實，進(jìn)而提供了一種無人機車輛調(diào)度的約束。

25、在一種可能的實施方式中，所述步驟s13所獲信道增益的算式為：

26、

27、式中，

28、代表時隙n所述無人機與車輛i間的信道增益；

29、代表車輛i在n時刻的位置；

30、代表所述無人機的二維坐標(biāo)；

31、qbs＝(xbs,ybs)代表所述基站的位置；

32、h0代表參考距離d0＝1m時的信道增益；

33、h代表所述無人機的飛行高度；

34、di,u(n)代表車輛i在時隙n與所述無人機之間的距離；

35、此方案為各時隙無人機與車輛i間的信道增益的計算提供了快速和準(zhǔn)確方式，從而實現(xiàn)信息增益的準(zhǔn)確獲得。

36、在一種可能的實施方式中，所述步驟s14所獲數(shù)據(jù)傳輸速率的算式為：

37、

38、式中，

39、代表時隙n所述無人機與車輛i間的數(shù)據(jù)傳輸速率；

40、b代表通信帶寬；

41、σ2代表加性高斯白噪聲；

42、p代表所述車輛的發(fā)送功率；

43、此方案能夠?qū)崿F(xiàn)對各時隙無人機與車輛i間的數(shù)據(jù)傳輸速率的準(zhǔn)確獲取，從而為各車輛在各時隙的狀態(tài)更新的數(shù)據(jù)量的計算提供保障依據(jù)。

44、在一種可能的實施方式中，所述步驟s15中，所述無人機推進(jìn)過程的能耗算法的算式為：

45、

46、式中，

47、p(vn)代表時隙n所述無人機的推進(jìn)能耗；

48、p0代表所述無人機懸停時的葉型功率；

49、p1代表所述無人機懸停時的誘導(dǎo)功率；

50、vn代表所述無人機在時隙n的速度；

51、utip代表所述無人機的旋翼葉片葉尖速度；

52、v0代表所述無人機懸停時的平均旋翼誘導(dǎo)速度；

53、d代表所述無人機的機身阻力比；

54、ρ代表空氣密度；

55、s代表所述無人機的旋翼實體度；

56、a代表所述無人機的旋翼盤面積；

57、所述無人機的總能耗的算式為：

58、

59、ph＝p0+p1，

60、式中，

61、ts代表所述無人機飛行時間；

62、tc代表所述無人機懸浮時間；

63、ph代表所述無人機懸停狀態(tài)下的功耗；

64、此方案基于無人機主要能耗由推進(jìn)，懸停和通信所組成，結(jié)合通信所消耗的能量是最小的事實忽略了通信能耗，從而在確保精確度的同時降低對于能耗計算的復(fù)雜度。

65、在一種可能的實施方式中，所述步驟s16中，各所述車輛在各時隙的狀態(tài)更新的數(shù)據(jù)量的算式為：

66、

67、式中，

68、車輛i在時隙n的狀態(tài)更新的數(shù)據(jù)量；

69、δn代表時隙n的時長；

70、各所述車輛的信息年齡更新算法的算式為：

71、

72、式中，

73、代表車輛i在時隙n的信息年齡；

74、代表車輛i的所述狀態(tài)更新最小數(shù)據(jù)量；

75、代表車輛的集合；

76、此方案引入車輛i的所述狀態(tài)更新最小數(shù)據(jù)量，并據(jù)此提供更新策略，從而確保信息年齡的有序更新。

77、在一種可能的實施方式中，所述步驟s2中的所獲馬爾可夫過程表述如下：

78、將所述無人機作為智能體，所述智能體與所述車聯(lián)網(wǎng)所在的約束環(huán)境循環(huán)交互，循環(huán)交互次數(shù)為所述步驟s2所規(guī)定的所述馬爾可夫過程的循環(huán)次數(shù)，每次循環(huán)所進(jìn)行的步數(shù)相同；

79、對于每一步，所述智能體在本步始觀測所述約束環(huán)境，獲取當(dāng)前步的觀測狀態(tài)，基于此觀測狀態(tài)和所述智能體自身的策略，所述智能體在本步中從混合動作空間中選擇一個混合動作；

80、所述混合動作空間由離散動作空間和連續(xù)動作空間組成；

81、所述智能體在本步中從所述混合動作空間中選擇一個混合動作是指所述智能體從所述離散動作空間中為當(dāng)前需要更新信息年齡的所述車輛選擇一個離散動作，且在所述連續(xù)動作空間中為所述無人機移動速度和方向選擇兩個連續(xù)動作；

82、所述智能體在本步中執(zhí)行所述混合動作后，所述約束環(huán)境的狀態(tài)發(fā)生變化，且所述智能體獲得相應(yīng)的獎勵值，至此本步結(jié)束并進(jìn)入下一步；

83、此方案實現(xiàn)了將最優(yōu)化模型轉(zhuǎn)化為馬爾科夫過程，且提供了訓(xùn)練無人機的模型雛形，能夠直到近端優(yōu)化算法對智能體的訓(xùn)練，從而為獲得近端優(yōu)化模型提供前提保障。

84、在一種可能的實施方式中，所述步驟s3包括如下步驟：

85、s31：根據(jù)所述近端策略優(yōu)化算法需求，采用含有表演家網(wǎng)絡(luò)和批判者網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)，將所述神經(jīng)網(wǎng)絡(luò)的所有參數(shù)進(jìn)行初始化處理，并將所述智能體的經(jīng)驗回放池進(jìn)行初始化，同時設(shè)定訓(xùn)練階段的循環(huán)個數(shù)為所述馬爾可夫過程的循環(huán)次數(shù)，并規(guī)定訓(xùn)練階段的每次循環(huán)所進(jìn)行的步數(shù)與所述馬爾科夫過程所設(shè)定的步數(shù)相同；

86、所述表演家網(wǎng)絡(luò)由用于輸出離散動作的離散動作網(wǎng)絡(luò)模塊和用于輸出連續(xù)動作的連續(xù)動作網(wǎng)絡(luò)模塊構(gòu)成；

87、s32：在當(dāng)前步中，所述智能體在當(dāng)前步始觀測所述約束環(huán)境，獲得各時隙的當(dāng)前觀測狀態(tài)，所述當(dāng)前觀測狀態(tài)表述為：

88、

89、式中，

90、state代表當(dāng)前觀測狀態(tài)；

91、代表時隙集合；

92、s33：將所述當(dāng)前觀測狀態(tài)同時輸入所述表演家網(wǎng)絡(luò)和所述批判者網(wǎng)絡(luò)；

93、通過所述表演家網(wǎng)絡(luò)的離散動作網(wǎng)絡(luò)模塊輸出各時隙的所述智能體調(diào)度車輛索引，根據(jù)各時隙的調(diào)度車輛索引依次為索引代表車輛發(fā)送狀態(tài)更新報文，所述狀態(tài)更新報文包含所涉車輛的信息年齡，并將所涉車輛在所述智能體處的信息年齡重置為δn，而未發(fā)送狀態(tài)更新報文車輛的信息年齡增加δn，本步的離散動作至此獲得更新；

94、通過所述表演家網(wǎng)絡(luò)的連續(xù)動作網(wǎng)絡(luò)模塊計算各時隙連續(xù)動作的當(dāng)前輸出值，該當(dāng)前輸出值包含所述智能體的移動方向和所述智能體的移動速度，所述智能體按該當(dāng)前輸出值依次執(zhí)行，本步的連續(xù)動作至此獲得更新；

95、本步的離散動作和連續(xù)動作獲得更新后，所述智能體基于本步的所述約束環(huán)境更新獲得獎勵值并基于該獎勵和所述批判者網(wǎng)絡(luò)的輸出獲得各時隙的下一步觀測狀態(tài)；

96、s34：將當(dāng)前步的狀態(tài)、動作、獎勵、各時隙的下一步觀測狀態(tài)存儲在所述經(jīng)驗回放池中；

97、s35：判斷當(dāng)前是否執(zhí)行完一個循環(huán)，若否，則以各時隙的下一步觀測狀態(tài)作為各時隙的當(dāng)前觀測狀態(tài)且回轉(zhuǎn)執(zhí)行所述步驟s32；

98、若是，則執(zhí)行下一步；

99、s36：判斷當(dāng)前已循環(huán)次數(shù)是否達(dá)到所述循環(huán)次數(shù)或達(dá)到經(jīng)驗回放池存儲極限，若至少滿足其中之一，則通過基于所述經(jīng)驗回放池收集的所有數(shù)據(jù)進(jìn)行若干次歷時迭代的方式獲得所述近端優(yōu)化模型且將所述近端優(yōu)化模型嵌入所述基站，否則，以各時隙的下一步觀測狀態(tài)作為各時隙的當(dāng)前觀測狀態(tài)且回轉(zhuǎn)執(zhí)行所述步驟s32；

100、此方案能夠在離散動作空間和連續(xù)動作空間中同時進(jìn)行優(yōu)化，使得信息更新和無人機的移動路徑規(guī)劃更加高效和精準(zhǔn)。這種雙空間優(yōu)化的方法能夠顯著降低信息年齡和能耗，提高整體系統(tǒng)性能。

101、在一種可能的實施方式中，所述步驟s33中，獎勵值的計算式為：

102、

103、式中，

104、第1項為時隙n末端所有車輛的平均時間年齡；

105、第2項為時隙n無人機的能耗；

106、ξ和ψ分別為非負(fù)加權(quán)信息年齡和能耗分量；

107、此方案通過對智能體基于目標(biāo)的更新獎勵，且提供了明確的獎勵機制，為提高模型構(gòu)建效率提供保障，而且確保了對于最優(yōu)化模型的目標(biāo)的實現(xiàn)精度可靠。