本發(fā)明屬于無線通信領域，涉及一種基于對比學習的毫米波波束跟蹤方法。

背景技術：

1、隨著人工智能和通信技術的快速發(fā)展，下一代移動通信網(wǎng)絡開始利用毫米波甚至更高頻段來滿足日益增長的移動業(yè)務需求。與傳統(tǒng)通信系統(tǒng)中使用的低頻信號相比，毫米波信號的傳播損耗更為嚴重。由于毫米波具有較短的波長，需要大量的天線陣列和狹窄的定向波束，以保證足夠高的接收信號強度。然而，將傳統(tǒng)基于大量天線陣列向量訓練的波束獲取方法應用于毫米波頻段會產(chǎn)生巨大的波束獲取開銷。因此，有必要尋找新的方法來降低這種開銷，以降低毫米波系統(tǒng)的通信延遲和消耗。

2、基于機器學習的方法為解決高頻通信系統(tǒng)中的波束管理和信道評估開銷帶來了新的思路?？梢岳铆h(huán)境中傳感設備獲取的信息如用戶位置、基站攝像頭拍攝的環(huán)境中用戶位置的圖像、激光雷達點云和雷達進行毫米波通信系統(tǒng)波束預測和跟蹤。然而，單一模態(tài)只能從單一數(shù)據(jù)源提取信息，這可能會導致信息的丟失或不充分，特別是在復雜場景中，單一模態(tài)的數(shù)據(jù)無法充分捕捉場景特征。因此，如何發(fā)明一種適用于多模態(tài)數(shù)據(jù)融合的毫米波波束跟蹤方法，利用來自不同模態(tài)的數(shù)據(jù)的互補性，彌補單模態(tài)數(shù)據(jù)的不足，提供更準確、穩(wěn)定的預測和跟蹤，成為了一個重要的挑戰(zhàn)。

技術實現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種基于對比學習的毫米波波束跟蹤方法，利用來自不同模態(tài)的數(shù)據(jù)的互補性，彌補單模態(tài)數(shù)據(jù)的不足，提供更準確、穩(wěn)定的預測和跟蹤。

2、為達到上述目的，本發(fā)明提供如下技術方案：

3、一種基于對比學習的毫米波波束跟蹤方法，通過構造毫米波通信波束跟蹤多模態(tài)數(shù)據(jù)融合神經(jīng)網(wǎng)絡模型，并利用對比學習方法訓練神經(jīng)網(wǎng)絡，優(yōu)化不同模態(tài)之間的協(xié)同效應，利用融合后的特征進行波束跟蹤，實時預測當前最優(yōu)波束并同時預測未來多個最優(yōu)波束的最佳索引。

4、該方法具體包括以下步驟：

5、s1：獲取多傳感器毫米波通信系統(tǒng)模型參數(shù)，構建多模態(tài)感知輔助毫米波通信波束跟蹤問題模型，將波束跟蹤問題轉化為一個基于機器學習的優(yōu)化問題；

6、s2：構造毫米波通信波束跟蹤多模態(tài)數(shù)據(jù)融合神經(jīng)網(wǎng)絡模型，包括：特征提取模塊、循環(huán)神經(jīng)網(wǎng)絡模塊和融合分類模塊；該模型從系統(tǒng)配備的多個傳感器獲取不同模態(tài)的感知數(shù)據(jù)，利用特征提取模塊對獲取的多模態(tài)數(shù)據(jù)進行特征提取，并通過循環(huán)神經(jīng)網(wǎng)絡模塊對多模態(tài)時序特征進行建模，融合分類模塊利用多頭注意力機制融合提取的特征；

7、s3：使用對比學習機制訓練多模態(tài)數(shù)據(jù)融合神經(jīng)網(wǎng)絡模型，優(yōu)化不同模態(tài)之間的協(xié)同效應，利用融合后的特征進行波束跟蹤，實時預測當前和未來多個最優(yōu)波束的最佳索引。

8、進一步，步驟s1具體包括以下步驟：

9、s11：設一個圍繞單個移動用戶設備的毫米波通信系統(tǒng)模型，其中基站為移動用戶設備提供服務；基站包含n個天線、一個激光雷達傳感器和一個rgb攝像頭(視覺數(shù)據(jù)傳感器)，以提供對周圍環(huán)境的感知；假設基站只有一個天線，基站采用預定義的波束形成碼本其中q為碼本中波束形成向量的總數(shù)，為碼本中的波束形成向量；

10、s12：在時間步長t，如果每個毫米波用戶u由基站使用波束形成矢量fq[t]服務，信道則從基站到用戶的信號表示為：

11、

12、其中，pt為平均發(fā)射功率，為傳輸復數(shù)符號，(·)h表示共軛轉置，n[t]表示從復雜高斯分布中提取的一個噪聲樣本；

13、s13：在單用戶情況下使用激光雷達和視覺信息進行多模態(tài)波束跟蹤任務，基于給定時間截止到t-1的可用感知數(shù)據(jù)，基站旨在預測下一個即將到來的步驟的最佳波束，特別是從時間t到時間(t+α-1)的最優(yōu)波束；該任務的目標是通過從碼本中可訪問的候選波束中選擇最優(yōu)波束f★[t]來最大化接收到的信號功率；這個問題可以在數(shù)學上表示為：

14、

15、s14：從預先確定的碼本中選擇最佳的波束索引，該碼本通常與較大的獲取開銷相關聯(lián)；信號集中在空間內的某個方向，這就是引導窄波束的機制；通過波束矢量將場景的空間維度劃分為許多可能重疊的扇區(qū)，并為每個扇區(qū)分配一個唯一的值；因此，機器學習任務能轉換為使用預先確定的碼本的分類任務，其中用戶在視覺和激光雷達場景中的實時位置決定要分配碼本中的哪個波束索引；在指定的碼本限制下，可以通過匹配的碼本索引單獨識別最優(yōu)波束f＊[t]；在t時刻，最優(yōu)波束索引可以表示為：

16、

17、其中，|q|表示的基數(shù)，最優(yōu)波束索引記為g[t]；需要注意的是，找到最優(yōu)波束與在碼本限制下找到最優(yōu)波束索引是一樣的；所以波束跟蹤問題可表示為：

18、

19、其中，表示條件概率，表示時間步長t的預測最優(yōu)波束索引，ot-α是在時間步長(t-α+1)之前收集的輔助信息，它包含了時間t的最佳波束的部分細節(jié)信息；

20、s15：在時間步長t處獲得的rgb圖像(視覺感知信息)定義為其中h、w和c分別表示圖像的高度、寬度和顏色通道數(shù)；定義為激光雷達傳感器在時間步長t處獲得的對應用戶信息，其中，d表示激光雷達感知視場中的角度，每個角度都有對應的距離值；本發(fā)明旨在利用輸入的視覺信息xu和激光雷達信息lu，跟蹤最優(yōu)波束索引g★為用戶u服務；為了實現(xiàn)這一點，本發(fā)明提出利用機器學習的方法學習一個函數(shù)fθ(s)，其中s＝(xu,lu)；將觀測到的視覺和激光雷達信息送入該函數(shù)，其輸出概率在碼本中的最有可能的元素的索引形式上可以表示為：

21、

22、其中，表示最優(yōu)波束索引，表示波束索引值；

23、s16：為了利用這些視覺和激光雷達數(shù)據(jù)進行波束跟蹤，本發(fā)明的目標是開發(fā)一個函數(shù)，該函數(shù)可以根據(jù)截止至時間步長t-1收集到的感知信息，預測從時間步長t開始的最優(yōu)未來波束；設表示視覺和激光雷達數(shù)據(jù)序列，其中i表示觀測窗口內的時間步長；那么視覺和激光雷達輔助波束跟蹤優(yōu)化問題可以表示為：

24、

25、s17：為了完成這個波束跟蹤任務，本發(fā)明使用一個預測函數(shù)，表示為其中一組模型參數(shù)表示為θ；使用標記數(shù)據(jù)集訓練估計函數(shù)，其中表示視覺和激光雷達輸入對，g*表示實際最優(yōu)波束索引；遵循標準的機器學習慣例，該任務的目標是增加準確預測最佳波束的概率，并提高整體成功概率；從數(shù)學的角度來看，可以表示為：

26、

27、進一步，步驟s2具體包括以下步驟：

28、s21：利用特征提取模塊對原始輸入數(shù)據(jù)進行處理；由于這些數(shù)據(jù)通常包含對波束跟蹤任務沒有貢獻的無關信息，因此特征提取模塊旨在通過提取關鍵特征來降低數(shù)據(jù)的維數(shù)，從而最小化特征空間；該模塊的主要目標是識別和捕獲對后續(xù)波束跟蹤過程至關重要的基本特征；通過消除不必要的信息，使訓練過程更加穩(wěn)定，提高波束預測和跟蹤效率；

29、對于原始圖像數(shù)據(jù)，特征提取模塊使用對象檢測來識別和注釋圖像中的關鍵對象，例如車輛；鑒于波束跟蹤任務需要按時間序列快速處理視覺數(shù)據(jù)，yolov4因其實時檢測能力和較低的計算復雜度而特別適合此應用；yolov4對輸入的視覺(rgb)圖像進行處理，對圖像中所有檢測到的物體生成邊界框，表示為每個邊界框向量sbbox＝[xc,yc,w,h]t分別表示被檢測物體的x中心、y中心、寬度和高度；因此，從原始圖像中獲得的邊界框被用作波束跟蹤任務的關鍵特征；

30、激光雷達傳感器通過發(fā)射和接收激光脈沖產(chǎn)生其周圍環(huán)境的二維點云；原始激光雷達數(shù)據(jù)通常包含大量冗余或噪聲信息；特征提取的主要目標是提取與任務相關的關鍵幾何特征，有效地降低數(shù)據(jù)的維數(shù)；該特征提取過程對于支持后續(xù)的波束跟蹤任務至關重要；

31、s22：對于視覺特征(邊界框)和激光雷達特征，本發(fā)明使用一個嵌入層將轉化為將轉化為為了嵌入先驗波束索引度量，本發(fā)明應用一個包含嵌入向量|q|的可訓練查找表，其中嵌入向量對應于波束索引q；

32、s23：通過特征提取模塊處理的數(shù)據(jù)進入循環(huán)神經(jīng)網(wǎng)絡模塊，該模塊采用長短期記憶網(wǎng)絡模型來處理時間序列數(shù)據(jù)；長短期記憶網(wǎng)絡模型可以有效地捕獲輸入數(shù)據(jù)中的時間依賴關系，這對波束跟蹤任務至關重要；通過處理來自視覺和激光雷達數(shù)據(jù)的特征，長短期記憶網(wǎng)絡處理時間步長之間的關系，并促進對未來波束的準確預測；

33、s24：經(jīng)過循環(huán)神經(jīng)網(wǎng)絡模塊處理的數(shù)據(jù)進入融合分類模塊，將長短期記憶網(wǎng)絡輸出的視覺(rgb)和激光雷達數(shù)據(jù)時間特征的特征向量進行拼接，形成多模態(tài)融合特征向量；融合的特征向量通過多頭注意機制傳遞；該機制可以為不同的特征分配不同的關注權重，從而增強模型對關鍵信息的關注，忽略無關信息；最后將特征向量輸入到全連接網(wǎng)絡中進行分類預測；分類器負責預測當前和未來的最優(yōu)波束，即輸出最優(yōu)波束索引。

34、進一步，步驟s3具體包括：

35、在本發(fā)明中，引入對比學習機制來增強多模態(tài)數(shù)據(jù)(視覺rgb圖像和激光雷達數(shù)據(jù))之間的特征對準能力，并提高毫米波通信系統(tǒng)的波束跟蹤精度；具體來說，本發(fā)明使用歸一化溫度尺度交叉熵損失函數(shù)作為對比學習的核心，其定義如下：

36、

37、其中，nt-xent(zi,zj)表示樣本zi與zj的損失，sim(zi,zj)表示樣本zi與zj的相似度，τ為溫度系數(shù)；

38、在模型的訓練過程中，首先分別從視覺(rgb)圖像和激光雷達數(shù)據(jù)中提取特征表示；為了引入對比學習，本發(fā)明將每個數(shù)據(jù)樣本的視覺(rgb)特征和相應的激光雷達特征作為正對；使用歸一化溫度尺度交叉熵損失函數(shù)計算這些正對的余弦相似度，并使用溫度參數(shù)進行縮放，以確保在不同特征尺度下的穩(wěn)定訓練；此外，本發(fā)明將機器學習訓練過程中同一批次中所有其他樣本的特征對作為負對；對比學習的目標是最大化正對之間的相似度，最小化負對之間的相似度，從而增強不同模態(tài)特征之間的一致性；

39、在訓練過程中，模型的總損失函數(shù)由多個部分組成，分別是分類損失、視覺(rgb)特征和激光雷達特征的分類損失和歸一化溫度尺度交叉熵對比學習損失；這種組合策略不僅提高了分類性能，而且有效地對齊了多模態(tài)特征表示，從而在毫米波通信波束跟蹤任務中實現(xiàn)更高的跟蹤精度；通過引入對比學習，該模型可以更好地融合多模態(tài)數(shù)據(jù)，實現(xiàn)精確的波束跟蹤；得到基于對比學習的多模態(tài)數(shù)據(jù)融合毫米波通信波束跟蹤方法。

40、本發(fā)明的有益效果在于：

41、(1)本發(fā)明通過結合毫米波基站的多傳感器獲取的視覺與激光雷達數(shù)據(jù)，利用對比學習的多模態(tài)融合策略，能夠顯著提高波束跟蹤的精度和穩(wěn)定性，從而提升毫米波通信系統(tǒng)的通信效率。

42、(2)本發(fā)明將波束跟蹤問題轉化為優(yōu)化問題，利用機器學習對波束選擇進行實時計算和更新，降低了毫米波系統(tǒng)的通信延遲和計算開銷，適應于多傳感器融合框架下的低延遲需求。使得跟蹤方法能夠部署于大規(guī)模毫米波通信系統(tǒng)。

43、本發(fā)明的其他優(yōu)點、目標和特征在某種程度上將在隨后的說明書中進行闡述，并且在某種程度上，基于對下文的考察研究對本領域技術人員而言將是顯而易見的，或者可以從本發(fā)明的實踐中得到教導。本發(fā)明的目標和其他優(yōu)點可以通過下面的說明書來實現(xiàn)和獲得。