本發(fā)明涉及無線通信，具體涉及一種基于目標(biāo)聚類的雷達(dá)自適應(yīng)頻譜資源配置方法，尤其適用復(fù)雜電磁環(huán)境下多目標(biāo)探測任務(wù)場景。

背景技術(shù)：

1、隨著雷達(dá)的廣泛應(yīng)用和雷達(dá)數(shù)量的快速增長，雷達(dá)所處的頻譜被不斷地?cái)D占，其抗干擾能力也不斷地受到考驗(yàn)。雷達(dá)系統(tǒng)在執(zhí)行任務(wù)時(shí)往往面臨著復(fù)雜且不確定的電磁頻譜環(huán)境，這要求其雷達(dá)從收集到的大量信息中甄別出有效信息，從而有效決策出下一步動作。在我們的研究中，每部雷達(dá)都必須在擁擠的頻譜中分配子頻段、調(diào)頻斜率和波束方向，以避免相互干擾并成功探測目標(biāo)，這是一個(gè)順序決策問題。通常情況下，采用馬爾科夫決策過程對上述決策問題進(jìn)行建模。然而，如果將問題建模為馬爾可夫決策過程，就會導(dǎo)致優(yōu)化問題難以找到全局最優(yōu)解從而收斂到次優(yōu)解，而且行動空間的數(shù)量也會變得非常復(fù)雜。甚至?xí)?dǎo)致算法無法收斂。此外，由于雷達(dá)之間存在干擾，在一個(gè)時(shí)隙內(nèi)無法有效判斷目標(biāo)是否真實(shí)。因此，需要多個(gè)時(shí)隙來觀察判斷，這也導(dǎo)致該問題成為了一個(gè)具有不同時(shí)間尺度的復(fù)雜決策問題。

技術(shù)實(shí)現(xiàn)思路

1、針對擁擠的頻譜環(huán)境中面對動態(tài)多目標(biāo)時(shí)的雷達(dá)系統(tǒng)頻譜資源分配問題，本發(fā)明提出了一種基于目標(biāo)聚類的雷達(dá)自適應(yīng)頻譜資源配置方法，通過與環(huán)境的信息交互，雷達(dá)系統(tǒng)學(xué)習(xí)自適應(yīng)頻譜資源配置的最優(yōu)策略，以求解復(fù)雜電磁環(huán)境中面對動態(tài)多目標(biāo)時(shí)的雷達(dá)頻譜資源復(fù)雜決策問題。

2、為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采取的技術(shù)方案為：

3、一種基于目標(biāo)聚類的雷達(dá)自適應(yīng)頻譜資源配置方法，所述雷達(dá)自適應(yīng)頻譜資源配置方法包括以下步驟：

4、每個(gè)雷達(dá)根據(jù)探測到的信息，對探測到的目標(biāo)進(jìn)行聚類，結(jié)合當(dāng)前波束方向、探測到的目標(biāo)數(shù)量、測量的目標(biāo)距離和目標(biāo)聚類結(jié)果信息，采用波束方向策略網(wǎng)絡(luò)選擇相應(yīng)的波束方向，并在接下來的數(shù)個(gè)時(shí)隙保持該波束方向；接著，每個(gè)雷達(dá)結(jié)合選擇的波束方向、頻譜被占用情況和相對噪聲水平估計(jì)值，采用頻譜配置策略網(wǎng)絡(luò)選擇每個(gè)時(shí)隙的調(diào)頻斜率和子頻段發(fā)射信號；

5、根據(jù)接收信號計(jì)算回報(bào)，分別結(jié)合波束方向價(jià)值網(wǎng)絡(luò)和頻譜配置價(jià)值網(wǎng)絡(luò)的輸出，更新波束方向策略網(wǎng)絡(luò)參數(shù)和波束方向價(jià)值網(wǎng)絡(luò)參數(shù)與頻譜配置策略網(wǎng)絡(luò)參數(shù)和頻譜配置價(jià)值網(wǎng)絡(luò)參數(shù)。

6、進(jìn)一步地，所述基于目標(biāo)聚類的雷達(dá)自適應(yīng)頻譜資源配置方法包括以下步驟：

7、步驟1：獲取當(dāng)前時(shí)隙t的雷達(dá)位置、上個(gè)時(shí)隙t-1各個(gè)雷達(dá)探測到的信息和選擇的波束方向，形成特征矩陣；

8、步驟2：由雷達(dá)與目標(biāo)的之間的通聯(lián)關(guān)系組成鄰接矩陣，并將特征矩陣與鄰接矩陣輸入到卷積神經(jīng)網(wǎng)絡(luò)中推理得到目標(biāo)聚類結(jié)果；

9、步驟3：獲取當(dāng)前時(shí)隙t雷達(dá)的波束方向、探測到的目標(biāo)數(shù)量、測量的目標(biāo)距離和目標(biāo)聚類結(jié)果信息，將其作為當(dāng)前雷達(dá)波束方向決策的狀態(tài)；

10、步驟4：采用波束方向策略網(wǎng)絡(luò)進(jìn)行波束方向動作選擇，根據(jù)輸出的動作選擇概率從預(yù)設(shè)的波束方向集合中選擇某一方向作為接下來數(shù)個(gè)時(shí)隙的信號波束發(fā)射方向；

11、步驟5：獲取當(dāng)前時(shí)隙t雷達(dá)的波束方向、頻譜被占用情況和相對噪聲水平估計(jì)值，將其作為當(dāng)前雷達(dá)頻譜配置決策的狀態(tài)；

12、步驟6：采用頻譜配置策略網(wǎng)絡(luò)進(jìn)行調(diào)頻斜率和子頻段動作選擇，根據(jù)輸出的動作選擇概率從預(yù)設(shè)的動作合集中選擇調(diào)頻斜率和子頻段作為下一個(gè)時(shí)隙t+1的信號發(fā)射參數(shù)；

13、步驟7：當(dāng)下一個(gè)時(shí)隙t+1雷達(dá)發(fā)射信號，并接收到信號之后，根據(jù)頻譜配置價(jià)值網(wǎng)絡(luò)的輸出與頻譜配置決策的回報(bào)值，計(jì)算第一時(shí)間差誤差，并根據(jù)第一時(shí)間差誤差訓(xùn)練頻譜配置策略網(wǎng)絡(luò)和頻譜配置價(jià)值網(wǎng)絡(luò)；

14、步驟8：經(jīng)過nδt個(gè)時(shí)隙之后，根據(jù)波束方向價(jià)值網(wǎng)絡(luò)的輸出與波束方向決策的回報(bào)值，計(jì)算第二時(shí)間差誤差，并根據(jù)第二時(shí)間差誤差訓(xùn)練波束方向策略網(wǎng)絡(luò)和波束方向價(jià)值網(wǎng)絡(luò)；

15、步驟9：在每nδt個(gè)時(shí)隙重復(fù)上述步驟1至步驟8直至達(dá)到停止條件，此時(shí)動作選擇策略收斂。

16、步驟2進(jìn)一步包括：

17、構(gòu)建特征矩陣其中pt表示雷達(dá)系統(tǒng)中的雷達(dá)位置坐標(biāo)集合，wt表示每個(gè)雷達(dá)波束方向集合，表示每個(gè)雷達(dá)目標(biāo)距離測量值的集合；

18、構(gòu)建鄰接矩陣a，鄰接矩陣a由雷達(dá)i與目標(biāo)k的之間的通聯(lián)關(guān)系組成，若探測到該目標(biāo)則對應(yīng)的位置a(k，i)置1，反之置0；

19、在卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行圖卷積，具體如下：

20、

21、其中in為單位矩陣，是的度矩陣，hl為每一層的特征矩陣；σ(·)是softmax函數(shù)；wl表示卷積神經(jīng)網(wǎng)絡(luò)第l層權(quán)重矩陣；在輸出層得到目標(biāo)聚類結(jié)果rei之后，計(jì)算交叉熵?fù)p失函數(shù)：

22、

23、其中ti為采用獨(dú)熱編碼的標(biāo)簽矩陣；在完成預(yù)訓(xùn)練之后的wl被直接應(yīng)用于波束方向決策的目標(biāo)聚類，將聚類結(jié)果作為觀測之一以幫助搜尋目標(biāo)。

24、步驟2進(jìn)一步包括：

25、將整個(gè)頻譜等分成y個(gè)不重疊的子頻段，雷達(dá)每個(gè)時(shí)隙選擇一個(gè)子頻段，子頻段數(shù)量大于雷達(dá)數(shù)量；每個(gè)雷達(dá)i使用的mimo雷達(dá)均為mt個(gè)發(fā)射天線和mr個(gè)接收天線的mimo雷達(dá)，均采取均勻線陣排布，相鄰的發(fā)射/接收天線的間隔d＝λ/2，λ為波長；

26、第i個(gè)mimo雷達(dá)的第mt個(gè)發(fā)射天線發(fā)射信號為：

27、

28、其中b表示信號帶寬，表示第i個(gè)雷達(dá)的線性調(diào)頻間隔，表示第i個(gè)雷達(dá)使用的載波頻率；

29、采用波束成形技術(shù)使得mimo雷達(dá)發(fā)射信號主瓣能量集中，采用的碼本為：

30、

31、其中p表示dft碼本的總碼字?jǐn)?shù)，以及p＝0，1，...，p-1；mt表示每個(gè)雷達(dá)發(fā)射天線的總數(shù)量；

32、經(jīng)過波束成形后的第i個(gè)雷達(dá)上的mimo雷達(dá)的第mt個(gè)發(fā)射天線發(fā)射信號為：

33、

34、判斷目標(biāo)是否在雷達(dá)發(fā)射信號的主瓣范圍內(nèi)，若目標(biāo)在主瓣范圍內(nèi)則認(rèn)為雷達(dá)發(fā)射信號的波束范圍內(nèi)存在目標(biāo)，發(fā)射信號在目標(biāo)上鏡面反射并形成回波信號；否則認(rèn)為雷達(dá)沒有探測到目標(biāo)；

35、當(dāng)?shù)?，個(gè)機(jī)載mimo雷達(dá)探測到目標(biāo)后，其第mr個(gè)接收天線接收到的信號為：

36、

37、其中x表示其他與第i個(gè)雷達(dá)采用同一個(gè)載頻的第x個(gè)雷達(dá)，ni(t)表示高斯白噪聲，γ表示天線接收系數(shù)，為第i個(gè)節(jié)點(diǎn)上的mimo雷達(dá)的第mt個(gè)發(fā)射天線的信號反射到目標(biāo)并被第mr個(gè)接收天線接收的時(shí)間延遲，γxi為第，個(gè)雷達(dá)接收到第x(x≠i)個(gè)雷達(dá)的發(fā)射信號的接收系數(shù)，為第x個(gè)雷達(dá)的第mt個(gè)發(fā)射天線的信號在目標(biāo)上鏡面反射并被為第，個(gè)雷達(dá)的第mr個(gè)接收天線接收的時(shí)間延遲；

38、部分為第i個(gè)雷達(dá)接收到自身的發(fā)射信號的目標(biāo)回波，滿足γi＝gρ/(ri)4以及其中m＝mtmr，c為光速，ri為目標(biāo)與第，個(gè)雷達(dá)的距離，ρ為目標(biāo)反射系數(shù)，g表示雷達(dá)的天線增益，θi為目標(biāo)相對于第，個(gè)雷達(dá)的方位角，vi為目標(biāo)與第i個(gè)雷達(dá)的相對速度；部分為采用同一個(gè)子頻段的其他雷達(dá)對第，個(gè)雷達(dá)的干擾信號，滿足γxi＝gρ/(rxi)4以及其中rxi為第x個(gè)雷達(dá)與第i個(gè)雷達(dá)的相對距離，vxi為第x個(gè)雷達(dá)相對第i個(gè)雷達(dá)的速度，θxi為第x個(gè)雷達(dá)相對第i個(gè)雷達(dá)的方位角；

39、對差頻信號沿頻率軸做一維恒虛警檢測，通過計(jì)算背景噪聲和干擾噪聲自適應(yīng)產(chǎn)生檢測門限，將檢測單元幅值與檢測門限進(jìn)行對比，得到是否檢測到目標(biāo)的結(jié)果；對每一個(gè)檢測出目標(biāo)的檢測單元進(jìn)行檢測，若該檢測單元與另一個(gè)檢測出目標(biāo)的檢測單元相鄰則認(rèn)為是同一目標(biāo)，否則為另一個(gè)目標(biāo)，最后得到目標(biāo)個(gè)數(shù)yi，t。

40、進(jìn)一步地，在波束方向馬爾可夫決策過程中，給定狀態(tài)空間智能體i在時(shí)隙t中觀測到的狀態(tài)定義為其中表示智能體i觀測到目標(biāo)的相對距離，yi，t表示通過cfar檢測出的目標(biāo)個(gè)數(shù)；在時(shí)隙t中智能體i決定的波束方向動作定義為得到的決策立即在時(shí)隙t中執(zhí)行，雷達(dá)發(fā)射信號采用一個(gè)新的波束方向wi，t+1，波束方向保持不變，直到在時(shí)隙t+1中被執(zhí)行；即時(shí)回報(bào)定義為：

41、

42、分別采用兩個(gè)全連接神經(jīng)網(wǎng)絡(luò)來近似波束方向策略網(wǎng)絡(luò)π(s；θ)和波束方向價(jià)值網(wǎng)絡(luò)v(s；ω)，兩個(gè)網(wǎng)絡(luò)的輸入均為智能體，的狀態(tài)觀測波束方向價(jià)值網(wǎng)絡(luò)的輸出為狀態(tài)對應(yīng)的價(jià)值波束方向策略網(wǎng)絡(luò)的輸出為狀態(tài)下每個(gè)動作對應(yīng)的概率；定義策略網(wǎng)絡(luò)參數(shù)和價(jià)值網(wǎng)絡(luò)參數(shù)為智能體，需要迭代優(yōu)化的參數(shù)；在時(shí)隙t中，波束方向決策選擇動作的策略表示為：表示在狀態(tài)si，t下依據(jù)策略網(wǎng)絡(luò)參數(shù)在輸出的各方案中以一定的概率選中動作波束方向策略網(wǎng)絡(luò)的輸出層采用softmax激活函數(shù)，滿足：

43、

44、根據(jù)獲得的累積獎勵及價(jià)值網(wǎng)絡(luò)的輸出，計(jì)算第一時(shí)間差誤差：

45、

46、波束方向價(jià)值網(wǎng)絡(luò)以時(shí)間差均方誤差最小化為目標(biāo)更新波束方向價(jià)值網(wǎng)絡(luò)參數(shù)，將損失函數(shù)定義為：

47、

48、其中β為損失系數(shù)；則波束方向價(jià)值網(wǎng)絡(luò)參數(shù)的更新公式為：

49、

50、其中α為權(quán)重因子。波束方向策略網(wǎng)絡(luò)在第一時(shí)間差誤差的指導(dǎo)下，沿?fù)p失函數(shù)的梯度方向更新網(wǎng)絡(luò)參數(shù)，其損失函數(shù)定義為：

51、

52、波束方向策略網(wǎng)絡(luò)參數(shù)的更新公式為：

53、

54、進(jìn)一步地，在頻譜配置馬爾可夫決策過程中，狀態(tài)空間和動作空間分別為和智能體j在時(shí)隙t內(nèi)觀測到的狀態(tài)定義為其中為上層的波束方向決策所執(zhí)行的動作，fj，t表示雷達(dá)通過信號接收裝置觀測到的當(dāng)前時(shí)隙t下頻譜占用狀態(tài)，表示相對噪聲水平估計(jì)值；智能體j決定的頻譜決策動作為其中和αj，t分別表示智能體j在時(shí)隙t選擇的子頻段和調(diào)頻斜率；每個(gè)智能體j根據(jù)選擇的動作和去發(fā)射信號，得到接收信號；

55、對接收信號進(jìn)行快速傅里葉變化得到其在當(dāng)前時(shí)隙t下的頻譜rj，t(f)，使用采樣間隔δf對rj，t(f)進(jìn)行采樣，采樣間隔δf由采樣率和fft點(diǎn)數(shù)決定，得到序列其中mf是fft點(diǎn)數(shù)的數(shù)量；

56、對序列進(jìn)行升序排序，得到一個(gè)新的序列

57、

58、通過丟棄最大的nt個(gè)樣本，消除目標(biāo)回波，得到噪聲水平的估計(jì)值：

59、

60、其中nt是丟棄的數(shù)量，式中，lmax為最大目標(biāo)的長度尺寸，nmax為最大目標(biāo)數(shù)；相對噪聲水平的估計(jì)值由噪聲水平的估計(jì)值與沒有干擾的相對噪聲水平的除得到，表示為：

61、

62、利用接收信號的頻譜得到相對噪聲水平的估計(jì)值，即時(shí)回報(bào)表示為：

63、

64、其中η0為設(shè)定的閾值；

65、定義策略網(wǎng)絡(luò)參數(shù)和價(jià)值網(wǎng)絡(luò)參數(shù)在時(shí)隙t中智能體j觀察到上層決策在執(zhí)行動作之后按照策略選擇動作具體為：

66、

67、頻譜配置決策動作在每個(gè)小時(shí)隙δt內(nèi)進(jìn)行決策，并在執(zhí)行完發(fā)射信號動作結(jié)束時(shí)在當(dāng)前時(shí)隙內(nèi)就獲取獎勵

68、計(jì)算第二時(shí)間差誤差：

69、

70、頻譜配置價(jià)值網(wǎng)絡(luò)以時(shí)間差均方誤差最小化為目標(biāo)更新價(jià)值網(wǎng)絡(luò)參數(shù)每個(gè)小時(shí)隙內(nèi)損失函數(shù)為：

71、

72、頻譜配置價(jià)值網(wǎng)絡(luò)參數(shù)根據(jù)損失函數(shù)進(jìn)行更新，在根據(jù)價(jià)值網(wǎng)絡(luò)的損失函數(shù)得到策略網(wǎng)絡(luò)損失函數(shù)后，策略網(wǎng)絡(luò)參數(shù)按照公式更新：

73、

74、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：

75、本發(fā)明提出了一種基于目標(biāo)聚類的雷達(dá)自適應(yīng)頻譜資源配置方法，每個(gè)時(shí)隙開始時(shí)，雷達(dá)系統(tǒng)中每個(gè)雷達(dá)根據(jù)探測到的信息，對探測到的目標(biāo)進(jìn)行聚類；雷達(dá)參考分類結(jié)果與自身的觀測，選擇相應(yīng)的波束方向，并在接下來的數(shù)個(gè)時(shí)隙保持該波束方向。接著，每個(gè)雷達(dá)選擇調(diào)頻斜率和子頻帶發(fā)射信號，再根據(jù)接收信號計(jì)算回報(bào)，并更新策略。為了獲得雷達(dá)系統(tǒng)自適應(yīng)頻譜資源配置的最優(yōu)策略，將其建模為半馬爾可夫決策過程。并提供了一種基于分層強(qiáng)化學(xué)習(xí)的雷達(dá)自適應(yīng)頻譜資源配置和目標(biāo)聚類算法，使用了分層決策框架下的基于行動器-評判器算法的雷達(dá)自適應(yīng)頻譜資源配置與基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)聚類。本發(fā)明成功解決了復(fù)雜電磁環(huán)境中面對動態(tài)多目標(biāo)時(shí)的雷達(dá)頻譜資源復(fù)雜決策問題。