基于q學(xué)習(xí)的認(rèn)知無線電抗敵意干擾方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及認(rèn)知無線電，尤其是涉及一種基于Q學(xué)習(xí)的認(rèn)知無線電抗敵意干擾方 法D
【背景技術(shù)】
[0002] 認(rèn)知無線電技術(shù)的提出是用于解決當(dāng)前靜態(tài)頻譜分配方案中頻率資源利用率不 高的問題。由于無線信道的廣播特性，使得認(rèn)知無線電無線網(wǎng)絡(luò)容易受到敵意干擾攻擊。干 擾機(jī)通過連續(xù)或是間斷地向無線信道發(fā)射干擾信號(hào)，以此阻礙認(rèn)知用戶接入到信道或者破 壞節(jié)點(diǎn)間的信息傳輸。
[0003] 擴(kuò)頻通信是傳統(tǒng)的抗敵意干擾技術(shù)，主要的擴(kuò)頻方式有跳頻（Frequency Hopping，F(xiàn)H)、直接序列擴(kuò)頻（Direct Sequence Spread Spectrum，DSSS)和線性調(diào)頻 擴(kuò)步員(Chirp Spread Spectrum, CSS)[R. A. Poisel. Modern Communications Jamming Principles and Techniques. Artech House Publishers，2006. ]〇 [Liu Y，Ning P，Dai H，et al. Randomized differential DSSS: Jamming-resistant wireless broadcast communication[C]. Proceedings of IEEE INFOCOM, San Diego, CA, United states, 2010.] 提出隨機(jī)微分直接擴(kuò)頻機(jī)制，而這類擴(kuò)頻不適合預(yù)于智能的干擾機(jī)。[Wang B，mi Y，Liu K J Rj et al. An anti-jamming stochastic game for cognitive radio networks[J]. Selected Areas in Communications, IEEE Journal on，2011，29 (4) :877-889.]在無線認(rèn) 知網(wǎng)絡(luò)提出了隨機(jī)博弈的抗干擾框架。
[0004] 通過學(xué)習(xí)干擾機(jī)的發(fā)射功率，進(jìn)而調(diào)整源節(jié)點(diǎn)的發(fā)射功率，以此抵抗敵意干擾攻 擊是一種新的抗干擾技術(shù)，常用算法有分布式的功率控制算法、最優(yōu)功率控制、機(jī)會(huì)主義 功率控制策略、啟發(fā)式算法及一些基于博弈的功率控制算法。[Tang N，Mao S，Kompella S. Power Control in Full Duplex Underlay Cognitive Radio Networks:A Control Theoretic Approach[C]//MiIitary Communications Conference (MILCOM)，2014IEEE. IEEE，2014:949-954.]提出了一種整合比例微分差分 proportional-integral-derivat ive，PID)控制器和功率約束機(jī)制的分布式功率控制算法，[S. M. Sanchez，R.D. Souza，E. M.G.Fernandez, and V.A.ReguerajuImpact of Power Allocation and Antenna Directivity in the Capacity of a Multiuser Cognitive Ad Hoc Network，" Radioen gineering，vol. 21，pp. 1110-1116, Dec. 2012]提出利用位置感知認(rèn)知節(jié)點(diǎn)的最優(yōu)功率控 制，[Chen Yj Yu Gj Zhang Zj et al. On cognitive radio networks with opportunistic power control strategies in fading channels[J]. Wireless Communications, IEEE Transactions on，2008, 7 (7) :2752-2761.]提出了 一種機(jī)會(huì)主義（opportunistic)功率 控制策略，次級(jí)用戶調(diào)整策略使數(shù)據(jù)速率最大化。[Y. Zhang and C. Leung，"Resource allocation in an OFDM-based cognitive radio system, ^ IEEE Trans. Commun. , vol. 57 ，no. 7, pp. 1928-1931，July 2009.]闡述了一種啟發(fā)式算法實(shí)現(xiàn)次優(yōu)的解決方案，以此達(dá)到 最優(yōu)的功率分配D [D. Yang，G.Xue，J. Zhang，A.Richa，and X. Fang，"Coping with a smart jammer in wireless networks: A stackelberg game approach, " IEEE Trans. Wireless Commun. , vol. 12, no. 8, pp. 4038 - 4047, 2013]提出了在智能干擾機(jī)存在下利用斯塔科爾伯 格博弈模型研宄功率控制問題，這類智能干擾機(jī)能夠?qū)W習(xí)發(fā)射機(jī)的傳輸策略然后作出相應(yīng) 的干擾決定，而這種方法在合作的無線網(wǎng)絡(luò)是無效的。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是為了解決針對(duì)認(rèn)知無線電網(wǎng)絡(luò)中的敵意干擾攻擊，使得認(rèn)知用戶 無法接入到空閑信道或者認(rèn)知用戶間的信息傳輸被破壞等問題，提供一種基于Q學(xué)習(xí)的認(rèn) 知無線電抗敵意干擾方法。
[0006] 本發(fā)明包括以下步驟：
[0007] 1)認(rèn)知源節(jié)點(diǎn)初始化學(xué)習(xí)因子γ和折扣因子β，設(shè)置Q值表、V值表值為0 ;
[0008] 2)認(rèn)知源節(jié)點(diǎn)感知k時(shí)刻的狀態(tài)s，并根據(jù)Q值表，選擇最優(yōu)行為a ;
[0009] 3)認(rèn)知源節(jié)點(diǎn)觀察k+1時(shí)刻的狀態(tài)s'，并計(jì)算本次信息傳輸?shù)募磿r(shí)回報(bào)us;
[0010] 4)更新Q學(xué)習(xí)算法的Q值表、V值表；
[0011] 5)認(rèn)知源節(jié)點(diǎn)重復(fù)步驟2)?4)，直到找到最優(yōu)策略。
[0012] 在步驟1)中，所述Q值表是一個(gè)二維矩陣Q (S，A)，其中S是一個(gè)非空集合，表示系 統(tǒng)的所有可能狀態(tài)，A表示所有可能行為的集合；所述V值表是一個(gè)一維向量，表示在每個(gè) 狀態(tài)s e S下的最大Q值，艮I
【主權(quán)項(xiàng)】
1. 基于Q學(xué)習(xí)的認(rèn)知無線電抗敵意干擾方法，其特征在于包括以下步驟： 1) 認(rèn)知源節(jié)點(diǎn)初始化學(xué)習(xí)因子y和折扣因子0，設(shè)置Q值表、V值表值為0 ; 2) 認(rèn)知源節(jié)點(diǎn)感知k時(shí)刻的狀態(tài)s，并根據(jù)Q值表，選擇最優(yōu)行為a; 3) 認(rèn)知源節(jié)點(diǎn)觀察k+1時(shí)刻的狀態(tài)s'，并計(jì)算本次信息傳輸?shù)募磿r(shí)回報(bào)us; 4) 更新Q學(xué)習(xí)算法的Q值表、V值表； 5) 認(rèn)知源節(jié)點(diǎn)重復(fù)步驟2)?4)，直到找到最優(yōu)策略。
2. 如權(quán)利要求1所述基于Q學(xué)習(xí)的認(rèn)知無線電抗敵意干擾方法，其特征在于在步驟1) 中，所述Q值表是一個(gè)二維矩陣Q(S，A)，其中S是一個(gè)非空集合，表示系統(tǒng)的所有可能狀態(tài)， A表示所有可能行為的集合。
3. 如權(quán)利要求1所述基于Q學(xué)習(xí)的認(rèn)知無線電抗敵意干擾方法，其特征在于在 步驟1)中，所述V值表是一個(gè)一維向量，表示在每個(gè)狀態(tài)seS下的最大Q值，即
4. 如權(quán)利要求1所述基于Q學(xué)習(xí)的認(rèn)知無線電抗敵意干擾方法，其特征在于在步驟 2)中，所述狀態(tài)s包括授權(quán)用戶接入狀態(tài)S和干擾機(jī)發(fā)射功率aj，即源節(jié)點(diǎn)的狀態(tài)s = (S，ap，當(dāng)授權(quán)用戶接入到目標(biāo)信道時(shí)，S=〇,否則S=1;干擾機(jī)發(fā)射功率，其 中八」表示干擾機(jī)的行為集。
5. 如權(quán)利要求1所述基于Q學(xué)習(xí)的認(rèn)知無線電抗敵意干擾方法，其特征在于在步 驟2)中，所述最優(yōu)行為表示的是在當(dāng)前狀態(tài)s下，使得值函數(shù)Q(s，a)最大的行為a，即
6. 如權(quán)利要求1所述基于Q學(xué)習(xí)的認(rèn)知無線電抗敵意干擾方法，其特征在于在步驟4) 中，所述Q學(xué)習(xí)算法的Q值表、V值表的更新算法表示如下：
7. 如權(quán)利要求1所述基于Q學(xué)習(xí)的認(rèn)知無線電抗敵意干擾方法，其特征在于在步驟5) 中，所述最優(yōu)策略指的是每個(gè)狀態(tài)下，使得累計(jì)回報(bào)函數(shù)最大化。
【專利摘要】基于Q學(xué)習(xí)的認(rèn)知無線電抗敵意干擾方法，涉及認(rèn)知無線電。1)認(rèn)知源節(jié)點(diǎn)初始化學(xué)習(xí)因子γ和折扣因子β，設(shè)置Q值表、V值表值為0；2)認(rèn)知源節(jié)點(diǎn)感知k時(shí)刻的狀態(tài)s，并根據(jù)Q值表，選擇最優(yōu)行為a；3)認(rèn)知源節(jié)點(diǎn)觀察k+1時(shí)刻的狀態(tài)s'，并計(jì)算本次信息傳輸?shù)募磿r(shí)回報(bào)us；4)更新Q學(xué)習(xí)算法的Q值表、V值表；5)認(rèn)知源節(jié)點(diǎn)重復(fù)步驟2)～4)，直到找到最優(yōu)策略。于Q學(xué)習(xí)實(shí)現(xiàn)功率控制，認(rèn)知源節(jié)點(diǎn)和智能干擾機(jī)通過不斷學(xué)習(xí)環(huán)境，實(shí)時(shí)調(diào)整自身的發(fā)射功率，隨著迭代學(xué)習(xí)的延續(xù)，最終使得自身的收益最大化。
【IPC分類】H04W16-10, H04W52-34
【公開號(hào)】CN104581738
【申請(qǐng)?zhí)枴緾N201510047094
【發(fā)明人】肖亮, 陳桂權(quán), 周長(zhǎng)華, 李燕
【申請(qǐng)人】廈門大學(xué)
【公開日】2015年4月29日
【申請(qǐng)日】2015年1月30日