本發(fā)明涉及移動邊緣計算，尤其是涉及一種基于深度強化學(xué)習(xí)的邊緣計算卸載策略。

背景技術(shù)：

1、隨著物聯(lián)網(wǎng)(internet?of?things，iot)技術(shù)的進(jìn)步，不同應(yīng)用產(chǎn)生的數(shù)據(jù)量激增。傳統(tǒng)云計算具有強大的計算、存儲、網(wǎng)絡(luò)等資源，但面對激增的數(shù)據(jù)流量仍會產(chǎn)生不可控的服務(wù)延遲，集中處理模型難以滿足用戶的高性能要求。移動邊緣計算(mobile?edgecomputing，mec)被視為一種有效的解決方案，它將計算和存儲資源部署在離數(shù)據(jù)源最近的邊緣設(shè)備上，減輕云服務(wù)器負(fù)擔(dān)，能夠更快速、可靠地處理數(shù)據(jù)，并且能夠極大地減少網(wǎng)絡(luò)傳輸延遲。mec通過支持異構(gòu)設(shè)備連接、提供計算能力等方式，實現(xiàn)移動智能設(shè)備之間互聯(lián)互通。邊緣計算的發(fā)展促進(jìn)了一系列智能應(yīng)用的發(fā)展，例如智能制造等，這些場景需要實時地處理大量數(shù)據(jù)并快速做出響應(yīng)，邊緣計算正是滿足這一需求的一種新興技術(shù)。

2、在移動邊緣計算中，計算卸載是指終端設(shè)備將一部分或全部計算任務(wù)交給邊緣計算環(huán)境處理的技術(shù)，以解決移動設(shè)備在資源存儲、計算性能及能效等方面的不足，這樣做的好處之一是減少了從終端到云端的網(wǎng)絡(luò)延遲，提高了應(yīng)用的響應(yīng)速度。另外，通過利用邊緣設(shè)備的計算能力，可以減輕云端服務(wù)器的負(fù)荷，降低能源消耗。任務(wù)卸載的關(guān)鍵是選擇合適的任務(wù)分配策略。在任務(wù)分配時，需要考慮邊緣設(shè)備的計算能力、存儲容量和網(wǎng)絡(luò)帶寬等因素。同時，還需要根據(jù)任務(wù)的特性和對延遲的要求進(jìn)行合理的任務(wù)分配。任務(wù)卸載還需要考慮設(shè)備間的協(xié)同。通過將任務(wù)分配給多個邊緣設(shè)備同時執(zhí)行，可以進(jìn)一步降低延遲，提高系統(tǒng)的性能。此外，協(xié)同執(zhí)行還可以增加系統(tǒng)的可靠性和容錯性，當(dāng)某個邊緣設(shè)備發(fā)生故障時，其他設(shè)備可以接管其任務(wù)，保證應(yīng)用的連續(xù)運行。

3、在任務(wù)卸載的過程中，邊緣設(shè)備通常具有較低的計算能力和能源供應(yīng)。任務(wù)卸載可能導(dǎo)致邊緣設(shè)備高能耗，高延遲問題。因此，對于移動邊緣計算系統(tǒng)來說，如何在任務(wù)卸載的同時降低能耗、減少計算延遲是一個重要的挑戰(zhàn)。目前大多計算卸載策略是在任務(wù)整體卸載情況下進(jìn)行的，且僅考慮時延或能耗單一指標(biāo)，未將二者結(jié)合進(jìn)行優(yōu)化，為此，本發(fā)明以任務(wù)處理的時延與能耗加權(quán)和為優(yōu)化目標(biāo)，提出一種基于深度強化學(xué)習(xí)的邊緣計算卸載策略。

技術(shù)實現(xiàn)思路

1、本發(fā)明就是為了解決上述問題而提出一種基于深度強化學(xué)習(xí)的邊緣計算卸載策略，通過優(yōu)化本地、邊緣服務(wù)器以及云服務(wù)器的計算資源分配，在每個時隙中為計算任務(wù)卸載系統(tǒng)制定最佳的任務(wù)卸載策略，以最小化任務(wù)處理時延和能耗為優(yōu)化目標(biāo)，采用深度強化學(xué)習(xí)方法，建立基于殘差網(wǎng)絡(luò)和d3qn算法的計算卸載模型，找到最優(yōu)的任務(wù)卸載策略，使得卸載任務(wù)所產(chǎn)生的時延和能耗最小化。

2、本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

3、一種基于深度強化學(xué)習(xí)的邊緣計算卸載策略，包括以下步驟：

4、s1、建立由若干終端設(shè)備、若干邊緣服務(wù)器、若干云服務(wù)器組成的計算構(gòu)架，用戶的終端設(shè)備的集合用n＝{n1,n2,n3...nn}表示，ni表示第i個用戶的終端設(shè)備，邊緣服務(wù)器用m＝{m1,m2,m3...mm}表示，mj表示第j個邊緣服務(wù)器，云服務(wù)器用c＝{c1,c2,c3...cc}表示，ck表示第k個云服務(wù)器，終端設(shè)備通過無線網(wǎng)絡(luò)連接基站，將其任務(wù)卸載到邊緣服務(wù)器上，邊緣服務(wù)器和云服務(wù)器通過無線網(wǎng)絡(luò)連接；

5、s2、云邊資源調(diào)度系統(tǒng)建模，在每個時隙，由全部終端設(shè)備產(chǎn)生的任務(wù)向量為u＝{u1,u2,u3......un}，每個終端設(shè)備ni要執(zhí)行的計算任務(wù)被建模為一個三元組ui＝(di,ci,si)，i∈[1,n]，

6、其中di表示任務(wù)輸入數(shù)據(jù)大小，ci表示用戶終端設(shè)備的任務(wù)計算量，即計算該任務(wù)所需的cpu周期數(shù)，表示完成任務(wù)所需執(zhí)行的cpu基本操作數(shù)量，si表示任務(wù)優(yōu)先級，任務(wù)優(yōu)先級按照任務(wù)的剩余時間來計算，優(yōu)先選擇緊迫的任務(wù)進(jìn)行計算；

7、s3、計算任務(wù)的系統(tǒng)成本，終端設(shè)備任務(wù)在時隙t內(nèi)的卸載決策為表示用戶將任務(wù)卸載至邊緣服務(wù)器上，表示用戶將任務(wù)卸載至云服務(wù)器上，則表示在任務(wù)在終端設(shè)備上進(jìn)行本地處理，分別計算任務(wù)在終端設(shè)備、邊緣服務(wù)器、云服務(wù)器上處理的時延和能耗，以時延和能耗的加權(quán)和計算系統(tǒng)成本，計算公式為：

8、z(t)＝α·t(t)+β·e(t)，

9、(α,β≥0)∧(α+β＝1)

10、其中，α、β表示根據(jù)不同需求的卸載任務(wù)類型設(shè)置的超參數(shù)，t(t)表示任務(wù)的總處理時延，e(t)表示處理任務(wù)的總能耗，取最小的z(t)卸載策略；

11、s4、計算任務(wù)卸載方法，

12、s4.1、將任務(wù)計算卸載問題轉(zhuǎn)化為馬爾可夫決策過程，將馬爾可夫決策(mdp)定義為：mdp＝(s，a，p，r，γ)

13、其中，其中s為狀態(tài)空間；a為動作空間；p為狀態(tài)轉(zhuǎn)移函數(shù)，p(st+1|st,at)表示狀態(tài)為st時執(zhí)行動作at后轉(zhuǎn)變?yōu)闋顟B(tài)st+1的概率；r為獎勵函數(shù)；γ為折扣因子，γ＝1表示未來獎勵和當(dāng)前獎勵價值相同，而γ<1則表示未來的獎勵會隨著時間折扣；

14、s4.2、建立基于殘差網(wǎng)絡(luò)和d3qn算法的計算卸載模型，通過梯度下降方法不斷更新模型參數(shù)，使損失函數(shù)逐漸減小，從而找到損失函數(shù)最小的策略。

15、進(jìn)一步的，所述步驟s3中計算任務(wù)的系統(tǒng)成本時，每個用戶終端ni傳輸速率為r，計算公式為：

16、

17、其中pi表示用戶終端與服務(wù)器之間的傳輸功率，不能超過最大傳輸功率pmax，w表示信道帶寬，lb是以2為底的對數(shù)，n0表示信道噪聲功率，用戶之間的干擾忽略不計，hi表示用戶終端和服務(wù)器之間的上行鏈路的信道增益，計算公式為：

18、

19、其中，l表示鏈路損耗常數(shù)，d0表示距離參數(shù)，di表示鏈路傳輸距離，δ表示鏈路損耗指數(shù)；

20、當(dāng)時，計算任務(wù)在本地終端設(shè)備執(zhí)行時，任務(wù)的計算時延計算公式為：

21、

22、其中，ci表示用戶終端的任務(wù)計算量，即計算該任務(wù)所需的cpu周期數(shù)，表示用戶終端的cpu頻率；

23、任務(wù)在本地終端設(shè)備執(zhí)行將產(chǎn)生的能耗為：

24、

25、其中，κ表示有效電容系數(shù)，取決于設(shè)備結(jié)構(gòu)；

26、當(dāng)時，任務(wù)的計算時延包括將任務(wù)卸載到邊緣服務(wù)器的傳輸時延和在任務(wù)在邊緣服務(wù)器上的執(zhí)行時間，將任務(wù)ui卸載到邊緣服務(wù)器mj的傳輸時延為：

27、用戶終端傳輸速率r表示為：

28、其中，pi,j表示用戶終端與邊緣服務(wù)器之間的傳輸功率，wi,j表示用戶終端與邊緣服務(wù)器之間傳輸?shù)男诺缼?，hi,j表示用戶終端和邊緣服務(wù)器之間的上行鏈路的信道增益；

29、不考慮邊緣服務(wù)器回傳給終端的時延和能耗，傳輸任務(wù)ui到邊緣服務(wù)器的傳輸能耗為：

30、

31、邊緣服務(wù)器處理任務(wù)的執(zhí)行時間為：

32、

33、其中，fi,j∈[0,fmax]表示邊緣服務(wù)器cpu的頻率，fmax是邊緣服務(wù)器能夠達(dá)到的最大的cpu頻率，

34、任務(wù)卸載到邊緣服務(wù)器上總的執(zhí)行時間為：

35、

36、當(dāng)時，任務(wù)的計算時延只包括任務(wù)從終端設(shè)備卸載到云服務(wù)器的傳輸時延，任務(wù)卸載到邊緣服務(wù)器的傳輸時延為：

37、

38、傳輸任務(wù)到云服務(wù)器的傳輸能耗為：

39、

40、其中，pi,k表示用戶終端與云服務(wù)器之間的傳輸功率，wi,k表示用戶終端與云服務(wù)器之間傳輸?shù)男诺缼?，hi,k表示用戶終端和云服務(wù)器之間的上行鏈路的信道增益。

41、進(jìn)一步的，服務(wù)器為處理任務(wù)所分配的cpu頻率不超過最大的cpu頻率，終端設(shè)備將任務(wù)卸載到服務(wù)器處理時，其傳輸功率不超過最大的傳輸功率。

42、進(jìn)一步的，所述步驟s4.2中的計算卸載模型包括以下步驟：

43、a、將狀態(tài)空間和動作空間作為模型的輸入，輸入狀態(tài)首先進(jìn)入殘差網(wǎng)絡(luò)進(jìn)行處理；

44、b、殘差網(wǎng)絡(luò)通過堆疊多個卷積層和池化層，從輸入狀態(tài)中提取關(guān)鍵特征；

45、c、經(jīng)過殘差網(wǎng)絡(luò)提取特征后，特征信息進(jìn)入全連接層；

46、d、全連接層負(fù)責(zé)學(xué)習(xí)從狀態(tài)到動作的映射關(guān)系，并最終輸出每個動作對應(yīng)的q值；

47、e、智能體根據(jù)q值選擇最優(yōu)動作；

48、f、根據(jù)選擇的動作和獲得的獎勵，通過d3qn算法更新q值。

49、所述步驟s4中找到損失函數(shù)最小的策略的運算方法包括以下步驟：

50、初始化當(dāng)前q網(wǎng)絡(luò)參數(shù)θ，初始化目標(biāo)網(wǎng)絡(luò)q′參數(shù)θ′，并將q網(wǎng)絡(luò)參數(shù)賦值給q′網(wǎng)絡(luò)，θ→θ′，初始化學(xué)習(xí)率ζ，折扣因子γ，

51、輸入：狀態(tài)空間s，動作空間a，

52、輸出：任務(wù)的卸載決策。

53、開始循環(huán)：

54、步驟1.觀測到當(dāng)前狀態(tài)st，執(zhí)行動作at；

55、步驟2.根據(jù)不同的卸載策略計算獎勵值r；

56、步驟3.輸入狀態(tài)空間和動作空間，殘差網(wǎng)絡(luò)提取關(guān)鍵特征輸入全連接層；

57、步驟4.全連接層輸出每個動作對應(yīng)的q值；

58、步驟5.計算目標(biāo)q值：

59、步驟6.計算損失函數(shù)：

60、步驟7.梯度下降更新網(wǎng)絡(luò)參數(shù)：

61、步驟8.選擇損失函數(shù)最小的卸載策略；

62、結(jié)束循環(huán)，

63、步驟9.算法結(jié)束。

64、采用了上述技術(shù)方案，本發(fā)明的有益效果為：通過根據(jù)任務(wù)的緊急程度建立任務(wù)優(yōu)先級隊列，優(yōu)先處理高優(yōu)先級任務(wù)，基于計算卸載優(yōu)化目標(biāo)建立系統(tǒng)模型，提出了一種基于殘差網(wǎng)絡(luò)和d3qn算法的邊緣計算卸載方法，得到最優(yōu)的任務(wù)卸載策略，使得卸載任務(wù)所產(chǎn)生的時延和能耗最小化，本發(fā)明通過使用深度強化學(xué)習(xí)方法減輕云服務(wù)器負(fù)擔(dān)，能夠更快速、可靠地處理數(shù)據(jù)，在任務(wù)卸載的同時降低能耗、減少計算延遲。