本發(fā)明涉及大規(guī)模社區(qū)檢測，尤其是指一種基于代理模型自適應選擇的多目標大規(guī)模社區(qū)檢測方法。

背景技術(shù)：

1、在現(xiàn)實生活中，通過將系統(tǒng)中的每個實體定義為一個節(jié)點，實體間的交互關(guān)系定義為邊，從而將復雜系統(tǒng)建模成復雜網(wǎng)絡來進行分析；復雜網(wǎng)絡的社區(qū)結(jié)構(gòu)定義為內(nèi)緊外松的拓撲結(jié)構(gòu)，即一組節(jié)點的集合，集合內(nèi)部的節(jié)點交互緊密，不同集合之間的節(jié)點交互松散；常見的復雜網(wǎng)絡包括電力網(wǎng)絡、航空網(wǎng)絡、計算機網(wǎng)絡、交通網(wǎng)絡與社交網(wǎng)絡。

2、社區(qū)檢測是用來揭示網(wǎng)絡聚集行為的一種技術(shù)，用于從復雜網(wǎng)絡中解析出模塊化的社區(qū)結(jié)構(gòu)，以便了解該復雜網(wǎng)絡對應的現(xiàn)實世界中的復雜系統(tǒng)的組織原則和拓撲結(jié)構(gòu)。具體來說，社區(qū)檢測將復雜網(wǎng)絡劃分為社區(qū)，劃分之后，同一個社區(qū)之內(nèi)的節(jié)點之間連接較為緊密，且越密集越好，不同社區(qū)內(nèi)的節(jié)點之間的連接較稀疏，且越稀疏越好。由于與現(xiàn)實世界相關(guān)的數(shù)據(jù)量的不斷增大，大規(guī)模復雜網(wǎng)絡的社區(qū)檢測在各個領域引起了相當大的關(guān)注。

3、社區(qū)檢測不僅可以對復雜網(wǎng)絡進行社區(qū)劃分，同樣也可以用于解決其他一些需要考慮節(jié)點間關(guān)系的問題。例如，在線社交網(wǎng)絡中的朋友推薦問題，復雜的在線社交網(wǎng)絡通常是稀疏結(jié)構(gòu)，代表了用戶潛在的在線社交圈的一小部分；因此，可以將朋友推薦問題可以形式化為一個概率模型，通過檢測用戶的密集社會社區(qū)來評估未來友誼關(guān)系的概率，以便尋找兩個不相鄰用戶之間形成友誼的概率。例如，sybil防御問題，sybil是一個存在許多惡意活動的偽造賬戶，比如刷票、通過偽造身份提供誤導信息控制某些賬戶；用戶利用sybil創(chuàng)建多個身份與合法賬戶建立友誼，進而對社交網(wǎng)絡進行攻擊，而社區(qū)檢測可以通過對社交網(wǎng)絡進行檢測，基于每個節(jié)點所連接的節(jié)點類型，分辨出這樣的偽造用戶。例如，社區(qū)檢測還可以應用于web社區(qū)檢測，將社區(qū)的概念應用于萬維網(wǎng)中，以增強web搜索結(jié)果，進一步提高網(wǎng)頁檢索精度。

4、目前，科學家們基于不同原理開發(fā)了許多社區(qū)發(fā)現(xiàn)算法，他們可以分為三類。第一類采用傳統(tǒng)的圖劃分和聚類方法，包括圖劃分、層次聚類、分區(qū)聚類、譜聚類。第二類則是分裂的方法，去除鏈接不同社區(qū)節(jié)點的邊，其中最流行的算法是由girvan?and?newman提出的。第三類是優(yōu)化算法，例如數(shù)學規(guī)劃。在這些算法中，大多數(shù)非啟發(fā)式算法是確定性的，在檢測質(zhì)量和計算效率方面均存在一定的局限性，在面對復雜網(wǎng)絡進行社區(qū)檢測時仍然具有挑戰(zhàn)性。

5、進化算法ea屬于元啟發(fā)式算法，當前已經(jīng)開發(fā)了幾種有效的進化算法ea用于復雜網(wǎng)絡的社區(qū)檢測；這些算法根據(jù)優(yōu)化的目標數(shù)量可以分為兩種：單目標優(yōu)化和多目標優(yōu)化。在單目標優(yōu)化中，通常采用模塊度作為優(yōu)化的目標；多目標優(yōu)化通常會同時優(yōu)化多個相互沖突的目標，因此在理論研究中被廣泛應用于復雜網(wǎng)絡的社區(qū)檢測。然而，在實際網(wǎng)絡應用中，利用多目標優(yōu)化方法有效檢測復雜的大規(guī)模社區(qū)結(jié)構(gòu)的研究工作卻較少；因此，利用基于多目標優(yōu)化的大規(guī)模社區(qū)檢測算法來提高網(wǎng)絡的應用性能將是科學界非常感興趣的問題。

6、盡管進化算法ea在社區(qū)檢測方面表現(xiàn)出不錯的性能，但是進化算法基于種群迭代優(yōu)化的機制需要消耗更多的目標函數(shù)評估次數(shù)，不可避免地存在耗時的問題，無法普及至大規(guī)模的復雜網(wǎng)絡中；且隨著網(wǎng)絡規(guī)模的增加，進化算法ea的搜索空間呈指數(shù)型增長，因此，現(xiàn)有的基于進化算法ea的大規(guī)模社區(qū)檢測算法只適用于具有相對較少的節(jié)點的網(wǎng)絡社區(qū)檢測。對于大規(guī)模復雜網(wǎng)絡的社區(qū)檢測，進化算法存在檢測耗時、資源浪費，且檢測效率低的問題。

技術(shù)實現(xiàn)思路

1、為此，本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)在對大規(guī)模復雜網(wǎng)絡進行社區(qū)檢測時，算法耗時，且存在資源浪費，檢測效率低的問題。

2、為解決上述技術(shù)問題，本發(fā)明提供了一種基于代理模型自適應選擇的多目標大規(guī)模社區(qū)檢測方法，包括：

3、獲取待檢測網(wǎng)絡，構(gòu)建待檢測網(wǎng)絡的鄰接矩陣；

4、基于待檢測網(wǎng)絡的鄰接矩陣，獲取待檢測網(wǎng)絡中每個節(jié)點的度與待檢測網(wǎng)絡的初始平均度，選取核心節(jié)點，構(gòu)建核心節(jié)點集合；

5、基于待檢測網(wǎng)絡的鄰接矩陣，構(gòu)建待檢測網(wǎng)絡中節(jié)點的相似度矩陣；

6、基于核心節(jié)點集合與相似度矩陣初始化父代種群，構(gòu)建包含多個個體的初始父代種群；每個個體均對應一個候選解，表示待檢測網(wǎng)絡的一種劃分方式；

7、利用多目標遺傳算法nsga-ii，對初始父代種群進行選擇、交叉與變異，獲取更新后的父代種群，直至更新后的父代種群中個體的個數(shù)達到預設候選解集空間大小，得到目標父代種群，計算目標父代種群中每個個體所表示的劃分方式的kernel?k-means目標函數(shù)值kkm與相對變化目標函數(shù)值rc，構(gòu)建kkm樣本空間與rc樣本空間；

8、基于kkm樣本空間與rc樣本空間，對候選代理模型池中的多種代理模型分別進行訓練，利用交叉驗證，計算并基于每種代理模型的肯達爾系數(shù)與斯皮爾曼系數(shù)，獲取評估每種代理模型預測準確度的性能評價指標值，選取性能評價指標值最大所對應的代理模型作為目標代理模型；

9、利用目標代理模型，基于多目標遺傳算法nsga-ii，以kernel?k-means目標函數(shù)值kkm與相對變化目標函數(shù)值rc最小為優(yōu)化目標，獲取最優(yōu)目標代理模型；利用最優(yōu)目標代理模型對待檢測網(wǎng)絡進行社區(qū)檢測，獲取非支配解集；將非支配解集中序值最小的非支配最優(yōu)層所包含的個體，組成最優(yōu)解集輸出；

10、基于最優(yōu)解集中每個個體所表示的劃分方式中的社區(qū)個數(shù)、每個社區(qū)中的總邊數(shù)，以及節(jié)點度之和，計算每個個體對應的模塊度指標值；

11、獲取模塊度指標值最大的個體所對應的劃分方式，對待檢測網(wǎng)絡進行社區(qū)劃分，完成多目標大規(guī)模社區(qū)檢測。

12、優(yōu)選地，獲取待檢測網(wǎng)絡后，對待檢測網(wǎng)絡進行約簡，刪除其中度為1的節(jié)點，獲取約簡待檢測網(wǎng)絡。

13、優(yōu)選地，所述基于待檢測網(wǎng)絡的鄰接矩陣，獲取待檢測網(wǎng)絡中每個節(jié)點的度與待檢測網(wǎng)絡的初始平均度，選取核心節(jié)點，構(gòu)建核心節(jié)點集合，包括：

14、計算待檢測網(wǎng)絡中所有節(jié)點的度的平均值，作為初始平均度；

15、對待檢測網(wǎng)絡中每個節(jié)點的度，進行排序，選擇大于所述初始平均度的節(jié)點中，度最大的節(jié)點，作為核心節(jié)點，加入核心節(jié)點集合；

16、將該核心節(jié)點及其所連接的鄰居節(jié)點，從待檢測網(wǎng)絡中刪除，獲取更新后的待檢測網(wǎng)絡；

17、重復從更新后的待檢測網(wǎng)絡中大于所述初始平均度的節(jié)點中，選取度最大的節(jié)點，作為新的核心節(jié)點，加入核心節(jié)點集合，并從更新待檢測網(wǎng)絡中刪除該核心節(jié)點及其所連接的鄰居節(jié)點，直至更新后的待檢測網(wǎng)絡中沒有度大于所述初始平均度的節(jié)點，完成對核心節(jié)點集合的構(gòu)建。

18、優(yōu)選地，所述基于待檢測網(wǎng)絡的鄰接矩陣，構(gòu)建待檢測網(wǎng)絡中節(jié)點的相似度矩陣，表示為：

19、；

20、其中，表示待檢測網(wǎng)絡中第i個節(jié)點與第j個節(jié)點之間的擴散核相似性，n表示待檢測網(wǎng)絡中的節(jié)點總個數(shù)；為預設權(quán)重，表示待檢測網(wǎng)絡的拉普拉斯矩陣，表達式為，表示待檢測網(wǎng)絡的度矩陣，表示待檢測網(wǎng)絡的鄰接矩陣。

21、優(yōu)選地，所述基于核心節(jié)點集合與相似度矩陣初始化父代種群，構(gòu)建包含多個個體的初始父代種群，包括：

22、基于待檢測網(wǎng)絡，利用預設編碼格式，隨機生成個利用軌跡編碼表示的個體；利用解碼函數(shù)對軌跡編碼進行解碼，獲取每個個體對應的標簽編碼；在每個個體中的每個社區(qū)內(nèi)選擇一個核心節(jié)點，作為社區(qū)中心，完成對父代種群中一半個體的初始化；表示預設種群大小；

23、選取一個小于核心節(jié)點集合中核心節(jié)點的數(shù)量的隨機數(shù)rank，作為社區(qū)個數(shù)；為每個社區(qū)選取一個核心節(jié)點，基于相似度矩陣，將待檢測網(wǎng)絡中所有節(jié)點，分別劃分至與其擴散核相似性最高的核心節(jié)點所對應的社區(qū)中，獲取一個個體；更新隨機數(shù)rank，直至獲取個個體，完成對父代種群中另一半個體的初始化，獲取初始父代種群。

24、優(yōu)選地，所述利用多目標遺傳算法nsga-ii，對初始父代種群進行選擇、交叉與變異，獲取更新后的父代種群，直至更新后的父代種群中個體的個數(shù)達到預設候選解集空間大小，得到目標父代種群，計算目標父代種群中每個個體所表示的劃分方式的kernel?k-means目標函數(shù)值kkm與相對變化目標函數(shù)值rc，構(gòu)建kkm樣本空間與rc樣本空間，包括：

25、對當前父代種群進行選擇、交叉與變異，獲取當前子代種群；

26、將當前子代種群與當前父代種群合并，利用kernel?k-means目標函數(shù)值kkm與相對變化目標函數(shù)值rc評估合并后的種群中每個候選解的質(zhì)量，利用多目標遺傳算法nsga-ii的非支配排序和擁擠度距離計算操作對合并后的種群進行生存選擇，獲取更新后的父代種群；

27、對更新后的父代種群進行選擇、交叉與變異，直至樣本空間中個體的個數(shù)達到預設候選解集空間大小，獲取目標父代種群；

28、以目標父代種群中的每個個體為樣本，以每個個體對應的kernel?k-means目標函數(shù)值kkm為標簽，構(gòu)建為kkm樣本空間；以目標父代種群中的每個個體為樣本，以每個個體對應的相對變化目標函數(shù)值rc為標簽，構(gòu)建為rc樣本空間。

29、優(yōu)選地，計算每個個體所表示的劃分方式對應的kernel?k-means目標函數(shù)值kkm與相對變化目標函數(shù)值rc，包括：

30、構(gòu)建個體所表示的劃分方式對應的kernel?k-means目標函數(shù)值kkm，表示為：；

31、構(gòu)建個體所表示的劃分方式對應的相對變化目標函數(shù)值rc，表示為：；

32、其中，表示待檢測網(wǎng)絡中的節(jié)點總個數(shù)，表示社區(qū)數(shù)量；表示當前計算的劃分方式中第i個社區(qū)中邊的數(shù)量，表達式為：；表示當前計算的劃分方式中第i個社區(qū)中的節(jié)點個數(shù)；表示當前計算的劃分方式中第i個社區(qū)所連接的其他社區(qū)的數(shù)量，表達式為：；表示待檢測網(wǎng)絡中第i個節(jié)點與第j個節(jié)點之間的連接關(guān)系，表達式為：。

33、優(yōu)選地，對父代種群進行選擇、交叉與變異，獲取子代種群，包括：

34、基于預設選擇算法從初始父代種群中選取父個體與母個體；

35、獲取一個長度等于初始父代種群中個體的節(jié)點數(shù)量的交叉點位掩碼；

36、獲取父個體與母個體中每個節(jié)點對應的基因型，包括初始基因型與社區(qū)中心基因型；

37、若交叉點位掩碼中掩碼值為1，判斷父個體與母個體在該掩碼值對應的位置處的節(jié)點的屬性：

38、若均為核心節(jié)點，則將父個體與母個體中在該掩碼值對應位置處的節(jié)點的屬性交換，此時：

39、若節(jié)點由社區(qū)中心節(jié)點變?yōu)榉巧鐓^(qū)中心節(jié)點，則將該節(jié)點及該節(jié)點所屬社區(qū)中的節(jié)點的基因型均修改為初始基因型；

40、若節(jié)點由非社區(qū)中心節(jié)點變?yōu)樯鐓^(qū)中心節(jié)點，則將其基因型修改為社區(qū)中心基因型，并將其所在社區(qū)中的其余節(jié)點的基因型修改為該節(jié)點的索引；

41、若不均為核心節(jié)點，判斷該節(jié)點的基因型對應的核心節(jié)點是否為社區(qū)中心：

42、若為社區(qū)中心，則將該節(jié)點的基因型設置為該社區(qū)中心的索引；

43、若為非社區(qū)中心，則將該節(jié)點的基因型設置為社區(qū)中心基因型；

44、將其余基因型為初始基因型的節(jié)點按照相似度矩陣劃分至與其本身最相似的社區(qū)中，獲取交叉后的父代種群；

45、獲取一個長度等于初始父代種群中個體的節(jié)點數(shù)量的變異點位掩碼；

46、對于交叉后的父代種群中的部分個體，判斷變異點位掩碼中變異值為1的位置處所對應的節(jié)點，是否為核心節(jié)點：

47、若為核心節(jié)點，則判斷該核心節(jié)點是否為社區(qū)中心節(jié)點：

48、若為社區(qū)中心節(jié)點，則將該節(jié)點及其所屬社區(qū)中的所有節(jié)點的基因型設置為初始基因型；

49、若不是社區(qū)中心節(jié)點，則將該節(jié)點的基因型設置為社區(qū)中心基因型，并將該節(jié)點的鄰居節(jié)點的基因型設置為該節(jié)點的索引；

50、若不是核心節(jié)點，則隨機選取社區(qū)中心節(jié)點的索引作為變異后的基因型。

51、優(yōu)選地，所述候選代理模型池中包括多種代理模型，包括：回歸樹、徑向基函數(shù)、支持向量回歸、k-近鄰算法與圖神經(jīng)網(wǎng)絡。

52、優(yōu)選地，所述計算并基于每種代理模型的肯達爾系數(shù)與斯皮爾曼系數(shù)，獲取評估每種代理模型的預測準確度的性能評價指標值，包括：

53、構(gòu)建每種代理模型對應的肯達爾系數(shù)，表示為：

54、；

55、構(gòu)建每種代理模型對應的斯皮爾曼系數(shù)，表示為：；

56、基于每種代理模型的肯達爾系數(shù)與斯皮爾曼系數(shù)，計算每種代理模型對應的性能評價指標值，表示為：；

57、其中，為代理模型對于多個網(wǎng)絡的模型預測值，為多個網(wǎng)絡對應的真實標簽值；為和排序后的一致對個數(shù)；為和排序后的分歧對個數(shù)；分別表示數(shù)據(jù)和數(shù)據(jù)中的并列排位的個數(shù)；為順序的插值，為待檢測網(wǎng)絡中的節(jié)點總個數(shù)；表示權(quán)重系數(shù)，取值范圍。

58、優(yōu)選地，所述基于最優(yōu)解集中每個個體所表示的劃分方式中的社區(qū)個數(shù)、每個社區(qū)中的總邊數(shù)，以及節(jié)點度之和，計算每個個體對應的模塊度指標值，表示為：

59、；

60、其中，表示模塊度指標值，表示連接第個社區(qū)中節(jié)點的邊的總數(shù)，，表示個體所表示的劃分方法中的社區(qū)總個數(shù)；表示第個社區(qū)中節(jié)點的度的總和；表示待檢測網(wǎng)絡中的邊的總數(shù)。

61、優(yōu)選地，若待檢測網(wǎng)絡存在真實標簽，則基于其真實標簽所對應的劃分方式及最優(yōu)解集中每個個體的混淆矩陣，計算最優(yōu)解集中每個個體所對應的標準化互信息nmi，表示為：

62、；

63、獲取標準化互信息nmi最大的個體所對應的劃分方式，對待檢測網(wǎng)絡進行社區(qū)劃分，獲取社區(qū)劃分結(jié)果；

64、其中，表示最優(yōu)解集中的解所表示的劃分方法a中的社區(qū)個數(shù)，表示真實標簽所對應的劃分方式b中的社區(qū)個數(shù)；表示混淆矩陣；表示a中第個社區(qū)與b中第個社區(qū)之間的相同節(jié)點數(shù)，表示混淆矩陣中第行元素之和，表示混淆矩陣中第列元素之和，表示待檢測網(wǎng)絡中的節(jié)點總個數(shù)。

65、本發(fā)明的上述技術(shù)方案相比現(xiàn)有技術(shù)具有以下有益效果：

66、本發(fā)明所述的基于代理模型自適應選擇的多目標大規(guī)模社區(qū)檢測方法，從待檢測網(wǎng)絡中選取核心節(jié)點，以便基于核心節(jié)點，快速定位可能成為社區(qū)中心的節(jié)點，節(jié)省了大規(guī)模復雜網(wǎng)絡社區(qū)劃分所消耗的資源，壓縮訓練網(wǎng)絡代理模型的決策空間；本發(fā)明構(gòu)建包含多種代理模型的候選代理模型池，以個體的kernel?k-means目標函數(shù)值kkm與相對變化目標函數(shù)值rc作為優(yōu)化目標，利用nsga-ii多目標遺傳算法更新kkm樣本空間和rc樣本空間，來計算候選代理模型池中不同代理模型的肯達爾系數(shù)和斯皮爾曼系數(shù)，選取出最優(yōu)目標代理模型，以便利用最優(yōu)目標代理模型對待檢測網(wǎng)絡進行社區(qū)劃分；本發(fā)明通過利用代理模型近似評估kkm和rc目標函數(shù)值，代替真實的kkm和rc計算，避免進化算法基于種群優(yōu)化導致的大量真實函數(shù)評估，減少了對每種代理模型的目標函數(shù)的計算次數(shù)，實現(xiàn)對大規(guī)模復雜網(wǎng)絡的社區(qū)檢測，降低了計算機資源和時間的消耗，提高了社區(qū)檢測效率，并且保證了社區(qū)劃分的質(zhì)量。