本發(fā)明屬于網(wǎng)絡(luò)科學(xué)的，尤其涉及一種融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法。

背景技術(shù)：

1、近年來，隨著互聯(lián)網(wǎng)和科技的快速發(fā)展，社會(huì)網(wǎng)絡(luò)的規(guī)模和數(shù)量也在不斷擴(kuò)大和增長(zhǎng)，當(dāng)前的網(wǎng)絡(luò)數(shù)據(jù)信息更是以多元化的方式進(jìn)行展示，以社會(huì)網(wǎng)絡(luò)為例，instagram、twitter、微信、微博、知乎等交流平臺(tái)在快速發(fā)展，平臺(tái)的用戶規(guī)模隨著它們的發(fā)展不斷地增多，這也使得網(wǎng)絡(luò)變得越來越復(fù)雜，信息更加多元化。這些社會(huì)網(wǎng)絡(luò)反映了真實(shí)世界的社會(huì)關(guān)系，而我們現(xiàn)實(shí)生活中都會(huì)存在一些興趣相同的群體，所以社會(huì)網(wǎng)絡(luò)具有社區(qū)結(jié)構(gòu)的特征，不同的社會(huì)網(wǎng)絡(luò)具有不同的社區(qū)結(jié)構(gòu)，那么社區(qū)結(jié)構(gòu)就是一張?zhí)厥獾淖訄D。它由一些相似的相互連接的頂點(diǎn)構(gòu)成，并且保證同一社區(qū)內(nèi)部的節(jié)點(diǎn)間連接密度要高于不同社區(qū)間的連接密度，即群內(nèi)連接緊密、群間連接稀疏就是社區(qū)。比如微博社交平臺(tái)上，社區(qū)就代表了共同關(guān)注同一位名人的群體；在知乎網(wǎng)絡(luò)中，社區(qū)就代表關(guān)注相同熱門話題的群體。我們?cè)谏鐣?huì)網(wǎng)絡(luò)中分析出這些社區(qū)的存在的這一過程就稱為社區(qū)發(fā)現(xiàn)。

2、在社會(huì)網(wǎng)絡(luò)中進(jìn)行社區(qū)發(fā)現(xiàn)，它不僅能展現(xiàn)社會(huì)網(wǎng)絡(luò)中模塊化的分組情況，還能幫助人們分析該網(wǎng)絡(luò)的功能，以及所代表的含義，發(fā)現(xiàn)社會(huì)網(wǎng)絡(luò)中的一些隱藏信息和潛在的規(guī)律，以預(yù)測(cè)網(wǎng)絡(luò)的變化發(fā)展來引導(dǎo)人們解決一些現(xiàn)實(shí)生活中的問題。社區(qū)發(fā)現(xiàn)當(dāng)作一種技術(shù)的時(shí)候，我們可以將其應(yīng)用于預(yù)測(cè)感染新型冠狀病毒密接者、詐騙預(yù)測(cè)、興趣推薦等。所以社區(qū)發(fā)現(xiàn)具有很高的應(yīng)用價(jià)值和現(xiàn)實(shí)意義。

3、關(guān)于通過社區(qū)發(fā)現(xiàn)尋找網(wǎng)絡(luò)的潛在社區(qū)，現(xiàn)有技術(shù)已經(jīng)提出很多社區(qū)發(fā)現(xiàn)算法，比如基于圖劃分的gn算法、基于模塊度優(yōu)化的fn算法、基于隨機(jī)游走infomap算法、基于啟發(fā)式的算法等等，但這些方法僅利用拓?fù)浣Y(jié)構(gòu)進(jìn)行社區(qū)的劃分，對(duì)精確劃分出高質(zhì)量的社區(qū)有一定的局限性。

4、近幾年，隨著圖學(xué)習(xí)技術(shù)的發(fā)展，鑒于深度學(xué)習(xí)技術(shù)解決問題的高效性，將圖學(xué)習(xí)結(jié)合社區(qū)發(fā)現(xiàn)進(jìn)行社區(qū)劃分成為了網(wǎng)絡(luò)分析領(lǐng)域熱門的發(fā)展趨勢(shì)。以往圖學(xué)習(xí)技術(shù)仍是僅利用網(wǎng)絡(luò)的圖拓?fù)浣Y(jié)構(gòu)去解決問題，但是社會(huì)網(wǎng)絡(luò)結(jié)構(gòu)和信息內(nèi)容是很復(fù)雜多變的，這使得很多節(jié)點(diǎn)劃分到不屬于自己所屬的社區(qū)。所以傳統(tǒng)的圖學(xué)習(xí)技術(shù)解決社區(qū)發(fā)現(xiàn)問題存在一定的局限性。

技術(shù)實(shí)現(xiàn)思路

1、基于以上現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，充分發(fā)揮圖學(xué)習(xí)的優(yōu)勢(shì)，結(jié)合多注意力機(jī)制網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)將節(jié)點(diǎn)的鄰居特征信息和自身的特征信息融合劃分社區(qū)，利用異構(gòu)網(wǎng)絡(luò)圖中的信息，獲取社區(qū)更精確的劃分結(jié)果。

2、本發(fā)明的技術(shù)方案是：融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，包括如下步驟：

3、根據(jù)社會(huì)網(wǎng)絡(luò)的數(shù)據(jù)，構(gòu)建異構(gòu)網(wǎng)絡(luò)圖，并轉(zhuǎn)換圖中節(jié)點(diǎn)的屬性；

4、基于轉(zhuǎn)換屬性后的節(jié)點(diǎn)及異構(gòu)網(wǎng)絡(luò)圖中的元路徑，通過子圖采樣器，獲取網(wǎng)絡(luò)子圖；

5、基于子圖的結(jié)構(gòu)信息，利用注意機(jī)制在結(jié)構(gòu)聚合編碼器中聚合節(jié)點(diǎn)間的結(jié)構(gòu)信息，得到節(jié)點(diǎn)在子圖中的嵌入，獲取結(jié)構(gòu)矩陣c；

6、基于子圖中節(jié)點(diǎn)及元路徑的語(yǔ)義特征，利用多層注意機(jī)制在語(yǔ)義內(nèi)容編碼器中學(xué)習(xí)節(jié)點(diǎn)自身的特征信息，獲取特征矩陣x；

7、將所述結(jié)構(gòu)矩陣c和所述特征矩陣x作為卷積網(wǎng)絡(luò)的輸入，輸出節(jié)點(diǎn)的嵌入矩陣z；

8、將所述嵌入矩陣z用于下游任務(wù)，通過構(gòu)建損失函數(shù)進(jìn)行學(xué)習(xí)訓(xùn)練，用于社會(huì)網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)。

9、優(yōu)選的，所述轉(zhuǎn)換圖模型中的節(jié)點(diǎn)屬性，具體為，將不同類型的節(jié)點(diǎn)特征向量映射到相同的潛在特征向量空間中，對(duì)每種類型的節(jié)點(diǎn)特征向量進(jìn)行線性變換，對(duì)于a∈a類型的節(jié)點(diǎn)v∈va，則有：

10、

11、其中，是類型為a的節(jié)點(diǎn)v的原始特征向量，h′v是映射后的節(jié)點(diǎn)v的特征向量，wa是類型為a的參數(shù)化權(quán)重矩陣。

12、3、根據(jù)權(quán)利要求1所述的融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：所述元路徑包括同構(gòu)元路徑和異構(gòu)元路徑；所述子圖包括同構(gòu)子圖和異構(gòu)子圖。

13、優(yōu)選的，所述注意機(jī)制為多頭注意力機(jī)制，基于鄰居節(jié)點(diǎn)的重要性，得到目標(biāo)節(jié)點(diǎn)的注意力向量計(jì)算公式如下：

14、

15、其中，k為注意機(jī)制頭數(shù)，k為注意機(jī)制頭數(shù)的計(jì)數(shù)參數(shù)，為子圖g′中與目標(biāo)節(jié)點(diǎn)v相連的所有鄰居，σ(·)為激活函數(shù)，為權(quán)重系數(shù)，h′u為屬性轉(zhuǎn)換后節(jié)點(diǎn)u的特征向量。

16、優(yōu)選的，所述結(jié)構(gòu)矩陣c，計(jì)算公式如下：

17、

18、其中，為不同子圖的權(quán)重系數(shù)，i為子圖計(jì)數(shù)參數(shù)，|g′a|表示子圖總數(shù)，為目標(biāo)節(jié)點(diǎn)v在不同子圖的結(jié)構(gòu)矩陣。

19、優(yōu)選的，所述語(yǔ)義內(nèi)容編碼器包括有實(shí)現(xiàn)節(jié)點(diǎn)注意的深度神經(jīng)網(wǎng)絡(luò)和實(shí)現(xiàn)語(yǔ)義注意的深度神經(jīng)網(wǎng)絡(luò)，所述多層注意機(jī)制為雙層注意機(jī)制。

20、7、根據(jù)權(quán)利要求1所述的融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：所述特征矩陣x，計(jì)算公式如下：

21、

22、其中，為不同元路徑的注意力權(quán)重，為不同元路徑的注意力向量，m為元路徑總數(shù)，j為元路徑的計(jì)數(shù)參數(shù)。

23、優(yōu)選的，所述卷積網(wǎng)絡(luò)為雙層卷積網(wǎng)絡(luò)。

24、優(yōu)選的，所述卷積網(wǎng)絡(luò)的分層傳播規(guī)則，計(jì)算公式如下：

25、h(l+1)＝relu(ch(l)w(l))

26、其中，h(l+1)表示第(l+1)層的輸出，h(l)表示第(l)層的輸出，w(l)表示特定層的可訓(xùn)練權(quán)重矩陣，relu(·)表示激活函數(shù)，c為結(jié)構(gòu)矩陣；當(dāng)l＝0時(shí)，h(0)＝x，x為特征矩陣；

27、由所述分層傳播規(guī)則，得到節(jié)點(diǎn)嵌入矩陣z＝h(l+1)。

28、優(yōu)選的，所述下游任務(wù)包括半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)；由所述半監(jiān)督學(xué)習(xí)構(gòu)建半監(jiān)督損失函數(shù)訓(xùn)練優(yōu)化節(jié)點(diǎn)參數(shù)，對(duì)節(jié)點(diǎn)進(jìn)行分類，由無監(jiān)督學(xué)習(xí)構(gòu)建無監(jiān)督損失函數(shù)訓(xùn)練優(yōu)化卷積網(wǎng)絡(luò)模型的權(quán)值，對(duì)節(jié)點(diǎn)進(jìn)行聚類和鏈路預(yù)測(cè)，實(shí)現(xiàn)社區(qū)劃分。

29、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明依據(jù)社會(huì)網(wǎng)絡(luò)的數(shù)據(jù)，構(gòu)建異構(gòu)網(wǎng)絡(luò)圖；通過子圖采集器，獲取網(wǎng)絡(luò)子圖；利用注意機(jī)制，分別由結(jié)構(gòu)聚合編碼器和語(yǔ)義內(nèi)容編碼器學(xué)習(xí)鄰居節(jié)點(diǎn)的特征信息和節(jié)點(diǎn)自身的特征信息，獲取結(jié)構(gòu)矩陣和特征矩陣后輸入卷積網(wǎng)絡(luò)，輸出節(jié)點(diǎn)的嵌入矩陣，并將所述嵌入矩陣用于下游任務(wù)，通過損失函數(shù)進(jìn)行學(xué)習(xí)訓(xùn)練，實(shí)現(xiàn)社會(huì)網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)。本發(fā)明充分發(fā)揮圖學(xué)習(xí)技術(shù)的優(yōu)點(diǎn)，利用卷積網(wǎng)絡(luò)解決社區(qū)發(fā)現(xiàn)問題，在大規(guī)模網(wǎng)絡(luò)上進(jìn)行社區(qū)發(fā)現(xiàn)的同時(shí)還能進(jìn)行歸納式的學(xué)習(xí)表達(dá)，不僅能提高計(jì)算效率，還可以得到高質(zhì)量的社區(qū)劃分。本發(fā)明融合網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、節(jié)點(diǎn)特征信息和其鄰居節(jié)點(diǎn)特征信息，使節(jié)點(diǎn)特征能更加高質(zhì)量的學(xué)習(xí)表達(dá)，能更好的利用網(wǎng)絡(luò)中的信息劃分準(zhǔn)確的社區(qū),并提高社區(qū)發(fā)現(xiàn)的效率，而且本發(fā)明能運(yùn)用于大規(guī)模的社會(huì)網(wǎng)絡(luò)數(shù)據(jù)，可以提高社會(huì)網(wǎng)絡(luò)中社區(qū)劃分的精準(zhǔn)度和穩(wěn)定性。

技術(shù)特征：

1.融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：包括如下步驟：

2.根據(jù)權(quán)利要求1所述的融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：所述轉(zhuǎn)換圖模型中的節(jié)點(diǎn)屬性，具體為，將不同類型的節(jié)點(diǎn)特征向量映射到相同的潛在特征向量空間中，對(duì)每種類型的節(jié)點(diǎn)特征向量進(jìn)行線性變換，對(duì)于a∈a類型的節(jié)點(diǎn)v∈va，則有：

3.根據(jù)權(quán)利要求1所述的融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：所述元路徑包括同構(gòu)元路徑和異構(gòu)元路徑；所述子圖包括同構(gòu)子圖和異構(gòu)子圖。

4.根據(jù)權(quán)利要求1所述的融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：所述注意機(jī)制為多頭注意力機(jī)制，基于鄰居節(jié)點(diǎn)的重要性，得到目標(biāo)節(jié)點(diǎn)的注意力向量計(jì)算公式如下：

5.根據(jù)權(quán)利要求1所述的融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：所述結(jié)構(gòu)矩陣c，計(jì)算公式如下：

6.根據(jù)權(quán)利要求1所述的融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：所述語(yǔ)義內(nèi)容編碼器包括有實(shí)現(xiàn)節(jié)點(diǎn)注意的深度神經(jīng)網(wǎng)絡(luò)和實(shí)現(xiàn)語(yǔ)義注意的深度神經(jīng)網(wǎng)絡(luò)，所述多層注意機(jī)制為雙層注意機(jī)制。

7.根據(jù)權(quán)利要求1所述的融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：所述特征矩陣x，計(jì)算公式如下：

8.根據(jù)權(quán)利要求1所述的融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：所述卷積網(wǎng)絡(luò)為雙層卷積網(wǎng)絡(luò)。

9.根據(jù)權(quán)利要求1所述的融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：所述卷積網(wǎng)絡(luò)的分層傳播規(guī)則，計(jì)算公式如下：

10.根據(jù)權(quán)利要求1所述的融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，其特征在于：所述下游任務(wù)包括半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)；由所述半監(jiān)督學(xué)習(xí)構(gòu)建半監(jiān)督損失函數(shù)訓(xùn)練優(yōu)化節(jié)點(diǎn)參數(shù)，對(duì)節(jié)點(diǎn)進(jìn)行分類，由無監(jiān)督學(xué)習(xí)構(gòu)建無監(jiān)督損失函數(shù)訓(xùn)練優(yōu)化卷積網(wǎng)絡(luò)模型的權(quán)值，對(duì)節(jié)點(diǎn)進(jìn)行聚類和鏈路預(yù)測(cè)，實(shí)現(xiàn)社區(qū)劃分。

技術(shù)總結(jié)
本發(fā)明公開了融合多注意力機(jī)制與嵌入學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法，包括步驟：構(gòu)建異構(gòu)網(wǎng)絡(luò)圖，轉(zhuǎn)換節(jié)點(diǎn)屬性；獲取網(wǎng)絡(luò)子圖；利用注意機(jī)制在結(jié)構(gòu)聚合編碼器中獲取結(jié)構(gòu)矩陣C；利用多層注意機(jī)制在語(yǔ)義內(nèi)容編碼器中獲取特征矩陣X；將結(jié)構(gòu)矩陣和特征矩陣作為卷積網(wǎng)絡(luò)的輸入，輸出節(jié)點(diǎn)的嵌入矩陣Z；將嵌入矩陣Z用于下游任務(wù)，通過構(gòu)建損失函數(shù)進(jìn)行學(xué)習(xí)訓(xùn)練，用于社會(huì)網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)。本發(fā)明充分發(fā)揮圖學(xué)習(xí)技術(shù)的優(yōu)點(diǎn)，利用卷積網(wǎng)絡(luò)解決社區(qū)發(fā)現(xiàn)問題，在大規(guī)模網(wǎng)絡(luò)上進(jìn)行社區(qū)發(fā)現(xiàn)的同時(shí)還能進(jìn)行歸納式的學(xué)習(xí)表達(dá)，不僅能提高計(jì)算效率，還可以得到高質(zhì)量的社區(qū)劃分。

技術(shù)研發(fā)人員：趙衛(wèi)績(jī),范琳婭,劉井蓮,司亞利,閆海英
受保護(hù)的技術(shù)使用者：常熟理工學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19