1.一種網(wǎng)絡(luò)表示學(xué)習(xí)方法,其特征在于,所述方法包括以下步驟:
S1、建立基于網(wǎng)絡(luò)結(jié)構(gòu)的多個(gè)第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量,其中每一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)均對(duì)應(yīng)一個(gè)所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量;
S2、以網(wǎng)絡(luò)節(jié)點(diǎn)的文本信息為基礎(chǔ),分別建立基于連續(xù)詞袋的第一文本編碼模型以及基于卷積神經(jīng)網(wǎng)絡(luò)的第二文本編碼模型,并利用所述第一文本編碼模型和所述第二文本編碼模型建立多個(gè)第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量,其中每一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)均對(duì)應(yīng)一個(gè)所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量;
S3、根據(jù)所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量以及所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量構(gòu)造概率公式,并根據(jù)所述概率公式,利用梯度下降算法對(duì)所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量以及所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量進(jìn)行優(yōu)化,確定利用所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量得到所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的概率與利用所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量得到與當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)相鄰的網(wǎng)絡(luò)節(jié)點(diǎn)的概率的和。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述步驟S1包括以下步驟:
S11、構(gòu)建網(wǎng)絡(luò)信息數(shù)據(jù)集;所述數(shù)據(jù)集中包括各個(gè)節(jié)點(diǎn)的關(guān)聯(lián)信息,所述關(guān)聯(lián)信息用于表示網(wǎng)絡(luò)結(jié)構(gòu);
S12、根據(jù)所述數(shù)據(jù)集,利用DeepWalk模型學(xué)習(xí)得到所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述步驟S12包括以下步驟:
S121、在網(wǎng)絡(luò)中利用隨機(jī)游走構(gòu)建隨機(jī)游走序列;
S122、將所述隨機(jī)游走序列中的節(jié)點(diǎn)作為文本語料中的詞,將所述隨機(jī)游走序列作為文本語料中的句子,利用skip gram模型訓(xùn)練得到所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量。
4.根據(jù)權(quán)利要求2或3所述的方法,其特征在于,所述方法還包括以下步驟:
S4、將對(duì)應(yīng)的第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量以及所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量連接形成目標(biāo)向量,利用所述目標(biāo)向量確定對(duì)應(yīng)網(wǎng)絡(luò)節(jié)點(diǎn)的類型,并將得到的網(wǎng)絡(luò)節(jié)點(diǎn)的類型與預(yù)先存儲(chǔ)的類型進(jìn)行比較,確定所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的準(zhǔn)確度,其中所述預(yù)先存儲(chǔ)的類型存儲(chǔ)于所述網(wǎng)絡(luò)信息數(shù)據(jù)集。
5.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述步驟S2中建立基于連續(xù)詞袋的第一文本編碼模型以及基于卷積神經(jīng)網(wǎng)絡(luò)的第二文本編碼模型包括以下步驟:
S21、利用網(wǎng)絡(luò)節(jié)點(diǎn)的文本信息,利用skip gram模型訓(xùn)練詞向量;
S22、以所述詞向量作為輸入,以所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量為輸出構(gòu)建所述第一文本編碼模型以及所述第二文本編碼模型。
6.根據(jù)權(quán)利要求5所述的方法,其特征在于,所述第一文本編碼模型為:
ENCbow(xv)=dTxv
式中,XV為所述詞向量的矩陣,d為各個(gè)所述詞向量上的常數(shù)分布,用于實(shí)現(xiàn)對(duì)所述矩陣XV中的所有詞向量取均值,ENCbow表示對(duì)所述矩陣XV中的所有詞向量取均值。
7.根據(jù)權(quán)利要求6所述的方法,其特征在于,所述第二文本編碼模型包括卷積層、池化層以及非線性轉(zhuǎn)換層;
其中,所述卷積層為:
式中,表示第p層卷積層輸出矩陣的第i個(gè)向量,表示第p層卷積層輸入矩陣,其中,所述p層卷積層輸入矩陣為第p-1層的輸出矩陣的第i個(gè)向量,并且第p層卷積層的第一個(gè)輸入矩陣為所述第一文本編碼模型輸出的矩陣;與分別是第p層卷積層的卷積核矩陣以及偏置向量;
所述池化層為:
式中,bp(i-1)為對(duì)應(yīng)的池化層的窗口大小,Zi(p,f)為第p層卷積層輸出矩陣的第i個(gè)向量的卷積核矩陣,Zbp(i-1)(p,f)為第p層卷積層輸出矩陣的卷積核矩陣,mean表示對(duì)第p層卷積層輸出矩陣的卷積核矩陣按照對(duì)應(yīng)的窗口大小的分塊后的區(qū)塊求均值;
所述非線性轉(zhuǎn)換層為:
式中,tanh表示非線性函數(shù),其將所述第p層卷積層輸出矩陣的第i個(gè)向量的卷積核矩陣表示的結(jié)果映射到[-1,1]區(qū)間;
其中通過控制池化層的窗口大小使所述非線性轉(zhuǎn)換層輸出的矩陣為一行或一列,根據(jù)所述非線性轉(zhuǎn)換層的輸出矩陣形成所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量。
8.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述概率公式為:
式中,v表示當(dāng)前的網(wǎng)絡(luò)節(jié)點(diǎn),Cv表示與當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)相鄰的網(wǎng)絡(luò)節(jié)點(diǎn)的集合,∑logPr(CV丨v)表示利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量預(yù)測(cè)得到與當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)相鄰的所有網(wǎng)絡(luò)節(jié)點(diǎn)的概率的和;tv表示當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的文本信息,∑logPr(tV丨v)表示利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量預(yù)測(cè)得到當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的概率;
其中,利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量預(yù)測(cè)得到與當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)相鄰的所有網(wǎng)絡(luò)節(jié)點(diǎn)的概率利用如下公式計(jì)算:
式中,vi表示所述集合Cv中的一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn),vj表示當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn),vk表示所述集合Cv中的所有節(jié)點(diǎn)中的一個(gè)節(jié)點(diǎn),∑exp(vk·vi)表示遍歷所述集合Cv中的所有節(jié)點(diǎn)并求和;
利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量預(yù)測(cè)得到當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的概率利用如下公式計(jì)算:
式中,vn表示所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量,vt表示所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量,rv表示將當(dāng)前節(jié)點(diǎn)的第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量映射到當(dāng)前節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的空間的映射矩陣,ru表示將所述集合Cv中的一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量映射到當(dāng)前節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的空間的映射矩陣,∑exp(ru·vn)表示遍歷所述集合Cv中的所有節(jié)點(diǎn)并求和。
9.根據(jù)權(quán)利要求8所述的方法,其特征在于,所述方法利用負(fù)采樣算法得到利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量預(yù)測(cè)得到當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的概率:
式中,σ為sigmoid函數(shù);
所述方法利用負(fù)采樣算法得到利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的表示向量預(yù)測(cè)得到當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的概率:
Pr(vj丨vi)=σ(vj丨vi)П[1-σ(vk·vi)]。