亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種網(wǎng)絡(luò)表示學(xué)習(xí)方法與流程

文檔序號(hào):12733597閱讀:來源:國知局

技術(shù)特征:

1.一種網(wǎng)絡(luò)表示學(xué)習(xí)方法,其特征在于,所述方法包括以下步驟:

S1、建立基于網(wǎng)絡(luò)結(jié)構(gòu)的多個(gè)第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量,其中每一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)均對(duì)應(yīng)一個(gè)所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量;

S2、以網(wǎng)絡(luò)節(jié)點(diǎn)的文本信息為基礎(chǔ),分別建立基于連續(xù)詞袋的第一文本編碼模型以及基于卷積神經(jīng)網(wǎng)絡(luò)的第二文本編碼模型,并利用所述第一文本編碼模型和所述第二文本編碼模型建立多個(gè)第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量,其中每一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)均對(duì)應(yīng)一個(gè)所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量;

S3、根據(jù)所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量以及所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量構(gòu)造概率公式,并根據(jù)所述概率公式,利用梯度下降算法對(duì)所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量以及所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量進(jìn)行優(yōu)化,確定利用所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量得到所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的概率與利用所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量得到與當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)相鄰的網(wǎng)絡(luò)節(jié)點(diǎn)的概率的和。

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述步驟S1包括以下步驟:

S11、構(gòu)建網(wǎng)絡(luò)信息數(shù)據(jù)集;所述數(shù)據(jù)集中包括各個(gè)節(jié)點(diǎn)的關(guān)聯(lián)信息,所述關(guān)聯(lián)信息用于表示網(wǎng)絡(luò)結(jié)構(gòu);

S12、根據(jù)所述數(shù)據(jù)集,利用DeepWalk模型學(xué)習(xí)得到所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量。

3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述步驟S12包括以下步驟:

S121、在網(wǎng)絡(luò)中利用隨機(jī)游走構(gòu)建隨機(jī)游走序列;

S122、將所述隨機(jī)游走序列中的節(jié)點(diǎn)作為文本語料中的詞,將所述隨機(jī)游走序列作為文本語料中的句子,利用skip gram模型訓(xùn)練得到所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量。

4.根據(jù)權(quán)利要求2或3所述的方法,其特征在于,所述方法還包括以下步驟:

S4、將對(duì)應(yīng)的第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量以及所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量連接形成目標(biāo)向量,利用所述目標(biāo)向量確定對(duì)應(yīng)網(wǎng)絡(luò)節(jié)點(diǎn)的類型,并將得到的網(wǎng)絡(luò)節(jié)點(diǎn)的類型與預(yù)先存儲(chǔ)的類型進(jìn)行比較,確定所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的準(zhǔn)確度,其中所述預(yù)先存儲(chǔ)的類型存儲(chǔ)于所述網(wǎng)絡(luò)信息數(shù)據(jù)集。

5.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述步驟S2中建立基于連續(xù)詞袋的第一文本編碼模型以及基于卷積神經(jīng)網(wǎng)絡(luò)的第二文本編碼模型包括以下步驟:

S21、利用網(wǎng)絡(luò)節(jié)點(diǎn)的文本信息,利用skip gram模型訓(xùn)練詞向量;

S22、以所述詞向量作為輸入,以所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量為輸出構(gòu)建所述第一文本編碼模型以及所述第二文本編碼模型。

6.根據(jù)權(quán)利要求5所述的方法,其特征在于,所述第一文本編碼模型為:

ENCbow(xv)=dTxv

式中,XV為所述詞向量的矩陣,d為各個(gè)所述詞向量上的常數(shù)分布,用于實(shí)現(xiàn)對(duì)所述矩陣XV中的所有詞向量取均值,ENCbow表示對(duì)所述矩陣XV中的所有詞向量取均值。

7.根據(jù)權(quán)利要求6所述的方法,其特征在于,所述第二文本編碼模型包括卷積層、池化層以及非線性轉(zhuǎn)換層;

其中,所述卷積層為:

<mrow> <msubsup> <mi>z</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <msup> <mi>W</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mover> <mi>z</mi> <mo>^</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mrow> <mi>p</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>b</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </msubsup> <mo>,</mo> </mrow>

式中,表示第p層卷積層輸出矩陣的第i個(gè)向量,表示第p層卷積層輸入矩陣,其中,所述p層卷積層輸入矩陣為第p-1層的輸出矩陣的第i個(gè)向量,并且第p層卷積層的第一個(gè)輸入矩陣為所述第一文本編碼模型輸出的矩陣;分別是第p層卷積層的卷積核矩陣以及偏置向量;

所述池化層為:

<mrow> <msubsup> <mi>z</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>f</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <msubsup> <mi>z</mi> <mrow> <msub> <mi>b</mi> <mi>p</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>f</mi> <mo>)</mo> </mrow> </msubsup> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msubsup> <mi>z</mi> <mrow> <msub> <mi>b</mi> <mi>p</mi> </msub> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>f</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow>

式中,bp(i-1)為對(duì)應(yīng)的池化層的窗口大小,Zi(p,f)為第p層卷積層輸出矩陣的第i個(gè)向量的卷積核矩陣,Zbp(i-1)(p,f)為第p層卷積層輸出矩陣的卷積核矩陣,mean表示對(duì)第p層卷積層輸出矩陣的卷積核矩陣按照對(duì)應(yīng)的窗口大小的分塊后的區(qū)塊求均值;

所述非線性轉(zhuǎn)換層為:

<mrow> <msubsup> <mi>z</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>f</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mi>tanh</mi> <mrow> <mo>(</mo> <msubsup> <mi>z</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>f</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow>

式中,tanh表示非線性函數(shù),其將所述第p層卷積層輸出矩陣的第i個(gè)向量的卷積核矩陣表示的結(jié)果映射到[-1,1]區(qū)間;

其中通過控制池化層的窗口大小使所述非線性轉(zhuǎn)換層輸出的矩陣為一行或一列,根據(jù)所述非線性轉(zhuǎn)換層的輸出矩陣形成所述第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量。

8.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述概率公式為:

<mrow> <mi>L</mi> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>v</mi> <mo>&Element;</mo> <mi>V</mi> </mrow> </munder> <mrow> <mi>log</mi> <mi> </mi> <mi>Pr</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>c</mi> <mi>v</mi> </msub> <mo>,</mo> <msub> <mi>t</mi> <mi>v</mi> </msub> <mo>|</mo> <mi>v</mi> </mrow> <mo>)</mo> </mrow> </mrow> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>v</mi> <mo>&Element;</mo> <mi>V</mi> </mrow> </munder> <mrow> <mi>log</mi> <mi> </mi> <mi>Pr</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>c</mi> <mi>v</mi> </msub> <mo>|</mo> <mi>v</mi> </mrow> <mo>)</mo> </mrow> </mrow> <mo>+</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>v</mi> <mo>&Element;</mo> <mi>V</mi> </mrow> </munder> <mrow> <mi>log</mi> <mi> </mi> <mi>Pr</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>t</mi> <mi>v</mi> </msub> <mo>|</mo> <mi>v</mi> </mrow> <mo>)</mo> </mrow> </mrow> </mrow>

式中,v表示當(dāng)前的網(wǎng)絡(luò)節(jié)點(diǎn),Cv表示與當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)相鄰的網(wǎng)絡(luò)節(jié)點(diǎn)的集合,∑logPr(CV丨v)表示利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量預(yù)測(cè)得到與當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)相鄰的所有網(wǎng)絡(luò)節(jié)點(diǎn)的概率的和;tv表示當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的文本信息,∑logPr(tV丨v)表示利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量預(yù)測(cè)得到當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的概率;

其中,利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量預(yù)測(cè)得到與當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)相鄰的所有網(wǎng)絡(luò)節(jié)點(diǎn)的概率利用如下公式計(jì)算:

<mrow> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>j</mi> </msub> <mo>|</mo> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>j</mi> </msub> <mo>&CenterDot;</mo> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <munder> <mo>&Sigma;</mo> <mrow> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>&Element;</mo> <mi>V</mi> </mrow> </munder> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>&CenterDot;</mo> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow>

式中,vi表示所述集合Cv中的一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn),vj表示當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn),vk表示所述集合Cv中的所有節(jié)點(diǎn)中的一個(gè)節(jié)點(diǎn),∑exp(vk·vi)表示遍歷所述集合Cv中的所有節(jié)點(diǎn)并求和;

利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量預(yù)測(cè)得到當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的概率利用如下公式計(jì)算:

<mrow> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>v</mi> </msub> <mo>|</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>t</mi> </msub> <mo>|</mo> <msub> <mi>v</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>v</mi> </msub> <mo>&CenterDot;</mo> <msub> <mi>v</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>u</mi> <mo>&Element;</mo> <mi>V</mi> </mrow> </munder> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>u</mi> </msub> <mo>&CenterDot;</mo> <msub> <mi>v</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> </mrow>

式中,vn表示所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量,vt表示所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量,rv表示將當(dāng)前節(jié)點(diǎn)的第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量映射到當(dāng)前節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的空間的映射矩陣,ru表示將所述集合Cv中的一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量映射到當(dāng)前節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的空間的映射矩陣,∑exp(ru·vn)表示遍歷所述集合Cv中的所有節(jié)點(diǎn)并求和。

9.根據(jù)權(quán)利要求8所述的方法,其特征在于,所述方法利用負(fù)采樣算法得到利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的所述第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量預(yù)測(cè)得到當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的第二網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的概率:

<mrow> <mi>Pr</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>v</mi> </msub> <mo>|</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>v</mi> </msub> <mo>&CenterDot;</mo> <msub> <mi>v</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <munder> <mo>&Pi;</mo> <mrow> <mi>u</mi> <mo>&Element;</mo> <mi>N</mi> <mi>E</mi> <mi>G</mi> <mrow> <mo>(</mo> <mi>v</mi> <mo>)</mo> </mrow> </mrow> </munder> <mo>&lsqb;</mo> <mn>1</mn> <mo>-</mo> <mi>&sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>u</mi> </msub> <mo>&CenterDot;</mo> <msub> <mi>v</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow>

式中,σ為sigmoid函數(shù);

所述方法利用負(fù)采樣算法得到利用當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的表示向量預(yù)測(cè)得到當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的第一網(wǎng)絡(luò)節(jié)點(diǎn)表示向量的概率:

Pr(vj丨vi)=σ(vj丨vi)П[1-σ(vk·vi)]。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1