亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

基于泊松?伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法與流程

文檔序號(hào):12271504閱讀:來(lái)源:國(guó)知局

技術(shù)特征:

1.一種基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,包括如下步驟:

(1)建立訓(xùn)練集和測(cè)試集:

(1a)從文本語(yǔ)料庫(kù)中隨機(jī)選取訓(xùn)練文本集和測(cè)試文本集;

(1b)采用詞袋方法,將訓(xùn)練文本集和測(cè)試文本集的格式由文本信息轉(zhuǎn)化為數(shù)字信息的訓(xùn)練集和測(cè)試集;

(2)設(shè)置泊松-伽瑪置信網(wǎng)絡(luò)及其參數(shù):

(2a)設(shè)置泊松-伽瑪置信網(wǎng)絡(luò)的總網(wǎng)絡(luò)層數(shù)、輸入層維度、隱層維度、輸出層內(nèi)容;

(2b)設(shè)置泊松-伽瑪置信網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù);

(2c)在{1000,1500}兩個(gè)值中任意選取一個(gè)值作為訓(xùn)練迭代次數(shù);

(2d)將測(cè)試迭代次數(shù)設(shè)置為1500次;

(3)對(duì)泊松-伽瑪置信網(wǎng)絡(luò)進(jìn)行分層:

(3a)將泊松-伽瑪置信網(wǎng)絡(luò)的第1層作為第1個(gè)子網(wǎng)絡(luò);

(3b)將泊松-伽瑪置信網(wǎng)絡(luò)的第1層和第2層,作為第2個(gè)子網(wǎng)絡(luò);

(3c)將泊松-伽瑪置信網(wǎng)絡(luò)的第1層、第2層和第3層,作為第3個(gè)子網(wǎng)絡(luò);

(3d)將泊松-伽瑪置信網(wǎng)絡(luò)的第1層、第2層、第3層和第4層,作為第4個(gè)子網(wǎng)絡(luò);

(3e)將泊松-伽瑪置信網(wǎng)絡(luò)的第1層、第2層、第3層、第4層和第5層,作為第5個(gè)子網(wǎng)絡(luò);

(4)對(duì)第1個(gè)子網(wǎng)絡(luò)的參數(shù)進(jìn)行初始化;

(4a)按照下式,對(duì)第1個(gè)子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的字典矩陣進(jìn)行初始化;

φa(1)~Dir(η(1),....,η(1))

其中,φa(1)表示第1個(gè)子網(wǎng)絡(luò)第1層初始化后的字典矩陣第a列的所有元素,a的取值范圍是{1,2,....,K1max},K1max表示所有子網(wǎng)絡(luò)第一個(gè)隱層維度的最大值,~表示等價(jià)關(guān)系符號(hào),Dir表示狄利克雷分布,η(1)表示第1個(gè)子網(wǎng)絡(luò)第1層狄利克雷分布的參數(shù);

(4b)按照下式,對(duì)第1個(gè)子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)參數(shù)和超參數(shù)進(jìn)行初始化;

pi(1)=1-e-1

其中,pi(1)表示第1個(gè)子網(wǎng)絡(luò)初始化后的第1層中服從負(fù)二項(xiàng)式分布的第i個(gè)樣本的參數(shù);

rm~Gamma(γ0/K1max,1/c0)

其中,rm表示第1個(gè)子網(wǎng)絡(luò)初始化后的頂層生成向量的第m個(gè)元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,γ0=1,K1max表示所有子網(wǎng)絡(luò)第一個(gè)隱層維度的最大值,γ0/K1max表示伽瑪分布的形狀參數(shù),c0=1,表示伽瑪分布尺度參數(shù)的倒數(shù);

(4c)按照下式,對(duì)第1個(gè)子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行初始化;

<mrow> <msup> <msub> <mi>&theta;</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>~</mo> <mi>G</mi> <mi>a</mi> <mi>m</mi> <mi>m</mi> <mi>a</mi> <mo>&lsqb;</mo> <mi>r</mi> <mo>,</mo> <mfrac> <mrow> <msup> <msub> <mi>p</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> </mrow> <mrow> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>p</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> </mrow> </mfrac> <mo>&rsqb;</mo> </mrow>

其中,θh(1)表示第1個(gè)子網(wǎng)絡(luò)初始化后的第1層隱層單元矩陣第h列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,r表示頂層的生成向量,pi(1)表示第1層中服從負(fù)二項(xiàng)式分布的第i個(gè)樣本的參數(shù),h與i的大小相等;

(5)判斷當(dāng)前子網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)是否為2,若是,則執(zhí)行步驟(6),否則,執(zhí)行步驟(7);

(6)對(duì)第2個(gè)子網(wǎng)絡(luò)的參數(shù)進(jìn)行初始化:

(6a)將第1個(gè)子網(wǎng)絡(luò)中的全局參數(shù)值,作為第2個(gè)子網(wǎng)絡(luò)全局參數(shù)的初始值;

(6b)按照下式,對(duì)第2個(gè)子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的字典矩陣進(jìn)行初始化;

φb(T)~Dir(τ(T),....,τ(T))

其中,φb(T)表示第2個(gè)子網(wǎng)絡(luò)頂層初始化后的字典矩陣第b列的所有元素,b的取值范圍是{1,2,....,KT},KT表示第2個(gè)子網(wǎng)絡(luò)頂層的維度值,~表示等價(jià)關(guān)系符號(hào),Dir表示狄利克雷分布,τ(T)表示第2個(gè)子網(wǎng)絡(luò)第T層狄利克雷分布參數(shù)的初始值;

(6c)按照下式,對(duì)第2個(gè)子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)進(jìn)行初始化;

pc(2)~Beta(a0,b0)

其中,pc(2)表示第2個(gè)子網(wǎng)絡(luò)初始化后的第2層中服從負(fù)二項(xiàng)式分布的第c個(gè)樣本的參數(shù),~表示等價(jià)關(guān)系符號(hào),Beta表示貝塔分布,a0表示貝塔分布的參數(shù)1,a0=0.01,b0表示貝塔分布的參數(shù)2,b0=0.01;

cd(2)=(1-pc(2))/pc(2)

其中,cd(2)表示第2個(gè)子網(wǎng)絡(luò)初始化后的第2層伽瑪分布尺度參數(shù)的倒數(shù),d表示輸入數(shù)據(jù)中的第d個(gè)樣本,pc(2)表示第2個(gè)子網(wǎng)絡(luò)的第2層中服從負(fù)二項(xiàng)式分布的第c個(gè)樣本的參數(shù),d與c的大小相等;

ce(3)~Gamma(e0,1/f0)

其中,ce(3)表示第2個(gè)子網(wǎng)絡(luò)的下一個(gè)子網(wǎng)絡(luò)的第3層初始化后的伽瑪分布尺度參數(shù)的倒數(shù)值,e表示輸入數(shù)據(jù)中的第e個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0表示伽瑪分布的形狀參數(shù),e0=1,f0表示伽瑪分布尺度參數(shù)的倒數(shù)值,f0=1;

(6d)按照下式,對(duì)第2個(gè)子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的生成向量進(jìn)行初始化;

rm~Gamma(γ0/KT,1/c0)

其中,rm表示第2個(gè)子網(wǎng)絡(luò)初始化后的頂層生成向量的第m個(gè)元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,γ0=1,KT表示頂層的維度值,c0表示伽瑪分布尺度參數(shù)的倒數(shù)值,c0=1;

(6e)按照下式,對(duì)第2個(gè)子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行初始化;

<mrow> <msup> <msub> <mi>&theta;</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msup> <mo>~</mo> <mi>G</mi> <mi>a</mi> <mi>m</mi> <mi>m</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>r</mi> <mo>,</mo> <mfrac> <mn>1</mn> <mrow> <msup> <msub> <mi>c</mi> <mi>e</mi> </msub> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>

其中,θg(2)表示第2個(gè)子網(wǎng)絡(luò)頂層初始化后的隱層單元矩陣第g列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,r表示頂層的生成向量,表示第2個(gè)子網(wǎng)絡(luò)的下一個(gè)子網(wǎng)絡(luò)的第3層伽瑪分布的尺度參數(shù),e表示輸入數(shù)據(jù)中的第e個(gè)樣本,g與e的大小相等;

(6f)按照下式,對(duì)第2個(gè)子網(wǎng)絡(luò)第1層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行初始化;

<mrow> <msup> <msub> <mi>&theta;</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>~</mo> <mi>G</mi> <mi>a</mi> <mi>m</mi> <mi>m</mi> <mi>a</mi> <mrow> <mo>(</mo> <msup> <mi>&Phi;</mi> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msup> <msup> <msub> <mi>&theta;</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msup> <mo>,</mo> <mfrac> <mn>1</mn> <mrow> <msup> <msub> <mi>c</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>

其中,θh(1)表示第2個(gè)子網(wǎng)絡(luò)第1層初始化后的隱層單元矩陣第h列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,Φ(2)θg(2)表示第2個(gè)子網(wǎng)絡(luò)的第2層伽瑪分布的形狀參數(shù),Φ(2)表示第2個(gè)子網(wǎng)絡(luò)的第2層字典矩陣,θg(2)表示第2個(gè)子網(wǎng)絡(luò)的第2層隱層單元矩陣第g列的所有元素,表示第2個(gè)子網(wǎng)絡(luò)的第2層伽瑪分布的尺度參數(shù),d表示輸入數(shù)據(jù)中的第d個(gè)樣本,h、g與d的大小相等;

(7)對(duì)當(dāng)前子網(wǎng)絡(luò)的參數(shù)進(jìn)行初始化:

(7a)將上一個(gè)子網(wǎng)絡(luò)中的全局參數(shù)值,作為當(dāng)前子網(wǎng)絡(luò)全局參數(shù)的初始值;

(7b)對(duì)當(dāng)前子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的字典矩陣進(jìn)行初始化;

φW(T)~Dir(ι(T),....,ι(T))

其中,φW(T)表示當(dāng)前子網(wǎng)絡(luò)頂層初始化后的字典矩陣第W列的所有元素,W的取值范圍是{1,2,....,KT},KT表示頂層的維度值,~表示等價(jià)關(guān)系符號(hào),Dir表示狄利克雷分布,ι(T)表示當(dāng)前子網(wǎng)絡(luò)頂層的狄利克雷分布參數(shù);

(7c)按照下式,對(duì)當(dāng)前子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)進(jìn)行初始化;

pr(T)=-ln(1-py(T-1))/[cu(T)-ln(1-py(T-1))]

其中,pr(T)表示當(dāng)前子網(wǎng)絡(luò)頂層初始化后服從負(fù)二項(xiàng)式分布的第r個(gè)樣本的參數(shù),ln表示對(duì)數(shù)符號(hào),py(T-1)表示上一個(gè)子網(wǎng)絡(luò)的頂層中服從負(fù)二項(xiàng)式分布的第y個(gè)樣本的參數(shù),cu(T)表示當(dāng)前子網(wǎng)絡(luò)頂層伽瑪分布尺度參數(shù)的倒數(shù)值,u表示輸入數(shù)據(jù)中的第u個(gè)樣本,r、y與u的大小相等;

cl(T+1)~Gamma(e0,1/f0)

其中,cl(T+1)表示當(dāng)前子網(wǎng)絡(luò)的下一個(gè)子網(wǎng)絡(luò)的頂層伽瑪分布尺度參數(shù)的倒數(shù)值,l表示輸入數(shù)據(jù)中的第l個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0表示伽瑪分布的形狀參數(shù),e0=1,f0表示伽瑪分布尺度參數(shù)的倒數(shù)值,f0=1;

(7d)按照下式,對(duì)當(dāng)前子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的生成向量進(jìn)行初始化;

rm~Gamma(γ0/KT,1/c0)

其中,rm表示當(dāng)前子網(wǎng)絡(luò)頂層初始化后的生成向量的第m個(gè)元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,γ0=1,KT表示頂層的維度值,c0表示伽瑪分布尺度參數(shù)的倒數(shù)值,c0=1;

(7e)按照下式,對(duì)當(dāng)前子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行初始化;

<mrow> <msup> <msub> <mi>&theta;</mi> <mi>o</mi> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>)</mo> </mrow> </msup> <mo>~</mo> <mi>G</mi> <mi>a</mi> <mi>m</mi> <mi>m</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>r</mi> <mo>,</mo> <mfrac> <mn>1</mn> <mrow> <msup> <msub> <mi>c</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>

其中,θo(T)表示當(dāng)前子網(wǎng)絡(luò)頂層初始化后的隱層單元矩陣第o列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,r表示頂層的生成向量,表示第T+1層伽瑪分布的尺度參數(shù),l表示輸入數(shù)據(jù)中的第l個(gè)樣本,o與l的大小相等;

(7f)按照下式,對(duì)當(dāng)前子網(wǎng)絡(luò)除頂層以外每一層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行初始化;

<mrow> <msup> <msub> <mi>&theta;</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>~</mo> <mi>G</mi> <mi>a</mi> <mi>m</mi> <mi>m</mi> <mi>a</mi> <mrow> <mo>(</mo> <msup> <mi>&Phi;</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <msup> <msub> <mi>&theta;</mi> <mi>w</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>,</mo> <mfrac> <mn>1</mn> <mrow> <msup> <msub> <mi>c</mi> <mi>x</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>

其中,θj(t)表示當(dāng)前子網(wǎng)絡(luò)第t層初始化后的隱層單元矩陣第j列的所有元素,t的取值范圍是{T-1,....,2,1},T表示當(dāng)前子網(wǎng)絡(luò)的層數(shù),~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,Φ(t+1)θw(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層伽瑪分布的形狀參數(shù),Φ(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層字典矩陣,θw(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣第w列的所有元素,w表示輸入數(shù)據(jù)中的第w個(gè)樣本,表示第t+1層伽瑪分布的尺度參數(shù),x表示輸入數(shù)據(jù)中的第x個(gè)樣本,j、w與x的大小相等;

(8)訓(xùn)練當(dāng)前子網(wǎng)絡(luò):

(8a)按照從底層到頂層的順序,對(duì)當(dāng)前子網(wǎng)絡(luò)每一層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和全局參數(shù)字典矩陣進(jìn)行更新;

(8b)將當(dāng)前子網(wǎng)絡(luò)的頂層作為當(dāng)前訓(xùn)練層,對(duì)泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)、全局參數(shù)生成向量和隱層單元矩陣進(jìn)行更新;

(8c)將當(dāng)前子網(wǎng)絡(luò)的第T-1層、第T-2層直到第一層依次作為當(dāng)前訓(xùn)練層;

(8d)對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新;

(8e)對(duì)當(dāng)前子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)進(jìn)行更新;

(9)判斷當(dāng)前子網(wǎng)絡(luò)的訓(xùn)練次數(shù)是否等于訓(xùn)練迭代次數(shù),若是,則執(zhí)行步驟(10),否則,執(zhí)行步驟(8);

(10)將訓(xùn)練后的當(dāng)前子網(wǎng)絡(luò)的字典矩陣和生成向量等全局參數(shù)保存在Matlab工作空間中,并作為當(dāng)前子網(wǎng)絡(luò)的全局參數(shù);

(11)測(cè)試當(dāng)前子網(wǎng)絡(luò):

(11a)將帶有標(biāo)號(hào)的訓(xùn)練集和測(cè)試集一起作為當(dāng)前子網(wǎng)絡(luò)的輸入數(shù)據(jù);

(11b)將當(dāng)前子網(wǎng)絡(luò)的頂層作為當(dāng)前訓(xùn)練層,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新;

(11c)將當(dāng)前子網(wǎng)絡(luò)的第T-1層、第T-2層直到第一層依次作為當(dāng)前訓(xùn)練層;

(11d)對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新;

(12)判斷當(dāng)前子網(wǎng)絡(luò)的測(cè)試次數(shù)是否等于測(cè)試迭代次數(shù),若是,執(zhí)行步驟(13),否則,執(zhí)行步驟(11);

(13)對(duì)文本進(jìn)行分類(lèi);

(13a)利用帶有標(biāo)號(hào)的訓(xùn)練集和更新后的隱層單元矩陣和參數(shù),對(duì)支持向量機(jī)SVM分類(lèi)器進(jìn)行訓(xùn)練;

(13b)支持向量機(jī)SVM分類(lèi)器對(duì)測(cè)試集進(jìn)行分類(lèi),輸出預(yù)測(cè)的文本類(lèi)別;

(13c)比較測(cè)試集的預(yù)測(cè)文本類(lèi)別和標(biāo)準(zhǔn)文本類(lèi)別,輸出當(dāng)前子網(wǎng)絡(luò)的文本分類(lèi)正確率;

(14)判斷當(dāng)前子網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)是否為5,若是,則執(zhí)行步驟(15),否則,將下一個(gè)子網(wǎng)絡(luò)作為當(dāng)前子網(wǎng)絡(luò),執(zhí)行步驟(5);

(15)輸出文本分類(lèi)正確率和預(yù)測(cè)文本類(lèi)別:

(15a)從五個(gè)子網(wǎng)絡(luò)的文本分類(lèi)正確率中選取最大的文本分類(lèi)正確率;

(15b)輸出最大的文本分類(lèi)正確率及其與該正確率對(duì)應(yīng)的子網(wǎng)絡(luò)的預(yù)測(cè)文本類(lèi)別。

2.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(2a)中所述的泊松-伽瑪置信網(wǎng)絡(luò)的總網(wǎng)絡(luò)層數(shù)、輸入層維度、隱層維度、輸出層內(nèi)容設(shè)置如下:總網(wǎng)絡(luò)層數(shù)為5層,輸入層的維度值與文本語(yǔ)料庫(kù)對(duì)應(yīng)的詞表維度值相等,在{50,100,200,400,600,800}六個(gè)值中任意選取一個(gè)值作為所有子網(wǎng)絡(luò)第一層隱層維度的最大值,并且所有子網(wǎng)絡(luò)中第一層隱層維度為其他層隱層維度的上限;輸出層輸出文本分類(lèi)正確率和預(yù)測(cè)文本類(lèi)別。

3.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(2b)中所述設(shè)置的泊松-伽瑪置信網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)包括:輸入數(shù)據(jù)、先驗(yàn)分布為狄利克雷分布的全局參數(shù)字典矩陣、先驗(yàn)分布為伽瑪分布的隱層單元矩陣、生成向量、層內(nèi)增廣矩陣和層間增廣矩陣以及涉及到的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)。

4.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(8a)中所述對(duì)當(dāng)前子網(wǎng)絡(luò)每一層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和全局參數(shù)字典矩陣進(jìn)行更新的具體步驟如下:

第1步,將當(dāng)前子網(wǎng)絡(luò)的第一層、第二層直到頂層依次作為當(dāng)前訓(xùn)練層;

第2步,按照下式,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的層內(nèi)增廣矩陣,針對(duì)當(dāng)前訓(xùn)練層的維度進(jìn)行多項(xiàng)式采樣;

<mrow> <mo>{</mo> <mrow> <mo>(</mo> <msup> <msub> <mi>x</mi> <mrow> <mi>v</mi> <mi>n</mi> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>,</mo> <msup> <msub> <mi>x</mi> <mrow> <mi>v</mi> <mi>n</mi> <mn>2</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>,</mo> <mn>...</mn> <mo>,</mo> <msup> <msub> <mi>x</mi> <mrow> <msub> <mi>vnK</mi> <mi>t</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mo>|</mo> <msup> <msub> <mi>x</mi> <mrow> <mi>v</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>,</mo> <msup> <msub> <mi>&phi;</mi> <mrow> <mi>s</mi> <mo>:</mo> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>,</mo> <msup> <msub> <mi>&theta;</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>}</mo> <mo>~</mo> <mi>M</mi> <mi>u</mi> <mi>l</mi> <mi>t</mi> <mrow> <mo>(</mo> <msup> <msub> <mi>x</mi> <mrow> <mi>v</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>,</mo> <mfrac> <mrow> <msup> <msub> <mi>&phi;</mi> <mrow> <mi>s</mi> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <msup> <msub> <mi>&theta;</mi> <mrow> <mn>1</mn> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>K</mi> <mi>t</mi> </msub> </msubsup> <msup> <msub> <mi>&phi;</mi> <mrow> <mi>s</mi> <mi>k</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <msup> <msub> <mi>&theta;</mi> <mrow> <mi>k</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> </mrow> </mfrac> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mfrac> <mrow> <msup> <msub> <mi>&phi;</mi> <mrow> <msub> <mi>sK</mi> <mi>t</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <msup> <msub> <mi>&theta;</mi> <mrow> <msub> <mi>K</mi> <mi>i</mi> </msub> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>K</mi> <mi>t</mi> </msub> </msubsup> <msup> <msub> <mi>&phi;</mi> <mrow> <mi>s</mi> <mi>k</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <msup> <msub> <mi>&theta;</mi> <mrow> <mi>k</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>

其中,表示對(duì)xvn(t)針對(duì)當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層的維度進(jìn)行多項(xiàng)式采樣的結(jié)果,每一個(gè)都是維度為V*N的矩陣,V表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層輸入數(shù)據(jù)矩陣的維度值,N表示樣本個(gè)數(shù),v的取值范圍是{1,2,....,Kt-1},Kt-1表示當(dāng)前子網(wǎng)絡(luò)的第t-1層隱層的維度值,n表示輸入數(shù)據(jù)中的第n個(gè)樣本,Kt表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層的維度值,v與n固定時(shí),分別對(duì)應(yīng)一個(gè)元素,xvn(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層的層內(nèi)增廣矩陣,φs:(t)表示s的取值范圍是{1,2,....,Kt-1},分別表示當(dāng)前訓(xùn)練層字典矩陣第1,2,....,k,....,Kt列的所有元素,θj(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層隱層單元矩陣第j列的所有元素,~表示等價(jià)關(guān)系符號(hào),Mult表示多項(xiàng)式分布,分別表示當(dāng)前訓(xùn)練層隱層單元矩陣第1,2,....,k,....,Kt行的所有元素,v與s的大小相等,n與j的大小相等;

第3步,按照下式,根據(jù)層間增廣矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的層間增廣矩陣進(jìn)行更新;

<mrow> <msup> <msub> <mi>m</mi> <mrow> <mi>p</mi> <mi>f</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>=</mo> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>v</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>K</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </msubsup> <msup> <msub> <mi>x</mi> <mrow> <mi>v</mi> <mi>z</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> </mrow>

其中,mpf(t)(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t層層內(nèi)增廣矩陣與第t+1層層內(nèi)增廣矩陣之間的關(guān)系,p的取值范圍是{1,2,....,Kt},Kt表示當(dāng)前子網(wǎng)絡(luò)的第t層隱層的維度值,f表示輸入數(shù)據(jù)中的第f個(gè)樣本,Kt-1表示當(dāng)前子網(wǎng)絡(luò)的第t-1層隱層的維度值,xvzn(t)表示第2步采樣結(jié)果中對(duì)應(yīng)的元素,p與z的大小相等,f與n的大小相等;

第4步,按照下式,根據(jù)層內(nèi)增廣矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層下一層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的層內(nèi)增廣矩陣進(jìn)行更新;

(xJI(t+1)|mpf(t)(t+1)S:(t+1)w(t+1))~CRT(mpf(t)(t+1)S:(t+1)w(t+1))

其中,xJI(t+1)表示當(dāng)前子網(wǎng)絡(luò)第t+1層的層內(nèi)增廣矩陣,J的取值范圍是{1,2,....,Kt+1},Kt+1表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層的維度值,I表示輸入數(shù)據(jù)中的第I個(gè)樣本,mpf(t)(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t層層內(nèi)增廣矩陣與第t+1層層內(nèi)增廣矩陣之間的關(guān)系,p的取值范圍是{1,2,....,Kt},Kt表示當(dāng)前子網(wǎng)絡(luò)的第t層隱層的維度值,f表示第f個(gè)樣本,φS:(t+1)表示S的取值范圍是{1,2,....,Kt},分別表示當(dāng)前子網(wǎng)絡(luò)的第t+1層字典矩陣第1,2,....,Kt列的所有元素,θw(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣第w列的所有元素,CRT表示中國(guó)餐館過(guò)程中的最大餐桌分布,J、p與S的大小相等,I、f與w的大小相等;

第5步,按照下式,根據(jù)字典矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的字典矩陣進(jìn)行更新;

<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msup> <msub> <mi>&phi;</mi> <mi>Z</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <mo>-</mo> <mo>)</mo> </mrow> <mo>~</mo> <mi>Dir</mi> <mrow> <mo>(</mo> <msup> <mi>&lambda;</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>+</mo> <msup> <msub> <mi>x</mi> <mrow> <mn>1</mn> <mo>.</mo> <mi>z</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>,</mo> <msup> <mi>&lambda;</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>+</mo> <msup> <msub> <mi>x</mi> <mrow> <mn>2</mn> <mo>.</mo> <mi>z</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>,</mo> <mo>.</mo> <mo>.</mo> <mo>.</mo> <mo>,</mo> <msup> <mi>&lambda;</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>+</mo> <msup> <msub> <mi>x</mi> <mrow> <msub> <mi>K</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>.</mo> <mi>z</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>

其中,φZ(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的字典矩陣第Z列的所有元素,~表示等價(jià)關(guān)系符號(hào),Dir表示狄利克雷分布,λ(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層狄利克雷的分布參數(shù),分別對(duì)應(yīng)第2步采樣結(jié)果中的元素,Kt-1表示當(dāng)前子網(wǎng)絡(luò)的第t-1層隱層的維度值,Z與z的大小相等。

5.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(8b)中所述對(duì)泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)、全局參數(shù)生成向量和隱層單元矩陣進(jìn)行更新的具體步驟如下:

第1步,按照下式,根據(jù)層內(nèi)增廣矩陣的后驗(yàn)概率,對(duì)第T+1層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的層內(nèi)增廣矩陣進(jìn)行更新;

(xHG(T+1)|mPF(T)(T+1),r)~CRT(mPF(T)(T+1),r)

其中,xHG(T+1)表示當(dāng)前子網(wǎng)絡(luò)第T+1層的層內(nèi)增廣矩陣,H的取值范圍是{1,2,....,KT+1},KT+1表示當(dāng)前子網(wǎng)絡(luò)的第T+1層隱層的維度值,G表示輸入數(shù)據(jù)中的第G個(gè)樣本,mPF(T)(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T層層內(nèi)增廣矩陣與第T+1層層內(nèi)增廣矩陣之間的關(guān)系,P的取值范圍是{1,2,....,KT},KT表示頂層的維度值,F表示第F個(gè)樣本,r表示頂層的生成向量,CRT表示中國(guó)餐館過(guò)程中的最大餐桌分布,H與P的大小相等,G與F的大小相等;

第2步,按照下式,根據(jù)生成向量的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的生成向量進(jìn)行更新;

<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>m</mi> </msub> <mo>|</mo> <mo>-</mo> <mo>)</mo> </mrow> <mo>~</mo> <mi>G</mi> <mi>a</mi> <mi>m</mi> <mi>m</mi> <mi>a</mi> <mrow> <mo>(</mo> <mfrac> <msub> <mi>&gamma;</mi> <mn>0</mn> </msub> <msub> <mi>K</mi> <mi>T</mi> </msub> </mfrac> <mo>+</mo> <msup> <msub> <mi>x</mi> <mrow> <mi>L</mi> <mo>.</mo> </mrow> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>,</mo> <msup> <mrow> <mo>&lsqb;</mo> <msub> <mi>c</mi> <mn>0</mn> </msub> <mo>-</mo> <munder> <mo>&Sigma;</mo> <mi>R</mi> </munder> <mi>ln</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>p</mi> <mi>R</mi> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>)</mo> </mrow> </mrow>

其中,rm表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的生成向量的第m個(gè)元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,γ0=1,KT表示當(dāng)前子網(wǎng)絡(luò)頂層的維度值,xL.(T+1)表示當(dāng)前子網(wǎng)絡(luò)第T+1層的層內(nèi)增廣矩陣針對(duì)第T+1層隱層維度求和的結(jié)果,L表示當(dāng)前子網(wǎng)絡(luò)頂層的維度值,c0=1,ln表示對(duì)數(shù)符號(hào),pR(T+1)表示第T+1層中服從負(fù)二項(xiàng)式分布的第R個(gè)樣本的參數(shù),m與L的大小相等;

第3步,按照下式,根據(jù)參數(shù)的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)的參數(shù)進(jìn)行更新;

P(cl(T+1)|-)~Gamma(e0+r.,[f0.o(T)]-1)

其中,cl(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T+1層更新后的伽瑪分布尺度參數(shù)的倒數(shù)值,l表示輸入數(shù)據(jù)中的第l個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0=1,r.表示頂層的生成向量針對(duì)頂層維度求和的結(jié)果,f0=1,KT表示當(dāng)前子網(wǎng)絡(luò)頂層隱層的維度值,θDo(T)表示當(dāng)前子網(wǎng)絡(luò)的頂層隱層單元矩陣的第D行、第o列元素,l與o的大小相等;

<mrow> <msup> <msub> <mi>p</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <mo>-</mo> <mi>l</mi> <mi>n</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>p</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&lsqb;</mo> <msup> <msub> <mi>c</mi> <mi>u</mi> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <mi>l</mi> <mi>n</mi> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>p</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>&rsqb;</mo> </mrow> </mfrac> </mrow>

其中,pr(T)表示當(dāng)前子網(wǎng)絡(luò)頂層更新后的服從負(fù)二項(xiàng)式分布的第r個(gè)樣本的參數(shù),py(T-1)表示當(dāng)前子網(wǎng)絡(luò)的第T-1層中服從負(fù)二項(xiàng)式分布的第y個(gè)樣本的參數(shù),cu(T)表示當(dāng)前子網(wǎng)絡(luò)頂層的伽瑪分布尺度參數(shù)的倒數(shù)值,u表示輸入數(shù)據(jù)中的第u個(gè)樣本,r、y與u的大小相等;

第4步,按照下式,根據(jù)隱層單元矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行更新;

P(θo(T)|-)~Gamma(r+mF(T)(T+1),[cl(T+1)-ln(1-pr(T))]-1)

其中,θo(T)表示當(dāng)前子網(wǎng)絡(luò)頂層更新后的隱層單元矩陣第o列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,r表示頂層的生成向量,mF(T)(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T層層內(nèi)增廣矩陣與第T+1層層內(nèi)增廣矩陣之間的關(guān)系,F(xiàn)表示輸入數(shù)據(jù)中的第F個(gè)樣本,cl(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T+1層伽瑪分布尺度參數(shù)的倒數(shù)值,l表示第l個(gè)樣本,pr(T)表示當(dāng)前子網(wǎng)絡(luò)的第T層中服從負(fù)二項(xiàng)式分布的第r個(gè)樣本的參數(shù),o、F、l與r的大小相等。

6.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(8d)中所述對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新的具體步驟如下:

第1步,按照下式,根據(jù)參數(shù)的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層上一層中對(duì)當(dāng)前訓(xùn)練層具有影響的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的參數(shù)進(jìn)行更新;

P(cx(t+1)|-)~Gamma(e0.w(t+1),[f0.j(t)]-1)

其中,cx(t+1)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層的上一層更新后的伽瑪分布尺度參數(shù)的倒數(shù)值,x表示輸入數(shù)據(jù)中的第x個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0=1,θ.w(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣針對(duì)第t+1層隱層維度求和的結(jié)果,w表示第w個(gè)樣本,f0=1,θ.j(t)表示當(dāng)前子網(wǎng)絡(luò)的第t層隱層單元矩陣針對(duì)第t層隱層維度求和的結(jié)果,j表示第j個(gè)樣本,x、w與j的大小相等;

第2步,按照下式,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)進(jìn)行更新;

<mrow> <msup> <msub> <mi>p</mi> <mi>A</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <mo>-</mo> <mi>l</mi> <mi>n</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>p</mi> <mi>B</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&lsqb;</mo> <msup> <msub> <mi>c</mi> <mi>E</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <mi>l</mi> <mi>n</mi> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>p</mi> <mi>B</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>&rsqb;</mo> </mrow> </mfrac> </mrow>

其中,pA(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的服從負(fù)二項(xiàng)式分布的第A個(gè)樣本的參數(shù),pB(t-1)表示當(dāng)前子網(wǎng)絡(luò)的第t-1層中服從負(fù)二項(xiàng)式分布的第B個(gè)樣本的參數(shù),cE(t)表示當(dāng)前子網(wǎng)絡(luò)的t層伽瑪分布尺度參數(shù)的倒數(shù),E表示輸入數(shù)據(jù)中的第E個(gè)樣本,A、B與E的大小相等;

第3步,按照下式,根據(jù)隱層單元矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行更新;

P(θj(t)|-)~Gamma(Φ(t+1)θw(t+1)+mf(t)(t+1),[cx(t+1)-ln(1-pA(t))]-1)

其中,θj(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的隱層單元矩陣第j列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,Φ(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層字典矩陣,θw(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣第w列的所有元素,mf(t)(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t層層內(nèi)增廣矩陣與第t+1層層內(nèi)增廣矩陣之間的關(guān)系,f表示輸入數(shù)據(jù)中的第f個(gè)樣本,cx(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層伽瑪分布尺度參數(shù)的倒數(shù)值,x表示第x個(gè)樣本,pA(t)表示當(dāng)前子網(wǎng)絡(luò)的第t層中服從負(fù)二項(xiàng)式分布的第A個(gè)樣本的參數(shù),j、w、f、x與A的大小相等。

7.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(8e)中所述對(duì)當(dāng)前子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)進(jìn)行更新的具體步驟如下:

第1步,按照下式,根據(jù)參數(shù)的后驗(yàn)概率,對(duì)當(dāng)前子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)進(jìn)行更新;

(pc(2)|-)~Beta(a0+m.Q(1)(2),b0.g(2))

其中,pc(2)表示當(dāng)前子網(wǎng)絡(luò)第2層更新后的服從負(fù)二項(xiàng)式分布的第c個(gè)樣本的參數(shù),~表示等價(jià)關(guān)系符號(hào),Beta表示貝塔分布,a0表示貝塔分布參數(shù)1的初始值,a0=0.01,Q表示輸入數(shù)據(jù)中的第Q個(gè)樣本,K0表示當(dāng)前子網(wǎng)絡(luò)輸入層的維度值,xUO(1)表示當(dāng)前子網(wǎng)絡(luò)輸入層的層內(nèi)增廣矩陣的第U行、第O列元素,b0表示貝塔分布參數(shù)2的初始值,b0=0.01,θ.g(2)表示當(dāng)前子網(wǎng)絡(luò)的第2層隱層單元矩陣針對(duì)第2層隱層維度求和的結(jié)果,g表示第g個(gè)樣本,c、Q與g的大小相等;

第2步,按照下式,對(duì)當(dāng)前子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)進(jìn)行更新;

cd(2)=(1-pc(2))/pc(2)

其中,cd(2)表示當(dāng)前子網(wǎng)絡(luò)第2層更新后的伽瑪分布尺度參數(shù)的倒數(shù)值,d表示輸入數(shù)據(jù)中的第d個(gè)樣本,pc(2)表示當(dāng)前子網(wǎng)絡(luò)的第2層中服從負(fù)二項(xiàng)式分布的第c個(gè)樣本的參數(shù),d與c的大小相等。

8.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(11b)中所述對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新的具體步驟如下:

第1步,按照下式,根據(jù)參數(shù)的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)的參數(shù)進(jìn)行更新;

P(cl(T+1)|-)~Gamma(e0+r.,[f0.o(T)]-1)

其中,cl(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T+1層更新后的伽瑪分布尺度參數(shù)的倒數(shù)值,l表示輸入數(shù)據(jù)中的第l個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0=1,r.表示頂層的生成向量針對(duì)頂層維度求和的結(jié)果,f0=1,KT表示當(dāng)前子網(wǎng)絡(luò)頂層的維度值,θDo(T)表示當(dāng)前子網(wǎng)絡(luò)頂層的隱層單元矩陣的第D行、第o列元素,l與o的大小相等;

<mrow> <msup> <msub> <mi>p</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <mo>-</mo> <mi>l</mi> <mi>n</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>p</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&lsqb;</mo> <msup> <msub> <mi>c</mi> <mi>u</mi> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <mi>l</mi> <mi>n</mi> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>p</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <mi>T</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>&rsqb;</mo> </mrow> </mfrac> </mrow>

其中,pr(T)表示當(dāng)前子網(wǎng)絡(luò)頂層更新后的服從負(fù)二項(xiàng)式分布的第r個(gè)樣本的參數(shù),py(T-1)表示當(dāng)前子網(wǎng)絡(luò)的第T-1層中服從負(fù)二項(xiàng)式分布的第y個(gè)樣本的參數(shù),cu(T)表示當(dāng)前子網(wǎng)絡(luò)頂層的伽瑪分布尺度參數(shù)的倒數(shù)值,u表示輸入數(shù)據(jù)中的第u個(gè)樣本,r、y與u的大小相等;

第2步,按照下式,根據(jù)隱層單元矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行更新;

P(θo(T)|-)~Gamma(r+mF(T)(T+1),[cl(T+1)-ln(1-pr(T))]-1)

其中,θo(T)表示當(dāng)前子網(wǎng)絡(luò)頂層更新后的隱層單元矩陣第o列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,r表示頂層的生成向量,mF(T)(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T層層內(nèi)增廣矩陣與第T+1層層內(nèi)增廣矩陣之間的關(guān)系,F(xiàn)表示輸入數(shù)據(jù)中的第F個(gè)樣本,cl(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T+1層伽瑪分布尺度參數(shù)的倒數(shù)值,l表示第l個(gè)樣本,pr(T)表示當(dāng)前子網(wǎng)絡(luò)頂層中服從負(fù)二項(xiàng)式分布的第r個(gè)樣本的參數(shù),o、F、l與r的大小相等。

9.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(11d)中所述對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新的具體步驟如下:

第1步,按照下式,根據(jù)參數(shù)的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的上一層中對(duì)當(dāng)前訓(xùn)練層具有影響的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的參數(shù)進(jìn)行更新;

P(cx(t+1)|-)~Gamma(e0.w(t+1),[f0.j(t)]-1)

其中,cx(t+1)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層的上一層更新后的伽瑪分布尺度參數(shù)的倒數(shù)值,x表示輸入數(shù)據(jù)中的第x個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0=1,θ.w(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣針對(duì)第t+1層隱層維度求和的結(jié)果,w表示第w個(gè)樣本,f0=1,θ.j(t)表示當(dāng)前子網(wǎng)絡(luò)的第t層隱層單元矩陣針對(duì)第t層隱層維度求和的結(jié)果,j表示第j個(gè)樣本,x、w與j的大小相等;

第2步,按照下式,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)進(jìn)行更新;

<mrow> <msup> <msub> <mi>p</mi> <mi>A</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfrac> <mrow> <mo>-</mo> <mi>l</mi> <mi>n</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>p</mi> <mi>B</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&lsqb;</mo> <msup> <msub> <mi>c</mi> <mi>E</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <mi>l</mi> <mi>n</mi> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>p</mi> <mi>B</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>&rsqb;</mo> </mrow> </mfrac> </mrow>

其中,pA(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的服從負(fù)二項(xiàng)式分布的第A個(gè)樣本的參數(shù),pB(t-1)表示當(dāng)前子網(wǎng)絡(luò)的第t-1層中服從負(fù)二項(xiàng)式分布的第B個(gè)樣本的參數(shù),cE(t)表示當(dāng)前子網(wǎng)絡(luò)的第t層伽瑪分布尺度參數(shù)的倒數(shù)值,E表示輸入數(shù)據(jù)中的第E個(gè)樣本,A、B與E的大小相等;

第3步,按照下式,根據(jù)隱層單元矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行更新;

P(θj(t)|-)~Gamma(Φ(t+1)θw(t+1)+mf(t)(t+1),[cx(t+1)-ln(1-pA(t))]-1)

其中,θj(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的隱層單元矩陣第j列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,Φ(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層字典矩陣,θw(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣第w列的所有元素,mf(t)(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t層層內(nèi)增廣矩陣與第t+1層層內(nèi)增廣矩陣之間的關(guān)系,f表示輸入數(shù)據(jù)中的第f個(gè)樣本,cx(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層伽瑪分布尺度參數(shù)的倒數(shù)值,x表示第x個(gè)樣本,pA(t)表示當(dāng)前子網(wǎng)絡(luò)的第t層中服從負(fù)二項(xiàng)式分布的第A個(gè)樣本的參數(shù),j、w、f、x與A的大小相等。

當(dāng)前第2頁(yè)1 2 3 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1