1.一種基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,包括如下步驟:
(1)建立訓(xùn)練集和測(cè)試集:
(1a)從文本語(yǔ)料庫(kù)中隨機(jī)選取訓(xùn)練文本集和測(cè)試文本集;
(1b)采用詞袋方法,將訓(xùn)練文本集和測(cè)試文本集的格式由文本信息轉(zhuǎn)化為數(shù)字信息的訓(xùn)練集和測(cè)試集;
(2)設(shè)置泊松-伽瑪置信網(wǎng)絡(luò)及其參數(shù):
(2a)設(shè)置泊松-伽瑪置信網(wǎng)絡(luò)的總網(wǎng)絡(luò)層數(shù)、輸入層維度、隱層維度、輸出層內(nèi)容;
(2b)設(shè)置泊松-伽瑪置信網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù);
(2c)在{1000,1500}兩個(gè)值中任意選取一個(gè)值作為訓(xùn)練迭代次數(shù);
(2d)將測(cè)試迭代次數(shù)設(shè)置為1500次;
(3)對(duì)泊松-伽瑪置信網(wǎng)絡(luò)進(jìn)行分層:
(3a)將泊松-伽瑪置信網(wǎng)絡(luò)的第1層作為第1個(gè)子網(wǎng)絡(luò);
(3b)將泊松-伽瑪置信網(wǎng)絡(luò)的第1層和第2層,作為第2個(gè)子網(wǎng)絡(luò);
(3c)將泊松-伽瑪置信網(wǎng)絡(luò)的第1層、第2層和第3層,作為第3個(gè)子網(wǎng)絡(luò);
(3d)將泊松-伽瑪置信網(wǎng)絡(luò)的第1層、第2層、第3層和第4層,作為第4個(gè)子網(wǎng)絡(luò);
(3e)將泊松-伽瑪置信網(wǎng)絡(luò)的第1層、第2層、第3層、第4層和第5層,作為第5個(gè)子網(wǎng)絡(luò);
(4)對(duì)第1個(gè)子網(wǎng)絡(luò)的參數(shù)進(jìn)行初始化;
(4a)按照下式,對(duì)第1個(gè)子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的字典矩陣進(jìn)行初始化;
φa(1)~Dir(η(1),....,η(1))
其中,φa(1)表示第1個(gè)子網(wǎng)絡(luò)第1層初始化后的字典矩陣第a列的所有元素,a的取值范圍是{1,2,....,K1max},K1max表示所有子網(wǎng)絡(luò)第一個(gè)隱層維度的最大值,~表示等價(jià)關(guān)系符號(hào),Dir表示狄利克雷分布,η(1)表示第1個(gè)子網(wǎng)絡(luò)第1層狄利克雷分布的參數(shù);
(4b)按照下式,對(duì)第1個(gè)子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)參數(shù)和超參數(shù)進(jìn)行初始化;
pi(1)=1-e-1
其中,pi(1)表示第1個(gè)子網(wǎng)絡(luò)初始化后的第1層中服從負(fù)二項(xiàng)式分布的第i個(gè)樣本的參數(shù);
rm~Gamma(γ0/K1max,1/c0)
其中,rm表示第1個(gè)子網(wǎng)絡(luò)初始化后的頂層生成向量的第m個(gè)元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,γ0=1,K1max表示所有子網(wǎng)絡(luò)第一個(gè)隱層維度的最大值,γ0/K1max表示伽瑪分布的形狀參數(shù),c0=1,表示伽瑪分布尺度參數(shù)的倒數(shù);
(4c)按照下式,對(duì)第1個(gè)子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行初始化;
其中,θh(1)表示第1個(gè)子網(wǎng)絡(luò)初始化后的第1層隱層單元矩陣第h列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,r表示頂層的生成向量,pi(1)表示第1層中服從負(fù)二項(xiàng)式分布的第i個(gè)樣本的參數(shù),h與i的大小相等;
(5)判斷當(dāng)前子網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)是否為2,若是,則執(zhí)行步驟(6),否則,執(zhí)行步驟(7);
(6)對(duì)第2個(gè)子網(wǎng)絡(luò)的參數(shù)進(jìn)行初始化:
(6a)將第1個(gè)子網(wǎng)絡(luò)中的全局參數(shù)值,作為第2個(gè)子網(wǎng)絡(luò)全局參數(shù)的初始值;
(6b)按照下式,對(duì)第2個(gè)子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的字典矩陣進(jìn)行初始化;
φb(T)~Dir(τ(T),....,τ(T))
其中,φb(T)表示第2個(gè)子網(wǎng)絡(luò)頂層初始化后的字典矩陣第b列的所有元素,b的取值范圍是{1,2,....,KT},KT表示第2個(gè)子網(wǎng)絡(luò)頂層的維度值,~表示等價(jià)關(guān)系符號(hào),Dir表示狄利克雷分布,τ(T)表示第2個(gè)子網(wǎng)絡(luò)第T層狄利克雷分布參數(shù)的初始值;
(6c)按照下式,對(duì)第2個(gè)子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)進(jìn)行初始化;
pc(2)~Beta(a0,b0)
其中,pc(2)表示第2個(gè)子網(wǎng)絡(luò)初始化后的第2層中服從負(fù)二項(xiàng)式分布的第c個(gè)樣本的參數(shù),~表示等價(jià)關(guān)系符號(hào),Beta表示貝塔分布,a0表示貝塔分布的參數(shù)1,a0=0.01,b0表示貝塔分布的參數(shù)2,b0=0.01;
cd(2)=(1-pc(2))/pc(2)
其中,cd(2)表示第2個(gè)子網(wǎng)絡(luò)初始化后的第2層伽瑪分布尺度參數(shù)的倒數(shù),d表示輸入數(shù)據(jù)中的第d個(gè)樣本,pc(2)表示第2個(gè)子網(wǎng)絡(luò)的第2層中服從負(fù)二項(xiàng)式分布的第c個(gè)樣本的參數(shù),d與c的大小相等;
ce(3)~Gamma(e0,1/f0)
其中,ce(3)表示第2個(gè)子網(wǎng)絡(luò)的下一個(gè)子網(wǎng)絡(luò)的第3層初始化后的伽瑪分布尺度參數(shù)的倒數(shù)值,e表示輸入數(shù)據(jù)中的第e個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0表示伽瑪分布的形狀參數(shù),e0=1,f0表示伽瑪分布尺度參數(shù)的倒數(shù)值,f0=1;
(6d)按照下式,對(duì)第2個(gè)子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的生成向量進(jìn)行初始化;
rm~Gamma(γ0/KT,1/c0)
其中,rm表示第2個(gè)子網(wǎng)絡(luò)初始化后的頂層生成向量的第m個(gè)元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,γ0=1,KT表示頂層的維度值,c0表示伽瑪分布尺度參數(shù)的倒數(shù)值,c0=1;
(6e)按照下式,對(duì)第2個(gè)子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行初始化;
其中,θg(2)表示第2個(gè)子網(wǎng)絡(luò)頂層初始化后的隱層單元矩陣第g列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,r表示頂層的生成向量,表示第2個(gè)子網(wǎng)絡(luò)的下一個(gè)子網(wǎng)絡(luò)的第3層伽瑪分布的尺度參數(shù),e表示輸入數(shù)據(jù)中的第e個(gè)樣本,g與e的大小相等;
(6f)按照下式,對(duì)第2個(gè)子網(wǎng)絡(luò)第1層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行初始化;
其中,θh(1)表示第2個(gè)子網(wǎng)絡(luò)第1層初始化后的隱層單元矩陣第h列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,Φ(2)θg(2)表示第2個(gè)子網(wǎng)絡(luò)的第2層伽瑪分布的形狀參數(shù),Φ(2)表示第2個(gè)子網(wǎng)絡(luò)的第2層字典矩陣,θg(2)表示第2個(gè)子網(wǎng)絡(luò)的第2層隱層單元矩陣第g列的所有元素,表示第2個(gè)子網(wǎng)絡(luò)的第2層伽瑪分布的尺度參數(shù),d表示輸入數(shù)據(jù)中的第d個(gè)樣本,h、g與d的大小相等;
(7)對(duì)當(dāng)前子網(wǎng)絡(luò)的參數(shù)進(jìn)行初始化:
(7a)將上一個(gè)子網(wǎng)絡(luò)中的全局參數(shù)值,作為當(dāng)前子網(wǎng)絡(luò)全局參數(shù)的初始值;
(7b)對(duì)當(dāng)前子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的字典矩陣進(jìn)行初始化;
φW(T)~Dir(ι(T),....,ι(T))
其中,φW(T)表示當(dāng)前子網(wǎng)絡(luò)頂層初始化后的字典矩陣第W列的所有元素,W的取值范圍是{1,2,....,KT},KT表示頂層的維度值,~表示等價(jià)關(guān)系符號(hào),Dir表示狄利克雷分布,ι(T)表示當(dāng)前子網(wǎng)絡(luò)頂層的狄利克雷分布參數(shù);
(7c)按照下式,對(duì)當(dāng)前子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)進(jìn)行初始化;
pr(T)=-ln(1-py(T-1))/[cu(T)-ln(1-py(T-1))]
其中,pr(T)表示當(dāng)前子網(wǎng)絡(luò)頂層初始化后服從負(fù)二項(xiàng)式分布的第r個(gè)樣本的參數(shù),ln表示對(duì)數(shù)符號(hào),py(T-1)表示上一個(gè)子網(wǎng)絡(luò)的頂層中服從負(fù)二項(xiàng)式分布的第y個(gè)樣本的參數(shù),cu(T)表示當(dāng)前子網(wǎng)絡(luò)頂層伽瑪分布尺度參數(shù)的倒數(shù)值,u表示輸入數(shù)據(jù)中的第u個(gè)樣本,r、y與u的大小相等;
cl(T+1)~Gamma(e0,1/f0)
其中,cl(T+1)表示當(dāng)前子網(wǎng)絡(luò)的下一個(gè)子網(wǎng)絡(luò)的頂層伽瑪分布尺度參數(shù)的倒數(shù)值,l表示輸入數(shù)據(jù)中的第l個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0表示伽瑪分布的形狀參數(shù),e0=1,f0表示伽瑪分布尺度參數(shù)的倒數(shù)值,f0=1;
(7d)按照下式,對(duì)當(dāng)前子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的生成向量進(jìn)行初始化;
rm~Gamma(γ0/KT,1/c0)
其中,rm表示當(dāng)前子網(wǎng)絡(luò)頂層初始化后的生成向量的第m個(gè)元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,γ0=1,KT表示頂層的維度值,c0表示伽瑪分布尺度參數(shù)的倒數(shù)值,c0=1;
(7e)按照下式,對(duì)當(dāng)前子網(wǎng)絡(luò)頂層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行初始化;
其中,θo(T)表示當(dāng)前子網(wǎng)絡(luò)頂層初始化后的隱層單元矩陣第o列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,r表示頂層的生成向量,表示第T+1層伽瑪分布的尺度參數(shù),l表示輸入數(shù)據(jù)中的第l個(gè)樣本,o與l的大小相等;
(7f)按照下式,對(duì)當(dāng)前子網(wǎng)絡(luò)除頂層以外每一層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行初始化;
其中,θj(t)表示當(dāng)前子網(wǎng)絡(luò)第t層初始化后的隱層單元矩陣第j列的所有元素,t的取值范圍是{T-1,....,2,1},T表示當(dāng)前子網(wǎng)絡(luò)的層數(shù),~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,Φ(t+1)θw(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層伽瑪分布的形狀參數(shù),Φ(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層字典矩陣,θw(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣第w列的所有元素,w表示輸入數(shù)據(jù)中的第w個(gè)樣本,表示第t+1層伽瑪分布的尺度參數(shù),x表示輸入數(shù)據(jù)中的第x個(gè)樣本,j、w與x的大小相等;
(8)訓(xùn)練當(dāng)前子網(wǎng)絡(luò):
(8a)按照從底層到頂層的順序,對(duì)當(dāng)前子網(wǎng)絡(luò)每一層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和全局參數(shù)字典矩陣進(jìn)行更新;
(8b)將當(dāng)前子網(wǎng)絡(luò)的頂層作為當(dāng)前訓(xùn)練層,對(duì)泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)、全局參數(shù)生成向量和隱層單元矩陣進(jìn)行更新;
(8c)將當(dāng)前子網(wǎng)絡(luò)的第T-1層、第T-2層直到第一層依次作為當(dāng)前訓(xùn)練層;
(8d)對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新;
(8e)對(duì)當(dāng)前子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)進(jìn)行更新;
(9)判斷當(dāng)前子網(wǎng)絡(luò)的訓(xùn)練次數(shù)是否等于訓(xùn)練迭代次數(shù),若是,則執(zhí)行步驟(10),否則,執(zhí)行步驟(8);
(10)將訓(xùn)練后的當(dāng)前子網(wǎng)絡(luò)的字典矩陣和生成向量等全局參數(shù)保存在Matlab工作空間中,并作為當(dāng)前子網(wǎng)絡(luò)的全局參數(shù);
(11)測(cè)試當(dāng)前子網(wǎng)絡(luò):
(11a)將帶有標(biāo)號(hào)的訓(xùn)練集和測(cè)試集一起作為當(dāng)前子網(wǎng)絡(luò)的輸入數(shù)據(jù);
(11b)將當(dāng)前子網(wǎng)絡(luò)的頂層作為當(dāng)前訓(xùn)練層,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新;
(11c)將當(dāng)前子網(wǎng)絡(luò)的第T-1層、第T-2層直到第一層依次作為當(dāng)前訓(xùn)練層;
(11d)對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新;
(12)判斷當(dāng)前子網(wǎng)絡(luò)的測(cè)試次數(shù)是否等于測(cè)試迭代次數(shù),若是,執(zhí)行步驟(13),否則,執(zhí)行步驟(11);
(13)對(duì)文本進(jìn)行分類(lèi);
(13a)利用帶有標(biāo)號(hào)的訓(xùn)練集和更新后的隱層單元矩陣和參數(shù),對(duì)支持向量機(jī)SVM分類(lèi)器進(jìn)行訓(xùn)練;
(13b)支持向量機(jī)SVM分類(lèi)器對(duì)測(cè)試集進(jìn)行分類(lèi),輸出預(yù)測(cè)的文本類(lèi)別;
(13c)比較測(cè)試集的預(yù)測(cè)文本類(lèi)別和標(biāo)準(zhǔn)文本類(lèi)別,輸出當(dāng)前子網(wǎng)絡(luò)的文本分類(lèi)正確率;
(14)判斷當(dāng)前子網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)是否為5,若是,則執(zhí)行步驟(15),否則,將下一個(gè)子網(wǎng)絡(luò)作為當(dāng)前子網(wǎng)絡(luò),執(zhí)行步驟(5);
(15)輸出文本分類(lèi)正確率和預(yù)測(cè)文本類(lèi)別:
(15a)從五個(gè)子網(wǎng)絡(luò)的文本分類(lèi)正確率中選取最大的文本分類(lèi)正確率;
(15b)輸出最大的文本分類(lèi)正確率及其與該正確率對(duì)應(yīng)的子網(wǎng)絡(luò)的預(yù)測(cè)文本類(lèi)別。
2.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(2a)中所述的泊松-伽瑪置信網(wǎng)絡(luò)的總網(wǎng)絡(luò)層數(shù)、輸入層維度、隱層維度、輸出層內(nèi)容設(shè)置如下:總網(wǎng)絡(luò)層數(shù)為5層,輸入層的維度值與文本語(yǔ)料庫(kù)對(duì)應(yīng)的詞表維度值相等,在{50,100,200,400,600,800}六個(gè)值中任意選取一個(gè)值作為所有子網(wǎng)絡(luò)第一層隱層維度的最大值,并且所有子網(wǎng)絡(luò)中第一層隱層維度為其他層隱層維度的上限;輸出層輸出文本分類(lèi)正確率和預(yù)測(cè)文本類(lèi)別。
3.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(2b)中所述設(shè)置的泊松-伽瑪置信網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)包括:輸入數(shù)據(jù)、先驗(yàn)分布為狄利克雷分布的全局參數(shù)字典矩陣、先驗(yàn)分布為伽瑪分布的隱層單元矩陣、生成向量、層內(nèi)增廣矩陣和層間增廣矩陣以及涉及到的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)。
4.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(8a)中所述對(duì)當(dāng)前子網(wǎng)絡(luò)每一層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和全局參數(shù)字典矩陣進(jìn)行更新的具體步驟如下:
第1步,將當(dāng)前子網(wǎng)絡(luò)的第一層、第二層直到頂層依次作為當(dāng)前訓(xùn)練層;
第2步,按照下式,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的層內(nèi)增廣矩陣,針對(duì)當(dāng)前訓(xùn)練層的維度進(jìn)行多項(xiàng)式采樣;
其中,表示對(duì)xvn(t)針對(duì)當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層的維度進(jìn)行多項(xiàng)式采樣的結(jié)果,每一個(gè)都是維度為V*N的矩陣,V表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層輸入數(shù)據(jù)矩陣的維度值,N表示樣本個(gè)數(shù),v的取值范圍是{1,2,....,Kt-1},Kt-1表示當(dāng)前子網(wǎng)絡(luò)的第t-1層隱層的維度值,n表示輸入數(shù)據(jù)中的第n個(gè)樣本,Kt表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層的維度值,v與n固定時(shí),分別對(duì)應(yīng)一個(gè)元素,xvn(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層的層內(nèi)增廣矩陣,φs:(t)表示s的取值范圍是{1,2,....,Kt-1},分別表示當(dāng)前訓(xùn)練層字典矩陣第1,2,....,k,....,Kt列的所有元素,θj(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層隱層單元矩陣第j列的所有元素,~表示等價(jià)關(guān)系符號(hào),Mult表示多項(xiàng)式分布,分別表示當(dāng)前訓(xùn)練層隱層單元矩陣第1,2,....,k,....,Kt行的所有元素,v與s的大小相等,n與j的大小相等;
第3步,按照下式,根據(jù)層間增廣矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的層間增廣矩陣進(jìn)行更新;
其中,mpf(t)(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t層層內(nèi)增廣矩陣與第t+1層層內(nèi)增廣矩陣之間的關(guān)系,p的取值范圍是{1,2,....,Kt},Kt表示當(dāng)前子網(wǎng)絡(luò)的第t層隱層的維度值,f表示輸入數(shù)據(jù)中的第f個(gè)樣本,Kt-1表示當(dāng)前子網(wǎng)絡(luò)的第t-1層隱層的維度值,xvzn(t)表示第2步采樣結(jié)果中對(duì)應(yīng)的元素,p與z的大小相等,f與n的大小相等;
第4步,按照下式,根據(jù)層內(nèi)增廣矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層下一層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的層內(nèi)增廣矩陣進(jìn)行更新;
(xJI(t+1)|mpf(t)(t+1),φS:(t+1),θw(t+1))~CRT(mpf(t)(t+1),φS:(t+1),θw(t+1))
其中,xJI(t+1)表示當(dāng)前子網(wǎng)絡(luò)第t+1層的層內(nèi)增廣矩陣,J的取值范圍是{1,2,....,Kt+1},Kt+1表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層的維度值,I表示輸入數(shù)據(jù)中的第I個(gè)樣本,mpf(t)(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t層層內(nèi)增廣矩陣與第t+1層層內(nèi)增廣矩陣之間的關(guān)系,p的取值范圍是{1,2,....,Kt},Kt表示當(dāng)前子網(wǎng)絡(luò)的第t層隱層的維度值,f表示第f個(gè)樣本,φS:(t+1)表示S的取值范圍是{1,2,....,Kt},分別表示當(dāng)前子網(wǎng)絡(luò)的第t+1層字典矩陣第1,2,....,Kt列的所有元素,θw(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣第w列的所有元素,CRT表示中國(guó)餐館過(guò)程中的最大餐桌分布,J、p與S的大小相等,I、f與w的大小相等;
第5步,按照下式,根據(jù)字典矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的字典矩陣進(jìn)行更新;
其中,φZ(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的字典矩陣第Z列的所有元素,~表示等價(jià)關(guān)系符號(hào),Dir表示狄利克雷分布,λ(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層狄利克雷的分布參數(shù),分別對(duì)應(yīng)第2步采樣結(jié)果中的元素,Kt-1表示當(dāng)前子網(wǎng)絡(luò)的第t-1層隱層的維度值,Z與z的大小相等。
5.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(8b)中所述對(duì)泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)、全局參數(shù)生成向量和隱層單元矩陣進(jìn)行更新的具體步驟如下:
第1步,按照下式,根據(jù)層內(nèi)增廣矩陣的后驗(yàn)概率,對(duì)第T+1層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的層內(nèi)增廣矩陣進(jìn)行更新;
(xHG(T+1)|mPF(T)(T+1),r)~CRT(mPF(T)(T+1),r)
其中,xHG(T+1)表示當(dāng)前子網(wǎng)絡(luò)第T+1層的層內(nèi)增廣矩陣,H的取值范圍是{1,2,....,KT+1},KT+1表示當(dāng)前子網(wǎng)絡(luò)的第T+1層隱層的維度值,G表示輸入數(shù)據(jù)中的第G個(gè)樣本,mPF(T)(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T層層內(nèi)增廣矩陣與第T+1層層內(nèi)增廣矩陣之間的關(guān)系,P的取值范圍是{1,2,....,KT},KT表示頂層的維度值,F表示第F個(gè)樣本,r表示頂層的生成向量,CRT表示中國(guó)餐館過(guò)程中的最大餐桌分布,H與P的大小相等,G與F的大小相等;
第2步,按照下式,根據(jù)生成向量的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的生成向量進(jìn)行更新;
其中,rm表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的生成向量的第m個(gè)元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,γ0=1,KT表示當(dāng)前子網(wǎng)絡(luò)頂層的維度值,xL.(T+1)表示當(dāng)前子網(wǎng)絡(luò)第T+1層的層內(nèi)增廣矩陣針對(duì)第T+1層隱層維度求和的結(jié)果,L表示當(dāng)前子網(wǎng)絡(luò)頂層的維度值,c0=1,ln表示對(duì)數(shù)符號(hào),pR(T+1)表示第T+1層中服從負(fù)二項(xiàng)式分布的第R個(gè)樣本的參數(shù),m與L的大小相等;
第3步,按照下式,根據(jù)參數(shù)的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)的參數(shù)進(jìn)行更新;
P(cl(T+1)|-)~Gamma(e0+r.,[f0+θ.o(T)]-1)
其中,cl(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T+1層更新后的伽瑪分布尺度參數(shù)的倒數(shù)值,l表示輸入數(shù)據(jù)中的第l個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0=1,r.表示頂層的生成向量針對(duì)頂層維度求和的結(jié)果,f0=1,KT表示當(dāng)前子網(wǎng)絡(luò)頂層隱層的維度值,θDo(T)表示當(dāng)前子網(wǎng)絡(luò)的頂層隱層單元矩陣的第D行、第o列元素,l與o的大小相等;
其中,pr(T)表示當(dāng)前子網(wǎng)絡(luò)頂層更新后的服從負(fù)二項(xiàng)式分布的第r個(gè)樣本的參數(shù),py(T-1)表示當(dāng)前子網(wǎng)絡(luò)的第T-1層中服從負(fù)二項(xiàng)式分布的第y個(gè)樣本的參數(shù),cu(T)表示當(dāng)前子網(wǎng)絡(luò)頂層的伽瑪分布尺度參數(shù)的倒數(shù)值,u表示輸入數(shù)據(jù)中的第u個(gè)樣本,r、y與u的大小相等;
第4步,按照下式,根據(jù)隱層單元矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行更新;
P(θo(T)|-)~Gamma(r+mF(T)(T+1),[cl(T+1)-ln(1-pr(T))]-1)
其中,θo(T)表示當(dāng)前子網(wǎng)絡(luò)頂層更新后的隱層單元矩陣第o列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,r表示頂層的生成向量,mF(T)(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T層層內(nèi)增廣矩陣與第T+1層層內(nèi)增廣矩陣之間的關(guān)系,F(xiàn)表示輸入數(shù)據(jù)中的第F個(gè)樣本,cl(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T+1層伽瑪分布尺度參數(shù)的倒數(shù)值,l表示第l個(gè)樣本,pr(T)表示當(dāng)前子網(wǎng)絡(luò)的第T層中服從負(fù)二項(xiàng)式分布的第r個(gè)樣本的參數(shù),o、F、l與r的大小相等。
6.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(8d)中所述對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新的具體步驟如下:
第1步,按照下式,根據(jù)參數(shù)的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層上一層中對(duì)當(dāng)前訓(xùn)練層具有影響的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的參數(shù)進(jìn)行更新;
P(cx(t+1)|-)~Gamma(e0+θ.w(t+1),[f0+θ.j(t)]-1)
其中,cx(t+1)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層的上一層更新后的伽瑪分布尺度參數(shù)的倒數(shù)值,x表示輸入數(shù)據(jù)中的第x個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0=1,θ.w(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣針對(duì)第t+1層隱層維度求和的結(jié)果,w表示第w個(gè)樣本,f0=1,θ.j(t)表示當(dāng)前子網(wǎng)絡(luò)的第t層隱層單元矩陣針對(duì)第t層隱層維度求和的結(jié)果,j表示第j個(gè)樣本,x、w與j的大小相等;
第2步,按照下式,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)進(jìn)行更新;
其中,pA(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的服從負(fù)二項(xiàng)式分布的第A個(gè)樣本的參數(shù),pB(t-1)表示當(dāng)前子網(wǎng)絡(luò)的第t-1層中服從負(fù)二項(xiàng)式分布的第B個(gè)樣本的參數(shù),cE(t)表示當(dāng)前子網(wǎng)絡(luò)的t層伽瑪分布尺度參數(shù)的倒數(shù),E表示輸入數(shù)據(jù)中的第E個(gè)樣本,A、B與E的大小相等;
第3步,按照下式,根據(jù)隱層單元矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行更新;
P(θj(t)|-)~Gamma(Φ(t+1)θw(t+1)+mf(t)(t+1),[cx(t+1)-ln(1-pA(t))]-1)
其中,θj(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的隱層單元矩陣第j列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,Φ(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層字典矩陣,θw(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣第w列的所有元素,mf(t)(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t層層內(nèi)增廣矩陣與第t+1層層內(nèi)增廣矩陣之間的關(guān)系,f表示輸入數(shù)據(jù)中的第f個(gè)樣本,cx(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層伽瑪分布尺度參數(shù)的倒數(shù)值,x表示第x個(gè)樣本,pA(t)表示當(dāng)前子網(wǎng)絡(luò)的第t層中服從負(fù)二項(xiàng)式分布的第A個(gè)樣本的參數(shù),j、w、f、x與A的大小相等。
7.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(8e)中所述對(duì)當(dāng)前子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)進(jìn)行更新的具體步驟如下:
第1步,按照下式,根據(jù)參數(shù)的后驗(yàn)概率,對(duì)當(dāng)前子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)和超參數(shù)進(jìn)行更新;
(pc(2)|-)~Beta(a0+m.Q(1)(2),b0+θ.g(2))
其中,pc(2)表示當(dāng)前子網(wǎng)絡(luò)第2層更新后的服從負(fù)二項(xiàng)式分布的第c個(gè)樣本的參數(shù),~表示等價(jià)關(guān)系符號(hào),Beta表示貝塔分布,a0表示貝塔分布參數(shù)1的初始值,a0=0.01,Q表示輸入數(shù)據(jù)中的第Q個(gè)樣本,K0表示當(dāng)前子網(wǎng)絡(luò)輸入層的維度值,xUO(1)表示當(dāng)前子網(wǎng)絡(luò)輸入層的層內(nèi)增廣矩陣的第U行、第O列元素,b0表示貝塔分布參數(shù)2的初始值,b0=0.01,θ.g(2)表示當(dāng)前子網(wǎng)絡(luò)的第2層隱層單元矩陣針對(duì)第2層隱層維度求和的結(jié)果,g表示第g個(gè)樣本,c、Q與g的大小相等;
第2步,按照下式,對(duì)當(dāng)前子網(wǎng)絡(luò)的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的概率分布對(duì)應(yīng)的參數(shù)進(jìn)行更新;
cd(2)=(1-pc(2))/pc(2)
其中,cd(2)表示當(dāng)前子網(wǎng)絡(luò)第2層更新后的伽瑪分布尺度參數(shù)的倒數(shù)值,d表示輸入數(shù)據(jù)中的第d個(gè)樣本,pc(2)表示當(dāng)前子網(wǎng)絡(luò)的第2層中服從負(fù)二項(xiàng)式分布的第c個(gè)樣本的參數(shù),d與c的大小相等。
8.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(11b)中所述對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新的具體步驟如下:
第1步,按照下式,根據(jù)參數(shù)的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)的參數(shù)進(jìn)行更新;
P(cl(T+1)|-)~Gamma(e0+r.,[f0+θ.o(T)]-1)
其中,cl(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T+1層更新后的伽瑪分布尺度參數(shù)的倒數(shù)值,l表示輸入數(shù)據(jù)中的第l個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0=1,r.表示頂層的生成向量針對(duì)頂層維度求和的結(jié)果,f0=1,KT表示當(dāng)前子網(wǎng)絡(luò)頂層的維度值,θDo(T)表示當(dāng)前子網(wǎng)絡(luò)頂層的隱層單元矩陣的第D行、第o列元素,l與o的大小相等;
其中,pr(T)表示當(dāng)前子網(wǎng)絡(luò)頂層更新后的服從負(fù)二項(xiàng)式分布的第r個(gè)樣本的參數(shù),py(T-1)表示當(dāng)前子網(wǎng)絡(luò)的第T-1層中服從負(fù)二項(xiàng)式分布的第y個(gè)樣本的參數(shù),cu(T)表示當(dāng)前子網(wǎng)絡(luò)頂層的伽瑪分布尺度參數(shù)的倒數(shù)值,u表示輸入數(shù)據(jù)中的第u個(gè)樣本,r、y與u的大小相等;
第2步,按照下式,根據(jù)隱層單元矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行更新;
P(θo(T)|-)~Gamma(r+mF(T)(T+1),[cl(T+1)-ln(1-pr(T))]-1)
其中,θo(T)表示當(dāng)前子網(wǎng)絡(luò)頂層更新后的隱層單元矩陣第o列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,r表示頂層的生成向量,mF(T)(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T層層內(nèi)增廣矩陣與第T+1層層內(nèi)增廣矩陣之間的關(guān)系,F(xiàn)表示輸入數(shù)據(jù)中的第F個(gè)樣本,cl(T+1)表示當(dāng)前子網(wǎng)絡(luò)的第T+1層伽瑪分布尺度參數(shù)的倒數(shù)值,l表示第l個(gè)樣本,pr(T)表示當(dāng)前子網(wǎng)絡(luò)頂層中服從負(fù)二項(xiàng)式分布的第r個(gè)樣本的參數(shù),o、F、l與r的大小相等。
9.根據(jù)權(quán)利要求1所述的基于泊松-伽瑪置信網(wǎng)絡(luò)主題模型的文本分析方法,其特征在于,步驟(11d)中所述對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)和隱層單元矩陣進(jìn)行更新的具體步驟如下:
第1步,按照下式,根據(jù)參數(shù)的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的上一層中對(duì)當(dāng)前訓(xùn)練層具有影響的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的參數(shù)進(jìn)行更新;
P(cx(t+1)|-)~Gamma(e0+θ.w(t+1),[f0+θ.j(t)]-1)
其中,cx(t+1)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層的上一層更新后的伽瑪分布尺度參數(shù)的倒數(shù)值,x表示輸入數(shù)據(jù)中的第x個(gè)樣本,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,e0=1,θ.w(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣針對(duì)第t+1層隱層維度求和的結(jié)果,w表示第w個(gè)樣本,f0=1,θ.j(t)表示當(dāng)前子網(wǎng)絡(luò)的第t層隱層單元矩陣針對(duì)第t層隱層維度求和的結(jié)果,j表示第j個(gè)樣本,x、w與j的大小相等;
第2步,按照下式,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的對(duì)應(yīng)參數(shù)進(jìn)行更新;
其中,pA(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的服從負(fù)二項(xiàng)式分布的第A個(gè)樣本的參數(shù),pB(t-1)表示當(dāng)前子網(wǎng)絡(luò)的第t-1層中服從負(fù)二項(xiàng)式分布的第B個(gè)樣本的參數(shù),cE(t)表示當(dāng)前子網(wǎng)絡(luò)的第t層伽瑪分布尺度參數(shù)的倒數(shù)值,E表示輸入數(shù)據(jù)中的第E個(gè)樣本,A、B與E的大小相等;
第3步,按照下式,根據(jù)隱層單元矩陣的后驗(yàn)概率,對(duì)當(dāng)前訓(xùn)練層的泊松-伽瑪置信網(wǎng)絡(luò)參數(shù)中所包含的隱層單元矩陣進(jìn)行更新;
P(θj(t)|-)~Gamma(Φ(t+1)θw(t+1)+mf(t)(t+1),[cx(t+1)-ln(1-pA(t))]-1)
其中,θj(t)表示當(dāng)前子網(wǎng)絡(luò)的當(dāng)前訓(xùn)練層更新后的隱層單元矩陣第j列的所有元素,~表示等價(jià)關(guān)系符號(hào),Gamma表示伽瑪分布,Φ(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層字典矩陣,θw(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層隱層單元矩陣第w列的所有元素,mf(t)(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t層層內(nèi)增廣矩陣與第t+1層層內(nèi)增廣矩陣之間的關(guān)系,f表示輸入數(shù)據(jù)中的第f個(gè)樣本,cx(t+1)表示當(dāng)前子網(wǎng)絡(luò)的第t+1層伽瑪分布尺度參數(shù)的倒數(shù)值,x表示第x個(gè)樣本,pA(t)表示當(dāng)前子網(wǎng)絡(luò)的第t層中服從負(fù)二項(xiàng)式分布的第A個(gè)樣本的參數(shù),j、w、f、x與A的大小相等。