一種基于深度語義特征學(xué)習(xí)的短文本聚類方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及文本特征向量化表示領(lǐng)域,特別是涉及一種基于深度語義特征學(xué)習(xí)的 短文本聚類方法。
【背景技術(shù)】
[0002] 隨著社交媒體的廣泛流行,短文本聚類日益成為一項重要的任務(wù),它的主要挑戰(zhàn) 在于文本表示的稀疏性。為了克服這個困難,一些研宄者嘗試通過維基百科或本體庫對短 文本數(shù)據(jù)進(jìn)行豐富和擴(kuò)展??墒沁@些方法需要大量的自然語言處理知識,并且仍然采用高 維的特征表示,很容易浪費存儲和計算時間。另外一些研宄者嘗試開發(fā)復(fù)雜的模型用于聚 類短文本數(shù)據(jù)。但是如何設(shè)計一個有效的模型是一個開放性的問題,并且之前大多數(shù)方法 都是基于詞袋特征的潛層模型。
[0003] 隨著深度神經(jīng)網(wǎng)絡(luò)的興起,一些研宄者嘗試采用深度學(xué)習(xí)方法學(xué)習(xí)特征。如 Hinton等人利用深度自編碼模型(DAE)從原始特征數(shù)據(jù)中學(xué)習(xí)文本表示。近幾年,詞向 量化表示方法大大改善了神經(jīng)網(wǎng)絡(luò)模型的性能,如遞歸神經(jīng)網(wǎng)絡(luò)(RecNN)和循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN)。然而,遞歸神經(jīng)網(wǎng)絡(luò)需要構(gòu)建額外的句法樹并具有較高的復(fù)雜度,且循環(huán)神經(jīng)網(wǎng)絡(luò) 的文本語義表示更偏重于最后一個詞的表示信息。近日,卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在很多自然語 言處理領(lǐng)域取得多項突破性進(jìn)展。但目前大多數(shù)工作都致力于利用卷積神經(jīng)網(wǎng)絡(luò)做有監(jiān)督 任務(wù)學(xué)習(xí),如主題分類、關(guān)系分類等。本發(fā)明方法則著重于挖掘卷積神經(jīng)網(wǎng)絡(luò)在無監(jiān)督學(xué)習(xí) 任務(wù)的潛力,如文本聚類工作。
【發(fā)明內(nèi)容】
[0004] 本發(fā)明的主要目的在于提供一種基于深度語義特征學(xué)習(xí)的短文本聚類方法,從而 能夠?qū)⒑A空Z義相似的短文本進(jìn)行快速和準(zhǔn)確地聚類。
[0005] 為了實現(xiàn)上述目的,根據(jù)本發(fā)明的一方面,本發(fā)明提供了一種基于深度語義特征 學(xué)習(xí)的短文本聚類方法,包括以下步驟:
[0006] 選取訓(xùn)練文本,通過特征降維方法在局部信息保存約束下對所述訓(xùn)練文本的原始 特征進(jìn)行降維,并對低維實值向量進(jìn)行二值化;
[0007] 從所述訓(xùn)練文本中獲取詞特征,根據(jù)所述詞特征通過查表分別獲取所述詞特征對 應(yīng)的詞向量,以此作為卷積神經(jīng)網(wǎng)絡(luò)的輸入特征學(xué)習(xí)深度語義表示特征;
[0008] 所述卷積神經(jīng)網(wǎng)絡(luò)的輸出節(jié)點通過多個邏輯斯特回歸擬合降維得到二值碼;
[0009] 通過所述卷積神經(jīng)網(wǎng)絡(luò)輸出的二值特征與所述原始特征降維后二值化特征的擬 合殘差進(jìn)行誤差反向傳播訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)模型;
[0010] 利用所述更新后的卷積神經(jīng)網(wǎng)絡(luò)模型對所述訓(xùn)練文本進(jìn)行深度語義特征映射,然 后利用K均值聚類算法得到所述短文本的聚類結(jié)果。
[0011] 其中,所述選取訓(xùn)練文本,通過特征降維方法在局部信息保存約束下對所述訓(xùn)練 文本的原始特征進(jìn)行降維,并對低維實值向量進(jìn)行二值化的步驟包括:
[0012] 選取訓(xùn)練文本;
[0013] 根據(jù)所述訓(xùn)練文本構(gòu)造相似度矩陣;
[0014] 通過所述相似度矩陣獲取拉普拉斯特征向量;
[0015] 通過所述拉普拉斯特征向量獲取中值向量;
[0016] 通過所述中值向量對所述拉普拉斯特征向量進(jìn)行二值化,從而生成低維二值碼。
[0017] 其中,所述根據(jù)所述訓(xùn)練文本構(gòu)造相似度矩陣的步驟包括:
[0018] 根據(jù)下式計算所述相似度矩陣:
[0019]
[0020] 其中,Sij為所述相似度矩陣,。為局部縮放因子,NNk(X)為所述訓(xùn)練文本X的k 近鄰集合。
[0021] 其中,所述從訓(xùn)練文本中獲取詞特征,根據(jù)所述詞特征通過查表分別獲取詞特征 對應(yīng)的詞向量,以此作為卷積神經(jīng)網(wǎng)絡(luò)的輸入特征學(xué)習(xí)深度語義表示特征的步驟包括:
[0022] 從訓(xùn)練文本中獲取詞特征;
[0023] 根據(jù)所述詞特征通過查表分別獲取詞特征對應(yīng)的詞向量;
[0024] 將所述詞向量進(jìn)行一維卷積,獲取卷積后的特征矩陣;
[0025] 所述特征矩陣通過折疊操作和采樣進(jìn)行特征壓縮;
[0026] 從所述壓縮后特征中動態(tài)選取K最大神經(jīng)單元;
[0027] 所述K最大神經(jīng)單元根據(jù)正切激活函數(shù)得到所述訓(xùn)練文本的隱式語義特征。
[0028] 其中,所述折疊操作和采樣操作分別為:
[0029] 折疊操作:對卷積層相鄰兩行神經(jīng)元特征按對應(yīng)所在列進(jìn)行簡單求和,給定一個 dw行的卷積層,通過折疊操作可以得到dw/2行特征;以及
[0030] 采樣操作:根據(jù)輸入文本長度進(jìn)行動態(tài)K最大神經(jīng)單元采樣。
[0031] 所述從所述壓縮后特征中動態(tài)選取K最大神經(jīng)單元的步驟包括:
[0032] 給定一個頂層采樣的參數(shù)Kttjp,則第1層的采樣參數(shù)K可根據(jù)如下公式計算得到:
[0033]
[0034] 其中,L是選用卷積神經(jīng)網(wǎng)絡(luò)的層數(shù),歹為短文本的長度。
[0035] 其中,所述K最大神經(jīng)單元根據(jù)正切激活函數(shù)得到所述訓(xùn)練文本的隱式語義特征 的步驟包括:
[0036] 根據(jù)下式計算所述訓(xùn)練文本的隱式語義特征:
[0037]
[0038] 其中,h為所述訓(xùn)練文本的隱式語義特征。
[0039] 其中,所述通過所述卷積神經(jīng)網(wǎng)絡(luò)輸出的二值特征與所述原始特征降維后二值化 特征的擬合殘差進(jìn)行誤差反向傳播訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)模型的步驟包括:
[0040] 將所述訓(xùn)練文本的隱式語義特征通過卷積神經(jīng)網(wǎng)絡(luò)模型的全連接輸出到輸出 層;
[0041] 在所述輸出層特征上添加多個邏輯斯特回歸進(jìn)行特征變換,得到最終輸出特征;
[0042] 將所述低維二值碼同所述最終輸出特征的殘差進(jìn)行誤差反向傳播得到更新的卷 積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)。
[0043] 其中,所述將低維二值碼同所述最終輸出特征的殘差進(jìn)行誤差反向傳播得到更新 的卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)的步驟中,所述卷積神經(jīng)網(wǎng)絡(luò)模型采用交叉熵作為優(yōu)化目標(biāo)函 數(shù),并利用基于梯度下降的Adagrad更新規(guī)則。
[0044] 其中,所述訓(xùn)練文本來自兩種公開短文本數(shù)據(jù)集:
[0045] SearchSnippets:該數(shù)據(jù)集搜集了網(wǎng)絡(luò)檢索引擎的結(jié)果片段,按照事先預(yù)定的領(lǐng) 域范圍檢索詞將檢索結(jié)果劃分為8個類別;
[0046] StackOverflow:該數(shù)據(jù)集包含了從2012年7月31日至2012年8月14日的3百 多萬條問題,從其中20個不同類別標(biāo)簽下隨機(jī)抽取了 2萬條文本。
[0047] 由上述技術(shù)方案可知,本發(fā)明的方法采用外部大規(guī)模語料無監(jiān)督訓(xùn)練詞向量,并 對文本中每個詞按詞序進(jìn)行向量化表示,做為卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的初始化輸入特征學(xué)習(xí)文 本的隱式語義特征。得到文本的深度語義特征表示之后,本發(fā)明采用傳統(tǒng)的K均值算法對 文本進(jìn)行聚類,可以得到更好的聚類結(jié)果。
[0048] 相比于基于知識庫語義擴(kuò)展的短文本聚類方法,本發(fā)明方法不需要額外的自然語 言處理等專業(yè)知識。相比于基于復(fù)雜模型語義抽取的短文本聚類方法,本發(fā)明方法設(shè)計簡 單而且可學(xué)習(xí)深度的語義特征。而且與目前流型的基于語言模型的無監(jiān)督深度學(xué)習(xí)模型不 同,本發(fā)明方法學(xué)習(xí)到的語義特征具有無偏性,可更有效地達(dá)到較好的聚類性能。
【附圖說明】
[0049] 圖1為作為本發(fā)明一個實施例的基于深度語義特征學(xué)習(xí)的短文本聚類方法的流 程圖;
[0050] 圖2為作為本發(fā)明一個實施例的基于深度語義特征學(xué)習(xí)的短文本聚類方法的框 架示意圖;
[0051] 圖3為在本發(fā)明一個實施例中采用的一種深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖;
[0052] 圖4為本發(fā)明一個實施例中基于深度特征表示的聚類的性能示意圖;
[0053] 圖5為本發(fā)明另一個實施例中基于深度特征表示的聚類的性能示意圖。
【具體實施方式】
[0054] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白,以下結(jié)合具體實施例,并參照 附圖,對本發(fā)明作進(jìn)一步的詳細(xì)說明。
[0055] 本發(fā)明的總體構(gòu)思是,通過特征降維方法在局部信息保存約束下對原始特征進(jìn)行 降維,并對低維實值向量進(jìn)行二值化,以此二值化特征做為卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的監(jiān)督信息 進(jìn)行誤差反向傳播訓(xùn)練模型。利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對短文本集合進(jìn)行特征映 射,得到文本的深