本發(fā)明涉及文本處理,尤其涉及一種多層級標(biāo)簽生成模型的訓(xùn)練、文本分類方法及裝置。
背景技術(shù):
1、文本分類任務(wù)是指根據(jù)文本內(nèi)容為其分配一個或多個預(yù)先定義好的類別標(biāo)簽。隨著網(wǎng)絡(luò)信息豐富性和復(fù)雜性的不斷加深,文本分類任務(wù)已經(jīng)逐漸由普通的單層級標(biāo)簽分類任務(wù)逐步轉(zhuǎn)向多層級標(biāo)簽分類任務(wù)。
2、其中,多層級標(biāo)簽分類任務(wù)可以理解為將文本在具有層次結(jié)構(gòu)的標(biāo)簽空間中進(jìn)行分類,其難度和應(yīng)用場景相對復(fù)雜。其中,在圖1中示出了一種三層級的標(biāo)簽空間的示意圖。如圖1所示,文本分類標(biāo)簽是多層級的,一級標(biāo)簽中包含一個或者多個二級標(biāo)簽,二級標(biāo)簽中包含一個或者多個三級標(biāo)簽,針對一個文本完成多層級標(biāo)簽分類后,可以得到形如:“(一級標(biāo)簽:科教文旅)-(二級標(biāo)簽:科技生活)-(三級標(biāo)簽:其他科技信息)”的多層級標(biāo)簽。
3、然而,現(xiàn)有的多層級標(biāo)簽分類技術(shù)往往存在分類準(zhǔn)確性低,分類結(jié)果不符合標(biāo)簽層級架構(gòu)要求等問題,因此,如何能夠提供一種高效、準(zhǔn)確的多層級標(biāo)簽分類方法是目前有待解決的一項重要問題。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明實(shí)施例提供了一種多層級標(biāo)簽生成模型的訓(xùn)練、文本分類方法及裝置,以實(shí)現(xiàn)對文本進(jìn)行高效、準(zhǔn)確的多層級標(biāo)簽的預(yù)測。
2、根據(jù)本發(fā)明實(shí)施例的一方面,提供了一種多層級標(biāo)簽生成模型的訓(xùn)練方法,該方法包括:
3、獲取多個訓(xùn)練樣本,訓(xùn)練樣本包括標(biāo)準(zhǔn)文本,標(biāo)準(zhǔn)文本的多層級標(biāo)注標(biāo)簽和標(biāo)準(zhǔn)文本的無層級標(biāo)注標(biāo)簽;
4、將各訓(xùn)練樣本輸入至原始模型中,其中,原始模型包括序列到序列模型和多標(biāo)簽分類器,多標(biāo)簽分類器的輸入為序列到序列模型中編碼器的輸出;
5、根據(jù)多標(biāo)簽分類器輸出的各標(biāo)準(zhǔn)文本的無層級預(yù)測標(biāo)簽與匹配的無層級標(biāo)注標(biāo)簽之間的差異,以及序列到序列模型輸出的各標(biāo)準(zhǔn)文本的多層級預(yù)測標(biāo)簽與匹配的多層級標(biāo)注標(biāo)簽之間的差異,訓(xùn)練得到多層級標(biāo)簽生成模型;
6、其中,多層級標(biāo)簽生成模型的輸出為完成訓(xùn)練的序列到序列模型中譯碼器的輸出。
7、根據(jù)本發(fā)明的另一方面,提供了一種文本分類方法,該方法包括:
8、獲取待分類的目標(biāo)文本;
9、將所述目標(biāo)文本輸入至預(yù)先訓(xùn)練的多層級標(biāo)簽生成模型中,獲取目標(biāo)文本的多層級預(yù)測標(biāo)簽;其中,所述多層級標(biāo)簽生成模型通過如本發(fā)明實(shí)施例任一項所述的多層級標(biāo)簽生成模型的訓(xùn)練方法訓(xùn)練得到;
10、將所述目標(biāo)文本分類至與所述多層級預(yù)測標(biāo)簽匹配的文本集合中。
11、根據(jù)本發(fā)明實(shí)施例的另一方面,還提供了一種多層級標(biāo)簽生成模型的訓(xùn)練裝置,該裝置,包括:
12、訓(xùn)練樣本獲取模塊,用于獲取多個訓(xùn)練樣本,訓(xùn)練樣本包括標(biāo)準(zhǔn)文本,標(biāo)準(zhǔn)文本的多層級標(biāo)注標(biāo)簽和標(biāo)準(zhǔn)文本的無層級標(biāo)注標(biāo)簽;
13、訓(xùn)練樣本輸入模塊,用于將各訓(xùn)練樣本輸入至原始模型中,其中,原始模型包括序列到序列模型和多標(biāo)簽分類器,多標(biāo)簽分類器的輸入為序列到序列模型中編碼器的輸出;
14、模型訓(xùn)練模塊,用于根據(jù)多標(biāo)簽分類器輸出的各標(biāo)準(zhǔn)文本的無層級預(yù)測標(biāo)簽與匹配的無層級標(biāo)注標(biāo)簽之間的差異,以及序列到序列模型輸出的各標(biāo)準(zhǔn)文本的多層級預(yù)測標(biāo)簽與匹配的多層級標(biāo)注標(biāo)簽之間的差異,訓(xùn)練得到多層級標(biāo)簽生成模型;
15、其中,多層級標(biāo)簽生成模型的輸出為完成訓(xùn)練的序列到序列模型中譯碼器的輸出。
16、根據(jù)本發(fā)明實(shí)施例的另一方面,還提供了一種文本分類裝置,該裝置包括:
17、目標(biāo)文本獲取模塊,用于獲取待分類的目標(biāo)文本;
18、多層級預(yù)測標(biāo)簽獲取模塊,用于將所述目標(biāo)文本輸入至預(yù)先訓(xùn)練的多層級標(biāo)簽生成模型中,獲取目標(biāo)文本的多層級預(yù)測標(biāo)簽;其中,所述多層級標(biāo)簽生成模型通過如本發(fā)明實(shí)施例任一項所述的多層級標(biāo)簽生成模型的訓(xùn)練方法訓(xùn)練得到;
19、目標(biāo)文本分類模塊,用于將所述目標(biāo)文本分類至與所述多層級預(yù)測標(biāo)簽匹配的文本集合中。
20、根據(jù)本發(fā)明的另一方面,還提供了一種電子設(shè)備,所述電子設(shè)備包括:
21、至少一個處理器;以及
22、與所述至少一個處理器通信連接的存儲器;其中,
23、所述存儲器存儲有可被所述至少一個處理器執(zhí)行的計算機(jī)程序,所述計算機(jī)程序被所述至少一個處理器執(zhí)行,以使所述至少一個處理器能夠執(zhí)行如本發(fā)明任一實(shí)施例所述的多層級標(biāo)簽生成模型的訓(xùn)練方法,或者,執(zhí)行如本發(fā)明任一實(shí)施例所述的文本分類方法。
24、根據(jù)本發(fā)明的另一方面,還提供了一種計算機(jī)可讀存儲介質(zhì),所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)指令,所述計算機(jī)指令用于使處理器執(zhí)行時實(shí)現(xiàn)如本發(fā)明任一實(shí)施例所述的多層級標(biāo)簽生成模型的訓(xùn)練方法,或者,實(shí)現(xiàn)如本發(fā)明任一實(shí)施例所述的文本分類方法。
25、本發(fā)明實(shí)施例的技術(shù)方案,通過獲取多個訓(xùn)練樣本輸入至原始模型中,根據(jù)原始模型中多標(biāo)簽分類器輸出的各標(biāo)準(zhǔn)文本的無層級預(yù)測標(biāo)簽與匹配的無層級標(biāo)注標(biāo)簽之間的差異,以及原始模型中序列到序列模型輸出的各標(biāo)準(zhǔn)文本的多層級預(yù)測標(biāo)簽與匹配的多層級標(biāo)注標(biāo)簽之間的差異,訓(xùn)練得到多層級標(biāo)簽生成模型,并基于該多層級標(biāo)簽生成模型對目標(biāo)文本進(jìn)行多層級標(biāo)簽預(yù)測的技術(shù)手段,在序列到序列模型的結(jié)構(gòu)基礎(chǔ)上,融入了多標(biāo)簽分類任務(wù)的學(xué)習(xí),在充分利用序列到序列模型中豐富的語義信息和理解能力的基礎(chǔ)上,最大程度的挖掘出文本與所屬標(biāo)簽之間的潛在關(guān)系,可以進(jìn)一步提升多層級標(biāo)簽的預(yù)測準(zhǔn)確性。
26、應(yīng)當(dāng)理解,本部分所描述的內(nèi)容并非旨在標(biāo)識本發(fā)明的實(shí)施例的關(guān)鍵或重要特征,也不用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過以下的說明書而變得容易理解。
1.一種多層級標(biāo)簽生成模型的訓(xùn)練方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,獲取多個訓(xùn)練樣本,包括:
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,根據(jù)多標(biāo)簽分類器輸出的各標(biāo)準(zhǔn)文本的無層級預(yù)測標(biāo)簽與匹配的無層級標(biāo)注標(biāo)簽之間的差異,以及序列到序列模型輸出的各標(biāo)準(zhǔn)文本的多層級預(yù)測標(biāo)簽與匹配的多層級標(biāo)注標(biāo)簽之間的差異,訓(xùn)練得到多層級標(biāo)簽生成模型,包括:
4.根據(jù)權(quán)利要求1-3任一項所述的方法,其特征在于,所述序列到序列模型為預(yù)訓(xùn)練的文本到文本模型,所述文本到文本模型的輸出為以設(shè)定分隔符作為層級標(biāo)識的標(biāo)簽序列;
5.一種文本分類方法,其特征在于,包括:
6.根據(jù)權(quán)利要求5所述的方法,其特征在于,將所述目標(biāo)文本輸入至預(yù)先訓(xùn)練的多層級標(biāo)簽生成模型中,獲取目標(biāo)文本的多層級預(yù)測標(biāo)簽,包括:
7.一種多層級標(biāo)簽生成模型的訓(xùn)練裝置,其特征在于,包括:
8.一種文本分類裝置,其特征在于,包括:
9.一種電子設(shè)備,其特征在于,所述電子設(shè)備包括:
10.一種計算機(jī)可讀存儲介質(zhì),其特征在于,所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)指令,所述計算機(jī)指令用于使處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1-4中任一項所述的多層級標(biāo)簽生成模型的訓(xùn)練方法,或者,實(shí)現(xiàn)如權(quán)利要求5-6中任一項所述的文本分類方法。