本申請涉及計算機,尤其涉及一種數(shù)據(jù)處理方法、裝置、電子設(shè)備、存儲介質(zhì)及程序產(chǎn)品。
背景技術(shù):
1、在人機交互的場景中,對會話意圖進行識別是文本理解的關(guān)鍵,通常一個句子或文檔中存在同時包含多個意圖的情況,相較于單一意圖的識別,多意圖識別的難度更高,需要分辨多個意圖之間的關(guān)系。相關(guān)技術(shù)對會話中的有效意圖數(shù)量進行識別,在不同領(lǐng)域的詞庫中檢索拼接,確定完整話術(shù)文本,無法高效確定多意圖場景下的會話邏輯,意圖識別的準確率不高。
技術(shù)實現(xiàn)思路
1、本申請實施例提供一種數(shù)據(jù)處理方法、裝置、電子設(shè)備、存儲介質(zhì)及程序產(chǎn)品,能夠提高意圖識別的準確率。
2、本申請實施例的技術(shù)方案是這樣實現(xiàn)的:
3、本申請實施例提供一種數(shù)據(jù)處理方法,所述方法包括:
4、獲取樣本文本數(shù)據(jù),每個所述樣本文本數(shù)據(jù)標注了不同意圖等級的意圖標簽;
5、基于每個所述樣本文本數(shù)據(jù),對模型分別進行訓(xùn)練,得到每個所述意圖等級的意圖識別模型;
6、通過每個所述意圖識別模型對第一測試樣本進行意圖分類處理,得到每個所述意圖識別模型對應(yīng)的預(yù)測意圖序列,所述預(yù)測意圖序列用于表征第一預(yù)測意圖標簽對應(yīng)的意圖在所述第一測試樣本中的出現(xiàn)順序,第一預(yù)測意圖標簽是所述意圖識別模型針對所述第一測試樣本預(yù)測得到的意圖標簽;
7、基于所述第一測試樣本的意圖知識圖譜與每個所述意圖識別模型對應(yīng)的預(yù)測意圖序列,確定每個所述意圖等級組成的意圖優(yōu)先級排序;
8、基于所述意圖優(yōu)先級排序修改所述樣本文本數(shù)據(jù)的意圖標簽,得到標簽遷移的樣本文本數(shù)據(jù)。
9、本申請實施例提供一種數(shù)據(jù)處理裝置,包括:
10、模型訓(xùn)練模塊,用于獲取樣本文本數(shù)據(jù),每個所述樣本文本數(shù)據(jù)標注了不同意圖等級的意圖標簽;基于每個所述樣本文本數(shù)據(jù),對模型分別進行訓(xùn)練,得到每個所述意圖等級的意圖識別模型;
11、優(yōu)先級排序模塊,用于通過每個所述意圖識別模型對第一測試樣本進行意圖分類處理,得到每個所述意圖識別模型對應(yīng)的預(yù)測意圖序列,所述預(yù)測意圖序列用于表征第一預(yù)測意圖標簽對應(yīng)的意圖在所述第一測試樣本中的出現(xiàn)順序,第一預(yù)測意圖標簽是所述意圖識別模型針對所述第一測試樣本預(yù)測得到的意圖標簽;基于所述第一測試樣本的意圖知識圖譜與每個所述意圖識別模型對應(yīng)的預(yù)測意圖序列,確定每個所述意圖等級組成的意圖優(yōu)先級排序;
12、標簽遷移模塊,用于基于所述意圖優(yōu)先級排序修改所述樣本文本數(shù)據(jù)的意圖標簽,得到標簽遷移的樣本文本數(shù)據(jù)。
13、本申請實施例提供一種電子設(shè)備,所述電子設(shè)備包括:
14、存儲器,用于存儲計算機可執(zhí)行指令或者計算機程序;
15、處理器,用于執(zhí)行所述存儲器中存儲的計算機可執(zhí)行指令或者計算機程序時,實現(xiàn)本申請實施例提供的數(shù)據(jù)處理方法。
16、本申請實施例提供一種計算機可讀存儲介質(zhì),存儲有計算機程序或計算機可執(zhí)行指令,用于被處理器執(zhí)行時實現(xiàn)本申請實施例提供的數(shù)據(jù)處理方法。
17、本申請實施例提供一種計算機程序產(chǎn)品,包括計算機程序或計算機可執(zhí)行指令,所述計算機程序或計算機可執(zhí)行指令被處理器執(zhí)行時,實現(xiàn)本申請實施例提供的數(shù)據(jù)處理方法。
18、本申請實施例具有以下有益效果:
19、根據(jù)標注了不同意圖等級的樣本文本數(shù)據(jù),對模型分別進行訓(xùn)練,得到每個意圖等級對應(yīng)的意圖識別模型,有助于意圖識別模型更準確地理解不同的意圖。通過對每個意圖識別模型意圖分類處理,得到意圖識別模型對應(yīng)的預(yù)測意圖序列,基于第一測試樣本的意圖知識圖譜與每個意圖識別模型對應(yīng)的預(yù)測意圖序列,確定每個意圖等級組成的意圖優(yōu)先級排序,意圖優(yōu)先級排序能夠用于識別多意圖場景下需要優(yōu)先處理的意圖。根據(jù)意圖優(yōu)先級排序修改樣本文本數(shù)據(jù)的意圖標簽,實現(xiàn)樣本文本數(shù)據(jù)的標簽遷移,提高意圖識別的準確性和效率。
1.一種數(shù)據(jù)處理方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述基于每個所述樣本文本數(shù)據(jù),對模型分別進行訓(xùn)練,得到每個所述意圖等級的意圖識別模型,包括:
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,在所述基于每個所述樣本文本數(shù)據(jù),對模型分別進行訓(xùn)練,得到每個所述意圖等級的意圖識別模型之后,所述方法還包括:
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述效果指標包括以下至少一種:準確率、精確率以及召回率;
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,在所述基于每個所述樣本文本數(shù)據(jù),對模型分別進行訓(xùn)練,得到每個所述意圖等級的意圖識別模型之后,所述方法還包括:
6.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述通過每個所述意圖識別模型對第一測試樣本進行意圖分類處理,得到每個所述意圖識別模型對應(yīng)的預(yù)測意圖序列,包括:
7.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述基于所述第一測試樣本的意圖知識圖譜與每個所述意圖識別模型對應(yīng)的預(yù)測意圖序列,確定每個所述意圖等級組成的意圖優(yōu)先級排序,包括:
8.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述意圖標簽的類型包括:預(yù)配置標簽以及非預(yù)配置標簽;
9.一種數(shù)據(jù)處理裝置,其特征在于,所述裝置包括:
10.一種電子設(shè)備,其特征在于,所述電子設(shè)備包括:
11.一種計算機可讀存儲介質(zhì),存儲有計算機可執(zhí)行指令或者計算機程序,其特征在于,所述計算機可執(zhí)行指令或者計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至8任一項所述的數(shù)據(jù)處理方法。
12.一種計算機程序產(chǎn)品,包括計算機可執(zhí)行指令或計算機程序,其特征在于,所述計算機可執(zhí)行指令或計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至8任一項所述的數(shù)據(jù)處理方法。