本申請(qǐng)涉及文本處理，具體涉及一種文本應(yīng)答方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著aigc(ai?generated?content，人工智能生成內(nèi)容)技術(shù)的興起，人們熱衷于使用各種ai工具進(jìn)行創(chuàng)作，例如，比較常見(jiàn)的ai工具有各種基于llm(large?languagemodel，大規(guī)模語(yǔ)言模型)搭建的聊天工具等等。

2、然而，由于模型本身因素，這類大規(guī)模語(yǔ)言模型可能會(huì)出現(xiàn)無(wú)法準(zhǔn)確理解用戶輸入的文本的現(xiàn)象，尤其是針對(duì)于用戶輸入了一些攜帶有修辭手法的文本，語(yǔ)言模型往往會(huì)從文本的字面意思進(jìn)行理解，導(dǎo)致模型輸出的結(jié)果不正確。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種文本應(yīng)答方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，用以解決現(xiàn)有的語(yǔ)言模型在處理用戶輸入的部分文本所存在的應(yīng)答結(jié)果不準(zhǔn)確的問(wèn)題。

2、第一方面，本申請(qǐng)?zhí)峁┮环N文本應(yīng)答方法，包括：

3、獲取待處理文本；

4、根據(jù)文本規(guī)范化模型對(duì)所述待處理文本進(jìn)行處理，得到所述待處理文本對(duì)應(yīng)的規(guī)范文本；

5、將所述規(guī)范文本輸入至預(yù)設(shè)的語(yǔ)言模型，得到所述待處理文本對(duì)應(yīng)的應(yīng)答文本。

6、作為本申請(qǐng)的一種可行實(shí)施例，所述根據(jù)文本規(guī)范化模型對(duì)所述待處理文本進(jìn)行處理，得到所述待處理文本對(duì)應(yīng)的規(guī)范文本，包括：

7、根據(jù)所述待處理文本對(duì)應(yīng)的場(chǎng)景領(lǐng)域信息，獲取與所述場(chǎng)景領(lǐng)域信息對(duì)應(yīng)的目標(biāo)文本規(guī)范化模型；所述目標(biāo)文本規(guī)范化模型是基于所述場(chǎng)景領(lǐng)域信息對(duì)應(yīng)的訓(xùn)練文本訓(xùn)練得到；

8、根據(jù)所述目標(biāo)文本規(guī)范化模型對(duì)所述待處理文本進(jìn)行處理，得到所述待處理文本對(duì)應(yīng)的規(guī)范文本。

9、作為本申請(qǐng)的一種可行實(shí)施例，所述將所述規(guī)范文本輸入至預(yù)設(shè)的語(yǔ)言模型，得到所述待處理文本對(duì)應(yīng)的應(yīng)答文本，包括：

10、將所述待處理文本輸入至預(yù)設(shè)的語(yǔ)言模型中進(jìn)行處理，得到第一應(yīng)答文本，以及將所述規(guī)范文本輸入至所述語(yǔ)言模型中進(jìn)行處理，得到第二應(yīng)答文本；

11、根據(jù)所述第一應(yīng)答文本和所述第二應(yīng)答文本之間的相似度，將所述第一應(yīng)答文本和所述第二應(yīng)答文本中的至少一者確定為所述待處理文本對(duì)應(yīng)的應(yīng)答文本。

12、作為本申請(qǐng)的一種可行實(shí)施例，所述根據(jù)所述第一應(yīng)答文本和所述第二應(yīng)答文本之間的相似度，將所述第一應(yīng)答文本和所述第二應(yīng)答文本中的至少一者確定為所述待處理文本對(duì)應(yīng)的應(yīng)答文本，包括：

13、若所述第一應(yīng)答文本和所述第二應(yīng)答文本之間的相似度大于預(yù)設(shè)的相似度閾值，則將所述第一應(yīng)答文本確定為所述待處理文本對(duì)應(yīng)的應(yīng)答文本；

14、若所述第一應(yīng)答文本和所述第二應(yīng)答文本之間的相似度小于預(yù)設(shè)的相似度閾值，則將所述第二應(yīng)答文本確定為所述待處理文本對(duì)應(yīng)的應(yīng)答文本。

15、作為本申請(qǐng)的一種可行實(shí)施例，所述文本規(guī)范化模型是通過(guò)如下步驟獲取得到：

16、獲取訓(xùn)練文本；

17、基于所述訓(xùn)練文本中各字詞的詞性標(biāo)注信息，和/或，預(yù)設(shè)的命名實(shí)體識(shí)別模型確定所述訓(xùn)練文本中的目標(biāo)字詞；

18、對(duì)所述訓(xùn)練文本中的目標(biāo)字詞進(jìn)行處理，得到與所述訓(xùn)練文本對(duì)應(yīng)的標(biāo)簽文本；

19、基于所述訓(xùn)練文本以及所述標(biāo)簽文本訓(xùn)練生成文本規(guī)范化模型。

20、作為本申請(qǐng)的一種可行實(shí)施例，所述基于所述訓(xùn)練文本以及所述標(biāo)簽文本訓(xùn)練生成文本規(guī)范化模型，包括：

21、基于所述訓(xùn)練文本中的第一訓(xùn)練文本以及所述標(biāo)簽文本中的第一標(biāo)簽文本對(duì)預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，生成初始化模型；

22、基于所述訓(xùn)練文本中的第二訓(xùn)練文本輸入至所述初始化模型中得到的輸出文本，以及所述標(biāo)簽文本中的第二標(biāo)簽文本，對(duì)預(yù)設(shè)的初始化打分模型進(jìn)行訓(xùn)練，生成目標(biāo)打分模型；

23、基于所述初始化模型以及所述目標(biāo)打分模型對(duì)預(yù)設(shè)的初始規(guī)范化模型進(jìn)行訓(xùn)練，得到文本規(guī)范化模型。

24、作為本申請(qǐng)的一種可行實(shí)施例，所述根據(jù)預(yù)先訓(xùn)練得到的文本規(guī)范化模型對(duì)所述待處理文本進(jìn)行處理，得到所述待處理文本對(duì)應(yīng)的規(guī)范文本，包括：

25、根據(jù)所述待處理文本對(duì)應(yīng)的場(chǎng)景領(lǐng)域信息，獲取與所述場(chǎng)景領(lǐng)域信息對(duì)應(yīng)的目標(biāo)文本規(guī)范化模型；所述目標(biāo)文本規(guī)范化模型是基于所述場(chǎng)景領(lǐng)域信息對(duì)應(yīng)的訓(xùn)練文本訓(xùn)練得到；

26、根據(jù)所述目標(biāo)文本規(guī)范化模型對(duì)所述待處理文本進(jìn)行處理，得到所述待處理文本對(duì)應(yīng)的規(guī)范文本。

27、作為本申請(qǐng)的一種可行實(shí)施例，所述根據(jù)文本規(guī)范化模型對(duì)所述待處理文本進(jìn)行處理，得到所述待處理文本對(duì)應(yīng)的規(guī)范文本的步驟之前，所述方法還包括：

28、對(duì)所述待處理文本進(jìn)行語(yǔ)義識(shí)別處理，得到所述待處理文本中各字詞的詞性信息；

29、若所述待處理文本中包含詞性信息為目標(biāo)詞性的待規(guī)范字詞，則執(zhí)行所述根據(jù)文本規(guī)范化模型對(duì)所述待處理文本進(jìn)行處理，得到所述待處理文本對(duì)應(yīng)的規(guī)范文本的步驟。

30、第二方面，本申請(qǐng)?zhí)峁┮环N文本應(yīng)答裝置，包括：

31、獲取模塊，用于獲取待處理文本；

32、處理模塊，用于根據(jù)文本規(guī)范化模型對(duì)所述待處理文本進(jìn)行處理，得到所述待處理文本對(duì)應(yīng)的規(guī)范文本；

33、應(yīng)答模塊，用于將所述規(guī)范文本輸入至預(yù)設(shè)的語(yǔ)言模型，得到所述待處理文本對(duì)應(yīng)的應(yīng)答文本。

34、第三方面，本申請(qǐng)還提供一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括：

35、一個(gè)或多個(gè)處理器；

36、存儲(chǔ)器；以及

37、一個(gè)或多個(gè)應(yīng)用程序，其中所述一個(gè)或多個(gè)應(yīng)用程序被存儲(chǔ)于所述存儲(chǔ)器中，并配置為由所述處理器執(zhí)行上述任一項(xiàng)提供的文本應(yīng)答方法。

38、第四方面，本申請(qǐng)還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器進(jìn)行加載，以執(zhí)行上述任一項(xiàng)所述的文本應(yīng)答方法。

39、本申請(qǐng)實(shí)施例提供的文本應(yīng)答方法，在獲取到用戶輸入的待處理文本后，會(huì)先基于訓(xùn)練好的文本規(guī)范化模型來(lái)對(duì)待處理文本進(jìn)行處理，得到對(duì)待處理文本進(jìn)行規(guī)范化處理之后的規(guī)范文本，然后將規(guī)范文本輸入至預(yù)設(shè)的語(yǔ)言模型中，由于規(guī)范文本是基于預(yù)先訓(xùn)練好的文本規(guī)范化模型對(duì)待處理文本得到，因此，相較于待處理文本，規(guī)范文本中的文本描述更加規(guī)范化，在輸入至語(yǔ)言模型進(jìn)行處理時(shí)，更利于語(yǔ)言模型理解用戶的意圖，從而更準(zhǔn)確的輸出對(duì)應(yīng)的應(yīng)答信息。

技術(shù)特征：

1.一種文本應(yīng)答方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的文本應(yīng)答方法，其特征在于，所述根據(jù)文本規(guī)范化模型對(duì)所述待處理文本進(jìn)行處理，得到所述待處理文本對(duì)應(yīng)的規(guī)范文本，包括：

3.根據(jù)權(quán)利要求1所述的文本應(yīng)答方法，其特征在于，所述將所述規(guī)范文本輸入至預(yù)設(shè)的語(yǔ)言模型，得到所述待處理文本對(duì)應(yīng)的應(yīng)答文本，包括：

4.根據(jù)權(quán)利要求3所述的文本應(yīng)答方法，其特征在于，所述根據(jù)所述第一應(yīng)答文本和所述第二應(yīng)答文本之間的相似度，將所述第一應(yīng)答文本和所述第二應(yīng)答文本中的至少一者確定為所述待處理文本對(duì)應(yīng)的應(yīng)答文本，包括：

5.根據(jù)權(quán)利要求1所述的文本應(yīng)答方法，其特征在于，所述文本規(guī)范化模型是通過(guò)如下步驟獲取得到：

6.根據(jù)權(quán)利要求5所述的文本應(yīng)答方法，其特征在于，所述基于所述訓(xùn)練文本以及所述標(biāo)簽文本訓(xùn)練生成文本規(guī)范化模型，包括：

7.根據(jù)權(quán)利要求1～6任一項(xiàng)所述的文本應(yīng)答方法，其特征在于，所述根據(jù)文本規(guī)范化模型對(duì)所述待處理文本進(jìn)行處理，得到所述待處理文本對(duì)應(yīng)的規(guī)范文本的步驟之前，所述方法還包括：

8.一種文本應(yīng)答裝置，其特征在于，包括：

9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器進(jìn)行加載，以執(zhí)行權(quán)利要求1至7任一項(xiàng)所述的文本應(yīng)答方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N文本應(yīng)答方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，方法包括：獲取待處理文本；根據(jù)文本規(guī)范化模型對(duì)待處理文本進(jìn)行處理，得到待處理文本對(duì)應(yīng)的規(guī)范文本；將規(guī)范文本輸入至預(yù)設(shè)的語(yǔ)言模型，得到待處理文本對(duì)應(yīng)的應(yīng)答文本。本申請(qǐng)實(shí)施例提供的文本應(yīng)答方法，會(huì)先基于文本規(guī)范化模型來(lái)對(duì)待處理文本進(jìn)行處理，得到規(guī)范文本，然后將規(guī)范文本輸入至預(yù)設(shè)的語(yǔ)言模型中，相較于待處理文本，規(guī)范文本中的文本描述更加規(guī)范化，在輸入至語(yǔ)言模型進(jìn)行處理時(shí)，更利于語(yǔ)言模型理解用戶的意圖，從而更準(zhǔn)確的輸出對(duì)應(yīng)的應(yīng)答信息。

技術(shù)研發(fā)人員：蔡云龍
受保護(hù)的技術(shù)使用者：TCL科技集團(tuán)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19