本公開涉及進行對話的方法、計算設(shè)備、存儲介質(zhì)和程序產(chǎn)品等。

背景技術(shù)：

1、大語言模型在解決領(lǐng)域適用性問題時，往往需要通過微調(diào)來實現(xiàn)領(lǐng)域內(nèi)效果增強。然而由于部分領(lǐng)域數(shù)據(jù)在模型預(yù)訓練時沒涉及到，因此通常需要較多的微調(diào)樣本，而過多的微調(diào)樣本容易導致數(shù)據(jù)失衡從而產(chǎn)生額外的幻覺問題。

技術(shù)實現(xiàn)思路

1、本公開實施例提供了進行對話的方法以及相應(yīng)的執(zhí)行這些方法的計算設(shè)備、非暫時性機器可讀存儲介質(zhì)和計算機程序產(chǎn)品。

2、根據(jù)本公開實施例的第一個方面，提供了一種進行對話的方法，包括：接收請求文本；使用文本分類模型對所述請求文本進行分類，獲得所述請求文本所屬的問答領(lǐng)域；構(gòu)建提示，其中所述提示包括所述請求文本以及所述請求文本所屬的所述問答領(lǐng)域；以及將所述提示輸入大語言模型，得到與所述請求文本對應(yīng)的回答。

3、可選地，所述大語言模型是經(jīng)過微調(diào)的大語言模型，對大語言模型進行微調(diào)的過程包括：獲得屬于第一問答領(lǐng)域的一個或多個多輪對話；在所述一個或多個多輪對話中的相鄰兩輪對話之間插入至少一輪噪音對話，其中所述至少一輪噪音對話為與所述第一問答領(lǐng)域不同的問答領(lǐng)域的對話；以及使用一個或多個插入了所述至少一輪噪音對話的多輪對話作為微調(diào)樣本，對大語言模型進行微調(diào)，直到滿足微調(diào)停止條件，其中所述微調(diào)停止條件包括損失函數(shù)不再下降或者測試集指標達標或者迭代達到預(yù)設(shè)的微調(diào)次數(shù)。

4、可選地，所述相鄰兩輪對話是從所述一個或多個多輪對話中隨機選擇的相鄰兩輪對話；所述至少一輪噪音對話是從與所述第一問答領(lǐng)域不同的問答領(lǐng)域的對話中隨機選擇得到的。

5、可選地，所述噪音對話與所述相鄰兩輪對話有相關(guān)性，其中所述相關(guān)性包括：所述噪音對話包含與所述相鄰兩輪對話中的至少一輪對話中的實體相同或相似的實體；或者所述噪音對話中的一個槽位與所述相鄰兩輪對話中的至少一輪對話中的一個實體相似；或者所述噪音對話中的一個實體與所述相鄰兩輪對話中的至少一輪對話中的一個槽位相似；或者所述噪音對話與所述相鄰兩輪對話中的至少一輪對話的相似度超過閾值；或者在預(yù)定的一組噪音對話中所述噪音對話與所述相鄰兩輪對話中的至少一輪對話的相似度最高。

6、可選地，所述文本分類模型的訓練過程包括：預(yù)定義多個問答領(lǐng)域；按照所述預(yù)定義的多個問答領(lǐng)域分別標注多個對話作為訓練樣本；使用所述訓練樣本訓練所述文本分類模型，直到滿足訓練停止條件，其中所述訓練停止條件包括損失函數(shù)不再下降或者測試集指標達標或者迭代達到預(yù)設(shè)的訓練次數(shù)。

7、可選地，將所述提示輸入大語言模型，得到與所述請求文本對應(yīng)的回答，包括：使用所述大語言模型為所述提示生成一個或多個推理路徑；所述大語言模型至少基于所述一個或多個推理路徑為所述提示生成一個或多個候選回答；從所述一個或多個候選回答中確定所述回答。

8、根據(jù)本公開實施例的第二個方面，提供了一種對話裝置，包括：接收單元，用于接收請求文本；分類單元，用于使用文本分類模型對所述請求文本進行分類，獲得所述請求文本所屬的問答領(lǐng)域；構(gòu)建單元，用于構(gòu)建提示，其中所述提示包括所述請求文本以及所述請求文本所屬的所述問答領(lǐng)域；以及回復單元，用于將所述提示輸入大語言模型，得到與所述請求文本對應(yīng)的回答。

9、根據(jù)本公開實施例的第三個方面，提供了一種計算設(shè)備，包括：處理器；以及存儲器，其上存儲有可執(zhí)行代碼，當可執(zhí)行代碼被處理器執(zhí)行時，使處理器執(zhí)行如上述第一個方面中的任一方案所述的方法。

10、根據(jù)本公開實施例的第四個方面，提供了一種非暫時性機器可讀存儲介質(zhì)，其上存儲有可執(zhí)行代碼，當可執(zhí)行代碼被電子設(shè)備的處理器執(zhí)行時，使處理器執(zhí)行如上述第一個方面中的任一方案所述的方法。

11、根據(jù)本公開實施例的第五個方面，提供了一種計算機程序產(chǎn)品，包括可執(zhí)行代碼，當所述可執(zhí)行代碼被電子設(shè)備的處理器執(zhí)行時，使所述處理器執(zhí)行如上述第一個方面中的任一方案所述的方法。

技術(shù)特征：

1.一種進行對話的方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，

3.根據(jù)權(quán)利要求2所述的方法，其中，

4.根據(jù)權(quán)利要求2所述的方法，其中，

5.根據(jù)權(quán)利要求1所述的方法，其中，

6.根據(jù)權(quán)利要求1所述的方法，其中，將所述提示輸入大語言模型，得到與所述請求文本對應(yīng)的回答，包括：

7.一種對話裝置，包括：

8.一種計算設(shè)備，包括：

9.一種非暫時性機器可讀存儲介質(zhì)，其上存儲有可執(zhí)行代碼，當所述可執(zhí)行代碼被電子設(shè)備的處理器執(zhí)行時，使所述處理器執(zhí)行如權(quán)利要求1-6中任一項所述的方法。

10.一種計算機程序產(chǎn)品，包括可執(zhí)行代碼，當所述可執(zhí)行代碼被電子設(shè)備的處理器執(zhí)行時，使所述處理器執(zhí)行如權(quán)利要求1-6中任何一項所述的方法。

技術(shù)總結(jié)
本公開涉及一種進行對話的方法，其包括：接收請求文本；使用文本分類模型對所述請求文本進行分類，獲得所述請求文本所屬的問答領(lǐng)域；構(gòu)建提示，其中所述提示包括所述請求文本以及所述請求文本所屬的所述問答領(lǐng)域；以及將所述提示輸入大語言模型，得到與所述請求文本對應(yīng)的回答。利用本公開的方法，能夠有效解決大模型幻覺問題。

技術(shù)研發(fā)人員：安旭
受保護的技術(shù)使用者：武漢星紀魅族科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17