本申請涉及計(jì)算機(jī)，尤其涉及一種提示詞的優(yōu)化方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著計(jì)算機(jī)技術(shù)和自然語言處理(natural?language?processing，nlp)技術(shù)的不斷發(fā)展，語言模型的規(guī)模逐漸擴(kuò)大，為了獲得更好的模型推理效果，提示學(xué)習(xí)應(yīng)運(yùn)而生。

2、提示學(xué)習(xí)，是指在不改動(dòng)預(yù)訓(xùn)練語言模型參數(shù)的基礎(chǔ)上，通過提示詞(prompt)對下游任務(wù)進(jìn)行改造，使得預(yù)訓(xùn)練語言模型能夠更好地理解下游任務(wù)，從而獲得更好的模型推理效果。

3、在提示學(xué)習(xí)中，提示詞的設(shè)計(jì)尤為重要。相關(guān)技術(shù)中，技術(shù)人員可以利用語言模型實(shí)現(xiàn)提示詞的自動(dòng)優(yōu)化，然而，上述方式難以滿足不同業(yè)務(wù)中的任務(wù)處理需求。

技術(shù)實(shí)現(xiàn)思路

1、本申請?zhí)峁┝艘环N提示詞的優(yōu)化方法。該方法能夠提升提示詞在特定業(yè)務(wù)中的提示效果。本申請還提供了上述方法對應(yīng)的裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本申請?zhí)峁┝艘环N提示詞的優(yōu)化方法，該方法包括：

3、獲取與目標(biāo)業(yè)務(wù)關(guān)聯(lián)的至少一個(gè)第一提示詞，以及，獲取所述目標(biāo)業(yè)務(wù)相關(guān)的業(yè)務(wù)數(shù)據(jù)樣本集；其中，所述業(yè)務(wù)數(shù)據(jù)樣本集中的數(shù)據(jù)樣本包括標(biāo)注結(jié)果；

4、針對所述至少一個(gè)第一提示詞中的每個(gè)第一提示詞，執(zhí)行以下步驟：

5、獲取該第一提示詞在所述業(yè)務(wù)數(shù)據(jù)樣本集上的第一評估結(jié)果，基于所述第一評估結(jié)果，確定該第一提示詞對應(yīng)的錯(cuò)誤樣本信息；向第一語言模型發(fā)送用于優(yōu)化該第一提示詞的目標(biāo)提示詞，所述目標(biāo)提示詞包括該第一提示詞以及該第一提示詞對應(yīng)的錯(cuò)誤樣本信息；獲取第一語言模型輸出的第二提示詞。

6、第二方面，本申請?zhí)峁┝艘环N提示詞的優(yōu)化裝置，該裝置包括：

7、獲取模塊，用于獲取與目標(biāo)業(yè)務(wù)關(guān)聯(lián)的至少一個(gè)第一提示詞，以及，獲取所述目標(biāo)業(yè)務(wù)相關(guān)的業(yè)務(wù)數(shù)據(jù)樣本集；其中，所述業(yè)務(wù)數(shù)據(jù)樣本集中的數(shù)據(jù)樣本包括標(biāo)注結(jié)果；

8、執(zhí)行模塊，用于針對所述至少一個(gè)第一提示詞中的每個(gè)第一提示詞，執(zhí)行以下步驟：獲取該第一提示詞在所述業(yè)務(wù)數(shù)據(jù)樣本集上的第一評估結(jié)果，基于所述第一評估結(jié)果，確定該第一提示詞對應(yīng)的錯(cuò)誤樣本信息；向第一語言模型發(fā)送用于優(yōu)化該第一提示詞的目標(biāo)提示詞，所述目標(biāo)提示詞包括該第一提示詞以及該第一提示詞對應(yīng)的錯(cuò)誤樣本信息；獲取第一語言模型輸出的第二提示詞。

9、第三方面，本申請?zhí)峁┝艘环N電子設(shè)備，所述電子設(shè)備包括處理器和存儲器。所述處理器、所述存儲器進(jìn)行相互的通信。所述處理器用于執(zhí)行所述存儲器中存儲的指令，以使得電子設(shè)備執(zhí)行如第一方面或第一方面的任一種實(shí)現(xiàn)方式中的提示詞的優(yōu)化方法。

10、第四方面，本申請?zhí)峁┝艘环N計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)中存儲有指令，所述指令指示電子設(shè)備執(zhí)行上述第一方面或第一方面的任一種實(shí)現(xiàn)方式所述的提示詞的優(yōu)化方法。

11、第五方面，本申請?zhí)峁┝艘环N包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)其在電子設(shè)備上運(yùn)行時(shí)，使得電子設(shè)備執(zhí)行上述第一方面或第一方面的任一種實(shí)現(xiàn)方式所述的提示詞的優(yōu)化方法。

12、本申請?jiān)谏鲜龈鞣矫嫣峁┑膶?shí)現(xiàn)方式的基礎(chǔ)上，還可以進(jìn)行進(jìn)一步組合以提供更多實(shí)現(xiàn)方式。

13、從以上技術(shù)方案可以看出，本申請具有以下優(yōu)點(diǎn)：

14、本申請?zhí)峁┝艘环N提示詞的優(yōu)化方法，該方法首先獲取與目標(biāo)業(yè)務(wù)關(guān)聯(lián)的至少一個(gè)第一提示詞，以及，獲取目標(biāo)業(yè)務(wù)相關(guān)的業(yè)務(wù)數(shù)據(jù)樣本集，其中，業(yè)務(wù)數(shù)據(jù)樣本集中的數(shù)據(jù)樣本包括標(biāo)注結(jié)果，接著，針對至少一個(gè)第一提示詞中的每個(gè)第一提示詞，執(zhí)行以下步驟：獲取該第一提示詞在業(yè)務(wù)數(shù)據(jù)樣本集上的第一評估結(jié)果，基于第一評估結(jié)果，確定該第一提示詞對應(yīng)的錯(cuò)誤樣本信息，向第一語言模型發(fā)送用于優(yōu)化該第一提示詞的目標(biāo)提示詞，其中，目標(biāo)提示詞包括該第一提示詞以及該第一提示詞對應(yīng)的錯(cuò)誤樣本信息，并獲取第一語言模型輸出的第二提示詞。

15、在該方法中，針對待優(yōu)化的提示詞(即第一提示詞)，評估其在業(yè)務(wù)數(shù)據(jù)樣本集中的任務(wù)處理效果，通過比較標(biāo)注結(jié)果和評估結(jié)果，找出判定錯(cuò)誤的錯(cuò)誤數(shù)據(jù)樣本，結(jié)合錯(cuò)誤數(shù)據(jù)樣本的相關(guān)信息，利用語言模型進(jìn)行提示詞的優(yōu)化。如此，能夠提升優(yōu)化后的提示詞(即第二提示詞)在目標(biāo)業(yè)務(wù)中的提示能力，優(yōu)化提示詞的提示效果。

技術(shù)特征：

1.一種提示詞優(yōu)化方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述錯(cuò)誤樣本信息包括：錯(cuò)誤數(shù)據(jù)樣本、所述錯(cuò)誤數(shù)據(jù)樣本的標(biāo)注結(jié)果和所述錯(cuò)誤數(shù)據(jù)樣本的第一評估結(jié)果。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取該第一提示詞在所述業(yè)務(wù)數(shù)據(jù)樣本集上的第一評估結(jié)果，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述業(yè)務(wù)數(shù)據(jù)樣本集中的數(shù)據(jù)樣本還包括標(biāo)注原因，所述標(biāo)注原因指示產(chǎn)生標(biāo)注結(jié)果的原因；所述錯(cuò)誤樣本信息包括多條錯(cuò)誤數(shù)據(jù)樣本；

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取與目標(biāo)業(yè)務(wù)關(guān)聯(lián)的至少一個(gè)第一提示詞，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取與目標(biāo)業(yè)務(wù)關(guān)聯(lián)的至少一個(gè)第一提示詞，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述業(yè)務(wù)數(shù)據(jù)樣本集中的數(shù)據(jù)樣本還包括標(biāo)注原因，所述標(biāo)注原因指示產(chǎn)生標(biāo)注結(jié)果的原因；所述從所述業(yè)務(wù)數(shù)據(jù)樣本集中，確定至少一個(gè)目標(biāo)數(shù)據(jù)樣本，包括：

8.根據(jù)權(quán)利要求1至7任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述確定每個(gè)所述第二提示詞的優(yōu)化效果，包括：

10.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述方法還包括：

11.根據(jù)權(quán)利要求1至7任一項(xiàng)所述的方法，其特征在于，所述錯(cuò)誤樣本信息包括錯(cuò)誤數(shù)據(jù)樣本，所述方法還包括：

12.根據(jù)權(quán)利要求1至7任一項(xiàng)所述的方法，其特征在于，所述第一提示詞包括多個(gè)提示詞，所述方法還包括：

13.一種提示詞的優(yōu)化裝置，其特征在于，所述裝置包括：

14.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括處理器和存儲器；

15.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，包括指令，所述指令指示電子設(shè)備執(zhí)行如權(quán)利要求1至12中任一項(xiàng)所述的方法。

16.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令用于實(shí)現(xiàn)權(quán)利要求1至12任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N提示詞的優(yōu)化方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，該方法包括：獲取與目標(biāo)業(yè)務(wù)關(guān)聯(lián)的至少一個(gè)第一提示詞，以及，獲取目標(biāo)業(yè)務(wù)相關(guān)的業(yè)務(wù)數(shù)據(jù)樣本集；針對至少一個(gè)第一提示詞中的每個(gè)第一提示詞，執(zhí)行以下步驟：獲取該第一提示詞在業(yè)務(wù)數(shù)據(jù)樣本集上的第一評估結(jié)果，基于第一評估結(jié)果，確定該第一提示詞對應(yīng)的錯(cuò)誤樣本信息；向第一語言模型發(fā)送用于優(yōu)化該第一提示詞的目標(biāo)提示詞；獲取第一語言模型輸出的第二提示詞。在該方法中，針對待優(yōu)化的提示詞，評估其在業(yè)務(wù)數(shù)據(jù)樣本集中的任務(wù)處理效果，結(jié)合錯(cuò)誤數(shù)據(jù)樣本的相關(guān)信息，利用語言模型進(jìn)行提示詞的優(yōu)化，提升優(yōu)化后的提示詞在目標(biāo)業(yè)務(wù)中的提示能力，優(yōu)化提示詞的提示效果。

技術(shù)研發(fā)人員：馬小龍
受保護(hù)的技術(shù)使用者：北京字跳網(wǎng)絡(luò)技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26