本申請屬于智能法律的數(shù)據(jù)交互領(lǐng)域，尤其涉及一種基于大語言模型提示工程的咨詢問題優(yōu)化方法及系統(tǒng)。

背景技術(shù)：

1、隨著社會不斷發(fā)展，人們對于法律咨詢的需求越來越高。傳統(tǒng)的法律咨詢通常依賴于專業(yè)律師進(jìn)行線下人工解答，這種方式雖然能夠提供精確的法律建議，但由于律師資源有限而咨詢需求量巨大，存在著服務(wù)供需不平衡、服務(wù)響應(yīng)滯后的問題。為應(yīng)對這一需求，在線法律咨詢平臺興起，使人們能夠及時、迅速地進(jìn)行法律咨詢，并將法律服務(wù)擴(kuò)展到更廣泛的用戶群體，但其人工服務(wù)的局限性仍然存在。隨著深度學(xué)習(xí)技術(shù)的進(jìn)步，不依賴人工的智能法律咨詢成為可能，以幫助提升法律咨詢的效率。但現(xiàn)有基于模型的智能法律咨詢方法，其回答的準(zhǔn)確性在很大程度上受到用戶提問質(zhì)量的影響，而用戶缺乏專業(yè)的法律知識，他們往往難以清晰、準(zhǔn)確地表達(dá)自己的法律問題，這種表述上的質(zhì)量不足，如信息不全、問題描述模糊、用詞錯誤等問題，將會導(dǎo)致模型生成結(jié)果產(chǎn)生偏差，影響最終的咨詢效果。因此，為了能夠?yàn)橛脩籼峁└珳?zhǔn)、全面的法律解答，需要有效優(yōu)化用戶提問以激發(fā)模型能力。

2、目前在智能法律咨詢領(lǐng)域，得益于大語言模型強(qiáng)大的語義理解與生成能力，大語言模型相較于傳統(tǒng)的深度學(xué)習(xí)方法能夠有更出色的性能表現(xiàn)。然而，在法律咨詢問題優(yōu)化方面，仍然存在著一定的局限性。首先，現(xiàn)有法律咨詢數(shù)據(jù)集多為包含“問題——對問題的分析或解決方法”的問答對數(shù)據(jù)，而缺少“問題——對問題的優(yōu)化”數(shù)據(jù)集，這對模型針對特定任務(wù)的訓(xùn)練產(chǎn)生了極大的限制；其次，目前構(gòu)建數(shù)據(jù)集的方法多為人工構(gòu)建方法，構(gòu)建成本高、效率低；此外，用戶問題存在多樣性和復(fù)雜性，如何迅速提高模型對特定任務(wù)的適應(yīng)能力也是需要著重考慮的問題。可見，當(dāng)前智能法律咨詢中存在用戶缺乏專業(yè)性而使提問質(zhì)量差，導(dǎo)致模型準(zhǔn)確度低的問題。

技術(shù)實(shí)現(xiàn)思路

1、本申請?zhí)峁┝艘环N基于大語言模型提示工程的咨詢問題優(yōu)化方法及系統(tǒng)，用于解決當(dāng)前智能法律咨詢中存在的用戶缺乏專業(yè)性而使提問質(zhì)量差，導(dǎo)致模型準(zhǔn)確度低的問題。

2、為解決上述技術(shù)問題，本申請?zhí)岢龅募夹g(shù)方案為：

3、第一方面，本申請?zhí)峁┮环N基于大語言模型提示工程的咨詢問題優(yōu)化方法，包括：

4、s1：獲取法律咨詢問題數(shù)據(jù)集，所述法律咨詢問題數(shù)據(jù)集包含有原始法律咨詢提問；

5、s2：構(gòu)建提示模板；

6、s3：基于所述提示模板對所述原始法律咨詢提問進(jìn)行重構(gòu)，得到若干條輸入數(shù)據(jù)；

7、s4：采用大語言模型對每條輸入數(shù)據(jù)進(jìn)行優(yōu)化以生成優(yōu)化問題，并對所述優(yōu)化問題進(jìn)行專家評判和再優(yōu)化，組成設(shè)定格式的問題對，得到最終的優(yōu)化問題數(shù)據(jù)集；

8、s5：將所述優(yōu)化問題數(shù)據(jù)集作為微調(diào)數(shù)據(jù)對基座模型進(jìn)行微調(diào)，得到問題優(yōu)化模型，并基于所述問題優(yōu)化模型對用戶問題進(jìn)行實(shí)時優(yōu)化。

9、第二方面，本申請還提供一種基于大語言模型提示工程的咨詢問題優(yōu)化系統(tǒng)，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)上述第一方面所述方法的步驟。

10、本申請具有以下有益效果：

11、本申請?zhí)峁┑幕诖笳Z言模型提示工程的咨詢問題優(yōu)化方法，通過構(gòu)建提示模板，根據(jù)場景需求對法律咨詢數(shù)據(jù)集中的用戶問題進(jìn)行重構(gòu)；調(diào)用已有大參數(shù)量的通用大模型的api進(jìn)行優(yōu)化問題的生成，并通過專家評判和再優(yōu)化方法對優(yōu)化問題進(jìn)行合理評判與改進(jìn)，實(shí)現(xiàn)構(gòu)建包含“原始問題——優(yōu)化問題”的優(yōu)化問題數(shù)據(jù)集。該方案利用了提示模板對輸入數(shù)據(jù)進(jìn)行合理的轉(zhuǎn)換以激發(fā)大模型的能力，利用了大參數(shù)量的通用大模型強(qiáng)大的生成能力來進(jìn)行有效的數(shù)據(jù)生成，能面向場景需求進(jìn)行數(shù)據(jù)生成，解決了缺乏特定法律優(yōu)化問題數(shù)據(jù)集的問題，實(shí)現(xiàn)高效率、高質(zhì)量的數(shù)據(jù)集構(gòu)建。

12、在進(jìn)一步的方案中，使用大模型微調(diào)技術(shù)，針對性地設(shè)計了輸入數(shù)據(jù)的提示模板，使用特定的優(yōu)化問題數(shù)據(jù)集對基座模型進(jìn)行微調(diào)，構(gòu)建問題優(yōu)化模型。通過微調(diào)技術(shù)構(gòu)建問題優(yōu)化模型，高效地使模型適應(yīng)特定法律咨詢場景、降低模型構(gòu)建的資源需求，通過大模型強(qiáng)大的語義理解和生成能力實(shí)現(xiàn)對用戶法律咨詢問題的優(yōu)化，從而提高提問的專業(yè)性、全面性，以便用戶獲取更合適的答案。

13、在進(jìn)一步的方案中，通過對模型參數(shù)的梯度進(jìn)行裁剪，使模型參數(shù)保持在預(yù)定范圍內(nèi)，可以防止可能出現(xiàn)的梯度爆炸問題。

14、在進(jìn)一步的計算方案中，首先計算了梯度在第i個輪次中的一階矩估計值，可以對梯度進(jìn)行平滑，穩(wěn)定參數(shù)更新過程。

技術(shù)特征：

1.一種基于大語言模型提示工程的咨詢問題優(yōu)化方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于大語言模型提示工程的咨詢問題優(yōu)化方法，其特征在于，所述提示模板的結(jié)構(gòu)為離散提示結(jié)構(gòu)，包括提示詞、待填充的輸入文本、待預(yù)測的掩碼鍵、特殊標(biāo)識符；所述提示模板滿足如下結(jié)構(gòu)：

3.根據(jù)權(quán)利要求1所述的基于大語言模型提示工程的咨詢問題優(yōu)化方法，其特征在于，所述s3包括：

4.根據(jù)權(quán)利要求1所述的基于大語言模型提示工程的咨詢問題優(yōu)化方法，其特征在于，所述s4包括：

5.根據(jù)權(quán)利要求1所述的基于大語言模型提示工程的咨詢問題優(yōu)化方法，其特征在于，所述s5包括：

6.根據(jù)權(quán)利要求5所述的基于大語言模型提示工程的咨詢問題優(yōu)化方法，其特征在于，使用優(yōu)化器根據(jù)更新后的梯度調(diào)整模型參數(shù)之前，所述方法還包括：

7.一種基于大語言模型提示工程的咨詢問題優(yōu)化系統(tǒng)，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)上述權(quán)利要求1至6中任一所述方法的步驟。

技術(shù)總結(jié)
本申請公開了一種基于大語言模型提示工程的咨詢問題優(yōu)化方法及系統(tǒng)，所述咨詢問題優(yōu)化方法包括構(gòu)建用于模型輸入重構(gòu)的提示模板；獲取法律咨詢問題數(shù)據(jù)集，對法律咨詢問題數(shù)據(jù)集其中的原始問題使用提示模板進(jìn)行重構(gòu)，得到對應(yīng)的輸入數(shù)據(jù)；對每條輸入數(shù)據(jù)，使用已有的大型模型進(jìn)行優(yōu)化問題的生成，并進(jìn)行專家評判和再優(yōu)化，得到最終的優(yōu)化問題數(shù)據(jù)集；將生成的優(yōu)化問題數(shù)據(jù)集作為微調(diào)數(shù)據(jù)，對小型基座模型進(jìn)行微調(diào)，得到問題優(yōu)化模型；用戶進(jìn)行法律問題咨詢時，基于問題優(yōu)化模型實(shí)現(xiàn)對用戶問題進(jìn)行優(yōu)化，本申請能利用提示工程在數(shù)據(jù)不足場景下生成數(shù)據(jù)、構(gòu)建問題優(yōu)化模型，提高用戶法律咨詢問題表達(dá)的專業(yè)性、準(zhǔn)確性。

技術(shù)研發(fā)人員：嚴(yán)慧琴,呂豐,段思婧,馮貴玉,顧爽,彭晨,喬雪,任巖
受保護(hù)的技術(shù)使用者：中南大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19