本發(fā)明涉及問答模型，具體涉及一種基于小樣本學(xué)習(xí)的執(zhí)醫(yī)考試輔導(dǎo)大模型精調(diào)方法及系統(tǒng)。

背景技術(shù)：

1、口腔執(zhí)業(yè)醫(yī)師考試，作為醫(yī)學(xué)領(lǐng)域的一項重要考核，其目的在于全面、客觀地評價申請口腔醫(yī)師資格者是否真正具備從事口腔醫(yī)學(xué)工作所必需的專業(yè)知識與技能?？谇粓?zhí)業(yè)醫(yī)師考試涵蓋了口腔醫(yī)學(xué)的多個方面，包括口腔疾病的診斷、治療、預(yù)防以及口腔頜面外科、口腔修復(fù)學(xué)、口腔正畸學(xué)等多個專業(yè)領(lǐng)域的知識?？忌枰到y(tǒng)掌握這些專業(yè)知識，并能夠熟練運(yùn)用到臨床實踐中，為患者提供高質(zhì)量的口腔醫(yī)療服務(wù)。

2、在口腔執(zhí)業(yè)醫(yī)師考試的筆試環(huán)節(jié)，共有600道選擇題需要考生在兩個半小時內(nèi)完成做答。這些題目涵蓋以下三方面內(nèi)容：(1)口腔醫(yī)學(xué)基礎(chǔ)理論知識：包括口腔解剖學(xué)、口腔生理學(xué)、口腔病理學(xué)等基礎(chǔ)知識。(2)口腔臨床知識：包括口腔內(nèi)科、口腔頜面外科、口腔修復(fù)科、口腔正畸科等臨床科目的診斷和治療知識。(3)醫(yī)學(xué)綜合知識：包括醫(yī)學(xué)微生物學(xué)、醫(yī)學(xué)免疫學(xué)、藥理學(xué)、醫(yī)學(xué)心理學(xué)、醫(yī)學(xué)倫理學(xué)、衛(wèi)生法規(guī)等。這些考試覆蓋的科目多、跨度大知識點(diǎn)細(xì)碎，而且考試時間短，因而通過該項考試難度極大。

3、為了通過筆試環(huán)節(jié)，考生大多通過參加線下輔導(dǎo)班或者做大量習(xí)題以提高分?jǐn)?shù)。但這種方式存在以下缺點(diǎn)，首先是參加線下輔導(dǎo)班或做大量習(xí)題需要考生投入大量的時間和精力。這種高強(qiáng)度的學(xué)習(xí)方式容易使考生感到疲憊，導(dǎo)致學(xué)習(xí)效率不高。其次，線下輔導(dǎo)班和習(xí)題集往往面向廣大考生，內(nèi)容設(shè)計較為寬泛，難以針對每個考生的具體情況進(jìn)行個性化教學(xué)。因此，考生難免會花費(fèi)大量時間在已掌握的內(nèi)容上，而忽略了自己未掌握薄弱環(huán)節(jié)。

4、近年來，大語言模型在各個領(lǐng)域都展現(xiàn)出強(qiáng)大的潛力，特別是在教育領(lǐng)域，能夠支持個性化教學(xué)模型已經(jīng)初露端倪。具體來說，通過現(xiàn)有大模型訓(xùn)練技術(shù)容易通過大量口腔專業(yè)書籍資料作為輸入數(shù)據(jù)，構(gòu)建出一個具備口腔知識的大預(yù)言模型。但該模型并不能很好的回答試題內(nèi)容。例如：讓模型在四個選項中進(jìn)行選擇，模型會給出錯誤答案，但讓它進(jìn)一步分析試題時，它卻能給出正確分析。即現(xiàn)有模型雖然具備口腔知識，卻無法很好地應(yīng)用這些知識實現(xiàn)輔導(dǎo)。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供的基于小樣本學(xué)習(xí)的執(zhí)醫(yī)考試輔導(dǎo)大模型精調(diào)方法及系統(tǒng)解決了現(xiàn)有具備口腔知識的大預(yù)言模型回答問題準(zhǔn)確率低的問題。

2、為了達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案為：

3、第一方面，提供一種基于小樣本學(xué)習(xí)的執(zhí)醫(yī)考試輔導(dǎo)大模型精調(diào)方法，其包括步驟：

4、s1、獲取口腔知識考試試題，并采用詞嵌入將考試試題轉(zhuǎn)換為詞嵌入向量；

5、s2、對詞嵌入向量進(jìn)行聚類，并計算每個詞嵌入向量與聚類中心的注意力得分，選取注意力得分滿足預(yù)設(shè)條件的詞嵌入向量作為數(shù)據(jù)集；

6、s3、采用數(shù)據(jù)集對執(zhí)醫(yī)考試輔導(dǎo)大模型進(jìn)行訓(xùn)練，并存儲訓(xùn)練過程中適配器的權(quán)重，所述執(zhí)醫(yī)考試輔導(dǎo)大模型由嵌入適配器的transformer層組成；

7、s4、根據(jù)權(quán)重的重要性指標(biāo)和剪枝閾值，對適配器的權(quán)重進(jìn)行剪枝操作，之后對剪枝前后的執(zhí)醫(yī)考試輔導(dǎo)大模型進(jìn)行推理測試，得到剪枝前后的推理時間和測試得分；

8、s5、根據(jù)剪枝前后的推理時間和測試得分，計算剪枝前后執(zhí)醫(yī)考試輔導(dǎo)大模型的準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)；

9、s6、判斷準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)或者剪枝次數(shù)是否滿足對應(yīng)的預(yù)設(shè)條件，若是，得到精調(diào)后的執(zhí)醫(yī)考試輔導(dǎo)大模型，否則進(jìn)入步驟s7；

10、s7、根據(jù)準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)更新剪枝閾值，之后返回步驟s4。

11、進(jìn)一步地，對適配器的權(quán)重進(jìn)行剪枝操作的表達(dá)式為：

12、

13、

14、其中，ws為剪枝后的權(quán)重矩陣；m為稀疏矩陣；w為剪枝前的權(quán)重矩陣；m和n分別為適配器的權(quán)重矩陣的總行數(shù)和總列數(shù)；wde為適配器的權(quán)重矩陣中第d行e列的權(quán)重參數(shù)；wde_matic為wde的重要性指標(biāo)；therholdinit為剪枝閾值；wd為適配器的權(quán)重矩陣中第d行的權(quán)重參數(shù)；wde_f為在第f個詞嵌入向量時權(quán)重參數(shù)的值；f為數(shù)據(jù)集中詞嵌入向量的總個數(shù)。

15、進(jìn)一步地，計算準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)的表達(dá)式為：

16、

17、

18、其中，為準(zhǔn)確率下降指標(biāo)；和分別為執(zhí)醫(yī)考試輔導(dǎo)大模型剪枝前和剪枝后的測試分?jǐn)?shù)；和分別為執(zhí)醫(yī)考試輔導(dǎo)大模型剪枝前和剪枝后的推理時間；為加速性能指標(biāo)。

19、進(jìn)一步地，更新剪枝閾值的表達(dá)式為：

20、

21、其中，thersholdupdate和thersholdinit分別為更新后和更新前的剪枝閾值；a和b均為權(quán)重系數(shù)。

22、進(jìn)一步地，所述transformer層包括依次連接的嵌入層、多頭注意力、前饋層和適配器及依次連接的層歸一化、2個前饋層、適配器和歸一化層，所述嵌入層的輸出和與其鄰近的適配器的輸出疊加后輸入層歸一化；所述適配器與隱藏層之間設(shè)置有dropout層；

23、所述適配器包括輸入層和輸出層，所述輸入層和輸出層之間設(shè)置有若干隱藏層，所述隱藏層通過若干線性變換和非線性激活函數(shù)將輸入特征映射到高維度的表示空間，并產(chǎn)生最終的輸出。

24、進(jìn)一步地，多頭注意力對嵌入層的輸出進(jìn)行處理的表達(dá)式為：

25、

26、其中，z為嵌入層的輸出；wq、wk、wv、wo均為transformer層權(quán)重矩陣；dh為wk的維度；gm為掩碼矩陣；softmax(.)為softmax函數(shù)；q為多頭注意力的第q個頭；t為轉(zhuǎn)置；

27、前饋層對輸入其的特征向量進(jìn)行處理的表達(dá)式為：

28、fnn(o)＝wdrelu(wuo)

29、其中，o為輸入前饋層的特征向量；wuo為o通過線性變換得到的中間表示；wu為輸入層到隱藏層的權(quán)重矩陣；relu為修正線性單元；fnn(o)為經(jīng)過relu激活函數(shù)后的中間表示通過線性變換得到的最終輸出；wd為隱藏層到輸出層的權(quán)重矩陣；

30、層歸一化對輸入其的特征向量進(jìn)行處理的表達(dá)式為：

31、

32、其中，layernorm(p)為層歸一化的輸出；p為輸入層歸一化的特征向量；μ和σ分別為p的均值和標(biāo)準(zhǔn)差；γ和β分別為可學(xué)習(xí)的縮放因子和偏置項；

33、適配器對輸入其的特征向量進(jìn)行處理的表達(dá)式為：

34、adapter(t)＝dropout(w2·(relu(w1·t)))

35、其中，adapter(t)為適配器的輸出；t為輸入適配器的特征向量；w1和w2分別為適配器的兩個線性變換的權(quán)重矩陣；dropout為dropout操作。

36、進(jìn)一步地，采用數(shù)據(jù)集對執(zhí)醫(yī)考試輔導(dǎo)大模型進(jìn)行訓(xùn)練前，需凍結(jié)transformer層中非適配器部分的權(quán)重信息，訓(xùn)練過程中僅更新適配器的權(quán)重。

37、進(jìn)一步地，對詞嵌入向量進(jìn)行聚類的方法包括：

38、a1、在所有詞嵌入向量中隨機(jī)選取k個聚類中心，并進(jìn)行k-means聚類：

39、

40、其中，μj為k-means選擇的第j個聚類中心；ci為詞嵌入向量xi到簇的索引；||xi-μj||2為詞嵌入向量xi到μj的歐氏距離的平方；

41、a2、計算每個簇內(nèi)所有詞嵌入向量的均值作為新的聚類中心：

42、

43、其中，\cj\為簇cj的數(shù)據(jù)點(diǎn)數(shù)量；為新的聚類中心；

44、a3、判斷當(dāng)前每個簇的聚類中心與其上一次聚類時的聚類中心的變化是否小于預(yù)設(shè)閾值，若是，完成聚類，否則，更新并返回步驟a1。

45、計算每個詞嵌入向量與聚類中心的注意力得分的方法包括：

46、b1、計算每個詞嵌入向量和聚類中心的余弦相似度：

47、

48、其中，sji為詞嵌入向量xi和簇cj的聚類中心μj的余弦相似度；||·||為向量的歐幾里得范數(shù)；

49、b2、根據(jù)余弦相似度，計算每個詞嵌入向量的注意力得分：

50、

51、其中，aij為xi相對于聚類中心μj的注意力得分；ski為xi與聚類中心μk的余弦相似度，k為變量，1≤k≤k，exp(.)為自然指數(shù)函數(shù)。

52、進(jìn)一步地，選取注意力得分滿足預(yù)設(shè)條件的詞嵌入向量作為數(shù)據(jù)集的方法包括：

53、c1、對每個簇中的詞嵌入向量按照其注意力等分進(jìn)行降序排序，選取每個簇中注意力得分最高的詞嵌入向量；

54、c2、對選取的所有詞嵌入向量按照其注意力得分進(jìn)行降序排序，選取預(yù)設(shè)數(shù)量注意力得分最高的詞嵌入向量構(gòu)成數(shù)據(jù)集。

55、第二方面，提供一種基于小樣本學(xué)習(xí)的執(zhí)醫(yī)考試輔導(dǎo)大模型精調(diào)系統(tǒng)，其包括依次連接的詞嵌入模塊、口腔試題小樣本抽取組件和輕量化模型微調(diào)組件，所述輕量化模型微調(diào)組件包括依次連接的大模型訓(xùn)練模塊、剪枝及推理測試模塊、指標(biāo)計算模塊、判斷模塊和閾值更新模塊；

56、詞嵌入模塊用于獲取口腔知識考試試題，并采用詞嵌入將考試試題轉(zhuǎn)換為詞嵌入向量；

57、口腔試題小樣本抽取組件用于對詞嵌入向量進(jìn)行聚類，并計算每個詞嵌入向量與聚類中心的注意力得分，選取注意力得分滿足預(yù)設(shè)條件的詞嵌入向量作為數(shù)據(jù)集；

58、大模型訓(xùn)練模塊用于采用數(shù)據(jù)集對執(zhí)醫(yī)考試輔導(dǎo)大模型進(jìn)行訓(xùn)練，并存儲訓(xùn)練過程中適配器的權(quán)重，所述執(zhí)醫(yī)考試輔導(dǎo)大模型由嵌入適配器的transformer層組成；

59、剪枝及推理測試模塊用于根據(jù)權(quán)重的重要性指標(biāo)和剪枝閾值，對適配器的權(quán)重進(jìn)行剪枝操作，之后對剪枝前后的執(zhí)醫(yī)考試輔導(dǎo)大模型進(jìn)行推理測試，得到剪枝前后的推理時間和測試得分；

60、指標(biāo)計算模塊用于根據(jù)剪枝前后的推理時間和測試得分，計算剪枝前后執(zhí)醫(yī)考試輔導(dǎo)大模型的準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)；

61、判斷模塊用于判斷準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)或者剪枝次數(shù)是否滿足對應(yīng)的預(yù)設(shè)條件，若是，得到精調(diào)后的執(zhí)醫(yī)考試輔導(dǎo)大模型，否則進(jìn)入閾值更新模塊；

62、閾值更新模塊用于根據(jù)準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)更新剪枝閾值，之后返回剪枝及推理測試模塊。

63、本發(fā)明的有益效果為：本方案在進(jìn)行小樣本提取時，基于聚類和注意力得分的應(yīng)用，不僅從海量數(shù)據(jù)中找出了最具代表性的樣本數(shù)據(jù)，同時，運(yùn)用注意力機(jī)制關(guān)注到了每一類樣本中的關(guān)鍵信息，利用這些關(guān)鍵信息更好地選出代表性的樣本，大大降低了樣本抽取的標(biāo)注成本。樣本抽取時，抽取出具有代表性的少量口腔試題進(jìn)行后續(xù)的微調(diào)，這不僅大大減少了人力篩選試題的成本，同時提高了模型對不同數(shù)據(jù)的泛化能力和訓(xùn)練效率。

64、本方案在對模型進(jìn)行精調(diào)時，通過輕量化操作(剪枝操作)降低了模型的參數(shù)量，提高了數(shù)據(jù)和模型的效率，同時具有廣泛的適用性，使得模型更加輕便，便于部署和應(yīng)用。此外，在剪枝過程通過多次循環(huán)迭代，持續(xù)更新剪枝閾值，能夠找到兼顧準(zhǔn)確率和推理速度的優(yōu)異模型。