本申請(qǐng)涉及知識(shí)點(diǎn)分類(lèi)領(lǐng)域，特別是涉及一種多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法。

背景技術(shù)：

1、當(dāng)前，利用人工智能技術(shù)深入理解多元化的在線學(xué)習(xí)資源成為智能教育中的一個(gè)重點(diǎn)研究課題。數(shù)學(xué)試題作為大量學(xué)習(xí)資源中最為基礎(chǔ)的數(shù)據(jù)單元之一，是評(píng)估數(shù)學(xué)教學(xué)效果的關(guān)鍵因素。由于在線的數(shù)學(xué)試題數(shù)據(jù)存在語(yǔ)義與結(jié)構(gòu)復(fù)雜的特性，傳統(tǒng)的nlp分類(lèi)方法變得不再適用。

2、數(shù)學(xué)試題具備獨(dú)特的概念性和邏輯性，不僅在文本模態(tài)上包含大量的專(zhuān)業(yè)術(shù)語(yǔ)和數(shù)學(xué)符號(hào)，在圖像模態(tài)上更展現(xiàn)出直觀的數(shù)量、幾何等數(shù)學(xué)語(yǔ)義，這兩種信息均為理解數(shù)學(xué)概念和知識(shí)點(diǎn)提供了重要的線索。因此，在數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)的研究中，數(shù)學(xué)文本和圖像信息的融合是理解數(shù)學(xué)試題概念性和邏輯性的關(guān)鍵。數(shù)學(xué)試題中的邏輯結(jié)構(gòu)和符號(hào)系統(tǒng)，以及其與知識(shí)點(diǎn)標(biāo)簽的緊密關(guān)聯(lián)，都是其他學(xué)科所不具備的。當(dāng)前，大量的研究忽略了包含數(shù)學(xué)圖像的試題語(yǔ)義信息提取，而這些圖像信息對(duì)于理解試題內(nèi)容同樣至關(guān)重要。因此，若僅將數(shù)學(xué)試題數(shù)據(jù)分類(lèi)視為多標(biāo)簽文本分類(lèi)任務(wù)，其分類(lèi)結(jié)果在有效性上仍有提升的空間。除了數(shù)學(xué)試題在語(yǔ)義提取方面的不足，知識(shí)點(diǎn)的層次性也是不可忽視的因素。試題通常是根據(jù)教材內(nèi)容編制的，而教材內(nèi)容則按照章節(jié)等層次組織，因此知識(shí)點(diǎn)也呈現(xiàn)出從初級(jí)到高級(jí)的明確層次結(jié)構(gòu)，按層級(jí)進(jìn)行細(xì)化之后，知識(shí)點(diǎn)的數(shù)量也越來(lái)越豐富。隨著層次的提升，知識(shí)點(diǎn)數(shù)量的增加對(duì)分類(lèi)算法的性能提出了更高的要求，也帶來(lái)了新的挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的目的是提供一種多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，有效融合數(shù)學(xué)試題局部信息和上下文邏輯，為帶有公式的文本進(jìn)行向量表示，從而更準(zhǔn)確地捕捉數(shù)學(xué)試題所考查的知識(shí)點(diǎn)。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┝巳缦路桨福?/p>

3、本申請(qǐng)?zhí)峁┝艘环N多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，包括：

4、提取數(shù)學(xué)試題的公式特征；

5、提取數(shù)學(xué)試題的文本特征；

6、提取數(shù)學(xué)試題的圖像特征；

7、獲取所述數(shù)學(xué)試題的文本特征引導(dǎo)的圖像特征表示；

8、獲取所述數(shù)學(xué)試題的圖像特征引導(dǎo)的文本特征表示；

9、基于多模態(tài)門(mén)控機(jī)制融合所述數(shù)學(xué)試題的文本特征引導(dǎo)的圖像特征表示和數(shù)學(xué)試題的圖像特征引導(dǎo)的文本特征表示，得到融合后的特征；

10、對(duì)所述融合后的特征進(jìn)行過(guò)濾，得到過(guò)濾后的特征；

11、基于所述過(guò)濾后的特征，得到知識(shí)點(diǎn)分類(lèi)結(jié)果。

12、可選地，所述提取數(shù)學(xué)試題的公式特征具體包括以下步驟：

13、將數(shù)學(xué)公式轉(zhuǎn)換為符號(hào)外觀樹(shù)和操作符樹(shù)；所述符號(hào)外觀樹(shù)表示數(shù)學(xué)公式的布局結(jié)構(gòu)，所述操作符樹(shù)表示數(shù)學(xué)公式的運(yùn)算關(guān)系；

14、深度優(yōu)先遍歷所述符號(hào)外觀樹(shù)和操作符樹(shù)，生成元組(n1，n2，e，erp)；其中，n1表示祖先節(jié)點(diǎn)、n2表示子孫節(jié)點(diǎn)，e表示從n1到n2的邊序列，frp表示完整的相對(duì)祖先節(jié)點(diǎn)的路徑；

15、將所述元組輸入至訓(xùn)練好的fasttext模型中，得到公式向量。

16、可選地，所述提取數(shù)學(xué)試題的文本特征具體包括以下步驟：

17、對(duì)數(shù)學(xué)試題文本進(jìn)行分詞，得到分詞后的序列；

18、將分詞后的序列輸入至訓(xùn)練好的roberta模型中，得到數(shù)學(xué)試題文本的詞向量；

19、將所述公式向量和詞向量輸入至sa-tcnn模塊，生成試題文本特征圖；

20、將所述試題文本特征圖進(jìn)行拼接，得到試題文本特征向量表示。

21、可選地，將所述試題文本特征圖進(jìn)行拼接，得到試題文本特征向量表示具體采用以下公式：

22、

23、其中，表示不同卷積核窗口對(duì)應(yīng)的試題文本特征向量。

24、可選地，所述提取數(shù)學(xué)試題的圖像特征具體采用以下公式：

25、

26、

27、其中，vi表示圖像特征向量，wi表示線性層變換的權(quán)重矩陣，表示圖像向量輸入，bi表示偏置向量。

28、可選地，所述獲取所述數(shù)學(xué)試題的文本特征引導(dǎo)的圖像特征表示具體采用以下公式：

29、

30、其中，zj表示第j個(gè)試題樣本的輸出，表示權(quán)重矩陣，表示原始文本特征，表示偏置向量，表示向量拼接，表示權(quán)重矩陣，vi表示文本特征引導(dǎo)下的圖像特征向量，αj為注意力分布，表示每個(gè)圖像特征vi對(duì)應(yīng)于文本特征的重要程度，表示zj的權(quán)重矩陣，表示偏置向量，為文本特征引導(dǎo)下的圖像特征表示，αj,i表示第j個(gè)試題圖像的第i個(gè)注意力分布系數(shù)。

31、可選地，所述獲取所述數(shù)學(xué)試題的圖像特征引導(dǎo)的文本特征表示具體采用以下公式：

32、

33、其中，zj′表示第j個(gè)試題樣本的輸出，表示權(quán)重矩陣，表示偏置向量，wt表示權(quán)重矩陣，ht表示試題文本特征向量，βj表示注意力分布，表示權(quán)重矩陣，表示偏置向量，表示圖像特征引導(dǎo)下的文本特征向量輸出，βj,k表示第j個(gè)試題文本的第k個(gè)注意力分布系數(shù)，表示權(quán)重矩陣作用后的試題文本特征向量。

34、可選地，基于多模態(tài)門(mén)控機(jī)制融合所述數(shù)學(xué)試題的文本特征引導(dǎo)的圖像特征表示和數(shù)學(xué)試題的圖像特征引導(dǎo)的文本特征表示，得到融合后的特征，具體采用以下公式：

35、

36、其中，表示文本特征和圖像特征，表示對(duì)文本特征進(jìn)行線性變換的權(quán)重矩陣，表示偏置向量，表示線性變換后的圖像特征，表示對(duì)圖像特征進(jìn)行線性變換的權(quán)重矩陣，表示文本特征向量輸入，表示偏置向量，gj表示門(mén)控信號(hào)，σ表示激活函數(shù)，wgj表示權(quán)重矩陣，表示線性變換后的文本特征，mj表示融合后的特征。

37、可選地，對(duì)所述融合后的特征進(jìn)行過(guò)濾，得到過(guò)濾后的特征具體采用以下公式：

38、

39、其中，sj表示門(mén)控信號(hào)，表示權(quán)重矩陣，表示權(quán)重矩陣，表示偏置向量，rj表示過(guò)濾后的多模態(tài)特征，表示權(quán)重矩陣，表示偏置向量，表示過(guò)濾后的特征，表示線性變換得到融合特征的權(quán)重矩陣。

40、可選地，基于所述過(guò)濾后的特征，得到知識(shí)點(diǎn)分類(lèi)結(jié)果具體采用以下公式：

41、

42、其中，是預(yù)測(cè)知識(shí)點(diǎn)標(biāo)簽的最終結(jié)果，λ是兩種預(yù)測(cè)標(biāo)簽方式的混合分布比例因子，表示knn輸出的預(yù)測(cè)標(biāo)簽，表示全連接層輸出的預(yù)測(cè)標(biāo)簽。

43、根據(jù)本申請(qǐng)?zhí)峁┑木唧w實(shí)施例，本申請(qǐng)公開(kāi)了以下技術(shù)效果：

44、本申請(qǐng)?zhí)峁┝艘环N多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，首先，有效融合數(shù)學(xué)試題局部信息和上下文邏輯，為帶有公式的文本進(jìn)行向量表示，從而更準(zhǔn)確地捕捉數(shù)學(xué)試題所考查的知識(shí)點(diǎn)；其次，考慮數(shù)學(xué)試題中圖像與文本及知識(shí)點(diǎn)存在內(nèi)在關(guān)聯(lián)，綜合提取并融合文本與圖像特征，增強(qiáng)了模型的多模態(tài)信息處理能力；最后，利用樣本間及知識(shí)點(diǎn)標(biāo)簽間的相似性來(lái)優(yōu)化多標(biāo)簽分類(lèi)性能，并在不同層級(jí)的知識(shí)點(diǎn)分類(lèi)問(wèn)題中，設(shè)計(jì)更加精準(zhǔn)的模型和選擇策略，有效提升了數(shù)學(xué)試題分類(lèi)的準(zhǔn)確性和普適性，從而為智能教育領(lǐng)域的智能組卷、個(gè)性化試題推薦等任務(wù)提供有效的技術(shù)解決方案。

技術(shù)特征：

1.一種多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，其特征在于，所述多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法包括：

2.根據(jù)權(quán)利要求1所述的多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，其特征在于，所述提取數(shù)學(xué)試題的公式特征具體包括以下步驟：

3.根據(jù)權(quán)利要求2所述的多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，其特征在于，所述提取數(shù)學(xué)試題的文本特征具體包括以下步驟：

4.根據(jù)權(quán)利要求3所述的多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，其特征在于，將所述試題文本特征圖進(jìn)行拼接，得到試題文本特征向量表示具體采用以下公式：

5.根據(jù)權(quán)利要求1所述的多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，其特征在于，所述提取數(shù)學(xué)試題的圖像特征具體采用以下公式：

6.根據(jù)權(quán)利要求5所述的多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，其特征在于，所述獲取所述數(shù)學(xué)試題的文本特征引導(dǎo)的圖像特征表示具體采用以下公式：

7.根據(jù)權(quán)利要求6所述的多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，其特征在于，所述獲取所述數(shù)學(xué)試題的圖像特征引導(dǎo)的文本特征表示具體采用以下公式：

8.根據(jù)權(quán)利要求7所述的多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，其特征在于，基于多模態(tài)門(mén)控機(jī)制融合所述數(shù)學(xué)試題的文本特征引導(dǎo)的圖像特征表示和數(shù)學(xué)試題的圖像特征引導(dǎo)的文本特征表示，得到融合后的特征，具體采用以下公式：

9.根據(jù)權(quán)利要求8所述的多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，其特征在于，對(duì)所述融合后的特征進(jìn)行過(guò)濾，得到過(guò)濾后的特征具體采用以下公式：

10.根據(jù)權(quán)利要求1所述的多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，其特征在于，基于所述過(guò)濾后的特征，得到知識(shí)點(diǎn)分類(lèi)結(jié)果具體采用以下公式：

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種多模態(tài)融合的數(shù)學(xué)試題多知識(shí)點(diǎn)分類(lèi)方法，涉及知識(shí)點(diǎn)分類(lèi)領(lǐng)域，方法包括：提取數(shù)學(xué)試題的公式特征；提取數(shù)學(xué)試題的文本特征；提取數(shù)學(xué)試題的圖像特征；獲取數(shù)學(xué)試題的文本特征引導(dǎo)的圖像特征表示；獲取所述數(shù)學(xué)試題的圖像特征引導(dǎo)的文本特征表示；基于多模態(tài)門(mén)控機(jī)制融合數(shù)學(xué)試題的文本特征引導(dǎo)的圖像特征表示和數(shù)學(xué)試題的圖像特征引導(dǎo)的文本特征表示，得到融合后的特征；對(duì)融合后的特征進(jìn)行過(guò)濾，得到過(guò)濾后的特征；基于過(guò)濾后的特征，采用聯(lián)合對(duì)比學(xué)習(xí)增強(qiáng)的KNN分類(lèi)得到知識(shí)點(diǎn)分類(lèi)結(jié)果。本申請(qǐng)中的上述方法能夠有效提升數(shù)學(xué)試題分類(lèi)的準(zhǔn)確性和普適性，為智能教育領(lǐng)域的智能組卷、個(gè)性化試題推薦等任務(wù)提供有效的技術(shù)解決方案。

技術(shù)研發(fā)人員：劉志勇,王建宇
受保護(hù)的技術(shù)使用者：東北師范大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26