本發(fā)明涉及大模型?，尤其涉及一種基于多模態(tài)模型的電路圖求解方法、裝置及電子設(shè)備。

背景技術(shù)：

1、在人工智能領(lǐng)域，多模態(tài)大模型的發(fā)展為各種科學(xué)問題的自動求解提供了新的可能性。特別是在教育領(lǐng)域，ai助教系統(tǒng)的構(gòu)建，尤其是針對電路相關(guān)課程的ai助教，對于提高教學(xué)效率和質(zhì)量具有重要意義。

2、現(xiàn)有技術(shù)在處理電路圖像和相關(guān)問題時(shí)存在明顯的局限性，主要表現(xiàn)在：

3、1）當(dāng)前的多模態(tài)大模型，如gpt4v、claude3等，雖然在自然語言處理方面取得了顯著進(jìn)展，但在電路圖像的分析和理解方面表現(xiàn)不佳。這些模型難以從電路圖像中準(zhǔn)確提取元件、連接關(guān)系等關(guān)鍵結(jié)構(gòu)信息。

4、2）現(xiàn)有的多模態(tài)大模型在電路問題的自動求解方面，尤其是處理文本方程和進(jìn)行數(shù)值計(jì)算方面的能力有限，難以直接給出準(zhǔn)確的數(shù)值答案。

5、隨著電子學(xué)和計(jì)算機(jī)科學(xué)的發(fā)展，電路設(shè)計(jì)和分析的需求日益增長。電路圖像的自動理解與分析，以及電路問題的自動求解，對于提高電路設(shè)計(jì)效率、優(yōu)化教學(xué)資源和促進(jìn)學(xué)生學(xué)習(xí)具有重要價(jià)值。因此，開發(fā)一種能夠有效處理電路圖像和相關(guān)問題的ai系統(tǒng)，已成為該領(lǐng)域的一個(gè)重要研究方向。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于多模態(tài)模型的電路圖求解方法、裝置及電子設(shè)備，用以解決現(xiàn)有技術(shù)中的多模態(tài)模型在電路圖像的分析和理解以及電路問題的自動求解方面表現(xiàn)不佳的缺陷。

2、本發(fā)明提供一種基于多模態(tài)模型的電路圖求解方法，所述方法包括：

3、將待求解電路圖輸入至預(yù)先訓(xùn)練的網(wǎng)表識別模型中，輸出網(wǎng)表文本；

4、將所述網(wǎng)表文本輸入至電路仿真器中進(jìn)行電路仿真，得到仿真結(jié)果；

5、基于所述仿真結(jié)果以及用戶的問題文本，得到最終答案；

6、其中，所述網(wǎng)表識別模型為多模態(tài)模型，基于樣本電路圖和網(wǎng)表標(biāo)簽文本進(jìn)行訓(xùn)練得到。

7、根據(jù)本發(fā)明提供的一種基于多模態(tài)模型的電路圖求解方法，將待求解電路圖輸入至預(yù)先訓(xùn)練的網(wǎng)表識別模型中，輸出網(wǎng)表文本，具體包括：

8、將用戶的問題文本以及生成的網(wǎng)表文本輸入至預(yù)設(shè)的大語言模型中，得到具體的問題描述，其中，所述問題描述用于指導(dǎo)所述網(wǎng)表識別模型生成符合需求的網(wǎng)表文本，確保網(wǎng)表文本中的元件參數(shù)和連接關(guān)系與所述問題文本中的要求一致；

9、將所述問題描述以及待求解電路圖輸入至預(yù)先訓(xùn)練的網(wǎng)表識別模型中，輸出所述網(wǎng)表文本。

10、根據(jù)本發(fā)明提供的一種基于多模態(tài)模型的電路圖求解方法，在輸出網(wǎng)表文本之后，所述方法還包括：將所述網(wǎng)表文本輸入至大語言模型中進(jìn)行驗(yàn)證；將所述網(wǎng)表文本輸入至電路仿真器中進(jìn)行電路仿真，得到仿真結(jié)果，包括：將驗(yàn)證通過的所述網(wǎng)表文本輸入至電路仿真器中進(jìn)行電路仿真，得到仿真結(jié)果。

11、根據(jù)本發(fā)明提供的一種基于多模態(tài)模型的電路圖求解方法，所述仿真結(jié)果包括電路狀態(tài)量和測量量；

12、基于所述仿真結(jié)果以及用戶的問題文本，得到最終答案，包括：

13、若用戶的問題文本為得到任一電路狀態(tài)量和/或測量量，則直接根據(jù)所述仿真結(jié)果以及用戶的問題文本，得到最終答案；

14、若用戶的問題文本為基于所述仿真結(jié)果求解二級參量，將用戶的問題文本、網(wǎng)表文本以及仿真結(jié)果輸入至大語言模型中進(jìn)行進(jìn)一步推理，得到包括所述二級參量的最終答案。

15、根據(jù)本發(fā)明提供的一種基于多模態(tài)模型的電路圖求解方法，所述網(wǎng)表識別模型的訓(xùn)練方法包括：將所述樣本電路圖輸入至網(wǎng)表識別模型中，得到網(wǎng)表初始文本；將所述網(wǎng)表初始文本與所述網(wǎng)表標(biāo)簽文本進(jìn)行損失值的計(jì)算，根據(jù)所述損失值調(diào)整所述網(wǎng)表識別模型的參數(shù)，直至所述損失值小于閾值。

16、根據(jù)本發(fā)明提供的一種基于多模態(tài)模型的電路圖求解方法，在訓(xùn)練所述網(wǎng)表識別模型之前，所述方法還包括：根據(jù)隨機(jī)數(shù)種子生成包括多個(gè)網(wǎng)格點(diǎn)的網(wǎng)格，在每個(gè)所述網(wǎng)格點(diǎn)處設(shè)置是否連接元件以及元件的屬性信息；將所述網(wǎng)格轉(zhuǎn)換成描述電路圖的描述語言，基于所述描述語言編譯生成樣本電路圖；將所述網(wǎng)格轉(zhuǎn)換為描述電路拓?fù)浣Y(jié)構(gòu)的網(wǎng)表結(jié)構(gòu)，將所述網(wǎng)表結(jié)構(gòu)轉(zhuǎn)換為網(wǎng)表標(biāo)簽文本。

17、本發(fā)明還提供一種基于多模態(tài)模型的電路圖求解裝置，所述裝置包括：

18、網(wǎng)表文本輸出模塊，用于將待求解電路圖輸入至預(yù)先訓(xùn)練的網(wǎng)表識別模型中，輸出網(wǎng)表文本；

19、仿真結(jié)果生成模塊，用于將所述網(wǎng)表文本輸入至電路仿真器中進(jìn)行電路仿真，得到仿真結(jié)果；

20、最終答案輸出模塊，用于基于所述仿真結(jié)果以及用戶的問題文本，得到最終答案；

21、其中，所述網(wǎng)表識別模型為多模態(tài)模型，基于樣本電路圖和網(wǎng)表標(biāo)簽文本進(jìn)行訓(xùn)練得到。

22、本發(fā)明還提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述基于多模態(tài)模型的電路圖求解方法。

23、本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述基于多模態(tài)模型的電路圖求解方法。

24、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述基于多模態(tài)模型的電路圖求解方法。

25、本發(fā)明提供的基于多模態(tài)模型的電路圖求解方法和裝置，通過將待求解電路圖輸入至預(yù)先訓(xùn)練的網(wǎng)表識別模型中，輸出網(wǎng)表文本；將網(wǎng)表文本輸入至電路仿真器中進(jìn)行電路仿真，得到仿真結(jié)果；基于仿真結(jié)果以及用戶的問題文本，得到最終答案；由于本發(fā)明通過預(yù)訓(xùn)練的網(wǎng)表識別模型有效解決了現(xiàn)有多模態(tài)大模型無法準(zhǔn)確理解電路拓?fù)涞膯栴}，通過電路仿真器緩解了現(xiàn)有多模態(tài)大模型的數(shù)學(xué)推理計(jì)算能力不足的問題，從而使得本發(fā)明的方法對電路圖的分析更加準(zhǔn)確。

技術(shù)特征：

1.一種基于多模態(tài)模型的電路圖求解方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的基于多模態(tài)模型的電路圖求解方法，其特征在于，將待求解電路圖輸入至預(yù)先訓(xùn)練的網(wǎng)表識別模型中，輸出網(wǎng)表文本，具體包括：

3.根據(jù)權(quán)利要求1或2所述的基于多模態(tài)模型的電路圖求解方法，其特征在于，在輸出網(wǎng)表文本之后，所述方法還包括：

4.根據(jù)權(quán)利要求1所述的基于多模態(tài)模型的電路圖求解方法，其特征在于，所述仿真結(jié)果包括電路狀態(tài)量和測量量；

5.根據(jù)權(quán)利要求1所述的基于多模態(tài)模型的電路圖求解方法，其特征在于，所述網(wǎng)表識別模型的訓(xùn)練方法包括：

6.根據(jù)權(quán)利要求1或5所述的基于多模態(tài)模型的電路圖求解方法，其特征在于，在訓(xùn)練所述網(wǎng)表識別模型之前，所述方法還包括：

7.一種基于多模態(tài)模型的電路圖求解裝置，其特征在于，所述裝置包括：

8.一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述基于多模態(tài)模型的電路圖求解方法。

9.一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述基于多模態(tài)模型的電路圖求解方法。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述基于多模態(tài)模型的電路圖求解方法。

技術(shù)總結(jié)
本發(fā)明提供一種基于多模態(tài)模型的電路圖求解方法、裝置及電子設(shè)備，其中所述方法包括：將待求解電路圖輸入至預(yù)先訓(xùn)練的網(wǎng)表識別模型中，輸出網(wǎng)表文本；將所述網(wǎng)表文本輸入至電路仿真器中進(jìn)行電路仿真，得到仿真結(jié)果；基于所述仿真結(jié)果以及用戶的問題文本，得到最終答案；其中，所述網(wǎng)表識別模型為多模態(tài)模型，基于樣本電路圖和網(wǎng)表標(biāo)簽文本進(jìn)行訓(xùn)練得到，由于本發(fā)明通過預(yù)訓(xùn)練的網(wǎng)表識別模型有效解決了現(xiàn)有多模態(tài)大模型無法準(zhǔn)確理解電路拓?fù)涞膯栴}，通過電路仿真器緩解了現(xiàn)有多模態(tài)大模型的數(shù)學(xué)推理計(jì)算能力不足的問題，從而使得本發(fā)明的方法對電路圖的分析更加準(zhǔn)確。

技術(shù)研發(fā)人員：祝爾樂,劉雅迪,張哲,周晉,王宏寧,張鵬,黃民烈
受保護(hù)的技術(shù)使用者：清華大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23