本技術涉及深度學習領域,尤其涉及一種融合大模型與知識圖譜技術的分析方法及系統(tǒng)。
背景技術:
1、在當今社會,產業(yè)技術的發(fā)展是推動經濟增長和社會進步的關鍵因素之一。隨著科學技術的不斷進步,新的技術成果層出不窮,如何有效地管理和利用這些信息資源,成為企業(yè)和研究機構面臨的重要挑戰(zhàn)。在這個背景下,用戶可能會有各種各樣的咨詢提問,比如尋求特定技術的發(fā)展歷史、了解最新研究成果、探索技術發(fā)展趨勢等。
2、然而,傳統(tǒng)的信息檢索和咨詢解答方式通常是依靠關鍵詞檢索的方式,這種信息檢索的方式在面對海量數據時效率低下,且容易遺漏相關信息。尤其是在處理專利文獻、學術論文等專業(yè)性強的文檔時,由于這些文檔中的內容往往涉及大量專門術語、復雜的專業(yè)知識以及跨領域的關聯(lián)信息等,而簡單的關鍵詞匹配往往不能準確反映產業(yè)技術相關信息中的關鍵內容,也無法滿足用戶的實際需求。此外,這種傳統(tǒng)檢索式方法主要基于文本表面的匹配,缺乏深層次的語義理解和推理能力。當用戶提出較為復雜的問題時,傳統(tǒng)的方式往往難以給出令人滿意的答案,也難以適應用戶的個性化需求。例如,在詢問某項技術的應用前景或潛在風險時,僅憑表面文字信息不足以提供全面解答。同時,不同用戶對于相同問題的關注點可能不同,但傳統(tǒng)方式往往難以區(qū)分這些差異,導致提供的信息可能與用戶的實際需求不符。
技術實現(xiàn)思路
1、為了解決上述技術問題,提出了本技術。
2、根據本技術的一個方面,提供了一種融合大模型與知識圖譜技術的分析方法,其包括:
3、從專利數據庫、學術文獻庫和政策文件獲取產業(yè)技術相關原始文件;
4、從所述產業(yè)技術相關原始文件中提取文本內容;
5、基于所述文本內容,構建產業(yè)技術知識圖譜,所述產業(yè)技術知識圖譜包含節(jié)點以及節(jié)點與節(jié)點之間的邊;
6、獲取用戶咨詢提問;
7、基于所述用戶咨詢提問,從所述產業(yè)技術知識圖譜提取產業(yè)技術查詢匹配內容;
8、對所述用戶咨詢提問和所述產業(yè)技術查詢匹配內容進行編碼以得到用戶咨詢提問語義編碼特征和產業(yè)技術查詢匹配內容語義編碼特征;
9、對所述用戶咨詢提問語義編碼特征和所述產業(yè)技術查詢匹配內容語義編碼特征進行語義特征間顯著交互分析以得到用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示,包括:對所述用戶咨詢提問語義編碼特征和產業(yè)技術查詢匹配內容語義編碼特征進行聯(lián)合隱式特征激活處理以得到用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征;以所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征為條件信息,對所述用戶咨詢提問語義編碼特征和所述產業(yè)技術查詢匹配內容語義編碼特征進行特征交互融合以得到所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示;
10、基于所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示,利用基于大語言模型的智能回答機器人生成問題回答文本。
11、基于上述的融合大模型與知識圖譜技術的分析方法,對所述用戶咨詢提問和所述產業(yè)技術查詢匹配內容進行編碼以得到用戶咨詢提問語義編碼特征和產業(yè)技術查詢匹配內容語義編碼特征,包括:對所述用戶咨詢提問和所述產業(yè)技術查詢匹配內容進行語義嵌入編碼以得到用戶咨詢提問語義編碼向量作為所述用戶咨詢提問語義編碼特征和產業(yè)技術查詢匹配內容語義編碼向量作為所述產業(yè)技術查詢匹配內容語義編碼特征。
12、基于上述的融合大模型與知識圖譜技術的分析方法,對所述用戶咨詢提問語義編碼特征和產業(yè)技術查詢匹配內容語義編碼特征進行聯(lián)合隱式特征激活處理以得到用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征,包括:
13、將所述用戶咨詢提問語義編碼特征和所述產業(yè)技術查詢匹配內容語義編碼特征輸入聯(lián)合隱式特征捕獲網絡以得到用戶咨詢提問-產業(yè)技術查詢匹配內容語義聯(lián)合隱式特征向量;
14、對所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義聯(lián)合隱式特征向量進行基于sigmoid函數的特征激活以得到用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征向量作為所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征。
15、基于上述的融合大模型與知識圖譜技術的分析方法,將所述用戶咨詢提問語義編碼特征和所述產業(yè)技術查詢匹配內容語義編碼特征輸入聯(lián)合隱式特征捕獲網絡以得到用戶咨詢提問-產業(yè)技術查詢匹配內容語義聯(lián)合隱式特征向量,包括:
16、將所述用戶咨詢提問語義編碼特征和所述產業(yè)技術查詢匹配內容語義編碼特征進行按位置點加后,將得到的用戶咨詢提問-產業(yè)技術查詢匹配內容語義加和向量與權重矩陣進行相乘后再與偏置向量進行按位置相加以得到用戶咨詢提問-產業(yè)技術查詢匹配內容語義聯(lián)合交互向量;
17、使用tanh函數對所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義聯(lián)合交互向量進行處理以得到所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義聯(lián)合隱式特征向量。
18、基于上述的融合大模型與知識圖譜技術的分析方法,以所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征為條件信息,對所述用戶咨詢提問語義編碼特征和所述產業(yè)技術查詢匹配內容語義編碼特征進行特征交互融合以得到所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示,包括:
19、計算所述用戶咨詢提問語義編碼特征相對于所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征向量的用戶咨詢提問語義貢獻度;
20、計算所述產業(yè)技術查詢匹配內容語義編碼特征相對于所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征向量的產業(yè)技術查詢匹配內容語義貢獻度;
21、對所述用戶咨詢提問語義貢獻度和所述產業(yè)技術查詢匹配內容語義貢獻度進行歸一化處理,并使用歸一化后的用戶咨詢提問語義貢獻度和歸一化后的產業(yè)技術查詢匹配內容語義貢獻度對所述用戶咨詢提問語義編碼特征和所述產業(yè)技術查詢匹配內容語義編碼特征進行加權調制以得到調制后用戶咨詢提問語義編碼向量和調制后產業(yè)技術查詢匹配內容語義編碼向量;
22、以所述調制后用戶咨詢提問語義編碼向量作為查詢向量、以所述調制后產業(yè)技術查詢匹配內容語義編碼向量作為鍵向量且以所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征向量作為值向量,將所述調制后用戶咨詢提問語義編碼向量、所述調制后產業(yè)技術查詢匹配內容語義編碼向量和所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征向量輸入基于轉換器結構的特征間顯著引導交互模塊以得到用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示向量作為所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示。
23、基于上述的融合大模型與知識圖譜技術的分析方法,計算所述用戶咨詢提問語義編碼特征相對于所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征向量的用戶咨詢提問語義貢獻度,包括:
24、計算所述用戶咨詢提問語義編碼特征與所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征向量的按位置除法以得到用戶咨詢提問語義貢獻向量;
25、計算所述用戶咨詢提問語義貢獻向量的每個特征值的絕對值的以二為底的對數函數值以得到用戶咨詢提問語義貢獻對數向量;
26、計算所述用戶咨詢提問語義編碼特征與所述用戶咨詢提問語義貢獻對數向量的按位置點乘,并將得到的點乘向量進行逐位置點加以得到用戶咨詢提問語義貢獻值;
27、計算以自然常數e為底的,所述用戶咨詢提問語義貢獻值為指數的指數函數以獲得所述用戶咨詢提問語義貢獻度。
28、基于上述的融合大模型與知識圖譜技術的分析方法,對所述用戶咨詢提問語義貢獻度和所述產業(yè)技術查詢匹配內容語義貢獻度進行歸一化處理,并使用歸一化后的用戶咨詢提問語義貢獻度和歸一化后的產業(yè)技術查詢匹配內容語義貢獻度對所述用戶咨詢提問語義編碼特征和所述產業(yè)技術查詢匹配內容語義編碼特征進行加權調制以得到調制后用戶咨詢提問語義編碼向量和調制后產業(yè)技術查詢匹配內容語義編碼向量,包括:
29、計算所述用戶咨詢提問語義貢獻度和所述產業(yè)技術查詢匹配內容語義貢獻度的加和值以得到用戶咨詢提問-產業(yè)技術查詢匹配內容語義貢獻總加和值;
30、分別將所述用戶咨詢提問語義貢獻度和所述產業(yè)技術查詢匹配內容語義貢獻度除以所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義貢獻總加和值以得到所述歸一化后的用戶咨詢提問語義貢獻度和所述歸一化后的產業(yè)技術查詢匹配內容語義貢獻度;
31、將所述用戶咨詢提問語義編碼特征與所述歸一化后的用戶咨詢提問語義貢獻度進行按位置點乘以得到所述調制后用戶咨詢提問語義編碼向量;
32、將所述產業(yè)技術查詢匹配內容語義編碼特征與所述歸一化后的產業(yè)技術查詢匹配內容語義貢獻度進行按位置點乘以得到所述調制后產業(yè)技術查詢匹配內容語義編碼向量。
33、基于上述的融合大模型與知識圖譜技術的分析方法,以所述調制后用戶咨詢提問語義編碼向量作為查詢向量、以所述調制后產業(yè)技術查詢匹配內容語義編碼向量作為鍵向量且以所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征向量作為值向量,將所述調制后用戶咨詢提問語義編碼向量、所述調制后產業(yè)技術查詢匹配內容語義編碼向量和所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征向量輸入基于轉換器結構的特征間顯著引導交互模塊以得到用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示向量作為所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示,包括:
34、將所述調制后用戶咨詢提問語義編碼向量與所述調制后產業(yè)技術查詢匹配內容語義編碼向量的轉置向量進行向量相乘,將得到的調制后用戶咨詢提問-產業(yè)技術查詢匹配內容語義關聯(lián)矩陣與所述調制后產業(yè)技術查詢匹配內容語義編碼向量的長度的平方根進行按位置相除以得到調制后用戶咨詢提問-產業(yè)技術查詢匹配內容語義關聯(lián)縮放矩陣;
35、使用softmax函數對所述調制后用戶咨詢提問-產業(yè)技術查詢匹配內容語義關聯(lián)縮放矩陣進行激活處理,并將得到的調制后用戶咨詢提問-產業(yè)技術查詢匹配內容語義關聯(lián)縮放激活矩陣與所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義條件特征向量進行相乘以得到所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示向量。
36、基于上述的融合大模型與知識圖譜技術的分析方法,基于所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示,利用基于大語言模型的智能回答機器人生成問題回答文本,包括:將所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示向量輸入基于大語言模型的智能回答機器人以得到問題回答文本。
37、根據本技術的另一方面,提供了一種融合大模型與知識圖譜技術的分析系統(tǒng),其包括:
38、產業(yè)技術相關原始文件獲取模塊,用于從專利數據庫、學術文獻庫和政策文件獲取產業(yè)技術相關原始文件;
39、文本內容提取模塊,用于從所述產業(yè)技術相關原始文件中提取文本內容;
40、產業(yè)技術知識圖譜構建模塊,用于基于所述文本內容,構建產業(yè)技術知識圖譜,所述產業(yè)技術知識圖譜包含節(jié)點以及節(jié)點與節(jié)點之間的邊;
41、用戶咨詢提問獲取模塊,用于獲取用戶咨詢提問;
42、產業(yè)技術查詢匹配內容提取模塊,用于基于所述用戶咨詢提問,從所述產業(yè)技術知識圖譜提取產業(yè)技術查詢匹配內容;
43、文本內容編碼模塊,用于對所述用戶咨詢提問和所述產業(yè)技術查詢匹配內容進行編碼以得到用戶咨詢提問語義編碼特征和產業(yè)技術查詢匹配內容語義編碼特征;
44、語義特征間顯著交互分析模塊,用于對所述用戶咨詢提問語義編碼特征和所述產業(yè)技術查詢匹配內容語義編碼特征進行語義特征間顯著交互分析以得到用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示;
45、問題回答文本生成模塊,用于基于所述用戶咨詢提問-產業(yè)技術查詢匹配內容語義顯著交互融合表示,利用基于大語言模型的智能回答機器人生成問題回答文本。
46、與現(xiàn)有技術相比,本技術提供的一種融合大模型與知識圖譜技術的分析方法及系統(tǒng),其首先從專利數據庫、學術文獻庫和政策文件中提取產業(yè)技術相關原始文件的文本內容,并以此構建產業(yè)技術知識圖譜。然后,通過產業(yè)技術知識圖譜來定位相關的信息節(jié)點提取產業(yè)技術查詢匹配內容,并利用大語言模型進行顯著語義交互分析,再利用基于大語言模型的智能回答機器人來生成與用戶咨詢匹配的問題回答文本,從而對產業(yè)技術相關文件和用戶咨詢問題進行語義交互分析和答案自動化生成,為不同的用戶咨詢問題提供與產業(yè)技術分析相關的更為個性化和全面的問題回答文本,提高問答系統(tǒng)的性能。