本發(fā)明涉及網(wǎng)絡(luò)安全，特別涉及一種融合大模型與強(qiáng)化學(xué)習(xí)的多智能體自動(dòng)化滲透測試系統(tǒng)。

背景技術(shù)：

1、在網(wǎng)絡(luò)安全領(lǐng)域，滲透測試是評(píng)估信息系統(tǒng)安全性的關(guān)鍵策略。目前，廣泛采用的滲透測試方法在很大程度上依賴于人工操作，這不僅降低了測試流程的效率，而且可能導(dǎo)致潛在安全威脅的遺漏。進(jìn)一步地，現(xiàn)有的滲透測試工具與方法在應(yīng)對(duì)復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)和多樣化攻擊手段時(shí)，表現(xiàn)出明顯的局限性。具體來說，這些工具與方法在以下兩個(gè)方面存在不足：一是缺乏針對(duì)多服務(wù)類型目標(biāo)系統(tǒng)的快速掃描與深度漏洞分析能力；二是對(duì)于特定行業(yè)的安全漏洞檢測與利用，缺乏必要的專一性和精確度。此外，現(xiàn)有的開源漏洞掃描工具適用性有限，操作復(fù)雜，且自動(dòng)化滲透測試工具往往僅限于檢測特定類型的漏洞，限制了其檢測范圍的廣泛性。

2、近年來，人工智能技術(shù)的快速發(fā)展為多個(gè)行業(yè)帶來了的變化，安全領(lǐng)域亦然。然而，由于安全操作的復(fù)雜性涉及廣泛的知識(shí)體系，且隨著安全威脅的不斷演變，大模型在處理復(fù)雜數(shù)據(jù)和場景時(shí)，其處理能力受限，導(dǎo)致結(jié)果的準(zhǔn)確性不足，同時(shí)在知識(shí)獲取和實(shí)時(shí)學(xué)習(xí)新數(shù)據(jù)方面也存在不足。

3、根據(jù)現(xiàn)有文獻(xiàn)，滲透測試的方法已不僅限于傳統(tǒng)的人工滲透手段。當(dāng)前，自動(dòng)化工具滲透和基于大數(shù)據(jù)模型的滲透技術(shù)正逐漸發(fā)展。具體而言，代表性的研究包括基于規(guī)則和基于模型的滲透測試方法（詳見陳可,?魯輝,?方濱興,?孫彥斌,?蘇申,?田志宏.?自動(dòng)化滲透測試技術(shù)研究綜述.?軟件學(xué)報(bào),?2024,?35(5):?2268-2288），以及基于人工智能（artificial?intelligence?，簡稱ai）的自動(dòng)化滲透測試系統(tǒng)迭代攻擊方法（詳見北京墨云科技有限公司.?一種基于ai的自動(dòng)化滲透測試系統(tǒng)的迭代攻擊方法.?cn?111581645?a[p].?2020-08-25）和基于ai的網(wǎng)站滲透測試方法（詳見江蘇亨通工控安全研究院有限公司.?基于ai的網(wǎng)站滲透測試方法.?cn?110221977?b[p].?2023-04-14）。這些研究展示了滲透測試技術(shù)在自動(dòng)化和智能化方向上的相關(guān)研究，但均存在未深入探討大模型與深度強(qiáng)化學(xué)習(xí)融合的復(fù)雜性、并未提及多智能體協(xié)同工作相關(guān)的不足。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在解決現(xiàn)有技術(shù)中滲透測試在人工操作和自動(dòng)化工具應(yīng)用中效率低、對(duì)復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)和多樣化攻擊手段應(yīng)對(duì)能力不足、以及漏洞檢測專一性和準(zhǔn)確性不足等問題，同時(shí)克服人工智能在實(shí)時(shí)更新和優(yōu)化決策方面的局限。為此，提出了一種融合大模型與深度強(qiáng)化學(xué)習(xí)的混合多智能體自動(dòng)化滲透測試系統(tǒng)，采用大規(guī)模模型驅(qū)動(dòng)的多智能體系統(tǒng)，實(shí)現(xiàn)協(xié)同并行漏洞挖掘與利用技術(shù)，同時(shí)基于大規(guī)模模型的智能反饋學(xué)習(xí)機(jī)制，專注于其在網(wǎng)絡(luò)安全領(lǐng)域的深入應(yīng)用與優(yōu)化，能夠顯著提高滲透測試的效率、準(zhǔn)確性及全面性。

2、本發(fā)明的技術(shù)方案如下。

3、一種融合大模型與強(qiáng)化學(xué)習(xí)的多智能體自動(dòng)化滲透測試系統(tǒng)，包括：

4、滲透測試啟動(dòng)模塊，用于接收輸入的可訪問網(wǎng)站的有效url，啟動(dòng)結(jié)合大模型的混合多智能體自動(dòng)化滲透測試流程；

5、信息收集模塊，用于通過工具調(diào)度智能體生成調(diào)度腳本，調(diào)度本地化工具庫，收集網(wǎng)站的信息，并通過設(shè)定的智能體分為應(yīng)用層、網(wǎng)絡(luò)層和傳輸層進(jìn)行信息處理，識(shí)別相關(guān)服務(wù)信息，篩除重復(fù)數(shù)據(jù)，并提取各層級(jí)的信息；

6、漏洞挖掘模塊，用于整合信息收集模塊在應(yīng)用層、網(wǎng)絡(luò)層和傳輸層所收集的信息，結(jié)合基于yaml模板規(guī)則的本地化漏洞掃描工具，使用web應(yīng)用框架漏洞挖掘智能體組、中間件漏洞挖掘智能體組及系統(tǒng)傳輸層服務(wù)漏洞挖掘智能體組進(jìn)行漏洞掃描與識(shí)別；由漏洞挖掘文本處理調(diào)度智能體負(fù)責(zé)協(xié)調(diào)不同服務(wù)智能體的活動(dòng)，形成漏洞挖掘報(bào)告；

7、漏洞方案生成模塊，用于整合漏洞挖掘模塊識(shí)別的漏洞信息，結(jié)合基于漏洞掃描工具的本地化部署掃描結(jié)果，由漏洞挖掘信息處理調(diào)度智能體調(diào)度相對(duì)應(yīng)的專業(yè)漏洞方案生成智能體組，結(jié)合漏洞庫信息，為每個(gè)特定漏洞定制相應(yīng)的漏洞可利用方案；

8、漏洞驗(yàn)證模塊，用于依據(jù)生成的漏洞可利用方案，針對(duì)多個(gè)不同的漏洞信息進(jìn)行操作；由漏洞驗(yàn)證調(diào)度智能體負(fù)責(zé)協(xié)調(diào)包括web應(yīng)用框架、中間件及傳輸層在內(nèi)的專業(yè)漏洞驗(yàn)證智能體組，實(shí)現(xiàn)并發(fā)運(yùn)行；每個(gè)漏洞信息均對(duì)應(yīng)生成可執(zhí)行的漏洞利用腳本，調(diào)度本地資源執(zhí)行腳本并分析結(jié)果，生成漏洞信息和利用腳本；

9、報(bào)告生成模塊，用于整合信息收集模塊、漏洞挖掘模塊、漏洞方案生成模塊和漏洞驗(yàn)證模塊生成的結(jié)果，提供多種模型選擇以優(yōu)化數(shù)據(jù)處理，執(zhí)行過濾、排除垃圾及重復(fù)信息的功能，依據(jù)預(yù)定的安全報(bào)告模板生成安全評(píng)估報(bào)告，并將信息收集模塊、漏洞挖掘模塊、漏洞方案生成模塊和漏洞驗(yàn)證模塊處理的數(shù)據(jù)轉(zhuǎn)化為訓(xùn)練樣本，以增強(qiáng)各智能體的性能，實(shí)現(xiàn)反饋學(xué)習(xí)機(jī)制。

10、優(yōu)選的，所述信息收集模塊，包括：

11、大模型選擇單元，用于選擇處理大模型，以承載信息收集及推理任務(wù)；

12、收集決策獲取單元，由工具調(diào)度智能體結(jié)合預(yù)定的工作流程和工具庫信息設(shè)計(jì)信息收集流程，決定采用何種工具組合以實(shí)現(xiàn)更全面的信息收集，獲得收集決策；

13、信息收集文本生成單元，用于使用收集決策調(diào)度本地工具資源進(jìn)行信息捕獲，形成信息收集文本；

14、重復(fù)數(shù)據(jù)刪除單元，用于使用信息過濾智能體篩除重復(fù)數(shù)據(jù)；

15、中間數(shù)據(jù)集文本生成單元，用于使用信息收集調(diào)度智能體調(diào)度不同智能體劃分收集到的數(shù)據(jù)，由應(yīng)用層、網(wǎng)絡(luò)層和傳輸層的處理智能體處理收集到的信息，形成中間數(shù)據(jù)集文本；

16、用戶決策單元，用于將形成的中間數(shù)據(jù)集文本，提供給用戶閱讀和決策，決定是否進(jìn)行漏洞挖掘操作、是否重新進(jìn)行信息收集或是否退出系統(tǒng)。

17、優(yōu)選的，所述漏洞挖掘模塊，包括：

18、信息處理與調(diào)度單元，用于依據(jù)信息收集模塊收集的中間數(shù)據(jù)集文本，結(jié)合本地漏洞掃描工具根據(jù)yaml格式匹配規(guī)則生成的結(jié)果，由信息收集文檔處理智能體對(duì)收集結(jié)果進(jìn)行分類并分發(fā)給相應(yīng)專屬智能體進(jìn)行分析；

19、掃描任務(wù)執(zhí)行單元，用于使用信息收集文檔處理調(diào)度智能體，生成并調(diào)度對(duì)應(yīng)的框架漏洞掃描工具，執(zhí)行掃描任務(wù)，并回收掃描結(jié)果；

20、智能體分組與漏洞庫配置單元，用于將調(diào)度信息收集文檔處理調(diào)度智能體分為web應(yīng)用框架漏洞挖掘智能體組、web中間件漏洞挖掘智能體組以及系統(tǒng)傳輸層服務(wù)漏洞挖掘智能體組，并與對(duì)應(yīng)的漏洞庫信息相對(duì)應(yīng)，構(gòu)建信息知識(shí)庫；

21、服務(wù)信息驅(qū)動(dòng)的漏洞挖掘單元，用于使用漏洞挖掘文本處理調(diào)度智能體負(fù)責(zé)協(xié)調(diào)web應(yīng)用框架漏洞挖掘智能體組、中間件漏洞挖掘智能體組以及系統(tǒng)傳輸層服務(wù)漏洞挖掘智能體組的活動(dòng)，再協(xié)調(diào)度所對(duì)應(yīng)的服務(wù)類型專屬智能體，以執(zhí)行針對(duì)性服務(wù)的漏洞挖掘任務(wù)，形成漏洞挖掘報(bào)告。

22、優(yōu)選的，所述漏洞方案生成模塊，包括：

23、漏洞數(shù)據(jù)處理與調(diào)度單元，用于基于漏洞挖掘模塊生成的報(bào)告，本地化工具基于poc的漏洞掃描結(jié)果，由漏洞挖掘信息處理智能體進(jìn)行調(diào)度，對(duì)結(jié)果文本進(jìn)行分類并分配給所對(duì)應(yīng)的服務(wù)類型專屬智能體進(jìn)行處理；

24、數(shù)據(jù)推理模型選擇單元，用于選取適合于漏洞數(shù)據(jù)推理的大模型，以支撐后續(xù)的智能體推理過程；

25、智能體分組與方案生成單元，用于針對(duì)不同漏洞類型，將漏洞利用方案生成模塊劃分為基于web應(yīng)用漏洞利用方案生成智能體組、基于中間件上漏洞利用方案生成智能體組以及基于系統(tǒng)傳輸上的漏洞利用方案生成智能體組，各智能體組執(zhí)行相應(yīng)推理任務(wù)并生成漏洞利用方案。

26、優(yōu)選的，所述漏洞驗(yàn)證模塊，包括：

27、漏洞利用方案調(diào)度單元，用于使用漏洞利用方案信息調(diào)度智能體分配和調(diào)度對(duì)應(yīng)的服務(wù)類型專屬智能體，并選擇大模型以執(zhí)行漏洞利用腳本的推理過程；

28、智能體分組與任務(wù)分配單元，用于將漏洞驗(yàn)證模塊分為web應(yīng)用服務(wù)框架漏洞利用腳本生成智能體組、中間件漏洞利用腳本生成智能體組以及系統(tǒng)傳輸層漏洞利用腳本生成智能體組，負(fù)責(zé)相應(yīng)漏洞挖掘任務(wù)；

29、漏洞利用腳本生成與測試單元，用于調(diào)度對(duì)應(yīng)的服務(wù)類型專屬智能體生成漏洞利用腳本，并調(diào)度本地資源進(jìn)行測試；如果測試成功，形成漏洞驗(yàn)證數(shù)據(jù)；否則，判斷是否編碼問題，如果是編碼問題，形成錯(cuò)誤日志訓(xùn)練樣本并重復(fù)執(zhí)行漏洞利用方案調(diào)度單元，如果不是編碼問題，不記錄漏洞信息。

30、優(yōu)選的，所述報(bào)告生成模塊，包括：

31、漏洞驗(yàn)證數(shù)據(jù)處理單元，用于選取適宜的大模型以處理漏洞驗(yàn)證模塊形成的漏洞驗(yàn)證數(shù)據(jù)；

32、報(bào)告編譯單元，用于利用所選大模型生成可讀性安全報(bào)告；

33、數(shù)據(jù)記錄與樣本構(gòu)建單元，用于將流程中所有操作產(chǎn)生的數(shù)據(jù)記錄至數(shù)據(jù)庫，形成完整的智能體訓(xùn)練樣本集。

34、優(yōu)選的，所述的融合大模型與強(qiáng)化學(xué)習(xí)的多智能體自動(dòng)化滲透測試系統(tǒng)，還包括更新模塊，用于定期更新智能體漏洞庫與工具庫。

35、優(yōu)選的，所述更新模塊，包括：

36、漏洞庫信息補(bǔ)充單元，用于定期審查和更新智能體的漏洞庫信息；

37、工具庫擴(kuò)展單元，用于定期識(shí)別和評(píng)估新的安全測試工具，并納入工具庫中。

38、相比于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：

39、本發(fā)明一種融合大模型與強(qiáng)化學(xué)習(xí)的多智能體自動(dòng)化滲透測試系統(tǒng)，通過集成千億大模型分析推理能力，實(shí)現(xiàn)多智能體的協(xié)同調(diào)度，從而對(duì)目標(biāo)網(wǎng)站執(zhí)行自動(dòng)化安全性掃描，有效探測并評(píng)估潛在的安全漏洞，能夠顯著提高滲透測試的效率、準(zhǔn)確性及全面性。