本發(fā)明涉及模型訓(xùn)練，具體涉及一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法。

背景技術(shù)：

1、傳統(tǒng)的大模型集中式訓(xùn)練方式主要是將搜集的多源異構(gòu)訓(xùn)練數(shù)據(jù)進(jìn)行整合預(yù)處理后，統(tǒng)一構(gòu)造類(lèi)似“提示詞+答案”格式的訓(xùn)練數(shù)據(jù)集，然后輸入基于transformer架構(gòu)的大模型訓(xùn)練框架，通過(guò)反復(fù)微調(diào)模型參數(shù)來(lái)最小化目標(biāo)函數(shù)，從而達(dá)到“根據(jù)新的輸入數(shù)據(jù)預(yù)測(cè)最佳輸出”的效果。

2、但這種集中式訓(xùn)練方法在軍事單位實(shí)施過(guò)程中可能難以行之有效，主要原因包括但不限于以下三個(gè)方面：

3、一是訓(xùn)練條件方面，成本高。由于集中式訓(xùn)練需搭建完整的大模型訓(xùn)練軟硬件環(huán)境，而一套滿足開(kāi)源大模型訓(xùn)練的基本硬件環(huán)境，光gpu顯卡成本就高達(dá)數(shù)十萬(wàn)甚至上百萬(wàn)元。由于大模型技術(shù)當(dāng)前在絕大多數(shù)軍事單位還屬于“小眾技術(shù)”，不用不會(huì)影響中心工作，要用就得投入巨額成本，因此目前大多數(shù)軍事單位目前還不具備集中式訓(xùn)練條件。

4、二是數(shù)據(jù)安全方面。當(dāng)前，民用大模型訓(xùn)練已經(jīng)可以通過(guò)云服務(wù)模式有效解決本地算力的問(wèn)題，普通用戶只需通過(guò)互聯(lián)網(wǎng)上傳訓(xùn)練數(shù)據(jù)即可借助企業(yè)、研究機(jī)構(gòu)強(qiáng)大的云算力來(lái)訓(xùn)練自己的專(zhuān)屬模型。而在軍事領(lǐng)域，由于各單位需要訓(xùn)練的都是一些敏感的內(nèi)部數(shù)據(jù)，既不可能直接上傳互聯(lián)網(wǎng)進(jìn)行訓(xùn)練，即使上傳數(shù)據(jù)至軍事內(nèi)部網(wǎng)提供的云服務(wù)上訓(xùn)練，也同樣存在數(shù)據(jù)安全問(wèn)題。

5、三是數(shù)據(jù)處理方面。雖然目前少數(shù)軍事科研院所、技術(shù)密集型單位通過(guò)努力搭建了訓(xùn)練環(huán)境，但這些單位在處理不同軍事單位提出的訓(xùn)練請(qǐng)求時(shí)，若選擇集中式訓(xùn)練，需投入大量的人力、算力成本去解決不同單位之間訓(xùn)練數(shù)據(jù)多源異構(gòu)、難以互通等現(xiàn)實(shí)難題。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法。

2、為了解決上述技術(shù)問(wèn)題，本技術(shù)實(shí)施例公開(kāi)了如下技術(shù)方案：

3、第一方面，本發(fā)明實(shí)施例公開(kāi)了一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法，包括：

4、s100.獲取開(kāi)源大模型底座，將所述開(kāi)源大模型底座離線拷貝至軍隊(duì)內(nèi)部網(wǎng)絡(luò)云端服務(wù)器；

5、s200.在云端服務(wù)器上部署大模型的訓(xùn)練和微調(diào)平臺(tái)，并進(jìn)行軟件化包裝；

6、s300.各軍事單位從云端服務(wù)器上下載安裝相應(yīng)的大模型訓(xùn)練和微調(diào)平臺(tái)，根據(jù)自身單位算力情況選擇不同參數(shù)量的大模型底座；

7、s400.各軍事單位按照大模型微調(diào)所需的數(shù)據(jù)格式對(duì)本地的數(shù)據(jù)進(jìn)行標(biāo)注轉(zhuǎn)換，基于選取的大模型底座，對(duì)本地?cái)?shù)據(jù)庫(kù)中的軍事數(shù)據(jù)進(jìn)行離線訓(xùn)練和模型微調(diào),訓(xùn)練完成后將模型微調(diào)參數(shù)權(quán)重獨(dú)立封裝，并完成與底座大模型對(duì)應(yīng)關(guān)系的標(biāo)注，回傳至軍隊(duì)內(nèi)部網(wǎng)絡(luò)的云端服務(wù)器；

8、s500.云端服務(wù)器根據(jù)各單位回傳的模型參數(shù)權(quán)重，重新整合擬定全量大模型參數(shù)；

9、s600.云端服務(wù)器接收各軍事單位申請(qǐng)后，按權(quán)限審批下發(fā)整合后的全量大模型，為各軍事單位提供高效、智能的知識(shí)服務(wù)。

10、進(jìn)一步地，s100中，獲取開(kāi)源大模型底座，具體方法包括：從開(kāi)源網(wǎng)站選取多個(gè)通用領(lǐng)域的國(guó)產(chǎn)開(kāi)源大模型底座，所述大模型底座參數(shù)量設(shè)定為10-100b級(jí)。

11、進(jìn)一步地，所述開(kāi)源大模型底座，至少包括glm4-9b、chatglm3-6b、qwen2-72b、qwen2-1.5b、baichuan13b-base和baichuan13b-chat。

12、進(jìn)一步地，s200中，采用大模型訓(xùn)練和微調(diào)平臺(tái)llama-factory，所述大模型訓(xùn)練和微調(diào)平臺(tái)能夠全程無(wú)代碼地進(jìn)行大模型微調(diào)工作，能夠支持huggingface上的主流開(kāi)源大模型的訓(xùn)練，在微調(diào)訓(xùn)練策略上支持freezing-tuning、galora、lora、dora多種高效訓(xùn)練方法；所述大模型庫(kù)中包括chat?gl?m3-6b、glm4-9b、qwen2-1.5b、qwen2-72b、baichuan13b-chat、baichuan13b-base大模型底座。

13、進(jìn)一步地，s300中，各軍事單位從云端服務(wù)器上下載安裝相應(yīng)的大模型訓(xùn)練和微調(diào)平臺(tái)，根據(jù)自身單位算力情況選擇不同參數(shù)量的大模型底座，具體方法包括：各軍事單位根據(jù)自身需求向云端服務(wù)器發(fā)送下載請(qǐng)求，云端服務(wù)器根據(jù)各軍事單位根據(jù)算計(jì)條件推薦相應(yīng)參數(shù)量和運(yùn)行配置的大模型底座，然后各軍事單位會(huì)連同大模型訓(xùn)練和微調(diào)平臺(tái)與底座的模型權(quán)重一起從云端下載至本地。

14、進(jìn)一步地，s400中，各軍事單位按照大模型微調(diào)所需的數(shù)據(jù)格式對(duì)本地的數(shù)據(jù)進(jìn)行標(biāo)注轉(zhuǎn)換，基于選取的大模型底座，對(duì)本地?cái)?shù)據(jù)庫(kù)中的軍事數(shù)據(jù)進(jìn)行離線訓(xùn)練和模型微調(diào),訓(xùn)練完成后將模型微調(diào)參數(shù)權(quán)重獨(dú)立封裝，并完成與底座大模型對(duì)應(yīng)關(guān)系的標(biāo)注，回傳至軍隊(duì)內(nèi)部網(wǎng)絡(luò)的云端服務(wù)器；具體方法包括：獲取各軍事單位的本地的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，所述數(shù)據(jù)包括網(wǎng)絡(luò)安全和通信運(yùn)維領(lǐng)域的高質(zhì)量數(shù)據(jù)，所述數(shù)據(jù)經(jīng)過(guò)標(biāo)注后得到微調(diào)數(shù)據(jù)集，在大模型訓(xùn)練和微調(diào)平臺(tái)llama-factory上基于chatglm3-6b底座采用lora策略進(jìn)行高效訓(xùn)練微調(diào)，最終得到lora的權(quán)重參數(shù)，對(duì)所述權(quán)重參數(shù)進(jìn)行封裝處理后即回傳至云端服務(wù)器，此過(guò)程中各軍事單位的涉密數(shù)據(jù)從始至終存儲(chǔ)在其本地。

15、進(jìn)一步地，在大模型訓(xùn)練和微調(diào)平臺(tái)llama-factory上基于chatglm3-6b底座采用lora策略進(jìn)行高效訓(xùn)練微調(diào)，最終得到lora的權(quán)重參數(shù)，具體方法包括：

16、準(zhǔn)備訓(xùn)練數(shù)據(jù)；準(zhǔn)備高質(zhì)量的json格式訓(xùn)練數(shù)據(jù)，所述數(shù)據(jù)應(yīng)包含用戶輸入和期望的模型輸出；對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，確保符合llama-factory和chatglm3-6b的要求；

17、在llama-factory上設(shè)置微調(diào)任務(wù)；創(chuàng)建微調(diào)任務(wù)，在llama-factory平臺(tái)上創(chuàng)建新的微調(diào)任務(wù)，選擇chatglm3-6b作為底座模型；配置任務(wù)參數(shù)，包括學(xué)習(xí)率、訓(xùn)練輪數(shù)、批次大??；配置lora策略；在微調(diào)任務(wù)中啟用lora策略；lora通過(guò)在模型的每個(gè)變換器層中引入兩個(gè)低秩矩陣來(lái)實(shí)現(xiàn)微調(diào)，這些矩陣與原始的注意力矩陣或前饋網(wǎng)絡(luò)權(quán)重矩陣相乘，以引入新的可訓(xùn)練參數(shù)；設(shè)置lora相關(guān)的超參數(shù)，包括低秩矩陣的秩；上傳訓(xùn)練數(shù)據(jù)；將準(zhǔn)備好的訓(xùn)練數(shù)據(jù)上傳到llama-factory平臺(tái)，并確保數(shù)據(jù)格式正確無(wú)誤；

18、執(zhí)行微調(diào)訓(xùn)練；啟動(dòng)訓(xùn)練，在llama-factory平臺(tái)上啟動(dòng)微調(diào)訓(xùn)練任務(wù)。監(jiān)控訓(xùn)練過(guò)程，包括損失函數(shù)的變化、準(zhǔn)確率指標(biāo)；調(diào)整參數(shù)，根據(jù)訓(xùn)練過(guò)程中的反饋，適時(shí)調(diào)整學(xué)習(xí)率、批次大小參數(shù)，以優(yōu)化訓(xùn)練效果；

19、獲取lora權(quán)重參數(shù)；訓(xùn)練完成，當(dāng)訓(xùn)練達(dá)到預(yù)設(shè)的停止條件時(shí)，訓(xùn)練任務(wù)將自動(dòng)停止；導(dǎo)出lora權(quán)重，在llama-factory平臺(tái)上導(dǎo)出訓(xùn)練好的lora權(quán)重參數(shù)。這些權(quán)重參數(shù)將作為微調(diào)后的模型改進(jìn)部分，用于后續(xù)的模型部署和推理。

20、進(jìn)一步地，s500中，云端服務(wù)器根據(jù)各單位回傳的模型參數(shù)權(quán)重，重新整合擬定全量大模型參數(shù)，具體方法包括：將各軍事單位進(jìn)行分類(lèi)，至少分為陸軍單位、海軍單位、空軍單位、天軍單位和網(wǎng)軍單位；根據(jù)分類(lèi)單位分別生成陸軍分域模型、海軍分域模型、空軍分域模型、天軍分域模型和網(wǎng)軍分域模型，通過(guò)開(kāi)源大模型底座將陸軍分域模型、海軍分域模型、空軍分域模型、天軍分域模型和網(wǎng)軍分域模型進(jìn)行掛載，整合擬定全量大模型參數(shù)。

21、第二方面，本發(fā)明實(shí)施例公開(kāi)了一種電子設(shè)備，包括：

22、一個(gè)或多個(gè)處理器；

23、存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序；

24、當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)所述分布式訓(xùn)練的方法。

25、本發(fā)明實(shí)施例提供的上述技術(shù)方案的有益效果至少包括：

26、本發(fā)明公開(kāi)的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法，包括：s100.獲取開(kāi)源大模型底座，將所述開(kāi)源大模型底座離線拷貝至軍隊(duì)內(nèi)部網(wǎng)絡(luò)云端服務(wù)器；s200.在云端服務(wù)器上部署大模型的訓(xùn)練和微調(diào)平臺(tái)，并進(jìn)行軟件化包裝；s300.各軍事單位從云端服務(wù)器上下載安裝相應(yīng)的大模型訓(xùn)練和微調(diào)平臺(tái)，根據(jù)自身單位算力情況選擇不同參數(shù)量的大模型底座s400.各軍事單位按照大模型微調(diào)所需的數(shù)據(jù)格式對(duì)本地的數(shù)據(jù)進(jìn)行標(biāo)注轉(zhuǎn)換，基于選取的大模型底座，對(duì)本地?cái)?shù)據(jù)庫(kù)中的軍事數(shù)據(jù)進(jìn)行離線訓(xùn)練和模型微調(diào),訓(xùn)練完成后將模型微調(diào)參數(shù)權(quán)重獨(dú)立封裝，并完成與底座大模型對(duì)應(yīng)關(guān)系的標(biāo)注，回傳至軍隊(duì)內(nèi)部網(wǎng)絡(luò)的云端服務(wù)器；s500.云端服務(wù)器根據(jù)各單位回傳的模型參數(shù)權(quán)重，重新整合擬定全量大模型參數(shù)；s600.經(jīng)各軍事單位申請(qǐng)后，按權(quán)限審批下發(fā)整合后的全量大模型，為各軍事單位提供高效、智能的知識(shí)服務(wù)。本發(fā)明可降低大模型訓(xùn)練硬件要求，增強(qiáng)軍事數(shù)據(jù)管控安全性，提高軍事數(shù)據(jù)處理針對(duì)性，為加速軍事領(lǐng)域大模型落地應(yīng)用提供理論和實(shí)踐參考。

27、下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。