本發(fā)明屬于裝備制造領(lǐng)域,具體涉及基于iwoa-itransformer模型的物料需求預測方法及系統(tǒng)。
背景技術(shù):
1、在實際生產(chǎn)情況中,物料庫存短缺會影響生產(chǎn)線的生產(chǎn)進度,導致交貨周期推遲,物料庫存過剩會增加庫存管理費用,提高產(chǎn)品成本。為了有效減少物料短缺與過度采購帶來的影響,幫助企業(yè)降低庫存成本,提高企業(yè)生產(chǎn)效率以及抵抗風險能力,達到降本增效的目的,企業(yè)迫切需要精度更高的預測模型來指導物料的采購情況。根據(jù)文獻(辛唯.lstm-prophet混合模型在物料儲備需求預測中的應(yīng)用[j].現(xiàn)代計算機,2024,30(04):53-7.)可知傳統(tǒng)的時間序列預測使用基于統(tǒng)計方法的模型,例如自回歸模型(auto?regressive,ar)、移動平均模型(moving?average,ma)、自回歸滑動平均模型(autoregressiveintegrated?moving?average?model,arima),都是基于自回歸的單元預測方法,主要應(yīng)用于單變量和線性時間序列的擬合問題上。但實際問題多為多變量、非線性的復雜問題,因此基于機器學習的預測方法逐漸代替?zhèn)鹘y(tǒng)的時間序列預測方法,例如遞歸神經(jīng)網(wǎng)絡(luò)(rnn)、長短時記憶神經(jīng)網(wǎng)絡(luò)(long?short?term?memory,lstm)、transformer、支持向量機(svm)等。
2、隨著基于機器學習的預測方法不斷發(fā)展,文獻(白朝陽,宋林杰,李曉琳.基于emd-pso-lssvr的物料需求組合預測模型[j].統(tǒng)計與決策,2018,34(18):185-8.)提出了基于emd-pso-lssvr的物料需求預測模型,通過運用經(jīng)驗模態(tài)分解(emd)方法將非平穩(wěn)時間序列分解為一系列的本征模函數(shù)(imf)和一個殘差項(res),然后結(jié)合業(yè)務(wù)實際將各imf合成為高頻、低頻兩部分,分別代表短期波動和長期趨勢,挖掘出更多的信息。再結(jié)合最小二乘支持向量回歸(lssvr)模型進行組合預測,可高效預測非平穩(wěn)物料需求時間序列。文獻(liuj,lin?l,li?z,et?al.spare?aeroengine?demand?prediction?model?based?on?deepcroston?method[j].journal?of?aerospace?information?systems,2020,17(2):125-33.)提出了基于deep?croston方法的備用航空發(fā)動機需求預測方法,通過采用croston框架處理間歇性需求特征,利用深度學習網(wǎng)絡(luò)模型進行預測,在間歇性需求預測上效果顯著。文獻(熊芷瑤,李林.基于sarima-lstm的零售生鮮品庫存需求預測[j].物流科技,2022,45(03):21-4+8.)提出了基于sarima-lstm的零售生鮮品庫存需求預測模型,針對供應(yīng)商、零售商、用戶三方面考慮需求影響因素如準時交貨率、綜合成本、氣溫狀況、銷售金額等,結(jié)合貝葉斯優(yōu)化算法對lstm進行超參數(shù)選擇,將sarima的模型預測值和實際值間的誤差序列進行修正并得到預測值,對于零售業(yè)生鮮類商品庫存預測量給出了合理的參考。文獻(liu?r,vakharia?v.optimizing?supply?chain?management?through?bo-cnn-lstm?for?demandforecasting?and?inventory?management[j].journal?of?organizational?and?enduser?computing(joeuc),2024,36(1):1-25.)提出了bo-cnn-lstm模型,利用貝葉斯優(yōu)化進行超參數(shù)調(diào)整,cnn進行時空特征提取,lstm對順序數(shù)據(jù)進行建模,在供應(yīng)鏈管理中控制了成本并提高了運營效率。
3、通過以上分析發(fā)現(xiàn),現(xiàn)有技術(shù)為了保證預測結(jié)果的準確性,采用了較為復雜的組合模型,雖然這些模型在提高預測精度上有所貢獻,但模型的復雜性帶來了較高的計算成本和資源消耗。考慮到時間序列數(shù)據(jù)的特殊性,基于自注意力機制的itransformer模型能夠捕捉到時間序列中長程依賴和復雜的非線性關(guān)系,同時具有并行處理和減少梯度消失等優(yōu)勢,因此我們提出了一種基于iwoa-itransformer模型的物料需求預測方法及系統(tǒng)。
技術(shù)實現(xiàn)思路
1、針對現(xiàn)有技術(shù)在處理物料需求預測時,通常依賴于復雜的模型與算法,雖然能夠提升預測精度,但在大規(guī)模數(shù)據(jù)處理和實時應(yīng)用場景中,計算效率顯著下降,難以實現(xiàn)精度與效率平衡的現(xiàn)象,本發(fā)明提出了基于iwoa-itransformer模型的物料需求預測方法及系統(tǒng),不僅能夠精確捕捉物料需求的復雜變化趨勢,有效提高了計算效率和模型的實時預測能力,實現(xiàn)了物料需求預測中精度與效率的統(tǒng)一。
2、為實現(xiàn)上述目的,本發(fā)明提供了如下方案:
3、基于iwoa-itransformer模型的物料需求預測方法,包括以下步驟:
4、對裝備制造企業(yè)生產(chǎn)制造過程中物料消耗的時序數(shù)據(jù)進行采集及預處理,獲得數(shù)據(jù)集;
5、引入改進鯨魚優(yōu)化算法iwoa和itransformer模型,使用改進鯨魚優(yōu)化算法iwoa對itransformer模型進行超參數(shù)尋優(yōu);
6、基于得到的超參數(shù)最優(yōu)解構(gòu)建改進的itransformer模型,基于改進的itransformer模型,捕捉數(shù)據(jù)集中時間序列間的關(guān)聯(lián);
7、基于數(shù)據(jù)集中時間序列間的關(guān)聯(lián),通過訓練改進的itransformer模型,對物料需求進行預測,得到最終物料需求值。
8、優(yōu)選的,改進鯨魚優(yōu)化算法iwoa包括:包圍獵物階段、螺旋捕食階段、隨機搜索階段、引入差分進化算法階段;
9、其中,包圍獵物階段的過程表示為:
10、d=|c·x*(t)-x(t)|
11、x(t+1)=x*(t)-a·d
12、其中,d為座頭鯨與獵物的圍獵步長,t為當前迭代次數(shù),x*(t)為獵物的位置向量,x(t)為座頭鯨位置向量,a、c為系數(shù)向量;
13、螺旋捕食階段的過程表示為:
14、x(t+1)=d'·ebl·cos(2πl(wèi))+x*(t)
15、d'=|x*(t)-x(t)|
16、其中,d'為當前個體到獵物之間的距離,b是定義對數(shù)螺旋方程的常量,l是[-1,1]范圍內(nèi)的隨機數(shù);
17、隨機搜索階段的過程表示為:
18、d=|c·xrand(t)-x(t)|
19、x(t+1)=xrand(t)-a·d
20、其中,xrand(t)為鯨群中隨機個體的位置;
21、引入差分進化算法階段的過程表示為:
22、設(shè)置變異因子f、交叉概率cr,得到變異策略:
23、ui(j)=x*(j)+f·(xr1(j)-xr2(j))
24、其中,i為當前迭代次數(shù)、j為當前鯨魚個體,ui(j)為第i次迭代中第j的鯨魚個體產(chǎn)生的新子代,r1和r2為兩個隨機數(shù)且滿足r1≠r2≠i,x*(j)為當前種群中的最有個體,是種群中隨機選擇的不同個體,設(shè)置參數(shù)jrand表示1-n范圍內(nèi)的隨機數(shù),其中n為種群中鯨魚個體的數(shù)量,當滿足r≤cr||j=j(luò)rand則進行交叉變異操作,產(chǎn)生新個體。
25、優(yōu)選的,使用改進鯨魚優(yōu)化算法iwoa對itransformer模型進行超參數(shù)尋優(yōu)的方法包括:
26、通過差分進化對原始種群進行變異和雜交進而產(chǎn)生新個體,得到超參數(shù)最優(yōu)解。
27、優(yōu)選的,改進的itransformer模型包括:嵌入層、多頭自注意力層、歸一化層、前饋神經(jīng)網(wǎng)絡(luò)層;
28、其中,嵌入層將預處理好的數(shù)據(jù)轉(zhuǎn)換為向量,基于多層感知器mlp實現(xiàn)嵌入操作;
29、多頭自注意力層通過初始隨機設(shè)置的權(quán)值矩陣wq、wk和wv,將輸入的時間序列數(shù)據(jù)與權(quán)值矩陣通過點積的形式處理成查詢向量q、關(guān)鍵詞向量k和值向量v,將查詢向量q、關(guān)鍵詞向量k、值向量v進行h次投影后分別進行attention注意力計算,并使用contact函數(shù)將多維空間內(nèi)的注意力計算結(jié)果進行拼接,最后連接所有子空間的注意力結(jié)果得到多頭自注意力層的最終輸出結(jié)果;
30、歸一化層將歸一化應(yīng)用于個體變量的級數(shù)表示,讓所有變量的特征都處于相對統(tǒng)一的分布;
31、前饋神經(jīng)網(wǎng)絡(luò)層采用多層感知器mlp來實現(xiàn),使得前饋網(wǎng)絡(luò)作用在整條序列上,提取序列的內(nèi)在屬性。
32、優(yōu)選的,基于改進的itransformer模型,捕捉數(shù)據(jù)集中時間序列間的關(guān)聯(lián)的方法包括:
33、通過改進的itransformer模型將變量的整條時間序列映射為最小建模單位-詞,以變量為主體通過注意力機制自然地挖掘以詞為單位的多變量關(guān)聯(lián);
34、通過前饋網(wǎng)絡(luò)和歸一化層的配合消除變量間單位不同帶來的差異。
35、本發(fā)明還提供了基于iwoa-itransformer模型的物料需求預測系統(tǒng),包括:獲取模塊、尋優(yōu)模塊、捕捉模塊和預測模塊;
36、獲取模塊用于對裝備制造企業(yè)生產(chǎn)制造過程中物料消耗的時序數(shù)據(jù)進行采集及預處理,獲得數(shù)據(jù)集;
37、尋優(yōu)模塊用于引入改進鯨魚優(yōu)化算法iwoa和itransformer模型,使用改進鯨魚優(yōu)化算法iwoa對itransformer模型進行超參數(shù)尋優(yōu);
38、捕捉模塊用于基于得到的超參數(shù)最優(yōu)解構(gòu)建改進的itransformer模型,基于改進的itransformer模型,捕捉數(shù)據(jù)集中時間序列間的關(guān)聯(lián);
39、預測模塊用于基于數(shù)據(jù)集中時間序列間的關(guān)聯(lián),通過訓練改進的itransformer模型,對物料需求進行預測,得到最終物料需求值。
40、優(yōu)選的,改進鯨魚優(yōu)化算法iwoa包括:包圍獵物階段、螺旋捕食階段、隨機搜索階段、引入差分進化算法階段;
41、其中,包圍獵物階段的過程表示為:
42、d=|c·x*(t)-x(t)|
43、x(t+1)=x*(t)-a·d
44、其中,d為座頭鯨與獵物的圍獵步長,t為當前迭代次數(shù),x*(t)為獵物的位置向量,x(t)為座頭鯨位置向量,a、c為系數(shù)向量;
45、螺旋捕食階段的過程表示為:
46、x(t+1)=d'·ebl·cos(2πl(wèi))+x*(t)
47、d'=|x*(t)-x(t)|
48、其中,d'為當前個體到獵物之間的距離,b是定義對數(shù)螺旋方程的常量,l是[-1,1]范圍內(nèi)的隨機數(shù);
49、隨機搜索階段的過程表示為:
50、d=|c·xrand(t)-x(t)|
51、x(t+1)=xrand(t)-a·d
52、其中,xrand(t)為鯨群中隨機個體的位置;
53、引入差分進化算法階段的過程表示為:
54、設(shè)置變異因子f、交叉概率cr,得到變異策略:
55、ui(j)=x*(j)+f·(xr1(j)-xr2(j))
56、其中,i為當前迭代次數(shù)、j為當前鯨魚個體,ui(j)為第i次迭代中第j的鯨魚個體產(chǎn)生的新子代,r1和r2為兩個隨機數(shù)且滿足r1≠r2≠i,x*(j)為當前種群中的最有個體,是種群中隨機選擇的不同個體,設(shè)置參數(shù)jrand表示1-n范圍內(nèi)的隨機數(shù),其中n為種群中鯨魚個體的數(shù)量,當滿足r≤cr||j=j(luò)rand則進行交叉變異操作,產(chǎn)生新個體。
57、優(yōu)選的,使用改進鯨魚優(yōu)化算法iwoa對itransformer模型進行超參數(shù)尋優(yōu)的過程包括:
58、通過差分進化對原始種群進行變異和雜交進而產(chǎn)生新個體,得到超參數(shù)最優(yōu)解。
59、優(yōu)選的,改進的itransformer模型包括:嵌入層、多頭自注意力層、歸一化層、前饋神經(jīng)網(wǎng)絡(luò)層;
60、其中,嵌入層將預處理好的數(shù)據(jù)轉(zhuǎn)換為向量,基于多層感知器mlp實現(xiàn)嵌入操作;
61、多頭自注意力層通過初始隨機設(shè)置的權(quán)值矩陣wq、wk和wv,將輸入的時間序列數(shù)據(jù)與權(quán)值矩陣通過點積的形式處理成查詢向量q、關(guān)鍵詞向量k和值向量v,將查詢向量q、關(guān)鍵詞向量k、值向量v進行h次投影后分別進行attention注意力計算,并使用contact函數(shù)將多維空間內(nèi)的注意力計算結(jié)果進行拼接,最后連接所有子空間的注意力結(jié)果得到多頭自注意力層的最終輸出結(jié)果;
62、歸一化層將歸一化應(yīng)用于個體變量的級數(shù)表示,讓所有變量的特征都處于相對統(tǒng)一的分布;
63、前饋神經(jīng)網(wǎng)絡(luò)層采用多層感知器mlp來實現(xiàn),使得前饋網(wǎng)絡(luò)作用在整條序列上,提取序列的內(nèi)在屬性。
64、優(yōu)選的,基于改進的itransformer模型,捕捉數(shù)據(jù)集中時間序列間的關(guān)聯(lián)的方法包括:
65、通過改進的itransformer模型將變量的整條時間序列映射為最小建模單位-詞,以變量為主體通過注意力機制自然地挖掘以詞為單位的多變量關(guān)聯(lián);
66、通過前饋網(wǎng)絡(luò)和歸一化層的配合消除變量間單位不同帶來的差異。
67、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果為:
68、本發(fā)明是一種基于iwoa-itransformer的物料需求預測方法。通過引入差分進化思想的改進鯨魚優(yōu)化算法(iwoa)增加種群候選解的種類,提高鯨魚優(yōu)化算法的尋優(yōu)能力。通過iwoa算法對itransformer模型進行超參數(shù)尋優(yōu),使得itransformer模型預測效果達到最優(yōu)。