本發(fā)明涉及電網(wǎng)控制領(lǐng)域，具體涉及一種時(shí)序數(shù)據(jù)補(bǔ)全方法及系統(tǒng)。

背景技術(shù)：

1、特高壓直流換流站的變壓器在電力傳輸過(guò)程中地位重要且造價(jià)昂貴，但是一經(jīng)生產(chǎn)廠家制造完成，其結(jié)構(gòu)就已固定，所能布置的傳感器位置與數(shù)量也一并確定，導(dǎo)致傳感器收集的數(shù)據(jù)有限，例如變壓器油色譜、變壓器油中氣體的體積分?jǐn)?shù)隨時(shí)間變化，傳感器可能會(huì)在其中某時(shí)刻檢測(cè)異常而形成數(shù)據(jù)缺失，需要對(duì)數(shù)據(jù)集隨時(shí)間變化缺失的變壓器數(shù)據(jù)進(jìn)行有效補(bǔ)全，利用補(bǔ)全的數(shù)據(jù)將有利于后續(xù)的變壓器故障檢測(cè)工作。

2、傳統(tǒng)的長(zhǎng)短期記憶網(wǎng)絡(luò)（lstm，long?short-term?memory），只能從前向后單向處理數(shù)據(jù)，無(wú)法融合反方向處理數(shù)據(jù)帶來(lái)的有利影響，存在梯度消失問(wèn)題；傳統(tǒng)的網(wǎng)絡(luò)模型應(yīng)用過(guò)程中，聚合與收斂效率低、存在過(guò)度擬合問(wèn)題；難以保留時(shí)間維度上的數(shù)據(jù)特征，不利于更好地預(yù)測(cè)補(bǔ)全數(shù)據(jù)，同時(shí)，傳統(tǒng)模型對(duì)預(yù)測(cè)數(shù)據(jù)、真實(shí)數(shù)據(jù)的區(qū)分效果差，補(bǔ)全數(shù)據(jù)的準(zhǔn)確性較低。

3、公布號(hào)為cn114327609a的現(xiàn)有發(fā)明專(zhuān)利申請(qǐng)文獻(xiàn)《一種代碼補(bǔ)全方法、模型和工具》，該現(xiàn)有方法包括：從真實(shí)代碼倉(cāng)庫(kù)獲取真實(shí)項(xiàng)目并基于真實(shí)項(xiàng)目的項(xiàng)目源碼進(jìn)行數(shù)據(jù)集分類(lèi)，同時(shí)通過(guò)選擇工作中使用的真實(shí)項(xiàng)目集合構(gòu)建代碼補(bǔ)全數(shù)據(jù)集；構(gòu)建基于語(yǔ)義的代碼補(bǔ)全模型，其包括搭建帶有注意力機(jī)制的序列到序列神經(jīng)網(wǎng)絡(luò)，通過(guò)比特對(duì)編碼bpe（byte-pair?encoding）分詞算法進(jìn)行源代碼分詞，通過(guò)雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行上下文依賴(lài)學(xué)習(xí)，利用注意力機(jī)制進(jìn)行文本權(quán)重的學(xué)習(xí)，并且根據(jù)不同預(yù)測(cè)場(chǎng)景進(jìn)行基于序列到序列神經(jīng)網(wǎng)絡(luò)的適配；構(gòu)建基于語(yǔ)法的代碼補(bǔ)全模型；以及重排序預(yù)測(cè)結(jié)果得到目標(biāo)預(yù)測(cè)文本和排列順序。然而，前述現(xiàn)有技術(shù)中采用的注意力機(jī)制，會(huì)導(dǎo)致生成的代碼被原先缺失位置的虛假值替代的情形，使得虛假信息與真實(shí)信息被同等替代，導(dǎo)致補(bǔ)全信息準(zhǔn)確率低。

4、公布號(hào)為cn110347847a的現(xiàn)有發(fā)明專(zhuān)利申請(qǐng)文獻(xiàn)《基于神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜補(bǔ)全方法》，該現(xiàn)有方法包括：在嵌入層將知識(shí)圖譜k中的三元組轉(zhuǎn)換為句子，利用向量表示技術(shù)把句子轉(zhuǎn)換為k維稠密向量表示形式；s2、在循環(huán)層利用雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)從輸入特征向量中學(xué)習(xí)句子的長(zhǎng)期依賴(lài)性，得到循環(huán)層特征向量；s3、在卷積層利用卷積神經(jīng)網(wǎng)絡(luò)從循環(huán)層特征向量中學(xué)習(xí)局部結(jié)構(gòu)信息，得到卷積層特征向量；s4、在全連接層將卷積層特征向量轉(zhuǎn)化為每一個(gè)三元組的得分。然而，前述現(xiàn)有技術(shù)中采用的雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)只能利用雙向信息流，可能會(huì)存在過(guò)度擬合的問(wèn)題。

5、綜上，現(xiàn)有技術(shù)存在梯度消失、過(guò)度擬合以及補(bǔ)全數(shù)據(jù)的準(zhǔn)確性低的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問(wèn)題在于：如何解決現(xiàn)有技術(shù)中梯度消失、過(guò)度擬合以及補(bǔ)全數(shù)據(jù)的準(zhǔn)確性低的技術(shù)問(wèn)題。

2、本發(fā)明是采用以下技術(shù)方案解決上述技術(shù)問(wèn)題的：一種時(shí)序數(shù)據(jù)補(bǔ)全方法包括：

3、s1、針對(duì)直流換流變壓器，采集獲取時(shí)序相關(guān)度運(yùn)行數(shù)據(jù)，構(gòu)建原始時(shí)序缺損數(shù)據(jù)集 x0，將原始時(shí)序缺損數(shù)據(jù)集 x0劃分為訓(xùn)練集、測(cè)試集；

4、s2、對(duì)原始時(shí)序缺損數(shù)據(jù)集 x0，進(jìn)行時(shí)間相關(guān)度預(yù)處理操作，得到時(shí)間相關(guān)預(yù)處理矩陣 x1；

5、s3、將時(shí)間相關(guān)預(yù)處理矩陣 x1輸入cnn（convolutional?neural?network，卷積神經(jīng)網(wǎng)絡(luò)）網(wǎng)絡(luò)結(jié)構(gòu)中，進(jìn)行數(shù)據(jù)序列整合操作，得到整合矩陣 x2；

6、s4、將整合矩陣 x2送入雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)bi-lstm，進(jìn)行時(shí)間相關(guān)性預(yù)測(cè)學(xué)習(xí)，得到時(shí)間相關(guān)性預(yù)測(cè)結(jié)果 x3；

7、s5、將時(shí)間相關(guān)性預(yù)測(cè)結(jié)果 x3送入反注意力層anti-attention，對(duì)預(yù)填數(shù)據(jù)降低注意力，以得到重構(gòu)注意力矩陣 x4；

8、s6、將重構(gòu)注意力矩陣 x4放入全連接輸出層，處理得到數(shù)據(jù)預(yù)測(cè)補(bǔ)全結(jié)果 x5。

9、本發(fā)明能利用基于自注意力機(jī)制的bi-lstm（雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)，bi-longshort-term?memory）模型的時(shí)序數(shù)據(jù)補(bǔ)全方法，將直流換流變壓器采集到的缺失數(shù)據(jù)進(jìn)行時(shí)間序列上的數(shù)據(jù)補(bǔ)全，通過(guò)對(duì)原始時(shí)序缺損數(shù)據(jù)集 x0的時(shí)間相關(guān)度的預(yù)處理結(jié)果，輸入到具有殘差機(jī)制的cnn網(wǎng)絡(luò)中提取數(shù)據(jù)集關(guān)鍵特征并整理成序列，在送入具有注意力重構(gòu)機(jī)制的bi-lstm模型，在內(nèi)外互補(bǔ)注意力機(jī)制下，實(shí)現(xiàn)缺失數(shù)據(jù)集的有效補(bǔ)全，在全連接輸出層進(jìn)行數(shù)據(jù)輸出，從而實(shí)現(xiàn)直流換流變壓器數(shù)據(jù)的缺失數(shù)據(jù)補(bǔ)全。

10、在更具體的技術(shù)方案中，s2包括：

11、s21、針對(duì)原始時(shí)序缺損數(shù)據(jù)集 x0，求取待補(bǔ)全不完整矩陣 a，以利用下述邏輯，計(jì)算時(shí)間相關(guān)度矩陣，標(biāo)記缺失值nan：

12、(1)

13、式中，表示待補(bǔ)全不完整矩陣 a的行數(shù)，表示待補(bǔ)全不完整矩陣 a的列數(shù)，表示一維列矩陣 t對(duì)應(yīng)第 i行的時(shí)間值，表示一維列矩陣 t對(duì)應(yīng)第 i-1行的時(shí)間值；表示待補(bǔ)全不完整矩陣 a的同型矩陣中的第行、第列的值，表示時(shí)間相關(guān)度矩陣中第行、第列的值，表示時(shí)間相關(guān)度矩陣中第行、第列的值；

14、s22、根據(jù)時(shí)間相關(guān)度矩陣 c，利用下述邏輯處理得到衰減矩陣 d：

15、(2)

16、式中，表示時(shí)間相關(guān)度矩陣 c中第 i行、第 j列的數(shù)值；表示衰減矩陣 d第 i行、第 j列的數(shù)值， e表示計(jì)算誤差向量；

17、s23、對(duì)待補(bǔ)全不完整矩陣 a進(jìn)行預(yù)填充處理，根據(jù)預(yù)置時(shí)間序列的時(shí)刻值，將缺失值nan填充至待補(bǔ)全不完整矩陣 a，得到預(yù)填充矩陣：

18、(3)

19、式中，表示待補(bǔ)全不完整矩陣 a在 t時(shí)刻的數(shù)值；表示預(yù)填充矩陣在時(shí)刻的數(shù)值，表示預(yù)填充矩陣在 t時(shí)刻的數(shù)值；

20、s24、橫向拼接預(yù)填充矩陣、衰減矩陣 d，得到時(shí)間相關(guān)預(yù)處理矩陣 x1。

21、在更具體的技術(shù)方案中，s3中，利用基于殘差機(jī)制的cnn網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)殘差網(wǎng)絡(luò)在不同卷積層之間加入恒等映射，其中，利用下述邏輯，表達(dá)卷積層的殘差塊輸出：

22、(4)

23、(5)

24、式中，表示殘差塊輸出，表示直接映射部分， l表示cnn網(wǎng)絡(luò)的層數(shù)，表示待學(xué)習(xí)的殘差映射部分， f表示殘差映射，表示待學(xué)習(xí)的網(wǎng)絡(luò)層參數(shù)，表示激活函數(shù)，表示cnn網(wǎng)絡(luò)的第1層的權(quán)重，表示cnn網(wǎng)絡(luò)的第2層的權(quán)重。

25、本發(fā)明的cnn網(wǎng)絡(luò)中的殘差塊可以實(shí)現(xiàn)殘差網(wǎng)絡(luò)更快更好的聚合與收斂，使cnn網(wǎng)絡(luò)中的數(shù)據(jù)可以跨層流動(dòng)，以克服過(guò)度擬合問(wèn)題。

26、具體地，本發(fā)明采用基于殘差機(jī)制的cnn網(wǎng)絡(luò)作為輸出層，通過(guò)殘差網(wǎng)絡(luò)在不同卷積層之間加入恒等映射，利用殘差塊實(shí)現(xiàn)殘差網(wǎng)絡(luò)的聚合與收斂，使cnn網(wǎng)絡(luò)中的數(shù)據(jù)可以跨層流動(dòng)，避免過(guò)度擬合。

27、在更具體的技術(shù)方案中，s4包括：

28、s41、設(shè)置雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)bi-lstm的模型參數(shù)；

29、s42、將整合矩陣 x2放入雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)bi-lstm的2層反方向lstm中，在整合矩陣 x2的數(shù)據(jù)序列的不同方向時(shí)間點(diǎn)上，分別進(jìn)行雙向預(yù)測(cè)學(xué)習(xí)，處理得到時(shí)間相關(guān)性預(yù)測(cè)結(jié)果 x3。

30、相較于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)lstm，只能從前向后單向處理數(shù)據(jù)，無(wú)法融合反方向處理數(shù)據(jù)帶來(lái)的有利影響，本發(fā)明采用的雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)bi-lstm屬于雙向性允許模型，能夠在訓(xùn)練過(guò)程中同時(shí)學(xué)習(xí)正向和反向的上下文信息，這有助于提取更加豐富和準(zhǔn)確的特征表示，在反向傳播過(guò)程中，反向?lstm可以捕獲長(zhǎng)期依賴(lài)關(guān)系中的梯度信息，減少梯度消失問(wèn)題。

31、在更具體的技術(shù)方案中，s42中，在雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)bi-lstm中，利用下述邏輯，計(jì)算 t時(shí)刻的輸出隱藏狀態(tài)向量：

32、(6)

33、(7)

34、(8)

35、(9)

36、(10)

37、(11)

38、式中，為 t時(shí)刻的遺忘門(mén)，為 t時(shí)刻的輸入門(mén)，為 t時(shí)刻的輸出門(mén)，為 t時(shí)刻的細(xì)胞狀態(tài)，為 t時(shí)刻的記憶細(xì)胞，為時(shí)刻的記憶細(xì)胞；為 t時(shí)刻的輸出隱藏狀態(tài)向量，為時(shí)刻的輸出隱藏狀態(tài)向量，為激活函數(shù)，tanh為雙曲正切激活函數(shù)，為遺忘門(mén)對(duì)應(yīng)的權(quán)重矩陣，為輸入門(mén)對(duì)應(yīng)的權(quán)重矩陣，為輸出門(mén)對(duì)應(yīng)的權(quán)重矩陣，為 t時(shí)刻的細(xì)胞狀態(tài)的權(quán)重矩陣，為遺忘門(mén)對(duì)應(yīng)的偏置向量，為輸入門(mén)對(duì)應(yīng)的偏置向量，為輸出門(mén)對(duì)應(yīng)的偏置向量，為 t時(shí)刻的細(xì)胞狀態(tài)的偏置向量，為 t時(shí)刻的輸入向量。

39、在更具體的技術(shù)方案中，s5包括：

40、s51、在雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)bi-lstm中，對(duì)時(shí)刻前向的輸出隱藏狀態(tài)向量、后向的輸出隱藏狀態(tài)向量進(jìn)行拼接處理，得到拼接向量：

41、(12)

42、式中，為 t時(shí)刻的拼接向量，為第一時(shí)刻的前向的輸出隱藏狀態(tài)向量、為第二時(shí)刻的前向的輸出隱藏狀態(tài)向量，為 t時(shí)刻的前向的輸出隱藏狀態(tài)向量，為第一時(shí)刻的后向的輸出隱藏狀態(tài)向量、為第二時(shí)刻的后向的輸出隱藏狀態(tài)向量，為 t時(shí)刻的后向的輸出隱藏狀態(tài)向量，為第一時(shí)刻的拼接向量的分量，為第二時(shí)刻的拼接向量的分量，為 t時(shí)刻的拼接向量的分量；

43、s52、對(duì)每個(gè)拼接向量進(jìn)行注意力打分，得到初始注意力得分 gt：

44、(13)

45、s53、根據(jù)衰減矩陣 d，利用下述邏輯，計(jì)算向量缺失度、向量完整度：

46、(14)

47、(15)

48、式中， n為衰減矩陣中的當(dāng)前時(shí)刻的數(shù)據(jù)向量維數(shù)，為衰減矩陣中的 t時(shí)刻第 h行的數(shù)據(jù)值，為衰減矩陣中 t時(shí)刻第1行到第 h行的數(shù)據(jù)值的累加；

49、s54、根據(jù)向量缺失度、向量完整度，對(duì)初始注意力得分進(jìn)行重新打分，以利用下述邏輯，計(jì)算每個(gè)拼接向量的新注意力得分：

50、(16)

51、式中，為時(shí)刻的求得的新注意力得分，為時(shí)刻的初始注意力得分，為 t時(shí)刻的初始注意力得分，為 t時(shí)刻的向量缺失度，為時(shí)刻的向量完整度，表示時(shí)間序列上除時(shí)刻外其余時(shí)刻的向量完整度的累加；

52、s55、利用softmax函數(shù)，處理得到時(shí)間步 n的注意力分布；

53、s56、通過(guò)新注意力機(jī)制，根據(jù)注意力分布、拼接向量，計(jì)算輸入序列在總序列中所占的比重；

54、s57、對(duì)輸入序列中的不同時(shí)間步，分配不同的注意力，以對(duì)當(dāng)前任務(wù)目標(biāo)選擇適用預(yù)測(cè)信息，構(gòu)建得到重構(gòu)注意力矩陣 x4。

55、本發(fā)明通過(guò)計(jì)算衰減矩陣 d可以實(shí)現(xiàn)各時(shí)間維度上的數(shù)據(jù)特征的保留，有利于更好地預(yù)測(cè)、補(bǔ)全數(shù)據(jù)，在反注意力層anti-attention將預(yù)填充的數(shù)據(jù)值進(jìn)行注意力得分的弱化，有利于區(qū)分預(yù)測(cè)數(shù)據(jù)和真實(shí)數(shù)據(jù)，提高補(bǔ)全數(shù)據(jù)的準(zhǔn)確性。

56、本發(fā)明中的反注意力層用于解決數(shù)據(jù)中的虛假信息與真實(shí)信息受到同等對(duì)待的問(wèn)題，根據(jù)輸入到編碼器中各拼接向量的數(shù)據(jù)缺失情況，按照輸入序列在總序列中所占的比重，將解碼器傾注的注意力適當(dāng)發(fā)散至其他向量中。提高了數(shù)據(jù)補(bǔ)全操作的有效性。

57、本發(fā)明中通過(guò)加入注意力機(jī)制與重構(gòu)注意力機(jī)制，利用時(shí)間相關(guān)預(yù)處理矩陣 x1將神經(jīng)網(wǎng)絡(luò)注意力進(jìn)行重新分配，在解碼過(guò)程中參考了編碼過(guò)程中每個(gè)隱藏狀態(tài)的權(quán)重。

58、在更具體的技術(shù)方案中，s55中，利用下述邏輯，處理得到時(shí)間步 n的注意力分布：

59、(17)

60、式中，為時(shí)間步 n對(duì)應(yīng)的新注意力得分，表示激活函數(shù)。

61、在更具體的技術(shù)方案中，s56中，利用下述邏輯，處理得到輸入序列在總序列中所占的比重：

62、(18)

63、式中，為輸入數(shù)據(jù)量為 k時(shí)的注意力分布，為輸入數(shù)據(jù)量為 k時(shí)對(duì)應(yīng)的拼接向量，表示輸入數(shù)據(jù)量為 k時(shí)的注意力分布與輸入數(shù)據(jù)量為 k時(shí)對(duì)應(yīng)的拼接向量的積，對(duì) n個(gè)時(shí)間步的求和。

64、在更具體的技術(shù)方案中，s6中，利用下述邏輯，在全連接輸出層中調(diào)整雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)bi-lstm的網(wǎng)絡(luò)參數(shù)，進(jìn)行優(yōu)化訓(xùn)練，利用均方誤差更新參數(shù)：

65、(20)

66、(21)

67、式中， in為激活函數(shù)的輸入值，為第 l1全連接層帶訓(xùn)練權(quán)重，為第 l2全連接層帶訓(xùn)練權(quán)重，為輸入數(shù)據(jù)量為 k的輸出預(yù)測(cè)值，為輸入序列在總序列中所占的比重，表示對(duì)第一全連接層帶訓(xùn)練權(quán)重與輸入序列在總序列中所占的比重的乘積的求和，表示對(duì)第二全連接層帶訓(xùn)練權(quán)重與輸入序列在總序列中所占的比重的乘積的求和， n表示時(shí)間步。

68、在更具體的技術(shù)方案中，一種時(shí)序數(shù)據(jù)補(bǔ)全系統(tǒng)包括：

69、數(shù)據(jù)集構(gòu)建劃分模塊，用以針對(duì)直流換流變壓器，采集獲取時(shí)序相關(guān)度運(yùn)行數(shù)據(jù)，構(gòu)建原始時(shí)序缺損數(shù)據(jù)集 x0，將原始時(shí)序缺損數(shù)據(jù)集 x0劃分為訓(xùn)練集、測(cè)試集；

70、時(shí)間相關(guān)度預(yù)處理模塊，用以對(duì)原始時(shí)序缺損數(shù)據(jù)集 x0，進(jìn)行時(shí)間相關(guān)度預(yù)處理操作，得到時(shí)間相關(guān)預(yù)處理矩陣 x1，時(shí)間相關(guān)度預(yù)處理模塊與數(shù)據(jù)集構(gòu)建劃分模塊連接；

71、序列整合模塊，用以將時(shí)間相關(guān)預(yù)處理矩陣 x1輸入cnn網(wǎng)絡(luò)結(jié)構(gòu)中，進(jìn)行數(shù)據(jù)序列整合操作，得到整合矩陣 x2，序列整合模塊與時(shí)間相關(guān)度預(yù)處理模塊連接；

72、時(shí)間相關(guān)性預(yù)測(cè)學(xué)習(xí)模塊，用以將整合矩陣 x2送入雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)bi-lstm，進(jìn)行時(shí)間相關(guān)性預(yù)測(cè)學(xué)習(xí)，得到時(shí)間相關(guān)性預(yù)測(cè)結(jié)果 x3，時(shí)間相關(guān)性預(yù)測(cè)學(xué)習(xí)模塊與序列整合模塊連接；

73、降低注意力模塊，用以將時(shí)間相關(guān)性預(yù)測(cè)結(jié)果 x3送入反注意力層anti-attention，對(duì)預(yù)填數(shù)據(jù)降低注意力，以得到重構(gòu)注意力矩陣 x4，降低注意力模塊與時(shí)間相關(guān)性預(yù)測(cè)學(xué)習(xí)模塊連接；

74、預(yù)測(cè)補(bǔ)全模塊，用以將重構(gòu)注意力矩陣 x4放入全連接輸出層，處理得到數(shù)據(jù)預(yù)測(cè)補(bǔ)全結(jié)果 x5，預(yù)測(cè)補(bǔ)全模塊與降低注意力模塊連接。

75、本發(fā)明相比現(xiàn)有技術(shù)具有以下優(yōu)點(diǎn)：

76、本發(fā)明能利用基于自注意力機(jī)制的bi-lstm（雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)，bi-longshort-term?memory）模型的時(shí)序數(shù)據(jù)補(bǔ)全方法，將直流換流變壓器采集到的缺失數(shù)據(jù)進(jìn)行時(shí)間序列上的數(shù)據(jù)補(bǔ)全，通過(guò)對(duì)原始時(shí)序缺損數(shù)據(jù)集 x0的時(shí)間相關(guān)度的預(yù)處理結(jié)果，輸入到具有殘差機(jī)制的cnn網(wǎng)絡(luò)中提取數(shù)據(jù)集關(guān)鍵特征并整理成序列，在送入具有注意力重構(gòu)機(jī)制的bi-lstm模型，在內(nèi)外互補(bǔ)注意力機(jī)制下，實(shí)現(xiàn)缺失數(shù)據(jù)集的有效補(bǔ)全，在全連接輸出層進(jìn)行數(shù)據(jù)輸出，從而實(shí)現(xiàn)直流換流變壓器數(shù)據(jù)的缺失數(shù)據(jù)補(bǔ)全。

77、本發(fā)明的cnn網(wǎng)絡(luò)中的殘差塊可以實(shí)現(xiàn)殘差網(wǎng)絡(luò)更快更好的聚合與收斂，使cnn網(wǎng)絡(luò)中的數(shù)據(jù)可以跨層流動(dòng)，以克服過(guò)度擬合問(wèn)題。

78、相較于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)lstm，只能從前向后單向處理數(shù)據(jù)，無(wú)法融合反方向處理數(shù)據(jù)帶來(lái)的有利影響，本發(fā)明采用的雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)bi-lstm屬于雙向性允許模型，能夠在訓(xùn)練過(guò)程中同時(shí)學(xué)習(xí)正向和反向的上下文信息，這有助于提取更加豐富和準(zhǔn)確的特征表示，在反向傳播過(guò)程中，反向?lstm可以捕獲長(zhǎng)期依賴(lài)關(guān)系中的梯度信息，減少梯度消失問(wèn)題。

79、本發(fā)明通過(guò)計(jì)算衰減矩陣 d可以實(shí)現(xiàn)各時(shí)間維度上的數(shù)據(jù)特征的保留，有利于更好地預(yù)測(cè)、補(bǔ)全數(shù)據(jù)，在反注意力層anti-attention將預(yù)填充的數(shù)據(jù)值進(jìn)行注意力得分的弱化，有利于區(qū)分預(yù)測(cè)數(shù)據(jù)和真實(shí)數(shù)據(jù)，提高補(bǔ)全數(shù)據(jù)的準(zhǔn)確性。

80、本發(fā)明中的反注意力層用于解決數(shù)據(jù)中的虛假信息與真實(shí)信息受到同等對(duì)待的問(wèn)題，根據(jù)輸入到編碼器中各拼接向量的數(shù)據(jù)缺失情況，按照輸入序列在總序列中所占的比重，將解碼器傾注的注意力適當(dāng)發(fā)散至其他向量中。提高了數(shù)據(jù)補(bǔ)全操作的有效性。

81、本發(fā)明中通過(guò)加入注意力機(jī)制與重構(gòu)注意力機(jī)制，利用時(shí)間相關(guān)預(yù)處理矩陣 x1將神經(jīng)網(wǎng)絡(luò)注意力進(jìn)行重新分配，在解碼過(guò)程中參考了編碼過(guò)程中每個(gè)隱藏狀態(tài)的權(quán)重。

82、本發(fā)明解決了現(xiàn)有技術(shù)中存在的梯度消失、過(guò)度擬合以及補(bǔ)全數(shù)據(jù)的準(zhǔn)確性低的技術(shù)問(wèn)題。