本發(fā)明屬于數(shù)據(jù)工程，具體是一種基于人工智能的低代碼數(shù)據(jù)對接檢測方法。

背景技術：

1、低代碼數(shù)據(jù)對接檢測是一種利用人工智能技術對低代碼環(huán)境下的數(shù)據(jù)對接過程進行監(jiān)測和分析的方法，旨在加快軟件開發(fā)速度，減少傳統(tǒng)編程工作，最大限度減少手工編碼的工作量。但是現(xiàn)有的低代碼數(shù)據(jù)對接檢測，存在模板測試時間冗長復雜，且復用程度極低，配置不夠靈活的技術問題；存在數(shù)據(jù)對接檢測不夠準確，導致不必要的重復操作，浪費時間和資源的技術問題；存在數(shù)據(jù)對接任務分配不夠高效，變更反應不夠敏捷，無法實現(xiàn)有效的任務管理和監(jiān)控的技術問題。

技術實現(xiàn)思路

1、針對上述情況，為克服現(xiàn)有技術的缺陷，本發(fā)明提供了一種基于人工智能的低代碼數(shù)據(jù)對接檢測方法，針對存在模板測試時間冗長復雜，且復用程度極低，配置不夠靈活的技術問題，采用將模擬數(shù)據(jù)輸入并經(jīng)過對接模擬邏輯完成數(shù)據(jù)流轉，通過背景色提示錯誤級別，確保數(shù)據(jù)對接的可靠性；針對存在數(shù)據(jù)對接檢測不夠準確，導致不必要的重復操作，浪費時間和資源的技術問題，采用定義樣本鄰域和鄰域粒度，明確數(shù)據(jù)的局部范圍和精細程度，有助于更好地把握數(shù)據(jù)的局部特性，衡量特征相似性，深入揭示數(shù)據(jù)特征之間的關系，引入注意力機制層，標記同構和異構特征，共同提升數(shù)據(jù)對接檢測模型的準確性；針對存在數(shù)據(jù)對接任務分配不夠高效，變更反應不夠敏捷，無法實現(xiàn)有效的任務管理和監(jiān)控的技術問題，采用通過尋找最小化整體延遲的任務分配方案，考慮加速器的性能和任務特點進行合理分配，對任務按層劃分并合理規(guī)劃執(zhí)行位置，通過可視化展示任務排隊信息、支持禁用和喚起任務確保任務調度的正常進行。

2、本發(fā)明采取的技術方案如下：本發(fā)明提供的一種基于人工智能的低代碼數(shù)據(jù)對接檢測方法，該方法包括以下步驟：

3、步驟s1：組件編排，具體為生成對接模板并完成節(jié)點配置，進行組件編排；

4、步驟s2：模板測試，具體為獲取模擬數(shù)據(jù)進行模板測試，通過背景色提示錯誤級別；

5、步驟s3：建立數(shù)據(jù)對接檢測模型，具體為定義樣本鄰域及鄰域粒度，衡量特征相似性，使用局部gram矩陣建模得到數(shù)據(jù)特征之間關系，最后引入注意力機制層，傳遞特征相似性和關系，標記同構和異構特征，實現(xiàn)數(shù)據(jù)對接檢測模型建立；

6、步驟s4：任務對接調度，具體為明確任務調度目標是找到最小化整體延遲的任務分配方案，計算加速器分配任務時的延遲，按序分配任務，將cnn任務分層劃分子任務，規(guī)劃各層執(zhí)行位置，再配置任務調度規(guī)則，記錄日志；

7、步驟s5：更新反饋。

8、進一步地，在步驟s1中，所述組件編排，包括以下步驟：

9、步驟s11：對接模板生成，通過可視化交互方式，拖拽組件進入工作臺，作為對接模板內調度的基本單位；

10、步驟s12：完成節(jié)點配置，點擊組件，根據(jù)界面配置項完成節(jié)點配置，所述節(jié)點包括數(shù)據(jù)讀取節(jié)點、數(shù)據(jù)清洗節(jié)點和數(shù)據(jù)寫入節(jié)點；

11、所述數(shù)據(jù)讀取節(jié)點主要負責選定數(shù)據(jù)源并進行參數(shù)設置，讀取數(shù)據(jù)源的數(shù)據(jù)入口，通過預覽測試來驗證數(shù)據(jù)讀取是否正常，確保數(shù)據(jù)能夠順利接入；

12、數(shù)據(jù)清洗節(jié)點主要是根據(jù)數(shù)據(jù)入庫要求，對數(shù)據(jù)源數(shù)據(jù)進行預處理、篩選和過濾操作，選擇合適的腳本、校驗、統(tǒng)計、轉換組件，完成配置工作，達到清洗和優(yōu)化的目的；

13、數(shù)據(jù)寫入節(jié)點，選擇合適的輸入組件將處理后的數(shù)據(jù)載入到目標業(yè)務系統(tǒng)，實現(xiàn)數(shù)據(jù)的最終寫入和應用；

14、步驟s13：進行編排，低代碼平臺通過可視化操作，設定組件的執(zhí)行順序，并根據(jù)執(zhí)行結果決定后續(xù)步驟的流轉方向，實現(xiàn)對組件之間關系和流程的編排，同時支持對組件是并發(fā)執(zhí)行還是線性執(zhí)行進行控制，靈活地構建出符合各種需求的業(yè)務流轉和邏輯架構。

15、進一步地，在步驟s2中，所述模板測試，包括以下步驟：

16、步驟s21：獲取模擬數(shù)據(jù)，獲取節(jié)點對測試預覽得到的部分切片數(shù)據(jù)，依據(jù)自身需求配置相應的生成規(guī)則，創(chuàng)建出部分模擬數(shù)據(jù)，讓用戶根據(jù)實際情況和特定要求來定制數(shù)據(jù)，以便更好地進行后續(xù)的分析、測試，增加了數(shù)據(jù)處理的靈活性和可制定性；

17、步驟s22：進行測試，包括以下步驟：

18、步驟s221：建立測試實例并選擇模擬數(shù)據(jù)，啟用模板測試實例；

19、步驟s222：根據(jù)運行結果，界面上可視化組件會通過背景色精準提示數(shù)據(jù)流轉發(fā)生錯誤的步驟，提示信息分為三個等級：綠色正常，黃色警告，紅色錯誤；

20、所述黃色警告說明可能會因為具備某些特征的數(shù)據(jù)流轉至此產(chǎn)生錯誤并無法繼續(xù)向后執(zhí)行；

21、所述紅色錯誤說明當前步驟配置不可靠已經(jīng)在模擬數(shù)據(jù)中產(chǎn)生嚴重問題導致流程中斷；

22、步驟s23：修改模板，基于此次測試提供的修改建議，用戶可以直接在測試實例中調整模板，直至模板邏輯正常。

23、進一步地，在步驟s3中，所述建立數(shù)據(jù)對接檢測模型，包括以下步驟：

24、步驟s31：定義樣本鄰域，特征集上樣本的鄰域粒度定義，所用公式如下：

25、；

26、式中，表示樣本的鄰域，u1是包含所有特征的集合，x表示特征集中的樣本點，θ是鄰域粒度的閾值，表示距離度量值，表示樣本點x與樣本之間的距離度量值；

27、步驟s32：衡量特征相似性，根據(jù)樣本的鄰域粒度對關系進行建模，通過計算局部gram矩陣中元素的絕對值來衡量特征相似性，所用公式如下：

28、；

29、式中，表示局部gram矩陣中第i行第j列的元素，表示樣本鄰域粒度中的第i個特征向量，表示樣本鄰域粒度中的第j個特征向量的轉置，此絕對值越大，表示特征相似性越高；

30、步驟s33：使用局部gram矩陣進行建模，得到數(shù)據(jù)特征之間關系，所用公式如下：

31、；

32、；

33、式中，n表示鄰域粒度的數(shù)量，g表示具體的鄰域粒度的索引，是系數(shù)矩陣的第j行，表示系數(shù)矩陣的第i行，n表示系數(shù)矩陣的行數(shù)，即參與計算的元素的數(shù)量維度，表示鄰域粒度為g的拉普拉斯矩陣，是鄰域粒度為g時的對角矩陣，用于對成對特征之間的相似性進行編碼，tr（）表示矩陣的跡；

34、步驟s34：引入注意力機制層，將特征相似性和數(shù)據(jù)特征之間的關系傳遞到注意力機制層，對每個特征分配不同的注意力權重，根據(jù)相似性閾值標記同構和異構特征，對異構特征進行重要性評估和加權處理，進而實現(xiàn)數(shù)據(jù)對接檢測模型的建立。

35、進一步地，在步驟s4中，所述任務對接調度，包括以下步驟：

36、步驟s41：明確任務調度目標，尋找最小化整體延遲的任務分配方案，即找到讓所有計算節(jié)點中延遲總和的最大值最小的分配方式，所用公式如下：

37、；

38、式中，u表示最小化的整體目標，即最小化的整體延遲，k表示不同的計算節(jié)點，表示分配到第k個計算節(jié)點的任務集合，表示具體的任務，表示不同的任務，表示執(zhí)行任務分配到任務上的延遲時間；

39、步驟s42：計算加速器分配任務時的延遲，將cnn任務按照從大到小進行排序，遍歷排序后的任務列表，對于每個任務，依次計算在各個加速器上分配該任務時的延遲，同時考慮當前每個加速器上已有的任務隊列，選擇延遲最小且能使整體性能影響最小的加速器進行分配，重復步驟，直至所有任務分配完畢；

40、步驟s43：將cnn任務按層劃分為子任務，確定每個子任務的特點和需求，評估各個加速器的性能和適合處理的任務類型，對于每個子任務，選擇最合適的加速器進行分配，當處理連續(xù)兩層且在同一加速器上時，將前一層的輸出直接放入緩沖區(qū)供下一層使用；若將相鄰兩層分配給不同加速器，則將前一層的輸出放入備份緩沖區(qū)，并讓另一個加速器從備份緩沖區(qū)加載數(shù)據(jù)，計算并記錄此時的兩輪備份緩沖區(qū)訪問成本；

41、步驟s44：規(guī)劃各層執(zhí)行位置，只將卷積層分配給不同的加速器，當將特定的卷積層分配給加速器時，后續(xù)的池化層也會在同一加速器上執(zhí)行，將全連接層安排在與最后一個卷積層相同的加速器上執(zhí)行；

42、步驟s45：配置任務調度規(guī)則，用戶可以指定任務是按照固定的分鐘間隔、小時間隔來執(zhí)行，精確地指定每天中的具體時間點來啟動任務，方便用戶根據(jù)實際需求和業(yè)務場景來合理安排；

43、調度器會根據(jù)任務調度規(guī)則投遞任務至隊列，消費線程按照隊列投遞順序喚醒并執(zhí)行任務；支持在調度過程中禁用任務，此后再喚起任務時會由于禁用狀態(tài)，不再進行調度，完成調度卸載；任務排隊信息也會通過可視化的展示方式，提供給用戶查看，如果其中有任務執(zhí)行反常可以根據(jù)實際情況，手動踢出隊列以確保后續(xù)任務可以正常調度，這部分操作也可以通過配置任務執(zhí)行超時時間，交由調度器自動監(jiān)控和執(zhí)行；

44、步驟s46：記錄日志，通過任務和節(jié)點監(jiān)聽器，記錄任務執(zhí)行日志和節(jié)點數(shù)據(jù)，持久化入庫后可供后續(xù)問題排查使用。

45、進一步地，在步驟s5中，所述更新反饋，具體為實時監(jiān)測模板使用情況，任務對接調度和檢測模型的運行效果，根據(jù)監(jiān)測結果收集到的相關數(shù)據(jù)和信息反饋給工作人員，以便及時進行調整和優(yōu)化。

46、采用上述方案本發(fā)明取得的有益成果如下：

47、（1）針對存在模板測試時間冗長復雜，且復用程度極低，配置不夠靈活的技術問題，采用將模擬數(shù)據(jù)輸入并經(jīng)過對接模擬邏輯完成數(shù)據(jù)流轉，通過背景色提示錯誤級別，確保數(shù)據(jù)對接的可靠性；

48、（2）針對存在數(shù)據(jù)對接檢測不夠準確，導致不必要的重復操作，浪費時間和資源的技術問題，采用定義樣本鄰域和鄰域粒度，明確數(shù)據(jù)的局部范圍和精細程度，有助于更好地把握數(shù)據(jù)的局部特性，衡量特征相似性，深入揭示數(shù)據(jù)特征之間的關系，引入注意力機制層，標記同構和異構特征，共同提升數(shù)據(jù)對接檢測模型的準確性；

49、（3）針對存在數(shù)據(jù)對接任務分配不夠高效，變更反應不夠敏捷，無法實現(xiàn)有效的任務管理和監(jiān)控的技術問題，采用通過尋找最小化整體延遲的任務分配方案，考慮加速器的性能和任務特點進行合理分配，對任務按層劃分并合理規(guī)劃執(zhí)行位置，通過可視化展示任務排隊信息、支持禁用和喚起任務確保任務調度的正常進行。