本公開屬于互聯(lián)網(wǎng)，尤其涉及一種數(shù)據(jù)處理方法和裝置、電子設(shè)備及程序產(chǎn)品。

背景技術(shù)：

1、在數(shù)據(jù)處理領(lǐng)域，接收的數(shù)據(jù)文件往往需進(jìn)行適應(yīng)性配置，以便數(shù)據(jù)處理平臺(tái)能夠?qū)?shù)據(jù)文件進(jìn)行清洗及上傳。

2、然而，不同來源的數(shù)據(jù)文件的字段往往不同，為了保證在多場景下不同來源的數(shù)據(jù)文件內(nèi)容的上傳，當(dāng)數(shù)據(jù)文件的字段發(fā)生變化時(shí)，就需要開發(fā)人員對(duì)上傳接口重新進(jìn)行開發(fā)并上線，這導(dǎo)致了數(shù)據(jù)維護(hù)的成本過大。

3、針對(duì)上述問題，目前尚未提出有效的解決方案。

4、本背景技術(shù)描述的內(nèi)容僅為了便于了解本領(lǐng)域的相關(guān)技術(shù)，不視作對(duì)現(xiàn)有技術(shù)的承認(rèn)。

技術(shù)實(shí)現(xiàn)思路

1、本公開目的在于提供一種數(shù)據(jù)處理方法、電子設(shè)備及程序產(chǎn)品，可實(shí)現(xiàn)對(duì)不同用戶不同場景的數(shù)據(jù)的兼容上傳，以減少開發(fā)的工作量，降低數(shù)據(jù)維護(hù)的成本。

2、在第一方面，本公開提供一種數(shù)據(jù)處理方法，其可包括：

3、接收待上傳數(shù)據(jù)文件，并提取所述待上傳數(shù)據(jù)文件的表頭字段；

4、在確定存在與所述表頭字段匹配的配置文件的情況下，根據(jù)所述配置文件從所述待上傳數(shù)據(jù)文件中提取數(shù)據(jù)字段并填充至接口上傳文檔中，填充完成的所述接口上傳文檔為目標(biāo)上傳文檔；

5、在確定不存在與所述表頭字段匹配的配置文件的情況下，為所述表頭字段建立配置文件，并通過建立的所述配置文件從所述待上傳數(shù)據(jù)文件中提取數(shù)據(jù)字段并填充至接口上傳文檔中，填充完成的所述接口上傳文檔為目標(biāo)上傳文檔；

6、通過數(shù)據(jù)上傳接口將所述目標(biāo)上傳文檔上傳至目標(biāo)數(shù)據(jù)平臺(tái)。

7、可選地，所述為所述表頭字段建立配置文件，包括：

8、獲取運(yùn)營節(jié)點(diǎn)上傳的針對(duì)所述待上傳數(shù)據(jù)文件的傳輸需求，其中，所述文件傳輸需求中攜帶有所述待上傳數(shù)據(jù)文件需上傳的數(shù)據(jù)字段標(biāo)識(shí)集；

9、獲取所述待上傳數(shù)據(jù)文件的表頭字段；

10、將所述數(shù)據(jù)字段集中各數(shù)據(jù)字段標(biāo)識(shí)在所述待上傳數(shù)據(jù)文件的表頭字段中進(jìn)行查找，以確定所述數(shù)據(jù)字段集中各數(shù)據(jù)字段在所述待上傳數(shù)據(jù)文件中的數(shù)據(jù)位置順序；

11、根據(jù)所述數(shù)據(jù)字段標(biāo)識(shí)集和確定的所述數(shù)據(jù)位置順序，建立與所述待上傳數(shù)據(jù)文件的表頭字段匹配的配置文件。

12、可選地，在獲取運(yùn)營節(jié)點(diǎn)上傳的針對(duì)所述待上傳數(shù)據(jù)文件的傳輸需求之后，所述方法還包括：

13、調(diào)取接口上傳文檔，其中，所述接口上傳文檔中包括多條數(shù)據(jù)統(tǒng)計(jì)項(xiàng)，其中，每條數(shù)據(jù)統(tǒng)計(jì)項(xiàng)中包括：數(shù)據(jù)字段標(biāo)識(shí)、數(shù)據(jù)字段的數(shù)據(jù)類型、數(shù)據(jù)字段的數(shù)據(jù)長度上限、數(shù)據(jù)字段表征的數(shù)據(jù)內(nèi)容；

14、遍歷所述數(shù)據(jù)字段標(biāo)識(shí)集，以確定所述數(shù)據(jù)字段標(biāo)識(shí)集中的各個(gè)數(shù)據(jù)字段標(biāo)識(shí)是否都已記錄在所述接口上傳文檔中；

15、在確定存在所述接口上傳文檔中未記錄的數(shù)據(jù)字段標(biāo)識(shí)的情況下，為未記錄的每個(gè)數(shù)據(jù)字段標(biāo)識(shí)在接口上傳文檔中添加對(duì)應(yīng)的數(shù)據(jù)統(tǒng)計(jì)項(xiàng)。

16、可選地，所述為未記錄的每個(gè)字段標(biāo)識(shí)在接口上傳文檔中添加對(duì)應(yīng)的數(shù)據(jù)統(tǒng)計(jì)項(xiàng)，包括：

17、在接口上傳文檔中的保留字段位置，為未記錄的每個(gè)字段標(biāo)識(shí)在接口上傳文檔中添加對(duì)應(yīng)的數(shù)據(jù)統(tǒng)計(jì)項(xiàng)。

18、可選地，所述待上傳數(shù)據(jù)文件中攜帶有用戶標(biāo)識(shí)；

19、確定是否存在與所述表頭字段匹配的配置文件，包括：

20、獲取所述待上傳數(shù)據(jù)文件中的用戶標(biāo)識(shí)；

21、獲取與所述用戶標(biāo)識(shí)關(guān)聯(lián)的一個(gè)或多個(gè)配置文件；

22、將所述一個(gè)或多個(gè)配置文件中與所述表頭字段中的數(shù)據(jù)字段標(biāo)識(shí)進(jìn)行匹配，以確定是否存在與所述表頭字段適配的配置文件。

23、可選地，所述方法還包括：

24、通過目標(biāo)服務(wù)應(yīng)用更新原有的接口上傳文檔，將原有的接口上傳文檔替換為添加了所述對(duì)應(yīng)的數(shù)據(jù)統(tǒng)計(jì)項(xiàng)的接口上傳文檔，其中，所述目標(biāo)服務(wù)應(yīng)用是為分布式應(yīng)用提供一致性服務(wù)的服務(wù)應(yīng)用。

25、在第二方面，提供一種數(shù)據(jù)處理裝置，其可包括：

26、接收模塊，配置成接收待上傳數(shù)據(jù)文件，并提取所述待上傳數(shù)據(jù)文件的表頭字段；

27、填充模塊，配置成在確定存在與所述表頭字段匹配的配置文件的情況下，根據(jù)所述配置文件從所述待上傳數(shù)據(jù)文件中提取數(shù)據(jù)字段并填充至接口上傳文檔中，填充完成的所述接口上傳文檔為目標(biāo)上傳文檔；

28、建立模塊，配置成在確定不存在與所述表頭字段匹配的配置文件的情況下，為所述表頭字段建立配置文件，并通過建立的配置文件從所述待上傳數(shù)據(jù)文件中提取數(shù)據(jù)字段并填充至接口上傳文檔中，填充完成的所述接口上傳文檔為目標(biāo)上傳文檔；

29、上傳模塊，配置成通過數(shù)據(jù)上傳接口將目標(biāo)上傳文檔上傳至目標(biāo)數(shù)據(jù)平臺(tái)。

30、可選地，所述建立模塊包括：

31、第一獲取單元，配置成獲取運(yùn)營節(jié)點(diǎn)上傳的針對(duì)所述待上傳數(shù)據(jù)文件的傳輸需求，其中，所述文件傳輸需求中攜帶有所述待上傳數(shù)據(jù)文件需上傳的數(shù)據(jù)字段標(biāo)識(shí)集；

32、第二獲取單元，配置成獲取所述待上傳數(shù)據(jù)文件的表頭字段；

33、查找單元，配置成將所述數(shù)據(jù)字段集中各數(shù)據(jù)字段標(biāo)識(shí)在所述待上傳數(shù)據(jù)文件的表頭字段中進(jìn)行查找，以確定所述數(shù)據(jù)字段集中各數(shù)據(jù)字段在所述待上傳數(shù)據(jù)文件中的數(shù)據(jù)位置順序；

34、生成單元，配置成根據(jù)所述數(shù)據(jù)字段標(biāo)識(shí)集和確定的所述數(shù)據(jù)位置順序，建立與所述待上傳數(shù)據(jù)文件的表頭字段匹配的配置文件。

35、在第三方面，提供一種電子設(shè)備，包括處理器以及用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器，其特征在于，所述處理器執(zhí)行所述指令時(shí)實(shí)現(xiàn)第一方面中所述方法的步驟。

36、在第四方面，提供一種程序產(chǎn)品，包括計(jì)算機(jī)程序，其中，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面中所述方法的步驟。

37、本公開實(shí)施例公開了數(shù)據(jù)處理方法，可接收待上傳數(shù)據(jù)文件，并提取所述待上傳數(shù)據(jù)文件的表頭字段；在確定存在與所述表頭字段匹配的配置文件的情況下，根據(jù)所述配置文件從所述待上傳數(shù)據(jù)文件中提取數(shù)據(jù)字段并填充至接口上傳文檔中，填充完成的所述接口上傳文檔為目標(biāo)上傳文檔；在確定不存在與所述表頭字段匹配的配置文件的情況下，為所述表頭字段建立配置文件，并通過建立的所述配置文件從所述待上傳數(shù)據(jù)文件中提取數(shù)據(jù)字段并填充至接口上傳文檔中，填充完成的所述接口上傳文檔填充完成的所述接口上傳文檔為目標(biāo)上傳文檔；通過數(shù)據(jù)上傳接口將所述目標(biāo)上傳文檔上傳至目標(biāo)數(shù)據(jù)平臺(tái)。本公開實(shí)施例的方法解決了現(xiàn)有的表頭字段不兼容而導(dǎo)致的需要多次開發(fā)上傳接口，而導(dǎo)致的數(shù)據(jù)維護(hù)成本過高的技術(shù)問題，達(dá)到了對(duì)不同用戶不同場景的數(shù)據(jù)的兼容上傳，以及減少開發(fā)的工作量和降低數(shù)據(jù)維護(hù)成本的技術(shù)效果。

38、本公開實(shí)施例的其他可選特征和技術(shù)效果一部分在下文描述，一部分可通過閱讀本文而明白。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述為所述表頭字段建立配置文件，包括：

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，在獲取運(yùn)營節(jié)點(diǎn)上傳的針對(duì)所述待上傳數(shù)據(jù)文件的傳輸需求之后，所述方法還包括：

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)處理方法，其特征在于，所述為未記錄的每個(gè)字段標(biāo)識(shí)在接口上傳文檔中添加對(duì)應(yīng)的數(shù)據(jù)統(tǒng)計(jì)項(xiàng)，包括：

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的數(shù)據(jù)處理方法，其特征在于，所述待上傳數(shù)據(jù)文件中攜帶有用戶標(biāo)識(shí)；

6.根據(jù)權(quán)利要求3或4所述的數(shù)據(jù)處理方法，其特征在于，所述方法還包括：

7.一種數(shù)據(jù)處理裝置，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)處理裝置，其特征在于，所述建立模塊包括：

9.一種電子設(shè)備，包括處理器以及用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器，其特征在于，所述處理器執(zhí)行所述指令時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述方法的步驟。

10.一種程序產(chǎn)品，包括計(jì)算機(jī)程序，其中，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述方法的步驟。

技術(shù)總結(jié)
本公開提供了一種數(shù)據(jù)處理方法，包括：接收待上傳數(shù)據(jù)文件，并提取待上傳數(shù)據(jù)文件的表頭字段；在確定存在與表頭字段匹配的配置文件的情況下，根據(jù)配置文件從待上傳數(shù)據(jù)文件中提取數(shù)據(jù)字段并填充至接口上傳文檔中，填充完成的所述接口上傳文檔為目標(biāo)上傳文檔；在確定不存在與表頭字段匹配的配置文件的情況下，為表頭字段建立配置文件，并通過建立的配置文件從待上傳數(shù)據(jù)文件中提取數(shù)據(jù)字段并填充至接口上傳文檔中，填充完成的所述接口上傳文檔為目標(biāo)上傳文檔；通過數(shù)據(jù)上傳接口將目標(biāo)上傳文檔上傳至目標(biāo)數(shù)據(jù)平臺(tái)。本公開解決了由于表頭字段不兼容而需要多次開發(fā)上傳接口的問題，降低了數(shù)據(jù)維護(hù)成本。

技術(shù)研發(fā)人員：郭臨泉,馬釗,王居滿,李震
受保護(hù)的技術(shù)使用者：百融至信（北京）科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26