本申請涉及計算機，尤其是涉及一種數(shù)據(jù)并發(fā)處理方法、數(shù)據(jù)并發(fā)處理裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，接入的設(shè)備越來越多，特別是視頻業(yè)務(wù)的爆發(fā)，使得網(wǎng)絡(luò)數(shù)據(jù)流呈指數(shù)級的增長。

2、面對如此多高帶寬的實時網(wǎng)絡(luò)數(shù)據(jù)，需要不斷的提升cpu及接口的處理能力，來應(yīng)對大流量的處理要求。這對直接進行數(shù)據(jù)流處理的cpu性能要求也越來越高，這就使得cpu性能成為瓶頸，容易存在擁塞、丟包、數(shù)據(jù)遺漏以及數(shù)據(jù)不完整的問題。

技術(shù)實現(xiàn)思路

1、有鑒于此，本申請的目的在于提供一種數(shù)據(jù)并發(fā)處理方法、數(shù)據(jù)并發(fā)處理裝置、設(shè)備及介質(zhì)，通過對多條數(shù)據(jù)流進行分組得到多個數(shù)據(jù)流組，多個數(shù)據(jù)流組分別分流到不同的并發(fā)傳輸通路中進行傳輸，以將數(shù)據(jù)流發(fā)送至不同的數(shù)據(jù)處理單元進行并發(fā)處理，以降低數(shù)據(jù)對cpu及接口處理能力的要求，降低cpu處理負荷，有效提高cpu使用率，解決了高帶寬傳輸接口下數(shù)據(jù)量過大導(dǎo)致處理能力受限的問題。

2、第一方面，本申請實施例提供了一種數(shù)據(jù)并發(fā)處理方法，所述數(shù)據(jù)并發(fā)處理方法包括：

3、接收多條外部輸入數(shù)據(jù)，并對每條外部輸入數(shù)據(jù)進行數(shù)據(jù)報文解析以得到多條報文數(shù)據(jù)流；

4、基于每條報文數(shù)據(jù)流的特征信息以及匹配規(guī)則對每條報文數(shù)據(jù)流進行組合匹配映射，以形成多個數(shù)據(jù)流組；其中，每個數(shù)據(jù)流組中包括多個存在映射關(guān)系的報文數(shù)據(jù)流；

5、將多個數(shù)據(jù)流組發(fā)送至不同的并發(fā)傳輸通路，以使每個并發(fā)傳輸通路同時將接收到數(shù)據(jù)流組中的報文數(shù)據(jù)流發(fā)送至相對應(yīng)的數(shù)據(jù)處理單元，以實現(xiàn)對多條外部輸入數(shù)據(jù)的并發(fā)處理。

6、進一步的，在接收到多條外部輸入數(shù)據(jù)后，所述數(shù)據(jù)并發(fā)處理方法還包括：

7、針對于每條外部輸入數(shù)據(jù)，基于接收到該外部輸入數(shù)據(jù)的時間為該外部輸入數(shù)據(jù)添加對應(yīng)的時間戳標簽。

8、進一步的，在所述將多個數(shù)據(jù)流組發(fā)送至不同的并發(fā)傳輸通路之后，所述數(shù)據(jù)并發(fā)處理方法還包括：

9、針對于每個數(shù)據(jù)流組中的每條報文數(shù)據(jù)流，接收所述數(shù)據(jù)處理單元對該報文數(shù)據(jù)流進行數(shù)據(jù)處理后的目標數(shù)據(jù)；

10、按照每條外部輸入數(shù)據(jù)對應(yīng)的時間戳標簽對每條外部輸入數(shù)據(jù)對應(yīng)的目標數(shù)據(jù)進行鏡像還原。

11、進一步的，當(dāng)所述匹配規(guī)則為基于特征信息中的特定特征值進行匹配時，所述基于每條報文數(shù)據(jù)流的特征信息以及匹配規(guī)則對每條報文數(shù)據(jù)流進行組合匹配映射，以形成多個數(shù)據(jù)流組，包括：

12、針對于每個特定特征值，將特征信息中包括該特定特征值的報文數(shù)據(jù)流進行組合匹配，以得到該特定特征值對應(yīng)的數(shù)據(jù)流組。

13、進一步的，當(dāng)所述匹配規(guī)則為基于不同特定特征值的組合進行匹配時，所述基于每條報文數(shù)據(jù)流的特征信息以及匹配規(guī)則對每條報文數(shù)據(jù)流進行組合匹配映射，以形成多個數(shù)據(jù)流組，包括：

14、將不同的特定特征值進行組合，得到組合特征值；

15、針對于每個組合特征值，將特征信息中包括該組合特征值的報文數(shù)據(jù)流進行組合匹配，以得到該組合特征值對應(yīng)的數(shù)據(jù)流組。

16、進一步的，所述數(shù)據(jù)并發(fā)處理方法還包括：

17、實時對每個并發(fā)傳輸通路進行流量監(jiān)測，并基于每個并發(fā)傳輸通路的當(dāng)前流量對每個并發(fā)傳輸通路進行負載均衡。

18、第二方面，本申請實施例還提供了一種數(shù)據(jù)并發(fā)處理裝置，所述數(shù)據(jù)并發(fā)處理裝置包括：

19、數(shù)據(jù)接收模塊，用于接收多條外部輸入數(shù)據(jù)，并對每條外部輸入數(shù)據(jù)進行數(shù)據(jù)報文解析以得到多條報文數(shù)據(jù)流；

20、數(shù)據(jù)分流模塊，用于基于每條報文數(shù)據(jù)流的特征信息以及匹配規(guī)則對每條報文數(shù)據(jù)流進行組合匹配映射，以形成多個數(shù)據(jù)流組；其中，每個數(shù)據(jù)流組中包括多個存在映射關(guān)系的報文數(shù)據(jù)流；

21、并發(fā)傳輸模塊，用于將多個數(shù)據(jù)流組發(fā)送至不同的并發(fā)傳輸通路，以使每個并發(fā)傳輸通路同時將接收到數(shù)據(jù)流組中的報文數(shù)據(jù)流發(fā)送至相對應(yīng)的數(shù)據(jù)處理單元，以實現(xiàn)對多條外部輸入數(shù)據(jù)的并發(fā)處理。

22、進一步的，所述數(shù)據(jù)并發(fā)處理裝置還包括標簽添加模塊，在接收到多條外部輸入數(shù)據(jù)后，所述標簽添加模塊用于：

23、針對于每條外部輸入數(shù)據(jù)，基于接收到該外部輸入數(shù)據(jù)的時間為該外部輸入數(shù)據(jù)添加對應(yīng)的時間戳標簽。

24、第三方面，本申請實施例還提供一種電子設(shè)備，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執(zhí)行的機器可讀指令，當(dāng)電子設(shè)備運行時，所述處理器與所述存儲器之間通過總線通信，所述機器可讀指令被所述處理器執(zhí)行時執(zhí)行如上述的數(shù)據(jù)并發(fā)處理方法的步驟。

25、第四方面，本申請實施例還提供一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)上存儲有計算機程序，該計算機程序被處理器運行時執(zhí)行如上述的數(shù)據(jù)并發(fā)處理方法的步驟。

26、本申請實施例提供的一種數(shù)據(jù)并發(fā)處理方法、數(shù)據(jù)并發(fā)處理裝置、設(shè)備及介質(zhì)，首先，接收多條外部輸入數(shù)據(jù)，并對每條外部輸入數(shù)據(jù)進行數(shù)據(jù)報文解析以得到多條報文數(shù)據(jù)流；然后，基于每條報文數(shù)據(jù)流的特征信息以及匹配規(guī)則對每條報文數(shù)據(jù)流進行組合匹配映射，以形成多個數(shù)據(jù)流組；其中，每個數(shù)據(jù)流組中包括多個存在映射關(guān)系的報文數(shù)據(jù)流；最后，將多個數(shù)據(jù)流組發(fā)送至不同的并發(fā)傳輸通路，以使每個并發(fā)傳輸通路同時將接收到數(shù)據(jù)流組中的報文數(shù)據(jù)流發(fā)送至相對應(yīng)的數(shù)據(jù)處理單元，以實現(xiàn)對多條外部輸入數(shù)據(jù)的并發(fā)處理。

27、本申請通過對多條數(shù)據(jù)流進行分組得到多個數(shù)據(jù)流組，多個數(shù)據(jù)流組分別分流到不同的并發(fā)傳輸通路中進行傳輸，以將數(shù)據(jù)流發(fā)送至不同的數(shù)據(jù)處理單元進行并發(fā)處理，以降低數(shù)據(jù)對cpu及接口處理能力的要求，降低cpu處理負荷，有效提高cpu使用率，解決了高帶寬傳輸接口下數(shù)據(jù)量過大導(dǎo)致處理能力受限的問題。

28、為使本申請的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。

技術(shù)特征：

1.一種數(shù)據(jù)并發(fā)處理方法，其特征在于，所述數(shù)據(jù)并發(fā)處理方法包括：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)并發(fā)處理方法，其特征在于，在接收到多條外部輸入數(shù)據(jù)后，所述數(shù)據(jù)并發(fā)處理方法還包括：

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)并發(fā)處理方法，其特征在于，在所述將多個數(shù)據(jù)流組發(fā)送至不同的并發(fā)傳輸通路之后，所述數(shù)據(jù)并發(fā)處理方法還包括：

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)并發(fā)處理方法，其特征在于，當(dāng)所述匹配規(guī)則為基于特征信息中的特定特征值進行匹配時，所述基于每條報文數(shù)據(jù)流的特征信息以及匹配規(guī)則對每條報文數(shù)據(jù)流進行組合匹配映射，以形成多個數(shù)據(jù)流組，包括：

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)并發(fā)處理方法，其特征在于，當(dāng)所述匹配規(guī)則為基于不同特定特征值的組合進行匹配時，所述基于每條報文數(shù)據(jù)流的特征信息以及匹配規(guī)則對每條報文數(shù)據(jù)流進行組合匹配映射，以形成多個數(shù)據(jù)流組，包括：

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)并發(fā)處理方法，其特征在于，所述數(shù)據(jù)并發(fā)處理方法還包括：

7.一種數(shù)據(jù)并發(fā)處理裝置，其特征在于，所述數(shù)據(jù)并發(fā)處理裝置包括：

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)并發(fā)處理裝置，其特征在于，所述數(shù)據(jù)并發(fā)處理裝置還包括標簽添加模塊，在接收到多條外部輸入數(shù)據(jù)后，所述標簽添加模塊用于：

9.一種電子設(shè)備，其特征在于，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執(zhí)行的機器可讀指令，當(dāng)電子設(shè)備運行時，所述處理器與所述存儲器之間通過所述總線進行通信，所述機器可讀指令被所述處理器運行時執(zhí)行如權(quán)利要求1至6任一所述的數(shù)據(jù)并發(fā)處理方法的步驟。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器運行時執(zhí)行如權(quán)利要求1至6任一所述的數(shù)據(jù)并發(fā)處理方法的步驟。

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N數(shù)據(jù)并發(fā)處理方法、數(shù)據(jù)并發(fā)處理裝置、設(shè)備及介質(zhì)，所述方法包括：接收多條外部輸入數(shù)據(jù)，并對每條外部輸入數(shù)據(jù)進行數(shù)據(jù)報文解析以得到多條報文數(shù)據(jù)流；基于每條報文數(shù)據(jù)流的特征信息以及匹配規(guī)則對每條報文數(shù)據(jù)流進行組合匹配映射，以形成多個數(shù)據(jù)流組；將多個數(shù)據(jù)流組發(fā)送至不同的并發(fā)傳輸通路，以使每個并發(fā)傳輸通路同時將接收到數(shù)據(jù)流組中的報文數(shù)據(jù)流發(fā)送至相對應(yīng)的數(shù)據(jù)處理單元，以實現(xiàn)對多條外部輸入數(shù)據(jù)的并發(fā)處理。通過所述方法及裝置，降低數(shù)據(jù)對CPU及接口處理能力的要求，降低CPU處理負荷，有效提高CPU使用率，解決了高帶寬傳輸接口下數(shù)據(jù)量過大導(dǎo)致處理能力受限的問題。

技術(shù)研發(fā)人員：吳云峰,劉璐,黃兵,柴處處,雷坤鵬,李維皓,張宏斌,楊煜程,馮瑜,劉桐菊,閆思睿,張瑋石
受保護的技術(shù)使用者：中國電子信息產(chǎn)業(yè)集團有限公司第六研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26