本發(fā)明涉及文件處理，尤其涉及一種多文件的數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、在進(jìn)行個人化數(shù)據(jù)處理時，因為數(shù)據(jù)處理的格式問題，常常出現(xiàn)一個文件一個數(shù)據(jù)的情況，有的時候則是兩個文件代表一個數(shù)據(jù)的情況。因此，當(dāng)需要進(jìn)行數(shù)據(jù)處理的時候，就面臨著大量的數(shù)據(jù)處理。雖然文件的大小不大，但是文件的數(shù)量巨大。當(dāng)前對于多文件的數(shù)據(jù)處理，基本上都是單程序的模式，通過循環(huán)讀取的方式，一個文件一個文件地處理。當(dāng)需要處理的文件數(shù)量到達(dá)了一定極限以后，就會出現(xiàn)系統(tǒng)死機狀態(tài)，導(dǎo)致數(shù)據(jù)處理的效率和穩(wěn)定性受到很大的挑戰(zhàn)。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種多文件的數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)，用于解決現(xiàn)有的單程序模式處理多文件的方式效率低下、資源利用率低的技術(shù)問題。

2、本發(fā)明提供了一種多文件的數(shù)據(jù)處理方法，包括：

3、獲取待處理文件的文件數(shù)量及預(yù)設(shè)的句柄上限；

4、根據(jù)所述文件數(shù)量和所述句柄上限將所述待處理文件劃分到各服務(wù)器上；

5、計算各所述服務(wù)器的剩余句柄數(shù)；

6、根據(jù)所述剩余句柄數(shù)計算各所述服務(wù)器的最大進(jìn)程數(shù)量；

7、根據(jù)所述最大進(jìn)程數(shù)量啟動進(jìn)程，并采用所啟動的所述進(jìn)程處理所述待處理文件。

8、可選地，所述根據(jù)所述文件數(shù)量和所述句柄上限將所述待處理文件劃分到各服務(wù)器上的步驟，包括：

9、根據(jù)所述文件數(shù)量和所述句柄上限將所述待處理文件進(jìn)行分組，得到多個文件分組；

10、分別將每個文件分組分配到不同的服務(wù)器上。

11、可選地，所述計算各所述服務(wù)器的剩余句柄數(shù)的步驟，包括：

12、獲取各所述服務(wù)器的已使用文件句柄數(shù)；

13、計算所述句柄上限和所述已使用文件句柄數(shù)的差值，得到各所述服務(wù)器的剩余句柄數(shù)。

14、可選地，所述根據(jù)所述剩余句柄數(shù)計算各所述服務(wù)器的最大進(jìn)程數(shù)量的步驟，包括：

15、獲取各進(jìn)程的需求句柄數(shù)；

16、根據(jù)所述剩余句柄數(shù)和所述需求句柄數(shù)，計算各服務(wù)器的最大進(jìn)程數(shù)量。

17、本發(fā)明還提供了一種多文件的數(shù)據(jù)處理裝置，包括：

18、文件數(shù)量及句柄上限獲取模塊，用于獲取待處理文件的文件數(shù)量及預(yù)設(shè)的句柄上限；

19、劃分模塊，用于根據(jù)所述文件數(shù)量和所述句柄上限將所述待處理文件劃分到各服務(wù)器上；

20、剩余句柄數(shù)計算模塊，用于計算各所述服務(wù)器的剩余句柄數(shù)；

21、最大進(jìn)程數(shù)量計算模塊，用于根據(jù)所述剩余句柄數(shù)計算各所述服務(wù)器的最大進(jìn)程數(shù)量；

22、文件處理模塊，用于根據(jù)所述最大進(jìn)程數(shù)量啟動進(jìn)程，并采用所啟動的所述進(jìn)程處理所述待處理文件。

23、可選地，所述劃分模塊，包括：

24、分組子模塊，用于根據(jù)所述文件數(shù)量和所述句柄上限將所述待處理文件進(jìn)行分組，得到多個文件分組；

25、分配子模塊，用于分別將每個文件分組分配到不同的服務(wù)器上。

26、可選地，所述剩余句柄數(shù)計算模塊，包括：

27、已使用句柄數(shù)獲取子模塊，用于獲取各所述服務(wù)器的已使用文件句柄數(shù)；

28、剩余句柄數(shù)計算子模塊，用于計算所述句柄上限和所述已使用文件句柄數(shù)的差值，得到各所述服務(wù)器的剩余句柄數(shù)。

29、可選地，所述最大進(jìn)程數(shù)量計算模塊，包括：

30、需求句柄數(shù)獲取子模塊，用于獲取各進(jìn)程的需求句柄數(shù)；

31、最大進(jìn)程數(shù)量計算子模塊，用于根據(jù)所述剩余句柄數(shù)和所述需求句柄數(shù)，計算各服務(wù)器的最大進(jìn)程數(shù)量。

32、本發(fā)明還提供了一種電子設(shè)備，所述設(shè)備包括處理器以及存儲器：

33、所述存儲器用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；

34、所述處理器用于根據(jù)所述程序代碼中的指令執(zhí)行如上任一項所述的多文件的數(shù)據(jù)處理方法。

35、本發(fā)明還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)用于存儲程序代碼，所述程序代碼用于執(zhí)行如上任一項所述的多文件的數(shù)據(jù)處理方法。

36、從以上技術(shù)方案可以看出，本發(fā)明具有以下優(yōu)點：本發(fā)明提供了一種多文件的數(shù)據(jù)處理方法，并具體公開了：獲取待處理文件的文件數(shù)量及預(yù)設(shè)的句柄上限；根據(jù)文件數(shù)量和句柄上限將待處理文件劃分到各服務(wù)器上；計算各服務(wù)器的剩余句柄數(shù)；根據(jù)剩余句柄數(shù)計算各服務(wù)器的最大進(jìn)程數(shù)量；根據(jù)最大進(jìn)程數(shù)量啟動進(jìn)程，并采用所啟動的進(jìn)程處理待處理文件。本發(fā)明在進(jìn)行數(shù)據(jù)處理前，首先對文件的數(shù)量進(jìn)行判斷，然后針對系統(tǒng)資源進(jìn)行判斷，通過配置和設(shè)定，明確在不同數(shù)量下，啟動不同的集群服務(wù)器；然后通過多服務(wù)器的文件句柄調(diào)用，實現(xiàn)多文件的并發(fā)處理和資源的充分利用，提高了多文件的處理效率和資源利用率。

技術(shù)特征：

1.一種多文件的數(shù)據(jù)處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述文件數(shù)量和所述句柄上限將所述待處理文件劃分到各服務(wù)器上的步驟，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計算各所述服務(wù)器的剩余句柄數(shù)的步驟，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述剩余句柄數(shù)計算各所述服務(wù)器的最大進(jìn)程數(shù)量的步驟，包括：

5.一種多文件的數(shù)據(jù)處理裝置，其特征在于，包括：

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述劃分模塊，包括：

7.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述剩余句柄數(shù)計算模塊，包括：

8.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述最大進(jìn)程數(shù)量計算模塊，包括：

9.一種電子設(shè)備，其特征在于，所述設(shè)備包括處理器以及存儲器：

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)用于存儲程序代碼，所述程序代碼用于執(zhí)行權(quán)利要求1-4任一項所述的多文件的數(shù)據(jù)處理方法。

技術(shù)總結(jié)
本發(fā)明公開了一種多文件的數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)，用于解決單程序模式處理多文件的方式效率低下、資源利用率低的問題。本發(fā)明包括：獲取待處理文件的文件數(shù)量及預(yù)設(shè)的句柄上限；根據(jù)文件數(shù)量和句柄上限將待處理文件劃分到各服務(wù)器上；計算各服務(wù)器的剩余句柄數(shù)；根據(jù)剩余句柄數(shù)計算各服務(wù)器的最大進(jìn)程數(shù)量；根據(jù)最大進(jìn)程數(shù)量啟動進(jìn)程，并采用所啟動的進(jìn)程處理待處理文件。本發(fā)明在進(jìn)行數(shù)據(jù)處理前，首先對文件的數(shù)量進(jìn)行判斷，然后針對系統(tǒng)資源進(jìn)行判斷，通過配置和設(shè)定，明確在不同數(shù)量下，啟動不同的集群服務(wù)器；然后通過多服務(wù)器的文件句柄調(diào)用，實現(xiàn)多文件的并發(fā)處理和資源的充分利用，提高了多文件的處理效率和資源利用率。

技術(shù)研發(fā)人員：董金梁,陳明,王芳
受保護(hù)的技術(shù)使用者：金邦達(dá)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19