本申請涉及機器學習領域，特別涉及一種樣本數(shù)據(jù)的預處理方法、裝置、設備以及存儲介質(zhì)。

背景技術：

1、隨著計算機技術的發(fā)展，人工智能的應用場景越來越豐富，比如，人臉識別和語音識別是生活中經(jīng)常遇到的場景。人工智能的功能往往是通過一個模型實現(xiàn)的，模型的訓練過程需要使用大量的樣本數(shù)據(jù)，為了提高模型訓練的效果，往往還需要對樣本數(shù)據(jù)進行預處理。

2、相關技術中，預處理通常包括多個預處理步驟，對于每個樣本數(shù)據(jù)均需要單獨執(zhí)行一遍該多個預處理步驟，導致對樣本數(shù)據(jù)進行預處理的效率較低。

技術實現(xiàn)思路

1、本申請實施例提供了一種樣本數(shù)據(jù)的預處理方法、裝置、設備以及存儲介質(zhì)，可以提升對樣本數(shù)據(jù)進行預處理的效率，技術方案如下：

2、一方面，提供了一種樣本數(shù)據(jù)的預處理方法，所述方法包括：

3、響應于對目標類型的多個樣本數(shù)據(jù)的預處理指令，顯示所述目標類型對應的預處理執(zhí)行圖，所述預處理執(zhí)行圖用于指示執(zhí)行多個預處理步驟的流程，所述預處理執(zhí)行圖包括第一執(zhí)行區(qū)域和第二執(zhí)行區(qū)域，處于所述第一執(zhí)行區(qū)域中的預處理步驟并行執(zhí)行，處于所述第二執(zhí)行區(qū)域中的預處理步驟以批處理的方式順次執(zhí)行；

4、響應于對所述預處理執(zhí)行圖的確認指令，按照所述預處理執(zhí)行圖指示的流程，調(diào)用cpu和gpu對所述多個樣本數(shù)據(jù)執(zhí)行所述多個預處理步驟；

5、其中，cpu執(zhí)行所述第一執(zhí)行區(qū)域中的預處理步驟，gpu執(zhí)行所述第二執(zhí)行區(qū)域中的預處理步驟。

6、一方面，提供了一種樣本數(shù)據(jù)的預處理裝置，所述裝置包括：

7、顯示模塊，用于響應于對目標類型的多個樣本數(shù)據(jù)的預處理指令，顯示所述目標類型對應的預處理執(zhí)行圖，所述預處理執(zhí)行圖用于指示執(zhí)行多個預處理步驟的流程，所述預處理執(zhí)行圖包括第一執(zhí)行區(qū)域和第二執(zhí)行區(qū)域，處于所述第一執(zhí)行區(qū)域中的預處理步驟并行執(zhí)行，處于所述第二執(zhí)行區(qū)域中的預處理步驟以批處理的方式順次執(zhí)行；

8、調(diào)用模塊，用于響應于對所述預處理執(zhí)行圖的確認指令，按照所述預處理執(zhí)行圖指示的流程，調(diào)用cpu和gpu對所述多個樣本數(shù)據(jù)執(zhí)行所述多個預處理步驟；

9、其中，cpu執(zhí)行所述第一執(zhí)行區(qū)域中的預處理步驟，gpu執(zhí)行所述第二執(zhí)行區(qū)域中的預處理步驟。

10、一方面，提供了一種計算機設備，所述計算機設備包括一個或多個處理器和一個或多個存儲器，所述一個或多個存儲器中存儲有至少一條計算機程序，所述計算機程序由所述一個或多個處理器加載并執(zhí)行以實現(xiàn)所述樣本數(shù)據(jù)的預處理方法。

11、一方面，提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有至少一條計算機程序，所述計算機程序由處理器加載并執(zhí)行以實現(xiàn)所述樣本數(shù)據(jù)的預處理方法。

12、一方面，提供了一種計算機程序產(chǎn)品或計算機程序，該計算機程序產(chǎn)品或計算機程序包括程序代碼，該程序代碼存儲在計算機可讀存儲介質(zhì)中，計算機設備的處理器從計算機可讀存儲介質(zhì)讀取該程序代碼，處理器執(zhí)行該程序代碼，使得該計算機設備執(zhí)行上述樣本數(shù)據(jù)的預處理方法。

13、通過本申請實施例提供的技術方案，響應于對目標類型的多個樣本數(shù)據(jù)的預處理指令，顯示該目標類型對應的預處理執(zhí)行圖，該預處理執(zhí)行圖用于指示執(zhí)行多個預處理步驟的流程，也即是用于指示多個預處理步驟的執(zhí)行方式和執(zhí)行順序。該預處理執(zhí)行圖包括第一執(zhí)行區(qū)域和第二執(zhí)行區(qū)域，第一執(zhí)行區(qū)域中的預處理步驟并行執(zhí)行，第二執(zhí)行區(qū)域中的預處理步驟以批處理的方式順次執(zhí)行。響應于對該預處理執(zhí)行圖的確認指令，按照該預處理執(zhí)行圖指示的流程，調(diào)用cpu和gpu對該多個樣本數(shù)據(jù)執(zhí)行該多個預處理步驟，實現(xiàn)對cpu和gpu的充分利用，提高對樣本數(shù)據(jù)進行預處理的效率。

技術特征：

1.一種樣本數(shù)據(jù)的預處理方法，其特征在于，所述方法包括：

2.根據(jù)權利要求1所述的方法，其特征在于，所述第一執(zhí)行區(qū)域中的預處理步驟的執(zhí)行順序早于所述第二執(zhí)行區(qū)域中的預處理步驟，所述響應于對所述預處理執(zhí)行圖的確認指令，按照所述預處理執(zhí)行圖指示的流程，調(diào)用cpu和gpu對所述多個樣本數(shù)據(jù)執(zhí)行所述多個預處理步驟包括：

3.根據(jù)權利要求2所述的方法，其特征在于，所述第一執(zhí)行區(qū)域包括多個第一預處理步驟，所述響應于對所述預處理執(zhí)行圖的確認指令，調(diào)用cpu對所述多個樣本數(shù)據(jù)并行執(zhí)行所述第一執(zhí)行區(qū)域中的預處理步驟包括：

4.根據(jù)權利要求2所述的方法，其特征在于，所述第二執(zhí)行區(qū)域包括多個第二預處理步驟，所述調(diào)用gpu以批處理的方式對所述多個樣本數(shù)據(jù)順次執(zhí)行所述第二執(zhí)行區(qū)域中的預處理步驟包括：

5.根據(jù)權利要求1所述的方法，其特征在于，所述響應于對目標類型的多個樣本數(shù)據(jù)的預處理指令，顯示所述目標類型對應的預處理執(zhí)行圖之后，所述方法還包括：

6.根據(jù)權利要求5所述的方法，其特征在于，所述響應于對所述預處理執(zhí)行圖的調(diào)整指令，基于所述調(diào)整指令指示的方式調(diào)整所述第一執(zhí)行區(qū)域和/或所述第二執(zhí)行區(qū)域中的預處理步驟包括：

7.根據(jù)權利要求1所述的方法，其特征在于，所述響應于對目標類型的多個樣本數(shù)據(jù)的預處理指令，顯示所述目標類型對應的預處理執(zhí)行圖之前，所述方法還包括：

8.根據(jù)權利要求7所述的方法，其特征在于，所述基于所述初始執(zhí)行順序、所述第一預處理步驟集和所述第二預處理步驟集，生成所述目標類型對應的所述預處理執(zhí)行圖包括：

9.一種樣本數(shù)據(jù)的預處理裝置，其特征在于，所述裝置包括：

10.一種計算機設備，其特征在于，所述計算機設備包括一個或多個處理器和一個或多個存儲器，所述一個或多個存儲器中存儲有至少一條計算機程序，所述計算機程序由所述一個或多個處理器加載并執(zhí)行以實現(xiàn)如權利要求1至權利要求8任一項所述的樣本數(shù)據(jù)的預處理方法。

11.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)中存儲有至少一條計算機程序，所述計算機程序由處理器加載并執(zhí)行以實現(xiàn)如權利要求1至權利要求8任一項所述的樣本數(shù)據(jù)的預處理方法。

12.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，該計算機程序被處理器執(zhí)行時實現(xiàn)權利要求1至權利要求8任一項所述的樣本數(shù)據(jù)的預處理方法。

技術總結
本申請公開了一種樣本數(shù)據(jù)的預處理方法、裝置、設備以及存儲介質(zhì)，屬于機器學習領域。通過本申請實施例提供的技術方案，響應于對目標類型的多個樣本數(shù)據(jù)的預處理指令，顯示該目標類型對應的預處理執(zhí)行圖，該預處理執(zhí)行圖用于指示執(zhí)行多個預處理步驟的流程，也即是用于指示多個預處理步驟的執(zhí)行方式和執(zhí)行順序。該預處理執(zhí)行圖包括第一執(zhí)行區(qū)域和第二執(zhí)行區(qū)域，第一執(zhí)行區(qū)域中的預處理步驟并行執(zhí)行，第二執(zhí)行區(qū)域中的預處理步驟以批處理的方式順次執(zhí)行。響應于對該預處理執(zhí)行圖的確認指令，按照該預處理執(zhí)行圖指示的流程，調(diào)用CPU和GPU對該多個樣本數(shù)據(jù)執(zhí)行該多個預處理步驟，實現(xiàn)對CPU和GPU的充分利用，提高對樣本數(shù)據(jù)進行預處理的效率。

技術研發(fā)人員：李鵬,謝貴明,彭齊榮,龔學健
受保護的技術使用者：北京歐珀通信有限公司
技術研發(fā)日：
技術公布日：2024/12/17