本發(fā)明屬于gpu資源調(diào)度，尤其涉及面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法及系統(tǒng)。

背景技術(shù)：

1、隨著計算機(jī)技術(shù)的不斷進(jìn)步，gpu作為一種專門用于并行計算的硬件設(shè)備對于深度學(xué)習(xí)應(yīng)用（dnn）提供了強(qiáng)大的支持。gpu在深度學(xué)習(xí)應(yīng)用中的意義在于其強(qiáng)大的并行計算能力、高吞吐量、優(yōu)化的硬件架構(gòu)以及對主流深度學(xué)習(xí)框架的良好支持，dnn應(yīng)用在gpu上運行時能夠顯著提高吞吐量，因此廣泛用于各種計算密集型任務(wù)，通過使用gpu，dnn應(yīng)用可以大幅提高計算效率、加速模型訓(xùn)練和推理過程，從而提高生產(chǎn)力和研究效率。

2、然而dnn應(yīng)用往往不能充分利用gpu資源，由于工作負(fù)載中的操作符不同的內(nèi)存和計算需求，當(dāng)某個操作符飽和gpu的計算單元或內(nèi)存帶寬時，會導(dǎo)致另一種資源處于閑置狀態(tài)。為了提高gpu資源的利用率，現(xiàn)有很多gpu共享技術(shù)，但仍然存在細(xì)粒度和干擾感知的問題。時間片輪轉(zhuǎn)技術(shù)通過在多個任務(wù)之間進(jìn)行上下文切換來共享gpu資源，但是時間片過小會導(dǎo)致進(jìn)程切換頻繁，時間片過大會影響響應(yīng)速度，對于優(yōu)先級低的任務(wù)可能會因時間片短而帶來饑餓問題，并且運行的單個任務(wù)不能消耗所有的計算和內(nèi)存資源?？臻g共享技術(shù)雖然允許多個任務(wù)同時使用gpu，但當(dāng)前的空間共享技術(shù)通常提供的是粗粒度的gpu分區(qū)，無法充分利用gpu資源。多個任務(wù)共享同一gpu時可能在計算單元、內(nèi)存帶寬、緩存等方面產(chǎn)生資源競爭，因此對于干擾感知方面提出了要求。

3、因此，如何實現(xiàn)dnn應(yīng)用的細(xì)粒度和干擾感知的調(diào)度，提高gpu的資源利用率，是當(dāng)前研究的重點。

技術(shù)實現(xiàn)思路

1、為克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法及系統(tǒng)，在cuda內(nèi)核級別進(jìn)行調(diào)度，優(yōu)先調(diào)度高優(yōu)先級任務(wù)隊列中的cuda內(nèi)核任務(wù)，且根據(jù)干擾評分以及內(nèi)核任務(wù)的資源需求判斷是否調(diào)度低優(yōu)先級任務(wù)隊列的內(nèi)核任務(wù)，減少任務(wù)之間的資源沖突和干擾，實現(xiàn)gpu資源共享，提高gpu資源利用率。

2、為實現(xiàn)上述目的，本發(fā)明的一個或多個實施例提供了如下技術(shù)方案：

3、本發(fā)明第一方面提供了面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法。

4、面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法，包括以下步驟：

5、在離線階段收集工作負(fù)載的資源需求信息；

6、根據(jù)應(yīng)用程序的計算需求，生成每個應(yīng)用程序?qū)?yīng)的在gpu上執(zhí)行的cuda內(nèi)核任務(wù)；

7、攔截每個應(yīng)用程序cuda內(nèi)核任務(wù)的啟動請求，并將啟動請求對應(yīng)的cuda內(nèi)核任務(wù)緩存在每個應(yīng)用程序?qū)?yīng)的任務(wù)隊列中；

8、判斷每個應(yīng)用程序的優(yōu)先級為高優(yōu)先級還是低優(yōu)先級；

9、輪詢每個應(yīng)用程序的任務(wù)隊列，對于高優(yōu)先級應(yīng)用程序，直接將對應(yīng)任務(wù)隊列中的cuda內(nèi)核任務(wù)提交給gpu調(diào)度；對于低優(yōu)先級應(yīng)用程序，根據(jù)干擾評分以及資源需求判斷是否提交cuda內(nèi)核任務(wù)至gpu進(jìn)行調(diào)度。

10、本發(fā)明第二方面提供了面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度系統(tǒng)。

11、面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度系統(tǒng)，包括：

12、負(fù)載分析模塊，被配置為：在離線階段收集工作負(fù)載的資源需求信息；

13、任務(wù)生成模塊，被配置為：根據(jù)應(yīng)用程序的計算需求，生成每個應(yīng)用程序?qū)?yīng)的在gpu上執(zhí)行的cuda內(nèi)核任務(wù)；

14、內(nèi)核攔截和管理模塊，被配置為：攔截每個應(yīng)用程序cuda內(nèi)核任務(wù)的啟動請求，并將啟動請求對應(yīng)的cuda內(nèi)核任務(wù)緩存在每個應(yīng)用程序?qū)?yīng)的任務(wù)隊列中；

15、優(yōu)先級判斷模塊，被配置為：判斷每個應(yīng)用程序的優(yōu)先級為高優(yōu)先級還是低優(yōu)先級；

16、內(nèi)核任務(wù)調(diào)度模塊，被配置為：輪詢每個應(yīng)用程序的任務(wù)隊列，對于高優(yōu)先級應(yīng)用程序，直接將對應(yīng)任務(wù)隊列中的cuda內(nèi)核任務(wù)提交給gpu調(diào)度；對于低優(yōu)先級應(yīng)用程序，根據(jù)干擾評分以及資源需求判斷是否提交cuda內(nèi)核任務(wù)至gpu進(jìn)行調(diào)度。

17、以上一個或多個技術(shù)方案存在以下有益效果：

18、本發(fā)明提供了一種面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法，對于不同優(yōu)先級的應(yīng)用采取不同的調(diào)度策略，對于高優(yōu)先級應(yīng)用的內(nèi)核任務(wù)，直接提交給gpu調(diào)度，對于低優(yōu)先級任務(wù)，建立干擾評分的模型，結(jié)合干擾評分以及內(nèi)核的需求進(jìn)行調(diào)度，保證了高優(yōu)先級任務(wù)的執(zhí)行性能，同時在較低的干擾下利用閑置資源處理低優(yōu)先級任務(wù)，提高了資源利用率，實現(xiàn)gpu共享。

19、本發(fā)明將gpu資源調(diào)度細(xì)化到內(nèi)核任務(wù)級別，可以更精確地控制每個任務(wù)的執(zhí)行，這種細(xì)粒度的調(diào)度方式使得資源利用率更高，確保每個內(nèi)核任務(wù)在合適的時機(jī)得到執(zhí)行。

20、本發(fā)明附加方面的優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

技術(shù)特征：

1.面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法，其特征在于，所述資源需求信息包括線程塊數(shù)量、每個線程塊的線程數(shù)、計算單元和內(nèi)存帶寬的利用率以及預(yù)計執(zhí)行時間。

3.如權(quán)利要求1所述的面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法，其特征在于，根據(jù)應(yīng)用程序的計算需求，生成每個應(yīng)用程序?qū)?yīng)的在gpu上執(zhí)行的cuda內(nèi)核任務(wù)，具體為：

4.如權(quán)利要求1所述的面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法，其特征在于，通過動態(tài)鏈接庫的方式攔截來自每個應(yīng)用程序cuda內(nèi)核任務(wù)的啟動請求。

5.如權(quán)利要求1所述的面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法，其特征在于，基于多個因素判斷應(yīng)用程序的優(yōu)先級為高優(yōu)先級還是低優(yōu)先級，若其中一個因素滿足高優(yōu)先級的要求，則當(dāng)前應(yīng)用程序為高優(yōu)先級，否則為低優(yōu)先級；所述多個因素包括任務(wù)類型、業(yè)務(wù)重要性和實時性能要求。

6.如權(quán)利要求1所述的面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法，其特征在于，當(dāng)輪詢到高優(yōu)先級應(yīng)用程序的任務(wù)隊列時：

7.如權(quán)利要求1所述的面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法，其特征在于，對于低優(yōu)先級應(yīng)用程序，根據(jù)干擾評分以及資源需求判斷是否提交cuda內(nèi)核任務(wù)至gpu進(jìn)行調(diào)度，具體為：

8.如權(quán)利要求7所述的面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法，其特征在于，所述干擾評分用于衡量將低優(yōu)先級cuda內(nèi)核任務(wù)調(diào)度到gpu時產(chǎn)生的干擾程度：

9.如權(quán)利要求7所述的面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度方法，其特征在于，還包括計算低優(yōu)先級cuda內(nèi)核任務(wù)的sm需求，具體為：

10.面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的gpu調(diào)度系統(tǒng)，其特征在于：包括：

技術(shù)總結(jié)
本發(fā)明提出面向深度學(xué)習(xí)的細(xì)粒度、干擾感知的GPU調(diào)度方法及系統(tǒng)，涉及GPU資源調(diào)度技術(shù)領(lǐng)域。包括在離線階段收集工作負(fù)載的資源需求信息；生成每個應(yīng)用程序?qū)?yīng)的在GPU上執(zhí)行的CUDA內(nèi)核任務(wù)；攔截每個應(yīng)用程序CUDA內(nèi)核任務(wù)的啟動請求，并將啟動請求對應(yīng)的CUDA內(nèi)核任務(wù)緩存在每個應(yīng)用程序?qū)?yīng)的任務(wù)隊列中；對于高優(yōu)先級應(yīng)用程序，直接將對應(yīng)任務(wù)隊列中的CUDA內(nèi)核任務(wù)提交給GPU調(diào)度；對于低優(yōu)先級應(yīng)用程序，根據(jù)干擾評分以及資源需求判斷是否提交CUDA內(nèi)核任務(wù)至GPU進(jìn)行調(diào)度。本發(fā)明能夠減少任務(wù)之間的資源沖突和干擾，實現(xiàn)GPU資源共享，提高GPU資源利用率。

技術(shù)研發(fā)人員：王繼彬,曾文卓,郭瑩,潘景山,吳曉明,楊美紅
受保護(hù)的技術(shù)使用者：齊魯工業(yè)大學(xué)（山東省科學(xué)院）
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19