本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種多GPU平臺的多路視頻數(shù)據(jù)的實時處理方法。

背景技術(shù)：

隨著多媒體技術(shù)的蓬勃發(fā)展，在“平安城市，智慧城市”的發(fā)展趨勢下，國家智能交通的推廣力度日益加強，城市交通監(jiān)控涉嫌頭的覆蓋程度越來越廣，而龐大的數(shù)據(jù)量為提取和分析監(jiān)控視頻帶來了極大的挑戰(zhàn)。當(dāng)前階段，針對監(jiān)控視頻的智能分析系統(tǒng)主要針對的是卡口圖像，至今仍未出現(xiàn)廣泛而又成熟的針對監(jiān)控視頻數(shù)據(jù)的智能分析系統(tǒng)，限制該系統(tǒng)發(fā)展的主要原因是計算能力的不足。

近年來，隨著高性能GPU(Graphics Processing Unit，圖形處理器)的發(fā)展，其強大的計算能力漸漸引起人們的重視，也為監(jiān)控視頻數(shù)據(jù)的分析與處理提供了新的突破口。若能在監(jiān)控視頻實時分析建立在多GPU平臺上，能夠大大緩解計算能力不足的尷尬。但要在多GPU平臺上高效并行處理多路視頻流的多個分析任務(wù)，仍要面臨異構(gòu)平臺上的并行結(jié)構(gòu)復(fù)雜且難以充分利用計算資源、多任務(wù)間計算資源難以平衡和實時處理問題限制性強等挑戰(zhàn)。

現(xiàn)有技術(shù)中的用于解決多GPU平臺的調(diào)度問題的方法，如：授權(quán)公告日為2014年9月10日，授權(quán)公告號為CN104035751A的發(fā)明專利：基于多圖形處理器的數(shù)據(jù)并行處理方法及裝置；授權(quán)公告日為2014年11月19日，授權(quán)公告號為CN104156264A的發(fā)明專利：一種基于多GPU的基帶信號處理任務(wù)并行實時調(diào)度方法，都存在無法直接應(yīng)用于多數(shù)據(jù)流情況下的多任務(wù)處理的問題，應(yīng)用存在一定的局限性。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供了一種多GPU平臺的多路視頻數(shù)據(jù)的實時處理方法，以實現(xiàn)多視頻多任務(wù)在多GPU平臺上的并行處理。

為了實現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案。

一種多GPU平臺的多路視頻數(shù)據(jù)的實時處理方法，包括：

步驟1、建立基于任務(wù)處理器的層式并行結(jié)構(gòu)；

步驟2、對所述層式并行結(jié)構(gòu)中的各個任務(wù)處理器進(jìn)行初始化，各個任務(wù)處理器接收監(jiān)控視頻數(shù)據(jù)，對監(jiān)控視頻數(shù)據(jù)進(jìn)行實時處理；

步驟3、進(jìn)行環(huán)境監(jiān)測，根據(jù)環(huán)境監(jiān)測結(jié)果計算任務(wù)隊列健康度、任務(wù)緩存區(qū)健康度和各GPU健康度；

步驟4、根據(jù)所述任務(wù)隊列健康度、緩存區(qū)健康度及各GPU健康度值進(jìn)行任務(wù)處理器調(diào)度和作業(yè)分發(fā)；

步驟5、定時重復(fù)步驟3、4，使各GPU間保持負(fù)載均衡狀態(tài)。

進(jìn)一步地，所述的建立基于任務(wù)處理器的層式并行結(jié)構(gòu)，包括：

將任務(wù)處理器作為并行與調(diào)度的基本單位，一個任務(wù)處理器包括一個GPU計算任務(wù)的封裝、一個輸入緩存、一個輸出緩存和一個作業(yè)隊列。一個任務(wù)處理器對應(yīng)創(chuàng)建、就緒、暫停、運行、結(jié)束五個狀態(tài)，通過任務(wù)處理器控制器進(jìn)行任務(wù)處理器的狀態(tài)控制；

根據(jù)監(jiān)控視頻路數(shù)、當(dāng)前計算任務(wù)、計算節(jié)點GPU數(shù)進(jìn)行基于層結(jié)構(gòu)并行的任務(wù)處理器分配，分配各層間數(shù)據(jù)緩存區(qū)，將基于多GPU上的多任務(wù)處理器進(jìn)行空間并行，得到多個層式并行結(jié)構(gòu)，基于流水線技術(shù)對各個層式并行結(jié)構(gòu)進(jìn)行時間并行，建立用于流式監(jiān)控數(shù)據(jù)處理的并行結(jié)構(gòu)，基于內(nèi)存交互對流式監(jiān)控數(shù)據(jù)進(jìn)行統(tǒng)一式管理。

進(jìn)一步地，所述的建立基于任務(wù)處理器的層式并行結(jié)構(gòu)還包括：

基于任務(wù)數(shù)劃分任務(wù)處理器的層數(shù)，依據(jù)計算任務(wù)復(fù)雜度計算各層任務(wù)處理器的數(shù)量，使用輪轉(zhuǎn)法將任務(wù)處理器盡量分配到不同GPU上，通過各層間緩存區(qū)，對同層任務(wù)處理器的輸入輸出的流式數(shù)據(jù)進(jìn)行統(tǒng)一管理，并基于內(nèi)存交互完成CPU到多GPU上的數(shù)據(jù)交換。

進(jìn)一步地，所述的根據(jù)環(huán)境監(jiān)測結(jié)果計算任務(wù)隊列健康度、任務(wù)緩存區(qū)健康度和各GPU健康度，包括：

按照時間間隔統(tǒng)計被監(jiān)測對象占用率，所述被監(jiān)測對象占用率包括任務(wù)隊列占用率、任務(wù)緩存區(qū)占用率、GPU利用率和GPU顯存占用率；

采用滑動窗口計算若干時間片內(nèi)被監(jiān)測對象占用率的平均值；

根據(jù)記錄的多個時間片內(nèi)被監(jiān)測對象占用率的平均值計算被監(jiān)測對象健康度，所述被監(jiān)測對象健康度包括任務(wù)隊列健康度、任務(wù)緩存區(qū)健康度、GPU健康度和GPU顯存健康度；

依據(jù)被監(jiān)測對象健康度判斷被監(jiān)測對象的狀態(tài)。

進(jìn)一步地，根據(jù)所述任務(wù)隊列健康度、緩存區(qū)健康度及各GPU健康度值進(jìn)行任務(wù)處理器調(diào)度，包括：

根據(jù)各任務(wù)運行狀態(tài)、任務(wù)處理器數(shù)量控制各任務(wù)占用的計算資源比例；對于某任務(wù)，通過其輸入和輸出緩存區(qū)的健康度判斷該任務(wù)的各狀態(tài)處理器的數(shù)量變化量。

進(jìn)一步地，所述的對于某任務(wù)，通過其輸入和輸出緩存區(qū)的健康度判斷該任務(wù)的各狀態(tài)處理器的數(shù)量變化量，包括：

若某任務(wù)的輸入緩存處于饑餓狀態(tài)，輸出緩存處于過飽狀態(tài)，則減少任務(wù)處理器數(shù)量；

若某任務(wù)的輸入緩存處于過飽狀態(tài)，輸出緩存處于饑餓狀態(tài)，則增加任務(wù)處理器數(shù)量；

若某任務(wù)的輸入緩存或輸出緩存處于健康狀態(tài)，則暫時不變動任務(wù)處理器數(shù)量。

進(jìn)一步地，所述的方法還包括：

若GPU處理器處于過飽狀態(tài)，則減少該GPU處理器上的任務(wù)處理器數(shù)量，減少時將運行狀態(tài)的處理器轉(zhuǎn)為暫停狀態(tài)，減少時優(yōu)先減少輸出緩存區(qū)健康度高的任務(wù)處理器。

進(jìn)一步地，根據(jù)所述任務(wù)隊列健康度、緩存區(qū)健康度及各GPU健康度值進(jìn)行作業(yè)分發(fā)，包括：

采用動態(tài)輪詢策略依據(jù)健康度低的任務(wù)處理器優(yōu)先的原則，進(jìn)行作業(yè)的分發(fā)，若任務(wù)隊列達(dá)到最大長度，則停止作業(yè)分發(fā)。

由上述本發(fā)明的實施例提供的技術(shù)方案可以看出，本發(fā)明實施例為在多GPU平臺上的多路視頻多任務(wù)實時處理設(shè)計了完整的并行、調(diào)度、數(shù)據(jù)管理方案；能夠充分利用多GPU處理器強大的計算能力；使用動態(tài)負(fù)載均衡算法保證系統(tǒng)能夠根據(jù)輸入數(shù)據(jù)和硬件條件充分利用計算資源；從空間并行和時間并行多個方面進(jìn)行并行設(shè)計，大大加快計算速度；且具有一定的廣泛性、安全性和自適應(yīng)性。

本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例提供的一種多GPU平臺的多路視頻數(shù)據(jù)的實時處理方法的實現(xiàn)原理示意圖；

圖2為本發(fā)明實施例提供的一種任務(wù)處理器的工作流程示意圖；

圖3為本發(fā)明實施例提供的一種任務(wù)處理器的狀態(tài)控制流程示意圖；

圖4為本發(fā)明實施例提供的一種任務(wù)處理器的調(diào)度過程示意圖；

圖5為實現(xiàn)本發(fā)明實施例方法的系統(tǒng)架構(gòu)示意圖。

具體實施方式

下面詳細(xì)描述本發(fā)明的實施方式，所述實施方式的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施方式是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個或多個其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱元件被“連接”或“耦接”到另一元件時，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“耦接”可以包括無線連接或耦接。這里使用的措辭“和/或”包括一個或更多個相關(guān)聯(lián)的列出項的任一單元和全部組合。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非像這里一樣定義，不會用理想化或過于正式的含義來解釋。

為便于對本發(fā)明實施例的理解，下面將結(jié)合附圖以幾個具體實施例為例做進(jìn)一步的解釋說明，且各個實施例并不構(gòu)成對本發(fā)明實施例的限定。

監(jiān)控視頻數(shù)據(jù)作為一種體量大，安全性要求高的特殊數(shù)據(jù)，在處理方法中應(yīng)該在高效性和安全性上進(jìn)行有針對性的優(yōu)化和調(diào)整。

本發(fā)明實施例提供了一種多GPU平臺的多路視頻數(shù)據(jù)的實時處理方法的實現(xiàn)原理示意圖如圖1所示，主要包括如下步驟：

步驟(1)：建立基于任務(wù)處理器的層式并行結(jié)構(gòu)；

在本發(fā)明實施例中，任務(wù)處理器是計算任務(wù)的抽象，是并行與調(diào)度的基本單位。圖2為本發(fā)明實施例提供的一種任務(wù)處理器的工作流程示意圖，一個任務(wù)處理器包括一個GPU計算任務(wù)的封裝、一個輸入緩存、一個輸出緩存和一個作業(yè)隊列。

圖3為本發(fā)明實施例提供的一種任務(wù)處理器的狀態(tài)控制流程示意圖，一個任務(wù)處理器對應(yīng)創(chuàng)建、就緒、暫停、運行、結(jié)束五個狀態(tài)，通過任務(wù)處理器的控制器進(jìn)行任務(wù)處理器的狀態(tài)控制。

根據(jù)監(jiān)控視頻路數(shù)、當(dāng)前計算任務(wù)、計算節(jié)點GPU數(shù)進(jìn)行基于層結(jié)構(gòu)并行的任務(wù)處理器分配，分配各層間數(shù)據(jù)緩存區(qū)，以建立用于流式監(jiān)控數(shù)據(jù)處理的并行結(jié)構(gòu)。

將基于多GPU上的多任務(wù)處理器進(jìn)行空間并行，且基于流水線技術(shù)建立層式結(jié)構(gòu)進(jìn)行時間并行，基于內(nèi)存交互對流式數(shù)據(jù)進(jìn)行統(tǒng)一式管理。

層式并行結(jié)構(gòu)的建立方法包括：

基于任務(wù)數(shù)劃分任務(wù)處理器的層數(shù)，依據(jù)任務(wù)復(fù)雜度進(jìn)行各層任務(wù)處理器的數(shù)量計算，使用輪轉(zhuǎn)法將任務(wù)處理器盡量分配到不同GPU上。

基于內(nèi)存交互對流式數(shù)據(jù)進(jìn)行統(tǒng)一式管理方法還包括：

通過各層間緩存區(qū)，對同層任務(wù)處理器的輸入輸出的流式數(shù)據(jù)進(jìn)行統(tǒng)一管理，并基于內(nèi)存交互完成CPU到多GPU上的數(shù)據(jù)交換。

所述的監(jiān)控視頻路數(shù)、當(dāng)前計算任務(wù)、計算節(jié)點GPU數(shù)的一個實例為在一臺具有2塊GPU的計算節(jié)點上對3路高清監(jiān)控視頻進(jìn)行實時分析，首先進(jìn)行監(jiān)控視頻解碼獲取視頻幀，對視頻幀進(jìn)行車輛檢測，再對檢測出的車輛屬性(車型、顏色、特征等)提取，三個任務(wù)的計算復(fù)雜度比值為1:3.4:0.6。

使用任務(wù)處理器完成視頻解碼、車輛檢測、車輛屬性提取三個任務(wù)的封裝，對應(yīng)任務(wù)處理器#0、任務(wù)處理器#1、任務(wù)處理器#2。

所述的任務(wù)處理器的分配方式為設(shè)在一臺具有n塊GPU的服務(wù)器上處理m個任務(wù)，m個任務(wù)的復(fù)雜度權(quán)重比為d1,d2，……，dm，則將任務(wù)處理器劃分為m層，對應(yīng)m個任務(wù)，若輸入視頻路數(shù)為x，則每層初始化任務(wù)處理器數(shù)量為d為該層復(fù)雜度權(quán)重值；計算得到各層任務(wù)處理器的數(shù)量后，使用輪轉(zhuǎn)法將同任務(wù)的任務(wù)處理器盡可能地分配到不同GPU上，并對各任務(wù)處理器進(jìn)行初始化。針對本實例，共初始化3個任務(wù)處理器#0，11個任務(wù)處理器#1，2個任務(wù)處理器#2；GPU#0上分配任務(wù)處理器數(shù)依次為2、5、1，GPU#1上分配任務(wù)處理器數(shù)依次為1、6、1。

所述的用于流式監(jiān)控數(shù)據(jù)處理的并行結(jié)構(gòu)如圖1所示。以層級結(jié)構(gòu)將任務(wù)處理器劃分成3層，形成流水線，進(jìn)行時間并行；通過任務(wù)處理器在多GPU上的分配，進(jìn)行多任務(wù)在多GPU上的空間并行；通過在各層間建立4個統(tǒng)一的緩存區(qū)，對同層任務(wù)處理器的輸入輸出的流式數(shù)據(jù)進(jìn)行統(tǒng)一管理，并基于內(nèi)存交互完成CPU到多GPU上的數(shù)據(jù)交換，具體數(shù)據(jù)管理方式如圖3所示，其中視頻緩存區(qū)使用環(huán)形緩存區(qū)作為每個視頻流的存儲區(qū)域。

步驟(2)：對層式并行結(jié)構(gòu)中的各個任務(wù)處理器進(jìn)行初始化，各個任務(wù)處理器接收監(jiān)控視頻數(shù)據(jù)，對監(jiān)控視頻數(shù)據(jù)進(jìn)行實時處理；

步驟(3)：進(jìn)行計算環(huán)境監(jiān)測，預(yù)測任務(wù)隊列、任務(wù)緩存區(qū)及各GPU健康度；

按照時間間隔統(tǒng)計被監(jiān)測對象占用率，所述被監(jiān)測對象占用率包括任務(wù)隊列占用率、任務(wù)緩存區(qū)占用率、GPU利用率和GPU顯存占用率；

采用滑動窗口計算若干時間片內(nèi)被監(jiān)測對象占用率的平均值；

根據(jù)記錄的多個時間片內(nèi)被監(jiān)測對象占用率的平均值計算被監(jiān)測對象健康度，所述被監(jiān)測對象健康度包括任務(wù)隊列健康度、任務(wù)緩存區(qū)健康度、GPU健康度和GPU顯存健康度；

依據(jù)被監(jiān)測對象健康度判斷被監(jiān)測對象的狀態(tài)。

所述的任務(wù)隊列及緩存區(qū)健康度計算方式使用如下方法(以緩存區(qū)為例，方法相同)：以時間間隔為50ms為單位進(jìn)行被監(jiān)測緩存區(qū)已被占用的緩存大小。通過大小為n的滑動窗口(n為1-5之間)來統(tǒng)計50*n毫秒內(nèi)的平均占用率，來達(dá)到平滑數(shù)據(jù)的效果，再通過平滑后的占用率作為依據(jù)進(jìn)行趨勢計算。通過健康緩存區(qū)間的上界和下界及趨勢計算緩存區(qū)健康度。

數(shù)據(jù)統(tǒng)計：以50ms的時間間隔統(tǒng)計被監(jiān)測緩存區(qū)的已被占用的大小。

數(shù)據(jù)分析：

緩存區(qū)使用百分比P_{Buf_occ}的計算公式如下：

通過滑動窗口統(tǒng)計n個時間片內(nèi)的平均緩存區(qū)使用百分比，其中n為滑動窗口大小，計算公式如下。

變化趨勢CUR_buf計算公式如下，其中α∈[0.1,2]：

通過劃分緩存區(qū)的90％和10％作為健康區(qū)間的上界和下屆，健康度計算公式如下：

若根據(jù)公式3.4計算得健康度H_buf>100，則H_buf＝100；

若計算得H_buf<0，則H_buf＝0。

對于某數(shù)據(jù)緩存區(qū)：

若H_buf≤10，則處于饑餓狀態(tài)；

若10<H_buf<90，則處于健康狀態(tài)；

若H_buf≥90，則處于過飽狀態(tài)。

所述的GPU健康度預(yù)測方式使用如下方法：以時間間隔為50ms為單位計算被監(jiān)測GPU處理器的GPU利用率和已被占用的顯存大小。通過大小為n的滑動窗口(n為1-5之間)來統(tǒng)計50*n毫秒內(nèi)的平均GPU利用率和平均顯存占用率，來達(dá)到平滑數(shù)據(jù)的效果，再通過平滑后的利用率和顯存占用率作為依據(jù)進(jìn)行趨勢計算。通過利用率和顯存占用率及各自健康上界和下界及趨勢估算GPU健康度。

數(shù)據(jù)統(tǒng)計：以50ms的時間間隔統(tǒng)計被監(jiān)測GPU的利用率和顯存占用率。

數(shù)據(jù)分析：

通過滑動窗口統(tǒng)計n個時間片內(nèi)的平均GPU利用率百分比，其中n為滑動窗口大小，計算公式如下。

通過滑動窗口統(tǒng)計n個時間片內(nèi)的平均顯存占用率百分比，其中n為滑動窗口大小，計算公式如下。

將GPU利用率低于60％的情況直接視為饑餓狀態(tài)。

將顯存占用率超過的80％的情況直接視為過飽狀態(tài)。

若根據(jù)公式3.7計算得健康度H_gpu>100，則H_gpu＝100；

若計算得H_gpu<0，則H_gpu＝0。

對于某GPU處理器：

若H_gpu≤45，則處于饑餓狀態(tài)；

若45<H_gpu<80，則處于健康狀態(tài)；

若H_gpu≥80，則處于過飽狀態(tài)。

步驟(4)：根據(jù)任務(wù)隊列健康度、緩存區(qū)健康度及各GPU健康度值進(jìn)行任務(wù)處理器調(diào)度和作業(yè)分發(fā)；

圖4為本發(fā)明實施例提供的一種任務(wù)處理器調(diào)度過程示意圖，任務(wù)處理器調(diào)度方法包括：

通過各任務(wù)運行狀態(tài)、任務(wù)處理器數(shù)量控制各任務(wù)占用的計算資源比例；通過各監(jiān)測對象健康度值更改各任務(wù)對應(yīng)任務(wù)處理器的狀態(tài)。

對于某任務(wù)，通過其輸入和輸出緩存區(qū)的健康度判斷該任務(wù)的各狀態(tài)處理器的數(shù)量變化量：

若其輸入緩存處于饑餓狀態(tài)，輸出緩存處于過飽狀態(tài)，則減少任務(wù)處理器數(shù)量；

若其輸入緩存處于過飽狀態(tài)，輸出緩存處于饑餓狀態(tài)，則增加任務(wù)處理器數(shù)量；

若其輸入緩存或輸出緩存處于健康狀態(tài)，則暫時不變動任務(wù)處理器數(shù)量。

需要增加處理器數(shù)量時，優(yōu)先等待正在創(chuàng)建的任務(wù)處理器創(chuàng)建完成，次優(yōu)先恢復(fù)暫停狀態(tài)或準(zhǔn)備狀態(tài)的處理器為運行狀態(tài)，如無以上兩種情況，則創(chuàng)建新的任務(wù)處理器。

需要創(chuàng)建新的任務(wù)處理器時，優(yōu)先選擇健康度低的GPU進(jìn)行。

若緩存區(qū)達(dá)到容量上限，開始丟棄數(shù)據(jù)。

若GPU處理器處于過飽狀態(tài)，則減少該處理器上的任務(wù)處理器數(shù)量，減少時將運行狀態(tài)的處理器轉(zhuǎn)為暫停狀態(tài)，減少時優(yōu)先減少輸出緩存區(qū)健康度高的任務(wù)處理器。

作業(yè)分發(fā)方式還包括：

作業(yè)分發(fā)采用動態(tài)輪詢策略，依據(jù)健康度低的處理器優(yōu)先的原則，進(jìn)行作業(yè)的分發(fā)。若任務(wù)隊列達(dá)到最大長度，則停止分發(fā)。

步驟(5)：定時重復(fù)步驟3、4，使各GPU間保持負(fù)載均衡狀態(tài)。

圖5為實現(xiàn)本發(fā)明實施例方法的系統(tǒng)架構(gòu)示意圖，主要包括：計算引擎模塊、集成總線模塊、數(shù)據(jù)管理模塊。系統(tǒng)以視頻解碼、車輛檢測及屬性提取為處理任務(wù)，通過集成總線模塊實現(xiàn)本發(fā)明所述方法，使得多路高清視頻處理任務(wù)實時運行在多GPU平臺上。

綜上所述，本發(fā)明實施例為在多GPU平臺上的多路視頻多任務(wù)實時處理設(shè)計了完整的并行、調(diào)度、數(shù)據(jù)管理方案；能夠充分利用多GPU處理器強大的計算能力；使用動態(tài)負(fù)載均衡算法保證系統(tǒng)能夠根據(jù)輸入數(shù)據(jù)和硬件條件充分利用計算資源；從空間并行和時間并行多個方面進(jìn)行并行設(shè)計，大大加快計算速度；且具有一定的廣泛性、安全性和自適應(yīng)性。

本發(fā)明實施例實現(xiàn)了多視頻多任務(wù)在多GPU平臺上的并行處理，并且基于健康度預(yù)測進(jìn)行系統(tǒng)的任務(wù)和作業(yè)調(diào)度，提高了平均GPU利用率，減少了任務(wù)計算時間，且在穩(wěn)定性、擴展性和自適應(yīng)性上具有良好的表現(xiàn)。

本說明書中的各個實施例均采用遞進(jìn)的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對于裝置或系統(tǒng)實施例而言，由于其基本相似于方法實施例，所以描述得比較簡單，相關(guān)之處參見方法實施例的部分說明即可。以上所描述的裝置及系統(tǒng)實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動的情況下，即可以理解并實施。

以上所述，僅為本發(fā)明較佳的具體實施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。