本發(fā)明涉及圖像調(diào)度,具體地說(shuō),涉及一種分布式智能視頻圖像調(diào)度系統(tǒng)。
背景技術(shù):
1、隨著監(jiān)控?cái)z像頭、無(wú)人機(jī)、社交媒體、直播平臺(tái)等視頻源的廣泛部署,視頻數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)。這些數(shù)據(jù)不僅量大,而且類型多樣,包含了豐富的視覺(jué)信息,需要強(qiáng)大的計(jì)算能力進(jìn)行處理和分析,大規(guī)模視頻數(shù)據(jù)處理需要龐大的計(jì)算和存儲(chǔ)資源,如何在保證性能的同時(shí),實(shí)現(xiàn)資源的高效利用和成本控制,是系統(tǒng)設(shè)計(jì)的重要考量之一。分布式架構(gòu)能夠通過(guò)資源池化和負(fù)載均衡,實(shí)現(xiàn)資源的動(dòng)態(tài)分配和優(yōu)化使用,在分布式系統(tǒng)中,數(shù)據(jù)傳輸延遲是影響任務(wù)執(zhí)行時(shí)間的重要因素,現(xiàn)有技術(shù)中,沒(méi)有充分考慮到數(shù)據(jù)傳輸路徑的選擇,導(dǎo)致不必要的延遲,因此,設(shè)計(jì)一種分布式智能視頻圖像調(diào)度系統(tǒng)。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種分布式智能視頻圖像調(diào)度系統(tǒng),以解決上述背景技術(shù)中提出的沒(méi)有充分考慮到數(shù)據(jù)傳輸路徑的選擇,導(dǎo)致不必要的延遲的問(wèn)題。
2、為實(shí)現(xiàn)上述目的,本發(fā)明目的在于提供了一種分布式智能視頻圖像調(diào)度系統(tǒng),包括:
3、采集處理單元:用于利用攝像機(jī)收集視頻圖像數(shù)據(jù),將不同格式的視頻圖像數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的格式,并對(duì)視頻圖像數(shù)據(jù)進(jìn)行預(yù)處理;
4、架構(gòu)設(shè)計(jì)單元:用于部署網(wǎng)絡(luò)中的各個(gè)節(jié)點(diǎn),并設(shè)計(jì)冗余和恢復(fù)策略,在某個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)能夠切換到備用節(jié)點(diǎn);
5、其中,架構(gòu)設(shè)計(jì)單元包括需求分析模塊、節(jié)點(diǎn)部署模塊、網(wǎng)絡(luò)構(gòu)建模塊、負(fù)載均衡模塊和容錯(cuò)機(jī)制模塊;
6、調(diào)度策略生成單元:用于實(shí)時(shí)分析視頻需求,調(diào)整視頻圖像數(shù)據(jù)處理的優(yōu)先級(jí)和流向,結(jié)合分布優(yōu)先算法分配和管理視頻資源;
7、其中,調(diào)度策略生成單元包括調(diào)度模塊、資源分配模塊和數(shù)據(jù)流控制模塊;
8、決策執(zhí)行單元:用于接收調(diào)度策略生成單元的指令,并執(zhí)行視頻圖像數(shù)據(jù)的分配操作,同時(shí),將執(zhí)行的結(jié)果反饋給調(diào)度策略生成單元。
9、作為本技術(shù)方案的進(jìn)一步改進(jìn),所述架構(gòu)設(shè)計(jì)單元中:
10、需求分析模塊用于明確系統(tǒng)目標(biāo),定義關(guān)鍵性能指標(biāo),創(chuàng)建系統(tǒng)框架,描述各個(gè)節(jié)點(diǎn)的功能以及相互之間的關(guān)系;
11、節(jié)點(diǎn)部署模塊用于根據(jù)需求部署視頻資源任務(wù),實(shí)現(xiàn)各個(gè)視頻資源任務(wù)在不同節(jié)點(diǎn)上的分配;
12、網(wǎng)絡(luò)構(gòu)建模塊用于確定視頻數(shù)據(jù)的通信協(xié)議,并規(guī)劃網(wǎng)絡(luò)拓?fù)洌?/p>
13、負(fù)載均衡模塊用于選擇負(fù)載均衡算法,根據(jù)系統(tǒng)狀態(tài)調(diào)整策略,并監(jiān)測(cè)節(jié)點(diǎn)健康,當(dāng)檢測(cè)到節(jié)點(diǎn)故障時(shí)重新分配負(fù)載;
14、容錯(cuò)機(jī)制模塊用于故障檢測(cè)機(jī)制,識(shí)別故障節(jié)點(diǎn)并將其從系統(tǒng)中隔離,同時(shí)制定故障恢復(fù)流程。
15、作為本技術(shù)方案的進(jìn)一步改進(jìn),所述網(wǎng)絡(luò)構(gòu)建模塊根據(jù)采集處理單元采集的視頻數(shù)據(jù)的規(guī)格和性能以及網(wǎng)絡(luò)傳輸?shù)膸?、延遲、吞吐量和可靠性,從而確定傳輸路徑以及拓?fù)浣Y(jié)構(gòu);并且根據(jù)采集處理單元處理視頻數(shù)據(jù)的格式和能力,從而確定視頻數(shù)據(jù)傳輸?shù)耐ㄐ艆f(xié)議。
16、作為本技術(shù)方案的進(jìn)一步改進(jìn),所述容錯(cuò)機(jī)制模塊中故障檢測(cè)機(jī)制包括主動(dòng)檢測(cè)和被動(dòng)檢測(cè)。
17、作為本技術(shù)方案的進(jìn)一步改進(jìn),所述節(jié)點(diǎn)部署模塊與容錯(cuò)機(jī)制模塊結(jié)合,在系統(tǒng)出現(xiàn)故障時(shí),能夠按照正確的順序恢復(fù)服務(wù),具體方法如下:
18、s1、容錯(cuò)機(jī)制模塊持續(xù)監(jiān)控所有節(jié)點(diǎn)的健康狀態(tài),并及時(shí)發(fā)現(xiàn)異常;當(dāng)節(jié)點(diǎn)檢測(cè)到自身故障時(shí),向容錯(cuò)機(jī)制模塊發(fā)送故障報(bào)告,并記錄并分析故障信息;一旦確認(rèn)故障容錯(cuò)機(jī)制模塊立即將該節(jié)點(diǎn)從系統(tǒng)中隔離,并制定并執(zhí)行故障恢復(fù)流程;
19、s2、節(jié)點(diǎn)部署模塊根據(jù)系統(tǒng)當(dāng)前的負(fù)載和資源分配情況,將故障節(jié)點(diǎn)上的服務(wù)遷移到健康的節(jié)點(diǎn)上,并根據(jù)視頻資源任務(wù)之間的依賴關(guān)系,確定任務(wù)恢復(fù)的正確順序,避免因恢復(fù)順序不當(dāng)導(dǎo)致的二次故障;
20、s3、服務(wù)恢復(fù)后,容錯(cuò)機(jī)制模塊和節(jié)點(diǎn)部署模塊聯(lián)合檢查系統(tǒng)狀態(tài),確保所有服務(wù)正常運(yùn)行。
21、作為本技術(shù)方案的進(jìn)一步改進(jìn),所述s2中,根據(jù)視頻資源任務(wù)之間的依賴關(guān)系,確定任務(wù)恢復(fù)的正確順序的具體方法如下:
22、s21、計(jì)算節(jié)點(diǎn)的健康評(píng)分:
23、;
24、其中,為節(jié)點(diǎn)的最終評(píng)分;為節(jié)點(diǎn)的利用率;為節(jié)點(diǎn)的利用率的權(quán)重;為節(jié)點(diǎn)的故障率;為節(jié)點(diǎn)的故障率的權(quán)重;為節(jié)點(diǎn)的可用性;為節(jié)點(diǎn)的可用性的權(quán)重;
25、s22、計(jì)算視頻資源任務(wù)之間的依賴關(guān)系,生成任務(wù)關(guān)系依賴圖:
26、;
27、其中,為二元變量,表示任務(wù)依賴于任務(wù);表示任務(wù)不依賴任務(wù);
28、s23、對(duì)任務(wù)依賴圖進(jìn)行拓?fù)渑判?,確定任務(wù)的執(zhí)行順序列表;
29、s24、在拓?fù)渑判蚝蟮娜蝿?wù)列表基礎(chǔ)上,考慮節(jié)點(diǎn)的健康評(píng)分來(lái)分配任務(wù);
30、s25、確定任務(wù)的執(zhí)行順序和分配的節(jié)點(diǎn)后,實(shí)施任務(wù)恢復(fù)計(jì)劃。
31、作為本技術(shù)方案的進(jìn)一步改進(jìn),所述調(diào)度策略生成單元中:
32、調(diào)度模塊用于根據(jù)視頻圖像數(shù)據(jù)處理信息調(diào)整視頻資源任務(wù)的執(zhí)行順序;
33、資源分配模塊用于在多視頻資源任務(wù)的情況下,利用任務(wù)分布算法平衡不同視頻資源任務(wù)的需求,合理分配系統(tǒng)資源;
34、數(shù)據(jù)流控制模塊用于在視頻數(shù)據(jù)傳輸?shù)倪^(guò)程中,調(diào)整發(fā)送速率,確保發(fā)送速率和節(jié)點(diǎn)接收方的處理能力相匹配。
35、作為本技術(shù)方案的進(jìn)一步改進(jìn),所述調(diào)度模塊基于優(yōu)先級(jí)調(diào)度,具體如下:
36、;
37、其中,是新優(yōu)先級(jí),是舊優(yōu)先級(jí),為優(yōu)先級(jí)調(diào)整量。
38、作為本技術(shù)方案的進(jìn)一步改進(jìn),所述任務(wù)分布算法平衡不同視頻資源任務(wù)的需求,合理分配系統(tǒng)資源,具體如下:
39、s31、對(duì)所有待執(zhí)行的任務(wù)按照其執(zhí)行時(shí)間的大小進(jìn)行排序;
40、s32、對(duì)于每一個(gè)任務(wù),找到最合適的節(jié)點(diǎn)來(lái)執(zhí)行;
41、;
42、其中,為任務(wù)在節(jié)點(diǎn)上的適合度分?jǐn)?shù);為節(jié)點(diǎn)的cpu利用率;為節(jié)點(diǎn)的cpu利用率的權(quán)重;為節(jié)點(diǎn)的內(nèi)存利用率;為節(jié)點(diǎn)的內(nèi)存利用率的權(quán)重;為從任務(wù)的源節(jié)點(diǎn)到目標(biāo)節(jié)點(diǎn)的通信延遲;為從任務(wù)的源節(jié)點(diǎn)到目標(biāo)節(jié)點(diǎn)的通信延遲的權(quán)重;
43、s33、選擇中的最大值對(duì)應(yīng)的節(jié)點(diǎn)作為的執(zhí)行節(jié)點(diǎn),如果多個(gè)節(jié)點(diǎn)有相同的最高得分,則選擇負(fù)載最低的節(jié)點(diǎn);
44、s34、一旦任務(wù)被分配給節(jié)點(diǎn),更新的狀態(tài),包括增加其負(fù)載和減少可用資源,對(duì)于列表中的下一個(gè)任務(wù),重復(fù)步驟s32和s33,直到所有任務(wù)都被分配。
45、作為本技術(shù)方案的進(jìn)一步改進(jìn),所述確保發(fā)送速率和節(jié)點(diǎn)接收方的處理能力相匹配,具體如下:
46、;
47、其中,是新窗口大小,是最大窗口大小,是舊窗口大小;是最近接收到的確認(rèn)數(shù)據(jù)量;
48、在新窗口大小的公式中引入接收方緩沖區(qū)容量、網(wǎng)絡(luò)延遲和丟包率因素進(jìn)行優(yōu)化,優(yōu)化后的表達(dá)式為:
49、;
50、其中,為優(yōu)化后的新窗口大小;為網(wǎng)絡(luò)延遲;為往返時(shí)間;為丟包率;為接收方緩沖區(qū)的當(dāng)前可用容量;為接收方緩沖區(qū)中已經(jīng)排隊(duì)但尚未被應(yīng)用程序讀取的數(shù)據(jù)量。
51、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果:
52、1、該分布式智能視頻圖像調(diào)度系統(tǒng)中,在窗口大小中引入接收方緩沖區(qū)容量、網(wǎng)絡(luò)延遲和丟包率因素進(jìn)行窗口大小調(diào)整,不僅考慮了網(wǎng)絡(luò)條件和接收方的處理能力,還避免了數(shù)據(jù)包的丟失和重傳,從而提高了數(shù)據(jù)傳輸?shù)男屎涂煽啃裕軌蚋_地控制數(shù)據(jù)流,確保網(wǎng)絡(luò)資源的有效利用以及提高用戶體驗(yàn);
53、2、該分布式智能視頻圖像調(diào)度系統(tǒng)中,調(diào)度策略通過(guò)動(dòng)態(tài)評(píng)估每個(gè)節(jié)點(diǎn)的資源使用情況,并結(jié)合任務(wù)時(shí)間,能夠更精準(zhǔn)地將任務(wù)分配到最合適且當(dāng)前負(fù)載較低的節(jié)點(diǎn)上,從而提高資源的使用效率,減少浪費(fèi)。