一種基于海量視頻的快速特征提取系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視頻監(jiān)控技術(shù)領(lǐng)域，涉及一種基于海量視頻的快速特征提取系統(tǒng)。
【背景技術(shù)】
[0002]視頻監(jiān)控已經(jīng)廣泛應(yīng)用于平安城市、智能交通等多個(gè)領(lǐng)域，視頻監(jiān)控市場(chǎng)每年都在增長(zhǎng)，前端攝像頭不斷地鋪設(shè)，產(chǎn)生的海量的視頻數(shù)據(jù)存儲(chǔ)在磁盤中。
[0003]當(dāng)需要檢索視頻資源時(shí)，需要進(jìn)行海量視頻的快速特征提取，隨著信息技術(shù)的發(fā)展，海量視頻信息提取逐漸成為需求熱點(diǎn)。現(xiàn)有技術(shù)中視頻的特征提取大都采用單服務(wù)器進(jìn)行處理，但是隨著特征提取的視頻數(shù)據(jù)量的增大，海量視頻的快速特征提取對(duì)服務(wù)器性能、網(wǎng)絡(luò)帶寬要求高，而且分析速率也不盡人意。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例的目的在于提供一種基于海量視頻的快速特征提取系統(tǒng)，以解決現(xiàn)有技術(shù)分析速率低、服務(wù)器成本高的問題。
[0005]本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種基于海量視頻的快速特征提取系統(tǒng)，所述系統(tǒng)包括:海量視頻分析深度應(yīng)用模塊A、海量視頻分析應(yīng)用服務(wù)模塊B、海量視頻源模塊C、視頻大數(shù)據(jù)處理模塊D和基礎(chǔ)資源模塊E ；
[0006]所述海量視頻分析深層應(yīng)用模塊A向用戶提供海量視頻的快速特征提取服務(wù)，根據(jù)登錄用戶的權(quán)限信息，接收用戶下發(fā)的作業(yè)任務(wù)；
[0007]所述海量視頻分析應(yīng)用服務(wù)模塊B通過webservice向所述海量視頻分析深層應(yīng)用模塊A提供服務(wù)接口，對(duì)所述系統(tǒng)各節(jié)點(diǎn)進(jìn)行監(jiān)控，將所述海量視頻分析深層應(yīng)用模塊A下達(dá)的作業(yè)任務(wù)下發(fā)給所述視頻大數(shù)據(jù)處理模塊D ;
[0008]所述海量視頻源模塊C向所述視頻大數(shù)據(jù)處理模塊D提供視頻數(shù)據(jù)獲取的接口 ；
[0009]所述視頻大數(shù)據(jù)處理模塊D包括算法控制模塊F、任務(wù)切分模塊G、算法注入模塊H、任務(wù)調(diào)度模塊I和數(shù)據(jù)存儲(chǔ)K ；
[0010]所述視頻大數(shù)據(jù)處理模塊D在接收所述作業(yè)任務(wù)后，根據(jù)視頻源信息調(diào)用所述任務(wù)切分模塊G對(duì)作業(yè)切分并封裝成小任務(wù)；通過所述任務(wù)調(diào)度模塊I將所述小任務(wù)下發(fā)到各個(gè)集群分析節(jié)點(diǎn)，所述分析節(jié)點(diǎn)通過所述算法控制模塊F和所述算法注入模塊H對(duì)視頻切片進(jìn)行分析；所述分析節(jié)點(diǎn)將處理結(jié)果匯聚到存儲(chǔ)集群中的所述存儲(chǔ)模塊K中存儲(chǔ)；所述存儲(chǔ)集群為所述海量視頻分析應(yīng)用服務(wù)模塊B提供分析結(jié)果的快速檢索功能；
[0011 ] 所述基礎(chǔ)資源模塊E包括IT基礎(chǔ)資源，所述IT基礎(chǔ)資源包括網(wǎng)絡(luò)資源、節(jié)點(diǎn)物理機(jī)資源和存儲(chǔ)設(shè)備。
[0012]本發(fā)明提供的一種基于海量視頻的快速特征提取系統(tǒng)的第一優(yōu)選實(shí)施例中，所述視頻大數(shù)據(jù)處理模塊D控制基礎(chǔ)資源模塊E進(jìn)行作業(yè)任務(wù)處理；
[0013]任務(wù)管理節(jié)點(diǎn)LOO收到任務(wù)以后，向各分析節(jié)點(diǎn)LI?Ln發(fā)送取任務(wù)的廣播，各分析節(jié)點(diǎn)根據(jù)各自并發(fā)處理能力按需向所述管理節(jié)點(diǎn)請(qǐng)求任務(wù)，所述管理節(jié)點(diǎn)下發(fā)任務(wù)；
[0014]完成任務(wù)的所述分析節(jié)點(diǎn)，繼續(xù)請(qǐng)求新的任務(wù)。
[0015]本發(fā)明提供的一種基于海量視頻的快速特征提取系統(tǒng)的第二優(yōu)選實(shí)施例中，所述任務(wù)切分模塊G通過維護(hù)作業(yè)監(jiān)控鏈表Gl和待處理作業(yè)隊(duì)列G2進(jìn)行任務(wù)切分；
[0016]所述視頻大數(shù)據(jù)處理模塊D收到所述海量視頻分析應(yīng)用服務(wù)模塊B下發(fā)的作業(yè)，發(fā)送到所述任務(wù)切分模塊G的所述待處理作業(yè)隊(duì)列G2隊(duì)尾，所述任務(wù)切分模塊G從所述待處理作業(yè)隊(duì)列G2隊(duì)頭取出作業(yè)，根據(jù)作業(yè)信息向所述海量視頻源模塊C獲取視頻信息，并將作業(yè)插入所述作業(yè)監(jiān)控鏈表Gl ；
[0017]收到視頻信息以后，將所述作業(yè)從所述作業(yè)監(jiān)控鏈表Gl取出，對(duì)所述作業(yè)進(jìn)行切分，封裝成小任務(wù)，根據(jù)作業(yè)的用戶級(jí)別插入到所述任務(wù)調(diào)度模塊I進(jìn)行處理。
[0018]本發(fā)明提供的一種基于海量視頻的快速特征提取系統(tǒng)的第三優(yōu)選實(shí)施例中，所述任務(wù)調(diào)度模塊I通過維持優(yōu)先級(jí)隊(duì)列、任務(wù)監(jiān)控鏈表和輪轉(zhuǎn)調(diào)度模塊15進(jìn)行任務(wù)調(diào)度；
[0019]所述優(yōu)先級(jí)隊(duì)列包括至少兩個(gè)的不同優(yōu)先級(jí)的隊(duì)列，所述任務(wù)切分模塊G對(duì)作業(yè)進(jìn)行切分后，根據(jù)用戶的優(yōu)先權(quán)限將任務(wù)插入到對(duì)應(yīng)的優(yōu)先級(jí)隊(duì)列中；
[0020]當(dāng)收到各分析節(jié)點(diǎn)的任務(wù)請(qǐng)求，所述輪轉(zhuǎn)調(diào)度模塊15依次從不同優(yōu)先級(jí)的優(yōu)先級(jí)隊(duì)列中獲取不同個(gè)數(shù)的任務(wù)，所述優(yōu)先級(jí)隊(duì)列的優(yōu)先級(jí)越高，獲取的任務(wù)的個(gè)數(shù)越多；周期輪轉(zhuǎn)將任務(wù)下發(fā)個(gè)各個(gè)所述分析節(jié)點(diǎn)。
[0021]本發(fā)明提供的一種基于海量視頻的快速特征提取系統(tǒng)的第四優(yōu)選實(shí)施例中，所述系統(tǒng)基于HBase進(jìn)行特征數(shù)據(jù)的存儲(chǔ)和快速檢索。
[0022]本發(fā)明實(shí)施例提供的一種基于海量視頻的快速特征提取系統(tǒng)的優(yōu)點(diǎn)包括:
[0023]1、本發(fā)明實(shí)施例提供的一種基于海量視頻的快速特征提取系統(tǒng)，用戶通過海量視頻分析深度應(yīng)用模塊A進(jìn)行視頻的快速特征提取服務(wù)時(shí)，任務(wù)切分模塊對(duì)服務(wù)作業(yè)的視頻進(jìn)行切分，根據(jù)用戶選擇的算法將任務(wù)下發(fā)到各個(gè)集群分析節(jié)點(diǎn)進(jìn)行處理。針對(duì)出現(xiàn)的越來越大的視頻數(shù)據(jù)量，單服務(wù)器進(jìn)行視頻的快速特征提取時(shí)對(duì)服務(wù)器性能、網(wǎng)絡(luò)帶寬要求高，分析速率不盡人意的情況，通過布置多個(gè)相對(duì)低性能服務(wù)器進(jìn)行分布式處理進(jìn)行解決。這大大降低了成本和帶寬要求，實(shí)現(xiàn)了海量視頻的快速分析、特征提取和快速檢索功能，解決了分布式系統(tǒng)的負(fù)載均衡問題，并提高了算法分析和結(jié)果檢索的效率；
[0024]2、任務(wù)處理時(shí)采用自適應(yīng)負(fù)載均衡算法，任務(wù)分析節(jié)點(diǎn)完成任務(wù)后向管理節(jié)點(diǎn)請(qǐng)求新的任務(wù)，能者多勞，實(shí)現(xiàn)自適應(yīng)負(fù)載均衡；
[0025]3、不同的用戶設(shè)置不同的權(quán)限，任務(wù)調(diào)度模塊I能夠根據(jù)用戶權(quán)限優(yōu)先級(jí)進(jìn)行任務(wù)處理的排序，同時(shí)用戶還可以自己選擇不同的任務(wù)算法；
[0026]4、基于HBase進(jìn)行特征數(shù)據(jù)的存儲(chǔ)和快速檢索，可進(jìn)行海量數(shù)據(jù)的實(shí)時(shí)讀寫，分布式存儲(chǔ)，同時(shí)可通過簡(jiǎn)單的增加機(jī)器來提升系統(tǒng)的存儲(chǔ)和運(yùn)算能力。
【附圖說明】
[0027]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0028]圖1是本發(fā)明實(shí)施例提供的一種基于海量視頻的快速特征提取系統(tǒng)的結(jié)構(gòu)示意圖；
[0029]圖2是本發(fā)明實(shí)施例提供的自適應(yīng)負(fù)載均衡算法示意圖；
[0030]圖3是本發(fā)明實(shí)施例提供的基于優(yōu)先級(jí)的任務(wù)切分輪轉(zhuǎn)調(diào)度算法流程圖；
[0031]圖中:
[0032]A—海量視頻分析深度應(yīng)用模塊出一海量視頻分析應(yīng)用服務(wù)模塊；C一海量視頻源模塊；D_視頻大數(shù)據(jù)處理模塊；E-基礎(chǔ)資源模塊；F_算法控制模塊；G_任務(wù)切分模塊；H-算法注入模塊；1_任務(wù)調(diào)度模塊；J_數(shù)據(jù)挖掘模塊；K-數(shù)據(jù)存儲(chǔ)模塊；L-1T基礎(chǔ)資源模塊；M-資源監(jiān)控模塊；G1—作業(yè)監(jiān)控鏈表；G2—待處理作業(yè)隊(duì)列；11一優(yōu)先級(jí)I隊(duì)列；12—優(yōu)先級(jí)2隊(duì)列；13—優(yōu)先級(jí)3隊(duì)列；14一任務(wù)監(jiān)控鏈表；15—輪轉(zhuǎn)調(diào)度；L1 一分析節(jié)點(diǎn)I ;L2—分析節(jié)點(diǎn)I ;L3—分析節(jié)點(diǎn)3 ;L4—分析節(jié)點(diǎn)4 ;Ln-分析節(jié)點(diǎn)n ;L00-管理節(jié)點(diǎn)；L01_網(wǎng)絡(luò)；L11-線程I ;L12-線程2 ；Lln-線程n ；Lnl-線程I ;Ln2-線程2 ；Lnn-線程η。
【具體實(shí)施方式】
[0033]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0034]為了說明本發(fā)明所述的技術(shù)方案，下面通過具體實(shí)施例來進(jìn)行說明。
[0035]如圖1所示為本發(fā)明提供的一種基于海量視頻的快速特征提取系統(tǒng)的結(jié)構(gòu)示意圖，所述系統(tǒng)包括:海量視頻分析深度應(yīng)用模塊Α、海量視頻分析應(yīng)用服務(wù)模塊B、海量視頻源模塊C、視頻大數(shù)據(jù)處理模塊D和基礎(chǔ)資源模塊Ε。
[0036]海量視頻分析深層應(yīng)用模塊A向用戶提供海量視頻的快速特征提取服務(wù)，根據(jù)用戶的登陸信息判斷用戶的權(quán)限后接收用戶下發(fā)的作業(yè)任務(wù)。
[0037]海量視頻分析應(yīng)用服務(wù)模塊B通過w