本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種大規(guī)模分布式監(jiān)控視頻數(shù)據(jù)處理方法及裝置。

背景技術(shù)：

隨著監(jiān)控視頻系統(tǒng)逐步從模擬、標(biāo)清向高清、超高清及4k的發(fā)展，在智慧城市、智慧交通等眾多領(lǐng)域監(jiān)控視頻數(shù)據(jù)分析，是監(jiān)控視頻系統(tǒng)應(yīng)用最基本的要求。由于傳統(tǒng)高清監(jiān)控視頻系統(tǒng)的視頻數(shù)據(jù)分析，大都依賴與后端大型pc服務(wù)器進(jìn)行處理，需要將高清視頻數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)椒?wù)器機(jī)房進(jìn)行分析運算，再存儲目標(biāo)分析結(jié)果，特別是當(dāng)高清監(jiān)控視頻達(dá)到幾千甚至上萬路、數(shù)據(jù)達(dá)到pb級以上時候，監(jiān)控視頻網(wǎng)絡(luò)傳輸帶寬成本以及需要的視頻分析服務(wù)器數(shù)量成倍增加，根本不能滿足正常的高清監(jiān)控視頻數(shù)據(jù)分析系統(tǒng)的業(yè)務(wù)應(yīng)用需求。

因此，現(xiàn)有監(jiān)控視頻數(shù)據(jù)分析的方法已經(jīng)嚴(yán)重制約了安防監(jiān)控行業(yè)向更高層次的發(fā)展，如何能處理幾萬甚至十幾萬路高清監(jiān)控視頻數(shù)據(jù)分析的問題，是高清監(jiān)控視頻系統(tǒng)應(yīng)用亟待解決的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：針對后端高清監(jiān)控視頻分析存在的難題，提供一種依托前端大規(guī)模分布式部署的高性能攝像機(jī)裝置實現(xiàn)高清視頻數(shù)據(jù)分析的方法，解決現(xiàn)有高清監(jiān)控視頻系統(tǒng)中視頻網(wǎng)絡(luò)傳輸、數(shù)據(jù)分析計算資源成為瓶頸的問題。

為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：提供一種大規(guī)模分布式監(jiān)控視頻數(shù)據(jù)處理方法，包括前端視頻數(shù)據(jù)處理流程和后端視頻數(shù)據(jù)處理流程，所述前端視頻數(shù)據(jù)處理流程包括步驟：

s10、獲取監(jiān)控視頻流數(shù)據(jù)；

s20、提取視頻流數(shù)據(jù)中的目標(biāo)區(qū)域；

s30、計算目標(biāo)區(qū)域的特征值；

s40、對目標(biāo)區(qū)域的特征值進(jìn)行特征識別，提取目標(biāo)元數(shù)據(jù)信息；

s50、根據(jù)目標(biāo)元數(shù)據(jù)信息，得到視頻數(shù)據(jù)處理結(jié)果；

s60、發(fā)送視頻數(shù)據(jù)處理結(jié)果至后端；

所述后端視頻數(shù)據(jù)處理流程包括步驟：

s70、獲取視頻數(shù)據(jù)處理結(jié)果；

s80、對視頻數(shù)據(jù)處理結(jié)果進(jìn)行二次處理。

為了解決上述技術(shù)問題，本發(fā)明采用的另一技術(shù)方案為：提供一種大規(guī)模分布式監(jiān)控視頻數(shù)據(jù)處理裝置，包括前端視頻數(shù)據(jù)處理裝置和后端視頻數(shù)據(jù)處理裝置，所述前端視頻數(shù)據(jù)處理裝置包括：

第一獲取模塊，用于獲取監(jiān)控視頻流數(shù)據(jù)，結(jié)束跳轉(zhuǎn)到提取模塊；

提取模塊，用于提取視頻流數(shù)據(jù)中的目標(biāo)區(qū)域，結(jié)束跳轉(zhuǎn)到計算模塊；

計算模塊，用于計算目標(biāo)區(qū)域的特征值，結(jié)束跳轉(zhuǎn)到特征識別模塊；

特征識別模塊，用于對目標(biāo)區(qū)域的特征值進(jìn)行特征識別，提取目標(biāo)元數(shù)據(jù)信息，結(jié)束跳轉(zhuǎn)到生成模塊；

生成模塊，用于生成視頻數(shù)據(jù)處理結(jié)果元數(shù)據(jù)報文和圖片，結(jié)束跳轉(zhuǎn)到發(fā)送模塊；

發(fā)送模塊，用于發(fā)送視頻數(shù)據(jù)處理結(jié)果至后端；

所述后端視頻數(shù)據(jù)處理裝置包括：

第二獲取模塊，用于獲取視頻數(shù)據(jù)處理結(jié)果，結(jié)束跳轉(zhuǎn)到二次處理模塊；

二次處理模塊，用于對視頻數(shù)據(jù)處理結(jié)果進(jìn)行二次處理。

本發(fā)明的有益效果在于：區(qū)別于現(xiàn)有技術(shù)中的依賴與后端大型pc服務(wù)器進(jìn)行處理，需要將高清視頻數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)椒?wù)器機(jī)房進(jìn)行分析運算，再存儲目標(biāo)分析結(jié)果的問題，本發(fā)明提供了一種利用大規(guī)模分布式監(jiān)控數(shù)據(jù)處理方法，利用部署在前端高性能攝像機(jī)裝置實現(xiàn)前端對高清監(jiān)控視頻數(shù)據(jù)的分析處理處理，相比后端高清視頻數(shù)據(jù)分析降低了網(wǎng)絡(luò)傳輸?shù)膸挕⒁曨l分析計算資源等，為大規(guī)模的高清監(jiān)控視頻部署及業(yè)務(wù)應(yīng)用，提供了高清視頻數(shù)據(jù)分析和傳輸?shù)男陆鉀Q方案。

附圖說明

下面結(jié)合附圖詳述本發(fā)明的具體結(jié)構(gòu)

圖1為本發(fā)明的方法的流程圖；

圖2為步驟s20的具體流程圖；

圖3為步驟s30的具體流程圖；

圖4為本發(fā)明的裝置的結(jié)構(gòu)圖。

標(biāo)號說明：

01、前端視頻數(shù)據(jù)處理裝置；02、后端視頻數(shù)據(jù)處理裝置；10、第一獲取模塊；20、提取模塊；30、計算模塊；40、特征識別模塊；50、生成模塊；60、發(fā)送模塊；70、第二獲取模塊；80、二次處理模塊。

具體實施方式

為詳細(xì)說明本發(fā)明的技術(shù)內(nèi)容、構(gòu)造特征、所實現(xiàn)目的及效果，以下結(jié)合實施方式并配合附圖詳予說明。

本發(fā)明最關(guān)鍵的構(gòu)思在于：利用部署在前端高性能攝像機(jī)裝置作為視頻分析平臺，能夠?qū)崿F(xiàn)各種視頻分析算法，將高清視頻進(jìn)行實時分析，提取出監(jiān)控視頻中感興趣的目標(biāo)元數(shù)據(jù)信息，實現(xiàn)前端對高清監(jiān)控視頻數(shù)據(jù)的分析處理，相比后端高清視頻數(shù)據(jù)分析降低了網(wǎng)絡(luò)傳輸?shù)膸?、視頻分析計算資源等，為大規(guī)模的高清監(jiān)控視頻部署及業(yè)務(wù)應(yīng)用，提供了高清視頻數(shù)據(jù)分析和傳輸?shù)男陆鉀Q方案。

請參閱圖1，本發(fā)明提供了一種大規(guī)模分布式監(jiān)控視頻數(shù)據(jù)處理方法，包括前端視頻數(shù)據(jù)處理步驟和后端視頻數(shù)據(jù)處理步驟，所述前端視頻數(shù)據(jù)處理步驟包括：

s10、獲取監(jiān)控視頻流數(shù)據(jù)；

本實施方式中，是從isp中獲取yuv視頻流，其中，isp是imagesignalprocessor的縮寫，全稱是影像處理器。在相機(jī)成像的整個環(huán)節(jié)中，它負(fù)責(zé)接收感光元件的原始信號數(shù)據(jù)，可以理解為整個錄像的第一步處理流程，對圖像質(zhì)量起著非常重要的作用。

在另外一個優(yōu)選的實施方式中，在步驟s10之前還包括步驟s01：

獲取用戶設(shè)定對目標(biāo)的特征識別請求，所述對目標(biāo)的特征識別的內(nèi)容還包括：對目標(biāo)的行為識別、目標(biāo)的圖像質(zhì)量識別和目標(biāo)的數(shù)量識別。

此處的用戶設(shè)定對目標(biāo)的特征識別內(nèi)容可以理解為用戶設(shè)定的觸發(fā)規(guī)則，觸發(fā)規(guī)則主要包括四個大類：行為分析、特征檢測、視頻圖像質(zhì)量診斷以及目標(biāo)統(tǒng)計功能。比如：需要對某點位攝像機(jī)布控目標(biāo)越線、或者人臉檢測、或視頻偏色檢測、或人數(shù)統(tǒng)計等規(guī)則，視頻分析算法依據(jù)布控觸發(fā)規(guī)則進(jìn)行實時報警，上傳目標(biāo)圖片和元數(shù)據(jù)信息等。

行為分析規(guī)則包括但不限于運動檢測、越線、區(qū)域入侵、遺留物檢測、遺失檢測、人群密度檢測、人群聚集檢測、斗毆檢測、徘徊檢測等；

特征檢測包括但不限于人臉檢測、車輛檢測、行人檢測、顏色識別等；

視頻圖像質(zhì)量診斷包括但不限于攝像機(jī)偏移、虛焦檢測、偏色檢測，亮度異常檢測、條紋檢測、視頻丟失檢測等；

目標(biāo)統(tǒng)計功能包括但不限于人數(shù)統(tǒng)計、車輛計數(shù)、顧客關(guān)注度統(tǒng)計、排隊長度統(tǒng)計等。

s20、提取視頻流數(shù)據(jù)中的目標(biāo)區(qū)域；

在本方案的實施方式中，先對視頻流數(shù)據(jù)進(jìn)行動態(tài)建模，通過對多個歷史幀或圖像信息統(tǒng)計得到該視頻圖像的背景圖像，當(dāng)有感興趣目標(biāo)或運動目標(biāo)出現(xiàn)時，其運動的像素點可以從背景里分割成感興趣目標(biāo)或運動目標(biāo)疑似區(qū)域。

參考圖2，在另外一個優(yōu)選的實施方式中，步驟s20具體包括如下步驟：

s202、采用高斯過程對圖像中的每個像素點進(jìn)行動態(tài)建模；

高斯模型就是用高斯概率密度函數(shù)精確地量化事物，將一個事物分解為若干的基于高斯概率密度函數(shù)形成的模型。

s204、根據(jù)對多個歷史幀或圖像信息統(tǒng)計得到該視頻圖像的背景圖像；

對圖像背景建立高斯模型的原理及過程：圖像灰度直方圖反映的是圖像中某個灰度值出現(xiàn)的頻次，也可以認(rèn)為是圖像灰度概率密度的估計。如果圖像所包含的目標(biāo)區(qū)域和背景區(qū)域相比比較大，且背景區(qū)域和目標(biāo)區(qū)域在灰度上有一定的差異，那么該圖像的灰度直方圖呈現(xiàn)雙峰-谷形狀，其中一個峰對應(yīng)于目標(biāo)，另一個峰對應(yīng)于背景的中心灰度。

s206、從背景圖像里分割出目標(biāo)的像素點，提取目標(biāo)區(qū)域n塊，所述n是自然數(shù)。

s30、計算目標(biāo)區(qū)域的特征值；

在本實施方式中，根據(jù)用戶設(shè)定的四大類觸發(fā)規(guī)則計算不同的特征值。常見的特征有二值特征(haar,lbp等)、梯度特征(canny，sobel，hog等)、角點特征(sift,surf等)等。

例如，在行人檢測時通常采用計算hog特征值，方向梯度直方圖(histogramoforientedgradient,hog)特征是一種在計算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述子。它通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。

參考圖3，在另外一個優(yōu)選的實施方式中，所述步驟s30具體包括如下步驟：

s302、計算第一目標(biāo)區(qū)域的特征值；

s304、依次掃描n塊目標(biāo)區(qū)域，重復(fù)步驟s302，得到所有目標(biāo)區(qū)域內(nèi)的特征值。通過循環(huán)遍歷的方式，得到所有目標(biāo)區(qū)域的特征值，然后在對目標(biāo)區(qū)域的特征值進(jìn)行特征識別，提取目標(biāo)元數(shù)據(jù)信息。

s40、對目標(biāo)區(qū)域的特征值進(jìn)行特征識別，提取目標(biāo)元數(shù)據(jù)信息；

在本實施方式中，根據(jù)計算的不同特征值，進(jìn)行相應(yīng)的特征提取，特征提取通常采用積分圖、圖像邊緣分割、角點提取等，特征檢測識別會用到特征訓(xùn)練分類相關(guān)的知識，包括boost、ann、cnn等方法。提取的目標(biāo)元數(shù)據(jù)信息根據(jù)用戶設(shè)定的四大觸發(fā)規(guī)則，包括目標(biāo)類型、時間戳、gps定位信息、顏色、紋理、大小及運動軌跡等。另外，在提取目標(biāo)元數(shù)據(jù)信息的同時，可以觸發(fā)抓圖或?qū)崟r報警信號。抓取的圖片可以是目標(biāo)的縮略圖，也可以是當(dāng)前時間戳目標(biāo)所對應(yīng)的包含整個場景的完整圖片。報警信號可以發(fā)送到指定的監(jiān)控端，實現(xiàn)實時的監(jiān)控告警。

s50、根據(jù)目標(biāo)元數(shù)據(jù)信息，生成視頻數(shù)據(jù)處理結(jié)果；

在本實施方式中，提取的目標(biāo)元數(shù)據(jù)信息包括但不限于目標(biāo)類型、時間戳、gps定位信息、顏色、紋理、大小及運動軌跡等。此外，還包括在輸出目標(biāo)的元數(shù)據(jù)信息時所抓取的圖片，所述圖片可以是目標(biāo)的縮略圖，也可以是包含整個場景的完整圖像。根據(jù)所述的目標(biāo)元數(shù)據(jù)信息生成視頻數(shù)據(jù)處理結(jié)果元數(shù)據(jù)報文和圖片。

s60、發(fā)送視頻數(shù)據(jù)處理結(jié)果至后端；

在本實施方式中，將提取的目標(biāo)元數(shù)據(jù)信息包括但不限于目標(biāo)類型、時間戳、gps定位信息、顏色、紋理、大小及運動軌跡等通過http協(xié)議或onvif協(xié)議發(fā)送到后端。將提取的圖片通過ftp協(xié)議或http協(xié)議發(fā)送到后端。由于前端攝像機(jī)設(shè)有基于高性能arm低功耗處理器，采用上述的機(jī)器學(xué)習(xí)視頻分析算法，實現(xiàn)了對視頻流數(shù)據(jù)的目標(biāo)特征實時提取，在前端分析視頻數(shù)據(jù)流程中，主要是去掉了后端分析取視頻流網(wǎng)絡(luò)傳輸?shù)膸?，同時后端不用在部署大規(guī)模的服務(wù)器進(jìn)行視頻分析處理，節(jié)省了視頻網(wǎng)絡(luò)傳輸帶寬、后端服務(wù)器硬件計算資源和機(jī)房建設(shè)成本等。

所述后端視頻數(shù)據(jù)處理步驟包括：

s70、獲取視頻數(shù)據(jù)處理結(jié)果；

在本實施方式中，獲取的視頻數(shù)據(jù)處理結(jié)果包括目標(biāo)元數(shù)據(jù)報文和圖片。目標(biāo)元數(shù)據(jù)信息包括但不限于目標(biāo)類型、時間戳、gps定位信息、顏色、紋理、大小及運動軌跡等。圖片可以是目標(biāo)的縮略圖也可以是包含整個場景的完整圖像。

s80、對視頻數(shù)據(jù)處理結(jié)果進(jìn)行二次處理。

在本實施方式中，將獲得的視頻數(shù)據(jù)處理結(jié)果存儲在后端指定的存儲單元，以便于后端隨時讀取和對視頻數(shù)據(jù)處理結(jié)果進(jìn)行二次處理。

再另一個具體的實施方式中，后端可以對前端觸發(fā)規(guī)則目標(biāo)進(jìn)行二次分析，包括人臉識別比對、嫌疑人布控、車牌識別以及套牌車布控等大數(shù)據(jù)分析應(yīng)用。還可以對目標(biāo)進(jìn)行目標(biāo)檢索，目標(biāo)檢索可以針對大規(guī)模分布式前端采集到的目標(biāo)元數(shù)據(jù)和圖片，結(jié)合gis電子地圖對目標(biāo)活動范圍進(jìn)行時空分析，排查線索。

需要說明的是，對于前述的各種方法的實施方式，為了簡便描述，將其都表述為一系列的動作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受描述的動作順序的限制，因為依據(jù)本發(fā)明，某些步驟可以采用其他的順序或者同時進(jìn)行。此外，還可以對上述實施例進(jìn)行任意組合，得到其他實施例。

基于與上述實施方式中的一種大規(guī)模分布式監(jiān)控視頻數(shù)據(jù)處理方法相同的思想，本發(fā)明還提供一種大規(guī)模分布式監(jiān)控視頻數(shù)據(jù)處理裝置，該裝置可以執(zhí)行上述的方法。為了便于說明，在所述一種大規(guī)模分布式監(jiān)控視頻數(shù)據(jù)處理裝置，僅僅示出了與本發(fā)明實施事例相關(guān)的部分，本領(lǐng)域技術(shù)人員可以理解，圖示結(jié)構(gòu)并不構(gòu)成對裝置的限定，可以包括比圖示更多或者更少的部件，或者某些部件的組合，或者不同的部件布置。

參考圖4，為本發(fā)明一種大規(guī)模分布式監(jiān)控數(shù)據(jù)處理裝置的示意性結(jié)構(gòu)圖，在本實施例中，該裝置包括前端視頻數(shù)據(jù)處理裝置01和后端視頻數(shù)據(jù)處理裝置02，其中前端視頻數(shù)據(jù)處理裝置01包括：第一獲取模塊10，用于獲取監(jiān)控視頻流數(shù)據(jù)；提取模塊20，用于提取視頻流數(shù)據(jù)中的目標(biāo)區(qū)域；計算模塊30，用于計算目標(biāo)區(qū)域的特征值；特征識別模塊40，用于對目標(biāo)區(qū)域的特征值進(jìn)行特征識別，提取目標(biāo)元數(shù)據(jù)信息；生成模塊50，用于生成視頻數(shù)據(jù)處理結(jié)果元數(shù)據(jù)報文和圖片；發(fā)送模塊60，用于發(fā)送視頻數(shù)據(jù)處理結(jié)果至后端；所述后端視頻數(shù)據(jù)處理裝置02包括：第二獲取模塊70，用于獲取視頻數(shù)據(jù)處理結(jié)果；二次處理模塊80，用于對視頻數(shù)據(jù)處理結(jié)果進(jìn)行二次處理。

該裝置是基于攝像機(jī)前端的高性能arm低功耗處理器，對前端對視頻流數(shù)據(jù)進(jìn)行分析處理，達(dá)到提取目標(biāo)特征的目的，從而生成目標(biāo)視頻數(shù)據(jù)處理結(jié)果元數(shù)據(jù)報文和圖片信息，相比后端高清視頻數(shù)據(jù)分析降低了網(wǎng)絡(luò)傳輸?shù)膸?、視頻分析計算資源等，為大規(guī)模的高清監(jiān)控視頻部署及業(yè)務(wù)應(yīng)用，提供了高清視頻數(shù)據(jù)分析和傳輸?shù)男陆鉀Q方案。

在另外一個優(yōu)選的實施例中，前端視頻數(shù)據(jù)處理裝置01還包括：獲取請求模塊，用于獲取用戶設(shè)定對目標(biāo)的特征識別請求，所述對目標(biāo)的特征識別的內(nèi)容還包括：對目標(biāo)的行為識別、目標(biāo)的圖像質(zhì)量識別和目標(biāo)的數(shù)量識別。此處的用戶設(shè)定對目標(biāo)的特征識別內(nèi)容可以理解為用戶設(shè)定的觸發(fā)規(guī)則，觸發(fā)規(guī)則主要包括四個大類：行為分析、特征檢測、視頻圖像質(zhì)量診斷以及目標(biāo)統(tǒng)計功能。

在另外一個優(yōu)選的實施例中，提取模塊20還包括：動態(tài)建模模塊，用于采用高斯過程對圖像中的每個像素點進(jìn)行動態(tài)建模；第一提取模塊，用于根據(jù)對多個歷史幀或圖像信息統(tǒng)計提取該視頻圖像的背景圖像；第二提取模塊，用于從背景圖像里分割出目標(biāo)的像素點，提取目標(biāo)區(qū)域n塊，所述n是自然數(shù)。計算模塊30具體包括：第一計算模塊，用于計算第一目標(biāo)區(qū)域的特征值；掃描模塊，用于依次掃描n塊目標(biāo)區(qū)域。

在另外一個優(yōu)選的實施例中，二次處理模塊80，還可以用于將視頻數(shù)據(jù)處理結(jié)果元數(shù)據(jù)報文和圖片進(jìn)行目標(biāo)特征比對、目標(biāo)布控和目標(biāo)檢索。具體地包括人臉識別比對、嫌疑人布控、車牌識別以及套牌車布控等大數(shù)據(jù)分析應(yīng)用。還可以對目標(biāo)進(jìn)行目標(biāo)檢索，目標(biāo)檢索可以針對大規(guī)模分布式前端采集到的目標(biāo)元數(shù)據(jù)和圖片，結(jié)合gis電子地圖對目標(biāo)活動范圍進(jìn)行時空分析，排查線索。

此外，上述一種大規(guī)模分布式監(jiān)控數(shù)據(jù)處理裝置的實施方式中，各功能模塊的邏輯劃分僅是舉例說明，實際應(yīng)用中可以根據(jù)需要，例如出于相應(yīng)硬件的配置要求或者軟件的實現(xiàn)的便利考慮，將上述功能分配由不同的功能模塊完成等，都屬于發(fā)明的保護(hù)范圍。

在上述事實中，對各個實施例的描述各有側(cè)重，某個實施例中沒有詳述的部分，可以參見其他實施例中的相關(guān)描述。

以上所述僅為本發(fā)明的實施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。