一種基于ptz攝像機巡航的智能視頻分析系統(tǒng)及方法
【專利摘要】本發(fā)明提供了一種基于PTZ攝像機巡航的智能視頻分析系統(tǒng)及方法，該系統(tǒng)包括前端PTZ攝像機和后端服務(wù)器，后端服務(wù)器包括：巡航配置模塊，用于對系統(tǒng)的巡航組和巡航點進(jìn)行設(shè)定生成巡航列表，PTZ攝像機控制模塊，對巡航列表進(jìn)行分析，自動生成巡航執(zhí)行列表；視頻分析配置模塊，用于針對各個巡航點配置相關(guān)的智能視頻分析算法并配置到巡航列表中；系統(tǒng)控制模塊，為每個巡航點進(jìn)行攝像機參數(shù)標(biāo)定以及調(diào)用視頻拼接模塊，按照巡航點的執(zhí)行順序自動生成整個巡航周期的全景拼接圖；智能視頻分析模塊，根據(jù)相關(guān)的設(shè)定進(jìn)行目標(biāo)檢測和事件分析，并對檢測到的事件產(chǎn)生實時告警；告警管理模塊，對告警進(jìn)行相應(yīng)的本地管理功能。
【專利說明】一種基于PTZ攝像機巡航的智能視頻分析系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻監(jiān)控、視頻分析、模式識別領(lǐng)域，尤其是涉及一種基于PTZ攝像機 巡航的智能視頻分析系統(tǒng)及方法。

【背景技術(shù)】
[0002] 視頻監(jiān)控是安全防范系統(tǒng)的重要組成部分，隨著視頻監(jiān)控技術(shù)的發(fā)展，視頻攝像 機已經(jīng)被廣泛用來對各種環(huán)境、區(qū)域和場所進(jìn)行實時監(jiān)控。由于PTZ攝像機相比于固定攝 像機具有可變視角和可變焦距等優(yōu)勢，具有監(jiān)控場景更大、跟蹤目標(biāo)范圍更廣，已經(jīng)得到越 來越廣泛的應(yīng)用。
[0003] PTZ攝像機跟蹤技術(shù)是一種利用圖像處理技術(shù)，實現(xiàn)目標(biāo)發(fā)現(xiàn)并控制PTZ攝像機 對運動目標(biāo)在一定場景范圍內(nèi)進(jìn)行定位，跟蹤和抓拍的監(jiān)控技術(shù)。這種技術(shù)可以用于路況 監(jiān)控，公共場所安全監(jiān)控，森林防火等多個領(lǐng)域。但是在目前的監(jiān)控領(lǐng)域，通常是一臺攝像 機只負(fù)責(zé)自己所監(jiān)視的區(qū)域，而每臺PTZ攝像機雖然可以移動，但監(jiān)視范圍還是很有限的， 在跟蹤過程中由于PTZ攝像機的PTZ三個變量的信息需要完全依賴于跟蹤算法的反饋，很 難準(zhǔn)確的對PTZ攝像機進(jìn)行控制，且目前自動PTZ跟蹤算法對小目標(biāo)和環(huán)境適應(yīng)性較差，目 前還無法大規(guī)模普及應(yīng)用。
[0004] 基于靜態(tài)攝像機的目標(biāo)檢測跟蹤算法相對成熟，但是由于單攝像機的視野域有 限，較大的監(jiān)控視場需要多個攝像機才能實現(xiàn)覆蓋，在實際的目標(biāo)跟蹤系統(tǒng)中，更多采用多 攝像機系統(tǒng)，在預(yù)算一定的情況下不可避免的要加大系統(tǒng)的成本或者降低攝像機的品質(zhì)， 且由于攝像機場景固定，為了兼顧攝像機的視場覆蓋，智能視頻分析算法一般無法獲得檢 測目標(biāo)的細(xì)節(jié)特征，如獲取跟蹤的人的臉部信息和跟蹤的車輛的車牌信息。
[0005] 鑒于之前的介紹，我們發(fā)現(xiàn)目前常見的系統(tǒng)無論是基PTZ攝像機的自動跟蹤系統(tǒng) 還是基于固定攝像機的目標(biāo)檢測跟蹤系統(tǒng)都存在比較大的問題，無法滿足對視頻監(jiān)控系統(tǒng) 用盡量少的攝像機，實現(xiàn)更大范圍覆蓋，進(jìn)行更精確的智能視頻分析效果的需求，如何充分 挖掘PTZ攝像機的特性，如何結(jié)合PTZ攝像機的特性進(jìn)行智能視頻分析系統(tǒng)的架構(gòu)成為我 們要解決的核心問題。


【發(fā)明內(nèi)容】

[0006] 為了解決上述問題，本發(fā)明提供了一種基于PTZ攝像機巡航的智能視頻分析系 統(tǒng)，該系統(tǒng)包括前端PTZ攝像機和后端服務(wù)器，后端服務(wù)器包括：巡航配置模塊，用于對系 統(tǒng)的巡航組和巡航點進(jìn)行設(shè)定生成巡航列表，每個巡航組的巡航點對應(yīng)PTZ攝像機的一個 預(yù)置位，為每個巡航組的巡航點配置巡航模式及巡航時間；PTZ攝像機控制模塊，對巡航列 表進(jìn)行分析，自動生成巡航執(zhí)行列表，使PTZ攝像機按照預(yù)設(shè)的巡航順序在各個預(yù)置位之 間進(jìn)行巡航檢測；視頻分析配置模塊，用于針對各個巡航點配置相關(guān)的智能視頻分析算法 并配置到巡航列表中；系統(tǒng)控制模塊，執(zhí)行相關(guān)巡航點的攝像機開啟功能，根據(jù)配置列表中 的各個巡航點的算法配置，來啟用相關(guān)巡航點的視頻分析算法，為每個巡航點進(jìn)行攝像機 參數(shù)標(biāo)定以及調(diào)用視頻拼接模塊，按照巡航點的執(zhí)行順序自動生成整個巡航周期的全景拼 接圖；智能視頻分析模塊，根據(jù)相關(guān)的設(shè)定進(jìn)行目標(biāo)檢測和事件分析，并對檢測到的事件產(chǎn) 生實時告警；告警管理模塊，對告警進(jìn)行相應(yīng)的本地管理功能。
[0007] 所述攝像機參數(shù)標(biāo)定就是通過給定的參考物反向計算出投影矩陣P的全部或者 部分參數(shù)，標(biāo)定后，通過其在攝像頭捕獲的二維圖像中的二維坐標(biāo)，和獲取的投影矩陣Pjp 可求三維中某個目標(biāo)的位置信息。
[0008] 所述智能視頻分析模塊進(jìn)一步包括：圖像預(yù)處理模塊，采用小波變換的自適應(yīng)快 速圖像降噪算法對圖像進(jìn)行濾波降噪，灰度變換操作；目標(biāo)檢測模塊，用于進(jìn)行運動目標(biāo)檢 測，目標(biāo)的特征提取，行人/車輛檢測，人臉/車牌檢測定位，并根據(jù)目標(biāo)的特征進(jìn)行目標(biāo)識 別算法；目標(biāo)跟蹤模塊，利用雙向光流法進(jìn)行目標(biāo)跟蹤；目標(biāo)特征提取模塊，對上一幀檢測 到的目標(biāo)建立基于顏色和HOG特征的聯(lián)合直方圖模版，這種聯(lián)合直方圖結(jié)合了顏色特征和 HOG的梯度特征；特征檢測匹配模塊，在當(dāng)前幀進(jìn)行搜索匹配，通過巴氏距離進(jìn)行比較，即 在上一幀的目標(biāo)位置的周圍一定半徑范圍內(nèi)進(jìn)行搜索匹配找到最佳的匹配位置即為可能 的目標(biāo)在當(dāng)前幀的位置；事件檢測模塊，基于檢測的目標(biāo)位置變化來判斷是否發(fā)生事件。 [0009] 所述目標(biāo)檢測模塊是基于幀差、圖像變換、混合高斯概率模型三者結(jié)合來檢測目 標(biāo)。
[0010] 所述行人/車輛檢測采用一種光流場相對運動和Hog+SVM模型訓(xùn)練相結(jié)合的方法 提取指定類型的目標(biāo)。
[0011] 所述視頻拼接模塊進(jìn)一步被配置用來：進(jìn)行特征點提取和特征點的匹配，具體為： 以像素點的四個主要方向上最小灰度方差表示該像素點與鄰近像素點的灰度變化情況，即 像素點的興趣值，然后在圖像的局部選擇具有最大的興趣值的點作為特征點，在參考圖像 的重疊部分中選取4個區(qū)域，每個區(qū)域利用Moravec算子找出特征點，選取以特征點為中心 的固定大小的區(qū)域，在搜索圖中尋找最相似的匹配，利用匹配的特征區(qū)域的中心點，代入以 下方程式求解，所求的解即為兩幅圖像間的變換系數(shù)M :
[0012]

【權(quán)利要求】
1. 一種基于PTZ攝像機巡航的智能視頻分析系統(tǒng)，該系統(tǒng)包括如端PTZ攝像機和后端 服務(wù)器，其特征在于后端服務(wù)器包括： 巡航配置模塊，用于對系統(tǒng)的巡航組和巡航點進(jìn)行設(shè)定生成巡航列表，每個巡航組的 巡航點對應(yīng)PTZ攝像機的一個預(yù)置位，為每個巡航組的巡航點配置巡航模式及巡航時間； PTZ攝像機控制模塊，對巡航列表進(jìn)行分析，自動生成巡航執(zhí)行列表，使PTZ攝像機按 照預(yù)設(shè)的巡航順序在各個預(yù)置位之間進(jìn)行巡航檢測； 視頻分析配置模塊，用于針對各個巡航點配置相關(guān)的智能視頻分析算法并配置到巡航 列表中； 系統(tǒng)控制模塊，執(zhí)行相關(guān)巡航點的攝像機開啟功能，根據(jù)配置列表中的各個巡航點的 算法配置，來啟用相關(guān)巡航點的視頻分析算法，為每個巡航點進(jìn)行攝像機參數(shù)標(biāo)定以及調(diào) 用視頻拼接模塊，按照巡航點的執(zhí)行順序自動生成整個巡航周期的全景拼接圖； 智能視頻分析模塊，根據(jù)相關(guān)的設(shè)定進(jìn)行目標(biāo)檢測和事件分析，并對檢測到的事件產(chǎn) 生實時告警； 告警管理模塊，對告警進(jìn)行相應(yīng)的本地管理功能。
2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于： 所述攝像機參數(shù)標(biāo)定就是通過給定的參考物反向計算出投影矩陣P的全部或者部分 參數(shù)，標(biāo)定后，通過其在攝像頭捕獲的二維圖像中的二維坐標(biāo)，和獲取的投影矩陣P，即可求 三維中某個目標(biāo)的位置信息。
3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于所述智能視頻分析模塊進(jìn)一步包括： 圖像預(yù)處理模塊，采用小波變換的自適應(yīng)快速圖像降噪算法對圖像進(jìn)行濾波降噪，灰 度變換操作； 目標(biāo)檢測模塊，用于進(jìn)行運動目標(biāo)檢測，目標(biāo)的特征提取，行人/車輛檢測，人臉/車牌 檢測定位，并根據(jù)目標(biāo)的特征進(jìn)行目標(biāo)識別算法； 目標(biāo)跟蹤模塊，利用雙向光流法進(jìn)行目標(biāo)跟蹤； 目標(biāo)特征提取模塊，對上一幀檢測到的目標(biāo)建立基于顏色和HOG特征的聯(lián)合直方圖模 版，這種聯(lián)合直方圖結(jié)合了顏色特征和HOG的梯度特征； 特征檢測匹配模塊，在當(dāng)前幀進(jìn)行搜索匹配，通過巴氏距離進(jìn)行比較，即在上一幀的目 標(biāo)位置的周圍一定半徑范圍內(nèi)進(jìn)行搜索匹配找到最佳的匹配位置即為可能的目標(biāo)在當(dāng)前 幀的位置； 事件檢測模塊，基于檢測的目標(biāo)位置變化來判斷是否發(fā)生事件。
4. 根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于所述目標(biāo)檢測模塊是基于幀差、圖像變換、 混合高斯概率模型三者結(jié)合來檢測目標(biāo)。
5. 根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于：所述行人/車輛檢測采用一種光流場相 對運動和Hog+SVM模型訓(xùn)練相結(jié)合的方法提取指定類型的目標(biāo)。
6. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：所述視頻拼接模塊進(jìn)一步被配置用來： 進(jìn)行特征點提取和特征點的匹配，具體為：以像素點的四個主要方向上最小灰度方差表 示該像素點與鄰近像素點的灰度變化情況，即像素點的興趣值，然后在圖像的局部選擇具 有最大的興趣值的點作為特征點，在參考圖像的重疊部分中選取4個區(qū)域，每個區(qū)域利用 Moravec算子找出特征點，選取以特征點為中心的固定大小的區(qū)域，在搜索圖中尋找最相似 的匹配，利用匹配的特征區(qū)域的中心點，代入以下方程式求解，所求的解即為兩幅圖像間的 變換系數(shù)M :
7. -種基于PTZ攝像機巡航的智能視頻分析方法，其特征在于： 步驟（1)首先進(jìn)行對系統(tǒng)的巡航組和巡航點進(jìn)行設(shè)定，生成巡航列表，每個巡航組的巡 航點對應(yīng)PTZ攝像機的一個預(yù)置位，為每個巡航組的巡航點配置巡航模式及巡航時間； 步驟（2)通過預(yù)置位調(diào)用，把PTZ攝像機移動到相應(yīng)的巡航點上，系統(tǒng)控制模塊針對當(dāng) 前場景為每個巡航點進(jìn)行攝像機參數(shù)標(biāo)定，并由視頻分析配置模塊配置相關(guān)的智能視頻分 析算法添加到巡航列表中； 步驟（3)啟動系統(tǒng)后，PTZ攝像機控制模塊通過對巡航列表的分析，自動生成巡航執(zhí)行 列表，使PTZ攝像機按照預(yù)設(shè)的巡航順序在各個預(yù)置位之間進(jìn)行巡航檢測； 步驟（4)系統(tǒng)控制模塊調(diào)用視頻拼接模塊，按照巡航點的執(zhí)行順序自動生成整個巡航 周期的全景拼接圖； 步驟（5)智能視頻分析模塊根據(jù)相關(guān)的設(shè)定進(jìn)行目標(biāo)檢測和事件分析，并對檢測到的 事件產(chǎn)生實時的告警。
8. 根據(jù)權(quán)利要求7所述的方法，其特征在于： 所述步驟（2)中攝像機參數(shù)標(biāo)定就是通過給定的參考物反向計算出投影矩陣P的全部 或者部分參數(shù)，標(biāo)定后，通過其在攝像頭捕獲的二維圖像中的二維坐標(biāo)，和獲取的投影矩陣 P，即可求三維中某個目標(biāo)的位置信息。
9. 根據(jù)權(quán)利要求7所述的方法，其特征在于所述步驟（5)進(jìn)一步包括： 采用小波變換的自適應(yīng)快速圖像降噪算法對圖像進(jìn)行濾波降噪，灰度變換操作； 進(jìn)行運動目標(biāo)檢測，目標(biāo)的特征提取，行人/車輛檢測，人臉/車牌檢測定位，并根據(jù)目 標(biāo)的特征進(jìn)行目標(biāo)識別算法； 利用雙向光流法進(jìn)行目標(biāo)跟蹤； 對上一幀檢測到的目標(biāo)建立基于顏色和HOG特征的聯(lián)合直方圖模版，這種聯(lián)合直方圖 結(jié)合了顏色特征和HOG的梯度特征； 在當(dāng)前幀進(jìn)行搜索匹配，通過巴氏距離進(jìn)行比較，即在上一幀的目標(biāo)位置的周圍一定 半徑范圍內(nèi)進(jìn)行搜索匹配找到最佳的匹配位置即為可能的目標(biāo)在當(dāng)前幀的位置； 基于檢測的目標(biāo)位置變化來判斷是否發(fā)生事件。
10. 根據(jù)權(quán)利要求9所述的方法，其特征在于所述目標(biāo)檢測是基于幀差、圖像變換、混 合高斯概率模型三者結(jié)合來檢測目標(biāo)。
11. 根據(jù)權(quán)利要求9所述的方法，其特征在于：所述行人/車輛檢測采用一種光流場相 對運動和Hog+SVM模型訓(xùn)練相結(jié)合的方法提取指定類型的目標(biāo)。
12. 根據(jù)權(quán)利要求7所述的方法，其特征在于：所述視頻拼接具體包括：以像素點的四 個主要方向上最小灰度方差表示該像素點與鄰近像素點的灰度變化情況，即像素點的興趣 值，然后在圖像的局部選擇具有最大的興趣值的點作為特征點，在參考圖像的重疊部分中 選取4個區(qū)域，每個區(qū)域利用Moravec算子找出特征點，選取以特征點為中心的固定大小 的區(qū)域，在搜索圖中尋找最相似的匹配，利用匹配的特征區(qū)域的中心點，代入以下方程式求 解，所求的解即為兩幅圖像間的變換系數(shù)M :
【文檔編號】H04N5/232GK104378582SQ201310359688
【公開日】2015年2月25日 申請日期:2013年8月16日 優(yōu)先權(quán)日:2013年8月16日
【發(fā)明者】張永亮, 王巍, 顧威威, 肖道寬, 盧彥全 申請人:北京博思廷科技有限公司