專利名稱：一種基于視頻分析的城市管理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及城市管理信息系統(tǒng)領(lǐng)域，尤其涉及一種利用計算機(jī)視覺進(jìn)行視頻分析 的城市管理系統(tǒng)。
背景技術(shù)：
視頻監(jiān)控網(wǎng)絡(luò)在城市社會治安等方面發(fā)揮了重要的作用，同樣的，也可以在城市 管理信息系統(tǒng)中利用視頻監(jiān)控實(shí)現(xiàn)遠(yuǎn)距離的監(jiān)管，提高城市管理的效率。視頻監(jiān)控用于城 市管理必須解決龐大視頻數(shù)據(jù)量的處理、分析和應(yīng)用的問題。由于視頻監(jiān)控存在可視范圍 特性，城市內(nèi)必須部署足夠多的攝像裝置，這些攝像裝置采集到的大量視頻信息如果僅僅 依靠人工處理和分析，將會造成大量的人力資源浪費(fèi)，同時由于監(jiān)控人員長時間盯著監(jiān)控 屏幕，很容易造成人員疲勞，引發(fā)思想松懈，從而導(dǎo)致漏報警。要想實(shí)時地分析處理海量的 視頻信息，必須通過基于計算機(jī)視覺的視頻分析技術(shù)手段，而不是單純地增加人員配置。
另一方面，城市管理中的基礎(chǔ)設(shè)施、市容景觀、環(huán)境衛(wèi)生等領(lǐng)域，發(fā)生的異常事件 通常具有明顯的視頻特征如路面新增覆蓋物、路面完整性被破壞等，可以通過智能視頻分 析提取這些事件的低級特征，經(jīng)過融合形成高級語義特征，即從內(nèi)容上理解視頻事件，從而 實(shí)現(xiàn)主動、及時的報告異常事件的發(fā)生。發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于視頻分析的城市管理系統(tǒng)，能夠在復(fù)雜多變的室外 環(huán)境中提取視頻特征，從而主動監(jiān)測異常事件，結(jié)合異常事件發(fā)生的具體位置和嚴(yán)重等級， 及時發(fā)出告警信息，輔助城市管理。
為達(dá)到上述目的，本發(fā)明采用如下的技術(shù)方案
基于視頻分析的城市管理系統(tǒng)，包括
信息采集模塊，主要負(fù)責(zé)城市各攝像頭監(jiān)控區(qū)域的視頻圖像的拍攝、傳輸和貯存， 結(jié)合地理信息系統(tǒng)(GIS)能定位各個采集點(diǎn)的地理信息數(shù)據(jù)。
視頻分析模塊，對采集到的視頻錄像進(jìn)行智能分析，能夠從復(fù)雜多變的背景中分 割感興趣區(qū)域目標(biāo)，提取視頻的低級特征，并將這些低級特征進(jìn)行融合后形成高級語義特 征，從內(nèi)容上理解視頻事件，主動監(jiān)測異常事件的發(fā)生；
系統(tǒng)管理模塊，用于視頻采集設(shè)備和信息系統(tǒng)的管理，根據(jù)視頻分析模塊輸出的 事件分類結(jié)果和由GIS提供的異常事件發(fā)生的具體位置，以及異常事件的嚴(yán)重等級，發(fā)出 對應(yīng)的告警信息。
所述的視頻分析模塊包括以下步驟
①復(fù)雜室外環(huán)境下目標(biāo)分割算法。通過機(jī)器學(xué)習(xí)，建立自適應(yīng)背景模型；獲取的實(shí) 時圖像，采用背景減除的方法，提取感興趣區(qū)域目標(biāo)。
這種方法能夠適應(yīng)路面環(huán)境的復(fù)雜多變的要求，包括光照、司機(jī)晝夜、晴雨等，并 能很好地抗攝像頭抖動。
②視頻特征提取和目標(biāo)跟蹤。對視頻提取有效的低級特征，包括全局特征和局部 特征。目標(biāo)分為兩類靜止目標(biāo)和運(yùn)動目標(biāo)。采用基于特征的方法跟蹤運(yùn)動目標(biāo)。
全局特征采用顏色特征來描述，具體為顏色直方圖首先選擇顏色空間，本發(fā)明采 用HSV空間，再根據(jù)公式構(gòu)建顏色直方圖作為顏色特征向量。
局部特征采用SIFT算子來描述通過尺度空間極值檢測、關(guān)鍵點(diǎn)的位置確定、關(guān) 鍵點(diǎn)方向參數(shù)的確定、特征向量描述這四個步驟提取SIFT特征向量。并采用視覺特征布袋 模型(Bag-of-visual-words)的方法來構(gòu)筑局部特征向量。
③視頻事件表達(dá)。將提取的全局特征和局部特征向量融合后表達(dá)視頻事件，本發(fā) 明采用并行融合的方法即將全局特征和局部特征表示向量并成一個復(fù)向量。假設(shè)M和N 分別是全局特征和局部特征的特征空間，特征表示向量α eM和β e N，并行融合策略將 這兩個特征向量并成一個大的復(fù)合特征向量Y，使得Y = α+i· β，這樣并行合成的復(fù)合 特征向量構(gòu)成了一個新的特征空間。在這個新的特征空間里表達(dá)各種不同的視頻事件，將 這些表達(dá)對應(yīng)到相應(yīng)類型的視頻事件。
④視頻事件分類器的建立。定義城市管理中的幾類異常事件，構(gòu)建這些異常事件 的語義特征模型，將視頻事件進(jìn)行分類。異常事件按照背景模型的更新動態(tài)分為三類(1) 路面新增覆蓋物，( 路面完整性被破壞，( 路面目標(biāo)活動異常。
本發(fā)明的分類器選擇隨機(jī)森林分類器，其中采用Adaboost算法更新權(quán)重來構(gòu)建 隨機(jī)森林分類器。
⑤異常事件監(jiān)測。實(shí)時分析視頻，通過視頻事件分類器，將異常事件及時、主動地 監(jiān)測出來，并根據(jù)事件的嚴(yán)重程度進(jìn)行分級管理。
本發(fā)明具有以下優(yōu)點(diǎn)和積極效果
1)利用基于計算機(jī)視覺的視頻分析技術(shù)進(jìn)行城市管理；
2)顯著提高城市管理水平，提升城市管理效率，節(jié)省人員開支，改善民生環(huán)境。


圖1是本發(fā)明提供的基于視頻分析的城市管理系統(tǒng)結(jié)構(gòu)示意圖。
圖2是本發(fā)明提供的視頻分析模塊流程圖。
圖3是本發(fā)明提供的視頻事件表達(dá)流程圖。
其中，11-信息采集模塊、12-視頻分析模塊、13-系統(tǒng)管理模塊；
21-視頻特征提取、22-視頻特征融合、23-視頻事件表達(dá)、24-視頻事件分類器、 25-異常事件監(jiān)測；
31-提取全局特征、32-提取局部特征。
具體實(shí)施方式
下面以具體實(shí)施例結(jié)合附圖對本發(fā)明作進(jìn)一步說明
本發(fā)明提供了一種基于視頻分析的城市管理系統(tǒng)，具體采用如下的技術(shù)方案，下 面結(jié)合圖1首先對本發(fā)明的工作機(jī)制進(jìn)行詳細(xì)描述。
基于視頻分析的城市管理系統(tǒng)結(jié)構(gòu)，其中11為信息采集模塊，主主要負(fù)責(zé)城市各 攝像頭監(jiān)控區(qū)域的視頻圖像的拍攝、傳輸和貯存，結(jié)合地理信息系統(tǒng)(GIQ能定位各個采集點(diǎn)的地理信息數(shù)據(jù)。；12為視頻分析模塊，是本系統(tǒng)的核心模塊。具體流程是，能夠適應(yīng)室 外復(fù)雜的環(huán)境，通過機(jī)器學(xué)習(xí)，建立自適應(yīng)背景模型；獲取實(shí)時圖像，采用背景減除的方法， 提取感興趣區(qū)域目標(biāo)。然后提取視頻的低級特征，融合成高級語義特征后表達(dá)視頻事件，預(yù) 先定義城市管理中的幾類異常事件，構(gòu)建這些異常事件的語義特征模型，將視頻事件進(jìn)行 分類，即構(gòu)建視頻事件分類器。實(shí)時分析視頻，通過視頻事件分類器，將異常事件及時自動 地監(jiān)測出來，并根據(jù)事件的嚴(yán)重程度進(jìn)行分級管理。13為管理模塊，用于視頻采集設(shè)備和信 息系統(tǒng)的管理，根據(jù)視頻分析模塊輸出的事件分類結(jié)果和由GIS提供的異常事件發(fā)生的具 體位置，以及異常事件的等級，發(fā)出對應(yīng)的告警信息。通過這三個部分的有機(jī)結(jié)合，系統(tǒng)能 夠主動監(jiān)測異常事件的發(fā)生，實(shí)現(xiàn)對城市的智能化管理。
本發(fā)明與傳統(tǒng)的城市管理系統(tǒng)不同，以往的城市管理系統(tǒng)只是單純地搜集底層信 息，沒有利用計算機(jī)超強(qiáng)的計算能力對視頻信息進(jìn)行處理和分析，從而需要大量人工進(jìn)行 監(jiān)測，造成極大地人力資源浪費(fèi)，并且僅僅停留在事后查找資料，無法實(shí)現(xiàn)主動地管理。而 本系統(tǒng)利用基于計算機(jī)視覺的視頻分析技術(shù)這一人工智能領(lǐng)域的前沿技術(shù)，結(jié)合GIS的空 間分析能力，能夠有效地輔助城市管理，提高管理質(zhì)量。
本發(fā)明提供的基于視頻分析的城市管理系統(tǒng)可以適用于大中小型城市和市政管 理部門。
本發(fā)明提供的基于視頻分析的城市管理系統(tǒng)，具體采用如下模塊
第一部分信息模塊包括
1.信息采集拍攝城市各攝像頭監(jiān)控區(qū)域的視頻圖像，然后分別傳輸?shù)街鞣?wù)器 進(jìn)行處理和分析，由主服務(wù)器將有用的視頻圖像貯存起來。
2. GIS管理GIS地理信息系統(tǒng)是以地理空間數(shù)據(jù)庫為基礎(chǔ)，在計算機(jī)軟硬件的支 持下，運(yùn)用系統(tǒng)工程和信息科學(xué)的理論，科學(xué)管理和綜合分析具有空間內(nèi)涵的地理數(shù)據(jù)，以 提供管理、決策等所需信息的技術(shù)系統(tǒng)。面對各個采集點(diǎn)共同采集到的海量數(shù)據(jù)，利用GIS 的空間分析能力，能夠?qū)Τ鞘懈鲄^(qū)域的視頻信息進(jìn)行統(tǒng)一管理、分析和綜合應(yīng)用，實(shí)現(xiàn)政府 部門總體管理和分區(qū)管理的目的，對某些敏感地區(qū)實(shí)施重點(diǎn)管理。
第二部分視頻分析模塊包括
1.復(fù)雜環(huán)境下的目標(biāo)分割算法進(jìn)行復(fù)雜多變背景下感興趣區(qū)域目標(biāo)的分割，我 們采用背景減除的方法，這種方法復(fù)雜度低，易于實(shí)現(xiàn)，該算法的難點(diǎn)是通過機(jī)器學(xué)習(xí)，建 立自適應(yīng)背景模型，來適應(yīng)路面環(huán)境的復(fù)雜多變性，根據(jù)獲取的實(shí)時視頻圖像，采用背景減 除的方法，提取感興趣區(qū)域目標(biāo)，這一步是提取視頻特征的基礎(chǔ)。目標(biāo)是該算法能夠適應(yīng)不 同的環(huán)境變化，包括光照、四季、晝夜、晴雨等，并能夠很好地抗攝像頭抖動。
目前背景建模的方法有很多，本發(fā)明采用混合高斯模型的方法，對多個背景狀態(tài) 分別建模，根據(jù)實(shí)時數(shù)據(jù)更新各個狀態(tài)下的模型參數(shù)，用以解決復(fù)雜背景的建模問題。分為 三個階段實(shí)現(xiàn)(1)訓(xùn)練階段，進(jìn)行背景建模。( 檢測階段，將檢測圖像和背景模型進(jìn)行減 除運(yùn)算，得到目標(biāo)。( 更新階段，更新背景模型參數(shù)。
高斯混合模型的實(shí)現(xiàn)方法將序列圖像中某一像素點(diǎn)處在時間軸上的一系列觀察 值記錄為X = IX1, X2,..., XJ，把這一系列觀察值看作是一個獨(dú)立于其它點(diǎn)的統(tǒng)計隨機(jī)過 程，用K個高斯分布的混合模型去模擬。由于各個分布互不相關(guān)，混合高斯模型可以表示為汐
權(quán)利要求
1.一種基于視頻分析的城市管理系統(tǒng)，包括信息采集模塊、視頻分析模塊和系統(tǒng)管理 模塊三部分。信息采集模塊，主要負(fù)責(zé)城市各攝像頭監(jiān)控區(qū)域的視頻圖像的拍攝、傳輸和貯 存，結(jié)合地理信息系統(tǒng)(GIS)能定位各個采集點(diǎn)的地理信息數(shù)據(jù)。視頻分析模塊，主要負(fù)責(zé) 對采集到的視頻內(nèi)容進(jìn)行智能分析，提取視頻事件，主動監(jiān)測異常事件。系統(tǒng)管理模塊，用 于視頻采集設(shè)備和信息系統(tǒng)的管理，根據(jù)視頻分析模塊輸出的事件分類結(jié)果和異常事件發(fā) 生的具體位置，以及異常事件的等級，送出對應(yīng)的告警信息。其中視頻分析模塊，其特征在 于，包括以下步驟①復(fù)雜室外環(huán)境下目標(biāo)分割算法。通過機(jī)器學(xué)習(xí)，建立自適應(yīng)背景模型；獲取實(shí)時圖 像，采用背景減除的方法，提取感興趣區(qū)域目標(biāo)。目標(biāo)分為兩類靜止目標(biāo)和運(yùn)動目標(biāo)。②視頻特征提取和目標(biāo)跟蹤。對視頻提取有效的低級特征，包括全局特征和局部特征。 跟蹤運(yùn)動目標(biāo)，采用基于特征的跟蹤方法。③視頻事件表達(dá)。將特征采用串行融合后形成高層語義特征向量，從內(nèi)容上理解視頻 事件，以表達(dá)各種不同的視頻事件，將這些表達(dá)對應(yīng)到相應(yīng)類別的視頻事件。④視頻事件分類器的建立。定義城市管理中的幾類異常事件，構(gòu)建這些異常事件的語 義特征模型，將視頻事件進(jìn)行分類。⑤異常事件監(jiān)測。實(shí)時分析視頻，通過視頻事件分類器，將異常事件及時自動地監(jiān)測出 來，并根據(jù)事件的嚴(yán)重程度進(jìn)行分級管理。
2.根據(jù)權(quán)利要求1所述的一種基于視頻分析的城市管理系統(tǒng)，其特征在于所述的視頻分析模塊步驟②中全局特征包括顏色特征，具體為顏色直方圖，局部特征 采用SIFT算子，并利用視覺特征布袋模型(Bag-of-visual-words)的方法來構(gòu)筑局部特征 向量。
3.根據(jù)權(quán)利要求1所述的一種基于視頻分析的城市管理系統(tǒng)，其特征在于所述的視頻分析模塊步驟④中分類器選擇隨機(jī)森林分類器，其中采用Adaboost算法 更新權(quán)重來構(gòu)建隨機(jī)森林分類器。
4.根據(jù)權(quán)利要求1所述的一種基于視頻分析的城市管理系統(tǒng)，其特征在于所述的視頻分析模塊步驟④中異常事件分為三類(1)路面新增覆蓋物，( 路面完整 性被破壞，( 路面目標(biāo)活動異常。
全文摘要
一種基于視頻分析的城市管理系統(tǒng)，包括信息采集模塊、視頻分析模塊和系統(tǒng)管理模塊三部分。信息采集模塊，主要負(fù)責(zé)城市各攝像頭監(jiān)控區(qū)域的視頻圖像的拍攝、傳輸和貯存，結(jié)合地理信息系統(tǒng)(GIS)能定位各個采集點(diǎn)的地理信息數(shù)據(jù)。視頻分析模塊，主要負(fù)責(zé)對采集到的視頻錄像進(jìn)行智能分析，在復(fù)雜的室外環(huán)境下將感興趣目標(biāo)提取出來，分成靜止目標(biāo)和運(yùn)動目標(biāo)，對視頻提取低級特征后融合形成高級特征向量，從內(nèi)容上理解和表達(dá)視頻事件，通過實(shí)時分析，建立視頻事件分類器，將異常事件主動監(jiān)測出來。系統(tǒng)管理模塊，用于視頻采集設(shè)備和信息系統(tǒng)的管理，根據(jù)視頻分析模塊輸出的事件分類結(jié)果異常事件發(fā)生的具體位置，以及異常事件的嚴(yán)重等級，送出對應(yīng)的告警信息。
文檔編號H04N7/18GK102034212SQ20101020433
公開日2011年4月27日 申請日期2010年6月21日 優(yōu)先權(quán)日2010年6月21日
發(fā)明者李俊, 艾浩軍, 高峰 申請人:艾浩軍