專(zhuān)利名稱(chēng)：一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻監(jiān)控系統(tǒng)領(lǐng)域，具體涉及一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)。
背景技術(shù)：
隨著數(shù)字視頻技術(shù)的發(fā)展，視頻監(jiān)控技術(shù)已經(jīng)成為計(jì)算機(jī)視覺(jué)研究領(lǐng)域中的一個(gè)研究熱點(diǎn)，對(duì)建立和諧社會(huì)、安全社會(huì)具有重要意義。目前，視頻監(jiān)控系統(tǒng)主要用于樓宇監(jiān)控、道路監(jiān)控、人員監(jiān)控與識(shí)別、危險(xiǎn)區(qū)域監(jiān)控等眾多領(lǐng)域，結(jié)合人臉檢測(cè)技術(shù)、運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)、車(chē)牌識(shí)別技術(shù)等應(yīng)用，具有重要的實(shí)用價(jià)值和廣闊的發(fā)展前景。但目前的視頻監(jiān)控系統(tǒng)在一些應(yīng)用中還存在不足，需要完善。1、背景監(jiān)控與感興趣區(qū)域監(jiān)控矛盾問(wèn)題 所謂背景(監(jiān)控是指利用攝像頭對(duì)可視視角進(jìn)行視頻采集，其視頻監(jiān)控范圍大，但對(duì)于局部感興趣區(qū)域而言分辨率不高。感興趣區(qū)域監(jiān)控是指利用攝像頭對(duì)某一感興趣區(qū)域進(jìn)行視頻采集，但監(jiān)控范圍將大大縮小。在實(shí)際應(yīng)用中，可以通過(guò)調(diào)整全景監(jiān)控?cái)z像頭的焦距進(jìn)行感興趣區(qū)域監(jiān)控，但將失去對(duì)大范圍監(jiān)控的能力。例如在道路監(jiān)控過(guò)程中，有時(shí)監(jiān)控到車(chē)禍?zhǔn)录?，但由于?xì)節(jié)不突出，難以確定肇事車(chē)輛車(chē)牌、駕駛員等信息。如果用背景攝像頭去提取車(chē)禍位置細(xì)節(jié)信息，將失去對(duì)道路的全部監(jiān)控，存在視頻監(jiān)控死角從而造成隱患。例如，如果多攝像頭的數(shù)據(jù)融合智能視頻監(jiān)控監(jiān)控系統(tǒng)，可根據(jù)監(jiān)控得到的車(chē)禍信息調(diào)整其中的一個(gè)監(jiān)控?cái)z像頭的方向和焦距獲取感興趣區(qū)域的清晰視頻，即獲取車(chē)禍現(xiàn)場(chǎng)人員的清晰視頻，將不會(huì)出現(xiàn)目前的疑似頂包的猜疑。采用基于多攝像頭的視頻監(jiān)控系統(tǒng)，可以解決背景監(jiān)控與感興趣區(qū)域監(jiān)控的矛盾問(wèn)題。可以利用一個(gè)攝像頭監(jiān)視背景，而另一個(gè)攝像頭根據(jù)背景中感興趣區(qū)域的需求，進(jìn)行感興趣區(qū)域的選取(調(diào)整方位和焦距)和視頻監(jiān)控，例如可以用來(lái)提取車(chē)禍現(xiàn)場(chǎng)的感興趣區(qū)域信息，如車(chē)型、車(chē)牌、車(chē)內(nèi)人員、車(chē)內(nèi)裝飾與物品等。在多攝像頭數(shù)據(jù)融合智能視頻監(jiān)控系統(tǒng)下，將震懾肇事逃逸事件、酒駕頂包事件。2、背景監(jiān)控與目標(biāo)跟蹤矛盾問(wèn)題
在視頻監(jiān)控中，目標(biāo)跟蹤是一種重要的應(yīng)用。目標(biāo)跟蹤技術(shù)主要包括目標(biāo)檢測(cè)、目標(biāo)識(shí)另O、目標(biāo)跟蹤等技術(shù)。例如利用人臉進(jìn)行人物跟蹤，利用車(chē)牌對(duì)車(chē)輛進(jìn)行跟蹤等。如果背景監(jiān)控的攝像頭用于目標(biāo)監(jiān)控，僅能跟蹤當(dāng)前視角范圍的目標(biāo)。若進(jìn)行攝像頭位置控制，焦距調(diào)整等來(lái)進(jìn)行目標(biāo)跟蹤，必然失去對(duì)原視角范圍的視頻監(jiān)控。采用多攝像頭協(xié)同工作和數(shù)據(jù)融合技術(shù)，即可一個(gè)用于背景監(jiān)控，另一個(gè)攝像頭用于目標(biāo)跟蹤，可以通過(guò)旋轉(zhuǎn)攝像頭和進(jìn)行變焦處理，擴(kuò)大目標(biāo)跟蹤范圍，從而解決背景監(jiān)控與目標(biāo)跟蹤矛盾問(wèn)題。以目前比較嚴(yán)重的“飆車(chē)”行為為例，一般均以遮擋車(chē)牌來(lái)逃避處罰。如果采用雙攝像頭的視頻監(jiān)控系統(tǒng)，可以采用一個(gè)視頻進(jìn)行背景(場(chǎng)景)監(jiān)控，對(duì)其視頻進(jìn)行目標(biāo)檢測(cè)與跟蹤，并計(jì)算軌跡、速度等信息，然后調(diào)整另一感興趣區(qū)域監(jiān)控的攝像頭攝像位置和焦距，可以預(yù)先監(jiān)控目標(biāo)將經(jīng)過(guò)的區(qū)域，可以準(zhǔn)確的獲取超速車(chē)輛信息(包括駕駛員特征、車(chē)內(nèi)裝飾、乘客等)，特別是人臉特征，可用于和駕駛執(zhí)照庫(kù)匹配，用以查找違章司機(jī)。通過(guò)采用這種多攝像頭監(jiān)控系統(tǒng)，可使遮擋車(chē)牌等逃避責(zé)任行為失效，從而真正的威懾這些違法“飆車(chē)”人員，從源頭上杜絕“飆車(chē)”。3、目標(biāo)三維重建問(wèn)題
在視頻監(jiān)控中，可以對(duì)目標(biāo)進(jìn)行三維重建。由于目標(biāo)一般處于運(yùn)動(dòng)狀態(tài)，采用一個(gè)攝像頭難于準(zhǔn)確的進(jìn)行目標(biāo)的三維重建。而采用多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，在同一時(shí)間可以從不同角度對(duì)目標(biāo)進(jìn)行視頻采集，可以利用小樣本圖像三維重建技術(shù)進(jìn)行目標(biāo)的三維重建，重建效果大大提高。4、背景監(jiān)控與重點(diǎn)防護(hù)區(qū)域監(jiān)控矛盾問(wèn)題
在一些重點(diǎn)監(jiān)控區(qū)域，可以利用一個(gè)攝像頭進(jìn)行背景(場(chǎng)景)監(jiān)控(大范圍監(jiān)控)，另一攝像頭進(jìn)行重點(diǎn)防護(hù)區(qū)域監(jiān)控，即感興趣區(qū)域監(jiān)控，并根據(jù)人的行為、面部表情等與防護(hù)區(qū)域之間的距離等進(jìn)行警示，進(jìn)行預(yù)警，從而做到全面監(jiān)控與重點(diǎn)監(jiān)控相結(jié)合的監(jiān)控措施。5、目標(biāo)檢索與背景監(jiān)控矛盾問(wèn)題
在監(jiān)控系統(tǒng)中，可以加入目標(biāo)檢索功能，提高系統(tǒng)監(jiān)控能力。用戶(hù)可以通過(guò)人機(jī)接口、網(wǎng)絡(luò)(無(wú)線、有線)進(jìn)行檢索目標(biāo)設(shè)定，然后監(jiān)控系統(tǒng)對(duì)實(shí)時(shí)視頻進(jìn)行檢索，若檢索到可疑目標(biāo)，需進(jìn)一步核實(shí)時(shí)，單攝像頭的監(jiān)控系統(tǒng)將產(chǎn)生場(chǎng)景監(jiān)控和目標(biāo)細(xì)節(jié)獲取的矛盾。而采用多攝像頭系統(tǒng)，在保證背景監(jiān)控的前提下，可以調(diào)整另一個(gè)監(jiān)控?cái)z像頭的方向和焦距，獲取感興趣區(qū)域的目標(biāo)細(xì)節(jié)視頻，從而可以進(jìn)一步獲取目標(biāo)的各種信息，并實(shí)現(xiàn)目標(biāo)的跟蹤。

發(fā)明內(nèi)容

為了解決現(xiàn)有視頻監(jiān)控系統(tǒng)在上述應(yīng)用中不足的一些問(wèn)題，本發(fā)明提供一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)。為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明所采用的技術(shù)方案是:
本發(fā)明的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，多攝像頭模擬視頻的處理方案:當(dāng)雙攝像頭直接采集模擬視頻時(shí)，采用視頻電纜進(jìn)行視頻傳輸，經(jīng)視頻采集A/D轉(zhuǎn)換得到數(shù)字視頻后進(jìn)行處理；
多攝像頭數(shù)字視頻的處理方案:在多攝像頭模擬視頻的處理方案的基礎(chǔ)上，加入一個(gè)視頻壓縮板，且該視頻壓縮板對(duì)采集的數(shù)字視頻進(jìn)行壓縮后可通過(guò)網(wǎng)絡(luò)進(jìn)行傳輸。優(yōu)選的，所述監(jiān)控系統(tǒng)包括視頻處理部分，主要通過(guò)網(wǎng)絡(luò)接收視頻，解壓縮后再進(jìn)行相應(yīng)的功能處理，其中包括用于存儲(chǔ)所輸入的壓縮視頻的視頻存儲(chǔ)功能模塊。進(jìn)一步的，所述功能處理由處理模塊完成，主要根據(jù)系統(tǒng)配置的功能進(jìn)行人臉檢測(cè)、人臉跟蹤和識(shí)別；車(chē)輛檢測(cè)、車(chē)輛跟蹤和識(shí)別；可疑物檢測(cè)、可疑物跟蹤和識(shí)別；區(qū)域監(jiān)控與預(yù)警；視頻壓縮存儲(chǔ)與傳輸這些功能。優(yōu)選的，采取多攝像頭模擬視頻的處理方案中，采用的雙攝像頭，一個(gè)進(jìn)行廣角的背景監(jiān)控，一個(gè)按照系統(tǒng)根據(jù)背景監(jiān)控的提取的知識(shí)來(lái)進(jìn)行監(jiān)控位置和焦距的調(diào)節(jié)以達(dá)到感興趣區(qū)域監(jiān)控的效果。進(jìn)一步的，整個(gè)系統(tǒng)通過(guò)LAN接口接入監(jiān)控網(wǎng)絡(luò)，既可以實(shí)時(shí)傳輸壓縮的監(jiān)控視頻，又可以實(shí)現(xiàn)監(jiān)控網(wǎng)絡(luò)的配置、查詢(xún)這些功用。優(yōu)選的，所述監(jiān)控系統(tǒng)支持預(yù)警模塊，可根據(jù)監(jiān)控網(wǎng)絡(luò)劃分的預(yù)警機(jī)制進(jìn)行預(yù)警，預(yù)警包括警報(bào)、語(yǔ)音提示、紅燈閃爍這些現(xiàn)場(chǎng)預(yù)警功能，遠(yuǎn)程預(yù)警包括通知監(jiān)控網(wǎng)絡(luò)的功倉(cāng)泛。相對(duì)于現(xiàn)有技術(shù)，本發(fā)明的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，具有以下有益的技術(shù)效果:
1、采用多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，在交通監(jiān)控系統(tǒng)中，可以在全局監(jiān)控的前提下，根據(jù)需求進(jìn)行感興趣監(jiān)控，在車(chē)禍、超速等違反交通規(guī)則事件中，提供清晰的視頻信息證據(jù)，對(duì)交通違規(guī)行為進(jìn)行處罰。2、采用多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，可以根據(jù)需要從不同角度獲取同一目標(biāo)的視頻，有利于該目標(biāo)的三維重建。例如在人臉識(shí)別系統(tǒng)中，可以建立三維人臉信息，從而提高在復(fù)雜光照環(huán)境下人臉識(shí)別的準(zhǔn)確度。3、采用多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，可以對(duì)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行跟蹤和預(yù)判，通過(guò)預(yù)判知識(shí)調(diào)整另一攝像頭的方向和焦距，可以獲取感興趣區(qū)域的目標(biāo)清晰視頻。該項(xiàng)應(yīng)用即可以用于警戒區(qū)域的預(yù)警，也可以用于超速車(chē)輛特征和駕駛員清晰視頻獲取。4、采用多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，在目標(biāo)檢索過(guò)程中，既保證原監(jiān)控區(qū)域不變，又可以獲取到感興趣區(qū)域目標(biāo)的清晰視頻和特征。該項(xiàng)技術(shù)將為警方工作提供很大的便利。


圖1為本發(fā)明的一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的雙攝像頭模擬視頻輸入的監(jiān)控系統(tǒng)框圖。圖2為本發(fā)明的一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的雙攝像頭數(shù)字視頻輸入的監(jiān)控系統(tǒng)原理框圖。圖3為本發(fā)明的一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的雙攝像頭模擬視頻輸入的視頻監(jiān)控系統(tǒng)硬件方案示意圖。圖4為本發(fā)明的一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的雙攝像頭數(shù)字視頻輸入的監(jiān)控系統(tǒng)的硬件方案示意圖。
具體實(shí)施例方式以下結(jié)合附圖詳細(xì)描述本發(fā)明的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的體系結(jié)構(gòu)，但不構(gòu)成對(duì)本發(fā)明的限制。本發(fā)明的一種系統(tǒng)設(shè)計(jì)方案:為實(shí)現(xiàn)多攝像頭的視頻監(jiān)控，實(shí)現(xiàn)背景監(jiān)控與感興趣區(qū)域監(jiān)控、目標(biāo)跟蹤、三維重建并行等功能，選用可并行工作的高性能處理芯片，根據(jù)具體要求設(shè)計(jì)以下兩種處理方案。1、采取多攝像頭模擬視頻的處理方案:當(dāng)雙攝像頭直接采集模擬視頻時(shí)(如圖1所示)，采用視頻電纜進(jìn)行視頻傳輸，經(jīng)視頻采集A/D轉(zhuǎn)換得到數(shù)字視頻后進(jìn)行處理。處理由處理模塊完成，主要根據(jù)系統(tǒng)配置的的功能進(jìn)行人臉檢測(cè)、人臉跟蹤和識(shí)別；車(chē)輛檢測(cè)、車(chē)輛跟蹤和識(shí)別；可疑物檢測(cè)、可疑物跟蹤和識(shí)別；區(qū)域監(jiān)控與預(yù)警；視頻壓縮存儲(chǔ)與傳輸?shù)裙δ堋Ｆ渲须p攝像頭各司其職，一個(gè)進(jìn)行廣角的背景監(jiān)控，一個(gè)按照系統(tǒng)根據(jù)背景監(jiān)控的提取的知識(shí)，進(jìn)行監(jiān)控位置和焦距的調(diào)節(jié)達(dá)到感興趣區(qū)域監(jiān)控的效果。整個(gè)系統(tǒng)通過(guò)LAN接口接入監(jiān)控網(wǎng)絡(luò)，既可以實(shí)時(shí)傳輸壓縮的監(jiān)控視頻，又可以實(shí)現(xiàn)監(jiān)控網(wǎng)絡(luò)的配置、查詢(xún)等功用。該系統(tǒng)支持預(yù)警模塊模塊，可根據(jù)監(jiān)控網(wǎng)絡(luò)劃分的預(yù)警機(jī)制進(jìn)行預(yù)警，預(yù)警包括現(xiàn)場(chǎng)預(yù)警(警報(bào)、語(yǔ)音提示、紅燈閃爍等功能)，遠(yuǎn)程預(yù)警(通知監(jiān)控網(wǎng)絡(luò))。2、采取多攝像頭數(shù)字視頻的處理方案:
與模擬視頻輸入方案(圖1)相比，主要加入一個(gè)視頻壓縮板(圖2所示)，該板主要采集視頻，并且對(duì)采集的數(shù)字視頻進(jìn)行壓縮，并可以通過(guò)網(wǎng)絡(luò)進(jìn)行傳輸。而對(duì)于監(jiān)控系統(tǒng)本身，前端視 頻處理部分主要通過(guò)網(wǎng)絡(luò)接收視頻，解壓縮后再進(jìn)行相應(yīng)的功能處理。其中視頻存儲(chǔ)功能模塊直接存儲(chǔ)輸入的壓縮視頻。其余功能設(shè)置與圖1所示監(jiān)控系統(tǒng)一致。為實(shí)現(xiàn)多攝像頭監(jiān)控系統(tǒng)的實(shí)時(shí)性，系統(tǒng)主要采用多模塊并行工作方式進(jìn)行研發(fā)，具體硬件設(shè)計(jì)方案如下所述。I)多攝像頭模擬視頻輸入的監(jiān)控系統(tǒng)硬件設(shè)計(jì)方案
結(jié)合圖3所示，在采用模擬視頻作為輸入的多攝像頭視頻監(jiān)控系統(tǒng)中，為提高系統(tǒng)實(shí)時(shí)視頻處理能力，主要采用視頻預(yù)處理模塊+主控制模塊+視頻信號(hào)處理模塊三個(gè)并行工作模塊來(lái)構(gòu)成。其中，視頻預(yù)處理模塊主要根據(jù)主控制模塊的配置信息，對(duì)采集的多攝像頭視頻信息進(jìn)行預(yù)處理，包括圖像顏色空間轉(zhuǎn)換、圖像隔行/逐行轉(zhuǎn)換、圖像增強(qiáng)、直方圖計(jì)算、感興趣區(qū)域(ROI)提取等功能，然后將處理后的視頻輸送給主控制模塊。主控制模塊是整個(gè)系統(tǒng)的核心部分，根據(jù)用戶(hù)的配置信息進(jìn)行系統(tǒng)功能的配置。在視頻處理方面，主要采集視頻預(yù)處理模塊輸送的視頻信息并存儲(chǔ)于與信號(hào)處理模塊共享的高速雙口 DARAM中，然后調(diào)用信號(hào)處理模塊的響應(yīng)視頻處理功能(必做視頻壓縮)，并讀取視頻處理結(jié)果，存儲(chǔ)或通過(guò)網(wǎng)絡(luò)傳輸壓縮的視頻。根據(jù)系統(tǒng)配置的功能和實(shí)時(shí)的視頻處理結(jié)果，主控制模塊會(huì)借助多攝像頭的云臺(tái)通過(guò)串口對(duì)兩個(gè)攝像頭進(jìn)行控制(調(diào)整焦距、方位等)，達(dá)到感興趣區(qū)域監(jiān)控的效果，主控模塊將存儲(chǔ)或傳輸監(jiān)控視頻。例如在交通監(jiān)控中，如果視頻分析中發(fā)現(xiàn)發(fā)生疑似交通事故，主控模塊會(huì)根據(jù)分析結(jié)果調(diào)整一個(gè)攝像頭的方位和焦距，獲取車(chē)禍現(xiàn)場(chǎng)的感興趣區(qū)域的清晰視頻并報(bào)警。如果這種監(jiān)控系統(tǒng)應(yīng)用于近期發(fā)生的深圳車(chē)禍?zhǔn)录F(xiàn)場(chǎng)，將清晰記錄車(chē)禍現(xiàn)場(chǎng)細(xì)節(jié)，包括事故車(chē)輛內(nèi)部清晰視頻，將不存在調(diào)包的爭(zhēng)議。其中主控模塊和信號(hào)處理模塊通信遵循客戶(hù)/服務(wù)器模式規(guī)范，即主控模塊僅需告之信號(hào)處理模塊要進(jìn)行怎樣的處理(按配置信息要求)，復(fù)雜的運(yùn)算過(guò)程由高速的信號(hào)處理模塊進(jìn)行，然后將處理結(jié)果傳遞給主控模塊。主控模塊還實(shí)現(xiàn)人機(jī)交互功能，其中人機(jī)交互包括觸摸屏和顯示屏、無(wú)線收發(fā)功能、LAN收發(fā)功能、鍵盤(pán)鼠標(biāo)功能等，用戶(hù)可以根據(jù)應(yīng)用需求對(duì)系統(tǒng)進(jìn)行配置，主控模塊將相應(yīng)的調(diào)整視頻預(yù)處理功能和信號(hào)處理模塊相應(yīng)的配置信息，使系統(tǒng)專(zhuān)用化。2)多攝像頭數(shù)字視頻輸入的監(jiān)控系統(tǒng)硬件設(shè)計(jì)方案
結(jié)合圖4所示，在多攝像頭數(shù)字視頻輸入的監(jiān)控系統(tǒng)中，主要包括視頻壓縮板和監(jiān)控主板兩部分，視頻壓縮板根據(jù)監(jiān)控主板配置的信息對(duì)采集的兩路視頻進(jìn)行預(yù)處理，然后壓縮視頻。壓縮的視頻信息通過(guò)網(wǎng)絡(luò)傳輸給監(jiān)控主板。監(jiān)控主板接收壓縮的監(jiān)控視頻信息，一邊存儲(chǔ)或傳送視頻，一邊調(diào)用信號(hào)處理模塊對(duì)接收的視頻進(jìn)行解壓縮，然后根據(jù)配置信息進(jìn)行視頻相應(yīng)的算法分析，并將視頻處理結(jié)果傳遞給主控模塊。其中主控模塊和信號(hào)處理模塊通信遵循客戶(hù)/服務(wù)器模式規(guī)范，即主控模塊僅需告之信號(hào)處理模塊要進(jìn)行怎樣的處理(按配置信息要求)，復(fù)雜的運(yùn)算過(guò)程由高速的信號(hào)處理模塊進(jìn)行，然后將處理結(jié)果傳遞給主控模塊。主控模塊還實(shí)現(xiàn)人機(jī)交互功能，其中人機(jī)交互包括觸摸屏和顯示屏、無(wú)線收發(fā)功能、LAN收發(fā)功能、鍵盤(pán)鼠標(biāo)功能等，用戶(hù)可以根據(jù)應(yīng)用需求對(duì)系統(tǒng)進(jìn)行配置，主控模塊將相應(yīng)的調(diào)整視頻預(yù)處理功能和信號(hào)處理模塊相應(yīng)的配置信息，使系統(tǒng)專(zhuān)用化。一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)軟件功能與方案:
基于多攝像頭的監(jiān)控系統(tǒng)軟件設(shè)計(jì)主要包括兩個(gè)方面，一是總體應(yīng)用程序設(shè)計(jì)，二是視頻處理算法API設(shè)計(jì)與算法封裝，總體應(yīng)用程序通過(guò)對(duì)視頻處理算法API的調(diào)用(由信號(hào)處理模塊進(jìn)行并行的視頻處理算法應(yīng)用)，實(shí)現(xiàn)視頻處理功能。系統(tǒng)將根據(jù)具體配置的功能(如人臉檢測(cè)、人臉跟蹤和識(shí)別；車(chē)輛檢測(cè)、車(chē)輛跟蹤和識(shí)別；可疑物檢測(cè)、可疑物跟蹤和識(shí)別；區(qū)域監(jiān)控與預(yù)警等)，進(jìn)入相應(yīng)的處理模塊，實(shí)現(xiàn)對(duì)監(jiān)控區(qū)域的全局監(jiān)控和感興趣區(qū)域監(jiān)控。如果選擇數(shù)字視頻輸入的監(jiān)控方案，則監(jiān)控主板接收的是已壓縮的視頻，可以直接存儲(chǔ)或傳輸。對(duì)壓縮視頻解壓縮后，可以進(jìn)行數(shù)據(jù)融合和智能視頻處理。如果模擬視頻輸入的監(jiān)控方案，可以直接對(duì)采集的視頻進(jìn)行數(shù)據(jù)融合和智能視頻處理，然后再進(jìn)行視頻壓縮和存儲(chǔ)或傳輸。注意:壓縮視頻的存儲(chǔ)或傳輸在系統(tǒng)中與整個(gè)視頻分析應(yīng)并行進(jìn)行。主要根據(jù)配置信息進(jìn)行功能的切換，其中配置信息可以通過(guò)人機(jī)交互接口、無(wú)線通信方式或有線網(wǎng)絡(luò)進(jìn)行設(shè)置。根據(jù)配置信息，系統(tǒng)可以完成以下幾種監(jiān)控模式。I)交通和可疑物監(jiān)控模式
當(dāng)配置選擇配置O時(shí)，進(jìn)入該監(jiān)控模式。兩個(gè)攝像頭對(duì)監(jiān)控區(qū)域進(jìn)行視頻采集，系統(tǒng)并行處理兩路視頻，并對(duì)視頻進(jìn)行智能信息處理。當(dāng)在一個(gè)攝像頭的視頻中發(fā)現(xiàn)可疑物或交通問(wèn)題時(shí)，即通過(guò)調(diào)整另一個(gè)攝像頭的方位和焦距，進(jìn)行感興趣區(qū)域視頻獲取和細(xì)節(jié)特征提取。在視頻處理完成后，兩路視頻都將被壓縮，然后進(jìn)行存儲(chǔ)或網(wǎng)絡(luò)傳送。若發(fā)生交通事故，則感興趣區(qū)域視頻中車(chē)牌、人物特征等信息將被提取，而且會(huì)立刻向交警發(fā)送報(bào)警信息(通過(guò)網(wǎng)絡(luò))。2)人員與環(huán)境監(jiān)控模式
當(dāng)配置選擇配置I時(shí)，進(jìn)入該監(jiān)控模式。兩個(gè)攝像頭對(duì)監(jiān)控區(qū)域進(jìn)行視頻采集，并進(jìn)行人物檢測(cè)(包括人臉檢測(cè))。當(dāng)檢測(cè)到人物時(shí)，立刻調(diào)整另一個(gè)攝像頭進(jìn)行感興趣區(qū)域視頻獲取，并進(jìn)行人臉檢測(cè)與識(shí)別。如果該人被授權(quán)，則只記錄行為信息。如果該人未授權(quán)，則立刻報(bào)警并進(jìn)行人物跟蹤和行動(dòng)軌跡判別、以及人臉表情和肢體語(yǔ)言判別，盡早預(yù)警。整個(gè)采集的視頻經(jīng)壓縮后可以進(jìn)行存儲(chǔ)或網(wǎng)絡(luò)傳輸。3)警戒區(qū)監(jiān)控模式
當(dāng)配置選擇配置2時(shí)，進(jìn)入該監(jiān)控模式。一個(gè)攝像頭被設(shè)置為區(qū)域監(jiān)控模式，一個(gè)攝像頭被設(shè)置為感興趣區(qū)域監(jiān)控模式。系統(tǒng)首先處理應(yīng)用于區(qū)域監(jiān)控模式的視頻，發(fā)現(xiàn)有人、物或者車(chē)輛進(jìn)入監(jiān)控區(qū)域后，立刻調(diào)整用于感興趣區(qū)域監(jiān)控的攝像頭進(jìn)行細(xì)節(jié)監(jiān)控，獲取進(jìn)入的人、物和車(chē)輛的 細(xì)節(jié)信息。如果發(fā)現(xiàn)有問(wèn)題(如人臉被人為遮擋、車(chē)輛車(chē)牌被遮擋等問(wèn)題時(shí))，通知系統(tǒng)進(jìn)行報(bào)警。系統(tǒng)還對(duì)正常進(jìn)入的人、物、車(chē)輛的運(yùn)動(dòng)軌跡進(jìn)行跟蹤和預(yù)測(cè)，并與預(yù)警區(qū)域比較(系統(tǒng)配置)，如有進(jìn)入預(yù)警區(qū)域的90%置信區(qū)間，則調(diào)整感興趣區(qū)域監(jiān)控模式攝像頭進(jìn)行細(xì)節(jié)監(jiān)控，提取特征，并同時(shí)進(jìn)行預(yù)警。整個(gè)采集的視頻經(jīng)壓縮后可以進(jìn)行存儲(chǔ)或網(wǎng)絡(luò)傳輸。4)基于特征的視頻檢索監(jiān)控模式
當(dāng)配置選擇配置3時(shí)，進(jìn)入該監(jiān)控模式。該模式下，主要根據(jù)輸入的檢索特征(人、車(chē)牌等)，對(duì)監(jiān)控區(qū)域的視頻進(jìn)行實(shí)時(shí)檢索，當(dāng)發(fā)現(xiàn)可疑目標(biāo)出現(xiàn)時(shí)，調(diào)整另一個(gè)攝像頭進(jìn)行感興趣區(qū)域視頻獲取，并進(jìn)行特征匹配(人臉匹配、人物外形匹配、車(chē)型匹配、車(chē)牌匹配等)，如匹配成功，則對(duì)該目標(biāo)進(jìn)行視頻跟蹤并向檢索方發(fā)送匹配信息和新的特征庫(kù)信息。整個(gè)采集的視頻經(jīng)壓縮后可以進(jìn)行存儲(chǔ)或網(wǎng)絡(luò)傳輸。上述實(shí)施例只是為了說(shuō)明本發(fā)明的技術(shù)構(gòu)思及特點(diǎn)，其目的是在于讓本領(lǐng)域內(nèi)的普通技術(shù)人員能夠了解本發(fā)明的內(nèi)容并據(jù)以實(shí)施，并不能以此限制本發(fā)明的保護(hù)范圍。凡是根據(jù)本發(fā)明內(nèi)容的 實(shí)質(zhì)所作出的等效的變化或修飾，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍內(nèi)。
權(quán)利要求
1.一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，其特征在于， 多攝像頭模擬視頻的處理方案:當(dāng)雙攝像頭直接采集模擬視頻時(shí)，采用視頻電纜進(jìn)行視頻傳輸，經(jīng)視頻采集A/D轉(zhuǎn)換得到數(shù)字視頻后進(jìn)行數(shù)據(jù)融合和智能視頻處理； 多攝像頭數(shù)字視頻的處理方案:在多攝像頭模擬視頻的處理方案的基礎(chǔ)上，加入一個(gè)視頻壓縮板，且該視頻壓縮板對(duì)采集的數(shù)字視頻進(jìn)行壓縮后可通過(guò)網(wǎng)絡(luò)進(jìn)行傳輸，主處理系統(tǒng)接收壓縮視頻后進(jìn)行解壓縮，然后進(jìn)行數(shù)據(jù)融合和智能視頻處理。
2.根據(jù)權(quán)利要求1所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，其特征在于，所述監(jiān)控系統(tǒng)包括視頻處理部分，主要通過(guò)網(wǎng)絡(luò)接收視頻，解壓縮后再進(jìn)行數(shù)據(jù)融合和相應(yīng)的功能處理，其中包括用于存儲(chǔ)所輸入的壓縮視頻的視頻存儲(chǔ)功能模塊。
3.根據(jù)權(quán)利要求2所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)， 其特征在于，所述功能處理由處理模塊完成，主要根據(jù)系統(tǒng)配置的功能進(jìn)行人臉檢測(cè)、人臉跟蹤和識(shí)別；車(chē)輛檢測(cè)、車(chē)輛跟蹤和識(shí)別；可疑物檢測(cè)、可疑物跟蹤和識(shí)別；感興趣區(qū)域監(jiān)控與預(yù)警；視頻壓縮存儲(chǔ)與傳輸這些功能。
4.根據(jù)權(quán)利要求1所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)， 其特征在于，采取多攝像頭模擬視頻的處理方案中，以采用雙攝像頭為例，一個(gè)進(jìn)行廣角的背景監(jiān)控，一個(gè)按照系統(tǒng)根據(jù)背景監(jiān)控的提取的知識(shí)來(lái)進(jìn)行監(jiān)控位置和焦距的調(diào)節(jié)以達(dá)到感興趣區(qū)域監(jiān)控的效果。
5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，其特征在于，整個(gè)系統(tǒng)通過(guò)LAN接口接入監(jiān)控網(wǎng)絡(luò)，既可以實(shí)時(shí)傳輸壓縮的監(jiān)控視頻，又可以實(shí)現(xiàn)監(jiān)控網(wǎng)絡(luò)的配置、查詢(xún)這些功用。
6.根據(jù)權(quán)利要求1所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)， 其特征在于，所述監(jiān)控系統(tǒng)支持預(yù)警模塊，可根據(jù)監(jiān)控網(wǎng)絡(luò)劃分的預(yù)警機(jī)制進(jìn)行預(yù)警，預(yù)警包括警報(bào)、語(yǔ)音提示、紅燈閃爍這些現(xiàn)場(chǎng)預(yù)警功能，也包括通知監(jiān)控網(wǎng)絡(luò)的遠(yuǎn)程預(yù)警功倉(cāng)泛。
全文摘要
本發(fā)明提出了一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，多攝像頭模擬視頻的處理方案當(dāng)多攝像頭直接采集模擬視頻時(shí)，采用視頻電纜進(jìn)行視頻傳輸，經(jīng)視頻采集A/D轉(zhuǎn)換得到數(shù)字視頻后進(jìn)行數(shù)據(jù)融合和智能視頻處理；多攝像頭數(shù)字視頻的處理方案在多攝像頭模擬視頻的處理方案的基礎(chǔ)上，加入一個(gè)視頻壓縮板，且該視頻壓縮板對(duì)采集的數(shù)字視頻進(jìn)行壓縮后可通過(guò)網(wǎng)絡(luò)進(jìn)行傳輸，主處理系統(tǒng)接收壓縮視頻后解壓縮視頻并進(jìn)行數(shù)據(jù)融合和智能視頻處理。本發(fā)明的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，可應(yīng)用于交通監(jiān)控系統(tǒng)或其他系統(tǒng)，實(shí)現(xiàn)背景監(jiān)控與感興趣區(qū)域監(jiān)控、目標(biāo)跟蹤、目標(biāo)三維重建等功能。
文檔編號(hào)G06K9/00GK103237192SQ201210294950
公開(kāi)日2013年8月7日 申請(qǐng)日期2012年8月20日 優(yōu)先權(quán)日2012年8月20日
發(fā)明者胡劍凌, 曹洪龍, 邵雷, 穆小川, 潘奇智 申請(qǐng)人:蘇州大學(xué)