一種雙攝像頭目標(biāo)跟蹤系統(tǒng)及其實現(xiàn)方法
【專利摘要】目前市面上的視頻監(jiān)控要么只能在二維空間里進行跟蹤監(jiān)控，要么只能在光線充足的時候進行跟蹤監(jiān)控，要么成本高昂，不利于推廣應(yīng)用。為了解決上述技術(shù)問題，本發(fā)明提供一種雙攝像頭目標(biāo)跟蹤系統(tǒng)及其實現(xiàn)方法，其系統(tǒng)依次由雙目攝像頭傳感器模塊、光線判別模塊、目標(biāo)檢測模塊、目標(biāo)跟蹤模塊、終端顯示模塊連接組成，雙目攝像頭傳感器模塊由兩個相同的帶有紅外成像模塊的左攝像頭和右攝像頭組成，左右攝像頭前向平行放置。利用本系統(tǒng)及其實現(xiàn)方法，可以在三維空間里進行視頻監(jiān)控跟蹤，并且不受光線條件的影響，可以全天候地進行目標(biāo)跟蹤監(jiān)控。
【專利說明】一種雙攝像頭目標(biāo)跟蹤系統(tǒng)及其實現(xiàn)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻監(jiān)控領(lǐng)域，特別是一種雙攝像頭目標(biāo)跟蹤系統(tǒng)及其實現(xiàn)方法。
【背景技術(shù)】
[0002]現(xiàn)代社會中人們對安全的要求越來越高，城市中也布置了各種各樣的視頻監(jiān)控設(shè)備來滿足不同場景下的需要?？赏ㄟ^視頻監(jiān)控系統(tǒng)對重要場所或地點進行實時監(jiān)控，獲得有效數(shù)據(jù)、圖像或聲音信息，對突發(fā)性異常事件的過程中的敏感目標(biāo)進行及時的監(jiān)視和記憶，用以幫助相關(guān)部門及時有效的處理突發(fā)事件。隨著目標(biāo)檢測及目標(biāo)檢測技術(shù)的不斷發(fā)展，現(xiàn)在的視頻監(jiān)控系統(tǒng)的功能越來越多樣化。物體識別、軌跡跟蹤、行為識別等功能的不斷發(fā)展使得視頻監(jiān)控系統(tǒng)越來越成為現(xiàn)代社會不可或缺的一部分。
[0003]現(xiàn)有的視頻監(jiān)控系統(tǒng)中的目標(biāo)跟蹤系統(tǒng)僅能在圖像平面上二維地跟蹤目標(biāo)，其缺點在于不能完整的提供目標(biāo)在三維空間內(nèi)的移動軌跡，使得用戶無法對監(jiān)控區(qū)域內(nèi)的異常事件做出準確合理的應(yīng)對。除此之外，市面上也有一些能夠在三維空間跟蹤目標(biāo)的監(jiān)控系統(tǒng)。但是這種監(jiān)控系統(tǒng)的目標(biāo)跟蹤裝置是在圖像傳感器之外附加了昂貴的距離傳感器，其缺點在于成本較高、不能充分利用監(jiān)控系統(tǒng)內(nèi)已有的圖像傳感器，不同類型傳感器之間的協(xié)同也增加了系統(tǒng)的復(fù)雜性，為部署系統(tǒng)帶來了困難。同時某些監(jiān)控系統(tǒng)在黑暗條件下無法進行有效地監(jiān)控。

【發(fā)明內(nèi)容】

[0004]為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案如下: [0005]一種雙攝像頭目標(biāo)跟蹤系統(tǒng)，依次由雙目攝像頭傳感器模塊、光線判別模塊、目標(biāo)檢測模塊、目標(biāo)跟蹤模塊、終端顯示模塊連接組成，雙目攝像頭傳感器模塊由兩個相同的帶有紅外成像模塊的左攝像頭和右攝像頭組成，左右攝像頭前向平行放置。
[0006]攝像頭的分辨率為640*480像素以上。
[0007]—種雙攝像頭目標(biāo)跟蹤系統(tǒng)實現(xiàn)方法，其步驟如下
[0008]1.通過左、右兩個帶有紅外模塊的攝像頭組成的雙目攝像頭傳感器模塊進行監(jiān)控；
[0009]2.雙目攝像頭傳感器模塊將取得的圖像數(shù)據(jù)傳送至光線判別模塊；
[0010]3.光線判別模塊將當(dāng)前圖像的亮度值與設(shè)定好的閾值進行比較，低于閾值時別返回控制信息給雙目攝像頭傳感器模塊，使攝像頭啟用紅外圖像模式，然后光線判別模塊將圖像統(tǒng)一轉(zhuǎn)換為灰度圖像格式送至目標(biāo)檢測模塊。不低于閾值，則將圖像數(shù)據(jù)直接送至目標(biāo)檢測模塊；
[0011]4.目標(biāo)檢測模塊對左攝像頭圖像數(shù)據(jù)檢測判斷作用區(qū)域內(nèi)是否有敏感目標(biāo)需要被跟蹤，如果有敏感目標(biāo)需要跟蹤，則將兩路圖像數(shù)據(jù)和被檢測到的目標(biāo)數(shù)據(jù)移交給目標(biāo)跟蹤1?塊；
[0012]5.目標(biāo)跟蹤模塊利用視差原理同時處理兩路圖像監(jiān)控數(shù)據(jù)得到監(jiān)控區(qū)域的實時三維景深數(shù)據(jù)，然后結(jié)合目標(biāo)檢測模塊所給的目標(biāo)信息在三維景深數(shù)據(jù)中對目標(biāo)進行實時跟蹤。
[0013]光線判別模塊、目標(biāo)檢測模塊以及目標(biāo)跟蹤模塊為特定計算機程序的不同功能模塊安裝在PC機或者單片機上。光線判別模塊為基于OpenCV的計算機程序，采用直方圖方法判斷圖像亮度。目標(biāo)檢測模塊為基于OpenCV的計算機程序，采用haar分類器檢測是監(jiān)控區(qū)域內(nèi)的敏感目標(biāo)(如人、動物、車輛等)。目標(biāo)跟蹤模塊為基于OpenCV的計算機程序，采用視差原理得到監(jiān)控區(qū)域的實時景深圖像數(shù)據(jù)，并采用Camshift算法在三維景深區(qū)域上對目標(biāo)進行跟蹤。
[0014]終端顯示模塊用于觀察目標(biāo)跟蹤模塊輸出的視頻數(shù)據(jù)，可以是與標(biāo)準圖像流相兼容的顯示設(shè)備，分辨率大于640*480。
[0015]本發(fā)明的有益效果為:
[0016]1.本系統(tǒng)采用的處理流程設(shè)計巧妙，一般情況下只處理左攝像頭畫面，只有在檢測到目標(biāo)時才對右攝像頭獲得的圖像進行處理，大大提高了運算效率；
[0017]2.本系統(tǒng)實用性強，可以在夜間及黑暗光線下進行監(jiān)控；
[0018]3.本系統(tǒng)的結(jié)構(gòu)具有靈活性，傳感器和處理器可以分離，便于在各種場景下部署；
[0019]4.本系統(tǒng)的設(shè)計巧妙、成本低廉，可以用低成本的硬件設(shè)施來達到目標(biāo)的三維跟蹤;
[0020]5.本系統(tǒng)具有可擴展性，加載不同的軟件算法就可以實現(xiàn)對不同目標(biāo)的跟蹤；
【專利附圖】

【附圖說明】
[0021]圖1雙攝像頭目標(biāo)跟蹤系統(tǒng)的結(jié)構(gòu)圖。
[0022]圖2雙攝像頭目標(biāo)跟蹤系統(tǒng)處理每幀圖像的流程圖。
【具體實施方式】
[0023]下面結(jié)合說明書附圖對本發(fā)明作進一步的詳細說明。、
[0024]本發(fā)明的整體結(jié)構(gòu)如附圖1所示，由雙目攝像頭傳感器模塊，光線判別模塊，目標(biāo)檢測模塊，目標(biāo)跟蹤模塊，終端顯示模塊組成。攝像頭采用市面上普通的帶有紅外模塊的攝像頭即可，分辨率最好在640*480像素以上，在本實施例中我們采用的是宇視飛揚3730型攝像頭，該攝像頭該攝像頭具有以下優(yōu)點:
[0025]1.基于可見光與紅外光兩種獲取形式，可在低光及黑暗情況下全天候的進行監(jiān)控。
[0026]2.結(jié)構(gòu)設(shè)計合理，具有固定底座，便于在不同環(huán)境下的安裝于固定。
[0027]3.采用USB2.0接口，傳輸速率高，兼容性好，能夠連接各種型號的PC機設(shè)備。
[0028]4.動態(tài)范圍大，能夠在光線反差較大的場景下獲取質(zhì)量較好的圖像數(shù)據(jù)。
[0029]5.基于可見光與紅外光兩種獲取形式，可在低光及黑暗情況下全天候的進行監(jiān)控。
[0030]我們選擇視頻處理中主流的OpenCV函數(shù)庫作為光線判別模塊、目標(biāo)檢測模塊和目標(biāo)跟蹤模塊的開發(fā)工具。其具有以下優(yōu)點:[0031]1.對可見光與紅外光攝像頭進行了統(tǒng)一封裝，可以方便的裝換為灰度值圖像。
[0032]2.開源軟件，可以免費利用該函數(shù)庫進行開發(fā)，進一步降低了整個系統(tǒng)的成本。
[0033]3.基于C語言編寫，兼容性好，速度快，便于跨平臺移植。
[0034]4.封裝了多種圖像處理算法，降低了模塊的開發(fā)難度與人工成本。
[0035]對于安裝光線判別模塊、目標(biāo)檢測模塊與目標(biāo)跟蹤模塊的硬件設(shè)備，要求為普通的PC機，最低配置要求為:cpu主頻2.4GHz,內(nèi)存1GB，硬盤20GB，顯卡顯存64MB，具有以太網(wǎng)網(wǎng)卡及接口。終端顯示模塊要求分辨率大于640*480。
[0036]使用時，將本系統(tǒng)中的左攝像頭與右攝像頭前向平行放置，固定在其作用范圍能夠覆蓋監(jiān)控區(qū)域的位置。對雙目攝像頭傳感器模塊預(yù)先進行一次性的去畸變與校正處理，得到的相關(guān)數(shù)據(jù)固化在目標(biāo)檢測模塊和目標(biāo)跟蹤模塊的計算機程序之中。將左攝像頭和右攝像頭的USB連接線插入到安裝有光線判別模塊、目標(biāo)檢測模塊和目標(biāo)跟蹤模塊程序的計算機中，同時用視頻輸出線將計算機與終端顯示模塊相連。
[0037]開啟電源后，本系統(tǒng)開始運作。此時左攝像頭和右攝像頭組成的雙目攝像頭傳感器模塊實時監(jiān)控敏感區(qū)域，將兩路監(jiān)控視頻數(shù)據(jù)同時傳送至光線判別模塊，光線判別模塊將當(dāng)前圖像的亮度值與設(shè)定好的閾值進行比較，低于閾值時別返回控制信息給雙目攝像頭傳感器模塊，使之啟用紅外圖像模式，然后光線判別將圖像統(tǒng)一轉(zhuǎn)換為灰度圖像格式送至目標(biāo)檢測模塊。目標(biāo)檢測模塊對左攝像頭和右攝像頭的公共作用區(qū)域進行目標(biāo)檢測判斷是否有敏感目標(biāo)需要被跟蹤。如果檢測到需要被跟蹤的目標(biāo)后，目標(biāo)檢測模塊將兩路圖像數(shù)據(jù)和被檢測到的目標(biāo)數(shù)據(jù)移交給目標(biāo)跟蹤模塊。目標(biāo)跟蹤模塊利用視差原理通過兩路圖像監(jiān)控數(shù)據(jù)得到監(jiān)控區(qū)域的實時三維景深數(shù)據(jù)，然后結(jié)合目標(biāo)檢測模塊所給的目標(biāo)信息在三維景深數(shù)據(jù)中對目標(biāo)進行實時跟蹤。
[0038]上述處理圖像的過程結(jié)合附圖2加以進一步說明:
[0039]左右攝像頭同時獲取一幀圖像，光線判別模塊根據(jù)左圖像的亮度決定是否將攝像頭的圖像獲取方式調(diào)整為紅外模式，然后將圖像統(tǒng)一轉(zhuǎn)換為灰度圖像格式便于后續(xù)模塊的處理。目標(biāo)檢測模塊根據(jù)左圖像判斷在作用區(qū)域內(nèi)是否有敏感目標(biāo)出現(xiàn)，如果沒有則直接進行下一幀的處理；如果存在目標(biāo)，則將目標(biāo)信息與左右攝像頭的圖像送入目標(biāo)跟蹤模塊.目標(biāo)跟蹤模塊在左右兩圖上對目標(biāo)的特征進行匹配，根據(jù)視差原理計算出目標(biāo)的深度信息，然后對目標(biāo)進行跟蹤。最后進入下一幀的處理流程。
[0040]以上所述，僅為本發(fā)明較佳的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此。在本發(fā)明所披露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明所揭露的技術(shù)范圍之內(nèi)，比如說將光線判別模塊、目標(biāo)檢測模塊以及目標(biāo)跟蹤模塊安裝在單片機上。因此，本發(fā)明的保護范圍應(yīng)該以權(quán)利要求書的保護范圍為準。
【權(quán)利要求】
1.一種雙攝像頭目標(biāo)跟蹤系統(tǒng)，依次由雙目攝像頭傳感器模塊、光線判別模塊、目標(biāo)檢測模塊、目標(biāo)跟蹤模塊、終端顯示模塊連接組成，其特征在于:雙目攝像頭傳感器模塊由兩個相同的帶有紅外成像模塊的左攝像頭和右攝像頭組成，左右攝像頭前向平行放置。
2.根據(jù)權(quán)利要求1所述的一種雙攝像頭目標(biāo)跟蹤系統(tǒng)，其特征在于:攝像頭的分辨率為640像素*480像素以上。
3.—種雙攝像頭目標(biāo)跟蹤系統(tǒng)實現(xiàn)方法，其步驟如下: 1)通過左、右兩個帶有紅外模塊的攝像頭組成的雙目攝像頭傳感器模塊進行監(jiān)控； 2)雙目攝像頭傳感器模塊將取得的圖像數(shù)據(jù)傳送至光線判別模塊； 3)光線判別模塊將當(dāng)前圖像的亮度值與設(shè)定好的閾值進行比較，低于閾值時別返回控制信息給雙目攝像頭傳感器模塊，使攝像頭啟用紅外圖像模式，然后光線判別模塊將圖像統(tǒng)一轉(zhuǎn)換為灰度圖像格式送至目標(biāo)檢測模塊，不低于閾值時，則將圖像數(shù)據(jù)直接送至目標(biāo)檢測模塊； 4)目標(biāo)檢測模塊對左攝像頭圖像數(shù)據(jù)檢測判斷作用區(qū)域內(nèi)是否有敏感目標(biāo)需要被跟蹤，如果有敏感目標(biāo)需要跟蹤，則將兩路圖像數(shù)據(jù)和被檢測到的目標(biāo)數(shù)據(jù)移交給目標(biāo)跟蹤模塊； 5)目標(biāo)跟蹤模塊利用視差原理同時處理兩路圖像監(jiān)控數(shù)據(jù)得到監(jiān)控區(qū)域的實時三維景深數(shù)據(jù)，然后結(jié)合目標(biāo)檢測模塊所給的目標(biāo)信息在三維景深數(shù)據(jù)中對目標(biāo)進行實時跟足示O
【文檔編號】H04N7/18GK103595916SQ201310557371
【公開日】2014年2月19日 申請日期:2013年11月11日 優(yōu)先權(quán)日:2013年11月11日
【發(fā)明者】朱洪波, 許多行, 盧捍華, 張瀟磊 申請人:南京郵電大學(xué)