專利名稱：基于機(jī)器視覺(jué)的交通視頻監(jiān)控目標(biāo)檢測(cè)快速適應(yīng)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于機(jī)器視覺(jué)與智能控制領(lǐng)域，是一種利用計(jì)算機(jī)技術(shù)、圖像處理技術(shù)、機(jī)器學(xué)習(xí)技術(shù)和模式識(shí)別技術(shù)等對(duì)交通視頻監(jiān)控目標(biāo)進(jìn)行檢測(cè)的發(fā)明。
背景技術(shù)：
準(zhǔn)確而實(shí)時(shí)的檢測(cè)出交通視頻中的行人、車(chē)輛等監(jiān)控目標(biāo)是進(jìn)行目標(biāo)跟蹤、行為分析等后續(xù)交通視頻處理的根本保證。交通視頻監(jiān)控目標(biāo)檢測(cè)的相關(guān)研究已經(jīng)有很多，目前大多采用模式識(shí)別中的機(jī)器學(xué)習(xí)方法進(jìn)行目標(biāo)檢測(cè)。只要將待檢測(cè)的目標(biāo)圖像加入到訓(xùn)練樣本庫(kù)的正樣本庫(kù)中，將復(fù)雜的背景加入到訓(xùn)練樣本庫(kù)的負(fù)樣本庫(kù)中，選擇合適的分類器對(duì)正負(fù)樣本進(jìn)行學(xué)習(xí)，從中找出目標(biāo)與背景之間的差異，就可以在以后的檢測(cè)中準(zhǔn)確檢測(cè)出來(lái)。對(duì)于行人、車(chē)輛等交通視頻監(jiān)控目標(biāo)，已經(jīng)具有大規(guī)模標(biāo)注數(shù)據(jù)庫(kù)，然而利用這些數(shù)據(jù)庫(kù)中的樣本所訓(xùn)練的分類器對(duì)一些特定場(chǎng)景中的監(jiān)控目標(biāo)進(jìn)行檢測(cè)并不能取得較好的檢測(cè)效果，這是因?yàn)橛糜谟?xùn)練分類器的樣本數(shù)據(jù)分布與目標(biāo)場(chǎng)景中的數(shù)據(jù)分布存在一定差異。已有數(shù)據(jù)庫(kù)中的正樣本圖像多為監(jiān)控目標(biāo)的正面圖像，而在實(shí)際應(yīng)用中，由于不同路段的攝像機(jī)具有不同的架設(shè)條件，如不同的架設(shè)高度和傾斜角度，以及PTZ(Pan/Tilt/Zoom)的隨時(shí)調(diào)整，使得待檢測(cè)視頻中拍攝到的有可能是監(jiān)控目標(biāo)的側(cè)面或頂部，因此需要獲得這些監(jiān)控目標(biāo)圖像并加入到訓(xùn)練樣本庫(kù)的正樣本庫(kù)中。已有數(shù)據(jù)庫(kù)中的負(fù)樣本圖像為不包含監(jiān)控目標(biāo)的背景圖像，然而在不同路段會(huì)存在不同的背景，使得拍攝的待檢測(cè)視頻中出現(xiàn)樹(shù)木及不同建筑等復(fù)雜背景圖像，因此需要獲得這些背景圖像并加入到訓(xùn)練樣本庫(kù)的負(fù)樣本庫(kù)中。而這樣的過(guò)程需要花費(fèi)大量的時(shí)間和人力成本，想要獲得全面的樣本庫(kù)是難以實(shí)現(xiàn)的，目前的現(xiàn)狀已經(jīng)嚴(yán)重影響了交通視頻智能檢測(cè)技術(shù)的廣泛應(yīng)用。因此需要找到一種方法來(lái)改變目前的這種現(xiàn)狀，這種方法需要做到以下三點(diǎn)。第一，該方法能夠快速適應(yīng)于各路段攝像機(jī)的不同架設(shè)條件，并得到魯棒的目標(biāo)檢測(cè)精度。第二，該方法應(yīng)適用于人臉檢測(cè)、車(chē)輛檢測(cè)及行人檢測(cè)等的分類器訓(xùn)練，并可移植到DSP中，應(yīng)用于實(shí)際系統(tǒng)中。第三，該方法應(yīng)節(jié)省時(shí)間和人力成本，并加強(qiáng)基于模式識(shí)別的現(xiàn)代先進(jìn)視覺(jué)目標(biāo)檢測(cè)及識(shí)別技術(shù)的實(shí)際工程應(yīng)用及系統(tǒng)維護(hù)。

發(fā)明內(nèi)容
本發(fā)明提出了利用半監(jiān)督學(xué)習(xí)方法中的co-training方法提高交通視頻監(jiān)控目標(biāo)檢測(cè)算法的魯棒性，使其自適應(yīng)外界環(huán)境的變化。當(dāng)檢測(cè)的交通場(chǎng)景發(fā)生改變時(shí)，通過(guò)co-training方法讓兩個(gè)相互獨(dú)立的分類器互相監(jiān)督學(xué)習(xí)，為對(duì)方加入新環(huán)境下的待檢測(cè)目標(biāo)和非檢測(cè)目標(biāo)的樣本圖片進(jìn)行新分類器的訓(xùn)練，以此適應(yīng)外界環(huán)境的變化，提高交通目標(biāo)檢測(cè)算法的魯棒性。而為了保證新增加樣本的可靠性，在co-training方法中加入樣本圖片預(yù)測(cè)標(biāo)簽的置信度判斷。
1.基于機(jī)器視覺(jué)的交通視頻監(jiān)控目標(biāo)檢測(cè)快速適應(yīng)方法，基于由監(jiān)控?cái)z像機(jī)、監(jiān)控設(shè)備、服務(wù)器構(gòu)成的硬件平臺(tái)，其特征在于包括以下步驟:(I).建立初始訓(xùn)練樣本庫(kù)，所述的初始訓(xùn)練樣本庫(kù)由正樣本即包含待檢測(cè)目標(biāo)的圖像，和負(fù)樣本即不包含待檢測(cè)目標(biāo)的圖像組成；(2).訓(xùn)練初始分類器:從初始訓(xùn)練樣本庫(kù)的各個(gè)樣本中提取Haar特征用于訓(xùn)練初始AdaBoost分類器，所選擇的Haar特征包含邊緣特征、線性特征、中心環(huán)繞特征和特殊對(duì)角線特征；再?gòu)某跏加?xùn)練樣本庫(kù)的各個(gè)樣本中提取HOG特征用于訓(xùn)練初始SVM分類器；(3).使用檢測(cè)框?qū)ΡO(jiān)控?cái)z像機(jī)所拍攝的同一段視頻的同一幀圖像進(jìn)行遍歷，對(duì)遍歷過(guò)程中檢測(cè)框所圈中的子圖像進(jìn)行檢測(cè)，檢測(cè)過(guò)程結(jié)束后移動(dòng)檢測(cè)框至下一位置重復(fù)檢測(cè)過(guò)程，直至遍歷完整幀圖像；之后擴(kuò)大檢測(cè)框的大小并再次遍歷整幀圖像，直至檢測(cè)框的大小達(dá)到一幀圖像的一半時(shí)，完成對(duì)一幀圖像的檢測(cè)，繼續(xù)步驟(4)；所述的檢測(cè)過(guò)程是對(duì)子圖像進(jìn)行標(biāo)簽預(yù)測(cè)并計(jì)算預(yù)測(cè)標(biāo)簽的置信度，子圖像及其預(yù)測(cè)標(biāo)簽將用于訓(xùn)練更新分類器，因此為了保證更新分類器的檢測(cè)性能有所提高，就要保證用于訓(xùn)練更新分類器的子圖像及其預(yù)測(cè)標(biāo)簽的正確性，包括以下步驟:(3.1)利用AdaBoost分類器和SVM分類器分別對(duì)同一子圖像進(jìn)行檢測(cè)，分別得到
子圖像的預(yù)測(cè)標(biāo)簽預(yù)測(cè)標(biāo)簽用于表示子圖像屬于正樣本或負(fù)樣本，若結(jié)果不一致，則表示無(wú)法保證預(yù)測(cè)標(biāo)簽的正確性，因此跳出檢測(cè)過(guò)程，并將檢測(cè)框移動(dòng)至下一位置；若結(jié)果一致 ，則繼續(xù)進(jìn)行下一步；其中若子圖像屬于視頻中的第一幀圖像，則使用步驟(2)所訓(xùn)練的初始分類器，否則使用步驟(4)最近一次更新后的分類器；(3.2)從初
始訓(xùn)練樣本庫(kù)的各個(gè)樣本圖像中分別提取Haar特征和HOG特征的特征值，其中，表示
第k個(gè)樣本圖像的Haar特征，xJc表示第k個(gè)樣本圖像的HOG特征；從檢測(cè)的子圖像中分
別提取Haar特征和HOG特征的特征值，記作和;計(jì)算子圖像中提取的特征值與初始訓(xùn)練樣本庫(kù)的各個(gè)樣本圖像中提取的特征值之間的歐式距離，其中，子圖像的Haar特征值與初始訓(xùn)練樣本庫(kù)的第k個(gè)樣本圖像的Haar特征值之間的歐式距離為 子圖像的HOG特征值與初始訓(xùn)練樣本庫(kù)的第k個(gè)樣本圖像的HOG特征值之間的歐式距離為貞.分別從兩組歐式距離中選出K個(gè)最小值計(jì)算得到兩組權(quán)重ω11.和ω ，每組包括K個(gè)權(quán)重值,第k個(gè)權(quán)重值的計(jì)算公式為:
權(quán)利要求
1.基于機(jī)器視覺(jué)的交通視頻監(jiān)控目標(biāo)檢測(cè)快速適應(yīng)方法，基于由監(jiān)控?cái)z像機(jī)、監(jiān)控設(shè)備、服務(wù)器構(gòu)成的硬件平臺(tái)，其特征在于包括以下步驟: (1).建立初始訓(xùn)練樣本庫(kù)，所述的初始訓(xùn)練樣本庫(kù)由正樣本即包含待檢測(cè)目標(biāo)的圖像，和負(fù)樣本即不包含待檢測(cè)目標(biāo)的圖像組成； (2).訓(xùn)練初始分類器: 從初始訓(xùn)練樣本庫(kù)的各個(gè)樣本中提取Haar特征,訓(xùn)練初始AdaBoost分類器,所選擇的Haar特征包含邊緣特征、線性特征、中心環(huán)繞特征和特殊對(duì)角線特征；再?gòu)某跏加?xùn)練樣本庫(kù)的各個(gè)樣本中提取HOG特征，訓(xùn)練初始SVM分類器； (3).使用檢測(cè)框?qū)ΡO(jiān)控?cái)z像機(jī)所拍攝的同一段視頻的同一幀圖像進(jìn)行遍歷，對(duì)遍歷過(guò)程中檢測(cè)框所圈中的子圖像進(jìn)行檢測(cè)，檢測(cè)過(guò)程結(jié)束后移動(dòng)檢測(cè)框至下一位置重復(fù)檢測(cè)過(guò)程，直至遍歷完整幀圖像；之后擴(kuò)大檢測(cè)框的大小并再次遍歷整幀圖像，直至檢測(cè)框的大小達(dá)到一幀圖像的一半時(shí)，完成對(duì)一幀圖像的檢測(cè)，繼續(xù)步驟(4)； 所述的檢測(cè)過(guò)程包括以下步驟: (3.1)利用AdaBoost分類器和SVM分類器分別對(duì)同一子圖像進(jìn)行檢測(cè)，分別得到子圖像的預(yù)測(cè)標(biāo)簽和Jfxj，預(yù)測(cè)標(biāo)簽用于表示子圖像屬于正樣本或負(fù)樣本， 若結(jié)果不一致，則跳出檢測(cè)過(guò)程，并將檢測(cè)框移動(dòng)至下一位置； 若結(jié)果一致，則繼續(xù)進(jìn)行下一步；其中若子圖像屬于視頻中的第一幀圖像，則使用步驟(2)所訓(xùn)練的初始分類器，否則使用步驟(4)最近一次更新后的分類器；(3.2)從初始 訓(xùn)練樣本庫(kù)的各個(gè)樣本圖像中分別提取Haar特征和HOG特征的特征值，其中，-<Γ表示第k個(gè)樣本圖像的Haar特征，表示第k個(gè)樣本圖像的HOG特征；從檢測(cè)的子圖像中分別提取Haar特征和HOG特征的特征值，記作."和Xfm ；計(jì)算子圖像中提取的特征值與初始訓(xùn)練樣本庫(kù)的各個(gè)樣本圖像中提取的特征值之間的歐式距離，其中，子圖像的Haar特征值與初始訓(xùn)練樣本庫(kù)的第k個(gè)樣本圖像的Haar特征值之間的歐式距離為>子圖像的HOG特征值與初始訓(xùn)練樣本庫(kù)的第k個(gè)樣本圖像的HOG特征值之間的歐式距離為我分別從兩組歐式距離中選出K個(gè)最小值計(jì)算得到兩組權(quán)重ωΗ.和ω =，每組包括K個(gè)權(quán)重值,第k個(gè)權(quán)重值的計(jì)算公式為:Cifer = (1+ d{x,l；u\ XtglDT1 0< foe^la)foe 二 (I + ci{xfx,X^c)) 1 O < ωξ°° < I (3.3)計(jì)算子圖像的預(yù)測(cè)標(biāo)簽y;—對(duì)特征值jcf"的置信度，以及子圖像的預(yù)測(cè)標(biāo)簽Jfw對(duì)特征值的置信度Jfitt,其計(jì)算公式為 K j Haar —Horn- THaarJ P — / ,COk Ikk \K J HOG _.HOG J HOG./ P — (辦 * k M其中/f胃表示ftf11*.對(duì)應(yīng)的初始訓(xùn)練樣本庫(kù)的第k個(gè)樣本圖像的標(biāo)簽是否與子圖像的預(yù)測(cè)標(biāo)簽一致,若一致，否則樣本圖像的標(biāo)簽即表示該樣本圖像屬于正樣本還是負(fù)樣本； if 表示對(duì)應(yīng)的初始訓(xùn)練樣本庫(kù)的第k個(gè)樣本圖像的標(biāo)簽是否與子圖像的預(yù)測(cè)標(biāo)簽.<σ(;—致，若一致，ΙΓ!=\ ,否則/f χ;=0; (3.4)比較步驟(3.3)計(jì)算出的和Jfw，將大的置信度對(duì)應(yīng)的預(yù)測(cè)標(biāo)簽以及子圖 像加入到小的置信度對(duì)應(yīng)的分類器的附加訓(xùn)練樣本庫(kù)中；所述的附加訓(xùn)練樣本庫(kù)中的樣本由每次循環(huán)過(guò)程中加入的子圖像及其預(yù)測(cè)標(biāo)簽構(gòu)成，附加訓(xùn)練樣本庫(kù)和初始訓(xùn)練樣本庫(kù)共同構(gòu)成對(duì)應(yīng)分類器的訓(xùn)練樣本庫(kù)； (4).若視頻未檢測(cè)至最后一幀，則利用兩分類器各自的訓(xùn)練樣本庫(kù)分別重新訓(xùn)練基于Haar特征的AdaBoost分類器和基于HOG特征的SVM分類器，然后跳轉(zhuǎn)至步驟(3)繼續(xù)檢測(cè)下一巾貞圖像； 否則，分類器訓(xùn)練完成，可將訓(xùn)練的最終分類器用于實(shí)際的交通場(chǎng)景中進(jìn)行車(chē)輛、行人等目標(biāo)的檢測(cè)。
全文摘要
本發(fā)明屬于機(jī)器視覺(jué)與智能控制領(lǐng)域，用于實(shí)現(xiàn)交通視頻監(jiān)控目標(biāo)檢測(cè)的快速自適應(yīng)。首先建立初始訓(xùn)練樣本庫(kù)，接下來(lái)分別訓(xùn)練基于Haar特征的AdaBoost分類器和基于HOG特征的SVM分類器，利用訓(xùn)練好的兩個(gè)分類器對(duì)監(jiān)控圖像逐幀檢測(cè)，檢測(cè)過(guò)程為分別利用兩類分類器對(duì)檢測(cè)框中的子圖像進(jìn)行預(yù)測(cè)，并對(duì)預(yù)測(cè)結(jié)果進(jìn)行置信度判斷，將大置信度對(duì)應(yīng)的預(yù)測(cè)標(biāo)簽以及子圖像加入到小置信度對(duì)應(yīng)的分類器的附加訓(xùn)練樣本庫(kù)中，直到檢測(cè)框大小達(dá)到被檢測(cè)圖像大小一半時(shí)結(jié)束，此時(shí)利用更新后的訓(xùn)練樣本庫(kù)重新訓(xùn)練兩類分類器，并進(jìn)行下一幀圖像的檢測(cè)，直到檢測(cè)完所有圖像，此時(shí)可將最終分類器用于實(shí)際的交通場(chǎng)景中進(jìn)行車(chē)輛、行人等目標(biāo)的檢測(cè)。
文檔編號(hào)G06K9/62GK103208008SQ20131009157
公開(kāi)日2013年7月17日 申請(qǐng)日期2013年3月21日 優(yōu)先權(quán)日2013年3月21日
發(fā)明者劉星, 辛樂(lè), 楊德亮, 陳陽(yáng)舟, 吳旭 申請(qǐng)人:北京工業(yè)大學(xué)