專利名稱：一種自適應(yīng)學(xué)習(xí)的視頻車輛檢測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻監(jiān)控技術(shù)和智能交通技術(shù)領(lǐng)域，具體為一種自適應(yīng)學(xué)習(xí)的視頻車輛檢測方法。
背景技術(shù)：
隨著視頻監(jiān)控技術(shù)的發(fā)展，視頻攝像機(jī)已經(jīng)被廣泛應(yīng)用于對各種環(huán)境、區(qū)域和場所的監(jiān)控。隨著視頻攝像機(jī)數(shù)量的急劇增加，傳統(tǒng)的人工監(jiān)控方式已經(jīng)遠(yuǎn)不能滿足大范圍監(jiān)控的需要。因此，實(shí)現(xiàn)可以代替人眼工作的智能監(jiān)控方式成為視頻監(jiān)控領(lǐng)域的研究重點(diǎn)。目前，在智能監(jiān)控的研究中，對車輛目標(biāo)進(jìn)行自動(dòng)檢測和跟蹤所用的特征主要包括車輛的紋理特征、輪廓特征、邊緣特征等。這些特征都屬于視頻中單幀圖像的特征，僅利用這些特征建立目標(biāo)的外觀模型來檢測車輛，還無法達(dá)到較高的準(zhǔn)確性。因此，利用視頻圖像的幀間信息來提取目標(biāo)的運(yùn)動(dòng)特征，成為解決視頻目標(biāo)檢測問題的一條新的途徑。在車輛的運(yùn)動(dòng)特征中，車輛與場景背景存在差異是一個(gè)重要信息。然而，由于交通場景的多樣性以及場景光照、天氣等的復(fù)雜多變性，如何提取有區(qū)分力的圖像特征，用來衡量車輛和背景的差異，實(shí)現(xiàn)車輛目標(biāo)的準(zhǔn)確檢測及計(jì)數(shù)，成為視頻監(jiān)控實(shí)踐中亟待解決的問題。目前的交通視頻檢測存在兩種研究思路，分別基于車輛跟蹤法和基于虛擬線圈法。對于第一種研究思路，通過車輛跟蹤，連續(xù)計(jì)算車輛的位置和速度，獲取車輛的運(yùn)動(dòng)軌跡，進(jìn)而獲取交通信息；另一種思路是在圖像的局部區(qū)域設(shè)置虛擬線圈，統(tǒng)計(jì)虛擬線圈被車輛占有的情況，從宏觀上估計(jì)交通信息。對于車輛跟蹤的研究思路，美國明尼蘇達(dá)大學(xué)的Papanikolopoulos教授及其學(xué)生做 了大量研究，2002 年在《IEEE Transactions on Intelligent TransportationSystems))發(fā)表論文“Detection and classification of vehicles” 和 2005 年在同一期干丨J 發(fā)表論文“A vision-based approach to collisionprediction at trafficintersections”,研究表明在特定實(shí)驗(yàn)場景下能夠較準(zhǔn)確地檢測和跟蹤車輛。雖然近些年研究人員一直在對車輛跟蹤算法進(jìn)行改進(jìn)，但是這種研究思路的根本問題在于當(dāng)交通密度較大時(shí)，難以分割單個(gè)車輛，也難以獲得車輛軌跡；因此這種思路通常只適用于監(jiān)控車流量稀少的道路(例如高速公路)，算法的魯棒性在城市交通監(jiān)控條件下難以保證。與車輛跟蹤法相比，采用虛擬線圈的方法在圖像的局部區(qū)域設(shè)置虛擬線圈，類似于在道路上埋設(shè)地感線圈。該方法繼承了地感線圈的一些特點(diǎn)，不能充分利用空間域信息，獲得的交通數(shù)據(jù)有限，但是幾乎不受交通狀況的限制，適用性較好。2009年Cho等在《Expert Systems with Applications》發(fā)表論文“HebbR2-Traffic:a novel applicationof neuro-fuzzy network for visual based traffic monitoring system，，,將機(jī)器學(xué)習(xí)思想引入到虛擬線圈方法中，作者把前景區(qū)域和車頭燈區(qū)域的統(tǒng)計(jì)特征作為輸入，離線監(jiān)督訓(xùn)練兩個(gè)模糊神經(jīng)網(wǎng)絡(luò)，分別用于白天和夜間時(shí)段的車輛檢測。然而，該方法在實(shí)際運(yùn)行時(shí)，對白天和夜間檢測模式的切換不夠靈活；另外，準(zhǔn)確分割前景和車頭燈區(qū)域是非常困難的，無法滿足模式分類器對樣本輸入特征的要求。
雖然市場上已經(jīng)存在Autoscope、Iteris、Traficon等基于虛擬線圈方法的視頻檢測產(chǎn)品，但是評(píng)估研究顯示，這些商業(yè)產(chǎn)品只在特定環(huán)境條件下性能良好，對于運(yùn)動(dòng)陰影、雨雪霧惡劣天氣以及夜間光照等不利情況，其檢測算法的精度和魯棒性還有待進(jìn)一步提高。面向?qū)嶋H應(yīng)用，本發(fā)明提供一種自適應(yīng)學(xué)習(xí)的視頻車輛檢測方法，以提高算法在復(fù)雜交通場景中的檢測效果。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有視頻檢測技術(shù)的不足，從模式分類和機(jī)器學(xué)習(xí)的角度提供一種自適應(yīng)學(xué)習(xí)的視頻車輛檢測方法。本發(fā)明利用模式分類和機(jī)器學(xué)習(xí)理論，首先從監(jiān)控視頻中提取與背景圖像和虛擬線圈有關(guān)的若干種圖像特征，然后利用半監(jiān)督學(xué)習(xí)思想訓(xùn)練模式分類器，在線優(yōu)化模式分類器的結(jié)構(gòu)和參數(shù)，適應(yīng)交通場景中光照、天氣條件等因素的復(fù)雜變化，使車輛檢測和計(jì)數(shù)具有理想的精度和魯棒性。該方法能夠在視頻監(jiān)控實(shí)踐中常見的運(yùn)動(dòng)陰影、惡劣天氣、夜間光照等不利條件下，準(zhǔn)確地檢測車輛。本發(fā)明的技術(shù)思想是:將視頻車輛檢測問題視為模式分類問題；首先從監(jiān)控視頻中提取若干種有區(qū)分力的圖像特征，這些特征既能夠區(qū)分車輛和背景，又包含與光照和天氣條件相關(guān)的環(huán)境信息；然后利用監(jiān)督學(xué)習(xí)方法離線訓(xùn)練模式分類器，并在系統(tǒng)運(yùn)行過程中在線優(yōu)化模式分類器，自動(dòng)調(diào)整各個(gè)分量分類器的結(jié)構(gòu)和參數(shù)，使分類器具有自適應(yīng)學(xué)習(xí)能力，在復(fù)雜交通場景中取得更好的分類效果；最后對分類結(jié)果序列做后處理，進(jìn)一步提高車輛檢測和計(jì)數(shù)的精度。為了達(dá)到預(yù)期的發(fā)明目的，實(shí)現(xiàn)上述技術(shù)思想，本發(fā)明提供一種自適應(yīng)學(xué)習(xí)的視頻車輛檢測方法，該方法包括以下步驟:一種自適應(yīng)學(xué)習(xí)的視頻車輛檢測方法，其特征在于，該方法包括以下步驟:步驟1，從監(jiān)控視頻的每一幀視頻圖像中提取出若干種有區(qū)分力的圖像特征；步驟2，從具有代表性的多個(gè)視頻片段中采集圖像特征及其標(biāo)記生成訓(xùn)練樣本集，基于所述步驟I得到的圖像特征，利用監(jiān)督學(xué)習(xí)方法訓(xùn)練得到模式分類器；步驟3，根據(jù)監(jiān)控視頻的變化對所述模式分類器進(jìn)行優(yōu)化，使所述模式分類器具有自適應(yīng)學(xué)習(xí)能力，適應(yīng)交通場景的復(fù)雜變化；步驟4，利用優(yōu)化后的模式分類器對所述監(jiān)控視頻進(jìn)行車輛檢測，并利用檢測結(jié)果的時(shí)域相關(guān)性信息對車輛檢測結(jié)果序列進(jìn)行后處理，其中，所述步驟2進(jìn)一步包括以下步驟:步驟21，獲取在不同地點(diǎn)、不同時(shí)段和不同天氣條件下拍攝的多個(gè)監(jiān)控視頻片段；步驟22，從多個(gè)監(jiān)控視頻片段中，在視頻圖像中配置四邊形虛擬線圈，計(jì)算每一訓(xùn)練樣本的圖像特征，采集所述圖像特征及其標(biāo)記生成訓(xùn)練樣本集；步驟23，從所述監(jiān)控視頻片段中人工采集得到大致相等數(shù)量的正負(fù)樣本，組成大小為η的原始訓(xùn)練樣本集D ;步驟24，從所述原始訓(xùn)練樣本集D中隨機(jī)抽取三次，每次抽取η’個(gè)訓(xùn)練樣本用來訓(xùn)練分類器，剩余的(η-η’ )個(gè)訓(xùn)練樣本作為分類器的驗(yàn)證集，從而訓(xùn)練得到三個(gè)相應(yīng)的分量分類器，組合成模式分類器。
本發(fā)明的有益效果是:本發(fā)明提出的一種自適應(yīng)學(xué)習(xí)的視頻車輛檢測方法，通過提取有區(qū)分力的多種圖像特征，并利用半監(jiān)督學(xué)習(xí)的思想在線優(yōu)化模式分類器，使得視頻車輛檢測方法對交通環(huán)境的復(fù)雜變化具有較強(qiáng)的自適應(yīng)能力；所述方法具有較高的精度和魯棒性，能夠勝任在不同地點(diǎn)、不同時(shí)段(黎明、白天、黃昏、夜間等)和不同天氣(晴天、多云、雨、雪、霧等)條件下的視頻車輛檢測任務(wù)。本發(fā)明增強(qiáng)了現(xiàn)有的虛擬線圈車輛檢測方法，具有顯著的工程應(yīng)用價(jià)值，能夠促進(jìn)視頻監(jiān)控領(lǐng)域和智能交通領(lǐng)域的發(fā)展。


圖1是本發(fā)明車輛檢測方法的流程圖。圖2是根據(jù)本發(fā)明一實(shí)施例的在圖像上配置虛擬線圈的示意圖。圖3是根據(jù)本發(fā)明一實(shí)施例的虛擬線圈內(nèi)四條特征線的示意圖。圖4是根據(jù)本發(fā)明一實(shí)施例的虛擬線圈內(nèi)紋理變化特征的計(jì)算流程圖。圖5是在不同地點(diǎn)、時(shí)段和天氣條件下拍攝的部分視頻片段。圖6是根據(jù)本發(fā)明一實(shí)施例的模糊神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)圖。圖7是根據(jù)本發(fā)明一實(shí)施例的組合分類器的結(jié)構(gòu)圖。圖8是根據(jù)本發(fā)明一實(shí)施例的車輛檢測和計(jì)數(shù)的后處理示意圖。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。圖1是本發(fā)明車輛檢測方法的流程圖，如圖1所示，本發(fā)明提出的一種自適應(yīng)學(xué)習(xí)的視頻車輛檢測方法將視頻車輛檢測問題視為模式分類問題，該方法包括以下幾個(gè)步驟:步驟1，從監(jiān)控視頻的每一幀視頻圖像中提取出若干種有區(qū)分力的圖像特征；所述監(jiān)控視頻利用安裝在道路上方或路側(cè)的靜態(tài)攝像機(jī)產(chǎn)生(本發(fā)明要求所述監(jiān)控視頻的幀率不低于25幀/秒)。所述步驟I進(jìn)一步包括以下步驟:步驟11，在視頻圖像上配置四邊形虛擬線圈作為車輛檢測區(qū)域，視頻圖像中每條車道上至少配置一個(gè)虛擬線圈，所述虛擬線圈的寬度略小于車道寬度，長度大約為4.5米，如圖2所示。步驟12，基于所述監(jiān)控視頻，通過現(xiàn)有技術(shù)中常用的背景建模方法自動(dòng)生成一背景圖像(所述背景圖像中不包含任何前景目標(biāo))，并隨著所述視頻圖像的變化對所述背景圖像進(jìn)行自動(dòng)更新，以反映交通場景的背景信息，同時(shí)獲得虛擬線圈內(nèi)的前景像素；步驟13，基于所述虛擬線圈及其前景像素，在每一時(shí)刻為每個(gè)虛擬線圈提取其圖像特征；所述有區(qū)分力的圖像特征需要既能夠區(qū)分車輛(前景)和背景，又包含與光照和天氣條件相關(guān)的環(huán)境信息，在本發(fā)明一實(shí)施例中，所述圖像特征包括虛擬線圈內(nèi)的前景比例、虛擬線圈內(nèi)的紋理變化、背景圖像的亮度和背景圖像的對比度四種。在提取所述圖像特征時(shí)，首先在每個(gè)虛擬線圈內(nèi)部生成四條特征線％、a2、Id1和b2，如圖3所示，其中兩條特征線和a2大致沿車道方向，另兩條特征線Id1和b2大致垂直于車道方向，且特征線的端點(diǎn)將虛擬線圈的四條邊等分為三段。上述四種圖像特征的含義描述如下:I)虛擬線圈內(nèi)的前景比例，定義為虛擬線圈內(nèi)前景像素?cái)?shù)占總像素?cái)?shù)的百分比，其反映了前景和背景的差異；所述虛擬線圈內(nèi)的前景比例包括虛擬線圈內(nèi)部和四條特征線上的前景比例這5維特征，依次記為特征f\、f2、f3、f4、f5 ；2)虛擬線圈內(nèi)的紋理變化，定義為虛擬線圈內(nèi)的輸入圖像經(jīng)過中值濾波后的圖像與背景圖像的差分值的形態(tài)學(xué)邊緣強(qiáng)度的標(biāo)準(zhǔn)差(具體的計(jì)算流程如圖4所示)，其反映了車輛和背景干擾(比如運(yùn)動(dòng)陰影、車頭燈反光、攝像機(jī)自動(dòng)增益等)的外觀差異，在計(jì)算所述虛擬線圈內(nèi)的紋理變化時(shí)，只對所述輸入圖像的前景像素進(jìn)行計(jì)算，而不對所述輸入圖像的背景像素進(jìn)行計(jì)算；所述虛擬線圈內(nèi)的紋理變化包括虛擬線圈內(nèi)部和四條特征線上的紋理變化這5維特征,依次記為特征f6、f7、f8、f9、f10 ;3)背景圖像的亮度，定義為所述背景圖像的像素亮度值的平均值，其反映了場景的光照條件(例如白天的圖像亮度比夜間的高)；所述背景圖像的亮度包括整幅圖像和虛擬線圈局部的背景圖像亮度這2維特征，依次記為特征fn、f12 ；4)背景圖像的對比度，定義為所述背景圖像的形態(tài)學(xué)邊緣強(qiáng)度的標(biāo)準(zhǔn)差，其反映了天氣條件(例如晴天的圖像對比度比霧天的高)；所述背景圖像的對比度包括整幅圖像和虛擬線圈局部的背景圖像對比度這2維特征，依次記為特征f13、f14。所述圖像特征可以表示為一個(gè)14維的特征向量，也就是說，在每一時(shí)刻，對于每個(gè)虛擬線圈都能夠得到一個(gè)14維的特征向量。步驟2，從具有代表性的多個(gè)視頻片段中采集圖像特征及其標(biāo)記生成訓(xùn)練樣本集，基于所述步驟I得到的圖像特征，利用監(jiān)督學(xué)習(xí)方法訓(xùn)練得到模式分類器；所述步驟2進(jìn)一步包括以下步驟:步驟21，從各種渠道獲取在不同地點(diǎn)、不同時(shí)段(黎明、白天、黃昏、夜間等)和不同天氣(晴天、多云、雨、雪、霧等)條件下拍攝的多個(gè)監(jiān)控視頻片段，盡量使視頻片段具有多樣性，如圖5所示；步驟22，從多個(gè)監(jiān)控視頻片段中，在視頻圖像上配置四邊形虛擬線圈，計(jì)算每一訓(xùn)練樣本的圖像特征，采集所述圖像特征及其標(biāo)記生成訓(xùn)練樣本集；步驟23，從所述監(jiān)控視頻片段中人工采集得到大致相等數(shù)量的正負(fù)樣本，組成大小為η的原始訓(xùn)練樣本集D ;采集正負(fù)樣本的步驟具體為:通過人眼觀察所述虛擬線圈的中央?yún)^(qū)域(即圖3中四條特征線包圍的中央?yún)^(qū)域)是否被車輛占有，即判斷所述中央?yún)^(qū)域有車還是無車，若有車，則認(rèn)為該訓(xùn)練樣本為正樣本，將其輸出值標(biāo)記為1，若無車，則認(rèn)為該訓(xùn)練樣本為負(fù)樣本，將其輸出值標(biāo)記為O。另外，為了保證分類效果，所述原始訓(xùn)練樣本集D中的訓(xùn)練樣本數(shù)不能少于1000 ；雖然增加訓(xùn)練樣本數(shù)有利于減少分類誤差，但是考慮到節(jié)省人工標(biāo)記成本，所述訓(xùn)練樣本數(shù)也不宜多于10000。步驟24，從所述原始訓(xùn)練樣本集D中，隨機(jī)抽取三次，每次抽取η’個(gè)訓(xùn)練樣本用來訓(xùn)練分類器，剩余的(η-η’ )個(gè)訓(xùn)練樣本作為分類器的驗(yàn)證集，從而訓(xùn)練得到三個(gè)相應(yīng)的分量分類器，組合成模式分類器。
所述三個(gè)分量分類器均為模糊神經(jīng)網(wǎng)絡(luò)，根據(jù)訓(xùn)練樣本的輸入特征值和輸出標(biāo)記值，以監(jiān)督學(xué)習(xí)的方式可訓(xùn)練得到每個(gè)模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，所述模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖6所示，它集成了模糊邏輯的推理能力和神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，能夠發(fā)掘數(shù)據(jù)中蘊(yùn)含的知識(shí)，并且這種知識(shí)具有較好的可解釋性。很明顯，所述模式分類器為一組合分類器，其分類結(jié)果，即有車或者無車，由三個(gè)分量分類器投票表決確定，所述組合分類器的結(jié)構(gòu)如圖7所示。利用模糊神經(jīng)網(wǎng)絡(luò)建立組合分類器，一方面能夠提高分類精度，另一方面有利于在線優(yōu)化分類器。由于交通場景中的光照、天氣條件以及視頻成像過程的復(fù)雜性，用監(jiān)督學(xué)習(xí)方法離線訓(xùn)練得到的模式分類器只是一個(gè)通用型的弱分類器，它學(xué)習(xí)了交通場景的“所有”情況，但不一定完全適合于當(dāng)前具體的視頻車輛檢測任務(wù)。因此本發(fā)明接下來還將對所述模式分類器作在線優(yōu)化，即在模式分類器運(yùn)行過程中，根據(jù)監(jiān)控視頻的變化，自動(dòng)調(diào)整模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，使最終組合得到的模式分類器具有自適應(yīng)學(xué)習(xí)能力，使其分類性能越來越好。步驟3，根據(jù)監(jiān)控視頻的變化對所述模式分類器進(jìn)行優(yōu)化，即自動(dòng)調(diào)整所述模式分類器中各個(gè)分量分類器的結(jié)構(gòu)和參數(shù)，使所述模式分類器具有自適應(yīng)學(xué)習(xí)能力，適應(yīng)交通場景的復(fù)雜變化(例如運(yùn)動(dòng)陰影、惡劣天氣、夜間光照等不利條件)；所述對模式分類器進(jìn)行在線優(yōu)化的步驟進(jìn)一步包括以下步驟:步驟31，當(dāng)所述模式分類器在線運(yùn)行時(shí)，自動(dòng)從所述監(jiān)控視頻中提取圖像特征，作為測試樣本的輸入特征值I ;步驟32，對于該輸入特征值I，三個(gè)分量分類器分別輸出一個(gè)預(yù)測值PiQ = 1,2,3)；步驟33，通過投票表決來確定該測試樣本的輸出標(biāo)記值L ；由于車輛檢測是一個(gè)兩類問題，即有車或無車，因此三個(gè)分量分類器的預(yù)測值組合只可能出現(xiàn)兩種情況:1)三個(gè)分量分類器的預(yù)測值相同；2)兩個(gè)分量分類器的預(yù)測值相同而另一個(gè)分量分類器的預(yù)測值不同，這樣就可通過投票表決來唯一確定該測試樣本的輸出標(biāo)記值L。步驟34，如果所述預(yù)測值組合符合第一種情況，則將當(dāng)前測試樣本的輸入特征值和輸出標(biāo)記值對(I，L)作為這三個(gè)分量分類器的新增訓(xùn)練樣本；如果所述預(yù)測值組合符合第二種情況，則將當(dāng)前測試樣本的輸入特征值和輸出標(biāo)記值對(I，L)作為與其他兩個(gè)分量分類器的預(yù)測值不同的那個(gè)分量分類器的新增訓(xùn)練樣本。通過上述方式，三個(gè)分量分類器都能夠在線不斷獲得新的訓(xùn)練樣本，以優(yōu)化分類器?？紤]到模糊神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，可以采用隨機(jī)學(xué)習(xí)(每增加I個(gè)訓(xùn)練樣本，就學(xué)習(xí)I次)或批量學(xué)習(xí)(累計(jì)增加了 N個(gè)訓(xùn)練樣本，才學(xué)習(xí)I次)的方式，自動(dòng)調(diào)整模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，使分類器不斷適應(yīng)監(jiān)控視頻中交通場景的復(fù)雜變化。另外，在線優(yōu)化分類器時(shí)，可以丟掉已經(jīng)用過的訓(xùn)練樣本，以降低對存儲(chǔ)資源的需求。步驟4，利用優(yōu)化后的模式分類器對所述監(jiān)控視頻進(jìn)行車輛檢測，并利用檢測結(jié)果的時(shí)域相關(guān)性信息對車輛檢測結(jié)果序列進(jìn)行后處理，以進(jìn)一步提高車輛檢測和車輛計(jì)數(shù)的精度。
所述步驟4進(jìn)一步包括以下步驟:步驟41，當(dāng)所述優(yōu)化后的模式分類器運(yùn)行時(shí)，自動(dòng)從所述監(jiān)控視頻中提取出圖像特征，作為測試樣本的輸入特征值，對于該輸入特征值，所述模式分類器包含的三個(gè)分量分類器分別輸出相應(yīng)的預(yù)測值，然后通過投票表決的方式確定該測試樣本的輸出標(biāo)記值L(L=I或O)，作為相應(yīng)虛擬線圈的初始輸出標(biāo)記，即檢測結(jié)果；步驟42，利用所述檢測結(jié)果的時(shí)域相關(guān)性，對所述虛擬線圈的初始輸出標(biāo)記進(jìn)行后處理，以進(jìn)一步提高車輛檢測和計(jì)數(shù)的精度。所述后處理具體為:對于每個(gè)虛擬線圈，取多個(gè)，比如五個(gè)相鄰時(shí)刻的初始輸出標(biāo)記Lt_2、Lt_1、Lt、Lt+1、Lt+2，做中值濾波處理，得到時(shí)刻t該虛擬線圈的最終輸出標(biāo)記FLtA中，F(xiàn)Lt = I表示時(shí)刻t所述虛擬線圈內(nèi)有車，F(xiàn)Lt = O表示時(shí)刻t所述虛擬線圈內(nèi)無車。另外，在時(shí)間域上，若一段時(shí)間內(nèi)FLt連續(xù)為1，則表示在這段時(shí)間內(nèi)一輛車駛過了一虛擬線圈，基于此，可實(shí)現(xiàn)對于車輛的計(jì)數(shù)。車輛的檢測和計(jì)數(shù)后處理過程如圖8所示。本發(fā)明所述方法的運(yùn)行平臺(tái)無特別限制，可以是工控機(jī)、服務(wù)器、嵌入式系統(tǒng)等運(yùn)行平臺(tái)，還可以一體化集成到智能攝像機(jī)的內(nèi)部。以上所述的具體實(shí)施例，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種自適應(yīng)學(xué)習(xí)的視頻車輛檢測方法，其特征在于，該方法包括以下步驟: 步驟1，從監(jiān)控視頻的每一幀視頻圖像中提取出若干種有區(qū)分力的圖像特征； 步驟2，從具有代表性的多個(gè)視頻片段中采集圖像特征及其標(biāo)記生成訓(xùn)練樣本集，基于所述步驟I得到的圖像特征，利用監(jiān)督學(xué)習(xí)方法訓(xùn)練得到模式分類器； 步驟3，根據(jù)監(jiān)控視頻的變化對所述模式分類器進(jìn)行優(yōu)化，使所述模式分類器具有自適應(yīng)學(xué)習(xí)能力，適應(yīng)交通場景的復(fù)雜變化； 步驟4，利用優(yōu)化后的模式分類器對所述監(jiān)控視頻進(jìn)行車輛檢測，并利用檢測結(jié)果的時(shí)域相關(guān)性信息對車輛檢測結(jié)果序列進(jìn)行后處理，其中， 所述步驟2進(jìn)一步包括以下步驟: 步驟21，獲取在不同地點(diǎn)、不同時(shí)段和不同天氣條件下拍攝的多個(gè)監(jiān)控視頻片段； 步驟22，從多個(gè)監(jiān)控視頻片段中，在視頻圖像中配置四邊形虛擬線圈，計(jì)算每一訓(xùn)練樣本的圖像特征，采集所述圖像特征及其標(biāo)記生成訓(xùn)練樣本集； 步驟23，從所述監(jiān)控視頻片段中人工采集得到大致相等數(shù)量的正負(fù)樣本，組成大小為η的原始訓(xùn)練樣本集D ; 步驟24，從所述原始訓(xùn)練樣本集D中隨機(jī)抽取三次，每次抽取η’個(gè)訓(xùn)練樣本用來訓(xùn)練分類器，剩余的(η-η’ )個(gè)訓(xùn)練樣本作為分類器的驗(yàn)證集，從而訓(xùn)練得到三個(gè)相應(yīng)的分量分類器，組合成模式分類器。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟I進(jìn)一步包括以下步驟: 步驟11，在視頻圖像上配置四邊形虛擬線圈作為車輛檢測區(qū)域，其中，每一幀視頻圖像中每條車道上至少配置一個(gè)虛擬線圈，所述虛擬線圈的寬度略小于車道寬度，長度大約為4.5 米； 步驟12，基于所述監(jiān)控視頻自動(dòng)生成一背景圖像，并隨著所述視頻圖像的變化對所述背景圖像進(jìn)行自動(dòng)更新，同時(shí)獲得虛擬線圈內(nèi)的前景像素； 步驟13，基于所述虛擬線圈及其前景像素，在每一時(shí)刻為每個(gè)虛擬線圈提取其圖像特征。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在提取所述圖像特征時(shí)，首先在每個(gè)虛擬線圈內(nèi)部生成四條特征線，其中兩條特征線大致沿車道方向，另兩條特征線大致垂直于車道方向，且特征線的端點(diǎn)將虛擬線圈的四條邊等分為三段。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述圖像特征包括虛擬線圈內(nèi)的前景比例、虛擬線圈內(nèi)的紋理變化、背景圖像的亮度和背景圖像的對比度，且為一 14維的特征向量，其中: 所述虛擬線圈內(nèi)的前景比例為虛擬線圈內(nèi)前景像素?cái)?shù)占總像素?cái)?shù)的百分比，其包括虛擬線圈內(nèi)部和四條特征線上的前景比例這5維特征； 所述虛擬線圈內(nèi)的紋理變化為虛擬線圈內(nèi)的輸入圖像經(jīng)過中值濾波后的圖像與背景圖像的差分值的形態(tài)學(xué)邊緣強(qiáng)度的標(biāo)準(zhǔn)差，其包括虛擬線圈內(nèi)部和四條特征線上的紋理變化這5維特征； 所述背景圖像的亮度為所述背景圖像的像素亮度值的平均值，其包括整幅圖像和虛擬線圈局部的背景圖像亮度這2維特征； 所述背景圖像的對比度為所述背景圖像的形態(tài)學(xué)邊緣強(qiáng)度的標(biāo)準(zhǔn)差，其包括整幅圖像和虛擬線圈局部的背景圖像對比度這2維特征。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，采集正負(fù)樣本的步驟具體為:通過人眼觀察所述虛擬線圈的中央?yún)^(qū)域是否被車輛占有，若是，則認(rèn)為該訓(xùn)練樣本為正樣本，將其輸出值標(biāo)記為1，若否，則認(rèn)為該訓(xùn)練樣本為負(fù)樣本，將其輸出值標(biāo)記為O。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述三個(gè)分量分類器均為模糊神經(jīng)網(wǎng)絡(luò)，且根據(jù)訓(xùn)練樣本的輸入特征值和輸出標(biāo)記值，以監(jiān)督學(xué)習(xí)的方式可訓(xùn)練得到每個(gè)模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)；所述模式分類器的分類結(jié)果由其包括的三個(gè)分量分類器投票表決確定。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對模式分類器進(jìn)行優(yōu)化的步驟進(jìn)一步包括以下步驟: 步驟31，當(dāng)所述模式分類器在線運(yùn)行時(shí)，自動(dòng)從所述監(jiān)控視頻中提取圖像特征，作為測試樣本的輸入特征值I ; 步驟32，對于該輸入特征值I，三個(gè)分量分類器分別輸出一個(gè)預(yù)測值PiQ = 1,2,3)； 步驟33，通過投票表決來確定該測試樣本的輸出標(biāo)記值L ； 步驟34，如果三個(gè)分量分類器的預(yù)測值相同，則將當(dāng)前測試樣本的輸入特征值和輸出標(biāo)記值對(i，L)作為這三個(gè)分量分類器的新增訓(xùn)練樣本；如果兩個(gè)分量分類器的預(yù)測值相同而另一個(gè)分量分類器的預(yù)測值不同，則將當(dāng)前測試樣本的輸入特征值和輸出標(biāo)記值對(I，L)作為與其他兩個(gè)分量分類器的預(yù)測值不同的那個(gè)分量分類器的新增訓(xùn)練樣本。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟4進(jìn)一步包括以下步驟: 步驟41，當(dāng)所述優(yōu)化后的模式分類器運(yùn)行時(shí)，自動(dòng)從所述監(jiān)控視頻中提取出圖像特征，作為測試樣本的輸入特征值，對于該輸入特征值，所述模式分類器包含的三個(gè)分量分類器分別輸出相應(yīng)的預(yù)測值，然后通過投票表決的方式確定該測試樣本的輸出標(biāo)記值L，作為相應(yīng)虛擬線圈的初始輸出標(biāo)記，即檢測結(jié)果； 步驟42，利用所述檢測結(jié)果的時(shí)域相關(guān)性，對所述虛擬線圈的初始輸出標(biāo)記進(jìn)行后處理，以進(jìn)一步提高車輛檢測和計(jì)數(shù)的精度。
9.根據(jù)權(quán)利要 求8所述的方法，其特征在于，所述后處理具體為:對于每個(gè)虛擬線圈，取多個(gè)相鄰時(shí)刻的初始輸出標(biāo)記做中值濾波處理，得到多個(gè)相鄰時(shí)刻的中間時(shí)刻上該虛擬線圈的最終輸出標(biāo)記。
10.根據(jù)權(quán)利要求1所述的方法，其特征在于，若一段時(shí)間內(nèi)一虛擬線圈的最終輸出標(biāo)記連續(xù)為1，則表示這段時(shí)間內(nèi)一輛車駛過了該虛擬線圈，從而對于車輛進(jìn)行計(jì)數(shù)。
全文摘要
本發(fā)明公開了一種自適應(yīng)學(xué)習(xí)的視頻車輛檢測方法，該方法將視頻車輛檢測問題視為模式分類問題，主要由圖像特征提取、分類器離線訓(xùn)練、分類器在線優(yōu)化、車輛計(jì)數(shù)步驟組成首先從監(jiān)控視頻中提取若干種有區(qū)分力的圖像特征，這些特征既能夠區(qū)分車輛和背景，又包含與光照和天氣條件相關(guān)的環(huán)境信息；然后利用監(jiān)督學(xué)習(xí)方法離線訓(xùn)練模式分類器，并在線優(yōu)化模式分類器，自動(dòng)調(diào)整各個(gè)分量分類器的結(jié)構(gòu)和參數(shù)，使分類器具有自適應(yīng)學(xué)習(xí)能力，在復(fù)雜交通場景中取得更好的分類效果；最后對分類結(jié)果序列做后處理，進(jìn)一步提高車輛檢測和計(jì)數(shù)的精度。本發(fā)明增強(qiáng)了現(xiàn)有的虛擬線圈車輛檢測方法，具有顯著的工程應(yīng)用價(jià)值，能夠促進(jìn)視頻監(jiān)控領(lǐng)域和智能交通領(lǐng)域的發(fā)展。
文檔編號(hào)G06K9/62GK103150903SQ20131004972
公開日2013年6月12日 申請日期2013年2月7日 優(yōu)先權(quán)日2013年2月7日
發(fā)明者王坤峰, 姚彥潔, 王飛躍, 俞忠東, 熊剛, 朱鳳華 申請人:中國科學(xué)院自動(dòng)化研究所, 東莞中國科學(xué)院云計(jì)算產(chǎn)業(yè)技術(shù)創(chuàng)新與育成中心