專利名稱：基于機(jī)器視覺(jué)的行人檢測(cè)方法及行人防撞預(yù)警系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)一種行人檢測(cè)方法及行人防撞預(yù)警系統(tǒng)，特別是指一種能準(zhǔn)確判斷行人位置以及發(fā)生危險(xiǎn)事故可能性的基于機(jī)器視覺(jué)的行人檢測(cè)方法及行人防撞預(yù)警系統(tǒng)。
背景技術(shù)：
行人檢測(cè)及警報(bào)系統(tǒng)是指，通過(guò)某種傳感器(如雷達(dá)和攝像機(jī))的探測(cè)功能，獲取行駛汽車前方的道路交通信息，包括相對(duì)移動(dòng)和相對(duì)靜止的行人或物體，然后再通過(guò)后臺(tái)系統(tǒng)，對(duì)傳感器獲取的信號(hào)進(jìn)行處理和分析，利用各種物理參數(shù)測(cè)量和計(jì)算機(jī)視覺(jué)識(shí)別等 技術(shù)，實(shí)現(xiàn)行人的檢測(cè)和跟蹤，并且通過(guò)計(jì)算相對(duì)位移和距離，預(yù)測(cè)車輛和行人相撞的可能性。如果根據(jù)當(dāng)前參數(shù)判斷出有相撞的可能性，則通過(guò)報(bào)警系統(tǒng)輸出報(bào)警信號(hào)，以提示駕駛員避免發(fā)生相撞的危險(xiǎn)，達(dá)到保護(hù)行人安全的目的?，F(xiàn)有的行人檢測(cè)系統(tǒng)一般包括兩個(gè)模塊感興趣區(qū)分割和目標(biāo)識(shí)別。感興趣區(qū)域分割的目的是從圖像中提取可能包含行人的窗口區(qū)域作進(jìn)一步驗(yàn)證，以避免窮盡搜索，提高系統(tǒng)的速度。目標(biāo)識(shí)別是行人檢測(cè)系統(tǒng)的核心，它對(duì)得到的感興趣區(qū)域進(jìn)行驗(yàn)證，以判斷其中是否包含行人，它的性能決定了整個(gè)系統(tǒng)可以達(dá)到的檢測(cè)精度和魯棒性。目前，行人檢測(cè)技術(shù)一般有以下幾種方式一，基于運(yùn)動(dòng)的方法；二，基于明確人體模型的方法；三，基于模板匹配的方法；四，基于統(tǒng)計(jì)分類的方法。以上幾種方法的基本原理和優(yōu)缺點(diǎn)分析分別如下基于運(yùn)動(dòng)的方法，其原理是通過(guò)分析行人步態(tài)的周期性來(lái)識(shí)別行人，其優(yōu)點(diǎn)是受顏色、光照的影響較小，魯棒性好，其缺點(diǎn)是只能識(shí)別運(yùn)動(dòng)行人，需要多幀，影響實(shí)時(shí)性；基于明確人體模型的方法，其原理是構(gòu)造明確的人體參數(shù)模型來(lái)表示行人，其優(yōu)點(diǎn)是具有明確的模型，方便處理姿態(tài)和遮擋問(wèn)題，其缺點(diǎn)是建模和求解比較復(fù)雜；基于模板匹配的方法，其原理是通過(guò)模板表示行人，其優(yōu)點(diǎn)是計(jì)算方法簡(jiǎn)單，系統(tǒng)開(kāi)銷小，其缺點(diǎn)是需要很多模板對(duì)付姿態(tài)問(wèn)題，匹配比較耗時(shí)間；基于統(tǒng)計(jì)分類的方法，其原理是通過(guò)分類器對(duì)行人進(jìn)行識(shí)別，其優(yōu)點(diǎn)是不需要人工設(shè)置大量參數(shù)、魯棒性好，其缺點(diǎn)是需要大量的訓(xùn)練數(shù)據(jù)并且訓(xùn)練周期較長(zhǎng)。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一種能提高行人檢測(cè)準(zhǔn)確性及準(zhǔn)確判斷發(fā)生危險(xiǎn)事故可能性的基于機(jī)器視覺(jué)的行人檢測(cè)方法及行人防撞預(yù)警系統(tǒng)。為達(dá)到上述目的，本發(fā)明提供一種基于機(jī)器視覺(jué)的行人檢測(cè)方法，其包括有如下步驟(a)采集汽車前方圖像，通過(guò)設(shè)置在汽車上的攝像機(jī)采集汽車前方實(shí)時(shí)圖像，并將圖像傳輸給圖像處理模塊對(duì)圖像進(jìn)行預(yù)處理；(b)在經(jīng)過(guò)預(yù)處理的圖像中對(duì)行人進(jìn)行預(yù)定位，在圖像中預(yù)定位行人區(qū)域；(C)對(duì)預(yù)定位的行人區(qū)域進(jìn)行判斷，去除誤檢區(qū)域，準(zhǔn)確定位行人區(qū)域；
(d)測(cè)量行人與汽車之間的距離；(e)判斷行人是否在危險(xiǎn)區(qū)域，并對(duì)處于碰撞危險(xiǎn)區(qū)域的行人進(jìn)行報(bào)警。所述步驟(a)中對(duì)圖像預(yù)處理包括根據(jù)數(shù)據(jù)庫(kù)格式的要求，對(duì)圖像進(jìn)行去鋸齒化操作和直方圖均衡化操作。在所述步驟(b)中，根據(jù)特定場(chǎng)景下行人圖像信息，預(yù)先訓(xùn)練適合此場(chǎng)景行人識(shí)別的HAAR特征分類器文件，在定位行人時(shí)根據(jù)預(yù)先訓(xùn)練的HAAR特征分類器定位行人區(qū)域。在所述步驟(C)中，通過(guò)對(duì)預(yù)定位的行人區(qū)域進(jìn)行HOG特征提取，根據(jù)已訓(xùn)練好的HOG特征分類器對(duì)提取的HOG特征進(jìn)行判斷，而準(zhǔn)確定位行人區(qū)域。在所述步驟(d)中運(yùn)用攝像機(jī)標(biāo)定原理計(jì)算行人與汽車之間的距離。
在所述步驟(e)中，包括汽車直行與汽車處于拐彎兩種情況，通過(guò)汽車速度與汽車橫擺角速度估算汽車行駛路徑，并結(jié)合行人與汽車之間的距離確定碰撞危險(xiǎn)區(qū)域。優(yōu)選地，在所述步驟(C)與(d)之間還包括有步驟(Cl)，對(duì)檢測(cè)的行人進(jìn)行跟蹤，將檢測(cè)的前一幀圖像的行人區(qū)域作擴(kuò)大后作為當(dāng)前幀圖像的行人感興趣區(qū)域，若未檢測(cè)到行人，則返回所述步驟(a)。優(yōu)選地，在所述步驟(d)與步驟(e)之間包括有步驟(dl)，預(yù)估行人行走路徑，連續(xù)采集行人的幾幀圖像，計(jì)算行人的位置數(shù)據(jù)，采用函數(shù)擬合方法預(yù)估行人的行走路徑，根據(jù)汽車行駛路徑及行人與汽車之間的距離并結(jié)合行人行走路徑確定碰撞危險(xiǎn)區(qū)域。本發(fā)明還提供一種基于機(jī)器視覺(jué)的行人防撞預(yù)警系統(tǒng)，其包括有圖像獲取及預(yù)處理単元，其用于采集汽車前方的圖像并對(duì)圖像預(yù)處理；與所述圖像獲取單元連接的行人定位単元，該行人定位単元用于定位圖像中行人的位置，所述行人定位単元根據(jù)預(yù)先訓(xùn)練的行人特征分類器對(duì)圖像中行人區(qū)域進(jìn)行預(yù)定位與準(zhǔn)確定位；與所述行人定位單元連接的行人測(cè)距單元，該行人測(cè)距單元基于圖像中行人位置測(cè)量行人與汽車之間的距離，所述行人測(cè)距單元根據(jù)攝像機(jī)標(biāo)定的方法計(jì)算行人位置；與所述行人測(cè)距單元連接的碰撞可能性分析単元，該碰撞可能性分析単元用于判斷行人與汽車發(fā)生碰撞的可能性，該碰撞可能性分析單元采用區(qū)域劃分，根據(jù)汽車行駛速度以及橫擺角參數(shù)估算汽車的行駛路徑，計(jì)算分析行人與汽車碰撞的可能性。優(yōu)選地，本發(fā)明基于機(jī)器視覺(jué)的行人防撞預(yù)警系統(tǒng)還包括有與所述行人定位単元連接的行人行走路徑單元，該行人行走路徑單元采用動(dòng)態(tài)物體跟蹤預(yù)測(cè)的方法通過(guò)函數(shù)擬合預(yù)測(cè)行人行走的路徑，根據(jù)汽車行駛速度以及橫擺角參數(shù)估算汽車的行駛路徑并結(jié)合行人路徑計(jì)算分析碰撞的可能性。本發(fā)明通過(guò)采用行人分類器檢測(cè)道路上的行人，模糊了行人之間的個(gè)體特征，減少了個(gè)體性差異對(duì)檢測(cè)結(jié)果的影響，同時(shí)減少了光照對(duì)檢測(cè)結(jié)果的影響，提高了行人的檢測(cè)效率，進(jìn)而通過(guò)防撞預(yù)警系統(tǒng)判斷發(fā)生事故的可能性，給駕駛?cè)藛T發(fā)出警示信號(hào)，提高了機(jī)動(dòng)車道路行駛的安全性。


圖I為本發(fā)明基于機(jī)器視覺(jué)的行人檢測(cè)方法步驟流程圖；圖2為本發(fā)明中的HAAR矩陣特征灰度值的計(jì)算原理圖3為本發(fā)明基于機(jī)器視覺(jué)的行人檢測(cè)方法的實(shí)施例示意圖ー；圖4為本發(fā)明基于機(jī)器視覺(jué)的行人檢測(cè)方法的實(shí)施例示意圖ニ ；圖5為本發(fā)明基于機(jī)器視覺(jué)的行人防撞預(yù)警系統(tǒng)實(shí)施例一的結(jié)構(gòu)原理圖；圖6為本發(fā)明基于機(jī)器視覺(jué)的行人防撞預(yù)警系統(tǒng)實(shí)施例ニ的結(jié)構(gòu)原理圖。
具體實(shí)施例方式為便于對(duì)本發(fā)明的方法及系統(tǒng)有進(jìn)一歩的了解，現(xiàn)配合附圖并舉較佳實(shí)施例詳細(xì)說(shuō)明如下。
本發(fā)明通過(guò)安裝于汽車上方攝像機(jī)獲取前方實(shí)時(shí)圖像，根據(jù)預(yù)防行人碰撞要求在圖像中提取感興趣區(qū)域，然后對(duì)所提取的區(qū)域進(jìn)行一系列的圖像處理和運(yùn)算，實(shí)現(xiàn)行人的檢測(cè)，結(jié)合行人碰撞危險(xiǎn)區(qū)判斷是否發(fā)出警報(bào)。如圖I所示，本發(fā)明的實(shí)施包括以下步驟步驟一，采集汽車前方圖像。通過(guò)設(shè)置在汽車上的攝像機(jī)(如紅外CXD攝像機(jī)或CMOS攝像機(jī))采集汽車前方實(shí)時(shí)圖像，并對(duì)圖像進(jìn)行適當(dāng)處理，例如根據(jù)數(shù)據(jù)格式的需要，將獲取的圖像轉(zhuǎn)換成單通道灰度圖像，以符合數(shù)據(jù)庫(kù)格式的要求，對(duì)圖像進(jìn)行去鋸齒化操作和直方圖均衡化操作。步驟ニ，在圖像中對(duì)行人進(jìn)行預(yù)定位。根據(jù)特定場(chǎng)景下行人圖像信息，預(yù)先訓(xùn)練適合此場(chǎng)景行人識(shí)別的HAAR特征分類器文件，在定位行人時(shí)根據(jù)預(yù)先訓(xùn)練的HAAR特征分類器定位行人區(qū)域。在步驟ニ中，其中，針對(duì)當(dāng)前行人檢測(cè)現(xiàn)狀及項(xiàng)目條件，采用HAAR特征的辦法，HAAR特征采用積分圖來(lái)計(jì)算。灰度圖像I的積分圖S定義為S(u,v) = ￡ I 1( X，y) dxdy其中，(u, V)表示積分圖坐標(biāo)，I (x, y)表示原圖像(x, y)點(diǎn)灰度值。HAAR矩形特征灰度值的計(jì)算如圖2所示，Al點(diǎn)的值表示區(qū)域A的灰度總和，簡(jiǎn)記為A ；A2點(diǎn)的值為A+B ；A3點(diǎn)的值為A+C ；A4點(diǎn)的值為A+B+C+D。于是由A1，A2，A3，A4圍成的矩形區(qū)域D的灰度總和可以表示為A1+A4-A2-A3。借助于積分圖像，計(jì)算矩形模板的灰度特征時(shí)同矩形大小無(wú)關(guān)。步驟三，對(duì)預(yù)定位的行人區(qū)域進(jìn)行判斷。在步驟ニ中提取的行人區(qū)域有較多的誤檢，通過(guò)對(duì)這些區(qū)域進(jìn)行HOG特征提取，根據(jù)已訓(xùn)練好的HOG特征分類器對(duì)提取的HOG特征進(jìn)行判斷，去除誤檢區(qū)域，從而準(zhǔn)確定位行人區(qū)域。步驟四，對(duì)檢測(cè)的行人進(jìn)行跟蹤。在步驟四準(zhǔn)確定位出行人區(qū)域后，對(duì)行人進(jìn)行跟蹤可以大大提升系統(tǒng)的實(shí)時(shí)性，例如將檢測(cè)的前一幀圖像的行人區(qū)域作適當(dāng)擴(kuò)大后作為該幀圖像的行人感興趣區(qū)域。若未檢測(cè)到行人，則返回步驟一。步驟五，測(cè)量行人與汽車之間的距離。本發(fā)明根據(jù)行人在圖像中的位置，運(yùn)用攝像機(jī)標(biāo)定原理計(jì)算行人與汽車之間的距離。公式為
fd — 7-~r ^ h
|Am|d是汽車與人的距離，h是攝像機(jī)與地面距離，Au為行人位置與地平面消失點(diǎn)的像素差，f為攝像機(jī)像素焦距(即透鏡的物理焦距與成像儀每個(gè)單位尺寸的乘積)。其中攝像機(jī)標(biāo)定方法原理，即采用世界坐標(biāo)投影到圖像坐標(biāo)的方法，設(shè)世界中點(diǎn)Q(X，Y，Z)其投影到圖像坐標(biāo)(x，y)，則
權(quán)利要求
1.一種基于機(jī)器視覺(jué)的行人檢測(cè)方法，其特征在于，其包括有如下步驟 (a)采集汽車前方圖像，通過(guò)設(shè)置在汽車上的攝像機(jī)采集汽車前方實(shí)時(shí)圖像，并將圖像傳輸給圖像處理模塊對(duì)圖像進(jìn)行預(yù)處理； (b)在經(jīng)過(guò)預(yù)處理的圖像中對(duì)行人進(jìn)行預(yù)定位，在圖像中預(yù)定位行人區(qū)域； (C)對(duì)預(yù)定位的行人區(qū)域進(jìn)行判斷，去除誤檢區(qū)域，準(zhǔn)確定位行人區(qū)域； (d)測(cè)量行人與汽車之間的距離； (e)判斷行人是否在危險(xiǎn)區(qū)域，并對(duì)處于碰撞危險(xiǎn)區(qū)域的行人進(jìn)行報(bào)警。
2.如權(quán)利要求I所述的基于機(jī)器視覺(jué)的行人檢測(cè)方法，其特征在于，所述步驟(a)中對(duì)圖像預(yù)處理包括根據(jù)數(shù)據(jù)庫(kù)格式的要求，對(duì)圖像進(jìn)行去鋸齒化操作和直方圖均衡化操作。
3.如權(quán)利要求I所述的基于機(jī)器視覺(jué)的行人檢測(cè)方法，其特征在于，在所述步驟(b)中，根據(jù)特定場(chǎng)景下行人圖像信息，預(yù)先訓(xùn)練適合此場(chǎng)景行人識(shí)別的HAAR特征分類器文件，在定位行人時(shí)根據(jù)預(yù)先訓(xùn)練的HAAR特征分類器定位行人區(qū)域。
4.如權(quán)利要求3所述的基于機(jī)器視覺(jué)的行人檢測(cè)方法，其特征在于，在所述步驟(c)中，通過(guò)對(duì)預(yù)定位的行人區(qū)域進(jìn)行HOG特征提取，根據(jù)已訓(xùn)練好的HOG特征分類器對(duì)提取的HOG特征進(jìn)行判斷，而準(zhǔn)確定位行人區(qū)域。
5.如權(quán)利要求I所述的基于機(jī)器視覺(jué)的行人檢測(cè)方法，其特征在于，在所述步驟(d)中運(yùn)用攝像機(jī)標(biāo)定原理計(jì)算行人與汽車之間的距離。
6.如權(quán)利要求I所述的基于機(jī)器視覺(jué)的行人檢測(cè)方法，其特征在于，在所述步驟(e)中，包括汽車直行與汽車處于拐彎兩種情況，通過(guò)汽車速度與汽車橫擺角速度估算汽車行駛路徑，并結(jié)合行人與汽車之間的距離確定碰撞危險(xiǎn)區(qū)域。
7.如權(quán)利要求I所述的基于機(jī)器視覺(jué)的行人檢測(cè)方法，其特征在于，在所述步驟(c)與(d)之間還包括有步驟(Cl)，對(duì)檢測(cè)的行人進(jìn)行跟蹤，將檢測(cè)的前一幀圖像的行人區(qū)域作擴(kuò)大后作為當(dāng)前幀圖像的行人感興趣區(qū)域，若未檢測(cè)到行人，則返回所述步驟(a)。
8.如權(quán)利要求6所述的基于機(jī)器視覺(jué)的行人檢測(cè)方法，其特征在于，在所述步驟(d)與步驟(e)之間包括有步驟(dl)，預(yù)估行人行走路徑，連續(xù)采集行人的幾幀圖像，計(jì)算行人的位置數(shù)據(jù)，采用函數(shù)擬合方法預(yù)估行人的行走路徑，根據(jù)汽車行駛路徑及行人與汽車之間的距離并結(jié)合行人行走路徑確定碰撞危險(xiǎn)區(qū)域。
9.一種基于機(jī)器視覺(jué)的行人防撞預(yù)警系統(tǒng)，其特征在于，其包括有 圖像獲取及預(yù)處理單元，其用于采集汽車前方的圖像并對(duì)圖像預(yù)處理； 與所述圖像獲取單元連接的行人定位單元，該行人定位單元用于定位圖像中行人的位置，所述行人定位單元根據(jù)預(yù)先訓(xùn)練的行人特征分類器對(duì)圖像中行人區(qū)域進(jìn)行預(yù)定位與準(zhǔn)確定位； 與所述行人定位單元連接的行人測(cè)距單元，該行人測(cè)距單元基于圖像中行人位置測(cè)量行人與汽車之間的距離，所述行人測(cè)距單元根據(jù)攝像機(jī)標(biāo)定的方法計(jì)算行人位置； 與所述行人測(cè)距單元連接的碰撞可能性分析單元，該碰撞可能性分析單元用于判斷行人與汽車發(fā)生碰撞的可能性，該碰撞可能性分析單元采用區(qū)域劃分，根據(jù)汽車行駛速度以及橫擺角參數(shù)估算汽車的行駛路徑，計(jì)算分析行人與汽車碰撞的可能性。
10.如權(quán)利要求9所述的基于機(jī)器視覺(jué)的行人防撞預(yù)警系統(tǒng)，其特征在于，其還包括有與所述行人定位單元連接的行人行走路徑單元，該行人行走路徑單元采用動(dòng)態(tài)物體跟蹤預(yù)測(cè)的方法通 過(guò)函數(shù)擬合預(yù)測(cè)行人行走的路徑，根據(jù)汽車行駛速度以及橫擺角參數(shù)估算汽車的行駛路徑并結(jié)合行人路徑計(jì)算分析碰撞的可能性。
全文摘要
本發(fā)明公開(kāi)了一種基于機(jī)器視覺(jué)的行人檢測(cè)方法及行人防撞預(yù)警系統(tǒng)，該方法包括采集汽車前方圖像、在經(jīng)過(guò)處理的圖像中對(duì)行人進(jìn)行預(yù)定位、對(duì)預(yù)定位的行人區(qū)域進(jìn)行判斷，準(zhǔn)確定位行人區(qū)域、測(cè)量行人與汽車之間的距離及判斷行人是否在危險(xiǎn)區(qū)域，并對(duì)處于碰撞危險(xiǎn)區(qū)域的行人進(jìn)行報(bào)警。該防撞預(yù)警系統(tǒng)包括圖像獲取單元、行人定位單元、行人測(cè)距單元及碰撞可能性分析單元，本發(fā)明通過(guò)采用行人分類器檢測(cè)道路上的行人，模糊了行人之間的個(gè)體特征，減少了個(gè)體性差異對(duì)檢測(cè)結(jié)果的影響，同時(shí)減少了光照對(duì)檢測(cè)結(jié)果的影響，提高了行人的檢測(cè)效率，進(jìn)而通過(guò)防撞預(yù)警系統(tǒng)判斷發(fā)生事故的可能性，給駕駛?cè)藛T發(fā)出警示信號(hào)，提高了機(jī)動(dòng)車道路行駛的安全性。
文檔編號(hào)B60W30/08GK102765365SQ20111011658
公開(kāi)日2012年11月7日 申請(qǐng)日期2011年5月6日 優(yōu)先權(quán)日2011年5月6日
發(fā)明者呂少亭, 李莉, 王執(zhí)中, 程如中, 許家堯, 趙勇, 邢文峰, 陳國(guó)保 申請(qǐng)人:香港生產(chǎn)力促進(jìn)局