專利名稱：基于機(jī)器視覺的行人安全狀態(tài)識(shí)別系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用車載圖像處理裝置檢測(cè)車輛前方行人并進(jìn)行安全狀態(tài)識(shí)別 的方法，更具體地說，本發(fā)明涉及一種基于機(jī)器視覺的行人安全狀態(tài)識(shí)別方法。
背景技術(shù)：
混合交通是我國交通的重要特征，道路上機(jī)動(dòng)車、自行車、行人沖突嚴(yán)重，處于弱 勢(shì)地位的行人安全隱患相對(duì)較大。據(jù)公安部交通管理部門統(tǒng)計(jì)，2000年后我國交通死亡人 數(shù)平均每年逾10萬，受傷人數(shù)約50萬，其中60%以上為行人和騎自行車者。因此，開發(fā)行 人安全保護(hù)系統(tǒng)對(duì)于減少交通事故，保障交通安全具有重要的意義。目前的行人安全保護(hù) 機(jī)制包括汽車的被動(dòng)安全和主動(dòng)安全機(jī)制。被動(dòng)安全機(jī)制主要包括行人安全氣囊系統(tǒng)等， 它是在行人與車輛碰撞不可避免時(shí)，啟動(dòng)車輛前方的行人安全氣囊，降低行人與車輛碰撞 的傷害程度。汽車被動(dòng)安全技術(shù)雖然在一定程度上降低了行人的受傷害程度，但不能從根 本上避免行人和車輛碰撞事故。而車輛智能主動(dòng)安全保障系統(tǒng)等主動(dòng)安全技術(shù)，是利用安 裝在車輛上的傳感器檢測(cè)并識(shí)別車輛前方的行人，當(dāng)出現(xiàn)潛在沖突時(shí)，進(jìn)行自動(dòng)報(bào)警，避免 車輛與行人相撞，從根本上保證行人安全。國內(nèi)外學(xué)者對(duì)基于視覺的行人檢測(cè)與識(shí)別技術(shù) 進(jìn)行了大量研究，盡管取得了一些成果，但離應(yīng)用于實(shí)際的行人安全預(yù)警要求尚有較大差 距，主要體現(xiàn)在絕大多數(shù)仍停留在行人檢測(cè)與識(shí)別方法方面，缺少進(jìn)一步對(duì)行人安全狀態(tài) 判別的研究，無法根據(jù)行人的安全狀態(tài)制定相應(yīng)的車輛駕駛行為智能控制決策；在車輛、行 人發(fā)生沖突時(shí)，行人主觀行為是判定行人安全狀態(tài)不容忽視的一項(xiàng)信息?，F(xiàn)有方法沒有對(duì) 潛在沖突下行人交通行為的表達(dá)與分析進(jìn)行研究，缺乏行人行為模式的判別與預(yù)測(cè)。因此 行人安全狀態(tài)識(shí)別技術(shù)有待進(jìn)一步深入研究。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是現(xiàn)有技術(shù)無法根據(jù)行人的安全狀態(tài)制定相應(yīng)的車 輛駕駛行為智能控制決策的問題，提供了一種基于機(jī)器視覺的行人安全狀態(tài)識(shí)別方法。為解決上述技術(shù)問題，本發(fā)明是采用如下技術(shù)方案實(shí)現(xiàn)的所述的種基于機(jī)器視 覺的行人安全狀態(tài)識(shí)別方法包括如下步驟1.車載動(dòng)態(tài)視頻圖像的采集安裝在車輛前端的攝像機(jī)實(shí)時(shí)采集車輛前方的行人圖像，并將行人圖像實(shí)時(shí)傳輸 給安裝有圖像處理系統(tǒng)的計(jì)算機(jī)；2.車輛前方感興趣區(qū)域行人檢測(cè)與識(shí)別；3.運(yùn)動(dòng)行人跟蹤；4.車輛前方行人距離檢測(cè)計(jì)算；5.車輛實(shí)時(shí)速度獲取利用輪速傳感器獲取的非驅(qū)動(dòng)輪速乘以車輪滾動(dòng)半徑計(jì)算得到車輛運(yùn)動(dòng)速度；6.行人安全狀態(tài)識(shí)別。
技術(shù)方案中所述的車輛前方感興趣區(qū)域行人檢測(cè)與識(shí)別包括如下步驟1.圖像像素梯度方向計(jì)算對(duì)于圖像中的任意點(diǎn)(X，y)的采用水平梯度算子[_1，0，1]計(jì)算水平方向梯度值 Gh(x, y)和垂直梯度算子[_1，0，1]τ計(jì)算垂直方向梯度值Gv(x，y)Gh(x, y) = f(x+l, y)-f(x-l, y) ;Gv(x, y) = f(x, y+l)-f(x, y-1)由此可得點(diǎn)(χ, y)的梯度強(qiáng)度M(x，y)和梯度方向θ (χ, y)分別為
^r κ ^ ν…、~3—TTiο θ{χ,γ) = arctan( hKX,y))2.統(tǒng)計(jì)圖像梯度方向直方圖(Histogram of Oriented Gradients, HOG)首先計(jì)算圖像中每個(gè)單元和每個(gè)塊內(nèi)各個(gè)方向的梯度值分布，然后將梯度方向定 在0°到180°上分為9段，統(tǒng)計(jì)其梯度方向直方圖，采用的單元大小為8*8的像素區(qū)域，每 個(gè)塊包含2 個(gè)單元，并且一個(gè)塊的掃描區(qū)域移動(dòng)步長為一個(gè)單元的大小，具體的HOG特征 提取如下1)統(tǒng)計(jì)一個(gè)單元上的梯度直方圖，即按照梯度值在梯度方向上的投影值累積畫 出；2)統(tǒng)計(jì)一個(gè)塊上的梯度直方圖，將單元上的梯度直方圖串聯(lián)起來；3)使用二范數(shù)歸一化每個(gè)塊的梯度直方圖，以此來消除光照的過大影響；4)統(tǒng)計(jì)一個(gè)行人檢測(cè)樣本的HOG特征，即將一個(gè)檢測(cè)樣本上的所有塊直方圖串聯(lián)起來。3.行人樣本與非行人樣本的訓(xùn)練計(jì)算每個(gè)行人和非行人檢測(cè)樣本的HOG特征，采用SVM分類器將行人和非行人兩 類樣本特征向量映射到一個(gè)高維的空間里，并構(gòu)建一區(qū)分兩類樣本的最優(yōu)分類器。4.感興趣區(qū)域設(shè)定及行人的檢測(cè)與識(shí)別由于只檢測(cè)識(shí)別道路前方的行人，對(duì)所拍攝圖像只針對(duì)行人可能出現(xiàn)的區(qū)域做處 理，采用多尺度變換方法對(duì)圖像不同尺寸大小的區(qū)域進(jìn)行掃描，對(duì)每一個(gè)單元按比例縮放 后統(tǒng)計(jì)此區(qū)域內(nèi)的梯度方向直方圖，利用SVM分類器判斷每一個(gè)區(qū)域HOG特征是否為可以 匹配為行人樣本HOG特征。技術(shù)方案中所述的運(yùn)動(dòng)行人跟蹤包括如下步驟1.特征表達(dá)令M*N為分割的二值圖像，任意一個(gè)前景目標(biāo)R中像素點(diǎn)的f(i，j)均為1，則R的 重心C坐標(biāo)(χ。，y。)可定義為
權(quán)利要求
1.一種基于機(jī)器視覺的行人安全狀態(tài)識(shí)別方法，其特征在于，所述的基于機(jī)器視覺的 行人安全狀態(tài)識(shí)別方法包括如下步驟1)車載動(dòng)態(tài)視頻圖像的采集安裝在車輛前端的攝像機(jī)實(shí)時(shí)采集車輛前方的行人圖像，并將行人圖像實(shí)時(shí)傳輸給安 裝有圖像處理系統(tǒng)的計(jì)算機(jī)；2)車輛前方感興趣區(qū)域行人檢測(cè)與識(shí)別；3)運(yùn)動(dòng)行人跟蹤；4)車輛前方行人距離檢測(cè)計(jì)算；5)車輛實(shí)時(shí)速度獲取利用輪速傳感器獲取的非驅(qū)動(dòng)輪速乘以車輪滾動(dòng)半徑計(jì)算得到車輛運(yùn)動(dòng)速度；6)行人安全狀態(tài)識(shí)別。
2.按照權(quán)利要求1所述的基于機(jī)器視覺的行人安全狀態(tài)識(shí)別方法，其特征在于，所述 的車輛前方感興趣區(qū)域行人檢測(cè)與識(shí)別包括如下步驟1)圖像像素梯度方向計(jì)算對(duì)于圖像中的任意點(diǎn)(x，y)的采用水平梯度算子[_1，0，1]計(jì)算水平方向梯度值(}h(x， y)和垂直梯度算子[_1，0，1]τ計(jì)算垂直方向梯度值Gv(x，y)Gh(x, y) = f(x+l, y)-f(x-l, y) ;Gv(x, y) = f(x, y+l)-f(x, y-1)由此可得點(diǎn)(x，y)的梯度強(qiáng)度M(x，y)和梯度方向θ (χ, y)分別為M(X,y)^Gv(X,yf+Gh(X,yf ；吵，力“^^)2)統(tǒng)計(jì)圖像梯度方向直方圖首先計(jì)算圖像中每個(gè)單元和每個(gè)塊內(nèi)各個(gè)方向的梯度值分布，然后將梯度方向定在 0°到180°上分為9段，統(tǒng)計(jì)其梯度方向直方圖，采用的單元大小為8*8的像素區(qū)域，每個(gè) 塊包含2 個(gè)單元，并且一個(gè)塊的掃描區(qū)域移動(dòng)步長為一個(gè)單元的大小，具體的HOG特征提 取如下(1)統(tǒng)計(jì)一個(gè)單元上的梯度直方圖，即按照梯度值在梯度方向上的投影值累積畫出；(2)統(tǒng)計(jì)一個(gè)塊上的梯度直方圖，將單元上的梯度直方圖串聯(lián)起來；(3)使用二范數(shù)歸一化每個(gè)塊的梯度直方圖，以此來消除光照的過大影響；(4)統(tǒng)計(jì)一個(gè)行人檢測(cè)樣本的HOG特征，即將一個(gè)檢測(cè)樣本上的所有塊直方圖串聯(lián)起來；3)行人樣本與非行人樣本的訓(xùn)練計(jì)算每個(gè)行人和非行人檢測(cè)樣本的HOG特征，采用SVM分類器將行人和非行人兩類樣 本特征向量映射到一個(gè)高維的空間里，并構(gòu)建一區(qū)分兩類樣本的最優(yōu)分類器；4)感興趣區(qū)域設(shè)定及行人的檢測(cè)與識(shí)別由于只檢測(cè)識(shí)別道路前方的行人，對(duì)所拍攝圖像只針對(duì)行人可能出現(xiàn)的區(qū)域做處理， 采用多尺度變換方法對(duì)圖像不同尺寸大小的區(qū)域進(jìn)行掃描，對(duì)每一個(gè)單元按比例縮放后統(tǒng) 計(jì)此區(qū)域內(nèi)的梯度方向直方圖，利用SVM分類器判斷每一個(gè)區(qū)域HOG特征是否為可以匹配 為行人樣本HOG特征。
3.按照權(quán)利要求1所述的基于機(jī)器視覺的行人安全狀態(tài)識(shí)別方法，其特征在于，所述的運(yùn)動(dòng)行人跟蹤包括如下步驟1)特征表達(dá)令M*N為分割的二值圖像，任意一個(gè)前景目標(biāo)R中像素點(diǎn)的f(i，j)均為1，則R的重 心C坐標(biāo)(x。，y。)可定義為
4.按照權(quán)利要求1所述的基于機(jī)器視覺的行人安全狀態(tài)識(shí)別方法，其特征在于，所述 的車輛前方行人距離檢測(cè)計(jì)算包括如下步驟1)假定世界坐標(biāo)系原點(diǎn)位于地平面上且位于攝像機(jī)坐標(biāo)系原點(diǎn)的正下方；用三腳 架將攝像機(jī)固定于車輛前擋風(fēng)玻璃處，量測(cè)攝像機(jī)光心離地高度為α米，有如下關(guān)系:
5.按照權(quán)利要求1所述的基于機(jī)器視覺的行人安全狀態(tài)識(shí)別方法，其特征在于，所述 的行人安全狀態(tài)識(shí)別包括如下步驟1)臨界沖突區(qū)域構(gòu)建；2)相對(duì)運(yùn)動(dòng)過程中行人位于沖突區(qū)域外安全狀態(tài)判別；(1)行人的運(yùn)動(dòng)軌跡不能進(jìn)入沖突區(qū)域則行人處于安全狀態(tài)；(2)如果行人的運(yùn)動(dòng)軌跡進(jìn)入沖突區(qū)域時(shí)，與機(jī)動(dòng)車的距離小于安全距離，則行人處于 危險(xiǎn)狀態(tài)；(3)如果行人的運(yùn)動(dòng)軌跡進(jìn)入沖突區(qū)域時(shí)，與機(jī)動(dòng)車的距離大于安全距離，則行人處于 安全狀態(tài)；3)相對(duì)運(yùn)動(dòng)過程中行人位于沖突區(qū)域內(nèi)安全狀態(tài)判別處理；在實(shí)際交通中，考慮到車身有一定的寬度且制動(dòng)以及反應(yīng)需要一定時(shí)間，同時(shí)考慮到 行人與機(jī)動(dòng)車相對(duì)位置的不同，需要分別進(jìn)行判斷處理(1)對(duì)行人已經(jīng)處在沖突區(qū)域，若行人離開沖突區(qū)域而未進(jìn)入危險(xiǎn)區(qū)域，則不需要采取 制動(dòng)措施；(2)若行人進(jìn)入危險(xiǎn)區(qū)域，則需要采取緊急制動(dòng)或采取其他措施避免發(fā)生事故發(fā)生；(3)若行人仍將留在沖突區(qū)域中，則需要根據(jù)行人與機(jī)動(dòng)車的相對(duì)位置進(jìn)行分類處理行人P1雖然在沖突區(qū)域中，但由于有足夠的距離，機(jī)動(dòng)車不需要采取措施；行人P2在緩 沖區(qū)域中，機(jī)動(dòng)車應(yīng)該采取相應(yīng)措施避免其進(jìn)入危險(xiǎn)區(qū)域，由此可得式行人不離開沖突區(qū)域y>d + d' 機(jī)動(dòng)車與行人有足夠安全距離，不需要采取措施d < y < d + d,行人己進(jìn)入緩沖區(qū)，機(jī)動(dòng)車需采取相應(yīng)措施式中y為坐標(biāo)系內(nèi)縱坐標(biāo)值；d為安全距離；d'為緩沖距離。
6.按照權(quán)利要求5所述的基于機(jī)器視覺的行人安全狀態(tài)識(shí)別方法，其特征在于，所述 的臨界沖突區(qū)域構(gòu)建包括如下步驟1)以機(jī)動(dòng)車為參考基準(zhǔn)，建立相對(duì)坐標(biāo)系y'-χ'，則機(jī)動(dòng)車相對(duì)靜止，行人以相對(duì)速度.卩2運(yùn)動(dòng)；
全文摘要
本發(fā)明公開了基于機(jī)器視覺的行人安全狀態(tài)識(shí)別方法，旨在克服現(xiàn)有技術(shù)存在無法根據(jù)行人的安全狀態(tài)制定相應(yīng)的車輛駕駛行為智能控制決策的問題。該方法包括如下步驟車載動(dòng)態(tài)視頻圖像的采集；車輛前方感興趣區(qū)域行人檢測(cè)與識(shí)別；運(yùn)動(dòng)行人跟蹤；車輛前方行人距離檢測(cè)計(jì)算；車輛實(shí)時(shí)速度獲?。恍腥税踩珷顟B(tài)識(shí)別。其中行人安全狀態(tài)識(shí)別包括如下步驟臨界沖突區(qū)域構(gòu)建；相對(duì)運(yùn)動(dòng)過程中行人位于沖突區(qū)域外安全狀態(tài)判別；相對(duì)運(yùn)動(dòng)過程中行人位于沖突區(qū)域內(nèi)安全狀態(tài)判別。根據(jù)上述的步驟利用視覺傳感器獲取的機(jī)動(dòng)車與行人的相對(duì)速度以及相對(duì)位置，預(yù)測(cè)出行人是否會(huì)進(jìn)入危險(xiǎn)區(qū)域，并采取相應(yīng)的策略避免發(fā)生事故。輔助駕駛員采取措施避免與行人發(fā)生碰撞。
文檔編號(hào)G08G1/16GK102096803SQ20101056155
公開日2011年6月15日 申請(qǐng)日期2010年11月29日 優(yōu)先權(quán)日2010年11月29日
發(fā)明者宋現(xiàn)敏, 曲昭偉, 李志慧, 江晟, 胡宏宇, 胡金輝, 薛冠超, 陳永恒, 魏巍, 魏福祿 申請(qǐng)人:吉林大學(xué)