專利名稱：用于駕駛安全的視覺障礙物檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，特別涉及到車輛駕駛安全領(lǐng)域的障礙物檢測(cè)方 法。
背景技術(shù)：
隨著各國(guó)向汽車社會(huì)快速邁進(jìn)的步伐，汽車技術(shù)特別是汽車安全技術(shù)受到越來越 受多的重視。除了傳統(tǒng)汽車行業(yè)中對(duì)汽車安全起決定作用的機(jī)電控制、汽車電子、機(jī)械零 件、發(fā)動(dòng)機(jī)等關(guān)鍵技術(shù)之外，各種輔助性技術(shù)也成為汽車安全駕駛的一個(gè)有效補(bǔ)充。目前，基于IT技術(shù)的汽車安全駕駛輔助系統(tǒng)是汽車安全駕駛的一個(gè)研究熱點(diǎn)。利 用IT行業(yè)的研究成果，為汽車安全駕駛提供輔助性的支持，從而增強(qiáng)汽車在安全方面的人 性化特征，達(dá)到輔助駕駛安全的目的。統(tǒng)計(jì)資料表明，駕駛員的人為因素導(dǎo)致的公路交通事 故率最高。無論是事故數(shù)量，還是傷亡人數(shù)均分別高達(dá)各自總數(shù)的90%左右。并且，在導(dǎo)致 這些公路交通事故的駕駛員的人為因素中，疲勞和精神分散駕駛是重要原因之一。駕駛員 在3-5秒時(shí)間內(nèi)的注意力不集中，造成了其中80 %的交通事故，主要表現(xiàn)為道路偏離和追 尾事故。研究顯示，若在公路交通事故發(fā)生前的1. 5秒給駕駛員發(fā)出預(yù)警，則可避免90%的 這類事故。因此，利用技術(shù)手段分析車道、周圍車輛的狀況等駕駛環(huán)境信息，一旦當(dāng)駕駛員 發(fā)生疲勞及精神分散、汽車出現(xiàn)無意識(shí)的道路偏離、車距過近存在追尾可能時(shí)，能夠及時(shí)給 予駕駛安全預(yù)警，是減少公路交通事故行之有效的技術(shù)措施，具有重大的經(jīng)濟(jì)、社會(huì)價(jià)值。從硬件設(shè)備上看，在國(guó)內(nèi)外的各種類型的研究中，路況檢測(cè)技術(shù)主要分為兩類一 類是基于視覺傳感器的路況檢測(cè)技術(shù)，另一類是基于非視覺的其它傳感器檢測(cè)技術(shù)。其中， 基于非視覺傳感器的檢測(cè)技術(shù)發(fā)展空間有限，主要受到傳感器的機(jī)械性能、物理性能的制 約，需要得到相關(guān)學(xué)科發(fā)展的促進(jìn)。而基于視覺傳感器的檢測(cè)技術(shù)由于IT技術(shù)的飛速發(fā)展 而得到了廣泛的重視。意大利帕爾馬大學(xué)研制的ARGO實(shí)驗(yàn)車裝備有攝像機(jī)、霍爾效應(yīng)傳感器、IO接口 板、信息輸出設(shè)備和奔騰200MMX的PC機(jī)。其核心是由奔騰200MMX的PC機(jī)實(shí)現(xiàn)的GOLD視 覺系統(tǒng)(Generic Obstacle and Lane Detection)，該系統(tǒng)根據(jù)2個(gè)前向攝像機(jī)采集的圖 像，檢測(cè)一般障礙物和結(jié)構(gòu)化環(huán)境中車道的位置，檢測(cè)速度為100ms。并實(shí)現(xiàn)幾何變換消除 左右圖像的透視效應(yīng)；左圖像通過一系列形態(tài)學(xué)的處理用于檢測(cè)白線，右圖像用于檢測(cè)障 礙物，以確定車前的可行駛區(qū)域。德國(guó)研究與技術(shù)部門與大眾汽車公司于1992年合作研制成的Caravelle系統(tǒng)應(yīng) 用于大眾公司的Caravelle旅行車，主要研究高速公路下的視覺導(dǎo)航。Caravelle系統(tǒng)包 括傳感器系統(tǒng)、執(zhí)行機(jī)構(gòu)和計(jì)算機(jī)系統(tǒng)；其中，傳感器系統(tǒng)除包括兩臺(tái)攝像機(jī)外，還包括一 個(gè)速度傳感器和一個(gè)測(cè)量駕駛角的傳感器。兩臺(tái)攝像機(jī)中一臺(tái)裝有攝遠(yuǎn)鏡頭的用來檢測(cè)障 礙，另一臺(tái)裝有廣角鏡頭的用來檢測(cè)行車道。執(zhí)行機(jī)構(gòu)為方向力矩電機(jī)和電子油門。計(jì)算機(jī) 系統(tǒng)由兩臺(tái)PC組成，一臺(tái)完成圖像處理、卡爾曼動(dòng)態(tài)濾波、車體控制，另一臺(tái)PC完成系統(tǒng)自 舉、監(jiān)控等功能。92年公布的材料顯示該系統(tǒng)從識(shí)別一幀圖像到完成控制的周期為70ms。
從發(fā)展趨勢(shì)來看，在其它傳感器發(fā)展緩慢的今天，基于視覺傳感器的IT處理技術(shù) 將承擔(dān)汽車安全輔助的主要任務(wù)，具有廣闊的發(fā)展空間。而多傳感器融合的技術(shù)方案也將 提高視覺系統(tǒng)的性能。所以，對(duì)汽車安全駕駛具有實(shí)際應(yīng)用價(jià)值的路況監(jiān)測(cè)技術(shù)也將以視 覺傳感器為核心，以多傳感器融合的技術(shù)方案得到深入廣泛的發(fā)展。中國(guó)專利(2007101665162.0)公開了一種障礙物的監(jiān)測(cè)方法及其系統(tǒng)，使用水平 激光照射路面，然后用攝像頭采集指定路面的圖像是否存在激光反射特征判斷路面是否存 在障礙物，但是該方法，會(huì)對(duì)路面環(huán)境造成光干擾，并且需要激光設(shè)備，系統(tǒng)復(fù)雜。中國(guó)專利(200910049885. 3)公開了一種自動(dòng)識(shí)別道路深坑與障礙物的車輛智能 裝置，使用雙目針孔攝像頭采集圖像，通過雙目視覺的方法判斷道路前方高度是否異常，對(duì) 深坑以及路面物體給出報(bào)警，目前計(jì)算機(jī)視覺中三種已有的處理方法KLT (Kanade-Lucas-Tomasi)跟蹤方法、 K均值聚類法以及歷史運(yùn)動(dòng)消隱法，分別說明如下KLT跟蹤方法是計(jì)算視覺中一種重要的目標(biāo)跟蹤方法，它首先在待跟蹤目標(biāo)上提 取具有一下特征的點(diǎn)(下稱角點(diǎn))角點(diǎn)提取采用如下算法對(duì)于當(dāng)前幀圖像內(nèi)的每一個(gè)點(diǎn) 計(jì)算出矩陣Z 其中，gx表示圖像在位置(x，y)處亮度的一階水平方向?qū)?shù)，gy表示圖像在位置 (X，y)處亮度的一階豎直方向?qū)?shù)。再計(jì)算該矩陣的特征值入工和λ2，如果λ” λ2的最 小值大于設(shè)定閾值λ，認(rèn)為是角點(diǎn)，否則不是角點(diǎn)，閾值的設(shè)定根據(jù)實(shí)驗(yàn)效果調(diào)整得到。提取出當(dāng)前幀圖像的角點(diǎn)后，使用下面方法在后一幀圖像中找到當(dāng)前幀圖像各角 點(diǎn)新的對(duì)應(yīng)位置設(shè)定一個(gè)固定搜索窗口大小寬度為Wx，高度為Wy，設(shè)當(dāng)前圖像(X，y)處的亮度為 I(x，y)，后一幀圖像(x，y)處的亮度為J(x，y)，對(duì)于每個(gè)角點(diǎn)，對(duì)于它的所有偏移(dx, dy) 計(jì)算下面值，取使ε (d)值最小的(dx，dy)為該角點(diǎn)從當(dāng)前幀到后一幀的運(yùn)動(dòng)位移。 K均值聚類算法基本思想是先進(jìn)行粗略的分類，然后按照某種最優(yōu)的原則修改不 合理的分類，直至分類比較合理為止，形成最終的分類結(jié)果。K-均值聚類把點(diǎn)到聚類中心的 某種距離(如歐式距離)和作為優(yōu)化的目標(biāo)函數(shù)，采用函數(shù)求極值的方法得到迭代運(yùn)算的 調(diào)整規(guī)則。K均值聚類需要根據(jù)實(shí)際情況預(yù)先給定待聚類數(shù)K。歷史運(yùn)動(dòng)消隱法中圖像定義如下，對(duì)于第k幀圖像(x，y)處，對(duì)應(yīng)的歷史運(yùn)動(dòng)圖像 mhi在該處的值為 其中silh是用當(dāng)前幀圖像與前一幀相減的二值化圖像，T為當(dāng)前時(shí)間，AT是控制 消隱速度的時(shí)間閾值，根據(jù)實(shí)驗(yàn)中的效果來設(shè)定。mhi中運(yùn)動(dòng)發(fā)生的象素點(diǎn)被設(shè)置為當(dāng)前時(shí)間戳，而運(yùn)動(dòng)發(fā)生較久的象素點(diǎn)被清除，反應(yīng)了當(dāng)前時(shí)間附近各個(gè)點(diǎn)的累積運(yùn)動(dòng)程度。然后 計(jì)算運(yùn)動(dòng)歷史圖像mhi的各個(gè)連通域，即可得到障礙物的位置、大小、形狀等信息。

發(fā)明內(nèi)容
本發(fā)明的目的是為克服已有技術(shù)的不足之處，提出一種用于駕駛安全的視覺障礙 物檢測(cè)方法，僅使用普通攝像頭，實(shí)現(xiàn)簡(jiǎn)易低廉，該方法計(jì)算速度快，比較穩(wěn)定且環(huán)境適應(yīng) 能力強(qiáng)。本發(fā)明的用于駕駛安全的視覺障礙物檢測(cè)方法，其特征在于，包括如下步驟(1)采集視頻圖像通過采集車外視頻圖像的攝像頭實(shí)時(shí)采集車外視屏圖像；(2)采用KLT跟蹤方法與K均值聚類法得到當(dāng)前幀圖像中K個(gè)候選障礙物中心和 輪廓；(3)采用基于幀差的歷史運(yùn)動(dòng)消隱法檢測(cè)得到當(dāng)前幀圖像中多個(gè)候選障礙物中心 和輪廓；(4)對(duì)步驟⑵、(3)得到的兩種結(jié)果求交集運(yùn)算，交集運(yùn)算結(jié)果作為最終障礙物 的中心區(qū)域；(5)在步驟(2)、(3)得到的兩種結(jié)果中搜索與步驟(4)得到的障礙物中心區(qū)域相 連的區(qū)域，將這些區(qū)域與對(duì)應(yīng)的中心區(qū)域組成當(dāng)前幀圖像的各個(gè)障礙物的邊界，作為障礙 物檢測(cè)結(jié)果，轉(zhuǎn)步驟(1)。本發(fā)明的特點(diǎn)及有益效果本發(fā)明的特點(diǎn)為首先車輛上的攝像頭對(duì)前方路面進(jìn)行采集，然后提取圖像中的 角點(diǎn)，并利用光流與K均值對(duì)障礙物初步估計(jì)，得到障礙物的候選中心位置以及大小；然后 利用基于幀差的運(yùn)動(dòng)歷史消隱法排除前面結(jié)果中運(yùn)動(dòng)速度不合理的區(qū)域，這樣得到更加魯 棒的障礙物中心，然后把兩種方法結(jié)果進(jìn)行并運(yùn)算，在確認(rèn)后的障礙物中心周圍取區(qū)域邊 界作為每個(gè)障礙物的邊界。本發(fā)明的有益效果為僅使用普通分辨率視頻圖像采集設(shè)備，不使用除攝像頭之 外的額外傳感器，且簡(jiǎn)單易行，且不會(huì)對(duì)路面造成污染。本方法選用了適于移動(dòng)計(jì)算設(shè)備的計(jì)算視覺技術(shù)，僅使用單目視覺方法推算障礙 物的高度，計(jì)算速度比雙目視覺快速，且本方法使用兩種視覺方法進(jìn)行雙重確認(rèn)，檢測(cè)效果 更加穩(wěn)定準(zhǔn)確，環(huán)境適應(yīng)性好。


圖1為本發(fā)明方法采用的汽車道路障礙物監(jiān)測(cè)實(shí)施例結(jié)構(gòu)示意圖。圖2為本發(fā)明的道路障礙物檢測(cè)方法流程圖。圖3為本發(fā)明采用KLT跟蹤方法與K均值聚類法得到候選障礙物中心和輪廓流程 圖。
具體實(shí)施例方式本發(fā)明提出的用于駕駛安全的視覺障礙物檢測(cè)方法，結(jié)合附圖及實(shí)施例詳細(xì)說明 如下
本發(fā)明方法的具體實(shí)施方式
是在被保護(hù)的汽車內(nèi)安裝有采集車外視頻圖像的攝 像頭以及與其相連的計(jì)算機(jī)，該計(jì)算機(jī)上存儲(chǔ)有預(yù)先編制的按本發(fā)明方法實(shí)現(xiàn)的障礙物檢 測(cè)程序，攝像頭采用普通USB網(wǎng)絡(luò)攝像頭，計(jì)算機(jī)使用1.2GHz CPU處理器。攝像頭安裝實(shí) 施例如圖1所示，攝像頭1對(duì)準(zhǔn)汽車2前方，以圖像下邊緣剛剛超過車頭3線為準(zhǔn)(圖中虛 線標(biāo)示出攝像頭對(duì)準(zhǔn)的方向和車外視頻圖像采集的范圍)。本發(fā)明的用于駕駛安全的視覺障礙物檢測(cè)方法實(shí)施例流程如圖2所示，包括如下 步驟(1)采集視頻圖像通過采集車外視頻圖像的攝像頭實(shí)時(shí)采集車外視屏圖像，所 采集圖像的大小規(guī)格由攝像頭驅(qū)動(dòng)決定，最常用的是320X240和640X480兩種大小規(guī)格。 本實(shí)施例中，所采集圖像的大小規(guī)格為320X240像素；(2)采用KLT跟蹤方法與K均值聚類法得到當(dāng)前幀圖像中K個(gè)候選障礙物中心和 輪廓，如圖3所示，具體包括以下步驟A.在步驟(1)采集的當(dāng)前幀圖像中提取路面區(qū)域的角點(diǎn)位置信息；B.根據(jù)當(dāng)前幀圖像的角點(diǎn)數(shù)以及上一幀圖像中檢測(cè)得到的障礙物個(gè)數(shù)估計(jì)當(dāng)前 幀圖像待聚類數(shù)K ;κ的確定方法如下 其中，&表示第j幀估計(jì)的聚類數(shù)，用于第^四步中的聚類，表示第j_l幀檢測(cè) 到的障礙物數(shù)；Ktl為起始幀圖像的障礙物估計(jì)數(shù)，M0為起始幀圖像內(nèi)檢測(cè)到的角點(diǎn)數(shù)。C.根據(jù)當(dāng)前幀圖像及下一幀圖像利用KLT算法計(jì)算當(dāng)前幀圖像的角點(diǎn)的運(yùn)動(dòng)位 移；D.將當(dāng)前幀圖像的角點(diǎn)位置信息及其運(yùn)動(dòng)位移組成一個(gè)多維向量，采用K均值法 進(jìn)行聚類，將當(dāng)前幀圖像的角點(diǎn)劃分成K個(gè)集合，每個(gè)集合的中心為候選障礙物中心，集合 的邊界為候選障礙物輪廓；(3)采用基于幀差的歷史運(yùn)動(dòng)消隱法檢測(cè)得到當(dāng)前幀圖像中多個(gè)候選障礙物中心 和輪廓；(4)對(duì)步驟(2)、(3)得到的兩種結(jié)果求交集運(yùn)算，交集運(yùn)算結(jié)果作為最終障礙物 的中心區(qū)域；(5)在步驟(2)、(3)得到的兩種結(jié)果中搜索與步驟(4)得到的障礙物中心區(qū)域相 連的區(qū)域，將這些區(qū)域與對(duì)應(yīng)的中心區(qū)域組成當(dāng)前幀圖像的各個(gè)障礙物的邊界，作為障礙 物檢測(cè)結(jié)果，轉(zhuǎn)步驟(1)。
權(quán)利要求
一種用于駕駛安全的視覺障礙物檢測(cè)方法，其特征在于，包括如下步驟(1)采集視頻圖像通過采集車外視頻圖像的攝像頭實(shí)時(shí)采集車外視屏圖像；(2)采用KLT跟蹤方法與K均值聚類法得到當(dāng)前幀圖像中K個(gè)候選障礙物中心和輪廓；(3)采用基于幀差的歷史運(yùn)動(dòng)消隱法檢測(cè)得到當(dāng)前幀圖像中多個(gè)候選障礙物中心和輪廓；(4)對(duì)步驟(2)、(3)得到的兩種結(jié)果求交集運(yùn)算，交集運(yùn)算結(jié)果作為最終障礙物的中心區(qū)域；(5)在步驟(2)、(3)得到的兩種結(jié)果中搜索與步驟(4)得到的障礙物中心區(qū)域相連的區(qū)域，將這些區(qū)域與對(duì)應(yīng)的中心區(qū)域組成當(dāng)前幀圖像的各個(gè)障礙物的邊界，作為障礙物檢測(cè)結(jié)果，轉(zhuǎn)步驟(1)。
2.如權(quán)利要求1所述其特征在于，所述步驟(2)采用KLT跟蹤方法與K均值聚類法得 到當(dāng)前幀圖像中K個(gè)候選障礙物中心和輪廓，具體包括以下步驟A.在步驟(1)采集的當(dāng)前幀圖像中提取路面區(qū)域的角點(diǎn)位置信息；B.根據(jù)當(dāng)前幀圖像的角點(diǎn)數(shù)以及上一幀圖像中檢測(cè)得到的障礙物個(gè)數(shù)估計(jì)當(dāng)前幀圖 像待聚類數(shù)K ；K的確定方法如下 其中，&表示第j幀估計(jì)的聚類數(shù)，用于第四步中的聚類，表示第j-i幀檢 測(cè)到的障礙物數(shù)；Ktl為起始幀圖像的障礙物估計(jì)數(shù)，M0為起始幀圖像內(nèi)檢測(cè)到的角點(diǎn)數(shù)。C.根據(jù)當(dāng)前幀圖像及下一幀圖像利用KLT算法計(jì)算當(dāng)前幀圖像的角點(diǎn)的運(yùn)動(dòng)位移；D.將當(dāng)前幀圖像的角點(diǎn)位置信息及其運(yùn)動(dòng)位移組成一個(gè)多維向量，采用K均值法進(jìn)行 聚類，將當(dāng)前幀圖像的角點(diǎn)劃分成K個(gè)集合，每個(gè)集合的中心為候選障礙物中心，集合的邊 界為候選障礙物輪廓。
全文摘要
本發(fā)明涉及用于駕駛安全中的道路障礙物檢測(cè)方法，屬于計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，該方法包括首先車輛上的攝像頭對(duì)前方路面進(jìn)行采集，然后提取圖像中的角點(diǎn)，并利用光流與K均值對(duì)障礙物初步估計(jì)，得到障礙物的候選中心位置以及大??；然后利用基于幀差的運(yùn)動(dòng)歷史消隱法排除前面結(jié)果中運(yùn)動(dòng)速度不合理的區(qū)域，這樣得到更加魯棒的障礙物中心，然后把兩種方法結(jié)果取并運(yùn)算，在確認(rèn)后的障礙物中心周圍取區(qū)域邊界作為每個(gè)障礙物的邊界。本發(fā)明僅使用普通攝像頭，實(shí)現(xiàn)簡(jiǎn)易低廉，該方法計(jì)算速度快，比較穩(wěn)定且環(huán)境適應(yīng)能力強(qiáng)。
文檔編號(hào)G01C11/36GK101881615SQ20101019127
公開日2010年11月10日 申請(qǐng)日期2010年5月28日 優(yōu)先權(quán)日2010年5月28日
發(fā)明者宋亦旭, 常謙, 徐華, 楊澤紅, 王家廞, 賈培發(fā), 趙雁南 申請(qǐng)人:清華大學(xué)