本發(fā)明屬于汽車主動(dòng)安全
技術(shù)領(lǐng)域：
，涉及到圖像處理以及行人及騎車人安全保護(hù)知識，具體涉及一種基于車輛前方的行人及騎車人的識別預(yù)警系統(tǒng)的工作方法。
背景技術(shù)：
：在中國這樣典型的混合交通系統(tǒng)中，行人、自行車、電動(dòng)車、汽車等都是交通系統(tǒng)的主要參與者。隨著我國汽車保有量的增加，交通事故也在逐年遞增，而行人、自行車、電動(dòng)車由于人是暴露在外面的，沒有防護(hù)措施，在交通事故中容易受到更大的傷害，因此，研究混合交通條件下行人及騎車人的識別預(yù)警方法，有利于在交通事故發(fā)生前就提醒駕駛員，避免事故的發(fā)生，這對于道路交通安全工作是一項(xiàng)非常重要的任務(wù)。近年來，隨著機(jī)器視覺、人工智能以及模式識別的發(fā)展，學(xué)者們對行人識別預(yù)警的研究比較廣泛，常用haar特征+Adaboost級聯(lián)分類器，hog特征+svm分類器，神經(jīng)網(wǎng)絡(luò)等實(shí)現(xiàn)行人識別，并結(jié)合本車車速、縱向距離等實(shí)現(xiàn)行人預(yù)警。但對自行車、電動(dòng)車等騎車人識別預(yù)警的研究卻很少。在識別方面有學(xué)者利用BP神經(jīng)網(wǎng)絡(luò)對行人、騎車人等進(jìn)行識別，但BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速率小，訓(xùn)練時(shí)間長，容易出現(xiàn)局部極小化問題，而且其在訓(xùn)練過程中需要反復(fù)調(diào)整設(shè)計(jì)參數(shù)，識別精度不高。在預(yù)警方面，目前大多數(shù)研究都是針對車輛前方的所有目標(biāo)，沒有突出對暴露在外面的人的保護(hù)。相關(guān)專利：中國專利CN103279741A公開了一種基于車載紅外圖像的行人預(yù)警系統(tǒng)及其工作方法，其利用K均值聚類分析算法和模板匹配識別行人，再根據(jù)行人信息和本車車速信息建立預(yù)警單元；該方法只能運(yùn)用于行人，忽略了對騎車人的保護(hù)，而且構(gòu)建預(yù)警單元的信息較少，容易出現(xiàn)虛報(bào)漏報(bào)。中國專利CN103204123A公開了一種車輛行人檢測跟蹤預(yù)警裝置及其預(yù)警方法，對本車以外的其他車輛及行人進(jìn)行檢測并跟蹤測距，通過計(jì)算與其他車輛及行人的距離，進(jìn)行預(yù)警；該方法將與其他車輛及行人的距離作為預(yù)警判別的唯一指標(biāo)，預(yù)警系統(tǒng)的可靠性較差。技術(shù)實(shí)現(xiàn)要素：針對上述問題，本發(fā)明提出一種基于車輛前方的行人及騎車人的識別預(yù)警系統(tǒng)的工作方法，根據(jù)本車車速u、目標(biāo)縱向速度Vy、縱向碰撞時(shí)間TTC、目標(biāo)與本車的縱向距離D及橫向距離X構(gòu)建了基于多信息融合的前方碰撞預(yù)警系統(tǒng)，可以有效的識別出暴露在外面的人包括行人和騎車人，并對進(jìn)入危險(xiǎn)區(qū)域的目標(biāo)進(jìn)行預(yù)警，擴(kuò)展了行人保護(hù)的范圍。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)上述技術(shù)目的的。一種基于車輛前方的行人及騎車人的識別預(yù)警系統(tǒng)的工作方法，包括以下步驟：S1，搭建一種基于車輛前方的行人及騎車人的識別預(yù)警系統(tǒng)；S2，離線訓(xùn)練模塊獲得識別行人及騎車人上半身的級聯(lián)分類器；從實(shí)車拍攝的視頻序列圖像中離線手動(dòng)分割出行人及騎車人的上半身圖片，作為正樣本；將不含行人及騎車人上半身的圖片作為負(fù)樣本，使用Adaboost算法訓(xùn)練得到級聯(lián)分類器；S3，在線檢測模塊檢測出行人及騎車人的上半身，并用矩形框?qū)⑿腥思膀T車人的上半身框出來；S4，碰撞預(yù)警模塊根據(jù)本車車速u、目標(biāo)縱向速度Vy、縱向碰撞時(shí)間TTC、目標(biāo)與本車的縱向距離D及目標(biāo)與本車的橫向距離X的綜合信息，判斷前方目標(biāo)存在碰撞危險(xiǎn)的程度，設(shè)置兩級預(yù)警；S4.1，通過車速傳感器測量本車車速u；S4.2，將本車車速u及目標(biāo)矩形框的信息輸入到預(yù)警子程序，判斷前方目標(biāo)存在碰撞危險(xiǎn)的程度；S4.2.1，當(dāng)本車車速u＞30km/h時(shí)，執(zhí)行以下步驟，否則認(rèn)為本車處于安全行駛狀態(tài)；S4.2.2，計(jì)算相鄰兩幀圖片之間目標(biāo)與本車的縱向距離D1、D2，設(shè)t為相鄰兩幀圖片之間的時(shí)間間隔；當(dāng)D2+u*t＞D1時(shí)，目標(biāo)與本車同向，執(zhí)行S4.2.3；當(dāng)D2+u*t≤D1時(shí)，目標(biāo)與本車反向，執(zhí)行S4.2.4；S4.2.3，計(jì)算目標(biāo)與本車同向時(shí)目標(biāo)縱向速度：當(dāng)u＞Vy時(shí)，計(jì)算縱向碰撞時(shí)間:并執(zhí)行S4.2.5；否則，認(rèn)為本車處于安全行駛狀態(tài)；S4.2.4，計(jì)算目標(biāo)與本車反向時(shí)目標(biāo)縱向速度：再計(jì)算縱向碰撞時(shí)間然后執(zhí)行S4.2.5；S4.2.5，當(dāng)縱向碰撞時(shí)間TTC＜3.5時(shí)，計(jì)算第二幀圖片目標(biāo)與本車的橫向距離X2，并判斷縱向碰撞時(shí)間TTC是否＜1.1以及X2是否＜1.2；當(dāng)TTC＜1.1且X2＜1.2時(shí)，確定為一級碰撞警告；當(dāng)1.1≤TTC＜3.5且X2＜1.2時(shí)，確定為二級碰撞預(yù)警；其他情況認(rèn)為本車處于安全行駛狀態(tài)；S4.3，根據(jù)預(yù)警子程序輸出的危險(xiǎn)等級，執(zhí)行報(bào)警。進(jìn)一步，所述S1中的一種基于車輛前方的行人及騎車人的識別預(yù)警系統(tǒng)包括離線訓(xùn)練模塊、在線檢測模塊及碰撞預(yù)警模塊，所述離線訓(xùn)練模塊、在線檢測模塊和碰撞預(yù)警模塊依次順序串聯(lián)；所述離線訓(xùn)練模塊包括PC機(jī)，所述在線檢測模塊包括CCD攝像頭、視頻采集卡，所述碰撞預(yù)警模塊包括車速傳感器、蜂鳴器及指示燈。進(jìn)一步，所述S2中使用Adaboost算法訓(xùn)練得到級聯(lián)分類器具體為：在命令行程序cmd.exe中調(diào)用OpenCV自帶的執(zhí)行文件opencv_traincascade.exe實(shí)現(xiàn)級聯(lián)分類器的訓(xùn)練：該執(zhí)行文件中封裝了Haar-like特征提取以及GentleAdaboost分類器的訓(xùn)練過程，最終得到一個(gè)用于識別行人及騎車人的上半身的級聯(lián)分類器。進(jìn)一步，所述S4中，目標(biāo)與本車的縱向距離D的計(jì)算方法為：當(dāng)目標(biāo)在光軸上方時(shí)，由單目視覺測距幾何模型推導(dǎo)出公式和并由此求出CCD攝像頭的鏡頭中心到目標(biāo)的縱向距離d，其中H為CCD攝像頭的高度，h1為目標(biāo)的高度，α為CCD攝像頭的俯仰角，y1、y2為矩形框上下邊的中點(diǎn)在圖像坐標(biāo)系上的縱坐標(biāo)，f為CCD攝像頭的焦距；當(dāng)光軸穿過目標(biāo)時(shí)，由單目視覺測距幾何模型推導(dǎo)出公式和并由此求出CCD攝像頭的鏡頭中心到目標(biāo)的縱向距離d；將本車車道內(nèi)最近的前方目標(biāo)作為需要測距的對象，讀取其外接矩形框上下邊中點(diǎn)在像素坐標(biāo)系上的縱坐標(biāo)，并利用像素坐標(biāo)系與圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān)系轉(zhuǎn)成在圖像坐標(biāo)系上的縱坐標(biāo),再判斷是目標(biāo)在光軸上方還是光軸穿過目標(biāo)并求出相應(yīng)的CCD攝像頭的鏡頭中心到目標(biāo)的縱向距離d，然后測量出CCD攝像頭與本車車體前端之間的距離d1，則目標(biāo)與本車的縱向距離D＝d-d1。進(jìn)一步，所述S4中目標(biāo)與本車的橫向距離X的計(jì)算方法為：讀取目標(biāo)外接矩形框上下邊中點(diǎn)在像素坐標(biāo)系上的橫坐標(biāo)，并利用像素坐標(biāo)系與圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān)系轉(zhuǎn)成在圖像坐標(biāo)系上的橫坐標(biāo)，再根據(jù)攝像機(jī)坐標(biāo)系、圖像坐標(biāo)系、目標(biāo)距離估測坐標(biāo)系之間的轉(zhuǎn)換關(guān)系以及CCD攝像頭的鏡頭中心到目標(biāo)的縱向距離d，求出目標(biāo)與本車的橫向距離X。本發(fā)明的有益效果為：1.本發(fā)明在訓(xùn)練檢測行人及騎車人的級聯(lián)分類器上，采用人的上半身圖片作為正樣本，擴(kuò)展了行人識別的范圍。2.本發(fā)明在行人及騎車人的識別上采用改進(jìn)的多尺度掃描方法，大幅度減少了搜索窗口的數(shù)量，從而降低了目標(biāo)識別的時(shí)間，提高了實(shí)時(shí)性。3.本發(fā)明利用單目視覺測距幾何模型，計(jì)算出目標(biāo)與本車的橫向距離X及縱向距離D，進(jìn)一步求出目標(biāo)縱向速度Vy、縱向碰撞時(shí)間TTC，方法簡單可靠，實(shí)用性強(qiáng)。4.本發(fā)明利用本車車速u、目標(biāo)縱向速度Vy、縱向碰撞時(shí)間TTC、目標(biāo)與本車的縱向距離D及橫向距離X，構(gòu)建了基于多信息融合的前方碰撞預(yù)警系統(tǒng)，可在事故發(fā)生前提醒駕駛員，減少事故的發(fā)生，擴(kuò)展了行人保護(hù)的范圍。附圖說明圖1為本發(fā)明一種基于車輛前方的行人及騎車人的識別預(yù)警系統(tǒng)的工作方法流程圖；圖2為本發(fā)明一種基于車輛前方的行人及騎車人的識別預(yù)警系統(tǒng)的框圖；圖3為本發(fā)明基于多信息融合的預(yù)警子程序流程圖；圖4為目標(biāo)在光軸上方時(shí)的單目視覺測距幾何模型圖；圖5為光軸穿過目標(biāo)時(shí)的單目視覺測距幾何模型圖。具體實(shí)施方式下面將結(jié)合附圖及具體實(shí)施例對本發(fā)明做進(jìn)一步的說明，但本發(fā)明的保護(hù)范圍并不限于此。如圖1所示，一種基于車輛前方的行人及騎車人的識別預(yù)警系統(tǒng)的工作方法，包括以下步驟：S1，搭建一種基于車輛前方的行人及騎車人的識別預(yù)警系統(tǒng)；一種基于車輛前方的行人及騎車人的識別預(yù)警系統(tǒng)包括離線訓(xùn)練模塊、在線檢測模塊及碰撞預(yù)警模塊，離線訓(xùn)練模塊、在線檢測模塊和碰撞預(yù)警模塊依次順序串聯(lián)；離線訓(xùn)練模塊包括PC機(jī)，在線檢測模塊包括CCD攝像頭、視頻采集卡，碰撞預(yù)警模塊包括車速傳感器、蜂鳴器及指示燈，如圖2所示；離線訓(xùn)練模塊在PC機(jī)上離線訓(xùn)練出級聯(lián)分類器，在線檢測模塊由CCD攝像頭獲取圖像信息，經(jīng)處理后，加載級聯(lián)分類器，完成目標(biāo)識別；并將識別結(jié)果以及車輛當(dāng)前的車速信息輸入到預(yù)警子程序，輸出目標(biāo)的危險(xiǎn)等級，向駕駛員執(zhí)行報(bào)警。S2，離線訓(xùn)練模塊獲得識別行人及騎車人上半身的級聯(lián)分類器；S2.1，選取訓(xùn)練樣本：從實(shí)車拍攝的視頻序列圖像中離線手動(dòng)分割出車輛前方不同距離、走向、衣著和尺寸的行人及騎車人的上半身圖片，將不含行人及騎車人上半身的圖片作為負(fù)樣本，共收集了正樣本5400個(gè)，負(fù)樣本12000個(gè)；將所有圖片灰度化，正樣本統(tǒng)一縮放成24*24像素大小，并調(diào)整負(fù)樣本尺寸使其大于正樣本尺寸。S2.2，在命令行程序cmd.exe中調(diào)用OpenCV自帶的執(zhí)行文件opencv_traincascade.exe實(shí)現(xiàn)級聯(lián)分類器的訓(xùn)練：該執(zhí)行文件中封裝了Haar-like特征提取以及GentleAdaboost分類器的訓(xùn)練過程，最終得到一個(gè)用于識別行人及騎車人的上半身的級聯(lián)分類器。具體訓(xùn)練步驟如下：S2.2.1，創(chuàng)建正負(fù)樣本描述文件：正樣本通過使用opencv_createsamples.exe可執(zhí)行文件生成.vec文件，負(fù)樣本一般使用.txt文件即可；S2.2.2，運(yùn)行traincascade程序，設(shè)置參與訓(xùn)練的正樣本為4590個(gè)，負(fù)樣本為12000個(gè)，每級的最小檢測率HRmin＝0.995，最大誤檢率FAmax＝0.5，分類器級數(shù)為12,boostType類型為GAB；S2.2.3，通過訓(xùn)練，最后得到檢測窗口初始尺寸為24*24像素大小的12級分類器cascade.xml。S3，在線檢測模塊檢測出行人及騎車人的上半身，并用矩形框?qū)⑿腥思膀T車人的上半身框出來；S3.1，采集圖像：利用安裝在前擋風(fēng)玻璃內(nèi)側(cè)中部的CCD攝像頭采集車輛前方的圖像信息，再通過視頻采集卡將模擬信號轉(zhuǎn)換成數(shù)字信號傳輸給PC機(jī)；S3.2，圖像預(yù)處理：對圖像進(jìn)行濾波處理來降噪，并對圖像進(jìn)行灰度化處理，有利于更好的提取haar-like特征；S3.3，改進(jìn)的多尺度掃描獲得子窗口：根據(jù)行人及騎車人在圖像中的高度h與人腳距離圖像底部之間的距離D大致滿足推算出行人及騎車人上半身在圖像中的高度h′與人肚臍到圖像底部的距離D′滿足即(假設(shè)人的上下半身一樣高)，而人的寬度根據(jù)上半身的高度設(shè)置為w＝h′；從圖像左下角開始，通過對不同位置的滑動(dòng)窗口設(shè)置不同的窗口高度，設(shè)置移動(dòng)步長為2個(gè)像素，遍歷圖像，大幅度的減少了搜索窗口的數(shù)量；S3.4，加載級聯(lián)分類器：利用訓(xùn)練好的級聯(lián)分類器對S3.3中所有子窗口進(jìn)行判決，并將目標(biāo)用矩形框框選出來。S4，碰撞預(yù)警模塊根據(jù)本車車速u、目標(biāo)縱向速度Vy、縱向碰撞時(shí)間TTC、目標(biāo)與本車的縱向距離D及目標(biāo)與本車的橫向距離X的綜合信息，判斷前方目標(biāo)存在碰撞危險(xiǎn)的程度，設(shè)置兩級預(yù)警；S4.1，通過車速傳感器測量本車車速u；S4.2，將本車車速u及目標(biāo)矩形框的信息輸入到預(yù)警子程序，判斷前方目標(biāo)存在碰撞危險(xiǎn)的程度，如圖3所示；S4.2.1，當(dāng)本車車速u＞30km/h時(shí)，執(zhí)行以下步驟，否則認(rèn)為本車處于安全行駛狀態(tài)；S4.2.2，計(jì)算相鄰兩幀圖片之間目標(biāo)與本車的縱向距離D1、D2，設(shè)t為相鄰兩幀圖片之間的時(shí)間間隔；當(dāng)D2+u*t＞D1時(shí)，目標(biāo)與本車同向，執(zhí)行S4.2.3；當(dāng)D2+u*t≤D1時(shí)，目標(biāo)與本車反向，執(zhí)行S4.2.4；目標(biāo)與本車的縱向距離D的計(jì)算方法為：①求出坐標(biāo)系之間的轉(zhuǎn)換關(guān)系：根據(jù)小孔成像原理，可以求出攝像機(jī)坐標(biāo)系中的一點(diǎn)P(X′,Y′,Z′)與對應(yīng)的圖像坐標(biāo)系中的p(x,y)之間的關(guān)系：Z′=f*Y′yX′=Z′*xf---(1)]]>其中，f表示CCD攝像頭的焦距；圖像坐標(biāo)系上一點(diǎn)p(x,y)與對應(yīng)的像素坐標(biāo)系上的p′(u,v)之間的關(guān)系表示為：u=xdx+u0v=ydy+v0---(2)]]>其中，dx和dy分別表示單位像素在圖像坐標(biāo)系x軸和y軸方向上的物理尺寸，由攝像機(jī)廠家提供，可以在攝像機(jī)說明書上查找到，為已知量；(u0,v0)為像素坐標(biāo)系的原點(diǎn)，是CCD攝像頭內(nèi)部參數(shù)，可以通過CCD攝像頭的標(biāo)定求出；攝像機(jī)坐標(biāo)系(X′,Y′,Z′)與目標(biāo)距離估測坐標(biāo)系(X,Y,Z)之間的轉(zhuǎn)換關(guān)系為：Z′=ZcosαX=X′---(3)]]>其中，α為CCD攝像頭的俯仰角；②求解目標(biāo)與本車的縱向距離D；當(dāng)目標(biāo)在光軸上方時(shí)，如圖4所示，由單目視覺測距幾何模型可得：d=H-h1tan(α-arctan|y1|f)---(4)]]>tan(α+arctan2h1-Hd)=|y2|f---(5)]]>其中H為攝像頭的高度，h1為目標(biāo)的高度，y1、y2為矩形框上下邊的中點(diǎn)在圖像坐標(biāo)系上的縱坐標(biāo)，d為CCD攝像頭的鏡頭中心到目標(biāo)的縱向距離。當(dāng)光軸穿過目標(biāo)時(shí)，如圖5所示，由單目視覺測距幾何模型可得：d=H-h1tan(α+arctan|y1|f)---(6)]]>將本車道內(nèi)最近的前方目標(biāo)作為需要測距的對象，讀取其外接矩形框上下邊中點(diǎn)在像素坐標(biāo)系上的縱坐標(biāo)v1、v2，利用式(2)轉(zhuǎn)成圖像坐標(biāo)上的y1、y2,根據(jù)y1,y2的值判斷是目標(biāo)在光軸上方還是光軸穿過目標(biāo)，再帶入(4)、(5)或(6)、(5)求出CCD攝像頭的鏡頭中心到目標(biāo)的縱向距離d，然后測量出攝像頭與本車車體前端之間的距離d1，則目標(biāo)與本車的縱向距離D＝d-d1。S4.2.3，計(jì)算目標(biāo)與本車同向時(shí)目標(biāo)縱向速度：當(dāng)u＞Vy時(shí)，計(jì)算縱向碰撞時(shí)間:并執(zhí)行S4.2.5；否則，認(rèn)為本車處于安全行駛狀態(tài)；S4.2.4，計(jì)算目標(biāo)與本車反向時(shí)目標(biāo)縱向速度：再計(jì)算縱向碰撞時(shí)間然后執(zhí)行S4.2.5；S4.2.5，當(dāng)縱向碰撞時(shí)間TTC＜3.5時(shí)，計(jì)算第二幀圖片目標(biāo)與本車的橫向距離X2，并判斷縱向碰撞時(shí)間TTC是否＜1.1以及X2是否＜1.2；當(dāng)TTC＜1.1且X2＜1.2時(shí)，確定為一級碰撞警告；當(dāng)1.1≤TTC＜3.5且X2＜1.2時(shí)，確定為二級碰撞預(yù)警；其他情況認(rèn)為本車處于安全行駛狀態(tài)；目標(biāo)與本車的橫向距離X的計(jì)算方法為：讀取目標(biāo)外接矩形框上下邊中點(diǎn)在像素坐標(biāo)系上的橫坐標(biāo)u(矩形框上下邊中點(diǎn)的橫坐標(biāo)相同)，并利用式(2)轉(zhuǎn)成圖像坐標(biāo)上的x，最后根據(jù)公式(1)、(3)及CCD攝像頭的鏡頭中心到目標(biāo)的縱向距離d，可得目標(biāo)與本車的橫向距離X為：X=d*xcosα*f---(7)]]>S4.3，根據(jù)預(yù)警子程序輸出的危險(xiǎn)等級，執(zhí)行報(bào)警，當(dāng)確定為二級碰撞預(yù)警時(shí)，蜂鳴器提示“減速行駛”，橙色指示燈閃爍；當(dāng)確定為一級碰撞警告時(shí)，蜂鳴器提示“請緊急制動(dòng)”，紅色指示燈閃爍。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍，應(yīng)當(dāng)理解，本發(fā)明并不限于這里所描述的實(shí)現(xiàn)方案，這些實(shí)現(xiàn)方案描述的目的在于幫助本領(lǐng)域中的技術(shù)人員實(shí)踐本發(fā)明。任何本領(lǐng)域中的技術(shù)人員很容易在不脫離本發(fā)明精神和范圍的情況下進(jìn)行進(jìn)一步的改進(jìn)和完善，因此本發(fā)明只受到本發(fā)明權(quán)利要求的內(nèi)容和范圍的限制，其意圖涵蓋所有包括在由所附權(quán)利要求所限定的本發(fā)明精神和范圍內(nèi)的備選方案和等同方案。當(dāng)前第1頁1 2 3