不平道路的檢測方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種不平路面的檢測方法和系統(tǒng)，包括：采用兩臺深度照相機同時拍攝同一場景的深度圖，并基于所拍攝的深度圖計算該場景的視差圖；基于所獲得的視差圖，采用V-視差算法，獲得所述場景的V-視差圖；在V-視差圖探測中與路面對應的斜線，從而將該斜線的方向作為路面的方向；基于所拍攝的場景的視差圖和消失點坐標，計算路面的橫截面投影；以及擬合路面的橫截面投影，以得到橫截面上的道路線從而抽取路面，并將在擬合道路線下方的點作為道路點。
【專利說明】不平道路的檢測方法和系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及一種不平道路的檢測方法和系統(tǒng)。
【背景技術】
[0002]隨著城市化的發(fā)展和汽車的普及，交通運輸問題日益嚴重。近年來，車輛增長的速度也已遠遠高于道路和其他交通設施的增長速度，交通事故頻繁、人員傷亡與日俱增、財產(chǎn)損失巨大這都要求車輛不僅要具有良好的安全性而且要具備一定的智能性，隨之智能車輛(Intelligent Vehicle)的概念應運而生。
[0003]智能車輛能夠幫助駕駛員，提高駕駛的安全性。這種智能車輛能夠起到輔助駕駛的作用，在輔助駕駛中，例如離路警告，轉彎警告等準確的道路檢測是很有用的。然而在真實環(huán)境中，道路平面不是平的，例如在橫截面上有弧度/斜，或坑坑洼洼的。
[0004]美國專利申請US2010782309A“ROAD SHAPE RECOGNITION DEVICE (路面形狀識別裝置)”就提出了一種識別路面形狀的裝置，但是該專利申請只考慮在路的方向上擬合道路形狀，而對路面本身是否存在坑坑洼洼或傾斜等情況給出結論。
[0005]美國專利US8IO8Il9B2 “Apparatus and method for object detection andtracking and roadway awareness using stereo cameras (使用立體照相機的用于對象檢測和跟蹤以及公路警告的裝置和方法)”也提出了一種涉及路面檢測的方法和裝置，該專利使用視差值在y軸上的分布來找路面。該專利不適合路面只有稀疏視差點的情形，因為車上有視差值的點的個數(shù)和路面的視差值的點的個數(shù)可能一樣。很顯然，該專利僅僅給出了一種利用視差值來識別路面的位置的方法，而對路面自身的情況沒有給處任何結論。
[0006]很顯然，要更精確地輔助駕駛，就需要對路面的基本情況進行檢測，這些重要的基本信息包括路面的方向以及路面自身是否存在傾斜或坑洼情況。為此，人們需要提供一種不但能夠提供路面方向和位置，也能夠提供路面自身狀況的路面檢測方法和裝置。

【發(fā)明內(nèi)容】

[0007]為此，本發(fā)明提供了一種能夠快速而準確檢測不平路面的方法和系統(tǒng)。本發(fā)明使用道路的V-視差圖和X-Y橫截面投影來得到路面，因此本發(fā)明的方法適合用于稀疏視圖。本發(fā)明考慮了在道路方向和道路橫截面，由于在真實環(huán)境中，道路平面不是平的，例如在橫截面上有弧度/斜，或坑坑洼洼的，因此采用本發(fā)明的方法的輔助駕駛，在例如離路警告、轉彎警告等準確的道路檢測方面是很有用的。
[0008]鑒于本發(fā)明采用了道路的V-視差圖，因此，在本申請中通過引用方式整體結合本發(fā)明的 申請人:與2011年11月18日向中國國家知識產(chǎn)權局提交的申請?zhí)枮椤?201110399183.0 ”標題為“道路對象檢測方法和系統(tǒng)”的申請。在該申請中，對V-視差的算法有詳細的描述L具體而言，在V—視差圖中，V對應于視差圖的圖像坐標系統(tǒng)中的垂直坐標。在“V-視差”域中，道路表面平面的縱向斷面可以被描述為分段線性曲線，而在垂直平面中的障礙物將被投射為垂直線。因此，在3D視差圖中道路表面和障礙物的提取將被簡化為V-視差圖中2D線性提取。因此這種算法可以識別前方具有面特征的障礙物，比如行人、車輛、墻壁等等。而且，這種算法對于光照、陰影等干擾不敏感，適用于城市復雜背景下智能車輛的障礙物識別。具體來講，基于雙目的V —視差識別過程主要包括三個部分的內(nèi)容:創(chuàng)建V-視差圖、提取道路、從V-視差圖中提取代表路面對象的豎線。
[0009]為此，根據(jù)本發(fā)明的一個方面，提供了一種不平路面的檢測方法，包括:采用兩臺深度照相機同時拍攝同一場景的深度圖，并基于所拍攝的深度圖計算該場景的視差圖；基于所獲得的視差圖，采用V-視差算法，獲得所述場景的V-視差圖；在V-視差圖探測中與路面對應的斜線，從而將該斜線的方向作為路面的方向；基于所拍攝的場景的視差圖和消失點坐標，計算路面的橫截面投影；以及擬合路面的橫截面投影，以得到橫截面上的道路線從而抽取路面，并將在擬合道路線下方的點作為道路點。
[0010]根據(jù)本 發(fā)明的不平路面的檢測方法，其中所述計算路面的橫截面投影包括:根據(jù)路路面的消失點，計算視差圖中每一點的三維真實世界坐標(X’，y’，Z’)；計算在真實世界的路面方向；將視差圖沿著在真實世界的路面方向投影到Z=ZO平面，zO是常量，于是得到投影點；以及分割投影以得到路面區(qū)域。
[0011]根據(jù)本發(fā)明的不平路面的檢測方法，其中根據(jù)路路面的消失點，計算視差圖中每一點的三維真實世界坐標(X’，y’，Z’)包括:
[0012]基于已知道路消失點VpOivp, vvp)，按照如下公式計算視差圖中點(U，V，d)的世界坐標(X，，y，，z’:
[0013]x，= (u-uvp) *BASE/d;
[0014]Y，= (v-kv*d_bv) *BASE/d
[0015]其中，BASE兩相機之間的距離，u是水平坐標，V是豎直坐標，d是視差值。
[0016]根據(jù)本發(fā)明的不平路面的檢測方法，其中所述計算在真實世界的路面方向包括:計算投影方向 kr, kr= (bv-bhorizontal) *f/ (f*f+bv*b



horizontal )，其中 V ^horizontal^^^^horizontal
V-視差圖中擬合水平平面，f是相機焦距。
[0017]根據(jù)本發(fā)明的不平路面的檢測方法，其中所述將視差圖沿著在真實世界的路面方向投影到Ζ=ζ0平面包括:對于每個點(X’，y’)，通過下述公式計算其投影點(xp, yp):χρ=χ’、yp=y’ -kr*(BF/d-BF/dp)、以及 BF=BASE*f，其中 dp 是平面 Z=z0 的視差圖。
[0018]根據(jù)本發(fā)明的不平路面的檢測方法，其中所述分割投影以得到路面區(qū)域包括根據(jù)每個分隔域的寬度和高度分割道路橫截面。
[0019]根據(jù)本發(fā)明的不平路面的檢測方法，其中所述擬合路面的橫截面投影包括:對于橫截面的每個分割，在平面Ζ=ζ0擬合代表路面的線。
[0020]根據(jù)本發(fā)明的不平路面的檢測方法，其中所述抽取路面包括:視差圖中的點(u’，v’，d’ )是路面上的點，如果視差圖中的點(u’，v’，d’ )滿足a)它在V-視差圖中的投影在V-視差圖中的路線上以及b)它在平面Ζ=ζ0上的投影在擬合出的路線上，將將該視差圖中的點(u’，v’，d’ )作為路面上的點。
[0021]根據(jù)本發(fā)明的另一個方面，提供了一種不平路面檢測系統(tǒng)，包括:兩臺深度照相機，同時拍攝同一場景的深度圖，并基于所拍攝的深度圖計算該場景的視差圖視差計算裝置，基于所獲得的視差圖，采用V-視差算法，獲得所述場景的V-視差圖；路面方向檢測器，在V-視差圖探測中與路面對應的斜線，從而將該斜線的方向作為路面的方向；橫截面投影計算器，基于所拍攝的場景的視差圖和消失點坐標，計算路面的橫截面投影；橫截面擬合器，擬合路面的橫截面投影；以及路面抽取器，抽取路面，并將在擬合道路線下方的點作為道路點。
[0022]通過上述方式，對道路平面進行了精確的檢測，尤其是對于傾斜路面進行了精確的檢測，因此，能夠更為精確地進行輔助駕駛。
【專利附圖】

【附圖說明】
[0023]圖1所示的是采用本發(fā)明的路面檢測方法的系統(tǒng)基本框圖。
[0024]圖2是道路橫截面投影計算器的示意框圖。
[0025]圖3是采用本發(fā)明的路面檢測方法的流程圖。
[0026]圖4是硬件系統(tǒng)的示意圖。
[0027]圖5是采用本發(fā)明的路面檢測方法的一個實例的示意圖。
[0028]圖6是采用本發(fā)明的路面檢測方法信號處理過程序列圖。
[0029]圖7所示的是在真實世界的道路方向表示和V-視差圖中道路方向表示之間的關系的不意圖
[0030]圖8所示的是所計算的V-視差圖的示意圖。
[0031]圖9所示的是通過擬合獲得擬合道路線的過程的示意圖。
[0032]圖10所示的是將圖像坐標系中的點轉換為真實坐標系中點的示意圖。
[0033]圖11所示的是在真實世界坐標系中獲得道路橫截面的示意圖。
【具體實施方式】
[0034]本發(fā)明的目的是為了提供一種道路檢測方法和系統(tǒng)，以便有助于機動車駕駛的安全。以下，將參照附圖來詳細說明本發(fā)明的具體實施例。
[0035]圖1所示的是采用本發(fā)明的路面檢測方法的系統(tǒng)基本框圖。如圖1所示，內(nèi)存101中存儲視差圖。從內(nèi)存101中讀取每一幀的視差，在CPU 102中，道路方向檢測器103計算V-視差圖，擬合V-視差圖中的道路點，輸出V-視差圖中的道路線，道路橫截面投影計算器104計算在平面Ζ=ζ0的視差投影，輸出道路橫截面投影，道路橫截面擬合計算器105擬合視差投影，以及表面抽取器106根據(jù)V-視差圖中擬合的道路線抽取道路平面，并擬合橫截面投影，輸出道路表面。
[0036]圖2是道路橫截面投影計算器的示意框圖?；诘缆贩较?，從內(nèi)存101中讀取每幀視差圖，在CPU 102中:坐標轉換器1041將視差圖像坐標轉換成世界坐標，輸出視差的世界坐標，投影方向計算器1042將來自道路方向檢測器103道路方向從圖像坐標轉換成世界坐標并得到世界坐標的道路方向，投影計算器1043將沿著投影方向將世界坐標表示的視差圖投影到平面Ζ=ζ0上，輸出世界坐標系的投影，以及橫截面分割器1044根據(jù)寬度和高度分割投影，輸出道路橫截面區(qū)域。
[0037]圖3是采用本發(fā)明的路面檢測方法的流程圖。首先輸入視差圖，計算道路方向(S101)，計算道路橫截面投影(S102)以得到真實世界的道路投影。擬合道路橫截面投影以得到橫截面的道路線(S103)，最后抽取道路平面(S104)。計算道路方向(SlOl)是在道路方向檢測器103中執(zhí)行，計算道路橫截面投影(S102)是在道路橫截面投影計算器104中執(zhí)行，擬合道路橫截面投影(S103)是在道路橫截面擬合計算器105得到，抽取道路平面(S104)是在道路表面抽取器106中得到。
[0038]圖4是硬件系統(tǒng)的示意圖。輸入設備1100輸入每一幀的視差圖，CPU1200實現(xiàn)路面檢測，輸入和中間結果存在存儲設備1300，最后由輸出設備1400輸出最后的路面。
[0039]圖5是采用本發(fā)明的路面檢測方法的一個實例的示意圖。一個裝備了雙目相機的車202，雙目相機拍攝左眼視圖和右右眼視圖，芯片處理圖像并抽取對象。
[0040]圖6是采用本發(fā)明的路面檢測方法信號處理過程序列圖。輸入設備(S41)輸入視差圖(S42)到道路檢測系統(tǒng)(S43)。在(S43)，道路方向檢測器(S44)得到道路方向，用橫截面投影計算器(S45 )計算真實世界的橫截面投影，然后得到道路橫截面分割，橫截面投影擬合器(S46)擬合道路橫截面分割，道路抽取器(S47)根據(jù)道路方法和道路橫截面擬合抽出道路表面(S48)。最后道路表面(S48)輸出到輸出設備(S49)上。
[0041]圖7-11描述了一個具體實施例的實例。圖7所示的是在真實世界的道路方向表示和V-視差圖中道路方向表示之間的關系的示意圖。此實例是從由雙目相機得到的左圖和右圖生成的視差圖來檢測路面。計算道路方向以得到真實世界的道路方向(S101)。如圖7所示，在真實世界的道路方向表示和V-視差圖中道路方向表示是同一條線。首先，基于視差圖計算場景的V-視差圖。圖8所示的是所計算的V-視差圖的示意圖。圖9所示的是通過擬合獲得擬合道路線的過程的示意圖。如圖9所示，通過擬合最低點來得到V-視差圖中的道路線。首先，選擇V-視差圖中的最低點，用霍夫變換得到線，然后選擇經(jīng)過點最多的那根線。圖9中右圖中的斜線(Lv:v=kv*d+bv)就是道路線。
[0042]然后，計算真實世界的道路方向。該計算方法可以根據(jù)Z.Hu，F(xiàn).LamoSa，和K.Uchimura 的文章 “A complete u-v-disparity study for stereovision based 3ddriving environment analysis，， (In Proceedings of the Fifth InternationalConference on 3-D Digital Imaging and Modeling(3DIM05), pages 204-211，2005)。通過上述文章所記載的計算方法，可以得到:
[0043]kr= (bv-bhorizontal) *f/ (f*f+bv*bhorizontal),其中 kr 是道路在真實世界坐標表示的方向，水平路對應-視差圖中道路線是LhOTi_tal:v=khorizontal*d+bhorizontal, f是焦距。
[0044]圖10所示的是將圖像坐標系中的點轉換為真實坐標系中點的示意圖。如圖10所示來計算道路橫截面投影。首先，根據(jù)消失點vp (Uvp, Vvp)計算視差圖中點在真實世界的坐標。圖11所示的是在真實世界坐標系中獲得道路橫截面的示意圖。如圖11所示，在真實世界坐標系中進行投影。通過在真實世界坐標系統(tǒng)進行投影，可以避免道路白線和對象重疊。該具體過程如下:
[0045]X，= (U-Uvp) *BASE/d;
[0046]y ’ = (v-kv*d_bv) *BASE/d
[0047]BASE是相機之間的點距，d是視差值。
[0048]X’，y’是相對于消失點vp的真實距離。
[0049]在真實世界坐標系中，沿著道路的方向將圖像中點投影到平面Ζ=ζ0，z0是一個預定值。沿著道路方向投影可以保證路面及其上的對象的相對高低位置保持不變。
[0050]對于一個點(X’，y’)，它的投影點(xp,yp),其中 xp=x’，yp=y’ -kr*(BF/d-BF/dp);
[0051]BF=BASE*f，dp是平面Z=z0對應的視差值。[0052]接著，在橫截面投影上分割路面橫截面以得到道路平面區(qū)域。具體而言，就是在橫截面投影上，根據(jù)高度和寬度來得到道路區(qū)域。因為道路高度比障礙物要低，道路的寬度和障礙物(車，人)都不一樣。抽取出路面區(qū)域后，分別在各路面區(qū)域擬合路橫截面線。
[0053]然后，擬合路面橫截面投影S103以得到橫截面上的道路線。其中使用曲線方程y=a*x~ 3+b*x~ 2+c*x+d來擬合。通過擬合,可以得到真實的路面，去除噪音。
[0054]最后，將所有在擬合道路線下方的點作為道路點。在道路分割區(qū)域，抽取所有滿足y<=a*x~ 3+b*x~ 2+c*x+d下方的點作為道路點。
[0055]本發(fā)明所述的方法可以在一臺計算機(處理器)上執(zhí)行，或者可以被多臺計算機分布式執(zhí)行。此外，程序可以被轉移到在那兒執(zhí)行程序的遠程計算機。
[0056]本領域的普通技術人員應該理解到，根據(jù)設計要求和其他因素，只要其落入所附權利要求或其等效物的范圍內(nèi)，可以出現(xiàn)各種修改、組合、部分組合和替代。
【權利要求】
1.一種不平路面的檢測方法，包括: 采用兩臺深度照相機同時拍攝同一場景的深度圖，并基于所拍攝的深度圖計算該場景的視差圖； 基于所獲得的視差圖，采用V-視差算法，獲得所述場景的V-視差圖； 在V-視差圖探測中與路面對應的斜線，從而將該斜線的方向作為路面的方向； 基于所拍攝的場景的視差圖和消失點坐標，計算路面的橫截面投影；以及擬合路面的橫截面投影，以得到橫截面上的道路線從而抽取路面，并將在擬合道路線下方的點作為道路點。
2.如權利要求1所述的不平路面的檢測方法，其中所述計算路面的橫截面投影包括: 根據(jù)路路面的消失點，計算視差圖中每一點的三維真實世界坐標(X’，y’，z’)； 計算在真實世界的路面方向； 將視差圖沿著在真實世界的路面方向投影到Z=zO平面，z0是常量，于是得到投影點；以及 分割投影以得到路面區(qū)域。
3.如權利要求2所述的不平路面的檢測方法，其中根據(jù)路路面的消失點，計算視差圖中每一點的三維真實世界坐標(X’，y’，z’)包括: 基于已知道路消失點VPOlvp, vvp)，按照如下公式計算視差圖中點(U，V，d)的世界坐標(X，，y，，z，:
X’ = (U-Uvp) *BASE/d;
y’ = (v-kv*d_bv) *BASE/d 其中，BASE兩相機之間的距離，u是水平坐標，V是豎直坐標，d是視差值。
4.如權利要求2所述的不平路面的檢測方法，其中所述計算在真實世界的路面方向包括:
計算投影方向 kr, kr= (bv-bhorizontal)*f/ (f*f+bv*b



horizontal )，其中 V=khorizontal*d+bhorizontal是在V_視差圖中擬合水平平面，f是相機焦距。
5.如權利要求2所述的不平路面的檢測方法，其中所述將視差圖沿著在真實世界的路面方向投影到Ζ=ζ0平面包括: 對于每個點(X’，y’)，通過下述公式計算其投影點(xp，yp) χρ=χ’、yp=y’ -kr* (BF/d-BF/dp)、以及 BF=BASE*f, 其中dp是平面Z=z0的視差圖。
6.如權利要求2所述的不平路面的檢測方法，其中所述分割投影以得到路面區(qū)域包括根據(jù)每個分隔域的寬度和高度分割道路橫截面。
7.如權利要求1所述的不平路面的檢測方法，其中所述擬合路面的橫截面投影包括:對于橫截面的每個分割，在平面Ζ=ζ0擬合代表路面的線。
8.如權利要求1所述的不平路面的檢測方法，其中所述抽取路面包括: 視差圖中的點(u’，v’，d’ )是路面上的點，如果視差圖中的點(u’，v’，d’ )滿足a)它在V-視差圖中的投影在V-視差圖中的路線上以及 b)它在平面Ζ=ζ0上的投影在擬合出的路線上，將將該視差圖中的點(u’，v’，d’ )作為路面上的點。
9.一種不平路面檢測系統(tǒng)，包括:兩臺深度照相機，同時拍攝同一場景的深度圖，并基于所拍攝的深度圖計算該場景的視差圖； V-視差計算裝置，基于所獲得的視差圖，采用V-視差算法，獲得所述場景的V-視差圖； 路面方向檢測器，在V-視差圖探測中與路面對應的斜線，從而將該斜線的方向作為路面的方向； 橫截面投影計算器，基于所拍攝的場景的視差圖和消失點坐標，計算路面的橫截面投影; 橫截面擬合器，擬合路面的橫截面投影；以及 路面抽取器，抽取路面，并 將在擬合道路線下方的點作為道路點。
【文檔編號】G06T7/00GK103679120SQ201210335758
【公開日】2014年3月26日 申請日期:2012年9月11日 優(yōu)先權日:2012年9月11日
【發(fā)明者】游贛梅, 師忠超, 魯耀杰, 王剛 申請人:株式會社理光