道路邊緣檢測方法和裝置制造方法
【專利摘要】公開了一種道路邊緣檢測方法和裝置。該道路邊緣檢測方法可以包括：獲得包括道路區(qū)域的視差圖和對應(yīng)的V-視差圖；在V視差圖中提取道路線Lv；基于V視差圖中提取的道路線Lv，獲得包含道路的子U視差圖；以及在該子U視差圖中自適應(yīng)地提取道路邊緣。根據(jù)本發(fā)明實(shí)施例的道路邊緣檢測方法和裝置，即使在不具有精確的路面信息的情況下，也能夠準(zhǔn)確地檢測到道路邊緣。
【專利說明】道路邊緣檢測方法和裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及立體圖像處理，更具體地涉及道路邊緣檢測方法和裝置。

【背景技術(shù)】
[0002]駕駛輔助系統(tǒng)的應(yīng)用日漸普及。道路或車道警告系統(tǒng)(Lane/Road detect1nwarning, LDW/RDW)是駕駛輔助系統(tǒng)的子系統(tǒng)，可以避免碰撞，更準(zhǔn)確地確定駕駛方向等。道路檢測對于LDW/RDW系統(tǒng)非常關(guān)鍵，只有在知道了道路/[目息的基礎(chǔ)上才可能做進(jìn)一步的處理，例如警告。道路檢測又包括路面檢測、道路邊緣(或道路邊界)檢測等等。
[0003]道路邊緣檢測本身可以為司機(jī)提供提示信息，以防止駛離道路。同時，道路邊緣檢測和路面檢測會相互影響，并且對3D駕駛環(huán)境理解技術(shù)中的路邊護(hù)欄檢測，消失點(diǎn)檢測，車輛識別等有很大的影響。
[0004]立體相機(jī)具有可以獲得高精度視差圖及距離圖像的優(yōu)勢，因而得到了廣泛的應(yīng)用。
[0005]在美國專利公開US2011063097中，公開了一種檢測路邊界的設(shè)備，其中假定路面已知，首先基于三維對象距離信息高于預(yù)定值，檢測在第一道路區(qū)域中存在的路面邊界的高度；對于無法檢測到路面邊界高度的第二道路區(qū)域，計(jì)算與第一道路區(qū)域的相似度；如果二者相似，則判定第二道路區(qū)域?yàn)榈缆愤吔纭?br> [0006]在美國專利公開US2010017060中，提出了一種檢測道路邊界的方法和系統(tǒng)，其中，使用基于光的感測系統(tǒng)捕獲輸入距離數(shù)據(jù)(range data);將輸入距離數(shù)據(jù)分解為高度上的信號和投射到地面的信號；首先，通過過濾技術(shù)處理基于高度(elevat1n)的信號以識別是否為一段道路候選區(qū)域，并通過模式識別技術(shù)來判定該段道路候選區(qū)域是否為一段道路；然后識別投射在地面上的信號的線表示(line representat1n),并將該線表示與俯視圖(top-down view)中的簡單道路模型相比較，以確定該候選區(qū)域是否是具有道路邊緣的一段道路。


【發(fā)明內(nèi)容】

[0007]現(xiàn)有技術(shù)中經(jīng)常以已經(jīng)檢測到正確的路面為前提來進(jìn)行道路邊緣檢測，然而在進(jìn)行道路路面檢測時，尤其是在距離較遠(yuǎn)的情況下，檢測到的道路路面很可能是錯誤的，例如經(jīng)常會將道路外側(cè)的物體等誤認(rèn)為是道路。而如果基于錯誤給出的路面來進(jìn)行道路邊緣檢測，則很可能檢測到的道路邊緣也是錯誤的。
[0008]本發(fā)明的一個目的是提高道路邊緣的魯棒性，以便即使不具有精確的路面信息，也能夠準(zhǔn)確地檢測到道路邊緣。
[0009]根據(jù)本發(fā)明的一個方面，提供了一種道路邊緣檢測方法，可以包括:獲得包括道路區(qū)域的視差圖和對應(yīng)的V-視差圖；在￥視差圖中提取道路線Lv;基于V視差圖中提取的道路線Lv，獲得包含道路的子U視差圖；以及在該子U視差圖中自適應(yīng)地提取道路邊緣。
[0010]根據(jù)本發(fā)明的另一方面，提供了一種道路邊緣檢測裝置，可以包括:視差圖和V視差圖獲得部件，獲得包括道路區(qū)域的視差圖和對應(yīng)的V-視差圖^視差圖中道路線提取部件，在V視差圖中提取道路線Lv ;子U視差圖獲得部件，基于V視差圖中提取的道路線Lv，獲得包含道路的子U視差圖；以及道路邊緣自適應(yīng)提取部件，在該子U視差圖中自適應(yīng)地提取道路邊緣。
[0011]根據(jù)本發(fā)明實(shí)施例的道路邊緣檢測方法和裝置，即使在不具有精確的路面信息的情況下，也能夠準(zhǔn)確地檢測到道路邊緣。

【專利附圖】

【附圖說明】
[0012]圖1是有助于理解本發(fā)明的、作為本發(fā)明應(yīng)用環(huán)境的示例的車載系統(tǒng)示意圖。
[0013]圖2示例地示出了在車上安裝雙目相機(jī)情況下的系統(tǒng)操作示意圖。
[0014]圖3是根據(jù)本發(fā)明一個實(shí)施例的道路邊緣檢測方法的整體流程圖。
[0015]圖4中的(a)和(b)分別示意性地示出了根據(jù)一個實(shí)施例由車載雙目相機(jī)拍攝得到的灰度圖和對應(yīng)的視差圖。
[0016]圖5(a)示意性地示出了根據(jù)本發(fā)明一個實(shí)施例的V視差圖；圖5(b)示意性地示出了根據(jù)本發(fā)明一個實(shí)施例V視差圖中提取到的分段道路線段。
[0017]圖6 (a)示出了 V視差圖中比提取到的分段道路線段Lv高的曲線Lh ;圖6 (b)示出了視差圖中與V視差圖中的曲線Lh以下對應(yīng)的部分；圖6(c)示出了子U視差圖。
[0018]圖7示出了在子U視差圖中自適應(yīng)提取道路邊緣的示例方法的流程圖。
[0019]圖8(a)中示出了根據(jù)一個實(shí)施例的V視差圖中提取的道路線Lv的示意圖，圖8(b)示出了視差圖中的近距離道路點(diǎn)(可靠點(diǎn))，圖8(c)示出了灰度圖中的近距離道路點(diǎn)(可靠點(diǎn))，圖8(d)示出了可靠點(diǎn)在U視差圖中的投影，圖8(e)示出了可靠點(diǎn)在子U視差圖中的部分。
[0020]圖9(a)中示意性示出了 U視差圖中的可靠道路點(diǎn)，圖9(b)示出了根據(jù)一個示例在子U視差圖中提取到的第一道路邊緣線的示意圖。
[0021]圖10示出了根據(jù)本發(fā)明一個實(shí)施例的提取與先前提取到的道路邊緣線段連續(xù)的道路邊緣線段的示例性方法的流程圖。
[0022]圖11示意性地示出了示例性第一道路邊緣線段。
[0023]圖12示出了獲得的用于提取下一道路邊緣的的感興趣區(qū)域ROI的示意圖。
[0024]圖13中的(a)示意性地示出了用于提取下一道路邊緣線段的可靠點(diǎn)(在U視差圖中)，圖13中的(b)示意性地示出了在子U視差圖中基于這樣的可靠點(diǎn)提取的下一道路邊緣線段。
[0025]圖14示意性地在灰度圖中示出了所提取的道路邊緣。
[0026]圖15示出了根據(jù)本發(fā)明一實(shí)施例的道路邊緣檢測裝置4000的框圖。
[0027]圖16是示出按照本發(fā)明實(shí)施例的道路邊緣檢測系統(tǒng)6000的硬件配置的概念圖。

【具體實(shí)施方式】
[0028]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā)明作進(jìn)一步詳細(xì)說明。另外，為了避免混淆本發(fā)明的要點(diǎn)，對于一些本領(lǐng)域公知的技術(shù)將不做詳細(xì)說明。
[0029]將按如下順序進(jìn)行描述:
[0030]1、基本概念介紹
[0031]2、應(yīng)用環(huán)境示意和車載環(huán)境下的操作示意圖
[0032]3、道路邊緣檢測方法的實(shí)施例
[0033]4、子U視差圖中自適應(yīng)提取道路邊緣的方法示例
[0034]5、基于子U視差圖中提取的道路邊緣在視差圖中提取道路邊緣
[0035]6、道路邊緣檢測裝置
[0036]7、系統(tǒng)硬件配置
[0037]8、總結(jié)
[0038]1、基本概念介紹
[0039]下面介紹一下本發(fā)明所涉及的基本概念，以便于理解。
[0040]視差，實(shí)際指從某一基線兩端各引一直線到同一較遠(yuǎn)物體時，其間所成的夾角。一般指從有一定距離的兩個點(diǎn)上觀察同一個目標(biāo)所產(chǎn)生的方向差異。從目標(biāo)看兩個點(diǎn)之間的夾角，叫做這兩個點(diǎn)的視差角，兩點(diǎn)之間的距離稱作基線。只要知道視差角度和基線長度，就可以計(jì)算出目標(biāo)和觀測者之間的距離。
[0041]視差圖:視差圖(disparity map)是以任一幅圖像為基準(zhǔn)，其大小為該基準(zhǔn)圖像的大小，元素值為視差值的圖像。視差圖包含了場景的距離信息。視差圖可以從雙目相機(jī)拍攝的左圖像和右圖像中計(jì)算得到，或者通過立體視圖中的深度圖計(jì)算得到。
[0042]普通二維視差圖中的某點(diǎn)以(U，V，d)表示，其中U為橫坐標(biāo)，V為縱坐標(biāo)，d表示由U，V限定的點(diǎn)處的視差。
[0043]U視差圖和V視差圖:為便于理解，形象地說，V視差圖可以視為視差圖的側(cè)視圖，而U視差圖可以視為視差圖的俯視圖。V視差圖可以從視差圖中計(jì)算得到。V-視差圖中任意一點(diǎn)(d，V)的灰度值是對應(yīng)視差圖的縱坐標(biāo)為V的行中視差值等于d的點(diǎn)的個數(shù)。V視差圖中的V對應(yīng)于(U，V)圖像坐標(biāo)系統(tǒng)中的垂直坐標(biāo)V。對于視差圖中的一點(diǎn)(u，v，d)，其在V視差圖中將投影到點(diǎn)(v，d)。類似地，U視差圖可以從視差圖中計(jì)算得到。U-視差圖中任意一點(diǎn)(u，d)的灰度值是對應(yīng)視差圖的橫坐標(biāo)為u的列中視差值等于d的點(diǎn)的個數(shù)。U視差圖中的U對應(yīng)于(U，V)圖像坐標(biāo)系統(tǒng)中的水平坐標(biāo)U。對于視差圖中的一點(diǎn)(u，v，d)，其在U視差圖中將投影到點(diǎn)(u，d)上。
[0044]在本文中，U視差圖中的用于提取道路邊緣的部分點(diǎn)組成的圖被稱為子U視差圖。
[0045]有關(guān)視差圖、V視差圖和U視差圖以及在路面檢測中的應(yīng)用可以參考相同發(fā)明人游贛梅等的中國專利申請第201110434873.X號和發(fā)明人陳超等的中國專利申請第201210513215.4號，這里通過引用將這兩篇專利全部并入本文。
[0046]2、應(yīng)用環(huán)境示意和車載環(huán)境下的操作示意圖
[0047]圖1是有助于理解本發(fā)明的、作為本發(fā)明應(yīng)用環(huán)境的示例的車載系統(tǒng)示意圖。本發(fā)明的軟件或者硬件實(shí)現(xiàn)可以作為其中的道路邊緣檢測部件。
[0048]圖2示例地示出了在車上安裝雙目相機(jī)情況下的系統(tǒng)操作示意圖。
[0049]如圖2所示，汽車上配備有雙目相機(jī)，雙目相機(jī)拍攝左右圖像，左右圖像存儲在系統(tǒng)的存儲器中，芯片處理該左右圖像，獲得視差圖、V-視差圖和U-視差圖等，以及可以進(jìn)行道路邊緣檢測等。
[0050]3、道路邊緣檢測方法的實(shí)施例
[0051]圖3是根據(jù)本發(fā)明一個實(shí)施例的道路邊緣檢測方法1000的整體流程圖。
[0052]在步驟SllOO中，獲得包括道路區(qū)域的視差圖和對應(yīng)的V-視差圖。
[0053]可以通過雙目相機(jī)、多目相機(jī)、立體相機(jī)拍攝并計(jì)算得到包括道路區(qū)域的視差圖，由視差圖變換得到V視差圖，有關(guān)雙目相機(jī)、多目相機(jī)、立體相機(jī)等可以例如如圖1或圖2所示安裝在車輛的前端。或者，可以從立體視圖中獲得深度圖，根據(jù)深度圖得到視差圖，由視差圖變換得到V視差圖。
[0054]前文描述的情形是先獲得視差圖，然后從視差圖獲得V視差圖。不過這僅為示例，也可以通過對例如雙目相機(jī)獲得的圖像進(jìn)行處理或計(jì)算，直接獲得V視差圖。
[0055]有關(guān)視差圖和視差圖在V視差圖(以及在U視差圖)中的投影，可以參考作者為 Zhencheng Hu, Francisco Lamosa, Keiichi Uchimura 的標(biāo)題為，，A CompleteU-V-Disparity Study for Stereovis1n Based 3D Driving EnvironmentAnalysis”.3DM2005:204-211的非專利文獻(xiàn)中的介紹。
[0056]圖4中的(a)和(b)分別示意性地示出了根據(jù)一個實(shí)施例由車載雙目相機(jī)拍攝得到的灰度圖和對應(yīng)的視差圖。
[0057]另外，根據(jù)一個實(shí)施例對于視差圖或者V視差圖可以進(jìn)行去噪處理。
[0058]在步驟S1200中，在V視差圖中提取道路線Lv。
[0059]如相同發(fā)明人游贛梅等做出的中國專利申請第201110434873.X號中所公開的，一段平坦路面在V-視差圖中近似呈現(xiàn)為一段斜線段，而對于不平的路面，其可以視為由多段平坦路面組成，該多段平坦路面在V-視差圖中呈現(xiàn)為多段斜率不同的斜線段。
[0060]從V視差圖中提取線段的技術(shù)可以例如基于霍夫變換或者最小二乘法技術(shù)等。
[0061]V視差圖中的道路線Lv可以表示為y=cl*d+c2，其中(y，d)表示所提取的道路直線Lv上的一點(diǎn)坐標(biāo)，y表示V視差圖中垂直軸上的點(diǎn)的坐標(biāo)，d表示視差,其中的cl表示直線的斜率，而c2表示在垂直軸上的截距(即視差等于O時)。在以多段斜率不同的斜線段擬合不平路面的情況下，每條斜線段對應(yīng)的參數(shù)Cl和c2可以不同。
[0062]根據(jù)一個實(shí)施例，從V視差圖中提取線段作為路面包括:按照視差從大到小，即按照距離(如相對于安裝在車輛上的相機(jī)而言)由近到遠(yuǎn)的順序，從V視差圖中提取分段線段作為路面；其中每段線段是基于約束的霍夫變換進(jìn)行估計(jì)得到的；以及基于前一段估計(jì)出的直線參數(shù)來限定后一段線段的初始直線參數(shù)。
[0063]關(guān)于從V視差圖中提取分段線段來模擬路面，可以參考由發(fā)明人游贛梅等做出的申請?zhí)枮镃N201110434873.X的中國發(fā)明專利申請中的技術(shù)內(nèi)容。也可以參考作者為Jun Zhao, Mark Albert ffhitty, Jayantha Katupitiya 的標(biāo)題為 Detect1n of non-flatground surfaces using V-Disparity images.1R0S2009:4584-4589 的文章。這里，通過引用將上述文獻(xiàn)的全文合并于本文。
[0064]圖5 (a)示意性地示出了根據(jù)本發(fā)明一個實(shí)施例的V視差圖，其中給出了示例性的V坐標(biāo)軸和d坐標(biāo)軸，后續(xù)的V視差圖均采用該形式的vd坐標(biāo)系統(tǒng)；圖5 (b)示意性地示出了根據(jù)本發(fā)明一個實(shí)施例V視差圖中提取到的分段道路線段，其中由標(biāo)號I指示的線段代表的路面距離拍攝的相機(jī)最近，由標(biāo)號2指示的線段代表的路面距離拍攝的相機(jī)次之，而由標(biāo)號3指示的線段代表的路面距離拍攝的相機(jī)最遠(yuǎn)，圖5 (b)中的三條豎線表示三段路面之間的分界。
[0065]在步驟S1200中提取道路線Lv之后，前進(jìn)到步驟S1300。
[0066]在步驟S1300中，基于V視差圖中提取的道路線Lv，獲得包含道路的子U視差圖。
[0067]如前文所述，U視差圖可以視為視差圖的俯視圖。這里獲得的子U視差圖是所涉及的視差圖的俯視圖的一部分，或者說是視差圖中的一部分的俯視圖，具體地是道路相關(guān)的部分，因此本文稱之為子U視差圖。
[0068]為了獲得子U視差圖，在一個實(shí)施例中，可以首先選擇視差圖中與道路相關(guān)的部分；然后，使用視差圖中所選擇的部分來創(chuàng)建子U視差圖，該子U視差圖將用于提取道路邊緣。
[0069]優(yōu)選地，在選擇視差圖中與道路相關(guān)的部分時，希望能夠覆蓋所有可能為道路的點(diǎn)。在一個實(shí)施例中，考慮在視差圖中選擇距在步驟S1200中初步提取出的道路路面的距離小于預(yù)定高度閾值h的點(diǎn)，該預(yù)定高度閾值應(yīng)該足夠大以包含即使在非平坦路面情況下的道路點(diǎn)，在一個示例中可以設(shè)置為2m。為了進(jìn)行道路點(diǎn)選擇,在一個示例中，首先在V視差圖中獲得到道路線Lv (在上述步驟S1200中提取)的垂直距離為預(yù)定高度閾值h的曲線Lh。在實(shí)際三維世界中的高度h與V視差圖中的像素?cái)?shù)目之間存在一定的換算關(guān)系。具體地，對于每個視差值d，每個像素所對應(yīng)的實(shí)際高度hpiMl可以由拍攝視差圖的兩個相機(jī)之間的距離Disteamera來根據(jù)下面的公式⑴來確定。
[0070]hpixel=DistCamera/d (I)
[0071]在每個視差d處，我們可以根據(jù)下面的公式(2)確定實(shí)際三維世界中距離道路路面高度為h的情況對應(yīng)于在V視差圖中到道路線Lv的垂直距離為k個像素的情況。
[0072]k=h/hpixel (2)
[0073]以此方式，可以獲得圖6(a)中所示的曲線Lh，其中Lh與Lv之間在垂直方向上的距離對應(yīng)于真實(shí)三維世界中的h。
[0074]在V視差圖中得到曲線Lh之后，將V視差圖中所有在曲線Lh以下的點(diǎn)回溯到視差圖中，從而獲得了視差圖中所有距路面高度在h以下的點(diǎn)，或者說，所有其在V視差圖中的投影在Lh以下的點(diǎn)。由此，可以獲得視差圖所選擇的部分，如圖6(b)所示。
[0075]在視差圖中獲取了所選擇的部分之后，該所選擇的視差圖部分的俯視圖即為子U視差圖，如圖6(c)所示。
[0076]總結(jié)言之，根據(jù)一個實(shí)施例，基于V視差圖中擬合的道路線Lv，從視差圖獲得包含道路的子U視差圖包括:提取V視差圖中滿足y〈cl*d+c2+H的點(diǎn),其中H為與實(shí)際三維世界中距道路的預(yù)定垂直高度對應(yīng)的正數(shù)值；在視差圖中獲得與所述V視差圖中提取的點(diǎn)對應(yīng)的點(diǎn)；以及將所述視差圖中獲得的點(diǎn)投影到U視差圖中，從而得到子U視差圖。
[0077]根據(jù)另一個實(shí)施例，可以僅將V視差圖中擬合到道路線Lv上的點(diǎn)回溯到視差圖，并投影到U視差圖來得到子U視差圖。這例如對于完美的道路視差圖，即道路上的很多點(diǎn)都有精確的視差值的情況是可行的。
[0078]根據(jù)再一個實(shí)施例，可以將三維世界中處于V視差圖中擬合到的道路線Lv上下預(yù)定范圍內(nèi)的所有點(diǎn)視為要投影到子U視差圖中的點(diǎn)。具體地，在此示例中，例如可以在V視差圖中找到距道路線Lv上下預(yù)定垂直距離的兩條曲線，然后將此兩條曲線內(nèi)的所有點(diǎn)回溯到視差圖中，在對視差圖中的這些回溯得到的點(diǎn)進(jìn)行俯視投影來得到子U視差圖。
[0079]在另一個示例中，如果事先知道一些關(guān)于路面情況的信息，例如，知道關(guān)于路面的平坦程度、路面坡度等等，或者能夠通過某種手段評估V視差圖中提取的道路線Lv的準(zhǔn)確度，則基于V視差圖中提取的道路線Lv從視差圖獲得包含道路的子U視差圖的操作可以包括考慮這些路面情況的信息和/或道路線評估準(zhǔn)確度信息來確定視差圖中所選擇的路面點(diǎn)的范圍。
[0080]上面給出了基于V視差圖中提取的道路線Lv獲得包含道路的子U視差圖的示例。這些僅用于示例性說明，并非作為本發(fā)明的限制，可以根據(jù)需要和實(shí)際情況而選擇任何方法來基于V視差圖中提取的道路線Lv，獲得包含道路的子U視差圖。
[0081]在步驟S1300中獲得包含道路的子U視差圖之后，前進(jìn)到步驟S1400。
[0082]在步驟S1400中，在該子U視差圖中自適應(yīng)地提取道路邊緣。
[0083]一般地，根據(jù)路面平坦情況和是否轉(zhuǎn)彎等，道路邊緣會表現(xiàn)為一段線段或者多段分段線段。
[0084]這里的“自適應(yīng)”表示并非人為規(guī)定道路邊緣為幾段線段和每段線段的形式，而是根據(jù)道路邊緣的連續(xù)性、漸變性特征和道路邊緣位于道路外側(cè)的特征來適應(yīng)性地自動進(jìn)行道路邊緣提取。
[0085]根據(jù)一個示例性實(shí)施例中，所述在該子U視差圖中自適應(yīng)地提取道路邊緣可以包括:基于V視差圖中擬合的道路線Lv，提取子U視差圖中滿足預(yù)定條件的點(diǎn)作為可靠的道路點(diǎn)；在子U視差圖中，基于可靠的道路點(diǎn)，提取滿足預(yù)定的道路邊緣條件的道路邊緣線段。
[0086]在一個示例性實(shí)施例中，所述預(yù)定的道路邊緣條件可以包括道路邊緣線段處于道路的最外側(cè)邊緣、該道路邊緣線段的在真實(shí)三維世界中的長度大于預(yù)定長度閾值、該道路邊緣線段的點(diǎn)密度大于對應(yīng)的預(yù)定密度閾值。
[0087]在一個示例性實(shí)施例中，如果提取到道路邊緣線段，則計(jì)算提取到的道路邊緣線段的端點(diǎn)，并基于道路連續(xù)性、漸變性的特征，確定用于提取下一道路邊緣線段的感興趣區(qū)域，并在該感興趣區(qū)域中提取以所計(jì)算的端點(diǎn)為起始端點(diǎn)的下一道路邊緣線段；以及重復(fù)道路邊緣線段的提取過程，直到無法提取到道路邊緣線段。
[0088]在一個示例性實(shí)施例中，所述基于V視差圖中擬合的道路線Lv，提取子U視差圖中滿足預(yù)定條件的點(diǎn)作為可靠的道路點(diǎn)可以包括:獲取擬合的道路線Lv上與視差相關(guān)的距離小于預(yù)定值的道路線段；在視差圖中，提取那些在V視差圖上的投影在道路線Lv上或之下的點(diǎn)；以及將所述在視差圖中提取的點(diǎn)投影到U視差圖中作為可靠的道路點(diǎn)。
[0089]下面，將參考圖7具體介紹在該子U視差圖中自適應(yīng)地提取道路邊緣的示例。
[0090]根據(jù)本發(fā)明上述實(shí)施例的道路邊緣檢測方法，可以在不具有精確的路面信息的情況下，也能夠準(zhǔn)確地檢測到道路邊緣。
[0091]4、子U視差圖中自適應(yīng)提取道路邊緣的方法示例
[0092]下面參考圖7描述根據(jù)本發(fā)明一個實(shí)施例的在子U視差圖中自適應(yīng)提取道路邊緣的示例方法。
[0093]圖7示出了在子U視差圖中自適應(yīng)提取道路邊緣的示例方法1400的流程圖。該方法1400可以應(yīng)用于圖3所示的步驟S1400。
[0094]如圖7所示，在步驟S1410中，提取子U視差圖中的可靠道路點(diǎn)。
[0095]在一個示例中，基于V視差圖中擬合的道路線Lv，提取子U視差圖中滿足預(yù)定條件的點(diǎn)作為可靠的道路點(diǎn)。
[0096]例如，在一個示例中，可以認(rèn)為在V視差圖中的投影在Lv線以下且在真實(shí)三維世界中的距離(即距拍攝的相機(jī)的距離)小于預(yù)定距離閾值的點(diǎn)為可靠路面點(diǎn)。這是因?yàn)?，一般地，近距離的檢測比較精確，因此道路線Lv中的近距離部分相對精確，因此基于此相對精確部分來獲得的道路點(diǎn)認(rèn)為是相對可靠的，進(jìn)而能基于可靠的道路點(diǎn)提取出相對可靠的道路邊緣。
[0097]具體地，首先，在視差圖中，對于每個點(diǎn)P (u’，V’，d’)，如果V坐標(biāo)軸上的值V’滿足下面的公式(3)表示的第一條件，
[0098]V，≤ a*d，+b (3)
[0099]即該點(diǎn)在V視差圖中在道路線Lv(v=a*d+b)以下，且該點(diǎn)滿足第二條件，即距相機(jī)的真實(shí)距離Distp小于預(yù)定距離閾值Distthres，如下面的公式(4)所示。
[0100]Distp ≤ Distthres (4)
[0101]則認(rèn)為這樣的點(diǎn)為可靠點(diǎn)。
[0102]如本領(lǐng)域技術(shù)人員清楚的，距相機(jī)的真實(shí)距離Distp可以從相機(jī)之間的間距Distcamera以及相機(jī)的焦距F和該點(diǎn)的視差值d’導(dǎo)出，如下式(5)所示。
[0103]Distp=DistCaniera*F/d， (5)
[0104]在一個示例中，預(yù)定距離閾值為10m，因?yàn)樵谠摼嚯x中所使用的雙目相機(jī)的測量誤差較低。不過可以根據(jù)相機(jī)性能和實(shí)際應(yīng)用而選取合適的距離閾值。
[0105]在視差圖中找到可靠點(diǎn)之后，可以例如將視差圖中找到的可靠點(diǎn)p(u’，V’，d’)投影到U視差圖中，該點(diǎn)在U視差圖中的投影為(u’，d’)，以及可以在子U視差圖中將該部分點(diǎn)突出示出，從而在子U視差圖中得到了可靠的道路點(diǎn)。
[0106]圖8(a)中示出了根據(jù)一個實(shí)施例的V視差圖中提取的道路線Lv的示意圖，圖8(b)示出了視差圖中的近距離道路點(diǎn)(可靠點(diǎn))，圖8(c)示出了灰度圖中的近距離道路點(diǎn)(可靠點(diǎn))，圖8(d)示出了可靠點(diǎn)在U視差圖中的投影，圖8(e)示出了可靠點(diǎn)在子U視差圖中的部分，該部分由環(huán)繞的曲線圈出示意。
[0107]不過上述在子U視差圖中提取可靠點(diǎn)的方法僅為示例，而非作為本發(fā)明的限制。在另一示例中，可以根據(jù)其他關(guān)于道路和相機(jī)等的先驗(yàn)知識來提取可靠點(diǎn)。
[0108]回到圖7，在步驟S1410中在子U視差圖中提取出可靠的道路點(diǎn)后，前進(jìn)到步驟S1420。
[0109]在步驟S1420中，在子U視差圖中，基于可靠的道路點(diǎn)，提取滿足預(yù)定的道路邊緣條件的道路邊緣線段。
[0110]在一個示例中，使用霍夫變換對子U視差圖中的可靠道路點(diǎn)進(jìn)行直線擬合，并選擇滿足預(yù)定道路邊緣條件的線段作為道路邊緣線段。
[0111]在一個示例中，道路邊緣條件可以例如包括以下幾項(xiàng):
[0112](I)該線段處于道路的最外側(cè)邊緣
[0113]具體地，以提取道路左側(cè)邊緣為例，此時，與道路的最左側(cè)邊緣對應(yīng)的線段在子U視差圖中位于圖像的左上角。為此，可以尋找所有線段中水平截距(由線段對應(yīng)直線與水平軸的交點(diǎn)(U”，O)決定)和垂直截距(由線段對應(yīng)直線與垂直軸的交點(diǎn)(0，d”)決定)絕對值之和最小(min(|u，，| + |d” I))的線段。
[0114](2)該線段的實(shí)際長度大于預(yù)定長度閾值
[0115]這里線段的實(shí)際長度，是指該線段在真實(shí)三維世界坐標(biāo)系中對應(yīng)的真實(shí)長度。子U視差圖中的一段線段所對應(yīng)的真實(shí)三維世界中的長度可以從相機(jī)的參數(shù)等轉(zhuǎn)換得到，例如可以通過公式(6)得到。
[0116]Length=Di stCamera*F/d2-DistCamera*F/dl (6)
[0117]其中，Length表示該線段的長度，Distcamera表示例如雙目相機(jī)情況下的兩個相機(jī)之間的距離，dl, d2是線段的兩個端點(diǎn)對應(yīng)的視差值，其中d2〈dl。
[0118]在實(shí)際生活中，道路在通常意義上是連續(xù)的，因此道路的長度不應(yīng)該過短。
[0119]因此，通過設(shè)定預(yù)定長度閾值，該濾除較短的非道路線段。例如，在一個示例中，設(shè)置長度閾值為9m。
[0120](3)線段的點(diǎn)密度大于預(yù)定密度閾值
[0121]線段的點(diǎn)密度可以通過用線段上的可靠點(diǎn)的數(shù)目除以線段的長度來確定。一般地，點(diǎn)密度越大，擬合出的線段越可靠。
[0122]不過上述所列的道路邊緣條件僅為示例，可以根據(jù)需要和實(shí)際情況下而添加或刪除或修改道路邊緣條件。
[0123]由此，在步驟S1420中，可以基于可靠的道路點(diǎn)，來提取第一道路邊緣線。
[0124]圖9(a)中示意性示出了 U視差圖中的可靠道路點(diǎn)，圖9(b)示出了根據(jù)一個示例在子U視差圖中提取到的第一道路邊緣線的示意圖。
[0125]在步驟S1420之后，接下來前進(jìn)到步驟S1430。
[0126]在步驟S1430中，確定是否提取到了滿足道路邊緣條件的道路邊緣線段。
[0127]如果在步驟S1430中判定結(jié)果是否定的，即沒有提取到滿足道路邊緣條件的道路邊緣，則處理結(jié)束。
[0128]反之，如果在步驟S1430中判定結(jié)果是肯定的，即提取到滿足道路邊緣條件的道路邊緣，則前進(jìn)到步驟S1440。
[0129]在步驟S1440中，提取與先前提取到的道路邊緣線段連續(xù)的道路邊緣線段。
[0130]下面參考圖10描述根據(jù)本發(fā)明一個實(shí)施例的提取與先前提取到的道路邊緣線段連續(xù)的道路邊緣線段的方法示例。
[0131]圖10示出了根據(jù)本發(fā)明一個實(shí)施例的提取與先前提取到的道路邊緣線段連續(xù)的道路邊緣線段的示例性方法1440的流程圖。該方法1440可以用于圖7中所示的步驟S1440。
[0132]如圖10所示，在步驟S1441中，計(jì)算先前提取到的道路邊緣線段(在先前提到的道路邊緣線段是第一道路邊緣線段的情況下，即第一道路邊緣線段)的端點(diǎn)，在此示例中即道路邊緣線段的距離較遠(yuǎn)端的端點(diǎn)。
[0133]在一個示例中，將此端點(diǎn)取為位于第一道路邊緣線上的距離最遠(yuǎn)(即視差最小)的可靠點(diǎn)。另外可以根據(jù)需要和實(shí)際情況采用其它合適的方法來確定第一道路邊緣線段的端點(diǎn)。
[0134]在確定第一道路邊緣線段的端點(diǎn)后，第一段道路邊緣也即確定。圖11示意性地示出了示例性第一道路邊緣線段，如水平線以下的由edgel標(biāo)示的較粗的線段所表示的。
[0135]在步驟S1441中確定先前提取的道路邊緣線段的端點(diǎn)之后，前進(jìn)到步驟S1442。
[0136]在步驟S1442中，確定用于提取下一道路邊緣線段的感興趣區(qū)域。
[0137]確定用于提取下一道路邊緣線段的感興趣區(qū)域ROI (Reg1n Of Interest)例如能夠縮小處理范圍，從而提高處理效率和提取道路邊緣的準(zhǔn)確度。
[0138]在一個示例中，考慮到道路是連續(xù)的，道路的傾斜角度一般是漸變的。因此，基于先前道路邊緣線段的角度，可以設(shè)置一個角度變動范圍，將此角度變換范圍內(nèi)的區(qū)域視為用于提取下一道路邊緣線段的感興趣區(qū)域R0I。在一個示例中，將角度變動范圍設(shè)置為20度。不過此角度變動范圍僅為示例，可以根據(jù)實(shí)際道路情況和需要而改變。
[0139]圖12示出了由此獲得的感興趣區(qū)域ROI的示意圖，其中標(biāo)號I指示的直線為第一道路邊緣線段延伸對應(yīng)的直線，標(biāo)號2和3指示的直線可以由第一道路邊緣線I以先前確定的端點(diǎn)為角頂點(diǎn)以第一道路邊緣線I為中心線上下轉(zhuǎn)動20度得到，并用作感興趣區(qū)域ROI的兩條邊界線。此邊界線2和3內(nèi)的區(qū)域即為用于提取下一道路邊緣線段的感興趣區(qū)域R0I?；蛘哒f，感興趣區(qū)域ROI內(nèi)的點(diǎn)可以視為用于提取下一道路邊緣線段的可靠點(diǎn)。
[0140]在步驟S1442中確定了感興趣區(qū)域ROI之后，前進(jìn)到步驟S1443。
[0141]在步驟S1443中，在該感興趣區(qū)域ROI中提取以所計(jì)算的端點(diǎn)為起始端點(diǎn)的下一道路邊緣線段。
[0142]在一個示例中，該道路邊緣線段提取方法可以類似于前文結(jié)合圖7的步驟S1420描述的第一道路邊緣線段的提取方法。即，可以例如利用霍夫變換擬合感興趣區(qū)域ROI中的點(diǎn)，并且選擇滿足預(yù)定道路邊緣條件的線段作為該感興趣區(qū)域ROI內(nèi)的道路邊緣線段。這里的道路邊緣條件可以與前述第一道路邊緣線段提取方法中所采用的道路邊緣條件相同或者不同。
[0143]圖13中的(a)示意性地示出了用于提取下一道路邊緣線段的可靠點(diǎn)(在U視差圖中)，圖13中的(b)示意性地示出了在子U視差圖中基于這樣的可靠點(diǎn)提取的下一道路邊緣線段，在此示例中，即第二道路邊緣線段edge2。
[0144]上文參考圖10到圖13描述了用于實(shí)現(xiàn)圖7中的提取與先前提取到的道路邊緣線段連續(xù)的道路邊緣線段的步驟S1440的示例性實(shí)現(xiàn)方法。
[0145]現(xiàn)在，回到圖7，在圖1440中提取與先前提取到的道路邊緣線段連續(xù)的道路邊緣線段之后，回到步驟S1430，即繼續(xù)判斷是否提取到符合道路邊緣條件的道路邊緣線段，如果提取到了，則繼續(xù)進(jìn)行下一道路邊緣線段提取的下一輪循環(huán)，否則如果沒有提取到合理的道路邊緣線段，則認(rèn)為道路邊緣提取結(jié)束，則結(jié)束處理。
[0146]上文中給出了在子視差圖中自適應(yīng)地提取道路邊緣的方法示例。利用此自適應(yīng)性道路邊緣提取方法，對于無論是平坦型道路還是非平坦的斜坡型道路均能夠進(jìn)行道路邊緣提取，而且例如能夠不依賴于精確的道路路面信息地準(zhǔn)確提取道路邊緣。
[0147]5、基于子U視差圖中提取的道路邊緣在視差圖中提取道路邊緣
[0148]在一個示例中，基于子U視差圖中提取的道路邊緣，在視差圖中提取道路邊緣。
[0149]例如，基于子U視差圖中提取的道路邊緣在視差圖中提取道路邊緣可以如下實(shí)現(xiàn)。
[0150]在視差圖中提取滿足下述條件的點(diǎn)作為道路邊緣上的點(diǎn):該點(diǎn)在U視差圖中的投影點(diǎn)到U視差圖中的道路邊緣的水平距離小于第一預(yù)定距離，以及該點(diǎn)在V視差圖中的投影點(diǎn)到V視差圖中的道路邊緣的垂直距離小于第二預(yù)定距離。
[0151]上述第一預(yù)定距離和第二預(yù)定距離是很小的值，以使得提取的點(diǎn)確實(shí)在道路邊緣之上或者近鄰的周圍。
[0152]圖14示意性地在灰度圖中示出了所提取的道路邊緣，橢圓形曲線所包圍的點(diǎn)即指示作為道路邊緣的點(diǎn)。
[0153]根據(jù)另一實(shí)施例，在視差圖中提取出道路邊緣之后，可以再次細(xì)化道路路面檢測，具體地，在V視差圖中將在道路邊緣外側(cè)的點(diǎn)排除在道路候選點(diǎn)之外，并基于排除后的道路候選點(diǎn)進(jìn)行道路路面檢測。
[0154]6、道路邊緣檢測裝置
[0155]圖15示出了根據(jù)本發(fā)明一實(shí)施例的道路邊緣檢測裝置4000的框圖。
[0156]如圖15所示，道路邊緣檢測裝置4000可以包括:視差圖和V視差圖獲得部件4100，獲得包括道路區(qū)域的視差圖和對應(yīng)的V-視差圖；V視差圖中道路線提取部件4200，在V視差圖中提取道路線Lv;子U視差圖獲得部件4300，基于V視差圖中擬合的道路線Lv，獲得包含道路的子U視差圖；以及道路邊緣自適應(yīng)提取部件4400，在該子U視差圖中自適應(yīng)地提取道路邊緣。
[0157]在一個示例中，道路邊緣自適應(yīng)提取部件4400在該子U視差圖中自適應(yīng)地提取道路邊緣可以包括:基于V視差圖中擬合的道路線Lv，提取子U視差圖中滿足預(yù)定條件的點(diǎn)作為可靠的道路點(diǎn)；在子U視差圖中，基于可靠的道路點(diǎn)，提取滿足預(yù)定的道路邊緣條件的道路邊緣線段。
[0158]在一個示例中，所述預(yù)定的道路邊緣條件包括道路邊緣線段處于道路的最外側(cè)邊緣、該道路邊緣線段的在真實(shí)三維世界中的長度大于預(yù)定長度閾值、該道路邊緣線段的點(diǎn)密度大于對應(yīng)的預(yù)定密度閾值。
[0159]在一個示例中，道路邊緣自適應(yīng)提取部件4400可以被配置為如果提取到道路邊緣線段，則計(jì)算提取到的道路邊緣線段的端點(diǎn)，并基于道路連續(xù)性、漸變性的特征，確定用于提取下一道路邊緣線段的感興趣區(qū)域，并在該感興趣區(qū)域中提取以所計(jì)算的端點(diǎn)為起始端點(diǎn)的下一道路邊緣線段；以及重復(fù)道路邊緣線段的提取過程，直到無法提取到道路邊緣線段。
[0160]在一個示例中，道路邊緣自適應(yīng)提取部件4400被配置為獲取擬合的道路線Lv上與視差相關(guān)的距離小于預(yù)定值的道路線段；在視差圖中，提取那些在V視差圖上的投射在道路線Lv上或之下的點(diǎn)；以及將所述在視差圖中提取的點(diǎn)投射到U視差圖中作為可靠的道路點(diǎn)。
[0161]在一個示例中，子U視差圖獲得部件4300被配置為提取V視差圖中滿足y<cl*d+c2+H的點(diǎn)，其中H為與實(shí)際三維世界中距道路的預(yù)定垂直高度對應(yīng)的正數(shù)值；在視差圖中獲得與所述V視差圖中提取的點(diǎn)對應(yīng)的點(diǎn)；以及將所述視差圖中獲得的點(diǎn)投影到U視差圖中，從而得到子U視差圖。
[0162]在一個示例中，所述道路邊緣檢測裝置4000還可以包括視差圖中道路邊緣提取部件，被配置為基于子U視差圖中提取的道路邊緣，在視差圖中提取道路邊緣。在一個示例中視差圖中道路邊緣提取部件被配置為在視差圖中提取如下點(diǎn)作為道路邊緣上的點(diǎn):該點(diǎn)在U視差圖中的投影點(diǎn)到U視差圖中的道路邊緣的水平距離小于第一預(yù)定距離，以及該點(diǎn)在V視差圖中的投影點(diǎn)到V視差圖中的道路邊緣的垂直距離小于第二預(yù)定距離。
[0163]在一個示例中，所述道路邊緣檢測裝置4000還可以包括道路路面檢測細(xì)化部件，被配置為基于視差圖中提取的道路邊緣，在V視差圖中將在道路邊緣外側(cè)的點(diǎn)排除在道路候選點(diǎn)之外，并基于排除后的道路候選點(diǎn)進(jìn)行道路路面檢測。
[0164]關(guān)于道路邊緣檢測裝置的具體功能和實(shí)現(xiàn)，可以參考前面結(jié)合圖3的相關(guān)描述。
[0165]根據(jù)本發(fā)明實(shí)施例的道路邊緣檢測裝置，即使在不具有精確的路面信息的情況下，也能夠準(zhǔn)確地檢測到道路邊緣。
[0166]7、系統(tǒng)硬件配置
[0167]本發(fā)明還可以通過一種道路邊緣檢測系統(tǒng)來實(shí)施。圖16是示出按照本發(fā)明實(shí)施例的道路邊緣檢測系統(tǒng)6000的硬件配置的概念圖。如圖16所示，道路邊緣檢測6000可以包括:輸入設(shè)備6100，用于從外部輸入將要處理的圖像，例如雙目相機(jī)拍攝的左右圖像、立體相機(jī)拍攝的立體視頻等，該輸入設(shè)備例如可以包括鍵盤、鼠標(biāo)器、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸入設(shè)備等等；處理設(shè)備6200，用于實(shí)施上述的按照本發(fā)明實(shí)施例的道路邊緣檢測方法，或者實(shí)施為上述的按照本發(fā)明實(shí)施例的道路邊緣檢測設(shè)備，例如可以包括計(jì)算機(jī)的中央處理器或其它的具有處理能力的芯片等等，可以連接到諸如因特網(wǎng)的網(wǎng)絡(luò)(未示出)，根據(jù)處理過程的需要而從網(wǎng)絡(luò)獲取數(shù)據(jù)例如左右圖像等等；輸出設(shè)備6300，用于向外部輸出實(shí)施上述道路邊緣檢測過程所得的結(jié)果，例如可以包括顯示器、打印機(jī)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出設(shè)備等等；以及存儲設(shè)備6400，用于以易失或非易失的方式存儲上述道路邊緣檢測過程所涉及的V視差圖、子U視差圖、道路線、道路邊緣線段等等，例如可以包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、硬盤、或半導(dǎo)體存儲器等等的各種易失或非易失性存儲器。
[0168]8、總結(jié)
[0169]上文描述了根據(jù)本發(fā)明實(shí)施例的道路邊緣檢測方法和道路邊緣檢測裝置。
[0170]根據(jù)本發(fā)明的一個方面，提供了一種道路邊緣檢測方法，可以包括:獲得包括道路區(qū)域的視差圖和對應(yīng)的V-視差圖；在￥視差圖中提取道路線Lv;基于V視差圖中提取的道路線Lv，獲得包含道路的子U視差圖；以及在該子U視差圖中自適應(yīng)地提取道路邊緣。
[0171]根據(jù)本發(fā)明的另一方面，提供了一種道路邊緣檢測裝置，可以包括:視差圖和V視差圖獲得部件，被配置為獲得包括道路區(qū)域的視差圖和對應(yīng)的V-視差圖；v視差圖中道路線提取部件，被配置為在V視差圖中提取道路線Lv ;子U視差圖獲得部件，被配置為基于V視差圖中提取的道路線Lv，獲得包含道路的子U視差圖；以及道路邊緣自適應(yīng)提取部件，在該子U視差圖中自適應(yīng)地提取道路邊緣。
[0172]本發(fā)明實(shí)施例的描述僅為示例，本領(lǐng)域技術(shù)人員可以根據(jù)需要進(jìn)行變化、替代或組合。
[0173]在前面的描述中提到，從視差圖計(jì)算得到的V視差圖，不過，可以想見的是，V視差圖也可以直接從特殊相機(jī)例如雙目相機(jī)、多目相機(jī)、立體相機(jī)拍攝的左右圖像中直接計(jì)算得出，或者直接通過立體視圖中的深度圖計(jì)算得到。
[0174]另外，前述實(shí)施例中，示意的是車向前行駛，雙目相機(jī)拍攝車前景的情況。不過本發(fā)明同樣適用于倒車情況下，雙目相機(jī)拍攝車后景的情況，只不過這時檢測的是車后方的路面。
[0175]以上結(jié)合具體實(shí)施例描述了本發(fā)明的基本原理，但是，需要指出的是，對本領(lǐng)域的普通技術(shù)人員而言，能夠理解本發(fā)明的方法和裝置的全部或者任何步驟或者部件，可以在任何計(jì)算裝置(包括處理器、存儲介質(zhì)等)或者計(jì)算裝置的網(wǎng)絡(luò)中，以硬件、固件、軟件或者它們的組合加以實(shí)現(xiàn)，這是本領(lǐng)域普通技術(shù)人員在閱讀了本發(fā)明的說明的情況下運(yùn)用他們的基本編程技能就能實(shí)現(xiàn)的。
[0176]因此，本發(fā)明的目的還可以通過在任何計(jì)算裝置上運(yùn)行一個程序或者一組程序來實(shí)現(xiàn)。所述計(jì)算裝置可以是公知的通用裝置。因此，本發(fā)明的目的也可以僅僅通過提供包含實(shí)現(xiàn)所述方法或者裝置的程序代碼的程序產(chǎn)品來實(shí)現(xiàn)。也就是說，這樣的程序產(chǎn)品也構(gòu)成本發(fā)明，并且存儲有這樣的程序產(chǎn)品的存儲介質(zhì)也構(gòu)成本發(fā)明。顯然，所述存儲介質(zhì)可以是任何公知的存儲介質(zhì)或者將來所開發(fā)出來的任何存儲介質(zhì)。
[0177]還需要指出的是，在本發(fā)明的裝置和方法中，顯然，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本發(fā)明的等效方案。并且，執(zhí)行上述系列處理的步驟可以自然地按照說明的順序按時間順序執(zhí)行，但是并不需要一定按照時間順序執(zhí)行。某些步驟可以并行或彼此獨(dú)立地執(zhí)行。
[0178]上述【具體實(shí)施方式】，并不構(gòu)成對本發(fā)明保護(hù)范圍的限制。本領(lǐng)域技術(shù)人員應(yīng)該明白的是，取決于設(shè)計(jì)要求和其他因素，可以發(fā)生各種各樣的修改、組合、子組合和替代。任何在本發(fā)明的精神和原則之內(nèi)所作的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種道路邊緣檢測方法，包括: 獲得包括道路區(qū)域的視差圖和對應(yīng)的V-視差圖； 在V視差圖中提取道路線Lv; 基于V視差圖中提取的道路線Lv，獲得包含道路的子U視差圖；以及 在該子U視差圖中自適應(yīng)地提取道路邊緣。
2.根據(jù)權(quán)利要求1的道路邊緣檢測方法，所述在該子U視差圖中自適應(yīng)地提取道路邊緣包括: 基于V視差圖中提取的道路線Lv，提取子U視差圖中滿足預(yù)定條件的點(diǎn)作為可靠的道路點(diǎn)； 在子U視差圖中，基于可靠的道路點(diǎn)，提取滿足預(yù)定的道路邊緣條件的道路邊緣線段。
3.根據(jù)權(quán)利要求2的道路邊緣檢測方法，所述預(yù)定的道路邊緣條件包括道路邊緣線段處于道路的最外側(cè)邊緣、該道路邊緣線段的在真實(shí)三維世界中的長度大于預(yù)定長度閾值、該道路邊緣線段的點(diǎn)密度大于對應(yīng)的預(yù)定密度閾值。
4.根據(jù)權(quán)利要求2的道路邊緣檢測方法，還包括: 如果提取到道路邊緣線段，則計(jì)算提取到的道路邊緣線段的端點(diǎn)，并基于道路連續(xù)性、漸變性的特征，確定用于提取下一道路邊緣線段的感興趣區(qū)域，并在該感興趣區(qū)域中提取以所計(jì)算的端點(diǎn)為起始端 點(diǎn)的下一道路邊緣線段；以及 重復(fù)道路邊緣線段的提取過程，直到無法提取到道路邊緣線段。
5.根據(jù)權(quán)利要求2的道路邊緣檢測方法，所述基于V視差圖中提取的道路線Lv，提取子U視差圖中滿足預(yù)定條件的點(diǎn)作為可靠的道路點(diǎn)包括: 獲取提取的道路線Lv上與視差相關(guān)的距離小于預(yù)定值的道路線段； 在視差圖中，提取那些在V視差圖上的投射在道路線Lv上或之下的點(diǎn)；以及 將所述在視差圖中提取的點(diǎn)投射到U視差圖中作為可靠的道路點(diǎn)。
6.根據(jù)權(quán)利要求1的道路邊緣檢測方法，所述基于V視差圖中提取的道路線Lv，從視差圖獲得包含道路的子U視差圖包括: 提取V視差圖中滿足y〈cl*d+c2+H的點(diǎn)，其中H為與實(shí)際三維世界中距道路的預(yù)定垂直高度對應(yīng)的正數(shù)值； 在視差圖中獲得與所述V視差圖中提取的點(diǎn)對應(yīng)的點(diǎn)；以及 將所述視差圖中獲得的點(diǎn)投影到U視差圖中，從而得到子U視差圖。
7.根據(jù)權(quán)利要求1的道路邊緣檢測方法，還包括: 基于子U視差圖中提取的道路邊緣，在視差圖中提取道路邊緣。
8.根據(jù)權(quán)利要求7所述的道路邊緣檢測方法，還包括: 基于視差圖中提取的道路邊緣，在V視差圖中將在道路邊緣外側(cè)的點(diǎn)排除在道路候選點(diǎn)之外，并基于排除后的道路候選點(diǎn)進(jìn)行道路路面檢測。
9.根據(jù)權(quán)利要求7的道路邊緣檢測方法，所述基于子U視差圖中提取的道路邊緣，在視差圖中提取道路邊緣包括: 在視差圖中提取如下點(diǎn)作為道路邊緣上的點(diǎn):該點(diǎn)在U視差圖中的投影點(diǎn)到U視差圖中的道路邊緣的水平距離小于第一預(yù)定距離，以及該點(diǎn)在V視差圖中的投影點(diǎn)到V視差圖中的道路邊緣的垂直距離小于第二預(yù)定距離。
10.一種道路邊緣檢測裝置，包括: 視差圖和V視差圖獲得部件，獲得包括道路區(qū)域的視差圖和對應(yīng)的V-視差圖； V視差圖中道路線提取部件，在V視差圖中提取道路線Lv ； 子U視差圖獲得部件，基于V視差圖中提取的道路線Lv，獲得包含道路的子U視差圖；以及 道路邊緣自適應(yīng) 提取部件，在該子U視差圖中自適應(yīng)地提取道路邊緣。
【文檔編號】G06T7/00GK104050654SQ201310075780
【公開日】2014年9月17日 申請日期:2013年3月11日 優(yōu)先權(quán)日:2013年3月11日
【發(fā)明者】游贛梅, 陳超, 師忠超, 魯耀杰, 王剛 申請人:株式會社理光