專利名稱：道路區(qū)域檢測方法和裝置、分道線檢測方法和裝置的制作方法
技術領域：
本發(fā)明涉及道路檢測和對象檢測，更具體地涉及分道線檢測方法和裝置，以及道路區(qū)域檢測方法和裝置。
背景技術：
駕駛輔助系統(tǒng)的應用日漸普及。而道路或車道警告系統(tǒng)(Lane/Road detectionwarning,LDW/RDW)是駕駛輔助系統(tǒng)的子系統(tǒng)，可以避免碰撞，更準確地確定駕駛方向等。道路或車道檢測對于LDW/RDW系統(tǒng)非常關鍵，只有在知道了道路信息的基礎上才可能做進一步的處理，例如警告。一般通過檢測分道線來檢測道路或車道。因為環(huán)境和地形的緣故，許多路面不是一個平面，而是經(jīng)常出現(xiàn)上坡或下坡的斜坡路面。例如，中國的山城重慶存在很多高低不平的山路，香港和日本東京等的一些城市道路也是不平的，另外許多地方的郊區(qū)道路都是不平的。當前使用立體視覺的主要方法都假設路面是一個平面，因而對于斜坡道路，不能準確地檢測到分道線。在美國專利公開20060239509中，公開了一種分道線識別設備，此專利基于光照強度和圖像一側(cè)的距離來檢測分道線的候選點，然后對分道線候選點進行霍夫變換以找到分道線。此專利采用強度范圍來找到道路感興趣區(qū)，此專利基于強度和距離選擇候選分道線，對亮度較敏感。在文章Real Time Obstacle Detection in Stereovision on Non Flat RoadGeometry Through “V-disparity，，Representation, Labayrade, R.；Aubert, D.；Tarel,J.-P, IEEE Intelligent Vehicles Symposium 2002, pp646_651, Vol.2 中提出的方法中,在V-視差圖中得到具有K個最高霍夫變換值的線。在K條線中，具有最高累計灰度值的線被選擇為道路映射，于是可以得到道路感興趣區(qū)。從道路感興趣區(qū)中用霍夫變換找到分道線。在美國專利US7346190B2中，公開了一種分道線檢測方法，該方法將三維坐標沿橫跨道路的方向投影到二維坐標，并生成沿橫跨道路的方向的直方圖，基于該直方圖來確定分道線。該方法不適用于道路高度不一致的情況，例如斜坡路。此外，當前的道路檢測大部分基于單色圖像或偏光圖像，在道路邊緣暗淡的圖像或者環(huán)境復雜例如存在傾斜道路的情況下，道路檢測效果不佳。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術中的上述問題，提出了本發(fā)明。本發(fā)明的一個目的是檢測不平道路。本發(fā)明的另一目的是檢測分道線。根據(jù)本發(fā)明的一個方面，提供了一種分道線檢測方法，可以包括:獲得包括道路區(qū)域的視差圖和對應的V-視差圖；在V-視差圖中按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，作為依次相鄰的多個道路平面；獲得與該多個斜線段對應的多個分道線感興趣區(qū)域的視差圖；以及在分道線感興趣區(qū)域的視差圖中，檢測分道線。該分道線檢測方法還可以包括:對于每條在視差圖中檢測到的分道線:在U-視差圖中，獲得與視差圖中所檢測到的分道線上的點對應的點，判斷這些點是否在一條既非水平線也非垂直線的斜線上，如果確定這些點不在一條斜線上，則丟棄該分道線。該分道線檢測方法還可以包括:在所述檢測多個斜線段之前，從V-視差圖中刪除長度大于預定閾值的垂直豎線。根據(jù)本發(fā)明的另一方面，提供了一種道路區(qū)域檢測方法，包括:獲得包括道路區(qū)域的V-視差圖；在V-視差圖中按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，作為依次相鄰的多個道路平面。根據(jù)本發(fā)明的再一個方面，提供了一種分道線檢測裝置，可以包括:視差圖和V-視差圖獲得部件，用于獲得包括道路區(qū)域的視差圖和對應的V-視差圖；v-視差圖中道路平面檢測部件，用于在V-視差圖中按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，作為依次相鄰的多個道路平面；分道線感興趣區(qū)域獲得部件，用于獲得與該多個斜線段對應的多個分道線感興趣區(qū)域的視差圖；以及分道線檢測部件，用于在分道線感興趣區(qū)域視差圖中，檢測分道線。根據(jù)本發(fā)明的再一個方面，提供了一種道路區(qū)域檢測裝置，包括:V-視差圖獲得部件，用于獲得包括道路區(qū)域的V-視差圖；v-視差圖中道路平面檢測部件，用于在V-視差圖中按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，作為依次相鄰的多個道路平面。根據(jù)本發(fā)明實施例的分道線檢測方法和裝置利用V-視差圖，按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，來找到依次相鄰的多個道路平面，可以更快速，更精確地擬合不平路面。利用U-視差圖來驗證分道線檢測結果，可以進一步提高檢測準確率。此外，本發(fā)明另一實施例中，可以通過檢測和刪除V-視差圖中的豎線來消除障礙物，進一步提高檢測速度和準確率。


圖1是有助于理解本發(fā)明的、作為本發(fā)明應用環(huán)境的示例的車載系統(tǒng)示意圖；圖2是根據(jù)本發(fā)明一個實施例的分道線檢測方法的整體流程圖；圖3示例地示出了在車上安裝雙目相機情況下的系統(tǒng)操作示意圖；圖4示意性示出了利用雙目相機拍攝得到的左圖和右圖的示例；圖5示意性地示出了左右圖像和計算獲得的對應視差圖；圖6示出了從視差圖獲得V-視差圖的計算示意圖；圖7示出了從視差圖獲得U-視差圖的計算示意圖；圖8示出了根據(jù)本發(fā)明一個實施例的V-視差圖中檢測擬合不平路面的多個斜線段的流程圖；圖9示出了拍攝車前景的各參數(shù)表示含義的示意圖；圖10示意性地示出了所找到的第一斜線和對應的平坦路區(qū)域；
圖11示意性示出了在找出相對水平路面后，尋找可靠點，進而獲取毗鄰傾斜路面區(qū)域的過程；圖12示出了根據(jù)本發(fā)明一個實施例的從V-視差圖的所找到的斜線段還原出視差圖中的分道線感興趣區(qū)域的示意圖；圖13示出了根據(jù)斜率過濾分道線前后的對比示意圖；圖14示出了根據(jù)本發(fā)明第二實施例的分道線檢測的整體過程的流程圖；圖15示意性地示出了視差圖中的分道線在U-視差圖中的投影，以及驗證和過濾分道線的結果；圖16示出了根據(jù)本發(fā)明第三實施例的分道線檢測的整體過程的流程圖；圖17示出了根據(jù)本發(fā)明一個實施例在V-視差圖中檢測并刪除豎線的示例性流程圖；圖18示意性示出了在V-視差圖中找到的豎線以及刪除豎線后的結果；圖19示出了根據(jù)本發(fā)明一實施例的分道線檢測裝置的框圖；圖20示出了根據(jù)本發(fā)明一個實施例的道路平面檢測方法的整體流程圖；圖21示出了根據(jù)本發(fā)明一個實施例的道路平面檢測裝置的框圖；以及圖22是示出按照本發(fā)明實施例的檢測道路區(qū)域和/或檢測分道線的系統(tǒng)1000的硬件配置的概念圖。
具體實施例方式為了使本領域技術人員更好地理解本發(fā)明，下面結合附圖和具體實施方式
對本發(fā)明作進一步詳細說明。將按如下順序進行描述:1、發(fā)明思想概述和基本概念介紹2、第一實施例2.1、分道線檢測的整體過程2.2、視差圖、V-視差圖和U-視差圖(可選)的獲得2.3、V-視差圖中擬合不平路面的多個斜線段的檢測2.4、視差圖中分道線感興趣區(qū)域的獲得2.5、分道線感興趣區(qū)域中分道線的檢測3、第二實施例4、第三實施例5、分道線檢測裝置6、道路平面檢測方法7、道路平面檢測裝置8、系統(tǒng)硬件配置9、總結〈 1、發(fā)明思想概述和基本概念介紹>在具體描述之前，首先總體介紹一下本發(fā)明的思想，以便本領域人員更好地理解本發(fā)明:為了檢測分道線，首先應該確定道路區(qū)域。V-視差圖已被本領域技術人員應用來檢測平坦路面。形象地說，可以將V-視差圖理解為視差圖的橫向投影，即側(cè)視圖。一段平坦路面在V-視差圖中呈現(xiàn)為一段斜線段。因此，本發(fā)明人想到，對于不平的路面，其可以視為由多段平坦路面組成，該多段平坦路面在V-視差圖中呈現(xiàn)為多段斜率不同的斜線段。類比一下，利用多段平坦路面來擬合不平路面就如同數(shù)學中用多個小直線段來擬合曲線一樣。由此，可以通過在V-視差圖中檢測多個斜線段來獲得不平道路區(qū)域。在確定了道路區(qū)域之后，進而可以在道路區(qū)域中檢測分道線。下面介紹一下基本概念，以便于理解。視差，實際指從某一基線兩端各引一直線到同一較遠物體時，其間所成的夾角。一般指從有一定距離的兩個點上觀察同一個目標所產(chǎn)生的方向差異。從目標看兩個點之間的夾角，叫做這兩個點的視差角，兩點之間的距離稱作基線。只要知道視差角度和基線長度，就可以計算出目標和觀測者之間的距離。視差圖(disparity map)是以任一幅圖像為基準,其大小為該基準圖像的大小,元素值為視差值的圖像。視差圖包含了場景的距離信息。視差圖可以從雙目相機拍攝的左圖像和右圖像中計算得到，或者通過立體視圖中的深度圖計算得到。普通二維視差圖中的某點坐標以(u,v)表示,其中u為橫坐標,V為縱坐標；點(u,V)處的像素的像素值用d(u，V)表示，表示該點(U，V)處的視差。為便于理解，形象地說，V-視差圖可以視為視差圖的側(cè)視圖，而U-視差圖可以視為視差圖的俯視圖。V-視差圖或U-視差圖可以從視差圖中計算得到。V-視差圖中任意一點(d，V)的灰度值是對應視差圖的縱坐標為V的行中視差值等于d的點的個數(shù)。U-視差圖中任意一點(u，d)的灰度值是對應視差圖的橫坐標為u的列中視差值等于d的點的個數(shù)?！?、第一實施例><2.1分道線檢測的整體過程>圖1是有助于理解本發(fā)明的、作為本發(fā)明應用環(huán)境的示例的車載系統(tǒng)示意圖。本發(fā)明的軟件或者硬件實現(xiàn)可以作為其中的道路檢測部件。圖2是根據(jù)本發(fā)明一個實施例的分道線檢測方法2000的整體流程圖。在步驟S2100中，獲得包括道路區(qū)域的視差圖和對應的V-視差圖。如前面所述，可以通過雙目相機、多目相機、立體相機拍攝并計算得到包括道路區(qū)域的視差圖，由視差圖變換得到V-視差圖；或者從立體視圖中獲得深度圖，根據(jù)深度圖得到視差圖，由視差圖變換得到視差俯瞰圖。后面將參考圖3、4、5、6、7詳細描述視差圖和V-視差圖的獲得。在步驟S2200中，在V-視差圖中按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，作為依次相鄰的多個道路平面。后面，將參考圖8對此詳細描述。在本實施例中，并非任意檢測多個斜線段，而是按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，這是因為如本領域技術人員公知的，視差與距離成倒數(shù)關系，這里的距離是相對于拍攝的相機而言的。在雙目相機安裝在汽車上的情況下，視差圖像中距離汽車最近的路面可以認為與汽車水平面平行，希望將該段路面先檢測到，然后再由近及遠(即視差由大到小的順序)的順序依次檢測各段路面。V值體現(xiàn)的是高度，與常見的普通坐標系不同,在V視差圖中，V坐標軸是自坐標原點向下延伸,按V值從大到小表示是按從低到高的順序進行檢測，因為，一般而言，路面是最低的。這樣的檢測順序可以保證快速準確地檢測到路面，而減少將一段高高的樓頂檢測為路面的可能性。假設隨機選取一個斜線段作為起始路面開始依次的話，很可能找到的該斜線段不是道路平面，而是樹木，高樓等建筑，因為樹木、高樓體現(xiàn)出來也可能是一條斜線段。在步驟S2300中，在視差圖中獲得與該多個斜線段對應的多個分道線感興趣區(qū)域。在V-視差圖獲得代表多個道路平面的多個斜線段后，可以將該多個斜線段還原回視差圖中，由此在視差圖中獲得了道路區(qū)域，也即多個分道線感興趣區(qū)域。后面將參考圖12對此詳細描述。在步驟S2400中，在視差圖中，在每個分道線感興趣區(qū)域中，檢測分道線。在視差圖中，分道線呈現(xiàn)斜線段的形式，因此可以通過在每個分道線感興趣區(qū)域中尋找斜線段來檢測分道線?！?.2、視差圖、V-視差圖和U-視差圖(可選)的獲得〉下面，參考圖3、4、5、6、7描述根據(jù)本發(fā)明一個實施例的獲得包括道路區(qū)域的視差圖、V-視差圖和U-視差圖(可選)的方法。下面描述利用雙目相機來獲得視差圖、V-視差圖和U-視差圖的情況。不過，本發(fā)明并不局限于此，如前文所述，可以通過多目相機、立體相機拍攝并計算得到包括道路區(qū)域的視差圖，由視差圖變換得到V-視差圖和和U-視差圖；或者從立體視圖中獲得深度圖，根據(jù)深度圖得到視差圖，由視差圖變換得到V-視差和U-視差圖。圖3示例地示出了在車上安裝雙目相機情況下的系統(tǒng)操作示意圖。如圖3所示，汽車上配備有雙目相機，雙目相機拍攝左右圖像，作像存儲在系統(tǒng)的存儲器中，芯片處理該左右圖像，獲得視差圖、V-視差圖和U-視差圖(可選)，以及可以進行后續(xù)的道路區(qū)域檢測和分道線檢測處理。圖4示意性示出了利用雙目相機拍攝得到的左圖像和右圖像的示例，。 可以根據(jù)左右圖像施用絕對差值之和立體匹配算法(Sum of AbsoluteDifferences, SAD)來計算視差圖?？梢栽?Videre Design, “stereo on a chip (STOC) v,http://www.videredesign.com/templates/stoc.htm 中找到關于 SAD 算法的詳細介紹。圖5示意性地示出了左右圖像和計算獲得的對應視差圖。獲得視差圖后，可以從視差圖計算得到V-視差圖。對于V-視差圖中任意一點(d，V)，它的灰度值是視差圖行V中視差值等于d的點的個數(shù)。圖6示出了從視差圖獲得V-視差圖的計算示意圖。其中，左側(cè)圖為視差圖，右側(cè)圖為計算得到的V-視差圖。在V-視差圖中，水平軸表不視差d,垂直軸表不聞度V。類似地，獲得視差圖后，可以從視差圖計算得到U-視差圖。對于U-視差圖中任意一點(U，d)，它的灰度值是視差圖列u中視差值等于d的點的個數(shù)。圖7示出了從視差圖獲得U-視差圖的計算示意圖。其中，上圖為視差圖，下圖為計算得到的U-視差圖。在U-視差圖中，水平軸表不寬度u,垂直抽表不視差d?！?.3、V-視差圖中擬合不平路面的多個斜線段的檢測>下面將描述在V-視差圖中，檢測多個斜線段來擬合不平路面。圖8示出了根據(jù)本發(fā)明一個實施例的V-視差圖中檢測擬合不平路面的多個斜線段的流程圖。如圖8所示，在步驟S2210中，從視差最大且V值最大處開始檢測第一斜線段作為第一道路平面?？梢岳没舴蜃儞Q在V-視差圖中找線，并且將其中從視差最大且V值最大處起的第一個斜線段作為第一道路平面。替代地，也可以從視差最大且V值最大的點開始尋找連續(xù)點，以從連續(xù)點得到的第一個斜線段作為第一道路平面。此外，替代地，也可以在霍夫變換找到的線中過濾得到斜線段，在所尋找到的斜線段之中，選擇通過點最多的斜線段、視差最大的斜線段、長度最長的斜線段中的一個斜線段作為第一斜線段，即作為第一道路平面。如前文所述，因為我們是從視差最大且V值最大處起尋找第一斜線段，因此可以更快速、準確地找到相對于汽車水平的道路平面，下文偶爾也將之稱為相對水平路面。另外，如果拍攝車前景的相機參數(shù)可以獲得，則可以直接獲得第一斜線段的表示公式為:
權利要求
1.一種分道線檢測方法，包括: 獲得包括道路區(qū)域的視差圖和對應的V-視差圖； 在V-視差圖中按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，作為依次相鄰的多個道路平面； 獲得與該多個斜線段對應的多個分道線感興趣區(qū)域的視差圖；以及 在分道線感興趣區(qū)域的視差圖中，檢測分道線。
2.根據(jù)權利要求1的分道線檢測方法，還包括: 對于每條在視差圖中檢測到的分道線: 在U-視差圖中，獲得與視差圖中所檢測到的分道線上的點對應的點，判斷這些點是否在一條既非水平線也非垂直線的斜線上， 如果確定這些點不在一條斜線上，則丟棄該分道線。
3.根據(jù)權利要求1的分道線檢測方法，所述在V-視差圖中按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段包括: 第一步驟，從視差最大V值最大處開始檢測第一斜線段作為第一道路平面； 第二步驟，在該第一斜線段所在的水平區(qū)域以上且相鄰的區(qū)域?qū)ふ业诙本€段作為第二道路平面； 第三步驟，以第二斜線段代替第一斜線段，重復第二步驟的操作，直到無法找到斜線段。
4.根據(jù)權利要求3的分道線檢測方法，在V-視差圖中檢測第一斜線段作為第一道路平面包括: 利用霍夫變換找到所有斜線段； 在所尋找到的斜線段之中，選擇通過點最多的斜線段、視差最大的斜線段、長度最長的斜線段中的一個斜線段作為第一斜線段。
5.根據(jù)權利要求3的分道線檢測方法，其中視差圖是根據(jù)車前景的左圖和右圖計算得到的，在V-視差圖中檢測第一斜線段作為第一道路平面包括: 尋找滿足下述公式的點，以得到第一斜線段，= /sin 沒+ Fcos 沒 其中h是拍攝左圖和右圖的相機到路面的高度，b是左右相機中心點的距離，Θ是圖像平面與路面的夾角，f是相機焦距，Λ表示斜線段上點的視差，V表示斜線段上對應點的V坐標值。
6.根據(jù)權利要求1的分道線檢測方法，包括: 在所述檢測多個斜線段之前，從V-視差圖中刪除長度大于預定閾值的垂直豎線。
7.根據(jù)權利要求1的分道線檢測方法，還包括: 如果任一分道線感興趣區(qū)域在視差圖中V軸上的長度大于預定閾值，則沿高度方向分割該分道線感興趣區(qū)域以得到新的分道線感興趣區(qū)域。
8.根據(jù)權利要求1的分道線檢測方法，還包括: 如果所檢測的分道線的斜率不在預定范圍內(nèi)，則丟棄該分道線。
9.一種道路區(qū)域檢測方法，包括:獲得包括道路區(qū)域的V-視差圖； 在V-視差圖中按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，作為依次相鄰的多個道路平面。
10.一種分道線檢測裝置，包括: 視差圖和V-視差圖獲得部件，用于獲得包括道路區(qū)域的視差圖和對應的V-視差圖；V-視差圖中道路平面檢測部件，用于在V-視差圖中按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，作為依次相鄰的多個道路平面； 分道線感興趣區(qū)域獲得部件，用于獲得與該多個斜線段對應的多個分道線感興趣區(qū)域的視差圖；以及 分道線檢測部件，用于在分道線 感興趣區(qū)域視差圖中，檢測分道線。
全文摘要
公開了一種檢測分道線的方法和裝置，包括獲得包括道路區(qū)域的視差圖和對應的V-視差圖；在V-視差圖中按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，作為依次相鄰的多個道路平面；獲得與該多個斜線段對應的多個分道線感興趣區(qū)域的視差圖；以及在分道線感興趣區(qū)域的視差圖中，檢測分道線。還公開了一種檢測道路區(qū)域的方法和裝置，包括獲得包括道路區(qū)域的V-視差圖；以及在V-視差圖中按照視差從大到小以及V值從大到小的順序依次檢測多個斜線段，作為依次相鄰的多個道路平面。利用本發(fā)明的檢測道路區(qū)域的方法和裝置、檢測分道線的方法和裝置，可以快速、準確地檢測不平道路以及分道線。
文檔編號G06T7/00GK103177236SQ20111043487
公開日2013年6月26日 申請日期2011年12月22日 優(yōu)先權日2011年12月22日
發(fā)明者游贛梅, 鄭繼川 申請人:株式會社理光