本發(fā)明涉及圖像處理技術(shù)，尤其涉及車道檢測系統(tǒng)及方法。

背景技術(shù)：

越來越多的新型公路車輛配置有旨在監(jiān)視車輛相對于公路上的車道邊界的位置的車道偏離預(yù)警系統(tǒng)。車道偏離預(yù)警系統(tǒng)的中心是魯棒車道標(biāo)記檢測算法模塊以提供有意義的且一致的車道信息用于駕駛安全和導(dǎo)航目的。傳統(tǒng)的車道檢測算法依靠特征檢測方案，特征檢測方案包括以下缺點(diǎn)的至少一個(gè)：噪聲敏感，計(jì)算復(fù)雜性和復(fù)雜的硬件實(shí)施。

技術(shù)實(shí)現(xiàn)要素：

公開的車道檢測系統(tǒng)和方法克服傳統(tǒng)車道檢測方案的問題。在實(shí)施例中，方法檢測沿具有車道標(biāo)記的公路行駛的車輛的前部捕獲的公路圖像內(nèi)的車道。方法包括處理公路圖像以識別公路圖像的車道存在區(qū)域內(nèi)的車道候選。車道存在區(qū)域具有：(a)近子區(qū)域，所述近子區(qū)域包括靠近車輛的成像的公路區(qū)域和(b)遠(yuǎn)子區(qū)域，所述遠(yuǎn)子區(qū)域包括遠(yuǎn)離車輛的成像的公路區(qū)域。方法還包括當(dāng)(a)擬合近子區(qū)域中的車道候選的部分的線和(b)公路圖像中的預(yù)設(shè)參考點(diǎn)之間的最小距離小于相鄰距離(neighborhood distance)時(shí)，驗(yàn)證車道候選為正確的車道候選。方法還包括將正確的車道候選延伸至遠(yuǎn)子區(qū)域中以形成標(biāo)定車道標(biāo)記的檢測的車道標(biāo)記。

在實(shí)施例中，車道檢測系統(tǒng)檢測沿具有車道標(biāo)記的公路捕獲的公路圖像內(nèi)的車道。車道檢測系統(tǒng)包括存儲機(jī)器可讀指令的非易失性存儲器和能夠接收公路圖像的圖像處理器。當(dāng)執(zhí)行機(jī)器可讀指令時(shí)，圖像處理器能夠：(i)處理公路圖像以識別公路圖像的車道存在區(qū)域內(nèi)的車道候選，車道存在區(qū)域具有(a)包括靠近車輛的成像的公路區(qū)域的近子區(qū)域和(b)包括遠(yuǎn)離車輛的成像的公路區(qū)域的遠(yuǎn)子區(qū)域，(ii)當(dāng)(a)擬合近子區(qū)域中的車道候選的部分的線和(b)公路圖像中的預(yù)設(shè)參考點(diǎn)之間的距離小于相鄰距離時(shí)，驗(yàn)證車道候選為正確的車道候選；以及(iii)將正確的車道候選延伸至遠(yuǎn)子區(qū)域中以形成標(biāo)定車道標(biāo)記的檢測的車道標(biāo)記。

附圖說明

圖1是示出實(shí)施例中的在配備有照相機(jī)的車輛中使用的一個(gè)示例性車道檢測系統(tǒng)的平面圖。

圖2在實(shí)施例中進(jìn)一步示例性詳細(xì)地示出圖1的車道檢測系統(tǒng)。

圖3A示出由圖1的照相機(jī)捕獲的示例性公路圖像。

圖3B示出沿水平塊的圖3A的公路圖像的示意像素值剖面。

圖4A和4B示出由圖1的車道檢測系統(tǒng)從圖3A的公路圖像處理的示例性脊特征圖像。

圖5A示出由圖1的照相機(jī)捕獲的公路圖像。

圖5B至5E示出由圖1的車道檢測系統(tǒng)從圖5A的公路圖像處理的圖像。

圖6示出由圖1的車道檢測系統(tǒng)從圖5D的圖像產(chǎn)生的車道候選圖像。

圖7是由圖5C的圖像和圖6的車道候選圖像形成的正確車道候選圖像。

圖8是由圖1的車道檢測系統(tǒng)形成的延伸車道圖像，延伸圖7的正確車道候選圖像的正確車道候選。

圖9示出由圖1的車道檢測系統(tǒng)在圖5A的公路圖像的車道標(biāo)記上疊加的檢測車道標(biāo)記。

圖10是實(shí)施例中示出用于檢測公路圖像內(nèi)車道的一個(gè)示例性方法的流程圖。

圖11是實(shí)施例中示出圖10的公路圖像處理步驟的進(jìn)一步示例性細(xì)節(jié)的流程圖。

圖12是實(shí)施例中示出圖11的結(jié)合步驟的進(jìn)一步示例性細(xì)節(jié)的流程圖。

具體實(shí)施方式

圖1是示出車輛180內(nèi)使用的一個(gè)示例性車道檢測系統(tǒng)100的平面圖。車輛180在具有車道標(biāo)記182的公路181上。車道檢測系統(tǒng)100包括圖像處理器240。車輛180包括照相機(jī)120且可選地包括通信地耦接至車道檢測系統(tǒng)100的顯示器190。照相機(jī)120包括具有像素陣列122的圖像傳感器。在實(shí)施例中，車道檢測系統(tǒng)100包括照相機(jī)120和顯示器190的至少一個(gè)。

車道檢測系統(tǒng)100接收照相機(jī)120的視場125內(nèi)的公路181的部分的公路圖像132。車道檢測系統(tǒng)100處理公路圖像132的至少部分以檢測一個(gè)或多個(gè)車道標(biāo)記182并產(chǎn)生對應(yīng)的一個(gè)或多個(gè)檢測的車道標(biāo)記142。例如，檢測的車道標(biāo)記142是標(biāo)定車道標(biāo)記182的圖像和可表示為可疊加在公路圖像132上的線或曲線的等同(或坐標(biāo)數(shù)據(jù)集)的一個(gè)或多個(gè)。

在圖1的示例中，車道檢測系統(tǒng)100發(fā)送檢測的車道標(biāo)記142至產(chǎn)生用于在顯示器190上顯示的輸出圖像152的輸出圖像產(chǎn)生器150。輸出圖像產(chǎn)生器150可以從公路圖像132和檢測的車道標(biāo)記142產(chǎn)生輸出圖像152。例如，輸出圖像152可以是其上疊加有檢測的車道標(biāo)記142的公路圖像132。在一個(gè)實(shí)施例中，輸出圖像產(chǎn)生器150是車道檢測系統(tǒng)100的一部分。

圖2進(jìn)一步示例性詳細(xì)地示出車道檢測系統(tǒng)100。車道檢測系統(tǒng)100包括圖像處理器240和存儲軟件220的存儲器210。軟件220包括機(jī)器可讀指令，當(dāng)機(jī)器可讀指令被圖像處理器240執(zhí)行時(shí)，能夠執(zhí)行在此討論的車道檢測系統(tǒng)100的功能。軟件220包括以下軟件模塊：車道候選識別器222、車道驗(yàn)證器228和車道延伸器230。軟件220還可以包括消失點(diǎn)跟蹤器221。存儲器210還被示出存儲從照相機(jī)120接收的公路圖像132和由軟件220產(chǎn)生的檢測的車道標(biāo)記142的一個(gè)或全部。

車道候選識別器222包括機(jī)器可讀指令，當(dāng)機(jī)器可讀指令被圖像處理器240執(zhí)行時(shí)，操作以處理公路圖像132以確定公路圖像的車道存在區(qū)域內(nèi)的一個(gè)或多個(gè)車道候選。車道候選識別器222可以包括梯度模塊223、線檢測器224和線結(jié)合器226。

車道驗(yàn)證器228包括機(jī)器可讀指令，當(dāng)機(jī)器可讀指令被圖像處理器240執(zhí)行時(shí)，操作以當(dāng)(a)擬合車道候選的部分的線和(b)公路圖像中的預(yù)設(shè)參考點(diǎn)之間的距離小于相鄰距離時(shí)，驗(yàn)證由車道候選識別器222識別的車道候選為正確的車道候選。車道延伸器230包括機(jī)器可讀指令，當(dāng)機(jī)器可讀指令被圖像處理器240執(zhí)行時(shí)，操作以朝著公路圖像132的水平線延伸由車道驗(yàn)證器228驗(yàn)證的正確的車道候選以形成標(biāo)定車道標(biāo)記182的檢測的車道標(biāo)記142。

圖3A示出由圖1的照相機(jī)120捕獲的一個(gè)示例性公路圖像300。圖3B至9示出由用于檢測公路圖像300中的車道標(biāo)識的軟件220處理公路圖像300得到的示例性數(shù)據(jù)。公路圖像300可以表示圖1的公路圖像132。公路圖像300包括被劃分為近子區(qū)域391和遠(yuǎn)子區(qū)域392的車道存在區(qū)域390。車道存在區(qū)域390包括公路圖像300的底部。在其他實(shí)施例中，車道存在區(qū)域390不包括公路圖像300的底部。

公路圖像300內(nèi)的預(yù)設(shè)參考點(diǎn)314可以與公路圖像300的(a)消失點(diǎn)和(b)水平線上的位置的一個(gè)或多個(gè)對應(yīng)。預(yù)設(shè)參考點(diǎn)314可以與當(dāng)在車輛180上安裝照相機(jī)120時(shí)確定的像素陣列122(圖1)上的位置對應(yīng)。公路圖像300中的預(yù)設(shè)參考點(diǎn)314的垂直位置可以與照相機(jī)120的垂直視場角內(nèi)的角度對應(yīng)，其中垂直視場角在與公路181正交的平面內(nèi)。

在實(shí)施例中，消失點(diǎn)跟蹤器221使用本領(lǐng)域中已知的消失點(diǎn)跟蹤算法和一個(gè)或多個(gè)公路圖像132，調(diào)整預(yù)設(shè)參考點(diǎn)314的位置。例如，當(dāng)車輛180靠近公路181的上坡部分時(shí)，可以朝著公路圖像300的頂部調(diào)整預(yù)設(shè)參考點(diǎn)314。車道存在區(qū)域390延伸上述的參考點(diǎn)314使得當(dāng)這樣的參考點(diǎn)314的調(diào)整發(fā)生時(shí)，參考點(diǎn)314仍舊在車道存在區(qū)域390內(nèi)。

公路圖像300具有高度h₃₀₀。相對于公路圖像300的底部，近子區(qū)域391和遠(yuǎn)子區(qū)域392分別具有高度h₃₉₁和h₃₉₂。相似地，參考點(diǎn)314在公路圖像300的底部之上的高度h₃₁₄處。車道檢測系統(tǒng)100計(jì)算h₃₉₁為h₃₉₁＝αh₃₁₄，h₃₉₂為h₃₉₂＝h₃₁₄+βh₃₀₀，其中，對于公路圖像300，且

在以下示例中，公路圖像300被定量地表示為多個(gè)像素值p(i,j)，其中坐標(biāo)(i,j)分別表示像素列索引和行索引，如圖3A中所示。像素(i,j)指的是具有像素值p(i,j)、在公路圖像300中坐標(biāo)(i,j)處的位置。以下公路圖像300的基于像素的討論為車道候選識別器222的示例性操作，以及具體地，梯度模塊223如何識別公路圖像300內(nèi)的脊特征(其中至少一些成為車道候選)提供背景。

行索引j_max和j_min分別與車道存在區(qū)域390的底部和頂部處的像素行對應(yīng)。例如，像素值p(i,j)是灰度像素值使得每個(gè)像素值是0和2^N-1以內(nèi)的整數(shù)，其中N是正整數(shù)。

公路圖像300示出與公路181的車道標(biāo)記182對應(yīng)的車道標(biāo)記301(1，2，…)和302(1，2，…)。為說明的清楚，僅標(biāo)注車道標(biāo)記301(1-2)和302(1-3)。圖3B是示出在與車道標(biāo)記301(1)相交的像素坐標(biāo)(i₁,j₁)處的公路圖像300的部分的示意像素值剖面350的圖。在公路圖像300的像素坐標(biāo)(i₁,j₁)處的水平塊(patch)331包括與車道標(biāo)記301(1)的左側(cè)、上和右側(cè)對應(yīng)的三個(gè)子塊331(L)、331(C)和331(R)。相應(yīng)地，像素值剖面350包括分別與子塊331(L，C，R)對應(yīng)的三個(gè)子區(qū)域351(L，C，R)。

每個(gè)子塊331(L，C，R)(和相應(yīng)的子區(qū)域351(L，C，R))具有與確定的比例s(j)對應(yīng)的寬度335和一個(gè)像素行的高度。例如，比例s(j)是像素列的數(shù)值且可以是在公路圖像300中的行j處的車道標(biāo)記301的期望成像寬度。由于公路圖像300的固有視角，每個(gè)車道標(biāo)記301和302(在公路圖像300中)具有取決于公路圖像300內(nèi)的車道標(biāo)記的垂直位置的成像車道標(biāo)記寬度。因此，成像的車道標(biāo)記在車道存在區(qū)域390的底部出現(xiàn)最寬且在車道存在區(qū)域390的頂部出現(xiàn)最窄。相應(yīng)地，水平塊331(C)的寬度335(和比例s(j₁)的值)取決于公路圖像300中水平塊331的垂直位置(由行索引j₁表示)。

參考車道檢測系統(tǒng)100，梯度模塊223確定比例s(j)。例如，梯度模塊223設(shè)置s(j_max)＝20，s(j_min)＝1，且對于j_min＜j＜j_max通過在s(j_max)和s(j_min)之間線性內(nèi)插確定s(j)的值。在不脫離其范圍的情況下，子塊331可以對應(yīng)多于一個(gè)像素行，且子塊331(L)和331(R)可以具有與子塊331(C)的寬度不同的寬度。

強(qiáng)度剖面350(圖3B)的子區(qū)域351(L，C，R)分別具有被表示為<p_L(i₁,j₁)>、<p_C(i₁,j₁)>和<p_R(i₁,j₁)>的平均像素值，例如，其被計(jì)算如下(在(i,j)＝(i₁,j₁)時(shí)被估計(jì))，其中s是偶數(shù)：平均像素值<p_L(i,j)>是對于在行索引j處且在列(i-1.5s(j))至(i-0.5s(j)-1)以內(nèi)的像素的像素值的平均。平均像素值<p_C(i,j)>是對于在行索引j處且在列(i-0.5s(j))至(i+0.5s(j)-1)以內(nèi)的像素的像素值的平均。平均像素值<p_R(i,j)>是對于在行索引j處且在列(i+0.5s(j))至(i+1.5s(j)-1)以內(nèi)的像素的像素值的平均。

平均像素值<p_L(i,j)>、<p_C(i,j)>和<p_R(i,j)>可以被用于確定像素位置(i₁,j₁)是否為候選脊像素。例如，若滿足兩個(gè)條件(1)和(2)時(shí)，像素位置(i₁,j₁)是候選脊像素，其中ρ·Δ是預(yù)定義的弱閾值，其保證大多數(shù)車道像素可以成功地被分類為候選脊像素。量ρ是弱因子，例如，ρ＝0.15。

量Δ是表示(a)公路圖像中與車道標(biāo)記對應(yīng)的像素的像素值p_L和(b)公路圖像中與不是車道標(biāo)記的公路的部分對應(yīng)的像素的像素值p_NL之間的典型差異的常量。例如，Δ＝<p_L>-<p_NL>，當(dāng)Δ的上限為255時(shí)其可以導(dǎo)致Δ＝130。在公路圖像300中，像素值p_L的示例包括車道標(biāo)記301和302內(nèi)的像素值，且像素值p_NL的示例包括標(biāo)記間區(qū)域305內(nèi)的像素值。在條件(1)和(2)中，左梯度和右梯度是由梯度模塊223計(jì)算的水平圖像梯度。

左梯度：<p_C(i,j)>-<p_L(i,j)>≥ρ·Δ (1)

右梯度：<p_C(i,j)>-<p_R(i,j)>≥ρ·Δ (2)

在實(shí)施例中，量ρ和Δ是基于典型的公路圖像經(jīng)驗(yàn)性地預(yù)設(shè)的并作為預(yù)設(shè)的參數(shù)332被存儲在車道檢測系統(tǒng)100的存儲器210中。預(yù)設(shè)的參數(shù)332可以包括ρ和Δ的至少一個(gè)以及乘積ρ·Δ。預(yù)設(shè)的參數(shù)332還可以包括代表公路在影響能見度的不同條件(例如雨，霧、冰、雪、刺眼、環(huán)境光水平和彩色車道標(biāo)記)下的Δ的幾個(gè)值。

梯度模塊223在公路圖像300內(nèi)的多個(gè)像素坐標(biāo)(i,j)處評估條件(1)和(2)，其導(dǎo)致示于圖4A中的脊特征圖像400。例如，多個(gè)像素坐標(biāo)與車道存在區(qū)域390內(nèi)的坐標(biāo)對應(yīng)。脊特征圖像400中的像素值p(i,j)是取決于與公路圖像300的像素坐標(biāo)(i,j)關(guān)聯(lián)的水平塊是否滿足條件(1)和(2)的兩個(gè)值(例如，1和0)中的一個(gè)，其中閾值ρ等于0.15。脊特征是可以與公路圖像300中的車道標(biāo)記對應(yīng)的多個(gè)連續(xù)候選脊像素。脊特征圖像400包括與公路圖像300的車道標(biāo)記301(1，2)和302(1-3)對應(yīng)的脊特征421(1，2)和422(1-3)。

脊特征圖像400還可以包括錯(cuò)誤的脊特征，例如不與公路圖像300的車道標(biāo)記對應(yīng)的錯(cuò)誤的脊特征413(1-6)。錯(cuò)誤的脊特征的發(fā)生隨ρ·Δ的值的減小而增加。在實(shí)施例中，車道候選識別器222對脊特征圖像400提煉以消除錯(cuò)誤的脊特征(例如413(1-4))，從而產(chǎn)生示于圖4B的提煉的脊特征圖像450。例如，由車道候選識別器222對脊特征圖像400執(zhí)行連續(xù)性閾值操作產(chǎn)生提煉的脊特征圖像450。連續(xù)性閾值操作從脊特征圖像400中移除不是M(其中，M≥k)個(gè)候選脊像素的連續(xù)組的部分的候選脊像素(其中，k為整數(shù)的連續(xù)性閾值)。例如，在提煉的脊特征圖像450中，k＝8。相對于像素行和列，兩個(gè)連續(xù)的像素可以在水平、垂直或?qū)蔷€方向的一個(gè)中相鄰。

圖5A至5C示出公路圖像500、從公路圖像500形成的脊特征圖像510和從脊特征圖像510提煉的提煉的脊特征圖像520。公路圖像500是公路圖像132的示例，并包括公路581的部分，公路581包括車道標(biāo)記501-504和車道存在區(qū)域590(0)，車道存在區(qū)域590(0)包括近子區(qū)域591和遠(yuǎn)子區(qū)域592。例如，由車道候選識別器222對脊特征圖像510執(zhí)行連續(xù)性閾值操作產(chǎn)生提煉的脊特征圖像520。脊特征圖像510和提煉的脊特征圖像520包括分別與車道標(biāo)記501-504對應(yīng)的脊特征521-524。參考車道檢測系統(tǒng)100，脊特征521-524是使用與用于識別脊特征421和422的處理相似的處理、由圖像處理器240執(zhí)行的梯度模塊223的示例性輸出。

圖5D是源于提煉的脊特征圖像520的擬合脊特征圖像530。擬合脊特征圖像530包括線群531-534，線群531-534的每個(gè)分別至少部分地與脊特征521-524重疊。參考車道檢測系統(tǒng)100，線檢測器224識別線群531-534。每個(gè)線群531-534分別包括多條線531(1-m₁)，532(1-m₂)，533(1-m₃)和534(1-m₄)。例如，圖5E是示出線532(1-8)的線群532的部分的放大圖540。

提煉的脊特征圖像520包括車道存在區(qū)域590(2)。在實(shí)施例中，由線檢測器224對提煉的脊特征圖像520的車道存在區(qū)域590(2)應(yīng)用霍夫變換產(chǎn)生擬合脊特征圖像530?？蛇x地，可以由線檢測器224對脊特征圖像510的車道存在區(qū)域590(1)應(yīng)用霍夫變換產(chǎn)生擬合脊特征圖像530。可以使用不同于霍夫變換的特征提取技術(shù)從脊特征圖像510或520產(chǎn)生擬合脊特征圖像530。

每個(gè)車道存在區(qū)域590(0，1，2)分別指的是圖像500、510和520的車道存在區(qū)域。由于圖像510和520是公路圖像500的處理版本，車道存在區(qū)域590(1，2)在此也被看作與車道存在區(qū)域590(0)對應(yīng)，其中圓括號內(nèi)的索引指示相關(guān)的圖像。

例如，線群531-534可以各自被線結(jié)合器226結(jié)合，分別結(jié)合成車道候選631-634，如圖6的車道候選圖像600所示。在實(shí)施例中，線結(jié)合器226對線群531-534分別應(yīng)用形態(tài)學(xué)算子(morphological operator)以產(chǎn)生車道候選631-634。

圖7是從提煉的脊特征圖像520和車道候選圖像600形成的正確的車道候選圖像700。例如，正確的車道候選圖像700由車道檢測系統(tǒng)100的車道驗(yàn)證器228產(chǎn)生。正確的車道候選圖像700包括位于距正確的車道候選圖像700的底部的高度715(由其上疊加的水平線716指示)處的預(yù)設(shè)參考點(diǎn)714。預(yù)設(shè)參考點(diǎn)714可以與公路圖像500的(a)消失點(diǎn)和(b)水平線上的位置的一個(gè)或多個(gè)對應(yīng)。

正確的車道候選圖像700包括脊特征521-524和分別對應(yīng)的線性脊延伸731-734。線性脊延伸731-733各自在距預(yù)設(shè)參考點(diǎn)714小于相鄰距離717的位置處與水平線716相交，其證明脊特征521-523為正確的車道候選。相鄰距離717是正確的車道候選圖像700內(nèi)的距離。參考車道檢測系統(tǒng)100，車道驗(yàn)證器228產(chǎn)生線性脊延伸731-734并驗(yàn)證脊特征521-523為正確的車道候選。車道驗(yàn)證器228還可以淘汰脊特征524不作為正確的車道候選。

因?yàn)榧固卣?24的線脊延伸734在距預(yù)設(shè)參考點(diǎn)714的距離超過相鄰距離717的位置與水平線716相交，證明脊特征524不是正確的車道候選。相鄰距離717不必須是在水平線716上距參考點(diǎn)714的距離。例如，相鄰距離717可以是線性脊延伸和預(yù)設(shè)參考點(diǎn)714之間的最小距離(即，垂直距離)的最大允許值。

正確的車道候選圖像700包括車道存在區(qū)域790，車道存在區(qū)域790包括近子區(qū)域791和遠(yuǎn)子區(qū)域792。區(qū)域790、791和792分別對應(yīng)公路圖像500的區(qū)域590(0)、591和592。分別通過對每個(gè)脊特征521-524中在近子區(qū)域791內(nèi)的多個(gè)近控制點(diǎn)擬合線形成線性脊延伸731-734。脊特征521-523分別具有近控制點(diǎn)721-723。例如，線性脊延伸731-733分別是由車道驗(yàn)證器228對近控制點(diǎn)721-723進(jìn)行擬合的線。在不脫離其范圍的情況下，脊延伸731-733可以分別對控制點(diǎn)721-723的非線性擬合。

近控制點(diǎn)721-723與脊特征圖像510和提煉的脊特征圖像520的至少一個(gè)中的位置對應(yīng)。在實(shí)施例中，通過使用車道候選631-633中的點(diǎn)分別作為用于查找控制點(diǎn)的起點(diǎn)在脊特征圖像510或520中查找控制點(diǎn)，車道驗(yàn)證器228確定控制點(diǎn)721-723。在此情形中，車道候選631-633用作種子車道。

圖8是通過延伸由正確的車道候選圖像700的線性脊延伸731-733確定的正確的車道候選、脊特征521-524形成的延伸車道圖像800。延伸車道圖像800包括車道存在區(qū)域890，車道存在區(qū)域890包括近子區(qū)域891和遠(yuǎn)子區(qū)域892。區(qū)域890-892分別對應(yīng)車道候選圖像700的區(qū)域790-792。參考車道檢測系統(tǒng)100，車道延伸器230將脊特征521-523延伸至延伸車道圖像800的遠(yuǎn)子區(qū)域892。

延伸車道圖像800包括分別對應(yīng)脊特征521-523的擬合曲線831-833。在實(shí)施例中，通過對近子區(qū)域891中的近控制點(diǎn)和遠(yuǎn)子區(qū)域892中的遠(yuǎn)控制點(diǎn)擬合非線性曲線，車道延伸器230產(chǎn)生每個(gè)擬合曲線831-833。脊特征521-523分別具有遠(yuǎn)控制點(diǎn)821-823。擬合曲線831是擬合近控制點(diǎn)721和遠(yuǎn)控制點(diǎn)821的多項(xiàng)式曲線。擬合曲線832是擬合近控制點(diǎn)722和遠(yuǎn)控制點(diǎn)822的多項(xiàng)式曲線。擬合曲線833是擬合近控制點(diǎn)723和遠(yuǎn)控制點(diǎn)823的多項(xiàng)式曲線。參考車道檢測系統(tǒng)100，車道延伸器230識別分別與脊特征521-523對應(yīng)的遠(yuǎn)控制點(diǎn)821-823。

在實(shí)施例中，通過采用各個(gè)脊特征521-523的近控制點(diǎn)和遠(yuǎn)控制點(diǎn)的線性擬合、多項(xiàng)式曲線擬合和非線性曲線擬合的至少一個(gè)，車道延伸器230產(chǎn)生一個(gè)或多個(gè)擬合曲線831-833?？刂泣c(diǎn)(例如，近控制點(diǎn)721-723和遠(yuǎn)控制點(diǎn)821-823)的位置可以與公路圖像中的像素坐標(biāo)或公路圖像中相鄰像素之間的位置(例如多個(gè)像素坐標(biāo)之間的內(nèi)插位置)對應(yīng)。

延伸車道圖像800是由車輛180的車道檢測系統(tǒng)100從公路圖像500處理得到的。公路圖像500可以被看作是隨著車輛180沿公路181前進(jìn)，由照相機(jī)120捕獲的一系列公路圖像500(1，2，…N)中的第一個(gè)公路圖像500(1)。控制點(diǎn)721-723和821-823可以被指定為721(1)-723(1)和821(1)-823(1)。在隨后的公路圖像中，例如被指定為500(2)(未示出)，遠(yuǎn)控制點(diǎn)821(1)-823(1)的至少部分移動進(jìn)入近子區(qū)域891且可以被重新排列為近控制點(diǎn)721(2)-723(2)并被擬合成線?？蛇x地，可以獨(dú)立于先前圖像500(1)的遠(yuǎn)控制點(diǎn)821(1)-823(1)確定公路圖像500(2)的近控制點(diǎn)721(2)-723(2)。

圖9是示出公路581的車道存在區(qū)域590(0)內(nèi)分別疊加在車道標(biāo)記501-503(白色)上的檢測的車道標(biāo)記931-933(黑色)的公路圖像900。檢測的車道標(biāo)記931-933分別是擬合曲線831-833在預(yù)設(shè)參考點(diǎn)714下方的部分。參考車道檢測系統(tǒng)100，車道延伸器230產(chǎn)生檢測的車道標(biāo)記931-933，其都是一個(gè)檢測的車道標(biāo)記142的示例。可以在顯示屏190上查看公路圖像900。

圖10是示出用于檢測沿具有車道標(biāo)記的公路行駛的車輛的前部捕獲的公路圖像內(nèi)的車道的示例性方法1000的流程圖。圖2至9示出公路圖像和與方法1000的步驟對應(yīng)的處理的公路圖像。在下述描述中最好一起查看圖2至10。例如，由車道檢測系統(tǒng)100的軟件220實(shí)施方法1000。

在步驟1010中，方法1000處理公路圖像以識別公路圖像的車道存在區(qū)域中的車道候選，車道存在區(qū)域具有近子區(qū)域和遠(yuǎn)子區(qū)域，近子區(qū)域和遠(yuǎn)子區(qū)域分別包括靠近車輛的成像的公路區(qū)域和遠(yuǎn)離車輛的成像的公路區(qū)域。在步驟1010的示例中，車道候選識別器222識別車道候選圖像600的車道候選631-634。申請人注意到方法1000(尤其是步驟1010)既不需要預(yù)處理步驟(例如去噪和特征增強(qiáng))也不需要逆透視變換以識別車道候選。

方法1000可以包括可選步驟1039。若被包括，在步驟1039中，方法1000調(diào)整公路圖像中預(yù)設(shè)參考點(diǎn)的位置。在步驟1039的示例中，消失點(diǎn)跟蹤器221調(diào)整公路圖像300內(nèi)預(yù)設(shè)參考點(diǎn)314的位置。

在步驟1040中，當(dāng)(a)擬合近子區(qū)域中車道候選的部分的線和(b)公路圖像中預(yù)設(shè)參考點(diǎn)之間的距離小于相鄰距離時(shí)，方法1000驗(yàn)證車道候選為正確的車道候選。在步驟1040的示例中，車道驗(yàn)證器228驗(yàn)證脊特征521-523為正確的車道候選，如圖7所示。

在步驟1050中，方法1000將正確的車道候選延伸至遠(yuǎn)子區(qū)域以形成標(biāo)定車道標(biāo)記的檢測的車道標(biāo)記。在步驟1050的示例中，車道延伸器230將脊特征521-523延伸至延伸車道圖像800的遠(yuǎn)子區(qū)域892中。

步驟1050可選地包括步驟1054、1056和1058。若被包括，在步驟1054中，方法1000在遠(yuǎn)子區(qū)域中識別與正確的車道候選對應(yīng)的遠(yuǎn)控制點(diǎn)。在步驟1054的示例中，車道延伸器230識別分別與脊特征521-523對應(yīng)的遠(yuǎn)控制點(diǎn)821-823，如圖8所示。

若被包括，在步驟1056中，方法1000對遠(yuǎn)控制點(diǎn)和位于近子區(qū)域且與正確的車道候選對應(yīng)的多個(gè)近控制點(diǎn)擬合曲線。在步驟1056的示例中，車道延伸器230擬合：(i)對近控制點(diǎn)721和遠(yuǎn)控制點(diǎn)821的擬合曲線831，(ii)對近控制點(diǎn)722和遠(yuǎn)控制點(diǎn)822的擬合曲線832，(iii)對近控制點(diǎn)723和遠(yuǎn)控制點(diǎn)823的擬合曲線833。

若被包括，在步驟1058中，方法1000截?cái)鄶M合曲線以產(chǎn)生檢測的車道標(biāo)記。在步驟1058的示例中，車道延伸器230分別截?cái)鄶M合曲線831-833以產(chǎn)生檢測的車道標(biāo)記931-933。

步驟1010可以包括步驟1121和1127，示于圖11。若被包括，在步驟1121中，方法1000識別公路圖像內(nèi)的脊特征以產(chǎn)生脊特征圖像。在步驟1121的示例中，車道候選識別器222識別公路圖像300內(nèi)的脊特征421和422以產(chǎn)生示于圖4的脊特征圖像400。

步驟1121可以包括步驟1122-1124。若被包括，在步驟1122中，對于公路圖像的多個(gè)位置的每個(gè)，方法1000部分地基于代表完全在位置左側(cè)的第一圖像區(qū)域的第一圖像強(qiáng)度計(jì)算第一水平圖像梯度。若被包括，在步驟1123中，對于公路圖像多個(gè)位置的每個(gè)，方法1000部分地基于代表完全在位置右側(cè)的第二圖像區(qū)域的第二圖像強(qiáng)度計(jì)算第二水平圖像梯度。對于公路圖像中的給定位置，第一水平圖像梯度和第二水平圖像梯度還基于代表包括該位置的中心圖像區(qū)域的中心圖像強(qiáng)度。

在步驟1122和1123的示例中，梯度模塊223計(jì)算與圖3A的公路圖像300的水平塊331(L，C，R)的子區(qū)域351(L，C，R)(像素位置(i₁,j₁))相關(guān)的條件(1)和(2)的左梯度和右梯度。

若被包括，在步驟1124中，方法100基于第一水平圖像梯度和第二水平圖像梯度確定位置是否是脊特征的一部分。在步驟1124的示例中，梯度模塊223根據(jù)是否滿足條件(1)和(2)確定公路圖像300中的像素位置(i₁,j₁)是否是候選脊特征。

在步驟1127中，方法1000識別各自至少部分地與脊特征重疊的多條線。在步驟1127的示例中，線檢測器224識別擬合的脊特征圖像530的線群531-534(圖5D)，線群531-534分別至少部分地與脊特征521-524重疊。

步驟1127可選地包括步驟1130。在步驟1130中，方法1000結(jié)合多條線以確定車道候選。在步驟1130的示例中，線結(jié)合器226結(jié)合每個(gè)線群531-534，分別生成車道候選631-634，如圖6所示。申請人注意到方法1000(尤其是步驟1127)不需要耗時(shí)的計(jì)算，例如數(shù)據(jù)遍歷、追加和刪除。

在方法1000的實(shí)施例中，步驟1130包括步驟1234和1236，如圖12所示。步驟1234與具有多個(gè)像素的空白圖像有關(guān)，其中多個(gè)像素的每個(gè)具有(i)相同的像素值和(ii)在空白圖像中的像素坐標(biāo)。例如，空白圖像視覺上相當(dāng)于移除車道候選631-634的車道候選圖像600。量化地，空白圖像可以是以陣列數(shù)據(jù)形式存儲在車道檢測系統(tǒng)100的存儲器210內(nèi)的數(shù)字的二維陣列，其中每個(gè)陣列元素具有相同的值，例如0。二維陣列可以被顯示為圖像，使得(例如，由兩個(gè)索引識別的)每個(gè)陣列元素是像素，且陣列元素的值是像素值。

若被包括，在步驟1234中，方法1000改變空白圖像的多個(gè)車道候選像素的像素值，車道候選像素是具有與步驟1127(圖11)中識別的多條線中的一條對應(yīng)的像素坐標(biāo)的像素。在步驟1234的示例中，線結(jié)合器226生成視覺上類似圖像530的圖像。步驟1130還可以包括步驟1232，其中方法1000產(chǎn)生空白圖像。

若被包括，在步驟1236中，方法1000在多個(gè)車道候選像素上執(zhí)行形態(tài)學(xué)算子。在步驟1236的示例中，線結(jié)合器226執(zhí)行將多個(gè)車道候選像素結(jié)合成車道候選631-634的形態(tài)學(xué)算子。例如，形態(tài)學(xué)算子是閉合算子(closing operator)。

特征組合

在不脫離其范圍的情況下，上述的和下面所請求的特征可以以各種方式進(jìn)行組合。以下示例示出一些可能的、非限制性的組合：

(A1)方法檢測沿具有車道標(biāo)記的公路行駛的車輛的前部捕獲的公路圖像內(nèi)的車道。方法包括處理公路圖像以識別公路圖像的車道存在區(qū)域內(nèi)的車道候選。車道存在區(qū)域具有：(a)近子區(qū)域，其包括靠近車輛的成像的公路區(qū)域；和(b)遠(yuǎn)子區(qū)域，其包括遠(yuǎn)離車輛的成像的公路區(qū)域。方法還包括當(dāng)(a)擬合近子區(qū)域中車道候選的部分的線和(b)公路圖像中的預(yù)設(shè)參考點(diǎn)之間的最小距離小于相鄰距離時(shí)，驗(yàn)證車道候選為正確的車道候選。方法還包括將正確的車道候選延伸至遠(yuǎn)子區(qū)域以形成標(biāo)定車道標(biāo)記的檢測的車道標(biāo)記。

(A2)在如(A1)表示的方法中，處理的步驟還包括(a)識別公路圖像內(nèi)的脊特征以產(chǎn)生脊特征圖像和(b)識別各自至少部分地與脊特征重疊的多條線的步驟。

(A3)如(A2)表示的方法還可以包括結(jié)合多條線以確定車道候選的步驟。

(A4)在如(A2)和(A3)的一個(gè)表示的方法中，結(jié)合的步驟可以包括：在具有多個(gè)像素的空白圖像(多個(gè)像素的每個(gè)具有(i)相同的像素值和(ii)在空白圖像中的像素坐標(biāo))中，，(a)改變多個(gè)車道候選像素的像素值，車道候選像素是具有與多條線的一條對應(yīng)的像素坐標(biāo)的像素，和(b)在多個(gè)車道候選像素上執(zhí)行形態(tài)學(xué)算子的步驟。

(A5)在如(A2)至(A4)的一個(gè)表示的方法中，識別脊特征的步驟可以包括：對于公路圖像多個(gè)位置的每個(gè)，(a)部分地基于代表完全在位置左側(cè)的第一圖像區(qū)域的第一圖像強(qiáng)度計(jì)算第一水平圖像梯度，(b)部分地基于代表完全在位置右側(cè)的第二圖像區(qū)域的第二圖像強(qiáng)度計(jì)算第二水平圖像梯度；以及(c)基于第一水平圖像梯度和第二水平圖像梯度確定位置是否是脊特征的一部分的步驟。

(A6)如(A5)表示的方法還可以包括基于位置的垂直位置確定(a)第一圖像區(qū)域、(b)第二圖像區(qū)域和(c)脊特征的至少一個(gè)的水平寬度的步驟。

(A7)如(A5)和(A6)的一個(gè)表示的方法還可以包括對脊特征圖像應(yīng)用連續(xù)性閾值操作以淘汰不對應(yīng)車道標(biāo)記的脊特征的步驟。

(A8)在如(A7)表示的方法中，每個(gè)脊特征可以由多個(gè)候選脊像素形成，連續(xù)性閾值操作具有根據(jù)每個(gè)候選脊特征中空間連接的候選脊像素的最小數(shù)量的閾值。

(A9)在如(A2)至(A8)的一個(gè)表示的方法中，多條線的一條可以擬合與車道候選對應(yīng)的脊特征圖像中的多個(gè)近控制點(diǎn)，近控制點(diǎn)在與公路圖像的近子區(qū)域?qū)?yīng)的脊特征圖像的第二近子區(qū)域中。

(A10)在如(A1)至(A9)的一個(gè)表示的方法中，延伸的步驟還可以包括：對于每個(gè)正確的車道候選，(a)在遠(yuǎn)子區(qū)域中識別與正確的車道候選對應(yīng)的遠(yuǎn)控制點(diǎn)和(b)對遠(yuǎn)控制點(diǎn)和位于近子區(qū)域且與正確的車道候選對應(yīng)的多個(gè)近控制點(diǎn)擬合曲線。

(B1)車道檢測系統(tǒng)檢測沿具有車道標(biāo)記的公路捕獲的公路圖像內(nèi)的車道。車道檢測系統(tǒng)包括存儲機(jī)器可讀指令的非易失性存儲器和能夠接收公路圖像的圖像處理器。當(dāng)執(zhí)行機(jī)器可讀指令時(shí)，圖像處理器能夠：(i)處理公路圖像以識別公路圖像的車道存在區(qū)域內(nèi)的車道候選，車道存在區(qū)域具有(a)包括靠近車輛的成像的公路區(qū)域的近子區(qū)域和(b)包括遠(yuǎn)離車輛的成像的公路區(qū)域的遠(yuǎn)子區(qū)域，(ii)當(dāng)(a)擬合近子區(qū)域中車道候選的部分的線和(b)公路圖像中預(yù)設(shè)參考點(diǎn)之間的距離小于相鄰距離時(shí)，驗(yàn)證車道候選為正確的車道候選；以及(iii)將正確的車道候選延伸至遠(yuǎn)子區(qū)域以形成標(biāo)定車道標(biāo)記的檢測的車道標(biāo)記。

(B2)在如(B1)表示的車道檢測系統(tǒng)中，當(dāng)執(zhí)行機(jī)器可讀指令以處理公路圖像時(shí)，圖像處理器還能夠：(a)識別公路圖像內(nèi)的脊特征以產(chǎn)生脊特征圖像，和(b)在脊特征圖像內(nèi)識別各自至少部分地與脊特征重疊的多條線。

(B3)在如(B2)表示的車道檢測系統(tǒng)中，當(dāng)執(zhí)行機(jī)器可讀指令時(shí)，圖像處理器還能夠結(jié)合多條線以確定車道候選。

(B4)在如(B3)表示的車道檢測系統(tǒng)中，當(dāng)執(zhí)行機(jī)器可讀指令以結(jié)合多條線時(shí)，圖像處理器還能夠在多條線上執(zhí)行形態(tài)學(xué)算子以形成車道候選。

(B5)在如(B2)至(B4)的一個(gè)表示的車道檢測系統(tǒng)中，當(dāng)執(zhí)行機(jī)器可讀指令以識別脊特征時(shí)，圖像處理器還能夠：(a)部分地基于代表完全在位置左側(cè)的第一圖像區(qū)域的第一圖像強(qiáng)度計(jì)算第一水平圖像梯度，(b)部分地基于代表完全在位置右側(cè)的第二圖像區(qū)域的第二圖像強(qiáng)度計(jì)算第二水平圖像梯度，以及(c)基于第一水平圖像梯度和第二水平圖像梯度確定位置是否是脊特征的一部分。

(B6)在如(B5)表示的車道檢測系統(tǒng)中，當(dāng)執(zhí)行機(jī)器可讀指令時(shí)，圖像處理器還能夠基于位置的垂直位置確定(a)第一圖像區(qū)域、(b)第二圖像區(qū)域和(c)脊特征的至少一個(gè)的水平寬度。

(B7)在如(B5)和(B6)的一個(gè)表示的車道檢測系統(tǒng)中，當(dāng)執(zhí)行機(jī)器可讀指令時(shí)，圖像處理器還能夠?qū)固卣鲌D像應(yīng)用連續(xù)性閾值操作以淘汰不對應(yīng)車道標(biāo)記的脊特征。

(B8)在如(B7)表示的車道檢測系統(tǒng)中，每個(gè)脊特征可以由多個(gè)候選脊像素形成，連續(xù)性閾值操作具有根據(jù)每個(gè)候選脊特征中空間連接的候選脊像素的最小數(shù)量的閾值。

(B9)在如(B2)至(B8)的一個(gè)表示的車道檢測系統(tǒng)中，多條線的一條可以擬合與車道候選對應(yīng)的脊特征圖像中的多個(gè)近控制點(diǎn)，近控制點(diǎn)在與公路圖像的近子區(qū)域?qū)?yīng)的脊特征圖像的第二近子區(qū)域中。

(B10)在如(B2)至(B9)的一個(gè)表示的車道檢測系統(tǒng)中，公路圖像中的預(yù)設(shè)參考點(diǎn)可以是公路圖像的消失點(diǎn)。

(B11)在如(B1)至(B10)的一個(gè)表示的車道檢測系統(tǒng)中，當(dāng)執(zhí)行機(jī)器可讀指令以延伸正確的車道候選時(shí)，圖像處理器還能夠：(a)在遠(yuǎn)子區(qū)域中識別與正確的車道候選對應(yīng)的遠(yuǎn)控制點(diǎn)；以及(b)對遠(yuǎn)控制點(diǎn)和位于近子區(qū)域且與正確的車道候選對應(yīng)的多個(gè)近控制點(diǎn)擬合曲線。

(B12)在如(B11)表示的車道檢測系統(tǒng)中，遠(yuǎn)控制點(diǎn)可以與近子區(qū)域中的正確車道候選的像素相鄰。

在不脫離其范圍的情況下，可以對上述方法和系統(tǒng)做出改變。因此，應(yīng)該注意的是，在上述描述中包含的或在附圖中示出的方式，應(yīng)該被理解為說明性的且不具有限制意義。所附權(quán)利要求旨在覆蓋在此描述的所有通用和特定特征，以及本方法和本系統(tǒng)的范圍的在語言上的所有聲明應(yīng)被認(rèn)為落入其間。