專利名稱：用于暢通路徑檢測的去除由基于車輛的相機捕獲的圖像中的陰影的制作方法
技術(shù)領(lǐng)域：
實施例總地涉及基于視覺的目標檢測系統(tǒng)。
背景技術(shù)：
光照情形如陰影會引起基于視覺的目標檢測系統(tǒng)的誤差。陰影會扭曲被捕獲對象的顏色，導致(1)由陰影生產(chǎn)的邊緣與(2)不同實體(例如道路與風景)間的邊緣之間的模糊不清。已經(jīng)使用一些應用來過濾掉陰影，但是現(xiàn)有技術(shù)的系統(tǒng)假定使用具有高質(zhì)量成像器的相機。具有高質(zhì)量成像器的相機昂貴且包裝尺寸大，因此，特別是在基于批量生產(chǎn)的車輛的視覺系統(tǒng)中并不實用。使用高質(zhì)量成像器，相機傳感器被假定為窄頻帶并且如同狄拉克δ函數(shù)那樣工作，因為它們僅在一個波長具有非空響應。然而，通常用在基于車輛視覺的目標檢測系統(tǒng)內(nèi)的低成本成像器與窄頻帶傳感器假定并不相符。因此，用于去除陰影的現(xiàn)有技術(shù)不適于使用低成本生產(chǎn)的成像器。

發(fā)明內(nèi)容
實施例的優(yōu)點在于從將要被車用視覺感測系統(tǒng)分析的、由圖像捕獲裝置捕獲的圖像減少陰影。所述減陰影技術(shù)關(guān)注于在道路表面的特定顏色集上，用于僅從所述特定顏色集執(zhí)行陰影去除。另外，產(chǎn)生線性光照恒定軸線的選擇，使得沿著所述特定顏色集的光照方向的投影值基本上與圖像的其它顏色集分隔開。此外，與整個圖像形成對照，基于沒影點和沒影線產(chǎn)生目標區(qū)域，其目標為圖像的特定區(qū)域，用于執(zhí)行減陰影技術(shù)。實施例設想了一種用于從捕獲的圖像產(chǎn)生減陰影圖像以區(qū)分行駛暢通路徑的方法。通過圖像捕獲裝置捕獲場景的輸入圖像。根據(jù)兩維對數(shù)圖繪出所捕獲輸入圖像的每個像素。每個像素都由所述對數(shù)圖中多個顏色集之一的顏色值表示。選擇所述對數(shù)圖中的特定顏色集。所述顏色集與道路的相應顏色值相關(guān)。確定隨所述特定顏色集變化的線性光照恒定軸線。確定所述線性光照恒定軸線的光照方向，所述線性光照恒定軸線沿著基本正交于所述特定顏色集的光照方向的方向延伸。將所述特定顏色集的各所繪像素的色度對數(shù)值投射在所述線性光照恒定軸線上。所述線性光照恒定軸線上的各所繪像素表示所述圖像的相應像素映射到光照恒定圖像域的顏色值。識別所述輸入圖像中的邊緣。識別所述光照恒定圖像域中的邊緣。將所述輸入圖像的識別邊緣與所述光照恒定圖像域中的識別邊緣作比較。響應于所述輸入圖像中識別的邊緣而所述光照恒定圖像域中相關(guān)邊緣的不存在，確定是否存在陰影邊緣。產(chǎn)生減少了陰影的圖像，用于通過基于車輛視覺的系統(tǒng)的場景分析。本發(fā)明提供以下技術(shù)方案
方案1. 一種用于從捕獲的圖像產(chǎn)生減少了陰影的圖像以區(qū)分行駛的暢通路徑的方法，所述方法包括如下步驟
(a)通過圖像捕獲裝置捕獲場景的輸入圖像；
(b)根據(jù)兩維對數(shù)圖繪出所捕獲輸入圖像的每個像素，每個像素都由所述對數(shù)圖中多個顏色集之一的顏色值表示；
(C)選擇所述對數(shù)圖中的特定顏色集，所述顏色集與道路的相關(guān)顏色值相關(guān)；
(d)確定隨所述特定顏色集變化的線性光照恒定軸線；
(e)確定對于所述線性光照恒定軸線的光照方向，所述線性光照恒定軸線沿著基本正交于所述特定顏色集的光照方向的方向延伸；
(e)將所述特定顏色集的各所繪像素的色度對數(shù)值投影在所述線性光照恒定軸線上， 其中所述線性光照恒定軸線上的各所繪像素表示所述圖像的相應像素映射到光照恒定圖像域的顏色值；
(f)識別所述輸入圖像中的邊緣；
(g)識別所述光照恒定圖像域中的邊緣；
(h)將所述輸入圖像的識別的邊緣與所述光照恒定圖像域中的識別的邊緣作比較；
(i)響應于所述輸入圖像中識別的邊緣而所述光照恒定圖像域中相關(guān)邊緣的不存在， 確定是否存在陰影邊緣；以及
(g)產(chǎn)生減少了陰影的圖像，用于通過基于車輛視覺的系統(tǒng)的場景分析。方案2.如方案1的方法，還包括下列步驟 確定所述圖像中的沒影點；
確定所述圖像中水平延伸通過所述沒影點的沒影線； 確認所述沒影線下方的目標區(qū)域；以及僅在所述目標區(qū)域上執(zhí)行步驟(C) - (g)。方案3.如方案1的方法，其中其它顏色集投影在所述線性光照恒定軸線上，并且其中步驟(d)還包括選擇提供在投射在所述線性光照恒定軸線上的所述特定顏色集與其它顏色集之間的顯著的分隔距離的線性光照恒定軸線。方案4.如方案3的方法，其中選擇所述線性光照恒定軸線基本上最小化了所述特定顏色集內(nèi)的投影顏色值之間的距離。方案5.如方案4的方法，其中選擇所述線性光照恒定軸線的步驟包括選擇分散其它顏色集的投影顏色值的線性光照恒定軸線。方案6.如方案4的方法，其中選擇所述線性光照恒定軸線包括選擇提供了在所述特定顏色集與其它顏色集之間的顯著距離的線性光照恒定軸線。方案7.如方案3的方法，還包括下列步驟 確定所述圖像中的沒影點；
確定所述圖像中水平延伸通過所述沒影點的沒影線； 確認所述沒影線下方的目標區(qū)域；以及僅在所述目標區(qū)域上執(zhí)行步驟(C) - (g)。方案8.如方案3的方法，其中步驟(d)還包括選擇基本上聚焦了所述特定顏色集的顏色值并且基本上分散了其它顏色集的顏色值的線性光照恒定軸線。方案9.如方案8的方法，還包括下列步驟 確定所述圖像中的沒影點；
確定所述圖像中水平延伸通過所述沒影點的沒影線； 確認所述沒影線下方的目標區(qū)域；以及僅在所述目標區(qū)域上執(zhí)行步驟(C) - (g)。方案10.如方案1的方法，其中所述對數(shù)圖包括對數(shù)型藍_綠軸和對數(shù)型紅_綠軸。方案11.如方案1的方法，其中識別所述輸入圖像和所述光照恒定圖像域中的邊緣還包括如下步驟
確定所述輸入圖像的方向梯度； 確定所述光照恒定圖像域的方向梯度；
將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個閾值作比較，以確定是否存在陰影邊緣。方案12.如方案11的方法，其中將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個閾值作比較還包括
確定所述輸入圖像的方向梯度是否大于第一閾值；以及確定所述光照恒定圖像域的方向梯度是否小于第二閾值。方案13.如方案11的方法，其中將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個閾值作比較還包括
計算所述輸入圖像的方向梯度與所述光照恒定圖像域的方向梯度之間的梯度差； 將所述梯度差與所述至少一個閾值作比較。方案14.如方案13的方法，其中計算梯度差包括下列步驟 確定所述輸入圖像的梯度范數(shù)；
確定所述光照恒定圖像域的梯度范數(shù)；
通過從所述輸入圖像的梯度范數(shù)減去所述光照恒定圖像域的梯度范數(shù)來計算所述梯度差。方案15.如方案1的方法，其中利用機器學習技術(shù)選擇所述線性光照恒定軸線。方案16.如方案15的方法，其中所述機器學習技術(shù)包括線性判別分析。


圖1為捕獲道路圖像的車輛的平面圖。圖2為由車輛內(nèi)圖像捕獲裝置捕獲的圖像。圖3為陰影減少過程的框圖。圖4為使用線性光照恒定軸線的光照恒定線圖的圖表。圖5為使用低質(zhì)量圖像捕獲裝置的示例性光照恒定線圖。圖6為根據(jù)第一實施例的用于暢通路徑顏色集的示例性光照恒定線圖。圖7為根據(jù)第一實施例的用于從捕獲的圖像減少陰影的方法的流程圖。圖8為根據(jù)第二實施例的用于暢通路徑顏色集的示例性光照恒定線圖。圖9為根據(jù)第三實施例的利用目標區(qū)域技術(shù)的示例性圖像。
具體實施例方式圖1中示出了沿著道路12行駛的車輛10?；谝曈X的成像裝置14捕獲車輛10 前方的道路的圖像，用以檢測行駛可行區(qū)域(下文稱暢通路徑)內(nèi)的圖像?；谝曈X的成像裝置14用于檢測目標。在優(yōu)選實施例中，基于視覺的成像裝置14用于為系統(tǒng)(例如，但不限于，車道偏離警告系統(tǒng))識別暢通路徑或道路中的車道標記?；谝曈X的成像裝置14優(yōu)選安裝在車輛的內(nèi)部，恰在擋風玻璃的后方，用于捕獲車輛外面和前方發(fā)生的事件。盡管基于視覺的成像裝置14可用于多種功用(例如，增強駕駛員夜視)，但是本文所述的主要目的是用于需要識別道路標記、車道標記、道路標志或其它道路目標的系統(tǒng)。這種系統(tǒng)的例子包括，但不限于，必須要求系統(tǒng)能夠識別車輛處于道路何處的車道偏離警告系統(tǒng)，用以警告駕駛員無意識的車道變化。圖2示出了由車輛上基于視覺的成像裝置捕獲的圖像。依賴于光源的亮度和角度，可能會在車輛行駛路線中的物體上投射陰影，從而增加了系統(tǒng)區(qū)分道路上的物體與投射在道路上的陰影的難度。如圖2中所示，行駛在被駕駛車輛前方的車輛16以及路燈18 和20可在車行道中投射陰影22、24和26，使得難以識別道路上的車道標記28。圖3中示出了用于去除陰影的示例性圖形化流程方法。在框30中，含有陰影的圖像被圖像捕獲裝置捕獲。陰影為操作圖像捕集裝置的人的自己的陰影。在框31中，執(zhí)行后面描述的光照恒定分析，以檢測圖像中的所有陰影。在框32中， 在光照恒定圖像域中表現(xiàn)輸入圖像。為圖形目的在光照恒定圖像域中示出的圖像為灰度圖像，其中顏色集是復現(xiàn)的，不管輸入圖像中存在的光照條件或陰影。應當理解，為在車輛中實施該技術(shù)的目的，不需要產(chǎn)生實際恒定圖像；而是，可使用數(shù)學分析、建?；蚱渌憩F(xiàn)方式來模擬光照恒定圖像域中的圖像。如圖所示，作為光照恒定分析的結(jié)果，從光照恒定圖像域中去除了陰影。在框33中，比較輸入圖像和光照恒定圖像域，用于確定原始輸入圖像中哪存在陰影以構(gòu)造減少了陰影的圖像。在框34中，作為原始輸入圖像的梯度與光照恒定圖像域的梯度之間的比較的結(jié)果，從捕獲的輸入圖像去除了陰影。圖4描述了去除陰影的數(shù)學方法，如下所述。在用于路上車輛的目標檢測和分類中，捕獲圖像的背景和前景是不斷變化的。對于單一的RGB (紅、綠、藍)圖像，可基于光照恒定分析去除投射的陰影。如果照明大致為三S函數(shù)型傳感器成像的具有朗伯面的普朗克源，那么可形成色度波段比(例如，3波段RGB彩色圖像的R/G、B/G)。另外，對于在不同照明條件下的任意顏色集，對于兩維{log(R/G)，log(B/G) }值的對數(shù)圖形成直線。此外，各不同顏色集的每條這種線具有相同的斜率。因此，可使用該物理概念得到光照恒定圖像域，其中不管照明條件如何(即，是否存在陰影)，一個顏色集的顏色值都映射至光照恒定圖像中的相同值。另外，圖像中形成的物體邊緣對應于材料反射率的變化。陰影邊緣為在原始圖像中有但是恒定圖像中沒有的邊緣。在圖像的梯度表示上定義閾值處理操作，以確定陰影邊緣。由于閾值陰影邊緣是噪聲，所以應用形態(tài)學運算，以擴展邊緣并填充陰影邊緣中的一些空隙。此外，被識別的陰影邊緣被設定為零，用以去除光照變化的影響。各處理通道的梯度圖像的積分步驟用于放棄乘法常數(shù)而恢復減少了陰影的圖像，然后估計乘法常數(shù)，以獲得最終減少了陰影的彩色圖像。這里描述減少了陰影的恒定圖像的構(gòu)造。利用了使用灰度成像的圖形表示。該技術(shù)使用標準彩色圖像作為輸入，而輸入為圖像的光照恒定表示。光照恒定圖像域通過將其
權(quán)利要求
1.一種用于從捕獲的圖像產(chǎn)生減少了陰影的圖像以區(qū)分行駛的暢通路徑的方法，所述方法包括如下步驟(a)通過圖像捕獲裝置捕獲場景的輸入圖像；(b)根據(jù)兩維對數(shù)圖繪出所捕獲輸入圖像的每個像素，每個像素都由所述對數(shù)圖中多個顏色集之一的顏色值表示；(c)選擇所述對數(shù)圖中的特定顏色集，所述顏色集與道路的相關(guān)顏色值相關(guān)；(d)確定隨所述特定顏色集變化的線性光照恒定軸線；(e)確定對于所述線性光照恒定軸線的光照方向，所述線性光照恒定軸線沿著基本正交于所述特定顏色集的光照方向的方向延伸；(e)將所述特定顏色集的各所繪像素的色度對數(shù)值投影在所述線性光照恒定軸線上， 其中所述線性光照恒定軸線上的各所繪像素表示所述圖像的相應像素映射到光照恒定圖像域的顏色值；(f)識別所述輸入圖像中的邊緣；(g)識別所述光照恒定圖像域中的邊緣；(h)將所述輸入圖像的識別的邊緣與所述光照恒定圖像域中的識別的邊緣作比較；(i)響應于所述輸入圖像中識別的邊緣而所述光照恒定圖像域中相關(guān)邊緣的不存在， 確定是否存在陰影邊緣；以及(g)產(chǎn)生減少了陰影的圖像，用于通過基于車輛視覺的系統(tǒng)的場景分析。
2.如權(quán)利要求1的方法，還包括下列步驟 確定所述圖像中的沒影點；確定所述圖像中水平延伸通過所述沒影點的沒影線； 確認所述沒影線下方的目標區(qū)域；以及僅在所述目標區(qū)域上執(zhí)行步驟(C) - (g)。
3.如權(quán)利要求1的方法，其中其它顏色集投影在所述線性光照恒定軸線上，并且其中步驟(d)還包括選擇提供在投射在所述線性光照恒定軸線上的所述特定顏色集與其它顏色集之間的顯著的分隔距離的線性光照恒定軸線。
4.如權(quán)利要求3的方法，還包括下列步驟 確定所述圖像中的沒影點；確定所述圖像中水平延伸通過所述沒影點的沒影線； 確認所述沒影線下方的目標區(qū)域；以及僅在所述目標區(qū)域上執(zhí)行步驟(C) - (g)。
5.如權(quán)利要求3的方法，其中步驟(d)還包括選擇基本上聚焦了所述特定顏色集的顏色值并且基本上分散了其它顏色集的顏色值的線性光照恒定軸線。
6.如權(quán)利要求5的方法，還包括下列步驟 確定所述圖像中的沒影點；確定所述圖像中水平延伸通過所述沒影點的沒影線； 確認所述沒影線下方的目標區(qū)域；以及僅在所述目標區(qū)域上執(zhí)行步驟(C) - (g)。
7.如權(quán)利要求1的方法，其中所述對數(shù)圖包括對數(shù)型藍_綠軸和對數(shù)型紅_綠軸。
8.如權(quán)利要求1的方法，其中識別所述輸入圖像和所述光照恒定圖像域中的邊緣還包括如下步驟確定所述輸入圖像的方向梯度； 確定所述光照恒定圖像域的方向梯度；將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個閾值作比較，以確定是否存在陰影邊緣。
9.如權(quán)利要求8的方法，其中將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個閾值作比較還包括確定所述輸入圖像的方向梯度是否大于第一閾值；以及確定所述光照恒定圖像域的方向梯度是否小于第二閾值。
10.如權(quán)利要求8的方法，其中將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個閾值作比較還包括計算所述輸入圖像的方向梯度與所述光照恒定圖像域的方向梯度之間的梯度差； 將所述梯度差與所述至少一個閾值作比較。
全文摘要
本發(fā)明涉及用于暢通路徑檢測的去除由基于車輛的相機捕獲的圖像中的陰影。提供了一種用于從捕獲的圖像產(chǎn)生減少了陰影的圖像以區(qū)分行駛的暢通路徑的方法。根據(jù)兩維對數(shù)圖繪出所捕獲輸入圖像的每個像素。特定顏色集與暢通路徑的相關(guān)顏色值相關(guān)。確定隨所述特定顏色集變化的線性光照恒定軸線。確定所述線性光照恒定軸線的光照方向。將所述特定顏色集的各所繪像素的色度對數(shù)值投射在所述軸線上。識別所述輸入圖像和所述光照恒定圖像域中的邊緣。將所述輸入圖像的識別邊緣與所述光照恒定圖像域中的識別邊緣比較。響應于所述邊緣的比較，確定是否存在陰影邊緣。產(chǎn)生減少了陰影的圖像，用于車輛的基于視覺的系統(tǒng)的場景分析。
文檔編號G06K9/00GK102314600SQ20111018774
公開日2012年1月11日 申請日期2011年7月6日 優(yōu)先權(quán)日2010年7月6日
發(fā)明者吳 Q., 巴加瓦圖拉 V., 張 W. 申請人:通用汽車環(huán)球科技運作有限責任公司