專利名稱：檢測道路邊界的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及一種用于檢測道路上的物體的道路邊界檢測設(shè)備，以及檢測車輛正在行駛的道路的邊界(boundary)的方法。
背景技術(shù)：
日本特開平10-214326A號公報公開了車輛的行駛控制設(shè)備。該行駛控制設(shè)備從圖像檢測邊緣(edge)，從而通過Hough變換來變換對齊的邊緣行以檢測道路邊界。對于每個道路邊界的點的檢測，Hough變換需要在參數(shù)空間內(nèi)畫一條曲線，并將曲線上的點的累積值相加。必須在形成道路邊界的全部點處執(zhí)行該處理。
美國專利申請No.11/146,041(名稱為“Motion DetectionApparatus and Motion Detection Method”)、名稱為“MotionDetector and Motion Detection Method”的日本專利申請2004-279394和名稱為“Apparatus and Methods for DetectingMotion”的日本專利申請2004-278250公開了用于檢測和計算運動物體的速度信息的設(shè)備和方法。美國專利申請No.11/146,041、日本專利申請2004-279394和日本專利申請2004-278250的全部內(nèi)容通過引用包括于此。

發(fā)明內(nèi)容
本發(fā)明的一個或多個實施例提供了能夠簡化檢測道路邊界中所需的處理的設(shè)備和方法。
在本發(fā)明的一個或多個實施例中，一種道路邊界檢測設(shè)備，其包括攝像裝置，用于拍攝車輛前方的圖像；圖像存儲器，其連接到所述攝像裝置，用于存儲圖像；控制單元，其連接到所述圖像存儲。所述道路邊界檢測設(shè)備還包括可在所述控制單元上執(zhí)行的程序，所述程序用于計算由所述攝像裝置拍攝的連續(xù)圖像的像素的速度信息；基于所述像素的速度信息，檢測具有速度成分的像素沿縱向連續(xù)存在的區(qū)域中的最低點位置；以及判斷連接所述最低點位置的直線是否是道路邊界。
在本發(fā)明的一個或多個實施例中，一種檢測道路邊界的方法，包括以下步驟拍攝車輛前方的圖像；計算由攝像裝置拍攝的連續(xù)圖像的像素的速度信息；基于像素的速度信息，檢測具有速度成分的像素沿縱向連續(xù)存在的區(qū)域中的最低點位置；以及判斷連接最低點位置的直線是否是道路邊界。
在本發(fā)明的一個或多個實施例中，一種檢測道路邊界的方法，包括拍攝車輛前方的圖像；計算所拍攝的圖像的每個像素的速度信息；基于每個像素的速度信息，檢測包括速度成分的像素沿縱向連續(xù)存在的區(qū)域中的最低點位置；以及判斷連接檢測到的最低點位置的直線是否是車輛行駛的道路的道路邊界。
在本發(fā)明的一個或多個實施例中，一種檢測道路邊界的方法，包括拍攝車輛前方的圖像；計算所拍攝的圖像的每個像素的速度信息；以及基于所計算的速度信息，判斷由包括速度成分的像素形成的斜線是否是車輛行駛的道路的道路邊界。
在本發(fā)明的一個或多個實施例中，一種道路邊界檢測設(shè)備，其包括攝像部，其位于車輛上，用于拍攝車輛前方的圖像，所述圖像包括多個像素；速度信息計算部，用于接收由攝像機拍攝的圖像并計算圖像的每個像素的速度信息；最低點檢測部，用于接收所述速度信息，并基于如下內(nèi)容檢測圖像的區(qū)域中的最低點位置在檢測到的最低點位置處，沿相對于道路的縱向連續(xù)存在速度成分；以及道路邊界判斷部，用于接收檢測到的最低點位置，并判斷是否可以畫出連接多個所述最低點位置的直線，從而識別出最低點位置的連線表示道路邊界。
在本發(fā)明的一個或多個實施例中，一種道路邊界檢測設(shè)備，包括攝像裝置，用于拍攝車輛前方的圖像；速度信息計算裝置，用于計算由所述攝像裝置拍攝的圖像的每個像素的速度信息；最低點位置檢測裝置，用于基于所述每個像素的速度信息，檢測具有速度成分的像素沿縱向連續(xù)存在的區(qū)域中的最低點位置；以及判斷裝置，用于判斷連接所述最低點位置的直線是否是道路邊界。
從以下說明和所附權(quán)利要求，本發(fā)明的其它方面和優(yōu)點將變得明顯。


圖1是示出根據(jù)本發(fā)明的一個或多個實施例的道路邊界檢測設(shè)備的結(jié)構(gòu)例的框圖。
圖2示出根據(jù)本發(fā)明的一個或多個實施例在車輛中攝像機的設(shè)置例。
圖3示出根據(jù)本發(fā)明的一個或多個實施例由攝像機拍攝的圖像的例子。
圖4A到圖4F示出根據(jù)本發(fā)明的一個或多個實施例為了通過規(guī)格化(normalize)所提取的邊緣來獲得邊緣圖像而執(zhí)行的處理的例子。
圖5示出根據(jù)本發(fā)明的一個或多個實施例的速度圖像的例子。
圖6示出根據(jù)本發(fā)明的一個或多個實施例在速度圖像上設(shè)置用于檢測道路邊界的區(qū)域的例子。
圖7示出根據(jù)本發(fā)明的一個或多個實施例，用于判斷設(shè)定X軸范圍和Z軸范圍的二維區(qū)域中的哪一個區(qū)域與所計算的三維坐標(biāo)值相對應(yīng)的處理的例子。
圖8示出根據(jù)本發(fā)明的一個或多個實施例用于計算最低點位置的三維位置分布的處理的例子。
圖9示出根據(jù)本發(fā)明的一個或多個實施例用于執(zhí)行關(guān)于表示道路邊界的直線是否在各區(qū)域中存在的判斷的處理的例子。
圖10是示出根據(jù)本發(fā)明的一個或多個實施例的道路邊界檢測設(shè)備的處理的流程圖。
具體實施例方式
下面通過參考

本發(fā)明的典型實施例。圖中類似的項目以相同的附圖標(biāo)記示出。此外，在圖中使用的“S”等同于以下詳細說明中使用的“步驟”。
在本發(fā)明的實施例中，為了提供對本發(fā)明更加清晰的理解，列出了許多具體的細節(jié)。然而，對于本領(lǐng)域的技術(shù)人員來說，非常明顯，沒有這些具體的細節(jié)，本發(fā)明也可以實施。在其它情況下，沒有詳細說明眾所周知的特征，以避免使本發(fā)明模糊。
圖1是示出根據(jù)本發(fā)明的一個或多個實施例的道路邊界檢測設(shè)備的結(jié)構(gòu)例的框圖。道路邊界檢測設(shè)備100安裝在車輛上。道路邊界檢測設(shè)備100包括攝像機101，用于拍攝車輛前方的圖像；圖像存儲器102，用于存儲由攝像機101所拍攝的圖像；控制單元103，用于對由攝像機101所拍攝并存儲在圖像存儲器102中的圖像執(zhí)行圖像處理；以及存儲器104，用于存儲后面詳細說明的像素計數(shù)器的計數(shù)值。
攝像機101是包括例如CCD和CMOS等攝像元件的攝像機。攝像機101連續(xù)地拍攝車輛前方的圖像，并將它們的每一幀輸出到圖像存儲器102。如圖2所示，攝像機101安裝在車輛的乘客廂中的前部的上方。更具體地，安裝攝像機101使得光軸Z朝向車輛前方的正面方向，攝像面的水平軸X平行于地面，攝像面的垂直軸Y垂直于地面。由攝像機101所拍攝的連續(xù)圖像輸出到圖像存儲器102，并存儲在那里。
圖3示出根據(jù)本發(fā)明的一個或多個實施例由攝像機101拍攝的圖像的例子。由攝像機101拍攝的圖像3a由x-y坐標(biāo)系(攝像機坐標(biāo))表示，在該坐標(biāo)系中，圖像的左上角為原點，x軸從左向右延伸，y軸從上向下延伸。在圖3中，所拍攝的圖像3a包括道路的邊緣(道路邊界)A、B和C，例如設(shè)置在道路的右側(cè)或左側(cè)的路緣、白線、護欄、外墻、停放的車輛等。
如后所述，控制單元103通過對存儲在圖像存儲器102中的所拍攝的圖像3a執(zhí)行圖像處理，執(zhí)行在所拍攝的圖像3a中的道路邊界的檢測。為了執(zhí)行在所拍攝的圖像3a中的道路邊界的檢測，首先檢測圖像3a中的物體沿橫向的移動速度，然后生成使用等級(grade)值(級別標(biāo)記，class mark)表示的所拍攝的圖像3a中的物體沿橫向的移動方向和移動速度的速度圖像。
更具體地，通過從圖像存儲器102讀取由攝像機101拍攝的圖像，并通過對所讀取的圖像3a使用預(yù)定的閾值二值化圖像，提取圖像中的物體的邊緣。通過對圖像中所提取的每個邊緣執(zhí)行細線化處理，精確地獲得邊緣的中心。擴展被細線化的邊緣，從而使其具有恒定的寬度，例如，3個像素。通過規(guī)格化所提取的邊緣，可以獲得每個邊緣具有相等的寬度的邊緣圖像。
圖4A到圖4F示出根據(jù)本發(fā)明的一個或多個實施例為了通過規(guī)格化上述所提取的邊緣來獲得邊緣圖像而執(zhí)行的處理的例子。首先對于邊緣圖像執(zhí)行二值化處理。二值化處理是一種將檢測到邊緣的位置(“檢測到邊緣的位置”)的像素設(shè)置為1，將未檢測到邊緣的位置(“未檢測到邊緣的位置”)的像素設(shè)置為0的處理。通過執(zhí)行二值化處理，產(chǎn)生圖4A所示的二值化圖像。
然后在所產(chǎn)生的二值化圖像中執(zhí)行細線化處理。細線化處理是將所檢測到的邊緣的邊緣寬度按比例縮減直到達到預(yù)定的像素寬度的處理。在圖4B中，執(zhí)行細線化，直到邊緣的邊緣寬度變?yōu)?個像素的預(yù)定寬度。通過細線化邊緣直到邊緣寬度變?yōu)轭A(yù)定數(shù)量的像素，確定作為邊緣的中心的中心位置。本領(lǐng)域的技術(shù)人員可知，盡管以將邊緣細線化為一個像素寬度的情況作為例子示出，但是其可以細線化為任意數(shù)量的像素。
然后執(zhí)行用于擴展細線化邊緣的邊緣寬度的擴展處理。擴展處理是這樣一種處理，即從由細線化處理所確定的中心位置向著邊緣的移動方向擴展邊緣寬度，以及從中心位置向著邊緣的移動方向的相反方向擴展邊緣寬度的處理。
例如，在圖4C中，通過從邊緣的中心位置x0向移動方向(x軸的正方向)擴展細線化的邊緣1個像素，以及從邊緣的中心位置x0向移動方向的相反方向(x軸的負方向)擴展細線化的邊緣1個像素，將邊緣寬度擴展到3個像素。
通過執(zhí)行上述細線化處理和擴展處理，所提取的邊緣圖像的邊緣寬度沿著邊緣的移動方向統(tǒng)一地規(guī)格化到預(yù)定的寬度。
然后對于具有規(guī)格化邊緣寬度的邊緣執(zhí)行向上計數(shù)處理。向上計數(shù)處理是將在檢測到邊緣的位置的存儲器地址處的值向上計數(shù)，將在未檢測到邊緣的位置的存儲器地址處的值復(fù)位的處理。
現(xiàn)在通過參考圖4C到4F說明邊緣的向上計數(shù)處理。為了簡化說明，假設(shè)邊緣沿著x軸的正向移動?？梢灶愃频卣f明邊緣沿著x軸的負向、y軸方向或二維方向移動的情況。
如圖4C所示，在幀中，邊緣具有位于位置x0處的中心位置，從中心位置沿著邊緣的移動方向擴展一個像素到位置x0+1，并從中心位置沿著與邊緣的移動方向相反的方向擴展一個像素到位置x0-1。
在這種情況下，檢測到邊緣的位置x0-1、x0和x0+1的計數(shù)值向上計數(shù)1，未檢測到邊緣的位置的計數(shù)值復(fù)位。例如，在圖4D中，由于在時刻t在位置x0-1、x0和x0+1檢測到邊緣，在每個位置向上計數(shù)計數(shù)值。因此位置x0+1的計數(shù)值為1，位置x0的計數(shù)值為3，位置x0-1的計數(shù)值為5。由于如圖4 E所示在時刻t+1邊緣不移動，因此在位置x0-1、x0和x0+1中的每個檢測到邊緣，位置x0-1、x0和x0+1的計數(shù)值中的每一個向上計數(shù)1。因此，位置x0+1的計數(shù)值變?yōu)?，位置x0的計數(shù)值變?yōu)?，位置x0-1的計數(shù)值變?yōu)?。
此外，如圖4F所示，在時刻t+2邊緣沿著x軸的正向移動一個像素，因此在位置x0、x0+1和x0+2檢測到邊緣。因此，在檢測到邊緣的位置x0、x0+1和x0+2的計數(shù)值向上計數(shù)，在未檢測到邊緣的位置x0-1的計數(shù)值復(fù)位。結(jié)果，如圖4F所示，位置x0+2的計數(shù)值變?yōu)?，位置x0+1的計數(shù)值變?yōu)?，位置x0的計數(shù)值變?yōu)?。此外，未檢測到邊緣的位置x0-1的計數(shù)值復(fù)位，因此變?yōu)?。這樣，檢測到邊緣的位置的計數(shù)值向上計數(shù)，未檢測到邊緣的位置的計數(shù)值復(fù)位。
在圖4A到4F中，盡管在邊緣的中心位置(x0)、從中心位置沿邊緣移動方向偏移一個像素的位置(x0+1)和從中心位置沿與邊緣移動方向相反的方向偏移一個像素的位置(x0-1)的三個位置檢測計數(shù)值，但是只要能獲得后述計數(shù)值的梯度，可以在沿著邊緣移動方向的兩個或多個的任意數(shù)量的位置檢測計數(shù)值。
如果與邊緣移動速度相比，幀速設(shè)為足夠高的值，則在連續(xù)的幀中邊緣在相同的位置被檢測到多次。例如，在圖4A到4F的例子中，在位置x0，在時刻t和時刻t+1，兩次檢測到邊緣。因此，當(dāng)在檢測到邊緣的位置計數(shù)值計數(shù)時，計數(shù)值與時間(幀數(shù))相等。具體地，邊緣的計數(shù)值中的最小計數(shù)值h表示邊緣被移動時，在相同位置存在邊緣的幀數(shù)。
接下來，計算移動速度、移動方向和邊緣的位置。
首先，計算沿移動方向的計數(shù)值的梯度?；谠撎荻龋嬎阋苿铀俣?、移動方向和邊緣位置。例如，在圖4E中，位置x0-1、x0和x0+1的計數(shù)值分別為6、4和2。因此，通過從位置x0-1的計數(shù)值6減去位置x0+1的計數(shù)值2，計算出計數(shù)值的梯度，為H＝(6-2)＝4。由于此處，H＝{(從邊緣移動到位置x0-1的時刻到當(dāng)前時刻所經(jīng)過的時間段)-(在邊緣移動到位置x0+1之后所經(jīng)過的時間段)}，因此計算出邊緣通過位置x0的像素所需的時間段(幀數(shù))。因此，獲得計數(shù)值的梯度H就是獲得邊緣通過一個像素所需的幀數(shù)，因此，基于計數(shù)值的梯度H，可以計算出邊緣的移動速度1/H。
圖4E示出移動一個像素需要4幀，因此，計算出邊緣的移動速度為1/4(像素每幀)。類似地，在圖4F中，同樣得到H＝(5-1)＝4，因此，邊緣的移動速度是1/4(像素每幀)。
根據(jù)計數(shù)值的大小判斷邊緣的移動方向。在邊緣移動后新檢測到邊緣的位置的計數(shù)值為1，其為各位置的計數(shù)值中最小的。因此，在沿邊緣移動的方向(“邊緣移動方向”)側(cè)的位置的計數(shù)值小，在沿與邊緣移動方向相反的方向側(cè)的計數(shù)值大。從這里，可以判斷邊緣的移動方向。
此外，如果與邊緣的移動速度相比，幀速設(shè)為足夠高的值，則可以假設(shè)所檢測的物體以恒定的速度移動。當(dāng)前位置的計數(shù)值中的最小計數(shù)值h表示在相同位置檢測到邊緣的時間量，或在邊緣移動后，邊緣在相同的位置停留多少幀。
由于以上原因，當(dāng)邊緣的中心位置確定為x0時，邊緣位置如下獲得邊緣位置＝x0+h/H。
例如，在圖4E中，邊緣的速度是1/4(像素/幀)。由于在時刻t+1在相同的位置連續(xù)2幀檢測到邊緣，在時刻t+1邊緣從位置x0移動的大小可如下計算
。
根據(jù)以上，可以將檢測到邊緣的位置的計數(shù)值向上計數(shù)，并基于向上計數(shù)的計數(shù)值的梯度計算邊緣的移動速度和移動方向。
產(chǎn)生速度圖像，其中通過以上處理計算的所拍攝的圖像3a中的物體的速度信息由預(yù)定的級別標(biāo)記表示。在一個或多個實施例中，在速度圖像5a中，在檢測到速度成分處的像素由圓表示，如圖5所示。圓作為速度信息的級別標(biāo)記，其中，隨著像素的移動速度變得更高，圓變得更大。此外，通過將朝向右手側(cè)的速度表示為黑色的圓，將朝向左手側(cè)的速度表示為白色的圓來表示移動方向。即，在圖5中，從位于道路的右手側(cè)的道路邊界B和C檢測到朝向圖像的右手側(cè)的速度，從位于道路的左手側(cè)的外墻A檢測到朝向圖像的左手側(cè)的速度。
接下來，為了在所計算的速度圖像5a中檢測道路邊界，建立一個或多個道路邊界檢測區(qū)域。更具體地，如圖6所示，通過在速度圖像5a上設(shè)定多個矩形區(qū)域，將速度圖像劃分為分別設(shè)定的矩形區(qū)域。對于每個矩形區(qū)域，檢測速度圖像5a中形成道路邊界的點。
將形成道路邊界的點檢測為位于具有速度成分的像素連續(xù)存在的矩形區(qū)域的最低部分的點(“最低點”)。因此，從圖像的下部向圖像的上部掃描每個矩形區(qū)域。如果在矩形區(qū)域中，具有速度成分的像素連續(xù)出現(xiàn)至少閾值T1，則判斷為形成道路邊界的物體存在，并檢測其最低點。為了方便本實施例的處理，對于每個矩形區(qū)域，檢測形成道路邊界的點，即，包括最低點的線。換言之，當(dāng)包括具有速度成分的像素的線連續(xù)存在至少預(yù)定的閾值T1時，判斷為存在形成道路邊界的物體。從而，檢測到具有最低點的位置。通過該處理，檢測到圖6中的最低點位置B11到B110。
接下來，在包含每個矩形區(qū)域中檢測到的最低點的線B11到B110中，將矩形區(qū)域的寬度中心點的X坐標(biāo)確定為每條線的最低點的X坐標(biāo)，計算坐標(biāo)值Bp1到Bp10，作為各最低點的代表坐標(biāo)值?；谒嬎愕母骶€中的最低點的X坐標(biāo)值Bp1到Bp10和攝像機101的攝像機參數(shù)，通過三角法計算位于實際空間中并與各最低點相對應(yīng)的三維坐標(biāo)值RB1到RB10。此處，基于全部的最低點位置在路面上的假設(shè)，計算三維坐標(biāo)值。
然后判斷由圖7所示的X軸范圍和Z軸范圍所設(shè)定的二維區(qū)域中的哪一個與所計算的三維坐標(biāo)值RB1到RB10相對應(yīng)。例如，沿X軸方向，設(shè)定如下的8個區(qū)域小于-5.25m的區(qū)域、在-5.25m和-3.5m之間的區(qū)域、在-3.5m和-1.75m之間的區(qū)域、在-1.75m和0m之間的區(qū)域、在0m和1.75m之間的區(qū)域、在1.75m和3.5m之間的區(qū)域、在3.5m和5.25m之間的區(qū)域以及大于或等于5.25m的區(qū)域。沿Z軸方向，設(shè)定如下的5個區(qū)域0m到10m、10m到20m、20m到30m、30m到40m和40m到50m。因此，設(shè)定了8×5個二維區(qū)域，這些區(qū)域根據(jù)沿X軸方向和Z軸方向所確定的區(qū)域來劃分。所設(shè)定的區(qū)域可以按米(meter)有效地確定。
在8×5個二維區(qū)域中，給出了用于辨別區(qū)域的名稱，每個區(qū)域由使用列(X軸區(qū)域)i和行(Z軸區(qū)域)j的區(qū)域ij表示。例如，如圖7所示，在第一列和第一行的區(qū)域表示為區(qū)域11，在第一列和第二行的區(qū)域表示為區(qū)域12，在第二列和第一行的區(qū)域表示為區(qū)域21。此外，具有列中的每個區(qū)域的區(qū)域表示為區(qū)域i0，具有行中的每個區(qū)域的區(qū)域表示為區(qū)域0j。例如，在圖7所示的例子中，包括第4列中每個區(qū)域的區(qū)域表示為區(qū)域40。
如果在8×5個區(qū)域中的一個中包括由上述處理所計算的最低點位置的三維坐標(biāo)，則包括最低點位置的區(qū)域的計數(shù)值增加1，計算最低點位置的三維位置分布。例如，由于在圖7所示的區(qū)域33中包括圖8所示的最低點的坐標(biāo)值Bp1，因此區(qū)域33的計數(shù)值增加1。類似地，由于在區(qū)域32中包括最低點的坐標(biāo)值Bp3，在區(qū)域31中包括最低點的坐標(biāo)值Bp4，因此各區(qū)域的計數(shù)值分別增加1。由于在圖7所示的任何區(qū)域中均未包括圖8中的最低點的坐標(biāo)值Bp2，因此其計數(shù)值不增加。
圖9示出作為對于8×5個區(qū)域中的每一個的計數(shù)值增加處理的結(jié)果所獲得的最低點位置的三維位置分布的例子?？刂茊卧?03基于圖9所示的最低點位置的三維位置分布，提取存在道路邊界的可能性高的區(qū)域作為道路邊界區(qū)域。即，在三維位置分布中，提取在具有相同的X軸區(qū)域的多個Z軸區(qū)域中具有計數(shù)值的列作為道路邊界區(qū)域，其中存在表示道路邊界的直線。在圖9所示的例子中，由于在區(qū)域30、50和80中的每一個的多個Z軸區(qū)域中存在計數(shù)值，因此提取區(qū)域30、50和80作為道路邊界區(qū)域。
接下來，對于作為道路邊界區(qū)域所提取的每個區(qū)域，判斷在每個所提取的道路邊界區(qū)域中是否存在表示道路邊界的直線。更具體地，基于在每個道路邊界區(qū)域中的最低點位置(最低點的坐標(biāo)值)，通過在x-y坐標(biāo)系中執(zhí)行回歸分析來計算直線的梯度。在圖9所示的例子中，在區(qū)域30中，基于最低點的坐標(biāo)值Bp1、Bp3和Bp4通過在x-y坐標(biāo)系中執(zhí)行回歸分析來計算直線的梯度a3。在區(qū)域50和區(qū)域80中，類似地計算各道路邊界區(qū)域的梯度a5和a8。如果所計算的梯度在預(yù)定的范圍內(nèi)，則判斷為在所提取的道路邊界區(qū)域中存在表示道路邊界的直線。
即，如果基于上述最低點的坐標(biāo)值所計算的梯度在由梯度Tn0a1和梯度Tn0a2所設(shè)定的范圍內(nèi)，則判斷為在所提取的道路邊界區(qū)域中存在表示道路邊界的直線Ln。此處，通過將X軸區(qū)域的左端坐標(biāo)和每個Z軸區(qū)域的代表坐標(biāo)變換到x-y坐標(biāo)系中并執(zhí)行關(guān)于其的回歸分析來計算Tn0a1，通過將X軸區(qū)域的右端坐標(biāo)和每個Z軸區(qū)域的代表坐標(biāo)變換到x-y坐標(biāo)系中并執(zhí)行關(guān)于其的回歸分析來計算Tn0a2。此處，使用Z軸區(qū)域中Z坐標(biāo)范圍的中心值作為Z軸區(qū)域的代表坐標(biāo)。通過對全部的所提取的道路邊界區(qū)域執(zhí)行該處理，可以檢測在速度圖像5a中表示全部道路邊界的直線。
在圖9所示的例子中，在所提取的道路邊界區(qū)域30中，通過將坐標(biāo)(X，Z)＝(-3.5，4 5)、(-3.5，35)、(-3.5，25)、(-3.5，15)和(-3.5，5)變換為x-y坐標(biāo)并執(zhí)行關(guān)于其的回歸分析來計算梯度T30a1。此外，通過將坐標(biāo)(X，Z)＝(-1.75，45)、(-1.75，35)、(-1.75，25)、(-1.75，15)和(-1.75，5)變換為x-y坐標(biāo)并執(zhí)行關(guān)于其的回歸分析來計算梯度T30a2。然后判斷所計算的梯度a3在由T30a1和T30a2所設(shè)定的范圍內(nèi)是否存在。
如果梯度a3在由T30a1和T30a2所設(shè)定的范圍內(nèi)存在，則判斷為在所提取的道路邊界區(qū)域30中存在表示道路邊界的直線L3。類似地，在所提取的道路邊界區(qū)域50的情況下，如果梯度a5在由T50a1和T50a2所設(shè)定的范圍內(nèi)存在，則判斷為在所提取的道路邊界區(qū)域50中存在直線L5。在所提取的道路邊界區(qū)域80的情況下，如果梯度a8在由T80a1和T80a2所設(shè)定的范圍內(nèi)存在，則判斷為在所提取的道路邊界區(qū)域80中存在直線L8。
通過該處理，當(dāng)判斷為在道路邊界區(qū)域(區(qū)域30，50，80)中存在直線時，通過識別出在攝像機101所拍攝的圖像中的直線是道路邊界，可以從由攝像機101所拍攝的圖像檢測道路邊界。
圖10是示出根據(jù)本發(fā)明的一個或多個實施例的道路邊界檢測設(shè)備的處理的流程圖。在圖10中示出的處理可作為程序執(zhí)行，該程序包括當(dāng)未在此處示出的點火開關(guān)打開時由控制單元103開始的步驟S1～S10。例如，這樣的程序可以包括在用于存儲可由設(shè)備、控制單元和/或CPU執(zhí)行的指令的存儲器裝置中。
在步驟S1，從圖像存儲器102獲得由攝像機101所拍攝的車輛前方的圖像。在步驟S2，通過執(zhí)行圖像的邊緣提取處理產(chǎn)生通過提取所拍攝的圖像中的物體的輪廓所獲得的邊緣圖像。在步驟S3，如上所述計算包括在每個像素中的邊緣的速度信息，通過將所計算的速度信息轉(zhuǎn)換為預(yù)定的級別標(biāo)記來計算速度圖像5a。
在步驟S4，在所計算的圖像5a上確定用于檢測最低點位置的矩形區(qū)域。在步驟S5，通過在每個矩形區(qū)域內(nèi)從下部向上部掃描圖像并通過判斷含有具有速度成分的像素的線是否連續(xù)存在來檢測最低點位置。
在步驟S6，通過獲得所檢測的最低點位置的代表坐標(biāo)值Bp1到Bp10，并通過假設(shè)這些點在路面上存在，使用攝像機101的攝像機參數(shù)計算在實際空間中與代表坐標(biāo)值Bp1到Bp10相對應(yīng)的三維位置。即，計算三維坐標(biāo)值RB1到RB10。在步驟S7，判斷設(shè)定X軸范圍和Z軸范圍的二維區(qū)域中的哪一個區(qū)域與每一個所計算的三維坐標(biāo)值RB1到RB10相對應(yīng)。如果存在相應(yīng)的區(qū)域，則區(qū)域的計數(shù)值增加1。如果沒有相應(yīng)的區(qū)域，則不執(zhí)行對計數(shù)值的增加。從而，計算最低點位置的三維位置分布。
在步驟S8，判斷是否計算了全部的所檢測的最低點位置的三維位置。當(dāng)判斷為沒有計算全部的所檢測的最低點位置的三維位置時，程序從步驟S6重復(fù)該處理。如果判斷為計算了全部的所檢測的最低點位置的三維位置，則程序進行到步驟S9。在步驟S9，從所獲得的三維位置分布，提取相同X軸區(qū)域的多個Z軸區(qū)域中存在計數(shù)值的區(qū)域，作為具有道路邊界的可能性高的區(qū)域。
在步驟S10，基于在所提取的道路邊界區(qū)域中的最低點，通過在x-y坐標(biāo)系中執(zhí)行回歸分析來計算直線的梯度。當(dāng)所計算的梯度在由x-y坐標(biāo)系的梯度所設(shè)定的范圍內(nèi)存在時，判斷為在道路邊界區(qū)域中存在表示道路邊界的直線，其中所述范圍是基于X軸區(qū)域的左端坐標(biāo)和每個Z軸坐標(biāo)的代表坐標(biāo)以及X軸區(qū)域的右端坐標(biāo)和每個Z軸坐標(biāo)的代表坐標(biāo)計算的。
在步驟S11，在判斷為其中具有表示道路邊界的直線的所提取的道路邊界區(qū)域中，檢測連接最低點的直線，作為圖像中的道路邊界。在步驟S12，判斷是否已經(jīng)從所提取的道路邊界區(qū)域檢測了表示全部道路邊界的直線。當(dāng)判斷為尚未檢測表示全部道路邊界的直線時，程序從步驟S9重復(fù)該處理。作為選擇，當(dāng)判斷為已經(jīng)檢測了表示全部道路邊界的直線時，程序進行到步驟S13。
在步驟S13，判斷主車輛的點火開關(guān)是否關(guān)閉。如果判斷為點火開關(guān)未關(guān)閉，則程序返回步驟S1以從步驟S1開始重復(fù)該處理。作為選擇，如果判斷為點火開關(guān)關(guān)閉，則程序終止。
根據(jù)本發(fā)明的一個或多個實施例，可以獲得以下一個或多個有利的作用和效果。
(1)在基于由攝像機101所拍攝的圖像計算的速度圖像上確定用于檢測最低點位置的區(qū)域，并檢測形成表示道路邊界的直線的點。由于道路邊界是平行于光軸的直線成分，因此通過該配置，包括在由攝像機101所拍攝的圖像中的、例如道路上的白線的道路邊界總是作為斜線被獲取，并且該斜線總是沿縱向產(chǎn)生連續(xù)的速度。此外，即使對于由三維物體和路面之間的接觸點所形成的道路邊界，也可以沿高度方向檢測連續(xù)的速度。因此，可以以高精度檢測各種道路邊界。
(2)將所檢測的最低點位置作為路面上的點處理，使用攝像機101的攝像機參數(shù)計算其三維位置。通過該配置，當(dāng)計算在路面上不存在但是作為最低點檢測出的點的三維位置時，通過使其從由X軸和Z軸所設(shè)定的區(qū)域較大地偏移，可以執(zhí)行過濾該點的過濾處理。因此，可以高精度地僅提取形成道路邊界的最低點。
(3)通過比較基于最低點所計算的梯度和基于由X軸和Z軸設(shè)定的范圍所計算的梯度，可以執(zhí)行關(guān)于包括在所提取的X-Z坐標(biāo)道路邊界區(qū)域中的直線是否是表示道路邊界的直線的判斷。通過該配置，可以消除不能通過三維變換的過濾處理過濾的錯誤的檢測，從而可以可靠地執(zhí)行對道路邊界的提取。
變形例例如根據(jù)本發(fā)明的一個或多個實施例的道路邊界檢測設(shè)備可以變形為如下的一種或多種。
(1)使用以下的例子說明了本發(fā)明的一個或多個實施例，即通過對所拍攝的圖像執(zhí)行邊緣提取處理來獲得邊緣圖像，更新包括邊緣的像素的像素計數(shù)器，并基于相應(yīng)的像素計數(shù)器的計數(shù)值按圖像的每個像素計算邊緣的速度成分。然而，該設(shè)備不局限于此，可以配置為使用例如梯度法或塊匹配等通常使用的方法來計算光流(optical flow)。
(2)以使用圖5所示的級別標(biāo)記來計算速度圖像5a為例說明了本發(fā)明的一個或多個實施例。然而本發(fā)明不局限于此，速度圖像可由其它級別標(biāo)記表示，例如速度和速度方向以向量的形式表示的速度圖像。
(3)以將道路邊界檢測設(shè)備100安裝在車輛上為例說明了本發(fā)明的一個或多個實施例。然而本發(fā)明不局限于此，設(shè)備100可以安裝在任意其它移動單元上。
(4)以檢測白線或路面與外墻的接觸點為例說明了本發(fā)明的一個或多個實施例，本發(fā)明不局限于此，也可以檢測其它道路邊界，例如路面和路緣、護欄或停放的車輛之間的邊緣或路面和另一個區(qū)域(稻田、田地等)之間的邊緣。
盡管對于有限數(shù)量的實施例說明了本發(fā)明，從該公開中受益的本領(lǐng)域技術(shù)人員可以認識到可以設(shè)計其它實施例而不脫離在此處所公開的本發(fā)明的范圍。因此，本發(fā)明的范圍應(yīng)當(dāng)僅由所附權(quán)利要求書來限定。
權(quán)利要求
1.一種道路邊界檢測設(shè)備，其包括攝像裝置，用于拍攝車輛前方的圖像；圖像存儲器，其連接到所述攝像裝置，用于存儲圖像；控制單元，其連接到所述圖像存儲器，用于計算由所述攝像裝置拍攝的連續(xù)圖像的像素的速度信息；基于所述像素的速度信息，檢測具有速度成分的像素沿縱向連續(xù)存在的區(qū)域中的最低點位置；以及判斷連接所述最低點位置的直線是否是道路邊界。
2.根據(jù)權(quán)利要求1所述的道路邊界檢測設(shè)備，其特征在于，所述控制單元還用于將所述最低點位置轉(zhuǎn)換為實際空間中的三維位置，并計算轉(zhuǎn)換后的最低位置的位置分布；基于所述轉(zhuǎn)換后的最低位置的位置分布，從圖像中提取具有道路邊界的可能性高的區(qū)域；以及基于所提取的區(qū)域，判斷連接最低點位置的直線是否是道路邊界。
3.根據(jù)權(quán)利要求2所述的道路邊界檢測設(shè)備，其特征在于，所述控制單元還通過假設(shè)全部的所述最低點位置位于路面上，使用所述攝像裝置的攝像參數(shù)將所述最低點位置轉(zhuǎn)換為三維位置。
4.根據(jù)權(quán)利要求2所述的道路邊界檢測設(shè)備，其特征在于，所述控制單元判斷連接所提取的區(qū)域中的所述最低點位置的所述直線的梯度是否處于對每個區(qū)域所確定的預(yù)定范圍內(nèi)，從而判斷連接每個區(qū)域中的所述最低點位置的所述直線是否是道路邊界。
5.根據(jù)權(quán)利要求1所述的道路邊界檢測設(shè)備，其特征在于，所述道路邊界包括白線、護欄、路緣、連接外墻和路面之間的接觸點的直線、連接三維物體和路面之間的接觸點的直線以及連接路面和田地的直線中的至少一種。
6.一種檢測道路邊界的方法，包括拍攝車輛前方的圖像；計算所拍攝的圖像的每個像素的速度信息；基于所述每個像素的速度信息，檢測包括速度成分的像素沿縱向連續(xù)存在的區(qū)域中的最低點位置；以及判斷連接檢測到的最低點位置的直線是否是車輛行駛的道路的道路邊界。
7.一種檢測道路邊界的方法，包括拍攝車輛前方的圖像；計算所拍攝的圖像的每個像素的速度信息；以及基于所計算的速度信息，判斷由包括速度成分的像素形成的斜線是否是車輛行駛的道路的道路邊界。
8.一種檢測道路邊界的方法，包括以下步驟拍攝車輛前方的圖像；計算由攝像裝置拍攝的連續(xù)圖像的像素的速度信息；基于所述像素的速度信息，檢測具有速度成分的像素沿縱向連續(xù)存在的區(qū)域的最低點位置；以及判斷連接所述最低點位置的直線是否是道路邊界。
9.根據(jù)權(quán)利要求8所述的檢測道路邊界的方法，其特征在于，還包括以下步驟將所述最低點位置轉(zhuǎn)換為實際空間中的三維位置，并計算轉(zhuǎn)換后的位置的位置分布；基于所述位置分布，從圖像中提取具有道路邊界的可能性高的區(qū)域；以及基于所提取的區(qū)域，判斷連接最低點位置的直線是否是道路邊界。
10.根據(jù)權(quán)利要求9所述的檢測道路邊界的方法，其特征在于，還包括以下步驟通過假設(shè)全部的所述最低點位置位于路面上，使用攝像裝置的攝像參數(shù)將所述最低點位置轉(zhuǎn)換為三維位置。
11.根據(jù)權(quán)利要求9所述的檢測道路邊界的方法，其特征在于，還包括以下步驟判斷連接所提取的區(qū)域中的所述最低點位置的所述直線的梯度是否處于對每個區(qū)域所確定的預(yù)定范圍內(nèi)，從而判斷連接每個區(qū)域中的所述最低點位置的所述直線是否是道路邊界。
12.根據(jù)權(quán)利要求8所述的檢測道路邊界的方法，其特征在于，所述道路邊界包括白線、護欄、路緣、連接外墻和路面之間的接觸點的直線、連接三維物體和路面之間的接觸點的直線以及連接路面和田地的直線中的至少一種。
13.一種道路邊界檢測設(shè)備，其包括攝像部，其位于車輛上，用于拍攝車輛前方的圖像，所述圖像包括多個像素；速度信息計算部，用于接收由所述攝像部拍攝的圖像并計算圖像的每個像素的速度信息；最低點位置檢測部，用于接收所述速度信息，并基于所述速度信息檢測具有速度成分的像素沿相對于道路的縱向連續(xù)存在的區(qū)域中的最低點位置；以及道路邊界判斷部，用于接收檢測到的最低點位置，并判斷連接所述最低點位置的直線是否是道路邊界。
14.根據(jù)權(quán)利要求13所述的道路邊界檢測設(shè)備，其特征在于，還包括三維位置分布計算部，其中，所述三維位置分布計算部將由所述最低點位置檢測部檢測的所述最低點位置轉(zhuǎn)換為實際空間的三維位置，并計算轉(zhuǎn)換后的位置的位置分布；道路邊界區(qū)域提取部，其從圖像中提取包括車輛行駛的道路的道路邊界的可能性高的提取區(qū)域，其中，基于由所述三維位置分布計算部計算的所述位置分布進行所述提??；以及其中，所述道路邊界判斷部基于所提取的區(qū)域，判斷連接由所述最低點位置檢測部檢測到的所述最低點位置的直線是否是由路面上的點形成的直線，以及所述直線的梯度是否與表示所述直線是車輛行駛的道路的道路邊界的預(yù)定梯度相對應(yīng)。
15.根據(jù)權(quán)利要求14所述的道路邊界檢測設(shè)備，其特征在于，所述三維位置分布計算部通過假設(shè)由所述最低點位置檢測部檢測到的全部的所述最低點位置位于路面上，使用所述攝像部的攝像機參數(shù)將所述最低點位置轉(zhuǎn)換為三維位置。
16.根據(jù)權(quán)利要求14所述的道路邊界檢測設(shè)備，其特征在于，當(dāng)連接所提取的區(qū)域中的所述最低點位置的所述直線的梯度處于由每個所提取的區(qū)域確定的預(yù)定范圍內(nèi)時，所述道路邊界判斷部判斷為連接區(qū)域中存在的所述最低點位置的所述直線是車輛行駛的道路的道路邊界。
17.根據(jù)權(quán)利要求13所述的道路邊界檢測設(shè)備，其特征在于，所述車輛行駛的道路的道路邊界包括白線、護欄、路緣、連接外墻和路面之間的接觸點的直線、連接三維物體和路面之間的接觸點的直線以及連接路面和其它區(qū)域的直線中的至少一種。
18.一種道路邊界檢測設(shè)備，其包括攝像裝置，用于拍攝車輛前方的圖像；速度信息計算裝置，用于計算由所述攝像裝置拍攝的圖像的每個像素的速度信息；最低點位置檢測裝置，用于基于所述每個像素的速度信息，檢測具有速度成分的像素沿縱向連續(xù)存在的區(qū)域中的最低點位置；以及判斷裝置，用于判斷連接所述最低點位置的直線是否是道路邊界。
全文摘要
本發(fā)明提供一種檢測道路邊界的設(shè)備和方法，所述設(shè)備具有攝像裝置，用于拍攝車輛前方的圖像；圖像存儲器，其連接到所述攝像裝置，用于存儲圖像；以及控制單元，其連接到所述圖像存儲器。所述道路邊界檢測設(shè)備還具有可在所述控制單元上執(zhí)行的程序，所述程序用于計算由所述攝像裝置所拍攝的連續(xù)圖像的像素的速度信息；基于像素的速度信息，檢測具有速度成分的像素沿縱向連續(xù)存在的區(qū)域中的最低點位置；以及判斷連接所述最低點位置的直線是否是道路邊界。
文檔編號G06K9/46GK1979524SQ20061016097
公開日2007年6月13日 申請日期2006年12月6日 優(yōu)先權(quán)日2005年12月6日
發(fā)明者藤本和巳 申請人:日產(chǎn)自動車株式會社