亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

使用環(huán)視系統(tǒng)的全速車道感測的制作方法與工藝

文檔序號:11965007閱讀:187來源:國知局
使用環(huán)視系統(tǒng)的全速車道感測的制作方法與工藝
使用環(huán)視系統(tǒng)的全速車道感測相關申請的交叉引用本申請要求2012年5月2日提交的題為“FullSpeedLaneSensingWithASurroundingViewSystem”的美國臨時專利申請序列號61/641,479的優(yōu)先權日期的權益。技術領域本發(fā)明總體上涉及為在車道中行駛的車輛提供道路車道感測的系統(tǒng)和方法,且更具體地涉及為在車道中行駛的車輛提供道路車道感測的系統(tǒng)和方法,其中,車道感測系統(tǒng)采用使用從自始至終圍繞車輛提供圖像的四個照相機產生的俯視圖像(top-downviewimage,或全景圖像)的算法。

背景技術:
現(xiàn)代車輛變得更加自主,即,車輛可以更少的駕駛員介入來提供駕駛控制。巡航控制系統(tǒng)已經存在于車輛上多年,其中,車輛操作員可設置車輛的具體速度,并且車輛將在無需駕駛員操作節(jié)氣門的情況下維持該速度。在本領域中最近已經研發(fā)出了自適應巡航控制系統(tǒng),其中,該系統(tǒng)不但維持設定速度而且在如下情況下還將自動地使車輛減速:通過使用諸如雷達和照相機的各種傳感器在對象車輛前面檢測到更慢的移動車輛?,F(xiàn)代車輛控制系統(tǒng)還可包括自主駐車,其中,車輛將自動地提供轉向控制以便使車輛駐車;并且其中,如果駕駛員作出可影響車輛穩(wěn)定性和車道定中能力的苛刻的轉向變化,則控制系統(tǒng)將介入,其中,車輛系統(tǒng)試圖將車輛保持在行駛車道的中心附近。隨著車輛系統(tǒng)改進,以完全自動驅動車輛為目標,車輛將變得更加自主。未來車輛將很可能利用用于車道變更、超車、繞開交通、駛入交通等的自主系統(tǒng)。因為這些系統(tǒng)在車輛技術中變得更加普遍,所以確定哪些駕駛員作用將與這些系統(tǒng)結合用于控制車輛速度、轉向和超控自主系統(tǒng)也將是必要的。目前車輛車道感測系統(tǒng)通常使用視覺系統(tǒng)來感測車輛行駛車道以及使車輛在車道中心駕駛。這些已知車道感測系統(tǒng)中的許多為各種應用(諸如,車道偏離警告(LDW)、車道保持(LK)、車道定中(LC)等)檢測道路上的車道標志,并且典型地在車輛的前部或后部已經采用單照相機以提供用來檢測車道標志的圖像。然而,存在單個照相機不能檢測車道標志的各種情況,包括低太陽角、由于緊密靠近車輛(諸如,在擁擠的交通狀況下)導致的不可見車道標志、照相機故障等。例如,當前導車輛太靠近對象車輛時,由于交通擁擠或其它交通狀況,照相機可能檢測不到車道標志,因為車道標志被前導車輛遮擋,并且因此,車道的車道標志檢測將失效。在本領域中已經提出在車輛上提供環(huán)視照相機系統(tǒng),其包括前照相機、后照相機以及左側和右側照相機,并且使來自照相機的圖像產生車輛和周圍區(qū)域的俯視圖,其中,圖像將在車輛的角部處相互重疊。俯視圖可顯示給車輛駕駛員以查看車輛的周圍有什么以便倒車、駐車等。

技術實現(xiàn)要素:
根據(jù)本發(fā)明的教導,公開了一種通過檢測道路車道標志在車輛上提供車道感測的系統(tǒng)和方法,其中,所述系統(tǒng)采用提供圍繞車輛的俯視圖像的環(huán)視照相機系統(tǒng)。所述方法包括檢測俯視圖像中的左側和右側車道邊界線,且然后確定圖像中的車道邊界線是否從一個圖像幀到下一個圖像幀對準且在俯視圖像中根據(jù)圖像對準。如果邊界線不對準,那么執(zhí)行一個或多個照相機的校準,如果線對準,那么模型擬合過程用于具體地識別道路上的邊界線的位置。方案1.一種用于感測道路中的行駛車道的方法,車輛沿所述行駛車道行駛,所述車輛包括安裝在車輛前部的前視照相機、安裝在車輛左側的左側視照相機、安裝在車輛右側的右側視照相機、和安裝在車輛后部的后視照相機,所述道路包括在車道左側的左側道路邊界線和在車道右側的右側道路邊界線,所述方法包括:提供來自于前視照相機、左側視照相機、右側視照相機和后視照相機的圖像數(shù)據(jù),作為車輛前部、車輛左側、車輛右側和車輛后部的連續(xù)圖像幀;針對連續(xù)圖像幀中的每個來構造車輛的俯視圖像,所述俯視圖像將來自于前視照相機、左側視照相機、右側視照相機和后視照相機的全部圖像數(shù)據(jù)組合,其中,車輛顯示在俯視圖像的中心;檢測俯視圖像中的左側邊界線和右側邊界線的表征;使用俯視圖像中的左側道路邊界線和右側道路邊界線的表征來校準前視照相機、左側視照相機、右側視照相機和后視照相機中的每個的定向;執(zhí)行照相機診斷過程以提供時間約束分析和空間約束分析,其中,所述時間約束分析確定連續(xù)俯視圖像幀在時間約束閾值內是否共線,且處于相同角度并且處于相同偏移,其中,所述空間約束分析確定俯視圖像中從一個照相機產生的一個圖像到另一個照相機產生的另一個圖像的延伸經過邊界的車道線表征在空間約束閾值內是直的,且具有相同角度;如果不滿足時間約束閾值和空間約束閾值,那么重新校準前視照相機、左側視照相機、右側視照相機和后視照相機中的每個的定向;以及如果滿足時間約束閾值和空間約束閾值,那么使用模型擬合過程來識別俯視圖像中的邊界線。方案2.根據(jù)方案1所述的方法,其中,左側和右側邊界線的表征是一系列圖像點。方案3.根據(jù)方案2所述的方法,其中,使用模型擬合過程包括基于給予每個獨立圖像點的權重來使用線性模型。方案4.根據(jù)方案3所述的方法,其中,所述權重基于多個因素分配,包括:照相機視點、車輛動力學誤差、校準誤差、圖像的可視性和可靠性以及車道感測應用。方案5.根據(jù)方案2所述的方法,其中,檢測邊界線的表征包括將圖像點轉換為車輛坐標。方案6.根據(jù)方案1所述的方法,還包括:在俯視圖像用于檢測左側和右側邊界線的表征之前,給俯視圖像提供光照標準化過程。方案7.根據(jù)方案1所述的方法,其中,執(zhí)行照相機診斷過程包括確定左側和右側邊界線的表征是長實線還是短虛線。方案8.根據(jù)方案7所述的方法,其中,執(zhí)行照相機診斷包括:在車輛以向前方向行駛時使用前視照相機且在車輛以向后方向行駛時使用后視照相機,以確定邊界線的表征是長實線還是短虛線。方案9.根據(jù)方案1所述的方法,還包括:在執(zhí)行照相機診斷過程之前,使用車輛運動補償來增強俯視圖像中的左側道路邊界線和右側道路邊界線的表征。方案10.一種用于感測道路中的行駛車道的方法,車輛沿所述行駛車道行駛,所述車輛包括安裝在車輛前部的前視照相機、安裝在車輛左側的左側視照相機、安裝在車輛右側的右側視照相機、和安裝在車輛后部的后視照相機,所述道路包括在車道左側的左側道路邊界線和在車道右側的右側道路邊界線,所述方法包括:提供來自于前視照相機、左側視照相機、右側視照相機和后視照相機的圖像數(shù)據(jù),作為車輛前部、車輛左側、車輛右側和車輛后部的連續(xù)圖像幀;提供組合圖像,所述組合圖像將來自于前視照相機、左側視照相機、右側視照相機和后視照相機的每個圖像組合,所述組合圖像包括左側邊界線和右側邊界線的表征;使用來自于照相機的圖像中的左側道路邊界線或右側道路邊界線的表征來提供照相機校準,以獨立地校準前視照相機、左側視照相機、右側視照相機和后視照相機中的每個的定向;執(zhí)行照相機診斷過程以提供組合圖像的時間約束分析和空間約束分析,其中,所述時間約束分析確定連續(xù)組合圖像幀在時間約束閾值內是否共線,且處于相同角度并且處于相同偏移,其中,所述空間約束分析確定組合圖像中從一個照相機產生的一個圖像到另一個照相機產生的另一個圖像的延伸經過邊界的車道線表征在空間約束閾值內是直的,且具有相同角度;如果不滿足時間約束閾值和空間約束閾值,那么重新校準前視照相機、左側視照相機、右側視照相機和后視照相機中的一個或多個的定向;以及如果滿足時間約束閾值和空間約束閾值,那么將組合圖像中的左側邊界線和右側邊界線的表征模型擬合為左側和右側邊界線。方案11.根據(jù)方案10所述的方法,其中,左側和右側邊界線的表征是一系列圖像點。方案12.根據(jù)方案10所述的方法,其中,模型擬合包括基于給予每個獨立圖像點的權重來使用多項式模型。方案13.根據(jù)方案12所述的方法,其中,所述權重基于多個因素分配,包括:照相機視點、車輛動力學誤差、校準誤差、圖像的可視性和可靠性以及車道感測應用。方案14.根據(jù)方案10所述的方法,其中,執(zhí)行照相機診斷過程包括將線的表征轉換為俯視坐標。方案15.根據(jù)方案10所述的方法,還包括:給組合圖像提供光照標準化過程。方案16.根據(jù)方案10所述的方法,其中,執(zhí)行照相機診斷過程包括確定左側和右側邊界線的表征是長實線還是短虛線。方案17.根據(jù)方案16所述的方法,其中,執(zhí)行照相機診斷包括:在車輛以向前方向行駛時使用前視照相機且在車輛以向后方向行駛時使用后視照相機,以確定邊界線的表征是長實線還是短虛線。方案18.根據(jù)方案10所述的方法,還包括:在執(zhí)行照相機診斷過程之前,使用車輛運動補償來增強組合圖像中的左側道路邊界線和右側道路邊界線的表征。方案19.一種用于感測道路中的行駛車道的系統(tǒng),車輛沿所述行駛車道行駛,所述車輛包括安裝在車輛前部的前視照相機、安裝在車輛左側的左側視照相機、安裝在車輛右側的右側視照相機、和安裝在車輛后部的后視照相機,所述道路包括在車道左側的左側道路邊界線和在車道右側的右側道路邊界線,所述系統(tǒng)包括:提供來自于前視照相機、左側視照相機、右側視照相機和后視照相機的圖像數(shù)據(jù)的裝置,作為車輛前部、車輛左側、車輛右側和車輛后部的連續(xù)圖像幀;針對連續(xù)圖像幀中的每個來構造車輛的俯視圖像的裝置,所述俯視圖像將來自于前視照相機、左側視照相機、右側視照相機和后視照相機的全部圖像數(shù)據(jù)組合,其中,車輛顯示在俯視圖像的中心;檢測俯視圖像中的左側邊界線和右側邊界線的表征的裝置;使用俯視圖像中的左側道路邊界線和右側道路邊界線的表征來校準前視照相機、左側視照相機、右側視照相機和后視照相機中的每個的定向的裝置;執(zhí)行照相機診斷過程以提供時間約束分析和空間約束分析的裝置,其中,所述時間約束分析確定連續(xù)俯視圖像幀在時間約束閾值內是否共線,且處于相同角度并且處于相同偏移,其中,所述空間約束分析確定俯視圖像中從一個照相機產生的一個圖像到另一個照相機產生的另一個圖像的延伸經過邊界的車道線表征在空間約束閾值內是直的,且具有相同角度;如果不滿足時間約束閾值和空間約束閾值,那么重新校準前視照相機、左側視照相機、右側視照相機和后視照相機中的每個的定向的裝置;以及如果滿足時間約束閾值和空間約束閾值,那么使用模型擬合過程來識別俯視圖像中的邊界線的裝置。本發(fā)明的附加特征將從以下描述和所附權利要求結合附圖變得明顯。附圖說明圖1是包括具有多個照相機的環(huán)視照相機系統(tǒng)的車輛的圖示;圖2是使用來自照相機的圖像產生的在圖1中所示的車輛的俯視圖像;圖3是示出用于使用環(huán)視照相機系統(tǒng)和俯視圖像來檢測道路車道標志的低端方法過程的流程圖;圖4是在車輛坐標中的由環(huán)視照相機系統(tǒng)使用俯視圖像檢測到的車道標志圖像點的圖示;圖5是示出用于提供在圖3中所示的過程中的照相機診斷的過程的流程圖;圖6是由圖4中所示的環(huán)視照相機系統(tǒng)檢測到的車道標志圖像點的圖示并且包括已經被模型擬合到所述點的車道標志線;圖7是示出用于獨立地使用來自于多個車輛照相機的圖像來檢測道路車道標志的高端方法過程的流程圖;圖8是在車輛坐標中的由獨立照相機檢測到的車道標志圖像點的圖示;圖9是示出用于提供在圖7中所示的過程中的照相機診斷的過程的流程圖;和圖10是圖8中所示的車道標志圖像點的圖示并且包括已經被模型擬合到所述點的車道標志線。具體實施方式對涉及通過使用環(huán)視照相機系統(tǒng)檢測車道標志提供車道感測的系統(tǒng)和方法的本發(fā)明的實施例的下列討論,本質上僅僅是示例性的,并且決不旨在限制本發(fā)明或其應用或使用。圖1是沿著道路車道12行駛的車輛10的圖示,該道路車道12由涂刷或以其它方式附著在道路車道12上的車道標志限定,包括外側車道邊界實線14和車道中心虛線16。出于將從下文的討論變得明顯的原因,車輛10包括在車輛10內諸如在后視鏡(未示出)后面的照相機18。車輛10還包括具有前視照相機20、后視照相機22、右側視照相機24和左側視照相機26的環(huán)視照相機系統(tǒng)。照相機20-26可為適合于本文中所描述的目的的任意照相機,其中的許多在汽車領域中是已知的,它們可接收光或其它輻射并且使用例如電荷耦合裝置(CCD)將光能轉換成以像素格式的電信號。照相機20-26以某一數(shù)據(jù)幀速率產生可被存儲用于隨后處理的圖像數(shù)據(jù)幀。照相機20-26可安裝在車輛10內或作為車輛10的部分的任意適當結構(諸如保險杠、facie、格柵、側視鏡、門板等)上,如將由本領域的技術人員理解并意識到的。在一個非限制性實施例中,側照相機24和26安裝在側視鏡的下方并且指向下。來自照相機20-26的圖像數(shù)據(jù)被發(fā)送至處理器28,該處理器28處理圖像數(shù)據(jù)以產生可顯示在車輛顯示器30上的圖像。例如,如上文所提及的,在本領域中提供車輛的俯視圖是已知的,從而提供車輛10附近和車輛10的全部側的圖像。圖2是由來自照相機20-26的圖像數(shù)據(jù)構造的可顯示在顯示器30上的俯視圖像32的一般表征,示出車輛10在圖像32的中心或其它部分。俯視圖像32包括組合的由前視照相機20提供的前圖像34、由后視照相機22提供的后圖像36、由右側視照相機24提供的右側圖像38以及由左側視照相機26提供的左側圖像40。來自照相機20-26的圖像由處理器28處理,使得所述圖像擬合在一起作為組合圖像,其中線42是在圖像34與40之間的邊界,線44是在圖像34與38之間的邊界,線46是在圖像36與40之間的邊界,并且線48是在圖像36與38之間的邊界。在圖像32中的虛線50限定中心車道線16并且延伸穿過圖像40并且到圖像34和36中,并且實線52代表延伸穿過圖像38并且到圖像34和36中的車道邊界線14。本發(fā)明提出用于提供用于在諸如LDW系統(tǒng)、LK系統(tǒng)、LC系統(tǒng)等的各個系統(tǒng)中使用的車道感測的技術,其使用環(huán)視照相機系統(tǒng)來檢測在車輛10的兩側上的車道標志或車道邊界。如將在下文中詳細地討論的,本發(fā)明提出兩種車道感測方法,包括使用由照相機系統(tǒng)產生的俯視圖像32的欠復雜的低端方法和單獨地使用來自照相機20-26的圖像的高端方法。在該低端方法中,集成的感測和照相機診斷被無縫地提供,并且是簡單且快速的。然而,低端的方法具有有限的檢測距離,取決于精確的照相機校準,并且具有有限的診斷和自動照相機校準。高端方法需要更高的處理能力,并且因此它是較慢的。然而,提供四個獨立的原始圖像提供在圖像34-40重疊區(qū)域中的分析、更長的檢測距離、以及魯棒檢測結果。應注意的是,雖然本發(fā)明利用了提供車輛10的環(huán)視圖像的四個照相機,但是,下文中詳細討論的本發(fā)明的技術和過程將可適用于任意數(shù)量的照相機,例如,如果照相機20-26中的一個發(fā)生故障,或四個以上的照相機設置在車輛10上。圖3是示出用于執(zhí)行上文所提及的低端方法的過程的流程圖60。在框62處提供俯視圖像32,并且在框64處在處理器28中的車道感測算法執(zhí)行圖像32的光標準化。光標準化是改變圖像的像素強度值的范圍以使圖像強度進入到更加適合于處理的范圍中的過程。轉讓給本申請的受讓人并且通過引用并入本文的于2012年8月20日提交的題為“LaneTrackingSystem”的美國專利申請序列號13/589,214公開了利用單個照相機的車輛車道跟蹤系統(tǒng)以便檢測道路標志用于車道感測目的?!?14申請公開了用于在照相機圖像上執(zhí)行光標準化的一個過程,該過程適合于本文中所討論的光標準化。那個過程包括利用直方圖均衡化來增加在低光狀況下的圖像的清晰性以及提供亮點飽和。然后,該算法在框66處執(zhí)行車道檢測過程,以確定車輛10是否正在道路車道(諸如,車道12)中行駛。轉讓給本申請的受讓人并且通過引用并入本文的Zhang等的美國專利申請公開No.2010/0014714公開了一種用于提供車道檢測的適合于本文所討論的過程的示例性技術。其它技術也可為適用的,包括下文更詳細地討論的如下已知技術:其中由照相機20-26成像的對象產生圖像點,所述圖像點然后被處理以識別車道邊界。對于在車輛10沿著道路車道12移動時所產生的每個圖像幀,圖像點在來自照相機20-26的實體動畫(pixilation)的圖像坐標中產生。在框68處,圖像點然后被用來從由車道檢測過程產生的一些圖像點識別在圖像32中的左和/或右邊界線,諸如車道線50和52。換言之,該算法選擇圖像中的可為由使車道線14和16成像而檢測到的點的那些點??赏ㄟ^本領域的技術人員已知的任意適當?shù)倪^程從在圖像32中的圖像點識別左車道線50和右車道線52。例如,‘214申請公開了一種適當?shù)募夹g,其中隨著車輛10移動,邊界線圖像點由來自照相機20-26的圖像識別。然后,在圖像點被轉換成車輛坐標系之前,在框80處,在圖像坐標中的圖像點被用來校準照相機20-26的定向。轉讓給本申請的受讓人并且通過引用并入本文的于2009年2月6日提交的題為“CameraAuto-CalibrationByHorizontalEstimation”的美國專利申請公開No.2010/0201814公開了適合于該目的的用于車輛照相機的自動校準過程。如在‘814申請中所討論的,車輛照相機的位置和定向(角度)的知識對于在車輛坐標中處理來自照相機的圖像數(shù)據(jù)是必需的。然而,各個因素,諸如車輛上的負載、在起伏不平的路上行駛、磨損等,可能導致車輛照相機的定向改變,其中需要將新的照相機位置和定向校準到已知定向,使得來自其的圖像在圖像處理中被適當?shù)靥幚碛糜谔囟ǖ氖褂?。雖然任意適當?shù)恼障鄼C校準過程可用于本文所討論的過程,但是‘814申請?zhí)峁┮环N適用的并且利用邊緣檢測分析和運動映射以使用圖像點來校準車輛照相機20-26的技術。一旦照相機20-26被校準,在圖像坐標中的已校準的圖像點然后就在框58處使用任意適當?shù)倪^程轉換成車輛坐標系。圖4是示出圖像點已經轉換成車輛坐標系76的圖示70。特別地,示出在車輛坐標中的一系列圖像點72,所述一系列圖像點72從識別在圖像32中的中心車道線50的圖像點由轉化過程產生,并且示出在車輛坐標中的一系列圖像點74,所述一系列圖像點74從識別在圖像32中的車道線52的圖像點由轉化過程產生。在框82處車輛運動補償可用來增強在圖像32中的車道線50和52的識別。特別地,在車輛坐標中的圖像點72和74可包括來自由車輛運動補償提供的先前圖像幀的圖像點??刹捎眠m合于本文中所描述的目的的用于確定車輛運動的任何過程。在‘042申請中還描述了用于使用用于該目的的車輛運動補償一種適當過程,并且該過程可包括如下過程:使用在車輛10上的傳感器(未示出)(即,車輛速度傳感器和偏航率傳感器)感測車輛位置,以及使在先前幀中的檢測到的圖像點沿車輛行駛的方向移位以補償車輛10的從先前圖像幀至當前車輛坐標的任何感測的前進運動。由于車輛10行駛并且每組圖像點72和74在隨后的圖像中被提供,因此,可通過車輛運動補償使用那些點。換言之,車輛運動補償過程著眼于在連續(xù)圖像幀中的圖像點72和74,其中在兩個或更多個幀中的兩倍或以上數(shù)量的圖像點72和74可用于車道幾何分析以基于車輛10的運動從一個圖像幀到下一個圖像幀對準圖像點72和74。在框84處,該算法然后使用在車輛坐標中的經運動補償?shù)膱D像點72和74來確定照相機20-26是否相互對準以在照相機診斷過程中提供圖像32。如果照相機診斷過程確定圖像點72和74的定向從一個圖像幀到下一個圖像幀對于車道感測是不足夠的,則過程進入到框86以提供照相機重新校準,優(yōu)選地以在框80處所進行的同樣的方式使用在圖像坐標中的圖像點,然后在框62處再次產生俯視圖像32。如果照相機診斷過程確定照相機20-26被適當?shù)匦什⑶腋┮晥D像32是足夠的,則該算法在框88處執(zhí)行模型擬合過程以特別地識別線50和52在道路車道12中的位置,所述位置然后可在具體的LDW、LK或LC系統(tǒng)中被使用。在下文中將詳細地討論照相機診斷過程和模型擬合過程兩者。在框84處在照相機診斷過程期間,隨著車輛10沿著道路車道12移動,該算法通過將線50和52從一個圖像幀到下一個圖像幀對準來提供時間分析。對于每條線而言,連續(xù)圖像幀需要相互匹配,其中來自線50和52的用于前照相機、側照相機和后照相機的線段需要共線,相對于彼此具有相同角度和相同偏移。此外,照相機診斷過程提供空間分析,其中在構成俯視圖像32的圖像34-40中,線50和52從圖像34-40中的一個到下一個圖像34-40應被連接并且具有相同角度。因此,照相機診斷過程匹配用于時間約束的連續(xù)幀并且匹配在用于空間約束的每個幀圖像中的不同的圖像。圖5是示出用于執(zhí)行上文所提及的照相機診斷的過程的流程圖90。取決于車輛10是向前或向后移動,前視照相機20、后視照相機22或在擋風玻璃后面的附加內部照相機(諸如照相機18)被用來識別是否存在可被用來確定照相機20-26是否被適當?shù)匦实能嚨肋吔?。在?2處,取決于車輛10正在以哪個方向行駛,來自照相機20、照相機22或內部照相機的照相機圖像被提供用于在框94處的紋理分析。紋理分析過程提供邊緣和車道檢測以確定在車輛10的左側上或車輛10的右側上是否存在諸如線50和52的車道邊界線。然后該算法在決策菱形96處確定已經檢測到的左或右車道線是否為長實線,并且如果是,則移至框98以使用俯視圖像32提供車道標志或線檢測。使用來自框82的車輛運動補償圖像,該算法在決策菱形100處通過確定用于前、側和后照相機的來自在俯視圖像32中的線50和52的線段是否被連接并且對于在俯視圖像32中的每條線而言在圖像之間是否具有在一些預定的閾值內的相同角度來提供空間約束分析。在決策菱形100處如果用于前、側和后照相機的來自線50和52的線段未被連接或不具有在閾值內的相同角度,則該算法進入照相機重新校準框86。如果用于前、側和后照相機的來自線50和52的線段被連接并且對于每條線而言具有在閾值內的相同角度,則該算法進入決策菱形102以提供時間約束分析以確定在連續(xù)圖像幀中的線50和52是否匹配,如上文所討論的。如果連續(xù)幀在決策菱形102處不匹配,則算法再次進入照相機重新校準框86。如果時間和空間約束兩者已經得到滿足,則照相機20-26相對于彼此已校準,并且算法進入模型擬合框88。如果該算法在決策菱形96確定線50和52中的任一個不是長實線,其中線50不是實線,則該算法在決策菱形110處確定線是否為短(虛)線,并且如果不是,則在道路車道12中沒有線存在,并且算法進入框112以等待下一個成像循環(huán)。如果該算法在決策菱形110處確定檢測到的線是短線,則該算法在框114處與框98相同的方式提供車道標志檢測。由于線是短線,所以該算法跳過了確定線段是否被連接并且具有相同角度的空間約束步驟,但是在決策菱形116處確實以與如上針對框102所討論的相同的方式執(zhí)行時間幀匹配。同樣,如果連續(xù)幀在決策菱形116處不匹配,則該算法移至重新校準框86,并且如果它們匹配,則該算法進入模型擬合框88。如果照相機20-26被校準,則該算法在模型擬合框88中使用來自連續(xù)圖像幀的圖像點72和74來識別車輛10相對于道路車道12的位置和定向。換言之,該算法使用圖像點72和74來確定線50和52相對于車輛10的位置的精確定位,使得車輛10的精確位置和定向可在道路車道12中確定。在用于低端方法的模型擬合過程中,該算法基于對于車輛10的兩側的檢測到的車道圖像點72和74使用權重來擬合線性模型。特別地,模型擬合算法針對具體的系統(tǒng)或狀況為圖像點72和74中的每一個識別適當?shù)臋嘀?,并且將那些權重擬合到期望的車道模型中以限定線50和52的位置。每個權重基于各個參數(shù)被仔細地分配,所述各個參數(shù)諸如照相機視點、車輛動力學誤差、照相機校準誤差、在圖像32中的照相機可見度和可靠性。對于車道偏離報警(LDW)應用而言,來自側視照相機的圖像點典型地將具有較高的權重。另外,來自先前幀的具有精確的運動補償?shù)膱D像點比具有嘈雜運動補償?shù)哪切﹫D像點具有更大的權重,具有較小照相機校準誤差的圖像點具有較大的權重,并且在圖像中的具有較佳可見度和可靠性的圖像點(在圖像中的較近的點)被給予較大的權重。對于直線車道模型,估計偏移和角度參數(shù),其中最靠近車輛的前車輪的點對于偏移的估計而言具有較大的權重,在遠離車輛10的先前的幀中魯棒地檢測到的點對于角度的估計而言具有較大的權重。圖像點加權過程可為試圖對圖像點72和74定位以擬合模型的任何適當?shù)募訖噙^程。例如,模型可基于函數(shù)?(x,y)=0,其中每個圖像點72和74被放置到函數(shù)中,并且其中xs1和ys1代表對于那個像點而言的位置x和y值。對于函數(shù)f,通過將權重w分配給每個特定的圖像點72和74,提供函數(shù)f的最優(yōu)化,使得它實現(xiàn)期望的結果。將用于每個圖像點72和74的所有函數(shù)連同它們的適當?shù)臋嘀丶悠饋硪酝ㄟ^例如下列目標函數(shù)提供最佳模型參數(shù)。最佳模型參數(shù)在當車輛10向前移動時的俯視圖像32中,每個側車道標志由三個照相機即前視照相機20、特定的側視照相機24或26和后視照相機22觀察。取決于特定的車道感測應用諸如車道定中或車道保持,基于參數(shù)對每個圖像點72和74不同地加權。例如,用于車道定中目的的車道感測對于車輛10前方的車道更感興趣,并且因此,由前視照相機20提供的圖像點被給予更多權重。對于在LDW或LK應用中的車道感測,圖像點加權在車輛前輪位置處確定,并且因此,側視照相機圖像點被給予更多權重。權重可以對應于可指示特定點可識別車道邊界線的置信度的多個可靠性因數(shù)。此種可靠性因數(shù)可包括周圍可見度、圖像分辨率、光照狀況等。一旦權重已經被分配給每個圖像點72和74,模型車道線就根據(jù)點72和74的加權的位置擬合到那些點來設置車道線。還可以任何適當?shù)姆绞綄嚨谰€50和52進行建模,諸如加權平均值、滾動最佳擬合、卡爾曼濾波等。圖6是圖4中所示的車輛坐標中的加權的圖像點72和74的圖示,并且包括以上文所討論的方式分別模型擬合到加權的圖像點72和74的車道標志線120和122。對于其中使用來自照相機20-26中的每一個的單獨的圖像來提供車道感測的高端方法,每個獨立的圖像經歷與對于俯視圖像32所做出的類似的處理以提供車道標志檢測。因為在俯視圖像32中的實際的獨立圖像被切去(cutoff)以提供俯視圖像32,所以獨立地使用單獨的圖像可擴展車道感測的范圍。此外,對來自照相機20-26中的每一個的單獨的圖像的處理可利用在這些圖像之間的重疊區(qū)域。圖7是示出用于對于獨立地使用來自照相機20-26的圖像中的每一個的高端方法而言檢測道路車道線14和16的過程的流程圖130,其中與流程圖80相似的元件由相同的附圖標記標識。雖然在該實施例中使用了四個照相機,但是應注意的是,這是非限制性示例,因為可采用適合于本文所討論的目的的任意數(shù)量照相機。在流程圖130中,圖像分析被劃分成四個獨立的路徑,每個照相機20-26一個,其中第一路徑132分析由前視照相機20提供的前圖像34,其在框134處提供,第二路徑136分析由左側視照相機26提供的側圖像40,其在框138處提供,第三路徑140分析由右側視照相機24提供的側圖像38,其在框142處提供,并且第四路徑144分析由后視照相機22提供的后圖像36,其在框146處提供。每個路徑132、136、140和144以上文所討論的相同的或類似方式分析特定的照相機圖像,其中光標準化在框64處提供,并且車道檢測在框66處提供。左和右車道邊界識別在框68處為在路徑132和144中的前和后圖像而非為在路徑136和140中的側圖像提供,但是它們可以。為特定的照相機使用適當?shù)膱D像點集,該照相機然后在框80處在路徑132、134、136和138中的每一個中被獨立地校準。在路徑132、136、140和144中的每一個中的所有圖像點在框58處被轉換成在照相機20-26的組合中的車輛坐標。圖8是被轉換成車輛坐標的類似于圖4中所示的圖像點72和74的圖像點組的圖示148,其中,在車輛10的左側上的一系列圖像點150由前視照相機20提供,在車輛10的右側上的一系列圖像點152由前視照相機20提供,在車輛10的左側上的一系列圖像點154由左側視照相機26提供,在車輛10的右側上的一系列圖像點156由右側視照相機24提供,在車輛10的左側上的一系列圖像點158由后視照相機22提供,并且在車輛10的右側上的一系列圖像點160由右側視照相機24提供。在框162處,圖示148可通過提供來自車輛10內部的前照相機(諸如,在車輛擋風玻璃后面的照相機18)的照相機圖像而增強。然后,該算法在框82處通過車輛運動補償積累來自先前圖像幀的更多圖像點,在框84處提供照相機診斷,在框86處提供照相機重新校準并且在框88處提供模型擬合。圖9是示出在流程圖130中所示的過程中所使用的照相機診斷過程的流程圖170,以提供對于共線、相同角度和相同偏移來說的在連續(xù)圖像幀中的線段的時間約束以及空間約束以確定車道標志線在圖像中是筆直的。在流程圖170中,對于俯視圖像32而言在照相機診斷流程圖130中所執(zhí)行的相關的過程是相同的。在框172處,如果在決策菱形96處已經檢測到長實線,則該算法在四個獨立的圖像中的每一個上而不是在俯視圖像32上獨立地執(zhí)行在框98處所執(zhí)行的車道標志檢測。一旦已經在獨立圖像中的每一個上檢測到車道標志,則算法在框174處執(zhí)行將檢測到的線轉換成俯視圖坐標系的附加步驟。如果在決策菱形110處檢測到短線,則該算法以與在框172處所執(zhí)行的類似的方式在四個圖像中的每一個上獨立地執(zhí)行車道標志檢測。同樣地,該算法在框178處執(zhí)行將檢測到的線轉換成俯視圖坐標系統(tǒng)的附加步驟。如果該算法確定照相機20-26被適當?shù)匦什⑶夷P蛿M合到圖像點150、152、154、156、158和160應執(zhí)行,則該算法針對在車輛10的各側上的圖像點以權重擬合多項式模型而非在低端方法中所使用的線性模型。為每個圖像點分配權重的過程與上文所討論的相同,其中它將取決于可用的因素和參數(shù)以及使用車道感測技術的系統(tǒng)。圖10是來自如圖8中所示的單獨的圖像的圖像點的圖示,其中線180和182已經使用多項式模型分別擬合到左側圖像點和右側圖像點。如本領域的技術人員將很好地理解的,此處所討論的用以描述本發(fā)明的幾個和各種步驟和過程可稱為由計算機、處理器或使用電現(xiàn)象操控和/或變換數(shù)據(jù)的其它電子計算裝置執(zhí)行的操作。那些計算機和電子裝置可以利用各種易失性和/或非易失性存儲器,所述易失性和/或非易失性存儲器包括帶有存儲在其上的可執(zhí)行程序的非暫態(tài)計算機可讀介質,所述可執(zhí)行程序包括能夠由計算機或處理器執(zhí)行的各種代碼或可執(zhí)行指令,其中存儲器和/或計算機可讀介質可包括所有形式和類型的存儲器以及其它計算機可讀介質。上面的討論僅公開并描述了本發(fā)明的示例性實施例。根據(jù)這樣的討論以及根據(jù)附圖和權利要求書,本領域的技術人員將容易地意識到,在不脫離如所附權利要求書中所限定的本發(fā)明的精神和范圍的情況下,可在其中作出各種改變、修改和變型。
當前第1頁1 2 3 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1