專利名稱：可行駛空間的檢測系統(tǒng)及其檢測方法
技術領域：
本發(fā)明是有關于一種可行駛空間的檢測系統(tǒng)及其檢測方法，特別是指一種利用立體視覺判斷道路可行駛空間的檢測系統(tǒng)及其檢測方法。
背景技術：
交通載具與人們的生活息息相關，其中又以汽車為首要的個人交通載具。然而，汽車駕駛可能因技巧、經驗及專注能力不同，而導致可能的交通事故，所以，現今的汽車搭載許多電子輔助裝置，輔助并提醒汽車駕駛，以避免上述情況。其中，障礙物檢測系統(tǒng)是汽車工業(yè)正努力發(fā)展的方向之一，常見的障礙物檢測系統(tǒng)，如倒車雷達，已成為許多汽車的標準配備之一，有效地輔助汽車駕駛評估停車空間，以順利完成停車動作。而最近特別受到矚目的是，汽車停止或行駛中對前方障礙物的檢測，這方面的檢測技術可以避免汽車駕駛因忽略前方障礙物而導致車禍，甚至可以在特定的情況下，為汽車駕駛減速或剎車，大幅提升行車安全性。然而，如何有效地檢測障礙物，目前的相關技術仍有許多缺點有待改進。以美國專利案 US 5937079“Method for Stereo Image Object Detection，，為例，該發(fā)明主以水平邊緣特征，確定輸入的參考影像的障礙物樣板，再通過直方圖統(tǒng)計，求得障礙物三維空間的位置。然而，該案以二維影像的水平特征作為障礙物比對的樣板，容易受到障礙物樣板設計及數量的影響。另外，在美國專利案US 6801244 “Obstacle Detection Apparatus and Method”中，該發(fā)明通過離線左右攝影機影像的車道轉換矩陣，再利用有高度物體于左右影像存有視差的特性，區(qū)分出路面與障礙物。雖然該案以左右影像視點轉換的手法，估算出道路可行駛空間，但此方法易受道路環(huán)境變異的影響，舉例來說，當車輛從平面道路轉換至斜坡道路時，會誤判是遇到障礙物。再者，在美國專利案US 2006/0095207 iiObstacle Detection Using StereoVision”中，該發(fā)明以二維影像的邊角(Edge)與顏色信息檢測出障礙物，然后通過立體視覺估算出障礙物的三維空間信息，再估算道路可行駛空間與安全可行駛路徑。然而，本案以二維影像特征檢測障礙物，易受障礙物二維特征選用的限制，也就是說，如果沒有預先妥善地設定障礙物的二維特征，則無法檢測出障礙物。由上述前案可以了解，過去在道路可行駛空間檢測演算法中，大都先檢測出障礙物，再進行可行駛空間估算。其中障礙物檢測演算法大多以影像紋理信息(顏色/邊緣/陰影)或型態(tài)信息(長/寬/長寬比)或樣板比對方式進行檢測，易受環(huán)境影響且適用性低，障礙物遮蔽與數量也會造成影響，進而產生可行駛路徑的誤差。另外，車輛在行駛的過程中，系統(tǒng)辨識障礙物所需的反應時間必須是近乎即時的訊息回饋，系統(tǒng)的演算法不但不能受到外界環(huán)境的其他因素干擾，還要具備一定程度的可靠性。采用二組攝影機以建立立體視覺的三維信息雖可解決外界環(huán)境的影響，但龐大的運算負荷，卻是此系統(tǒng)最大的瓶頸，也是系統(tǒng)是否實用的關鍵性因素。

發(fā)明內容
本發(fā)明的目的是在提供一種利用立體視覺判斷道路可行駛空間的檢測系統(tǒng)。本發(fā)明可行駛空間的檢測系統(tǒng)，安裝于一交通載具上并朝向該交通載具的移動方向，該檢測系統(tǒng)包含:二影像擷取單元、一處理單元及一存儲單元。這些影像擷取單元相間隔地設置于該交通載具上，并朝向該交通載具前進的方向以記錄一第一影像及一第二影像。該處理單元電連接這些影像擷取單元。該存儲單元電連接該處理單元，并儲存該第一影像、該第二影像及一與檢測可行駛空間相關并供該處理單元執(zhí)行的檢測程序，這些影像擷取單元、該處理單元及該存儲單元協(xié)同配合執(zhí)行可行駛空間的檢測。該檢測程序使該處理單元:首先，執(zhí)行一立體影像重建運算，轉換該第一影像及第二影像為一包括多個像素的第三影像，各該像素具有一視差值。接著，依據一道路函數將該第三影像轉換為一包括多個格的距離陣列。再者，執(zhí)行一成本函數，以一障礙物項及一道路平面項估算多個對應這些格的障礙值，其中該障礙物項及該道路平面項是依據該距離陣列的各欄的視差值而得。然后，執(zhí)行一最佳化邊界估算函數，以計算出一平滑度值。接著，依據該平滑度值執(zhí)行一最佳化演算法，以計算出多個最佳可行駛空間邊界值。本發(fā)明的另一目的是在提供一種利用立體視覺判斷道路可行駛空間的檢測方法。本發(fā)明可行駛空間的檢測方法，運作于一包括二相間隔的影像擷取單元、一存儲單元及一處理單元的檢測系統(tǒng)，該檢測方法包含下列步驟:首先，該二影像擷取單元記錄一第一影像及一第二影像于該存儲單元。接著，該處理單元執(zhí)行一立體影像重建運算，將該第一影像及第二影像轉換為一包括多個像素的第三影像，各該像素具有一視差值。再者，該處理單元依據一道路函數將該第三影像轉換為一包括多個格的距離陣列。然后，該處理單元執(zhí)行一成本函數，以一障礙物項及一道路平面項估算多個對應這些格的障礙值，其中該障礙物項及該道路平面項是依據該距離陣列的各欄的視差值而得。接著，該處理單元執(zhí)行一最佳化邊界估算函數，以計算出一平滑度值。再者，依據該平滑度值執(zhí)行一最佳化演算法，以計算出多個最佳可行駛空間邊界值。本發(fā)明的有益效果在于:成本函數中的障礙物項及道路平面項是依據該距離陣列的各欄的視差值而得，可以適用于不同的道路情境，不論是平面道路或是上、下坡道路，對于障礙物的檢測都有良好的效果。


圖1是顯示本發(fā)明可行駛空間的檢測系統(tǒng)中的二影像擷取單元的情境俯視圖；圖2是說明本發(fā)明較佳實施例的可行駛空間的檢測系統(tǒng)的系統(tǒng)方塊圖；圖3是在該較佳實施例中，這些影像擷取單元所拍攝的一第一影像及一第二影像的影像示意圖；圖4是本發(fā)明較佳實施例的可行駛空間的檢測方法的的系統(tǒng)流程圖；圖5是該較佳實施例中的一距離陣列的一張二維數據示意圖；圖6是該較佳實施例中的多個檢測區(qū)域的情境俯視圖；圖7是該較佳實施例中的多個對應多個最佳可行駛空間邊界值所對應的障礙線段一張二維數據示意圖8是在該較佳實施例中的一障礙物檢測圖層的影像示意圖；及圖9是在該較佳實施例中，該障礙物檢測圖層及多個障礙提示線段迭置于一基底影像上，并顯示一合成影像的影像示意圖。
具體實施例方式為讓本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，以下結合附圖對本發(fā)明的具體實施方式
作詳細說明。首先需要說明的是，本發(fā)明并不限于下述具體實施方式
，本領域的技術人員應該從下述實施方式所體現的精神來理解本發(fā)明，各技術術語可以基于本發(fā)明的精神實質來作最寬泛的理解。圖中相同或相似的構件采用相同的附圖標記表示。參閱圖1、2，本發(fā)明的可行駛空間的檢測系統(tǒng)是安裝在交通載具11上，在本較佳實施例中，該交通載具11為一車輛，但并不限于此。該檢測系統(tǒng)包含二相間隔設置的影像擷取單元21、一存儲單元22、一處理單元23、一檢測單元24，及一播放單元25。這些影像擷取單元21在本較佳實施例中為二具攝影機，每一影像擷取單元21可以對交通載具11前方的景物拍攝一設定視角的影像，如30度視角的影像，該每一影像的解析度設為640像素X 480像素，也就是說，該影像的欄(Column)具有640個像素，而該影像的列(Row)具有480個像素，但該影像的解析度并不限于此。這些影像擷取單元21如車輛頭燈般相間隔地安裝于該交通載具11的適當處，如前保險桿處、車頂上、中控儀表板上方或通過機構吸付于擋風玻璃等位置，且拍攝方向是面向欲檢測的方向，在本較佳實施例中，該拍攝方向如箭頭12所示，朝著交通載具11向前方移動的方向，其目的在于交通載具11向前移動時，檢測其前方是否有任何障礙物，并推估可行駛的空間。參閱圖1、3，左側的影像擷取單元21可以擷取到一第一影像211，而右側的影像擷取單元21可以擷取到一第二影像212，這些第一影像211及第二影像212因為拍攝角度略有不同，因此會產生“視差”，第一影像211及第二影像212中越接近影像擷取單元21的障礙物，視差的情況會越明顯，相反的，越遠離影像擷取單元21的障礙物，視差的情況則越不明顯。在本較佳實施例中，該交通載具11移動方向前方的障礙物是一位于交通載具11左側的高墻31、一位于交通載具11左前方的機車32及一位于交通載具11右前方的大客車33。參閱圖1、2，該存儲單元22儲存如圖3所示的該第一影像211、該第二影像212及一與檢測可行駛空間相關并供該處理單元23執(zhí)行的檢測程序，另外也可以暫時性地儲存檢測程序所需的影像文件及計算數據，以供該檢測程序存取。在本較佳實施例中，該存儲單兀22為一存儲器(Memory)模塊。該處理單元23電連接這些影像擷取單元21及該存儲單元22，在本較佳實施例中，該處理單元23為一包括一中央處理器的主機板模塊。該檢測系統(tǒng)的存儲單元22及處理單元23并不限于由一車用電腦(Car PC)實施，也可以制作成一專用的獨立芯片或獨立主機板整合于車輛的電子控制系統(tǒng)中。該檢測單元24電連接該處理單元23，該檢測單元24在本較佳實施例中連線該交通載具11的一方向燈模塊和一車速模塊(均圖未不)，該方向燈模塊可依據左一方向燈及一右方向燈的開啟狀況，產生一包括相對應的一左轉信號及一右轉信號的轉向信息，而該車速模塊則依據目前車速，產生一車速信息，如時速60公里。該轉向信息及車速信息都會傳送至該檢測單元24，而該檢測單元24將多個對應該轉向信息及車速信息的檢測信號傳送至該處理單元23。必須注意的是，該包括左轉信號及右轉信號的轉向信息并不限于由上述方向燈模塊提供，也可以是由一方向盤提供，當方向盤以逆時針及順時針轉動一特定角度，則產生對應的轉向信息。該播放單元25電連接該處理單元23，該播放單元25在本較佳實施例中設于該交通載具11的儀表板，并為一包括一喇叭的液晶顯示屏幕，提供駕駛者關于行駛中的相關圖
像化信息及聲音警示。上述的這些影像擷取單元21、該存儲單元22、該處理單元23、該檢測單元24,及該播放單元25協(xié)同配合執(zhí)行可行駛空間的檢測，該檢測程序使該處理單元23執(zhí)行的步驟容后說明。參閱圖2、3，本發(fā)明的可行駛空間的檢測方法運作于上述檢測系統(tǒng)，該檢測系統(tǒng)包含這些影像擷取單元21、該包括該檢測程序的存儲單元22、該執(zhí)行該檢測程序的處理單元23、該檢測單元24，及該播放單元25，該檢測方法包含下列步驟:參閱圖2、3、4，首先，如步驟401所示，這些影像擷取單元21記錄該第一影像211及該第二影像212于該存儲單元22。其中，該第一影像211及第二影像212因為上述的視差，可以做為產生立體影像并分析距離的素材。接著，如步驟402所示，該處理單元23執(zhí)行一立體影像重建運算，利用該第一影像211及第二影像212制作出一呈現景物中障礙物距離的第三影像。該立體影像重建運算在本較佳實施例中，是將該第一影像211及該第二影像212利用一特征點匹配法轉換為一包括多個像素的第三影像，而每一像素具有一視差值(Disparity)。所謂特征點匹配法，是指在該第一影像211及該第二影像212中找出多個相同的特征點(如機車32)，再依據這些特征點確認第三影像中每一像素的視差值。該第三影像中，其解析度與該第一影像211與該第二影像212相同，影像的欄與列分別是640像素及480像素，但是第三影像中是以16色灰階顯示每一像素的視差值，該第三影像中某一像素的灰度越深，代表視差程度越小，也指出了該像素較遠離這些影像擷取單元21，相反地，該第三影像中某一像素灰度越淡，代表視差程度越高，也指出了該像素較靠近這些影像擷取單元21，每一像素集合所構成且視差值(灰度)接近的區(qū)塊在本較佳實施例中可能是機車32、大客車33及天空34等。因此該第二影像實質上是一個包括影像的欄、影像的列及視差值二種/[目息構成的二維座標影像。在計算機圖學的領域，該第三影像的產生并不限于采用特征點匹配法，也可以采用別種演算法取得上述的第二影像。參閱圖2、4，再者，如步驟403所示，該處理單元23依據該第三影像中同一列的所有像素，及這些像素的視差值計算出一道路函數。在本較佳實施例中，計算該道路函數的方法是由該處理單元23設定一組二維座標，其中橫軸座標設定為該第三影像的視差值，縱軸座標設定為該第三影像的列，將每一像素依據其所屬的“列”及“視差值”分別填入上述二維座標的縱軸與橫軸中，取得一由這些像素所構成的不規(guī)則曲線，再利用一曲線擬合的數學方法計算出一最接近上述不規(guī)則曲線的最佳曲線以找出每一像素的“列”及“視差值”的關系，而代表上述關系的公式就稱為該道路函數，而該道路函數是:第三影像的列=(視差值X道路常數A) +道路常數B在本較佳實施例中，該道路常數A為0.6173，該道路常數B為246.0254。
然后，如步驟404所示，該處理單元23將該第三影像依據上述的道路函數進行轉換，目的是為了求得第三影像的列與視差值的轉換關系，以利后續(xù)運算。原本的第三影像的縱軸是該第三影像的列，而橫軸是該第三影像的欄，該處理單元23利用該道路函數將第三影像的列轉換為相對應的視差值，而橫軸則維持是欄，原第三影像的像素則依據新的座標系統(tǒng)重新排列產生一距離信息。參閱圖2、4、5，接著，如步驟405所示，該處理單元23對上述距離信息執(zhí)行一占有格(Occupancy Grid)轉換以計算出一包括多個格的距離陣列5,實質上降低距離信息的數據量，增加該處理單元23的運算效率，達到即時處理的效果。所謂的占有格轉換，是把原本較高精度的二維數據，轉換成以一組較低精度的二維的格狀陣列來表現。以本較佳實施例來說，該距離信息的欄是640像素(對應原本第三影像的欄)，而縱軸的視差值是16階，總共為10240組「欄的視差值」。假設該距離陣列5每一格51所設定的寬度是40像素、高度是I階視差值，則距離陣列5的橫軸是16格，而高度也是16格，總共為256組「欄的視差值」，大幅減少的數據量有助于減輕該處理單元23的運算負荷。必須注意的是，上述占有格轉換的目的在于減少待處理的數據量，但是并不限于上述方法。取得距離陣列5的意義可以視為如圖1所示的交通載具11前方空間的俯視圖，由于交通載具11前方的障礙物越接近該交通載具11，則對應該障礙物的像素的視差值越大，相反的，越遠離該交通載具11，則對應該障礙物的像素值越小，甚至趨近于O。在距離陣列5中標示“ X ”的格代表某一欄中，像素的視差值大部分聚集在此，也就是說該欄中有某個障礙物位于特定的距離。參閱圖2、3、5接著，如步驟406所示，為了更進一步減少該處理單元實際的運算負荷，該處理單元23依據該檢測單元24的檢測信號處理在該距離陣列5中對應如圖6所示的多個檢測區(qū)域61、62、63的數據。在本較佳實施例中，這些檢測信號依據前述的速度信息是否高于一預設速度，如30公里，及轉向信息而改變。這些檢測信號如表I所示:表I
權利要求
1.一種可行駛空間的檢測系統(tǒng)，安裝于一交通載具上并朝向該交通載具的移動方向，其特征在于該檢測系統(tǒng)包含: 二影像擷取單元，所述影像擷取單元相間隔地設置于該交通載具上，并朝向該交通載具前進的方向以記錄一第一影像及一第二影像； 一處理單元，電連接所述影像擷取單元；及 一存儲單元，電連接該處理單元，并儲存該第一影像、該第二影像及一與檢測可行駛空間相關并供該處理單元執(zhí)行的檢測程序，所述影像擷取單元、該處理單元及該存儲單元協(xié)同配合執(zhí)行可行駛空間的檢測；其中 該檢測程序使該處理單元進行以下步驟: 執(zhí)行一立體影像重建運算，轉換該第一影像及第二影像為一包括多個像素的第三影像，各該像素具有一視差值， 依據一道路函數將該第三影像轉換為一包括多個格的距離陣列， 執(zhí)行一成本函數，以一障礙物項及一道路平面項估算多個對應所述格的障礙值，其中該障礙物項及該道路平面項是依據該距離陣列的各欄的視差值而得， 執(zhí)行一最佳化邊界估算函數，以計算出一平滑度值，以及 依據該平滑度值執(zhí)行一最佳化演算法，以計算出多個最佳可行駛空間邊界值。
2.根據權利要求1所述的可行駛空間的檢測系統(tǒng)，其特征在于:該檢測系統(tǒng)還包含一電連接該處理單元，并輸出多個檢測信號的檢測單元，而該距離陣列的所述格屬于多個檢測區(qū)域，該處理單元依據所述檢測信號決定處理該距離陣列的其中一檢測區(qū)域。
3.根據權利要求1所述的可行駛空間的檢測系統(tǒng)，其特征在于:該處理單元將該第三影像轉換為該距離陣列時，是將該第三影像的縱座標軸由列轉換為該視差值，再執(zhí)行一占有格轉換。
4.根據權利要求1所述的可行駛空間的檢測系統(tǒng)，其特征在于:該成本函數是各該障礙值=一障礙物項權重常數X該障礙物項+ —道路平面項權重常數X該道路平面項。
5.根據權利要求1所述的可行駛空間的檢測系統(tǒng)，其特征在于:該處理單元執(zhí)行該最佳化邊界估算函數前，還執(zhí)行一初始邊界估算函數，利用所述障礙值計算出多個對應該距離陣列的欄的初始可行駛空間邊界值，用于計算出該平滑度值。
6.一種可行駛空間的檢測方法，運作于一包括二相間隔的影像擷取單元、一存儲單元及一處理單元的檢測系統(tǒng)，其特征在于該檢測方法包含下列步驟: (a)該二影像擷取單元記錄一第一影像及一第二影像于該存儲單元； (b)該處理單元執(zhí)行一立體影像重建運算，將該第一影像及第二影像轉換為一包括多個像素的第三影像，各該像素具有一視差值； (C)該處理單元依據一道路函數將該第三影像轉換為一包括多個格的距離陣列； (d)該處理單元執(zhí)行一成本函數，以一障礙物項及一道路平面項估算多個對應所述格的障礙值，其中該障礙物項及該道路平面項是依據該距離陣列的各欄的視差值而得； (e)該處理單元執(zhí)行一最佳化邊界估算函數，以計算出一平滑度值；及 (f)依據該平滑度值執(zhí)行一最佳化演算法，以計算出多個最佳可行駛空間邊界值。
7.根據權利要求6所述的可行駛空間的檢測方法，其特征在于:在該(c)步驟及(d)步驟間，還包含一步驟(g)，該處理單元依據一檢測單元的多個檢測信號，該處理單元依據所述檢測信號決定處理該距離陣列的多個檢測區(qū)域的其中之一。
8.根據權利要求6所述的可行駛空間的檢測系統(tǒng)，其特征在于:在該(c)步驟中，該處理單元將該第三影像的縱座標軸由列轉換為該視差值，再執(zhí)行一占有格轉換。
9.根據權利要求6所述的可行駛空間的檢測系統(tǒng)，其特征在于:在該(d)步驟中，該成本函數是各該障礙值=一障礙物項權重常數X該障礙物項+ —道路平面項權重常數X該道路平面項。
10.根據權利要求9所述的可行駛空間的檢測系統(tǒng)，其特征在于:在該(d)步驟及該(e)步驟中，還包含一步驟(h)，該處理單元執(zhí)行一初始邊界估算函數，利用所述障礙值計算出多個對應該距離陣列的欄的初始可行駛空間邊界值，而在該(e)步驟中，該處理單元利用所述初始可行駛空間邊界值計算出該平滑度值。
全文摘要
本發(fā)明是一種可行駛空間的檢測系統(tǒng)及其檢測方法，該檢測復方包含下列步驟首先，二影像擷取單元記錄一第一影像及一第二影像。接著，該處理單元執(zhí)行一立體影像重建運算，將該第一、二影像轉換為一包括多個像素的第三影像，各該像素具有一視差值。再者，該處理單元依據一道路函數將該第三影像轉換為一包括多個格的距離陣列。然后，該處理單元執(zhí)行一成本函數，以一障礙物項及一道路平面項估算多個對應這些格的障礙值，其中該障礙物項及該道路平面項是依據該距離陣列的各欄的視差值而得。接著，該處理單元執(zhí)行一最佳化邊界估算函數，以計算出多個最佳可行駛空間邊界值。
文檔編號G06K9/00GK103185571SQ20111045512
公開日2013年7月3日 申請日期2011年12月30日 優(yōu)先權日2011年12月30日
發(fā)明者陳育菘, 廖育升, 劉嘉修 申請人:財團法人車輛研究測試中心