相關(guān)申請案的交叉參考

本申請案主張2016年1月5日提出申請的第201641000375號印度臨時(shí)專利申請案的權(quán)益，所述臨時(shí)專利申請案以全文引用的方式并入本文中。

本發(fā)明的實(shí)施例一般來說涉及計(jì)算機(jī)視覺系統(tǒng)，且更具體來說涉及計(jì)算機(jī)視覺系統(tǒng)中的地平面估計(jì)。

背景技術(shù)：

一類新型嵌入式安全系統(tǒng)(稱為先進(jìn)駕駛員輔助系統(tǒng)(adas))已引入到汽車中以減少人為操作失誤。此類系統(tǒng)可提供例如面向后面景物的攝像機(jī)、電子穩(wěn)定性控制及基于視覺的行人檢測系統(tǒng)等功能性。這些系統(tǒng)中的許多系統(tǒng)使用單目攝像機(jī)且依賴于計(jì)算機(jī)視覺處理來檢測一或多個(gè)攝像機(jī)的視野中的物件。在此類系統(tǒng)中，為了實(shí)現(xiàn)從由單目攝像機(jī)捕獲的二維圖像理解三維環(huán)境，從運(yùn)動求得結(jié)構(gòu)(sfm)處理是關(guān)鍵操作。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的實(shí)施例涉及計(jì)算機(jī)視覺系統(tǒng)中的地平面估計(jì)。在一個(gè)方面中，提供一種在計(jì)算機(jī)視覺系統(tǒng)中用于三維(3d)點(diǎn)云中的地平面估計(jì)的方法，所述方法包含：接收基于由單目攝像機(jī)捕獲的多個(gè)2d幀而產(chǎn)生的3d點(diǎn)云；基于所述3d點(diǎn)云中的地平面的所估計(jì)高度而確定所述3d點(diǎn)云的距離閾值；及通過執(zhí)行以下步驟預(yù)定迭代次數(shù)而估計(jì)所述3d點(diǎn)云的所述地平面：從所述3d點(diǎn)云中的三個(gè)隨機(jī)選擇的非共線3d點(diǎn)識別所述3d點(diǎn)云中的隨機(jī)平面，其中所述隨機(jī)平面的傾斜度滿足預(yù)定縱傾及側(cè)傾約束；計(jì)算所述隨機(jī)平面的成本函數(shù)，其中所述成本函數(shù)基于所述隨機(jī)平面的內(nèi)點(diǎn)(inlier)的數(shù)目及位于所述隨機(jī)平面下方的3d點(diǎn)的數(shù)目，其中使用所述距離閾值來確定所述3d點(diǎn)云中的3d點(diǎn)是否為內(nèi)點(diǎn)；及如果所述成本函數(shù)比先前所識別隨機(jī)平面的先前所計(jì)算成本函數(shù)更佳，那么將所述成本函數(shù)保存為最佳成本函數(shù)。

在一個(gè)方面中，提供一種計(jì)算機(jī)視覺系統(tǒng)，其包含經(jīng)配置以捕獲場景的多個(gè)二維(2d)幀的單目攝像機(jī)及經(jīng)配置以接收基于所述多個(gè)2d幀而產(chǎn)生的三維(3d)點(diǎn)云的處理器。所述處理器經(jīng)配置以基于所述3d點(diǎn)云中的地平面的所估計(jì)高度而確定所述3d點(diǎn)云的距離閾值；及通過執(zhí)行以下步驟預(yù)定迭代次數(shù)而估計(jì)所述3d點(diǎn)云的所述地平面：從所述3d點(diǎn)云中的三個(gè)隨機(jī)選擇的非共線3d點(diǎn)識別所述3d點(diǎn)云中的隨機(jī)平面，其中所述隨機(jī)平面的傾斜度滿足預(yù)定縱傾及側(cè)傾約束；計(jì)算所述隨機(jī)平面的成本函數(shù)，其中所述成本函數(shù)基于所述隨機(jī)平面的內(nèi)點(diǎn)的數(shù)目及位于所述隨機(jī)平面下方的3d點(diǎn)的數(shù)目，其中使用所述距離閾值來確定所述3d點(diǎn)云中的3d點(diǎn)是否為內(nèi)點(diǎn)；及如果所述成本函數(shù)比先前所識別隨機(jī)平面的先前所計(jì)算成本函數(shù)更佳，那么將所述成本函數(shù)保存為最佳成本函數(shù)。

附圖說明

現(xiàn)在將僅以實(shí)例方式且參考附圖描述特定實(shí)施例，在附圖中：

圖1是用于估計(jì)三維(3d)點(diǎn)云中的地平面的方法的流程圖；

圖2是圖解說明攝像機(jī)的縱傾及側(cè)傾的方向的實(shí)例；

圖3是圖解說明3d點(diǎn)的軸規(guī)定的實(shí)例；

圖4及圖5是圖解說明3d點(diǎn)云的修剪的實(shí)例；

圖6及圖7是圖解說明經(jīng)修改成本函數(shù)的使用的實(shí)例；

圖8是圖解說明圖像的梯形區(qū)域的實(shí)例；

圖9是用于估計(jì)3d點(diǎn)云的地平面的方法的流程圖；

圖10是圖解說明確定具有未知縮放比例的3d點(diǎn)云的距離閾值的實(shí)例；及

圖11是經(jīng)配置以用于基于單目攝像機(jī)的汽車安全應(yīng)用中的實(shí)例性多處理器芯片上系統(tǒng)(soc)的高級框圖。

具體實(shí)施方式

現(xiàn)在將參考附圖詳細(xì)描述本發(fā)明的具體實(shí)施例。為了一致性，各圖中的相似元件由相似參考編號表示。

如先前所提及，從運(yùn)動求得結(jié)構(gòu)(sfm)處理是在許多基于攝像機(jī)的嵌入式安全系統(tǒng)中執(zhí)行的計(jì)算機(jī)視覺處理中的關(guān)鍵操作。在由單目攝像機(jī)捕獲的幀的實(shí)時(shí)sfm處理中，sfm重構(gòu)流水線跨越順序幀檢測并跟蹤關(guān)注點(diǎn)的二維(2d)位置，從而以對應(yīng)于所述關(guān)注點(diǎn)的軌的形式存儲所述2d位置。針對在流水線中處理的每一幀，基于幀內(nèi)容而更新軌，且對所得軌中的每一者執(zhí)行三角測量以產(chǎn)生一組三維(3d)點(diǎn)(本文中可稱為3d點(diǎn)云)。

sfm的目標(biāo)是恢復(fù)攝像機(jī)的視野(fov)中的三維(3d)環(huán)境。更具體來說，在汽車應(yīng)用中，sfm的一個(gè)目標(biāo)是確定fov中的物件距車輛的距離。僅使用圖像的sfm可僅按照無法從圖像確定的縮放比例因數(shù)而重構(gòu)3d環(huán)境。在無此縮放比例因數(shù)的情況下，無法可靠地確定物件距離。

存在用于計(jì)算此未知縮放比例因數(shù)的數(shù)種已知技術(shù)。一些此類技術(shù)使用例如慣性測量單元或速度計(jì)等外部傳感器。其它此類技術(shù)使用攝像機(jī)距地面的高度。為了基于攝像機(jī)的高度而確定縮放比例因數(shù)，需要兩種事物：1)攝像機(jī)距地面的高度，及2)呈經(jīng)按比例縮放3d點(diǎn)的形式的地平面。攝像機(jī)高度(還稱為地面高度)是從攝像機(jī)中心到地平面的距離。在汽車應(yīng)用中，由于攝像機(jī)是安裝于車輛中的固定位置中，因此攝像機(jī)的高度很容易獲得。

本發(fā)明的實(shí)施例提供從3d點(diǎn)云估計(jì)地平面。然后，可使用所估計(jì)地平面及可用攝像機(jī)高度來確定3d點(diǎn)云的縮放比例且因此確定在場景中檢測的物件的距離。地平面估計(jì)基于眾所周知的隨機(jī)取樣一致性(ransac)算法。一般來說，當(dāng)不存在完全擬合數(shù)據(jù)點(diǎn)的單個(gè)模型且存在考慮到大量數(shù)據(jù)點(diǎn)的一個(gè)模型時(shí)，ransac算法使模型擬合數(shù)據(jù)點(diǎn)。當(dāng)3d點(diǎn)云包含位于地平面上的大量點(diǎn)的概率較高且還將存在位于地平面以上的點(diǎn)時(shí)，此算法很好地適于檢測地平面。

圖1是圖解說明使用ransac估計(jì)3d點(diǎn)云中的地平面的流程圖。在給出3d點(diǎn)云的情況下，在3d點(diǎn)云中識別100隨機(jī)平面?？赏ㄟ^在3d點(diǎn)云中選擇三個(gè)隨機(jī)非共線點(diǎn)且計(jì)算穿過所述三個(gè)點(diǎn)的平面的方程式而識別所述隨機(jī)平面。可做出檢查以確保所述三個(gè)隨機(jī)選擇的點(diǎn)不同于任何先前選擇的三個(gè)點(diǎn)的集合，且如果所述三個(gè)點(diǎn)匹配任何先前選擇的集合，那么重復(fù)所述選擇。

然后計(jì)算102所述平面的成本函數(shù)，即，確定所述3d點(diǎn)云中在所述平面上或附近的3d點(diǎn)的數(shù)目。這些點(diǎn)稱為“內(nèi)點(diǎn)”。因此，平面的成本函數(shù)簡單地為內(nèi)點(diǎn)的數(shù)目。另外，成本越高，即，內(nèi)點(diǎn)的數(shù)目越高，平面越好。確定3d點(diǎn)是否為內(nèi)點(diǎn)可通過以下方式做出：計(jì)算3d點(diǎn)距平面的距離，及將所述距離與距離閾值進(jìn)行比較。如果所述距離低于閾值，那么確定3d點(diǎn)為內(nèi)點(diǎn)。

然后將成本函數(shù)與當(dāng)前最佳成本函數(shù)進(jìn)行比較104以確定新成本函數(shù)是否更佳。如果當(dāng)前成本函數(shù)更佳，那么將所述成本函數(shù)保存106為最佳成本函數(shù)且將平面保存為最佳平面。重復(fù)步驟100到108某一預(yù)定迭代次數(shù)。一旦執(zhí)行了所有迭代，便將當(dāng)前最佳平面識別為地平面。可按照以下方程式確定迭代k的次數(shù)：

其中p是找出地平面的所要概率，w是內(nèi)點(diǎn)的數(shù)目除以3d點(diǎn)的總數(shù)目，且n是估計(jì)模型所需的點(diǎn)的數(shù)目。為了將平面模型化，n＝3。假設(shè)w＝0.125，那么使找出地平面達(dá)99％概率所需的迭代的最小數(shù)目為約2350。

對于一致地識別地平面，以上算法可能并非充分穩(wěn)健的，這是因?yàn)樗鏊惴▽㈦S機(jī)選擇的平面當(dāng)中的具有最大數(shù)目個(gè)內(nèi)點(diǎn)的任何隨機(jī)選擇的平面識別為地平面。換句話說，不存在所得平面即是地平面的確定性。本發(fā)明的實(shí)施例提供對所述算法的修改，所述修改考慮到存在于汽車環(huán)境中的環(huán)境約束以幫助確保使用經(jīng)修改算法選擇的平面為地平面。

在一些實(shí)施例中，用以幫助消除錯(cuò)誤地平面檢測的對ransac算法的一種修改是作為隨機(jī)平面選擇的一部分應(yīng)用縱傾及側(cè)傾約束以消除不屬于縱傾及側(cè)傾約束內(nèi)的任何隨機(jī)平面。圖2是圖解說明攝像機(jī)的縱傾及側(cè)傾的方向的實(shí)例。可在車輛在平坦表面上固定不動時(shí)在校準(zhǔn)期間確定攝像機(jī)的縱傾及側(cè)傾。這些測量形成縱傾及側(cè)傾的基本測量(即，baseroll及basepitch)，可從所述基本測量確定當(dāng)車輛正在移動時(shí)的變化。當(dāng)攝像機(jī)的軸將幾乎平行于地平面時(shí)，這些測量均將不大。此外，當(dāng)車輛正在移動時(shí)，其通常在幾乎平坦表面上，因此地平面的傾斜度將為低的。

當(dāng)車輛正在移動時(shí)，實(shí)際側(cè)傾及縱傾將變化，但在道路上的典型操作中，實(shí)際側(cè)傾及縱傾與基線側(cè)傾及縱傾之間的差將為小的。可使用側(cè)傾的變化范圍及縱傾的變化范圍來消除具有在這些范圍外的傾斜度的任何隨機(jī)選擇的平面。側(cè)傾范圍可界定為[baseroll-deltaroll,baseroll+deltaroll]，且縱傾范圍可界定為[basepitch-deltapitch,basepitch+deltapitch]。deltaroll及deltapitch的特定值可取決于實(shí)施方案且可為任何適合值。deltaroll及deltapitch的值可依據(jù)經(jīng)驗(yàn)確定。這些δ的典型值可在0.5到2.0度的范圍內(nèi)?？珊雎跃哂胁粚儆谶@些范圍內(nèi)的縱傾及側(cè)傾的任何隨機(jī)平面且選擇新隨機(jī)平面。

在一些實(shí)施例中，用以幫助消除錯(cuò)誤地平面檢測的對ransac算法的一種修改是修剪3d點(diǎn)云以消除很可能不是地平面的一部分的3d點(diǎn)。此修剪可基于攝像機(jī)的高度，即，可消除高于攝像機(jī)的高度的任何點(diǎn)，這是因?yàn)榇祟?d點(diǎn)不太可能位于地平面中。圖3是圖解說明3d點(diǎn)的軸規(guī)定的實(shí)例。使用其中x軸在右邊、y軸向下且z軸沿移動方向(即，車輛正沿其移動的方向)的右手規(guī)則。原點(diǎn)是攝像機(jī)中心。注意，3d點(diǎn)的y坐標(biāo)隨高度減小而增加。鑒于當(dāng)車輛正在移動時(shí)攝像機(jī)縱傾不大，地平面中的3d點(diǎn)將具有比3d點(diǎn)云中的其它3d點(diǎn)(例如，對應(yīng)于樹或建筑物的3d點(diǎn))大的y坐標(biāo)。

替代考慮3d點(diǎn)云中的所有3d點(diǎn)，按y坐標(biāo)值將3d點(diǎn)從最高到最低分類，且處理最高類的3d點(diǎn)的t％以確定地平面。t的值取決于實(shí)施方案且可為可依據(jù)經(jīng)驗(yàn)確定的任何適合值。舉例來說，如果使用sfm來重構(gòu)全fov，那么t的值可在45％到55％的范圍內(nèi)。如果sfm使用并不橫跨整個(gè)fov的預(yù)計(jì)算關(guān)注區(qū)(roi)，那么t的值可不同。圖4及5是圖解說明在假設(shè)全fov的sfm且t＝50的情況下此修剪的效果的實(shí)例。圖4展示在無修剪的情況下投影到圖像上的經(jīng)重構(gòu)3d點(diǎn)云，且圖5展示投影到圖像上的經(jīng)修剪3d點(diǎn)云。圖5展示僅低于攝像機(jī)的3d點(diǎn)保留于經(jīng)修剪3d云中。

此修剪減小計(jì)算的復(fù)雜性，這是因?yàn)檎页龅仄矫娴母怕嗜Q于迭代的次數(shù)。如先前所描述，針對給定概率，實(shí)現(xiàn)所述概率所需的迭代的次數(shù)可為預(yù)定的。如果3d點(diǎn)的數(shù)目減少(例如)50％，那么迭代的次數(shù)可減少。舉例來說，為了實(shí)現(xiàn)找出地平面的99％概率，如果t＝50，那么w可增加到0.25，因此將迭代的次數(shù)減少到約300。

在一些實(shí)施例中，用以幫助消除錯(cuò)誤地平面檢測的對ransac算法的一種修改是改變成本函數(shù)以更佳地將地平面模型化。對于類屬平面擬合，使用內(nèi)點(diǎn)的數(shù)目作為成本函數(shù)來找出最佳方案是一個(gè)好的選擇。然而，實(shí)驗(yàn)表明在許多實(shí)例中通過ransac選擇的最佳平面并非地平面。這是由于相對稀疏點(diǎn)云使得地平面并非最密集平面(即，具有最多內(nèi)點(diǎn)的平面)導(dǎo)致。在許多情形中，地面以上某一距離處的平面被不正確地選擇為地平面。

為了更佳地將地平面模型化，將成本函數(shù)改變?yōu)檫€考慮到平面下方的3d點(diǎn)的數(shù)目。即，平面的成本函數(shù)是內(nèi)點(diǎn)的數(shù)目減3d點(diǎn)云中在所述平面下方的3d點(diǎn)的數(shù)目。經(jīng)修改成本函數(shù)確保被選擇為地平面的平面具有低高度(即，很少點(diǎn)在其下方)且因此更可能位于地面上。圖6及7是圖解說明使用經(jīng)修改成本函數(shù)的效果的實(shí)例。在圖6中，使用先前成本函數(shù)導(dǎo)致檢測到在真實(shí)地平面以上的所圖解說明地平面。在圖7中，使用經(jīng)修改成本函數(shù)導(dǎo)致檢測到較接近于真實(shí)地平面的所圖解說明地平面。

在一些實(shí)施例中，用以幫助消除錯(cuò)誤地平面檢測的對ransac算法的一種修改是進(jìn)一步修改成本函數(shù)以對內(nèi)點(diǎn)中的一些內(nèi)點(diǎn)賦予較大權(quán)重。此修改基于圖像的一些部分比其它部分更可能位于地面上的觀察。舉例來說，圖像的直接位于車輛前面的區(qū)比圖像的其它區(qū)更可能為地平面的一部分。因此，可使此類區(qū)在地平面決策中具有更大影響。

將被賦予更大權(quán)重的內(nèi)點(diǎn)是位于用于產(chǎn)生3d點(diǎn)云的圖像(幀)的梯形區(qū)域中的那些3d點(diǎn)，如圖8的實(shí)例中所圖解說明。在此實(shí)例中，軸上的標(biāo)記是作為圖像寬度及高度的分?jǐn)?shù)的2d坐標(biāo)。梯形區(qū)域的尺寸可依據(jù)經(jīng)驗(yàn)確定。由于從sfm處理已知3d點(diǎn)到2d圖像中的投影，因此可確定屬于此梯形區(qū)域內(nèi)的3d點(diǎn)。舉例來說，可使用對應(yīng)于3d點(diǎn)的軌的最后2d位置來確定3d點(diǎn)是否在梯形區(qū)域中。在添加加權(quán)因數(shù)w的情況下，平面的成本函數(shù)為(梯形外部的內(nèi)點(diǎn)的數(shù)目-梯形外部的在平面下方的點(diǎn)的數(shù)目)+w*(梯形內(nèi)部的內(nèi)點(diǎn)的數(shù)目-梯形內(nèi)部的在平面下方的點(diǎn)的數(shù)目)?？墒褂脀的任何適合值。w的值可依據(jù)經(jīng)驗(yàn)確定。

圖9是用于估計(jì)3d點(diǎn)云的地平面的方法的流程圖。所述方法基于ransac算法，但實(shí)施例包含先前所描述的修改中的一或多者。在給出3d點(diǎn)云的情況下，對3d點(diǎn)云進(jìn)行修剪900以移除不太可能為地平面的一部分的3d點(diǎn)。如本文中先前所描述，所述修剪可通過以下方式執(zhí)行：按y坐標(biāo)值將3d點(diǎn)分類，且保留經(jīng)分類3d點(diǎn)的前t％來處理以估計(jì)地平面。另外，確定將用于決定3d點(diǎn)是否為平面的內(nèi)點(diǎn)的距離閾值。下文參考圖10描述此距離閾值的確定。

在修剪之后，在經(jīng)修剪3d點(diǎn)云中識別902隨機(jī)平面?？赏ㄟ^在經(jīng)修剪3d點(diǎn)云中選擇三個(gè)非共線隨機(jī)點(diǎn)且計(jì)算穿過所述三個(gè)點(diǎn)的平面的方程式而識別所述隨機(jī)平面。盡管未具體展示，但可做出檢查以確保所述三個(gè)隨機(jī)選擇的點(diǎn)不同于任何先前選擇的三個(gè)點(diǎn)的集合，且如果所述三個(gè)點(diǎn)匹配任何先前選擇的集合，那么重復(fù)所述選擇。做出檢查以確定904隨機(jī)平面的傾斜度是否為可接受的(即，隨機(jī)平面的傾斜度在先前所描述的攝像機(jī)側(cè)傾及縱傾范圍內(nèi))。可通過計(jì)算平面的側(cè)傾及縱傾且檢查所計(jì)算側(cè)傾及縱傾是否在攝像機(jī)側(cè)傾及縱傾范圍內(nèi)而執(zhí)行此檢查。如果平面傾斜度是不可接受的904，那么從經(jīng)修剪3d點(diǎn)云識別902另一隨機(jī)平面。

如果平面傾斜度是可接受的904，那么計(jì)算906平面的成本函數(shù)。如本文中先前所描述，成本函數(shù)基于平面的內(nèi)點(diǎn)的數(shù)目?？赏ㄟ^計(jì)算3d點(diǎn)距平面的距離且將所述距離與針對3d點(diǎn)云確定的距離閾值進(jìn)行比較而做出3d點(diǎn)是否為內(nèi)點(diǎn)的確定。如果所述距離低于閾值，那么確定3d點(diǎn)為內(nèi)點(diǎn)。在一些實(shí)施例中，將成本函數(shù)計(jì)算為內(nèi)點(diǎn)的數(shù)目減經(jīng)修剪3d點(diǎn)云中在平面下方的3d點(diǎn)的數(shù)目，如本文中先前所描述。在一些實(shí)施例中，按照本文中先前所描述的經(jīng)加權(quán)成本函數(shù)計(jì)算所述成本函數(shù)。

然后將成本函數(shù)與當(dāng)前最佳成本函數(shù)進(jìn)行比較908以確定新成本函數(shù)是否更佳。如果當(dāng)前成本函數(shù)更佳，那么將所述成本函數(shù)保存910為最佳成本函數(shù)，將平面保存為最佳平面且保存平面的內(nèi)點(diǎn)。重復(fù)步驟902到912某一預(yù)定迭代次數(shù)。本文中先前描述迭代的次數(shù)的確定。一旦執(zhí)行了所有迭代，便將最小平方算法應(yīng)用914于最佳平面的內(nèi)點(diǎn)以確定地平面。

一旦估計(jì)了地平面，便可基于地平面及用于捕獲用于產(chǎn)生3d點(diǎn)云的幀的單目攝像機(jī)的高度來估計(jì)縮放比例。在給出3d場景的縮放比例的情況下，可以標(biāo)準(zhǔn)單位(例如，米、英里、英尺)估計(jì)物件的距離及位置。

注意，以上方法的功效取決于內(nèi)點(diǎn)的界定。如果已知3d點(diǎn)云的縮放比例，那么可計(jì)算云中的3d點(diǎn)與任一平面之間的距離，且可使用基于度量距離的閾值來決定點(diǎn)是否位于平面上。在sfm產(chǎn)生的點(diǎn)云中，縮放比例是未知量且已知點(diǎn)距平面的距離僅取決于縮放比例。在一些實(shí)施例中，基于地平面的所估計(jì)高度確定3d點(diǎn)云的距離閾值?？赏ㄟ^以下方式找出還稱為參考高度的此所估計(jì)高度：識別3d點(diǎn)云中可能位于地平面上的3d點(diǎn)，找出經(jīng)識別3d點(diǎn)中的每一者距地面的高度(已知其僅取決于縮放比例)，及將閾值計(jì)算為可能對應(yīng)于地平面上的3d點(diǎn)的高度(即，參考高度)的分?jǐn)?shù)。

圖10是圖解說明確定具有未知縮放比例的3d點(diǎn)云的距離閾值的實(shí)例。為找出計(jì)算距離閾值所需的參考高度，按y坐標(biāo)將3d點(diǎn)云中的3d點(diǎn)分類1000。注意，在其中執(zhí)行修剪的實(shí)施例中，可使用用于修剪的同一種分類來找出參考高度。如先前參考圖3所描述，3d點(diǎn)的y坐標(biāo)隨地面以上的高度增加而減小。位于經(jīng)分類3d點(diǎn)的90^th百分位處或接近于90^th百分位(假設(shè)分類是最低值到最高值)的3d點(diǎn)的y坐標(biāo)被選擇為參考高度。注意，不可總是將具有最大y坐標(biāo)的3d點(diǎn)假設(shè)為位于真實(shí)地平面上，這是因?yàn)樵趕fm重構(gòu)中可存在噪聲。選擇消除約10％的具有較高y坐標(biāo)的點(diǎn)的點(diǎn)補(bǔ)償sfm重構(gòu)中的任何噪聲的效應(yīng)。

為選擇特定百分位來用于選擇參考高度，可使用表示車輛將在其中操作的環(huán)境的具有已知縮放比例的3d點(diǎn)云進(jìn)行測試?？砂磞坐標(biāo)將點(diǎn)云中的3d點(diǎn)分類，且跨越3d點(diǎn)云檢查處于各種百分位的y坐標(biāo)以確定跨越3d點(diǎn)云何種百分位最接近地對應(yīng)于相應(yīng)地平面上(假設(shè)低縱傾及側(cè)傾)的y坐標(biāo)。

在給出參考高度(即，選定3d點(diǎn)的y坐標(biāo))的情況下，將所述距離閾值計(jì)算為y坐標(biāo)的值的分?jǐn)?shù)。所使用的特定分?jǐn)?shù)是目標(biāo)距離閾值除以已知攝像機(jī)高度。舉例來說，假設(shè)y坐標(biāo)為攝像機(jī)的高度。如果目標(biāo)距離閾值是10厘米且攝像機(jī)的已知高度是1.5米，那么閾值是攝像機(jī)高度的6.7％，即，10/150。因此，所述距離閾值可計(jì)算為參考高度的6.7％。目標(biāo)距離閾值可依據(jù)經(jīng)驗(yàn)確定。

圖11是經(jīng)配置以用于基于單目攝像機(jī)的adas中的實(shí)例性多處理器芯片上系統(tǒng)(soc)1100的高級框圖。特定來說，實(shí)例性soc1100是可從德州儀器公司(texasinstruments,inc.)購得的tda3xsoc的實(shí)施例。本文中提供對soc1100的組件的高級描述。實(shí)例性組件的更多詳細(xì)描述可在以下文件中找到：m.莫迪(m.mody)等人的“ti的tda3x平臺上的高性能前置攝像機(jī)adas應(yīng)用(highperformancefrontcameraadasapplicationsonti'stda3xplatform)”，2015年第22屆關(guān)于高性能計(jì)算的ieee國際會議的會議記錄，2015年12月16日到19日，印度，班加羅爾，第456頁到第463頁；及“用于先進(jìn)駕駛員輔助系統(tǒng)(adas)的tda3xsoc處理器技術(shù)摘要(tda3xsocprocessorsforadvanceddriverassistsystems(adas)technicalbrief)”，德州儀器，sprt704a，2014年10月，第1頁到第6頁，所述文件以引用的方式并入本文中。

soc1100包含經(jīng)由高速互連件1122耦合的雙通用處理器(gpp)1102、雙數(shù)字信號處理器(dsp)1104及視覺處理器1106。soc1100進(jìn)一步包含直接存儲器存取(dma)組件1108、耦合到單目攝像機(jī)1124的攝像機(jī)捕獲組件1110、顯示管理組件1114、芯片上隨機(jī)存取存儲器(ram)1116及各種輸入/輸出(i/o)外圍裝置1120，其全部經(jīng)由互連件1122耦合到所述處理器。另外，soc1100包含安全組件1118，安全組件1118包含用以使得能夠遵守汽車安全要求的安全相關(guān)功能性。此類功能性可包含支持?jǐn)?shù)據(jù)的crc(循環(huán)冗余校驗(yàn))、用于漂移檢測的時(shí)鐘比較器、錯(cuò)誤信令、窗口看門狗定時(shí)器及soc損壞及故障自測試。實(shí)施實(shí)時(shí)sfm以基于從單目攝像機(jī)1124捕獲的幀而產(chǎn)生3d點(diǎn)云且實(shí)施如本文中所描述地平面檢測的實(shí)施例以檢測3d點(diǎn)云中的地平面的軟件可存儲于存儲器1116中且可在soc1100的一或多個(gè)可編程處理器上執(zhí)行。

其它實(shí)施例

盡管已關(guān)于有限數(shù)目個(gè)實(shí)施例描述了本發(fā)明，但受益于本發(fā)明的所屬領(lǐng)域的技術(shù)人員將了解可構(gòu)想出不背離如本文中所揭示的本發(fā)明的范圍的其它實(shí)施例。

舉例來說，本文中已描述其中在搜索地平面之前修剪3d點(diǎn)云的實(shí)施例。所屬領(lǐng)域的技術(shù)人員將理解其中不修剪3d點(diǎn)云的實(shí)施例。

在另一實(shí)例中，本文中已描述其中針對每一3d點(diǎn)云確定距離閾值的實(shí)施例。所屬領(lǐng)域的技術(shù)人員將理解其中在3d點(diǎn)云的縮放比例可能被改變時(shí)確定距離閾值的實(shí)施例。

在另一實(shí)例中，本文中已描述其中將地平面估計(jì)實(shí)施為在多處理器soc中的處理器上執(zhí)行的軟件指令的實(shí)施例。所屬領(lǐng)域的技術(shù)人員將理解可將地平面估計(jì)實(shí)施為軟件、固件及硬件的任何適合組合。舉例來說，一些功能性可實(shí)施于一或多個(gè)硬件加速器、專用集成電路(asic)、現(xiàn)場可編程門陣列(fpga)等中。

在另一實(shí)例中，本文中已參考汽車安全系統(tǒng)描述各實(shí)施例。所屬領(lǐng)域的技術(shù)人員將理解用于具有類似環(huán)境約束的其它計(jì)算機(jī)視覺應(yīng)用(例如,舉例來說，工業(yè)應(yīng)用、機(jī)器人及消費(fèi)者應(yīng)用(例如真空清潔器))的實(shí)施例。

在本描述及權(quán)利要求書通篇中使用某些術(shù)語來指代特定系統(tǒng)組件。如所屬領(lǐng)域的技術(shù)人員將了解，系統(tǒng)中的組件可通過不同名稱來指代及/或可以本文中未展示的方式組合，此并不背離所描述的功能性。本文件不打算區(qū)分在名稱但非功能上不同的組件。在所述描述中且在權(quán)利要求書中，以開放式方式使用術(shù)語“包含”及“包括”，且因此其應(yīng)解釋為意指“包含但不限于…”。此外，術(shù)語“耦合”及其派生詞打算意指間接、直接、光學(xué)及/或無線電連接。因此，舉例來說，如果第一裝置耦合到第二裝置，那么所述連接可通過直接電連接、通過經(jīng)由其它裝置及連接的間接電連接、通過光學(xué)電連接及/或通過無線電連接進(jìn)行。

因此，預(yù)期所附權(quán)利要求書將涵蓋歸屬于本發(fā)明的真實(shí)范圍及精神內(nèi)的對所述實(shí)施例的任何此類修改。