相關(guān)申請的交叉引用

本發(fā)明要求提交于2015年11月20日的美國臨時申請第62/258,303號的權(quán)益。

技術(shù)領(lǐng)域總體上涉及物體檢測系統(tǒng)和方法，并且更具體地涉及在場景中估計一個或多個棒狀像素并且基于所估計的棒狀像素來檢測物體的物體檢測系統(tǒng)和方法。

背景技術(shù)：

各種系統(tǒng)處理數(shù)據(jù)以檢測靠近系統(tǒng)的物體。例如，一些車輛系統(tǒng)檢測靠近車輛的物體并且使用關(guān)于物體的信息來向駕駛員警告關(guān)于物體的情況和/或控制車輛。車輛系統(tǒng)基于放置在車輛周圍的傳感器來檢測物體。例如，多個相機被放置在車輛的后方、側(cè)方和/或前方，以便檢測物體。來自多個相機的圖像被用于基于立體視覺檢測物體。在車輛或任何系統(tǒng)中實現(xiàn)多個相機增加了總成本。

因此，期望提供基于單個相機檢測圖像中的物體的方法和系統(tǒng)。此外，結(jié)合附圖和前述技術(shù)領(lǐng)域和背景技術(shù)，從隨后的詳細描述和所附權(quán)利要求，本發(fā)明的其它期望特征和特性將變得明顯。

另外，本公開包括以下技術(shù)方案：

技術(shù)方案1：一種用于檢測物體的方法，包括：

由處理器接收來自圖像傳感器的圖像數(shù)據(jù)；

由處理器接收來自雷達系統(tǒng)的雷達數(shù)據(jù)；

由所述處理器使用深度學(xué)習方法處理來自所述圖像傳感器的所述圖像數(shù)據(jù)和來自所述雷達系統(tǒng)的所述雷達數(shù)據(jù)；和

由所述處理器基于所述處理來檢測物體。

技術(shù)方案2：根據(jù)技術(shù)方案1所述的方法，其中，所述處理包括處理所述圖像數(shù)據(jù)以確定一個或多個棒狀像素，并且其中所述深度學(xué)習方法使用所述一個或多個棒狀像素。

技術(shù)方案3：根據(jù)技術(shù)方案2所述的方法，其中，所述處理包括：

基于所述圖像數(shù)據(jù)形成圖像的感興趣區(qū)域（roi）窗口；和

使所述roi窗口從圖像位置的左側(cè)到所述圖像的右側(cè)運動到多個位置，以順序地確定在每個位置處棒狀像素的存在。

技術(shù)方案4：根據(jù)技術(shù)方案2所述的方法，其中，所述處理包括：

基于所述圖像數(shù)據(jù)形成感興趣區(qū)域（roi）窗口；

使用卷積神經(jīng)網(wǎng)絡(luò)確定所述roi窗口的中心線是否包括棒狀像素；和

當確定棒狀像素時報告可能性、位置、高度和類別標簽。

技術(shù)方案5：根據(jù)技術(shù)方案1所述的方法，其中，所述處理包括：

處理來自所述雷達系統(tǒng)的所述雷達數(shù)據(jù)以確定一個或多個存在向量，并且其中所述深度學(xué)習方法使用所述一個或多個存在向量。

技術(shù)方案6：根據(jù)技術(shù)方案1所述的方法，其中，所述處理包括使用所述深度學(xué)習方法融合所述圖像數(shù)據(jù)的棒狀像素和所述雷達數(shù)據(jù)的存在向量。

技術(shù)方案7：根據(jù)技術(shù)方案6所述的方法，還包括確定所述融合的棒狀像素和存在向量的每個的速度，并且其中，基于所述融合的棒狀像素和存在向量的每個的所述速度來進行所述物體的檢測。

技術(shù)方案8：根據(jù)技術(shù)方案7所述的方法，還包括確定所述融合的棒狀像素和存在向量的每個的位移，并且其中，基于所述融合的棒狀像素和存在向量的每個的所述位移來進行所述物體的檢測。

技術(shù)方案9：一種用于檢測物體的系統(tǒng)，包括：

圖像傳感器，其生成圖像數(shù)據(jù)；

雷達系統(tǒng)，其生成雷達數(shù)據(jù)；和

計算機模塊，其由處理器使用深度學(xué)習方法處理所述圖像數(shù)據(jù)和所述雷達數(shù)據(jù)，并且基于所述處理檢測物體。

技術(shù)方案10：根據(jù)技術(shù)方案9所述的系統(tǒng)，其中，所述計算機模塊處理所述圖像數(shù)據(jù)以確定一個或多個棒狀像素，并且其中，所述深度學(xué)習方法使用所述一個或多個棒狀像素。

技術(shù)方案11：根據(jù)技術(shù)方案10所述的系統(tǒng)，其中，所述計算機模塊基于所述圖像數(shù)據(jù)形成圖像的感興趣區(qū)域（roi）窗口；并且使所述roi窗口從圖像位置的左側(cè)到所述圖像的右側(cè)運動到多個位置，以順序地確定在每個位置處棒狀像素的存在。

技術(shù)方案12：根據(jù)技術(shù)方案10所述的系統(tǒng)，其中，所述計算機模塊基于所述圖像數(shù)據(jù)形成感興趣區(qū)域（roi）窗口，使用卷積神經(jīng)網(wǎng)絡(luò)確定所述roi窗口的中心線是否包括棒狀像素，并且當確定棒狀像素時報告可能性、位置、高度和類別標簽。

技術(shù)方案13：根據(jù)技術(shù)方案9所述的系統(tǒng)，其中，所述計算機模塊處理來自所述雷達系統(tǒng)的所述雷達數(shù)據(jù)以確定一個或多個存在向量，并且所述深度學(xué)習方法使用所述一個或多個存在向量。

技術(shù)方案14：根據(jù)技術(shù)方案9所述的系統(tǒng)，其中，所述計算機模塊使用所述深度學(xué)習方法融合所述圖像數(shù)據(jù)的棒狀像素和所述雷達數(shù)據(jù)的存在向量。

技術(shù)方案15：根據(jù)技術(shù)方案14所述的系統(tǒng)，其中，所述計算機模塊確定所述融合的棒狀像素和存在向量的每個的速度，并且基于所述融合的棒狀像素和存在向量的每個的所述速度來檢測所述物體。

技術(shù)方案16：根據(jù)技術(shù)方案15所述的系統(tǒng)，其中，所述計算機模塊確定所述融合的棒狀像素和存在向量的每個的位移，并且基于所述融合的棒狀像素和存在向量的每個的所述位移來檢測所述物體。

技術(shù)方案17：根據(jù)技術(shù)方案9所述的系統(tǒng)，其中，所述圖像傳感器和所述雷達系統(tǒng)與車輛相關(guān)聯(lián)，并且其中，所述控制模塊檢測在所述車輛附近的物體。

技術(shù)實現(xiàn)要素：

提供用于檢測物體的方法和系統(tǒng)。在一個實施例中，一種方法包括：由處理器接收來自圖像傳感器的圖像數(shù)據(jù)；由處理器接收來自雷達系統(tǒng)的雷達數(shù)據(jù)；由處理器利用深度學(xué)習方法處理來自圖像傳感器的圖像數(shù)據(jù)和來自雷達系統(tǒng)的雷達數(shù)據(jù)；由處理器基于處理檢測物體。

附圖說明

下文將結(jié)合以下附圖描述示例性實施例，其中同樣數(shù)字指代同的元件，并且附圖中：

圖1是包括根據(jù)各種實施例的物體檢測系統(tǒng)的車輛的圖示；

圖2是圖示可以由根據(jù)各種實施例的物體檢測系統(tǒng)執(zhí)行的物體檢測方法的流程圖；以及

圖3-6是根據(jù)各種實施例的圖像場景和處理方法的圖示。

具體實施方式

以下詳細說明本質(zhì)上僅為示例性的且不旨在限制應(yīng)用及用途。此外，并不旨在受到呈現(xiàn)在前述技術(shù)領(lǐng)域、背景技術(shù)、發(fā)明內(nèi)容或以下詳細描述中的任何明確或隱含的理論限制。應(yīng)當理解，貫穿附圖，相應(yīng)的附圖標記表示同樣或相應(yīng)的零件和特征。如本文中所使用的，術(shù)語模塊指代專用集成電路（asic）、電子電路、執(zhí)行一個或多個軟件或固件程序的處理器（共享的、專用的，或成組的）和存儲器、組合邏輯電路，和/或提供上述功能的其它合適的部件。

現(xiàn)在參考圖1，車輛10被示出為包括根據(jù)各種實施例的物體檢測系統(tǒng)12。物體檢測系統(tǒng)12利用來自兩個或更多個不同傳感器（諸如，但不限于來自一個單目相機和一個雷達系統(tǒng)）的輸入來估計外部環(huán)境的棒狀像素（stixel）和自由空間表達。如可理解的，所示出和描述的物體檢測系統(tǒng)12可實施在各種系統(tǒng)中，包括非移動平臺或移動平臺，諸如但不限于汽車、卡車、公共汽車、摩托車、火車、海洋船只、航空器、旋翼飛行器、機器人、機器人平臺等。出于示例性目的，將在車輛10中實施物體檢測系統(tǒng)12的背景中討論本公開。盡管本文所示的附圖描繪在元件的某些布置的情況下的示例，但是額外的介入元件、裝置、特征或部件可以出現(xiàn)在實際實施例中。還應(yīng)當理解，圖1僅僅是說明性的且可以不按比例繪制。

在各種實施例中，物體檢測系統(tǒng)12包括與物體檢測模塊16相關(guān)聯(lián)的圖像傳感器14（例如，相機或其它圖像感測裝置）以及雷達系統(tǒng)15。圖像傳感器14可位于車輛10的內(nèi)側(cè)或外側(cè)的任何地方，包括但不限于，車輛10的前側(cè)、車輛10的左側(cè)、車輛10的右側(cè)，和車輛10的后側(cè)。如可理解的，多個圖像傳感器14可以實施在車輛10上，在車輛10的前側(cè)、車輛10的左側(cè)、車輛10的右側(cè)和車輛10的后側(cè)中的每一者或其組合上有一個。出于示例性目的，將在車輛10僅具有位于車輛10的前側(cè)的一個圖像傳感器14的背景中討論本公開。

圖像傳感器14感測與車輛10相關(guān)聯(lián)的區(qū)域，并基于此生成傳感器信號。在各種實施例中，傳感器信號包括圖像數(shù)據(jù)。當被設(shè)置時，圖像數(shù)據(jù)例如圖示車輛10的外側(cè)的場景。雷達系統(tǒng)15可位于車輛10的內(nèi)側(cè)或外側(cè)的任何位置，包括但不限于車輛10的前側(cè)、車輛10的左側(cè)、車輛10的右側(cè)以及車輛10的后側(cè)。如可理解的，多個雷達傳感器15可實施在車輛10上，在車輛10的前側(cè)、車輛10的左側(cè)、車輛10的右側(cè)和車輛10的后側(cè)中的每一者或其組合上有一個。出于示例性目的，將在車輛10僅具有位于車輛10的前側(cè)的一個雷達系統(tǒng)15的背景中討論本公開。

雷達系統(tǒng)15生成沿著一條或多條路徑的波信號，并接收從（多條）路徑反射的任何波信號。物體檢測模塊16接收來自圖像傳感器14和雷達系統(tǒng)15的信號，并處理該信號以檢測物體。物體檢測模塊16基于本公開的圖像處理方法和系統(tǒng)檢測物體。通常，物體檢測模塊16使用深度學(xué)習模型處理圖像數(shù)據(jù)以確定場景中的棒狀像素。該深度學(xué)習模型可包括，但不限于，神經(jīng)網(wǎng)絡(luò)（諸如卷積網(wǎng)絡(luò)）或其它深度學(xué)習模型（諸如深度信念網(wǎng)絡(luò)）?；诖罅繕颖緢D像數(shù)據(jù)預(yù)訓(xùn)練該深度學(xué)習模型。

在各種實施例中，物體檢測模塊16基于物體的檢測選擇性地生成信號。該信號由控制模塊18和/或警報模塊20接收，以選擇性地控制車輛10和/或警告駕駛員關(guān)于物體的情況和/或控制車輛10。

現(xiàn)在參考圖2，并繼續(xù)參考圖1，流程圖圖示物體檢測方法100，其可由根據(jù)各種實施例的圖1的物體檢測系統(tǒng)12執(zhí)行。如可理解的，根據(jù)本公開，方法100內(nèi)的操作順序不限于如圖2中圖示的順序執(zhí)行，而且可按照可適用并且根據(jù)本公開的一個或多個變化順序執(zhí)行。

如可進一步理解的，圖2的方法可被計劃成以預(yù)定的時間間隔在車輛10的操作期間運行，和/或可被計劃成基于預(yù)定事件運行。

在一個示例中，該方法可開始于105。在110處接收來自圖像傳感器14的圖像數(shù)據(jù)和來自雷達系統(tǒng)15的雷達數(shù)據(jù)。在120處處理圖像數(shù)據(jù)以確定棒狀像素數(shù)據(jù)。例如，如圖3和圖4所示，接收圖像數(shù)據(jù)，并且由其形成場景。形成感興趣區(qū)域（roi）窗口（即，從頂行到最下行未被車身遮擋的帶陰影的矩形（如圖3所示）），作為對卷積神經(jīng)網(wǎng)絡(luò)（cnn）的輸入層。cnn確定roi的中心線是否包含棒狀像素，并且報告可能性、位置（rv，rv）、高度h和棒狀像素所屬的種類標簽l。使roi窗口從圖像的左側(cè)移動到右側(cè)，以順序地針對每個roi窗口位置確定棒狀像素的存在。

標記的數(shù)據(jù)用于使用cnn訓(xùn)練棒狀像素檢測器，其將自動形成視覺特征映射。

返回參考圖2，在130處，物體檢測模塊16處理雷達數(shù)據(jù)以確定雷達存在向量。例如，如圖3和4中所示，所有的雷達點均投影于圖像平面上。該圖像平面被劃分成roi且roi被劃分成豎直片，其中每個豎直片均是棒狀像素候選。在片中確定雷達點的存在并且行索引被分配于存在向量中的對應(yīng)元素。（注意，對于不存在元素的默認值為零）。

返回參考圖2，在140處，所述物體檢測模塊16然后將雷達點與場景中的識別出的棒狀像素融合。例如，如圖3和4中所示，向傳統(tǒng)全連接層提供雷達存在向量和視覺特征映射，該全連接層最終輸出棒狀像素的存在可能性以及棒狀像素的位置（rv），高度（h），以及匹配的雷達點（d）。如圖5所示，棒狀像素被存儲在由列c表示的一維陣列中。假設(shè)相機是經(jīng)校準的，則xy-平面中的點p=(x,y)可以以圖像像素為單位被映射到圖象平面中的點q=(r,c)：q=h(p)，并且反之亦然p=h^-1(q)。每個棒狀像素具有以下屬性：

列（圖像）：c

行（圖像）：r

高度（圖像）：h

可從q=(r,c)和雷達二維位置pr推導(dǎo)出xy-平面中的二維位置p：

其中，是利用來自棒狀像素位置的信號的位置測量準確度，是利用來自雷達的信號的位置測量準確度；

雷達多普勒測量：d。

下標0和1指示在時間t0和t1下估計的來自相同的棒狀像素的屬性。時間間隔δt=t0-t1。

返回參考圖2，在150處，物體檢測模塊隨后針對每個像素確定xy-平面中的2d速度：。例如，如圖5和圖6中圖示的，在不喪失一般性的情況下，c1、c0分別表示在時間t1和t0處來自物體的相同棒狀像素。棒狀像素運動估計被公式化為運動m（在圖像列中）到棒狀像素c1的分配，使得c1=c0+m。給定相對于先前時間幀的棒狀像素c0的棒狀像素c1和運動分配m，棒狀像素c1的二維速度(v1(c1))是以下二次表達式的最小值：

和

其中函數(shù)h(v1,p1(c1))將xy-平面中的位置p1(c1)處的二維速度映射到圖像平面，并且光流矢量：

其中是雷達多普勒準確度，并且是針對以像素為單位的棒狀像素的光流準確度。因此，所估計的二維速度是運動分配m的函數(shù)，被寫作v1(c1,m)。

返回參考圖2，在160和170處，物體檢測模塊16然后經(jīng)由標準動態(tài)規(guī)劃最小化估計像素m*(c1)中的最佳列位移，并且基于所估計的位移來確定物體。例如，讓c1成為在輸入幀上包含有效棒狀像素的所有列的集合。最小化問題將解決：

動態(tài)規(guī)劃以兩個階段執(zhí)行。形成動態(tài)規(guī)劃矩陣d，且列是棒狀像素的所有符合條件位置（即，c1）并且行是所有符合條件運動（即，對于c1c1，m(c1)）。

為了簡化符號，對于以下動態(tài)編程矩陣d計算，忽略當前棒狀像素c1中的下標。

在第一次通過中，如以下給出的那樣遞歸地（從右至左）計算d(c,m)：

其中cmax是c1中最右側(cè)的棒狀像素。

否則用于所有mm(c)和cc1。為了簡化，注意到c標記在時間幀t1中列c處的棒狀像素?？捎迷诘诙A段中回溯（從左至右）推出棒狀像素運動估計m(c)：

在各種實施例中，棒狀像素c1和棒狀像素c1的匹配成本可是：

其中hi(c)是幀ti上的列c處的棒狀像素的高度，以米為單位；a、b和γ是縮放參數(shù)；di(c)是在幀ti上的列c處的棒狀像素在xy-平面中的多普勒測量。集合m(c1)包括相對于先前時間幀的棒狀像素c1的所有符合條件列位移。其取決于棒狀像素的位置和捕獲圖像的幀速率。例如，對于附近的棒狀像素，其對應(yīng)的|m(c1)|趨于更大，并且隨著其運動遠離圖像傳感器14而減小。成本cnull是針對無效運動的默認成本值，其被設(shè)定為上述等式中的最大可能成本值。sad（c1，m）是在t1處棒狀像素c1和t0處的棒狀像素c0=c1?m之間的rgb顏色通道上的絕對差異的像素的求和。

在各種實施例中，相鄰棒狀像素可或者對應(yīng)于相同的物體，或者對應(yīng)于單獨的物體。如果棒狀像素對應(yīng)于相同的物體，則它們應(yīng)當具有相同的運動：

reg(m(c1),m(c1+1))=ks|m(c1)?m(c1+1)|。

縮放因子ks取決于相鄰棒狀像素（即，c1和c1+1）屬于同一物體的可能性。如果棒狀像素c1和c1+1屬于相同物體，則ks應(yīng)當是大的，同時，如果它們屬于不同的物體，則ks將是小的。

在各種實施例中，場景中的物體可相對于相機具有不同取向。取決于物體取向，相同物體的不同部分可能具有不同的深度值。但是，在物體的小鄰域中存在深度的空間連續(xù)性。因此，可假設(shè)小鄰域內(nèi)的相鄰棒狀像素具有相似的深度值。

具有類似深度值的小鄰域中的棒狀像素可仍然屬于不同的物體（例如，在行人緊鄰?fù)７诺能囕v站立的場景中的行人對車輛）。對于這種情況，語義標簽（例如，行人、車輛等）是用于相對于不同物體的單獨棒狀像素的信息暗示。

對于汽車應(yīng)用場景，雷達多普勒測量是將棒狀像素分割成物體的另一弱暗示。

因此，縮放因子的設(shè)計可是

其中

并且x1(c1)表示棒狀像素c1在xy-平面中的x坐標，函數(shù)

?x和?d是針對對應(yīng)于相同物體的相鄰棒狀像素的深度和多普勒的最大可能差異。

在一個實施例中，提供αx=0.1、αl=0.5、αd=0.2、?x=3、?d=2，并且與在匹配成本函數(shù)中的縮放參數(shù)a、b和γ那樣相似地將kx,kl,andkd歸一化。

在各種實施例中，對于汽車場景，棒狀像素的運動是平滑的。因此，除了空間約束之外，可針對棒狀像素c1添加以下時間約束以確保運動的平滑性：

其中v1(c1,m)是對棒狀像素的運動分配m的給定假設(shè)的二維速度估計，并且kt是重量縮放因子。

雖然在前述詳細描述中已經(jīng)呈現(xiàn)了至少一個示例性實施例，但是應(yīng)當理解，存在大量的變型。還應(yīng)當理解的是，一個或多個示例性實施例僅僅是示例，并且不旨在以任何方式限制本公開的范圍，適用性或構(gòu)造。相反，前述詳細描述將為本領(lǐng)域技術(shù)人員提供用于實施一個或多個示例性實施例的方便的路線圖。應(yīng)當理解，在不偏離如所附權(quán)利要求及其法律等同物所闡述的本公開的范圍的情況下，可以對元件的功能和布置做出各種改變。