本申請涉及輔助駕駛領(lǐng)域，且更具體地，涉及一種區(qū)域標注方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)。

背景技術(shù)：

近年來隨著交通工具(例如，車輛)產(chǎn)業(yè)的高速發(fā)展，交通事故已經(jīng)成為全球性的問題，全世界每年交通事故的死傷人數(shù)估計超過50萬人，因此集自動控制、人工智能、模式識別等技術(shù)于一體的輔助駕駛技術(shù)應(yīng)運而生。輔助駕駛技術(shù)能夠在用戶駕駛交通工具時向用戶提供必要的信息和/或警告，以避免產(chǎn)生碰撞、偏離軌跡等危險情況。在某些情況下，甚至可以使用輔助駕駛技術(shù)來自動地控制交通工具行進。

一直以來，可行駛區(qū)域檢測都是輔助駕駛技術(shù)中的關(guān)鍵部分之一。目前最常使用的是基于機器學(xué)習模型的檢測方式。為了保證機器學(xué)習模型的準確性，需要預(yù)先采用大量的行駛環(huán)境的圖像信息作為訓(xùn)練樣本來對該模型進行離線訓(xùn)練。由于在行駛環(huán)境中往往存在諸如交通工具、行人等各種障礙物，所以在離線訓(xùn)練之前需要在訓(xùn)練樣本中將這些障礙物區(qū)域標注出來，從而保留可供交通工具行駛的可行駛區(qū)域。目前，訓(xùn)練樣本中障礙物區(qū)域的標注主要依賴于用戶手工完成，也就是說，用戶需要在大量圖像信息中手動地找到各種障礙物個體，并對每個個體的大小、位置等進行標注。由于訓(xùn)練樣本庫一般需要達到幾十萬的規(guī)模，所以采用這種手動標注方式非常耗時，人力成本非常高，且不具擴展性。

因此，現(xiàn)有的區(qū)域標注技術(shù)是效率低下的。

技術(shù)實現(xiàn)要素：

為了解決上述技術(shù)問題，提出了本申請。本申請的實施例提供了一種區(qū)域標注方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)，其能夠自動地標注行駛環(huán)境中的障礙物區(qū)域。

根據(jù)本申請的一個方面，提供了一種區(qū)域標注方法，包括：在生成用于訓(xùn)練機器學(xué)習模型的訓(xùn)練樣本的過程中，獲取成像器件所采集的行駛環(huán)境的圖像信息；獲取與所述圖像信息在時間上同步的所述行駛環(huán)境的深度信息；以及根據(jù)所述深度信息在所述圖像信息中標注所述行駛環(huán)境中的障礙物區(qū)域。

根據(jù)本申請的另一方面，提供了一種區(qū)域標注裝置，包括：圖像獲取單元，用于在生成用于訓(xùn)練機器學(xué)習模型的訓(xùn)練樣本的過程中，獲取成像器件所采集的行駛環(huán)境的圖像信息；深度獲取單元，用于獲取與所述圖像信息在時間上同步的所述行駛環(huán)境的深度信息；以及障礙標注單元，用于根據(jù)所述深度信息在所述圖像信息中標注所述行駛環(huán)境中的障礙物區(qū)域。

根據(jù)本申請的另一方面，提供了一種電子設(shè)備，包括：處理器；存儲器；以及存儲在所述存儲器中的計算機程序指令，所述計算機程序指令在被所述處理器運行時使得所述處理器執(zhí)行上述的區(qū)域標注方法。

根據(jù)本申請的另一方面，提供了一種計算機程序產(chǎn)品，包括計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行上述的區(qū)域標注方法。

根據(jù)本申請的另一方面，提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行上述的區(qū)域標注方法。

與現(xiàn)有技術(shù)相比，采用根據(jù)本申請實施例的區(qū)域標注方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)，可以在生成用于訓(xùn)練機器學(xué)習模型的訓(xùn)練樣本的過程中，獲取成像器件所采集的行駛環(huán)境的圖像信息，獲取與所述圖像信息在時間上同步的所述行駛環(huán)境的深度信息，并且根據(jù)所述深度信息在所述圖像信息中標注所述行駛環(huán)境中的障礙物區(qū)域。因此，與如現(xiàn)有技術(shù)中對障礙物區(qū)域進行人工標注的情況相比，可以自動地標注行駛環(huán)境中的障礙物區(qū)域，提高了區(qū)域標注的效率。

附圖說明

通過結(jié)合附圖對本申請實施例進行更詳細的描述，本申請的上述以及其他目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本申請實施例的進一步理解，并且構(gòu)成說明書的一部分，與本申請實施例一起用于解釋本申請，并不構(gòu)成對本申請的限制。在附圖中，相同的參考標號通常代表相同部件或步驟。

圖1圖示了根據(jù)本申請實施例的成像器件所采集到的行駛環(huán)境的圖像信息的示意圖。

圖2圖示了根據(jù)本申請第一實施例的區(qū)域標注方法的流程圖。

圖3圖示了根據(jù)本申請實施例的獲取深度信息步驟的流程圖。

圖4圖示了根據(jù)本申請實施例的標注障礙物步驟的流程圖。

圖5圖示了根據(jù)本申請第二實施例的區(qū)域標注方法的流程圖。

圖6圖示了根據(jù)本申請實施例的標注可行駛區(qū)域步驟的流程圖。

圖7A圖示了根據(jù)本申請實施例的在圖1所示的圖像信息中結(jié)合有深度信息和用戶輸入的示意圖，圖7B圖示了根據(jù)本申請實施例的在圖1所示的圖像信息中標注有障礙物區(qū)域和可行駛區(qū)域的示意圖。

圖8圖示了根據(jù)本申請實施例的區(qū)域標注裝置的框圖。

圖9圖示了根據(jù)本申請實施例的電子設(shè)備的框圖。

具體實施方式

下面，將參考附圖詳細地描述根據(jù)本申請的示例實施例。顯然，所描述的實施例僅僅是本申請的一部分實施例，而不是本申請的全部實施例，應(yīng)理解，本申請不受這里描述的示例實施例的限制。

申請概述

如上所述，在現(xiàn)有技術(shù)中，訓(xùn)練樣本中障礙物區(qū)域的標注主要依賴于用戶手工完成，因此存在操作復(fù)雜且效率低的問題。

針對該技術(shù)問題，本申請的基本構(gòu)思是提出一種新的區(qū)域標注方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)，其可以在標注過程中，通過結(jié)合來自深度傳感器的深度信息，自動在成像器件所采集的圖像信息中將障礙物區(qū)域標注出來，無需用戶手工操作，從而降低了標注成本、提高了標注速度。

本申請的實施例可以應(yīng)用于各種場景。例如，本申請的實施例可以用于對交通工具所處的行駛環(huán)境中的障礙物區(qū)域進行標注。例如，該交通工具可以是不同的類型，其可以是車輛、飛行器、航天器、水中運載工具等。為了便于說明，下面將以車輛作為交通工具的示例來繼續(xù)描述。

例如，為了使得車輛能夠在實際行駛中確定作為其行駛環(huán)境的道路路面中的各種障礙物、進而實現(xiàn)輔助駕駛等目的，需要預(yù)先采用大量的行駛環(huán)境的圖像信息作為訓(xùn)練樣本來對車輛中的機器學(xué)習模型進行離線訓(xùn)練。為此，可以事先在測試車輛上裝備一個或多個成像器件，用于采集關(guān)于不同行駛環(huán)境的大量圖像信息。當然，本申請不限于此。例如，所述圖像信息也可以來自于設(shè)置在固定位置的監(jiān)控攝像頭、或者直接來自于互聯(lián)網(wǎng)等等。

圖1圖示了根據(jù)本申請實施例的成像器件所采集到的行駛環(huán)境的圖像信息的示意圖。

如圖1所示，裝備有成像器件的測試車輛所獲取的圖像信息指示出該車輛正行駛在作為其典型性行駛環(huán)境的道路路面上。在該道路路面上存在3個障礙物(位于不同距離的作為其他車輛的障礙物1、障礙物2、和障礙物3)、4條車道線(從左到右的車道線1、車道線2、車道線3、和車道線4)、和1條交界線(道路與草地之間的交界線1)等物體。

現(xiàn)有的障礙物區(qū)域標注方法通常需要用戶基于人眼識別來尋找圖像信息中的各種障礙物個體，并使用鼠標圈選的方式對每個個體的大小、位置等進行標注。在通常情況下，這種障礙物標注方法是簡單且有效的。然而，用于對機器學(xué)習模型進行離線訓(xùn)練的樣本庫往往包括大量的圖像信息，如果每一幅圖像都需要用戶人眼分辨、手動標識，則必定耗時耗力，且由于人工操作可能出現(xiàn)漏標或錯標，因此，現(xiàn)有的障礙物區(qū)域標注可能不夠準確，從而導(dǎo)致后續(xù)的機器學(xué)習結(jié)果產(chǎn)生錯誤，進而可能導(dǎo)致在在線使用時車輛對實際的道路狀況產(chǎn)生錯誤的判斷，產(chǎn)生交通安全隱患。

為此，在本申請的實施例中，在生成用于訓(xùn)練機器學(xué)習模型的訓(xùn)練樣本的過程中，獲取成像器件所采集的行駛環(huán)境的圖像信息，獲取與所述圖像信息在時間上同步的所述行駛環(huán)境的深度信息，并且根據(jù)所述深度信息在所述圖像信息中標注所述行駛環(huán)境中的障礙物區(qū)域。因此，根據(jù)該基本構(gòu)思的本申請實施例能夠自動地標注行駛環(huán)境中的障礙物區(qū)域，提高了區(qū)域標注的效率。

當然，盡管上面以交通工具為例對本申請的實施例進行了說明，但是本申請不限于此。本申請的實施例可以應(yīng)用于諸如對可移動機器人、固定監(jiān)控攝像頭等各種在線電子設(shè)備所處的行駛環(huán)境中的障礙物區(qū)域進行標注。

下面，將結(jié)合圖1的應(yīng)用場景，參考附圖來描述根據(jù)本申請的各個實施例。

示例性方法

圖2圖示了根據(jù)本申請第一實施例的區(qū)域標注方法的流程圖。

如圖2所示，根據(jù)本申請第一實施例的區(qū)域標注方法可以包括：

在步驟S110中，在生成用于訓(xùn)練機器學(xué)習模型的訓(xùn)練樣本的過程中，獲取成像器件所采集的行駛環(huán)境的圖像信息。

為了對機器學(xué)習模型進行離線訓(xùn)練，需要預(yù)先對作為訓(xùn)練樣本的行駛環(huán)境的圖像信息進行標注，尋找其中的障礙物區(qū)域。例如，可以通過一個或多個成像器件來采集行駛環(huán)境的大量圖像信息。例如，在成像器件裝備在測試車輛(或稱之為，當前車輛)上的應(yīng)用場景中，可以通過該成像器件獲取當前車輛的行駛方向中的道路路面的圖像信息，例如，如圖1所示。

例如，該成像器件可以是用于捕捉圖像信息的圖像傳感器，其可以是攝像頭或攝像頭陣列。例如，圖像傳感器所采集到的圖像信息可以是連續(xù)圖像幀序列(即，視頻流)或離散圖像幀序列(即，在預(yù)定采樣時間點采樣到的圖像數(shù)據(jù)組)等。例如，該攝像頭可以是如單目相機、雙目相機、多目相機等，另外，其可以用于捕捉灰度圖，也可以捕捉帶有顏色信息的彩色圖。當然，本領(lǐng)域中已知的以及將來可能出現(xiàn)的任何其他類型的相機都可以應(yīng)用于本申請，本申請對其捕捉圖像的方式?jīng)]有特別限制，只要能夠獲得輸入圖像的灰度或顏色信息即可。為了減小后續(xù)操作中的計算量，在一個實施例中，可以在進行分析和處理之前，將彩色圖進行灰度化處理。

在步驟S120中，獲取與所述圖像信息在時間上同步的所述行駛環(huán)境的深度信息。

在步驟S110之前、之后、或與之同時地，可以另外獲取與圖像信息同時獲取的道路路面的深度信息。

例如，深度傳感器可以是任何合適的傳感器，比如基于雙目視差圖測量深度的雙目相機或基于紅外線的照射測量深度的紅外線深度傳感器(或激光深度傳感器)。例如，深度傳感器可以生成諸如深度圖或激光點云之類的深度信息，以用于測量障礙物相對于當前車輛的位置。深度傳感器可以收集任何與障礙物距當前車輛的距離相關(guān)的合適的深度信息。例如，深度傳感器可以收集關(guān)于障礙物在當前車輛前面多遠處的信息。更進一步地，深度傳感器除了距離信息之外，還可以收集諸如關(guān)于障礙物是在當前車輛右邊還是左邊的信息之類的方向信息。深度傳感器還可以收集在不同時間點關(guān)于障礙物距當前車輛的距離的信息，以確定該障礙物是朝向還是遠離當前車輛運動。下面，將以激光深度傳感器為例繼續(xù)說明。

圖3圖示了根據(jù)本申請實施例的獲取深度信息步驟的流程圖。

如圖3所示，步驟S120可以包括：

在子步驟S121中，確定所述成像器件采集所述圖像信息的采集時間。

例如，圖像信息中可以包括含有采集時間之類的各種屬性信息。通過該屬性信息即可確定出所述圖像信息的采集時間。

在子步驟S122中，獲取所述當前車輛的深度傳感器在所述采集時間所采集的所述行駛方向中的道路路面的深度信息。

類似地，深度信息中也可以包括含有采集時間之類的各種屬性信息。通過圖像信息的采集時間，即可確定出在與之相同時間點上采集的深度信息。

需要說明的是，本申請不限于此。例如，還可以在成像器件和深度傳感器的采集階段，將在相同時間點采集到的采集信息和深度信息作為一對相關(guān)信息存儲在一起，以便稍后獲取。

返回參考圖2，在步驟S130中，根據(jù)所述深度信息在所述圖像信息中標注所述行駛環(huán)境中的障礙物區(qū)域。

在獲得對應(yīng)的圖像信息和深度信息之后，可以通過各種方法來將兩者結(jié)合以檢測所述行駛環(huán)境中的障礙物及其區(qū)域。

圖4圖示了根據(jù)本申請實施例的標注障礙物步驟的流程圖。

如圖4所示，步驟S130可以包括：

在子步驟S131中，根據(jù)所述深度信息來判斷在所述道路路面上是否存在障礙物。

例如，所述障礙物可以為以下各項中的至少一個：行人、動物、遺撒物、警示牌、隔離墩、和其他車輛。

由于激光深度傳感器是通過發(fā)射特別短的光脈沖，并測量此光脈沖從發(fā)射到被障礙物反射回來的時間，通過測時間間隔來計算與物體之間的距離，所以根據(jù)該傳感器檢測到的激光點云的位置和返回時間，可以判斷出在所述道路路面上是否存在障礙物、以及該障礙物與當前車輛之間的位置關(guān)系。

在子步驟S132中，響應(yīng)于存在障礙物，根據(jù)所述障礙物的深度信息在所述圖像信息中確定所述障礙物在所述道路路面上的投影區(qū)域。

一旦根據(jù)激光點云判斷出在道路路面上存在障礙物，例如，可以根據(jù)該激光點云進行聚簇，以大致識別出可能的障礙物個數(shù)，并且根據(jù)每個障礙物的深度信息來將其對應(yīng)到圖像信息中，以確定所述障礙物在所述道路路面上的投影區(qū)域。需要說明的是，盡管在圖像信息中多個障礙物之間可能存在交疊，但是，由于車輛行駛的規(guī)律決定了在各個障礙物之間為了保持安全必須相距一定的距離，這就使得根據(jù)深度信息來進行聚簇的結(jié)果往往比根據(jù)圖像信息來進行聚簇的結(jié)果要更為準確。

具體地，例如，首先，可以根據(jù)所述障礙物的深度信息和所述深度傳感器的標定參數(shù)來確定所述障礙物相對于所述當前車輛的三維坐標。

由于制造公差，在將深度傳感器安裝到車輛上之后，每輛車都必須執(zhí)行獨立的終檢線傳感器校準(end-of-line sensor calibration)或后續(xù)市場傳感器調(diào)節(jié)，以便確定深度傳感器在該車輛上的俯仰角等標定參數(shù)，從而最終用于輔助駕駛等目的。例如，所述標定參數(shù)可以是指所述深度傳感器的外參矩陣，其可以包括所述深度傳感器相對于所述當前車輛的形式方向的俯仰角和傾斜角等中的一個或多個?？梢愿鶕?jù)該校準后的俯仰角等和預(yù)設(shè)的算法，基于障礙物的深度信息來計算與障礙物相關(guān)的每個激光點的三維坐標，例如，坐標(x,y,z)。該三維坐標可以是障礙物在世界坐標系下的絕對坐標，也可以是與當前車輛的參考位置之間的相對坐標。

然后，可以將所述障礙物的三維坐標中的高度坐標z設(shè)置為零，以生成向所述道路路面上投影后的三維坐標。也就是說，可以將與障礙物相關(guān)的每個激光點的三維坐標修改為(x,y,0)。

最后，可以根據(jù)所述投影后的三維坐標和所述成像器件的標定參數(shù)來在所述圖像信息中確定所述障礙物在所述道路路面上的投影區(qū)域。

與深度傳感器類似地，由于制造公差，在將成像器件安裝到車輛上之后，也需要首先確定該成像器件在該車輛上的俯仰角等標定參數(shù)。因此，可以根據(jù)成像器件相對于所述當前車輛的行駛方向的俯仰角等和預(yù)設(shè)的算法，來將與障礙物相關(guān)的每個激光點的投影后的三維坐標轉(zhuǎn)換為圖像信息中的各個圖像坐標，并將各個圖像坐標的最外圍區(qū)域(即，最大輪廓區(qū)域)確定為所述障礙物在所述道路路面上的投影區(qū)域。

在子步驟S133中，將所述投影區(qū)域標注為所述道路路面上的障礙物區(qū)域。

可以將根據(jù)各個圖像坐標的最外圍區(qū)域所確定的所述障礙物在所述道路路面上的投影區(qū)域，通過圈選等方式自動地標注為所述道路路面上的障礙物區(qū)域。

由此可見，采用根據(jù)本申請第一實施例的區(qū)域標注方法，可以在生成用于訓(xùn)練機器學(xué)習模型的訓(xùn)練樣本的過程中，獲取成像器件所采集的行駛環(huán)境的圖像信息，獲取與所述圖像信息在時間上同步的所述行駛環(huán)境的深度信息，并且根據(jù)所述深度信息在所述圖像信息中標注所述行駛環(huán)境中的障礙物區(qū)域。因此，與如現(xiàn)有技術(shù)中對障礙物區(qū)域進行人工標注的情況相比，可以自動地標注行駛環(huán)境中的障礙物區(qū)域，提高了區(qū)域標注的效率。

在上述的第一實施例中，可以在標注過程中，通過結(jié)合來自深度傳感器的深度信息，自動在成像器件所采集的圖像信息中將障礙物區(qū)域標注出來。然而，為了實現(xiàn)輔助駕駛等目的，不但要將障礙物區(qū)域標注出來，而且還希望將整個行駛環(huán)境中的可行駛區(qū)域都標注出來，并且基于上述標注結(jié)果來生成用于機器學(xué)習模型的訓(xùn)練樣本。

為了解決上述問題，在本申請的第一實施例的基礎(chǔ)上提出了本申請的第二實施例。

圖5圖示了根據(jù)本申請第二實施例的區(qū)域標注方法的流程圖。

如圖5所示，根據(jù)本申請第二實施例的區(qū)域標注方法可以包括：

在圖5中，采用了相同的附圖標記來指示與圖2相同的步驟。因此，圖5中的步驟S110-S130與圖2的步驟S110-S130相同，并可以參見上面結(jié)合圖2到圖4進行的描述。圖5與圖2的不同之處在于增加了步驟S140和進一步可選的步驟S150。

在步驟S140中，根據(jù)用戶輸入和所述障礙物區(qū)域來在所述圖像信息中標注所述行駛環(huán)境中的可行駛區(qū)域。

當在所述圖像信息中標注了道路路面上的障礙物區(qū)域之前、之后、或與之同時地，還可以通過各種方法來在圖像信息中檢測所述道路路面上的可行駛區(qū)域。

圖6圖示了根據(jù)本申請實施例的標注可行駛區(qū)域步驟的流程圖。

如圖6所示，步驟S140可以包括：

在子步驟S141中，接收用戶輸入。

該用戶輸入可以是用戶基于人眼識別尋找到的道路路面的邊界位置信息，其可以包括圖像上的坐標輸入或圈選輸入等。

在子步驟S142中，根據(jù)所述用戶輸入來確定所述道路路面的路面邊界。

例如，可以根據(jù)用戶輸入的邊界位置信息來在圖像信息中標注出所述道路路面的路面邊界。例如，所述路面邊界可以為以下各項中的至少一個：路沿、隔離帶、綠化帶、護欄、車道線、和其他車輛的邊緣。

在子步驟S143中，根據(jù)所述路面邊界和所述障礙物區(qū)域來標注所述道路路面上的可行駛區(qū)域。

例如，可以根據(jù)所述路面邊界確定所述道路路面上的路面區(qū)域，并且從所述路面區(qū)域中去除所述障礙物區(qū)域，以獲得所述可行駛區(qū)域。

下面，將通過一個具體的實驗來說明本申請實施例的效果。

圖7A圖示了根據(jù)本申請實施例的在圖1所示的圖像信息中結(jié)合有深度信息和用戶輸入的示意圖，圖7B圖示了根據(jù)本申請實施例的在圖1所示的圖像信息中標注有障礙物區(qū)域和可行駛區(qū)域的示意圖。

參考圖7A，可以在標注過程中，獲取時間同步的圖像信息和激光傳感器信息。在圖像信息中，用戶可以通過人眼辨識在圖1所示的道路路面中標注出其中存在4條車道線(車道線1到4)和1條交界線(交界線1)，作為路面邊界的候選標識。這里，可以取決于不同的輔助駕駛策略來確定當前車輛可行駛的路面范圍。例如，在車道線3和車道線4為實線時，在通常情況下，可以將它們作為路面邊界來確定路面范圍，但是在緊急情況下(如前方或后方出現(xiàn)可能碰撞的預(yù)警時)，也可以將最大的物理可行駛范圍，即道路邊界1和道路邊界5作為路面邊界來確定路面范圍。另外，如圖7A所示，還可以基于激光點云等深度信息檢測出在該道路路面中存在3個激光點簇(激光點簇1到3)。接下來，可以通過將激光點簇1到3的空間坐標進行轉(zhuǎn)換并在圖像信息中投射到道路路面的地平面上，獲得障礙物1到3與地平面的交點。最后，可以將交點以上的最大輪廓區(qū)域，標注為障礙物區(qū)域，也即不可行駛區(qū)域，而剩余區(qū)域即可以標注為可行駛區(qū)域，如圖7B所示，其中以將道路邊界1和道路邊界5作為路面邊界為例進行了圖示。

返回參考圖5，接下來，可選地，在步驟S150中，基于其中標注有所述可行駛區(qū)域的圖像信息來生成所述訓(xùn)練樣本。

例如，可以將圖像信息和相關(guān)聯(lián)的標注信息打包在一起，以生成訓(xùn)練樣本，以供機器學(xué)習模型的后續(xù)訓(xùn)練使用。

由此可見，采用根據(jù)本申請第二實施例的區(qū)域標注方法，可以根據(jù)深度傳感器所采集的深度信息在成像器件所采集的圖像信息中標注所述行駛環(huán)境中的障礙物區(qū)域，并且還可以根據(jù)用戶輸入在所述圖像信息中標注行駛環(huán)境中的環(huán)境邊界，根據(jù)所述環(huán)境邊界和所述障礙物區(qū)域來確定所述行駛環(huán)境中的可行駛區(qū)域，并基于其中標注有所述可行駛區(qū)域的圖像信息來生成所述訓(xùn)練樣本。因此，能夠可靠地且高效地檢測行駛環(huán)境中的可行駛區(qū)域并生成供機器學(xué)習模型使用的訓(xùn)練樣本。

示例性裝置

下面，參考圖8來描述根據(jù)本申請實施例的區(qū)域標注裝置。

圖8圖示了根據(jù)本申請實施例的區(qū)域標注裝置的框圖。

如圖8所示，所述區(qū)域標注裝置100可以包括：圖像獲取單元110，用于在生成用于訓(xùn)練機器學(xué)習模型的訓(xùn)練樣本的過程中，獲取成像器件所采集的行駛環(huán)境的圖像信息；深度獲取單元120，用于獲取與所述圖像信息在時間上同步的所述行駛環(huán)境的深度信息；以及障礙標注單元130，用于根據(jù)所述深度信息在所述圖像信息中標注所述行駛環(huán)境中的障礙物區(qū)域。

在一個示例中，所述圖像獲取單元110可以獲取當前車輛的行駛方向中的道路路面的圖像信息。

在一個示例中，所述深度獲取單元120可以包括：時間確定模塊，用于確定所述成像器件采集所述圖像信息的采集時間；以及深度獲取模塊，用于獲取所述當前車輛的深度傳感器在所述采集時間所采集的所述行駛方向中的道路路面的深度信息。

在一個示例中，所述障礙標注單元130可以包括：障礙判斷模塊，用于根據(jù)所述深度信息來判斷在所述道路路面上是否存在障礙物；投影確定模塊，用于響應(yīng)于存在障礙物，根據(jù)所述障礙物的深度信息在所述圖像信息中確定所述障礙物在所述道路路面上的投影區(qū)域；以及障礙標注模塊，用于將所述投影區(qū)域標注為所述道路路面上的障礙物區(qū)域。

在一個示例中，所述投影確定模塊可以根據(jù)所述障礙物的深度信息和所述深度傳感器的標定參數(shù)來確定所述障礙物相對于所述當前車輛的三維坐標；將所述障礙物的三維坐標中的高度坐標設(shè)置為零，以生成向所述道路路面上投影后的三維坐標；以及根據(jù)所述投影后的三維坐標和所述成像器件的標定參數(shù)來在所述圖像信息中確定所述障礙物在所述道路路面上的投影區(qū)域。

在一個示例中，所述障礙物可以為以下各項中的至少一個：行人、動物、遺撒物、警示牌、隔離墩、和其他車輛。

在一個示例中，所述區(qū)域標注裝置100還可以包括：可行駛標注單元(未示出)，用于根據(jù)用戶輸入和所述障礙物區(qū)域來在所述圖像信息中標注所述行駛環(huán)境中的可行駛區(qū)域。

在一個示例中，所述可行駛標注單元可以包括：輸入接收模塊，用于接收用戶輸入；邊界確定模塊，用于根據(jù)所述用戶輸入來確定所述道路路面的路面邊界；以及可行駛標注模塊，用于根據(jù)所述路面邊界和所述障礙物區(qū)域來標注所述道路路面上的可行駛區(qū)域。

在一個示例中，所述可行駛標注模塊可以根據(jù)所述路面邊界確定所述道路路面上的路面區(qū)域；以及從所述路面區(qū)域中去除所述障礙物區(qū)域，以獲得所述可行駛區(qū)域。

在一個示例中，所述區(qū)域標注裝置100還可以包括：樣本生成單元(未示出)，用于基于其中標注有所述可行駛區(qū)域的圖像信息來生成所述訓(xùn)練樣本。

上述區(qū)域標注裝置100中的各個單元和模塊的具體功能和操作已經(jīng)在上面參考圖1到圖7B描述的區(qū)域標注方法中詳細介紹，并因此，將省略其重復(fù)描述。

如上所述，本申請的實施例可以應(yīng)用于對其上裝備有成像器件的諸如交通工具、可移動機器人、固定監(jiān)控攝像頭之類的各種在線電子設(shè)備所處的行駛環(huán)境中的障礙物區(qū)域進行標注。并且，根據(jù)本申請實施例的區(qū)域標注方法和區(qū)域標注裝置可以直接實現(xiàn)在上述在線電子設(shè)備上。但是，考慮到在線電子設(shè)備往往處理能力有限，所以為了獲得更好的性能，也可以將本申請的實施例實現(xiàn)在能夠與在線電子設(shè)備進行通信以向其傳送訓(xùn)練好的機器學(xué)習模型的各種離線的電子設(shè)備中。例如，該離線的電子設(shè)備可以包括諸如終端設(shè)備、服務(wù)器等。

相應(yīng)地，根據(jù)本申請實施例的區(qū)域標注裝置100可以作為一個軟件模塊和/或硬件模塊而集成到該離線的電子設(shè)備中，換言之，該電子設(shè)備可以包括該區(qū)域標注裝置100。例如，該區(qū)域標注裝置100可以是該電子設(shè)備的操作系統(tǒng)中的一個軟件模塊，或者可以是針對于該電子設(shè)備所開發(fā)的一個應(yīng)用程序；當然，該區(qū)域標注裝置100同樣可以是該電子設(shè)備的眾多硬件模塊之一。

替換地，在另一示例中，該區(qū)域標注裝置100與該離線的電子設(shè)備也可以是分立的設(shè)備，并且該區(qū)域標注裝置100可以通過有線和/或無線網(wǎng)絡(luò)連接到該電子設(shè)備，并且按照約定的數(shù)據(jù)格式來傳輸交互信息。

示例性電子設(shè)備

下面，參考圖9來描述根據(jù)本申請實施例的電子設(shè)備。該電子設(shè)備可以是其上裝備有成像器件的諸如交通工具、可移動機器人之類的在線電子設(shè)備，也可以是能夠與在線電子設(shè)備進行通信以向其傳送訓(xùn)練好的機器學(xué)習模型的離線的電子設(shè)備。

圖9圖示了根據(jù)本申請實施例的電子設(shè)備的框圖。

如圖9所示，電子設(shè)備10包括一個或多個處理器11和存儲器12。

處理器11可以是中央處理單元(CPU)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其他形式的處理單元，并且可以控制電子設(shè)備10中的其他組件以執(zhí)行期望的功能。

存儲器12可以包括一個或多個計算機程序產(chǎn)品，所述計算機程序產(chǎn)品可以包括各種形式的計算機可讀存儲介質(zhì)，例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機存取存儲器(RAM)和/或高速緩沖存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(ROM)、硬盤、閃存等。在所述計算機可讀存儲介質(zhì)上可以存儲一個或多個計算機程序指令，處理器11可以運行所述程序指令，以實現(xiàn)上文所述的本申請的各個實施例的區(qū)域標注方法以及/或者其他期望的功能。在所述計算機可讀存儲介質(zhì)中還可以存儲諸如圖像信息、深度信息、障礙物區(qū)域、可行駛區(qū)域、標注信息等各種內(nèi)容。

在一個示例中，電子設(shè)備10還可以包括：輸入裝置13和輸出裝置14，這些組件通過總線系統(tǒng)和/或其他形式的連接機構(gòu)(未示出)互連。應(yīng)當注意，圖9所示的電子設(shè)備10的組件和結(jié)構(gòu)只是示例性的、而非限制性的，根據(jù)需要，電子設(shè)備10也可以具有其他組件和結(jié)構(gòu)。

例如，該輸入裝置13可以是成像器件，用于采集圖像信息，所采集的圖像信息可以被存儲在存儲器12中以供其他組件使用。當然，也可以利用其他集成或分立的成像器件來采集該圖像幀序列，并且將它發(fā)送到電子設(shè)備10。又如，該輸入裝置13也可以是深度傳感器，用于采集深度信息，所采集的深度信息也可以被存儲在存儲器12中。此外，該輸入設(shè)備13還可以包括例如鍵盤、鼠標、以及通信網(wǎng)絡(luò)及其所連接的遠程輸入設(shè)備等等。

輸出裝置14可以向外部(例如，用戶或機器學(xué)習模型)輸出各種信息，包括確定出的行駛環(huán)境的障礙物區(qū)域、可行駛區(qū)域、訓(xùn)練樣本等。該輸出設(shè)備14可以包括例如顯示器、揚聲器、打印機、以及通信網(wǎng)絡(luò)及其所連接的遠程輸出設(shè)備等等。

當然，為了簡化，圖9中僅示出了該電子設(shè)備10中與本申請有關(guān)的組件中的一些，省略了諸如總線、輸入/輸出接口等等的組件。除此之外，根據(jù)具體應(yīng)用情況，電子設(shè)備10還可以包括任何其他適當?shù)慕M件。

示例性計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)

除了上述方法和設(shè)備以外，本申請的實施例還可以是計算機程序產(chǎn)品，其包括計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實施例的區(qū)域標注方法中的步驟。

所述計算機程序產(chǎn)品可以以一種或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本申請實施例操作的程序代碼，所述程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言，諸如Java、C++等，還包括常規(guī)的過程式程序設(shè)計語言，諸如“C”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠程計算設(shè)備上執(zhí)行、或者完全在遠程計算設(shè)備或服務(wù)器上執(zhí)行。

此外，本申請的實施例還可以是計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實施例的區(qū)域標注方法中的步驟。

所述計算機可讀存儲介質(zhì)可以采用一個或多個可讀介質(zhì)的任意組合?？勺x介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)?？勺x存儲介質(zhì)例如可以包括但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合?？勺x存儲介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個或多個導(dǎo)線的電連接、便攜式盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPROM或閃存)、光纖、便攜式緊湊盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。

以上結(jié)合具體實施例描述了本申請的基本原理，但是，需要指出的是，在本申請中提及的優(yōu)點、優(yōu)勢、效果等僅是示例而非限制，不能認為這些優(yōu)點、優(yōu)勢、效果等是本申請的各個實施例必須具備的。另外，上述公開的具體細節(jié)僅是為了示例的作用和便于理解的作用，而非限制，上述細節(jié)并不限制本申請為必須采用上述具體的細節(jié)來實現(xiàn)。

本申請中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認識到的，可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯，指“包括但不限于”，且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”，且可與其互換使用，除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”，且可與其互換使用。

還需要指出的是，在本申請的裝置、設(shè)備和方法中，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本申請的等效方案。

提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本申請。對這些方面的各種修改對于本領(lǐng)域技術(shù)人員而言是非常顯而易見的，并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本申請的范圍。因此，本申請不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特征一致的最寬范圍。

為了例示和描述的目的已經(jīng)給出了以上描述。此外，此描述不意圖將本申請的實施例限制到在此公開的形式。盡管以上已經(jīng)討論了多個示例方面和實施例，但是本領(lǐng)域技術(shù)人員將認識到其某些變型、修改、改變、添加和子組合。