本申請涉及圖像處理領(lǐng)域,且更具體地,涉及一種區(qū)域標(biāo)注方法、裝置、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲介質(zhì)。
背景技術(shù):
物體檢測是指利用計(jì)算機(jī)分析通過成像器件獲取的視頻圖像,以完成目標(biāo)物體的檢測和分類識別等操作。例如,希望諸如車輛之類的交通工具在行駛過程中能夠不斷檢測和識別周圍的車輛、行人等物體。這樣,可以及時幫助或提醒駕駛?cè)藛T改變駕駛策略,從而減少交通事故。
目前最常使用的是基于機(jī)器學(xué)習(xí)模型的檢測方式。為了保證機(jī)器學(xué)習(xí)模型的準(zhǔn)確性,需要預(yù)先采用大量的行駛環(huán)境的圖像信息作為訓(xùn)練樣本來對該模型進(jìn)行離線訓(xùn)練。在行駛環(huán)境中往往存在諸如交通工具、行人等各種目標(biāo)物體,在離線訓(xùn)練之前需要在訓(xùn)練樣本中將這些目標(biāo)區(qū)域區(qū)分并標(biāo)注出來。目前,訓(xùn)練樣本中目標(biāo)區(qū)域的標(biāo)注主要依賴于用戶手工完成,也就是說,用戶需要在大量圖像信息中手動地找到各種目標(biāo)物體個體,并對每個個體的大小、位置等進(jìn)行標(biāo)注。由于訓(xùn)練樣本庫一般需要達(dá)到幾十萬的規(guī)模,所以采用這種手動標(biāo)注方式非常耗時,人力成本非常高,且不具擴(kuò)展性。
因此,現(xiàn)有的區(qū)域標(biāo)注技術(shù)是效率低下的。
技術(shù)實(shí)現(xiàn)要素:
為了解決上述技術(shù)問題,提出了本申請。本申請的實(shí)施例提供了一種區(qū)域標(biāo)注方法、裝置、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲介質(zhì),其能夠自動地在行駛環(huán)境中標(biāo)注目標(biāo)物體的目標(biāo)區(qū)域。
根據(jù)本申請的一個方面,提供了一種區(qū)域標(biāo)注方法,包括:在生成用于訓(xùn)練機(jī)器學(xué)習(xí)模型的訓(xùn)練樣本的過程中,獲取成像器件所采集的行駛環(huán)境的圖像信息;獲取存在于所述行駛環(huán)境中的目標(biāo)物體的目標(biāo)位置信息,所述目標(biāo)位置信息與所述圖像信息在時間上同步;以及根據(jù)所述目標(biāo)位置信息和所述成像器件的參數(shù)信息來在所述圖像信息中標(biāo)注所述目標(biāo)物體的目標(biāo)區(qū)域。
根據(jù)本申請的另一方面,提供了一種區(qū)域標(biāo)注裝置,包括:圖像獲取單元,用于在生成用于訓(xùn)練機(jī)器學(xué)習(xí)模型的訓(xùn)練樣本的過程中,獲取成像器件所采集的行駛環(huán)境的圖像信息;位置獲取單元,用于獲取存在于所述行駛環(huán)境中的目標(biāo)物體的目標(biāo)位置信息,所述目標(biāo)位置信息與所述圖像信息在時間上同步;以及區(qū)域標(biāo)注單元,用于根據(jù)所述目標(biāo)位置信息和所述成像器件的參數(shù)信息來在所述圖像信息中標(biāo)注所述目標(biāo)物體的目標(biāo)區(qū)域。
根據(jù)本申請的另一方面,提供了一種電子設(shè)備,包括:處理器;存儲器;以及存儲在所述存儲器中的計(jì)算機(jī)程序指令,所述計(jì)算機(jī)程序指令在被所述處理器運(yùn)行時使得所述處理器執(zhí)行上述的區(qū)域標(biāo)注方法。
根據(jù)本申請的另一方面,提供了一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序指令,所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行上述的區(qū)域標(biāo)注方法。
根據(jù)本申請的另一方面,提供了一種計(jì)算機(jī)可讀存儲介質(zhì),其上存儲有計(jì)算機(jī)程序指令,所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行上述的區(qū)域標(biāo)注方法。
與現(xiàn)有技術(shù)相比,采用根據(jù)本申請實(shí)施例的區(qū)域標(biāo)注方法、裝置、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲介質(zhì),可以在生成用于訓(xùn)練機(jī)器學(xué)習(xí)模型的訓(xùn)練樣本的過程中,獲取成像器件所采集的行駛環(huán)境的圖像信息;獲取存在于所述行駛環(huán)境中的目標(biāo)物體的目標(biāo)位置信息,所述目標(biāo)位置信息與所述圖像信息在時間上同步;并且根據(jù)所述目標(biāo)位置信息和所述成像器件的參數(shù)信息來在所述圖像信息中標(biāo)注所述目標(biāo)物體的目標(biāo)區(qū)域。因此,與如現(xiàn)有技術(shù)中對目標(biāo)區(qū)域進(jìn)行人工標(biāo)注的情況相比,可以自動地標(biāo)注行駛環(huán)境中目標(biāo)物體的目標(biāo)區(qū)域,提高了區(qū)域標(biāo)注的效率。
附圖說明
通過結(jié)合附圖對本申請實(shí)施例進(jìn)行更詳細(xì)的描述,本申請的上述以及其他目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本申請實(shí)施例的進(jìn)一步理解,并且構(gòu)成說明書的一部分,與本申請實(shí)施例一起用于解釋本申請,并不構(gòu)成對本申請的限制。在附圖中,相同的參考標(biāo)號通常代表相同部件或步驟。
圖1圖示了根據(jù)本申請實(shí)施例的區(qū)域標(biāo)注方法的流程圖。
圖2圖示了根據(jù)本申請實(shí)施例的行駛環(huán)境的示例應(yīng)用場景的示意圖。
圖3圖示了根據(jù)本申請實(shí)施例的由成像器件所采集的行駛環(huán)境的圖像信息的示意圖。
圖4圖示了根據(jù)本申請實(shí)施例的獲取目標(biāo)位置信息步驟的流程圖。
圖5圖示了根據(jù)本申請實(shí)施例的第一示例的標(biāo)注目標(biāo)區(qū)域步驟的流程圖。
圖6圖示了根據(jù)本申請實(shí)施例的第二示例的標(biāo)注目標(biāo)區(qū)域步驟的流程圖。
圖7圖示了根據(jù)本申請實(shí)施例的目標(biāo)區(qū)域標(biāo)識結(jié)果的示意圖。
圖8圖示了根據(jù)本申請實(shí)施例的區(qū)域標(biāo)注裝置的框圖。
圖9圖示了根據(jù)本申請實(shí)施例的電子設(shè)備的框圖。
具體實(shí)施方式
下面,將參考附圖詳細(xì)地描述根據(jù)本申請的示例實(shí)施例。顯然,所描述的實(shí)施例僅僅是本申請的一部分實(shí)施例,而不是本申請的全部實(shí)施例,應(yīng)理解,本申請不受這里描述的示例實(shí)施例的限制。
申請概述
如上所述,在現(xiàn)有技術(shù)中,訓(xùn)練樣本中目標(biāo)區(qū)域的標(biāo)注主要依賴于用戶手工完成,因此存在操作復(fù)雜且效率低的問題。
具體來說,現(xiàn)有的目標(biāo)區(qū)域標(biāo)注方法需要用戶基于人眼識別來尋找圖像信息中的各種目標(biāo)物體個體,并使用鼠標(biāo)圈選的方式對每個個體的大小、位置等進(jìn)行標(biāo)注。在通常情況下,這種目標(biāo)物體標(biāo)注方法是簡單且有效的。然而,用于對機(jī)器學(xué)習(xí)模型進(jìn)行離線訓(xùn)練的樣本庫往往包括大量的圖像信息,如果每一幅圖像都需要用戶人眼分辨、手動標(biāo)識,則必定耗時耗力,且由于人工操作可能出現(xiàn)漏標(biāo)或錯標(biāo),因此,現(xiàn)有的目標(biāo)區(qū)域標(biāo)注可能不夠準(zhǔn)確,從而導(dǎo)致后續(xù)的機(jī)器學(xué)習(xí)結(jié)果產(chǎn)生錯誤。
針對該技術(shù)問題,本申請的基本構(gòu)思是提出一種新的區(qū)域標(biāo)注方法、裝置、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲介質(zhì),其可以在標(biāo)注過程中,通過結(jié)合成像器件設(shè)置在其上的當(dāng)前物體的當(dāng)前位置信息和目標(biāo)物體的目標(biāo)位置信息、以及成像器件的參數(shù)信息,自動在成像器件所采集的圖像信息中將目標(biāo)物體的目標(biāo)區(qū)域標(biāo)注出來,無需用戶手工操作,從而降低了標(biāo)注成本、提高了標(biāo)注速度。
本申請的實(shí)施例可以應(yīng)用于各種場景。例如,本申請的實(shí)施例可以用于對交通工具所處的行駛環(huán)境中目標(biāo)物體的目標(biāo)區(qū)域進(jìn)行標(biāo)注。例如,該交通工具可以是不同的類型,其可以是車輛、飛行器、航天器、水中運(yùn)載工具等。下面,將以車輛作為交通工具的示例來繼續(xù)描述。
需要說明的是,盡管在本文中以交通工具為例對本申請的實(shí)施例進(jìn)行了說明,但是本申請不限于此。本申請的實(shí)施例同樣可以應(yīng)用于諸如對可移動機(jī)器人、固定監(jiān)控?cái)z像頭等各種在線電子設(shè)備所處的行駛環(huán)境中目標(biāo)物體的目標(biāo)區(qū)域進(jìn)行標(biāo)注。
示例性方法
圖1圖示了根據(jù)本申請實(shí)施例的區(qū)域標(biāo)注方法的流程圖。
如圖1所示,根據(jù)本申請實(shí)施例的區(qū)域標(biāo)注方法可以包括:
在步驟S110中,在生成用于訓(xùn)練機(jī)器學(xué)習(xí)模型的訓(xùn)練樣本的過程中,獲取成像器件所采集的行駛環(huán)境的圖像信息。
為了保證機(jī)器學(xué)習(xí)模型的準(zhǔn)確性,需要生成大量的其中標(biāo)注有目標(biāo)物體所占據(jù)的目標(biāo)區(qū)域的行駛環(huán)境的圖像信息作為訓(xùn)練樣本,用于預(yù)先對該模型進(jìn)行離線訓(xùn)練。
為此,首先,可以通過裝備于當(dāng)前物體的固定位置上的一個或多個成像器件來采集該當(dāng)前物體所處的行駛環(huán)境的圖像信息。在該行駛環(huán)境中,除了存在當(dāng)前物體之外,還可能存在一個或多個目標(biāo)物體。
例如,該成像器件可以是用于捕捉圖像信息的圖像傳感器,其可以是攝像頭或攝像頭陣列。例如,圖像傳感器所采集到的圖像信息可以是連續(xù)圖像幀序列(即,視頻流)或離散圖像幀序列(即,在預(yù)定采樣時間點(diǎn)采樣到的圖像數(shù)據(jù)組)等。例如,該攝像頭可以是如單目相機(jī)、雙目相機(jī)、多目相機(jī)等,另外,其可以用于捕捉灰度圖,也可以捕捉帶有顏色信息的彩色圖。當(dāng)然,本領(lǐng)域中已知的以及將來可能出現(xiàn)的任何其他類型的相機(jī)都可以應(yīng)用于本申請,本申請對其捕捉圖像的方式?jīng)]有特別限制,只要能夠獲得輸入圖像的灰度或顏色信息即可。為了減小后續(xù)操作中的計(jì)算量,在一個實(shí)施例中,可以在進(jìn)行分析和處理之前,將彩色圖進(jìn)行灰度化處理。
這樣,通過該當(dāng)前物體在行駛環(huán)境中不斷移動,可以經(jīng)由成像器件來采集包括目標(biāo)物體的行駛環(huán)境的大量圖像信息。下面,為了便于理解,將以車輛在道路路面中行駛作為示例應(yīng)用場景來對本申請的實(shí)施例進(jìn)行詳細(xì)描述。
圖2圖示了根據(jù)本申請實(shí)施例的行駛環(huán)境的示例應(yīng)用場景的示意圖。
如圖2所示,該行駛環(huán)境是適于車輛行駛的道路路面。在該道路路面上存在作為當(dāng)前物體的當(dāng)前車輛V0,其上裝備有成像器件(例如,攝像頭)。此外,在該道路路面上還存在多個目標(biāo)車輛(位于該當(dāng)前車輛V0不同方位處的3個目標(biāo)車輛V1-V3)。
例如,該當(dāng)前車輛V0可以是其上裝備有攝像頭的一數(shù)據(jù)采集車輛,數(shù)據(jù)采集車輛在道路路面中移動,以不斷采集該道路路面及其上目標(biāo)車輛的圖像信息。在實(shí)踐中,這樣的道路路面通??梢栽谝粋€封閉的環(huán)境內(nèi)獲得,例如自動駕駛示范園。當(dāng)然,在滿足本申請中公開的各種要求的情況下,該道路路面也可以是向公眾開放的實(shí)際路面。另外,盡管這里僅僅以車輛作為目標(biāo)物體的示例進(jìn)行描述,但是,本申請不限于此。例如,目標(biāo)物體也可以為以下各項(xiàng)中的至少一個:行人、動物、警示牌、信號燈、和隔離墩等,只要能夠獲取到與其相關(guān)的位置信息等信息即可。
然后,可以獲取所述成像器件所采集的當(dāng)前物體所處的行駛環(huán)境的圖像信息,以用于后續(xù)處理。
圖3圖示了根據(jù)本申請實(shí)施例的由成像器件所采集的行駛環(huán)境的圖像信息的示意圖。
如圖3所示,可以獲取該當(dāng)前車輛V0上的攝像頭采集到的其行駛方向中的道路路面的圖像信息。在攝像頭采集到的圖像中,包括位于該當(dāng)前車輛V0左前方的目標(biāo)車輛目標(biāo)車輛V1、正前方的目標(biāo)車輛V2、和右前方的目標(biāo)車輛V3。當(dāng)前車輛V0并未出現(xiàn)在該幅圖像中,這是因?yàn)樗潜拒?,不在自身成像器件的視線內(nèi)。
需要說明的是,盡管這里以攝像頭采集當(dāng)前車輛V0的行駛方向中的圖像信息為例進(jìn)行說明,但是,本申請不限于此。相反地,攝像頭也可以通過不同的成像角度和設(shè)置來采集其他方向中的圖像信息。例如,行駛方向的相反方向中的圖像信息、與行駛方向呈一定夾角方向中的圖像信息、乃至360度全向的圖像信息等。
在步驟S120中,獲取存在于所述行駛環(huán)境中的目標(biāo)物體的目標(biāo)位置信息,所述目標(biāo)位置信息與所述圖像信息在時間上同步。
在獲取成像器件所采集的行駛環(huán)境的圖像信息之前、之后、或與之同時地,可以另外地獲取目標(biāo)物體的目標(biāo)位置信息。
圖4圖示了根據(jù)本申請實(shí)施例的獲取目標(biāo)位置信息步驟的流程圖。
如圖4所示,步驟S120可以包括:
在子步驟S121中,確定所述成像器件采集所述圖像信息的采集時間。
例如,圖像信息中可以包括含有采集時間之類的各種屬性信息。通過該屬性信息即可確定出所述圖像信息的采集時間。
在子步驟S122中,獲取所述目標(biāo)物體在所述采集時間的目標(biāo)位置信息。
例如,可以直接從所述目標(biāo)物體接收實(shí)時通信信息,所述實(shí)時通信信息包括所述目標(biāo)位置信息。
為此,可以使得在整個行駛環(huán)境中的所有車輛都具備如下能力:1、定位能力,例如,每個車輛可以使用全球定位系統(tǒng)(GPS)、慣性測量單元(IMU)等手段來對自身進(jìn)行實(shí)時定位,使其可以在任何時刻都確認(rèn)自己的位置;2、通信能力,用于向外界傳輸自己的實(shí)時位置信息,例如,該通訊能力可以通過車聯(lián)網(wǎng)(V2X)技術(shù)(具體地,專用短程通信系統(tǒng)DSRC或用于車輛的長期演進(jìn)LTE-V等)來實(shí)現(xiàn),也可以通過移動通信(例如,4G等)、電子車牌或者任何其它手段來實(shí)現(xiàn)。顯然,在目標(biāo)為行人、動物、信號燈等其他物體的情況下,可以通過各種可能的移動終端(諸如,手機(jī)、信標(biāo)發(fā)生器等)來使其具備上述能力。
更進(jìn)一步地,為了提高后續(xù)定位的準(zhǔn)確性,所述實(shí)時通信信息還可以包括以下各項(xiàng)中的至少一個:所述目標(biāo)物體的標(biāo)識信息、顏色信息、號牌信息、尺寸信息、型號信息、參考點(diǎn)位置信息、和時間戳信息,所述參考點(diǎn)位置信息指示出所述目標(biāo)位置信息所確定的點(diǎn)在所述目標(biāo)物體的整體空間中的特定位置。
其中,所述標(biāo)識信息指示出所述目標(biāo)物體的身份,用于在行駛環(huán)境中存在多個目標(biāo)物體時進(jìn)行彼此區(qū)分;所述顏色信息指示出所述目標(biāo)物體的外圍輪廓的顏色;所述號牌信息指示出所述目標(biāo)物體的牌照號碼,也可以用于確定其身份使用;所述尺寸信息指示出所述目標(biāo)物體的外圍尺寸;所述參考點(diǎn)位置信息指示出所述目標(biāo)物體的定位器件(例如,GPS、IMU等)安裝在所述目標(biāo)物體的哪個位置上;而所述時間戳信息指示出所述目標(biāo)物體在向外單播、組播或廣播自身的目標(biāo)位置信息時的時間點(diǎn)。優(yōu)選地,在整個行駛環(huán)境中的當(dāng)前物體和各個目標(biāo)物體具有已同步校準(zhǔn)、或能夠被同步校準(zhǔn)的時鐘信號。
因?yàn)樵诘缆仿访嫔闲旭偟拿恳惠v車都有對外界報告自己位置的能力,所以我們可以獲得每一輛車的一個一元組或多元組,將其作為一個車輛信息單元。例如,該車輛信息單元可以包括車輛的標(biāo)識信息、位置信息、和時間戳信息、以及可選的其他信息。具體地,該車輛信息單元可以是具有以下形式的多元組(Vn,T,Pn),其中Vn代表車輛n本身的編號,是唯一的;T代表某個具體的時間點(diǎn);Pn代表車輛n在時間T時的位置,在絕對坐標(biāo)的情況下,例如Pn可以包括緯度坐標(biāo)和經(jīng)度坐標(biāo),在相對駕駛園區(qū)內(nèi)某一基準(zhǔn)遠(yuǎn)點(diǎn)的相對坐標(biāo)的情況下,Pn也可以包括橫坐標(biāo)和縱坐標(biāo),當(dāng)然在三維場景下,還可以進(jìn)一步包括海拔坐標(biāo)或高度坐標(biāo)。
由此,可以根據(jù)各個車輛發(fā)送的該多元組中的時間戳信息T來可確定出在與圖像信息的采集時間相同時間點(diǎn)上采集的目標(biāo)位置信息Pn。
替換地,除了直接從所述目標(biāo)物體接收目標(biāo)位置信息之外,還可以通過其他手段來獲得該目標(biāo)位置信息。例如,還可以從單獨(dú)的定位系統(tǒng)中獲取所述目標(biāo)物體的目標(biāo)位置信息。在一個示例中,可以通過衛(wèi)星系統(tǒng)來實(shí)時定位各個目標(biāo)物體的位置及其顏色、型號等信息。或者,在每個車輛與地面的基站設(shè)備進(jìn)行通信的過程中,各個車輛可以向多個基站設(shè)備發(fā)送用于定位的信標(biāo)數(shù)據(jù),使得能夠根據(jù)所述多個基站設(shè)備各自所接收到的信標(biāo)數(shù)據(jù)的信號參數(shù)、以及所述多個基站設(shè)備的位置數(shù)據(jù)來確定所述車輛在運(yùn)動時的實(shí)時位置數(shù)據(jù)。這樣,也可以將目標(biāo)物體的目標(biāo)位置信息等各種信息與圖像信息進(jìn)行同步處理,以用于在圖像信息中對目標(biāo)物體的目標(biāo)區(qū)域進(jìn)行標(biāo)識。
在步驟S130中,根據(jù)所述目標(biāo)位置信息和所述成像器件的參數(shù)信息來在所述圖像信息中標(biāo)注所述目標(biāo)物體的目標(biāo)區(qū)域。
在獲得時間同步的圖像信息和目標(biāo)位置信息之后,可以通過各種方法來將兩者結(jié)合以檢測所述行駛環(huán)境中的目標(biāo)物體及其區(qū)域。
圖5圖示了根據(jù)本申請實(shí)施例的第一示例的標(biāo)注目標(biāo)區(qū)域步驟的流程圖。
如圖5所示,在第一示例中,步驟S130可以包括:
在子步驟S131中,獲取所述當(dāng)前物體的當(dāng)前位置信息,所述當(dāng)前位置信息與所述圖像信息在時間上同步。
與步驟S120中類似地,也可以直接從所述當(dāng)前物體或其他定位系統(tǒng)接收在與圖像信息的采集時間相同時間點(diǎn)上采集的當(dāng)前物體的當(dāng)前位置信息P0。
在子步驟S132中,根據(jù)所述目標(biāo)位置信息和所述當(dāng)前位置信息來計(jì)算所述目標(biāo)物體與所述當(dāng)前物體之間的相對位置信息。
在子步驟S133中,根據(jù)所述相對位置信息和所述成像器件的參數(shù)信息來在所述圖像信息中標(biāo)注所述目標(biāo)區(qū)域。
在目標(biāo)位置信息和當(dāng)前位置信息是由目標(biāo)車輛和當(dāng)前車輛的定位器件所生成的情況下,該位置信息實(shí)際上可能僅僅是一個位置點(diǎn)信息,其代表定位器件所在的位置點(diǎn),而非車輛的一個整體區(qū)域。在使用定位系統(tǒng)的情況下,該位置信息也同樣可能僅僅是車輛的一個參考點(diǎn)(例如,中心或重心)所在的位置點(diǎn)。
在一個簡單的示例中,可以直接根據(jù)該點(diǎn)位置信息來執(zhí)行標(biāo)注操作。
首先,在子步驟S132中,可以根據(jù)所述目標(biāo)位置信息和所述當(dāng)前位置信息來確定所述目標(biāo)物體的參考點(diǎn)與所述當(dāng)前物體的參考點(diǎn)之間的點(diǎn)相對位置信息,所述目標(biāo)物體的參考點(diǎn)是所述目標(biāo)位置信息所確定的在所述目標(biāo)物體的整體空間中的點(diǎn),而所述當(dāng)前物體的參考點(diǎn)是所述當(dāng)前位置信息所確定的在所述當(dāng)前物體的整體空間中的點(diǎn)。
例如,該參考點(diǎn)可以是在使用定位器件(GPS模塊)對車輛進(jìn)行定位時該定位器件所在的位置點(diǎn),也可以是在使用定位系統(tǒng)進(jìn)行定位時該車輛的一個參考點(diǎn)。
例如,可以通過以下公式來計(jì)算該點(diǎn)相對位置信息:
其中,假設(shè)Ph0為當(dāng)前車輛V0的橫坐標(biāo)或緯度坐標(biāo);Phn為目標(biāo)車輛Vn的橫坐標(biāo)或緯度坐標(biāo);Pl0為當(dāng)前車輛V0的縱坐標(biāo)或經(jīng)度坐標(biāo);Pln為目標(biāo)車輛Vn的縱坐標(biāo)或經(jīng)度坐標(biāo)。由此,通過上述公式可以計(jì)算出目標(biāo)車輛Vn與當(dāng)前車輛V0之間的相對位置代表目標(biāo)車輛Vn相對于當(dāng)前車輛V0的橫坐標(biāo)或緯度坐標(biāo);代表目標(biāo)車輛Vn相對于當(dāng)前車輛V0的縱坐標(biāo)或經(jīng)度坐標(biāo)。也就是說,某一目標(biāo)車輛的點(diǎn)絕對位置減去當(dāng)前車輛的點(diǎn)絕對位置,就可以得出兩者之間的一個點(diǎn)相對位置。
然后,在子步驟S133中,可以根據(jù)所述點(diǎn)相對位置信息和所述成像器件的參數(shù)信息來確定所述目標(biāo)物體的參考點(diǎn)在所述圖像信息中的位置點(diǎn);以及在所述圖像信息中標(biāo)注所述位置點(diǎn),作為所述目標(biāo)區(qū)域。
例如,一旦確定出目標(biāo)車輛的定位器件與當(dāng)前車輛的定位器件在世界坐標(biāo)系下的點(diǎn)相對位置,就可以根據(jù)攝像頭的參數(shù)矩陣,將其轉(zhuǎn)換為圖像坐標(biāo)系中的一個或多個像素點(diǎn)位置。在攝像頭的參數(shù)確定的情況下,再考慮一些補(bǔ)償因素,比如車身當(dāng)時的俯仰角,車頭朝向等等,就可以確定與之對應(yīng)的像素點(diǎn)。由此,在圖像中對該像素點(diǎn)進(jìn)行圈選,以對目標(biāo)車輛的目標(biāo)區(qū)域進(jìn)行標(biāo)注。
更進(jìn)一步地,由于已知車輛與本車之間的距離,可以根據(jù)該距離在經(jīng)驗(yàn)上適當(dāng)?shù)貙θx區(qū)域進(jìn)行放大,以盡可能接近實(shí)際情況地全選到目標(biāo)車輛所占據(jù)的整個目標(biāo)區(qū)域。
由于不同型號的車輛可能尺寸相差較大,為了更加準(zhǔn)確,還可以根據(jù)從目標(biāo)車輛接收到的尺寸信息、型號信息來更加準(zhǔn)確地對圈選區(qū)域進(jìn)行放大。此外,由于一個車輛的輪廓顏色基本一致,所以還可以以轉(zhuǎn)換得到的一個或多個像素點(diǎn)位置為中心,對具有相同顏色的區(qū)域進(jìn)行圈選,作為目標(biāo)區(qū)域。
替換地,除了使用點(diǎn)位置信息之外,還可以使用從目標(biāo)車輛獲得的其他信息來計(jì)算一個目標(biāo)車輛整體空間的區(qū)域位置信息,用于執(zhí)行標(biāo)注操作。
首先,在子步驟S132中,可以根據(jù)所述目標(biāo)物體的尺寸信息、參考點(diǎn)位置信息、和所述目標(biāo)位置信息、以及所述當(dāng)前位置信息來確定所述目標(biāo)物體的整體空間與所述當(dāng)前物體的參考點(diǎn)之間的區(qū)域相對位置信息,所述參考點(diǎn)位置信息指示出所述目標(biāo)位置信息所確定的點(diǎn)在所述目標(biāo)物體的整體空間中的特定位置,所述當(dāng)前物體的參考點(diǎn)是所述當(dāng)前位置信息所確定的在所述當(dāng)前物體的整體空間中的點(diǎn)。
例如,在從目標(biāo)車輛Vn接收到參考點(diǎn)位置信息(例如,指示出其定位器件安裝在目標(biāo)車輛Vn上的哪個位置)的情況下,可以進(jìn)一步結(jié)合該目標(biāo)車輛的尺寸信息,從而計(jì)算得到該目標(biāo)車輛的整體空間的外圍輪廓的絕對位置信息。例如,該目標(biāo)車輛的尺寸信息可以是從目標(biāo)車輛直接接收的,也可以是根據(jù)從目標(biāo)車輛接收到的型號信息而確定的。
在已知該目標(biāo)車輛的整體空間各個點(diǎn)的絕對位置信息之后,可以通過上面相同的公式來計(jì)算出目標(biāo)車輛的整體空間與當(dāng)前車輛的參考點(diǎn)之間的區(qū)域絕對位置。
然后,在子步驟S133中,根據(jù)所述區(qū)域相對位置信息和所述成像器件的參數(shù)信息來確定所述目標(biāo)物體的整體空間在所述圖像信息中的位置區(qū)域;以及在所述圖像信息中標(biāo)注所述位置區(qū)域,作為所述目標(biāo)區(qū)域。
例如,一旦確定出目標(biāo)車輛的整體空間與當(dāng)前車輛的定位器件在世界坐標(biāo)系下的區(qū)域相對位置,就可以根據(jù)攝像頭的參數(shù)矩陣,將其轉(zhuǎn)換為圖像坐標(biāo)系中的像素區(qū)域位置。由此,在圖像中對該像素區(qū)域進(jìn)行圈選,以對目標(biāo)車輛的目標(biāo)區(qū)域進(jìn)行標(biāo)注。
在該第一示例中,首先計(jì)算目標(biāo)車輛與當(dāng)前車輛在世界坐標(biāo)系下的相對位置,然后根據(jù)成像器件的參數(shù)信息將它轉(zhuǎn)換到圖像坐標(biāo)系中,以在圖像中對目標(biāo)車輛的目標(biāo)區(qū)域進(jìn)行標(biāo)注。然而,本申請不限于此。例如,在第二示例中,也可以首先根據(jù)成像器件的參數(shù)信息將圖像中各個像素轉(zhuǎn)換到世界坐標(biāo)系中,再計(jì)算目標(biāo)車輛與當(dāng)前車輛在世界坐標(biāo)系下的相對位置,從而確定該圖像中與目標(biāo)車輛相關(guān)聯(lián)的所有像素。
圖6圖示了根據(jù)本申請實(shí)施例的第二示例的標(biāo)注目標(biāo)區(qū)域步驟的流程圖。
如圖6所示,在第二示例中,步驟S130可以包括:
在子步驟S134中,根據(jù)所述成像器件的參數(shù)信息來確定所述圖像信息中每個像素相對于所述當(dāng)前物體的相對位置關(guān)系。
例如,可以首先對在步驟S110中獲取的圖像信息進(jìn)行預(yù)處理。簡單來講,就是確定其每一個像素對應(yīng)于當(dāng)前車輛的相對位置。首先,確定各個像素在圖像坐標(biāo)系下的像素位置,然后,根據(jù)轉(zhuǎn)換矩陣,計(jì)算各個像素點(diǎn)在世界坐標(biāo)系下相對于當(dāng)前車輛的相對位置關(guān)系。在攝像頭的參數(shù)確定的情況下,再考慮一些補(bǔ)償因素,比如車身當(dāng)時的俯仰角,車頭朝向等等,就可以確定每一個像素的相對位置。
在子步驟S135中,獲取所述當(dāng)前物體的當(dāng)前位置信息,所述當(dāng)前位置信息與所述圖像信息在時間上同步。
在子步驟S136中,根據(jù)所述目標(biāo)位置信息和所述當(dāng)前位置信息來計(jì)算所述目標(biāo)物體與所述當(dāng)前物體之間的相對位置信息。
在子步驟S137中,根據(jù)所述相對位置關(guān)系和相對位置信息來在所述圖像信息中標(biāo)注所述目標(biāo)區(qū)域。
第二示例中的步驟S135和S136與第一示例中的步驟S131和S132基本相同,由此省略其詳細(xì)描述。
在步驟S137中,與第一示例中的步驟S133相似地,例如,一旦在步驟S136中確定出目標(biāo)車輛的參考點(diǎn)(例如,定位器件)與當(dāng)前車輛的參考點(diǎn)(例如,定位器件)在世界坐標(biāo)系下的點(diǎn)相對位置,就可以根據(jù)在步驟S134中預(yù)先計(jì)算得到的各個像素點(diǎn)在世界坐標(biāo)系下相對于當(dāng)前車輛的相對位置關(guān)系來確定出圖像中的哪一個或多個像素點(diǎn)對應(yīng)于目標(biāo)車輛的參考點(diǎn)。由此,在圖像中對該像素點(diǎn)進(jìn)行圈選,以對目標(biāo)車輛的目標(biāo)區(qū)域進(jìn)行標(biāo)注。
當(dāng)然,后續(xù)也可以根據(jù)各種其他參數(shù)對圈選區(qū)域進(jìn)行適當(dāng)放大,以盡可能接近實(shí)際情況地全選到目標(biāo)車輛所占據(jù)的整個目標(biāo)區(qū)域。
替換地,一旦在步驟S136中確定出目標(biāo)車輛的整體空間與當(dāng)前車輛的參考點(diǎn)在世界坐標(biāo)系下的區(qū)域絕對位置,就可以根據(jù)在步驟S134中預(yù)先計(jì)算得到的各個像素點(diǎn)在世界坐標(biāo)系下相對于當(dāng)前車輛的相對位置關(guān)系來確定出圖像中的哪個像素區(qū)域?qū)?yīng)于目標(biāo)車輛的目標(biāo)區(qū)域。
接下來,可選地,在步驟S140中,基于其中標(biāo)注有所述目標(biāo)區(qū)域的圖像信息來生成所述訓(xùn)練樣本。
例如,可以將圖像信息和相關(guān)聯(lián)的標(biāo)注信息打包在一起,以生成訓(xùn)練樣本,以供機(jī)器學(xué)習(xí)模型的后續(xù)訓(xùn)練使用。
在上述的實(shí)施例中,可以在標(biāo)注過程中,通過結(jié)合成像器件設(shè)置在其上的當(dāng)前物體的當(dāng)前位置信息和目標(biāo)物體的目標(biāo)位置信息、以及成像器件的參數(shù)信息,自動在成像器件所采集的圖像信息中將目標(biāo)物體的目標(biāo)區(qū)域標(biāo)注出來。然而,為了實(shí)現(xiàn)輔助駕駛等目的,不但希望將目標(biāo)區(qū)域標(biāo)注出來,而且還希望將整個行駛環(huán)境中的可行駛區(qū)域都標(biāo)注出來,并且基于上述標(biāo)注結(jié)果來生成用于機(jī)器學(xué)習(xí)模型的訓(xùn)練樣本。
因此,在一個實(shí)施例中,在步驟S140之前,還可以包括:確定所述行駛環(huán)境的環(huán)境邊界;根據(jù)所述環(huán)境邊界和所述目標(biāo)區(qū)域來標(biāo)注所述行駛環(huán)境上的可行駛區(qū)域。
例如,可以由用戶基于人眼來識別尋找到的道路路面的邊界位置信息,其可以包括圖像上的坐標(biāo)輸入或圈選輸入等。然后,可以根據(jù)用戶輸入的邊界位置信息來在圖像信息中標(biāo)注出所述道路路面的路面邊界。例如,所述路面邊界可以為以下各項(xiàng)中的至少一個:路沿、隔離帶、綠化帶、護(hù)欄、車道線、和其他車輛的邊緣。最后,例如,可以根據(jù)所述路面邊界確定所述道路路面上的路面區(qū)域,并且從所述路面區(qū)域中去除所述目標(biāo)區(qū)域,以獲得所述可行駛區(qū)域。
由此可見,采用根據(jù)本申請實(shí)施例的區(qū)域標(biāo)注方法,可以在生成用于訓(xùn)練機(jī)器學(xué)習(xí)模型的訓(xùn)練樣本的過程中,獲取成像器件所采集的行駛環(huán)境的圖像信息;獲取存在于所述行駛環(huán)境中的目標(biāo)物體的目標(biāo)位置信息,所述目標(biāo)位置信息與所述圖像信息在時間上同步;并且根據(jù)所述目標(biāo)位置信息和所述成像器件的參數(shù)信息來在所述圖像信息中標(biāo)注所述目標(biāo)物體的目標(biāo)區(qū)域。因此,與如現(xiàn)有技術(shù)中對目標(biāo)區(qū)域進(jìn)行人工標(biāo)注的情況相比,可以自動地標(biāo)注行駛環(huán)境中目標(biāo)物體的目標(biāo)區(qū)域,提高了區(qū)域標(biāo)注的效率。
下面,將通過一個具體的實(shí)驗(yàn)來說明本申請實(shí)施例的效果。
圖7圖示了根據(jù)本申請實(shí)施例的目標(biāo)區(qū)域標(biāo)識結(jié)果的示意圖。
參考圖7,可以看出,通過結(jié)合成像器件設(shè)置在其上的當(dāng)前車輛V0的當(dāng)前通信信息(V0,T,Ph0,Pl0)和目標(biāo)車輛V1-V5的目標(biāo)位置信息(Vn,T,Phn,Pln)、以及成像器件的參數(shù)信息,可以自動在成像器件所采集的圖像信息中將目標(biāo)車輛V1-V5的目標(biāo)區(qū)域框選出來,以用于輔助駕駛目的。更進(jìn)一步,還可以將目標(biāo)車輛與當(dāng)前車輛的距離標(biāo)記出來,以便直觀地了解到兩者之間的遠(yuǎn)近情況。
因此,利用根據(jù)本申請實(shí)施例的區(qū)域標(biāo)注方法,可以實(shí)現(xiàn)圖像數(shù)據(jù)標(biāo)注的自動化處理,由此獲得的好處包括:1、大大降低數(shù)據(jù)標(biāo)注的成本;2、將數(shù)據(jù)標(biāo)注的質(zhì)量提升到一個新的水準(zhǔn),極大減少漏標(biāo)、誤標(biāo);3、加速數(shù)據(jù)處理速度。
示例性裝置
下面,參考圖8來描述根據(jù)本申請實(shí)施例的區(qū)域標(biāo)注裝置。
圖8圖示了根據(jù)本申請實(shí)施例的區(qū)域標(biāo)注裝置的框圖。
如圖8所示,所述區(qū)域標(biāo)注裝置100可以包括:圖像獲取單元110,用于在生成用于訓(xùn)練機(jī)器學(xué)習(xí)模型的訓(xùn)練樣本的過程中,獲取成像器件所采集的行駛環(huán)境的圖像信息;位置獲取單元120,用于獲取存在于所述行駛環(huán)境中的目標(biāo)物體的目標(biāo)位置信息,所述目標(biāo)位置信息與所述圖像信息在時間上同步;以及區(qū)域標(biāo)注單元130,用于根據(jù)所述目標(biāo)位置信息和所述成像器件的參數(shù)信息來在所述圖像信息中標(biāo)注所述目標(biāo)物體的目標(biāo)區(qū)域。
在一個示例中,所述圖像獲取單元110可以獲取所述成像器件所采集的當(dāng)前物體所處的行駛環(huán)境的圖像信息,所述成像器件裝備于所述當(dāng)前物體的固定位置上。
在一個示例中,所述位置獲取單元120可以包括:時間確定模塊,用于確定所述成像器件采集所述圖像信息的采集時間;以及目標(biāo)位置獲取模塊,用于獲取所述目標(biāo)物體在所述采集時間的目標(biāo)位置信息。
在一個示例中,所述位置獲取模塊可以從所述目標(biāo)物體接收實(shí)時通信信息,所述實(shí)時通信信息包括所述目標(biāo)位置信息。
在一個示例中,所述實(shí)時通信信息還可以包括以下各項(xiàng)中的至少一個:所述目標(biāo)物體的標(biāo)識信息、顏色信息、號牌信息、尺寸信息、型號信息、參考點(diǎn)位置信息、和時間戳信息,所述參考點(diǎn)位置信息指示出所述目標(biāo)位置信息所確定的點(diǎn)在所述目標(biāo)物體的整體空間中的特定位置。
在一個示例中,所述區(qū)域標(biāo)注單元130可以包括:當(dāng)前位置獲取模塊,用于獲取所述當(dāng)前物體的當(dāng)前位置信息,所述當(dāng)前位置信息與所述圖像信息在時間上同步;相對位置計(jì)算模塊,用于根據(jù)所述目標(biāo)位置信息和所述當(dāng)前位置信息來計(jì)算所述目標(biāo)物體與所述當(dāng)前物體之間的相對位置信息;以及區(qū)域標(biāo)注模塊,用于根據(jù)所述相對位置信息和所述成像器件的參數(shù)信息來在所述圖像信息中標(biāo)注所述目標(biāo)區(qū)域。
在一個示例中,所述相對位置計(jì)算模塊可以根據(jù)所述目標(biāo)位置信息和所述當(dāng)前位置信息來確定所述目標(biāo)物體的參考點(diǎn)與所述當(dāng)前物體的參考點(diǎn)之間的點(diǎn)相對位置信息,所述目標(biāo)物體的參考點(diǎn)是所述目標(biāo)位置信息所確定的在所述目標(biāo)物體的整體空間中的點(diǎn),而所述當(dāng)前物體的參考點(diǎn)是所述當(dāng)前位置信息所確定的在所述當(dāng)前物體的整體空間中的點(diǎn),并且所述區(qū)域標(biāo)注模塊可以根據(jù)所述點(diǎn)相對位置信息和所述成像器件的參數(shù)信息來確定所述目標(biāo)物體的參考點(diǎn)在所述圖像信息中的位置點(diǎn);以及在所述圖像信息中標(biāo)注所述位置點(diǎn),作為所述目標(biāo)區(qū)域。
在一個示例中,所述相對位置計(jì)算模塊可以根據(jù)所述目標(biāo)物體的尺寸信息、參考點(diǎn)位置信息、和所述目標(biāo)位置信息、以及所述當(dāng)前位置信息來確定所述目標(biāo)物體的整體空間與所述當(dāng)前物體的參考點(diǎn)之間的區(qū)域相對位置信息,所述參考點(diǎn)位置信息指示出所述目標(biāo)位置信息所確定的點(diǎn)在所述目標(biāo)物體的整體空間中的特定位置,所述當(dāng)前物體的參考點(diǎn)是所述當(dāng)前位置信息所確定的在所述當(dāng)前物體的整體空間中的點(diǎn),并且所述區(qū)域標(biāo)注模塊可以根據(jù)所述區(qū)域相對位置信息和所述成像器件的參數(shù)信息來確定所述目標(biāo)物體的整體空間在所述圖像信息中的位置區(qū)域;以及在所述圖像信息中標(biāo)注所述位置區(qū)域,作為所述目標(biāo)區(qū)域。
在一個示例中,所述區(qū)域標(biāo)注單元130可以包括:關(guān)系確定模塊,用于根據(jù)所述成像器件的參數(shù)信息來確定所述圖像信息中每個像素相對于所述當(dāng)前物體的相對位置關(guān)系;當(dāng)前位置獲取模塊,用于獲取所述當(dāng)前物體的當(dāng)前位置信息,所述當(dāng)前位置信息與所述圖像信息在時間上同步;相對位置計(jì)算模塊,用于根據(jù)所述目標(biāo)位置信息和所述當(dāng)前位置信息來計(jì)算所述目標(biāo)物體與所述當(dāng)前物體之間的相對位置信息;以及區(qū)域標(biāo)注模塊,用于根據(jù)所述相對位置關(guān)系和相對位置信息來在所述圖像信息中標(biāo)注所述目標(biāo)區(qū)域。
在一個示例中,所述相對位置計(jì)算模塊可以根據(jù)所述目標(biāo)位置信息和所述當(dāng)前位置信息來確定所述目標(biāo)物體的參考點(diǎn)與所述當(dāng)前物體的參考點(diǎn)之間的點(diǎn)相對位置信息,所述目標(biāo)物體的參考點(diǎn)是所述目標(biāo)位置信息所確定的在所述目標(biāo)物體的整體空間中的點(diǎn),而所述當(dāng)前物體的參考點(diǎn)是所述當(dāng)前位置信息所確定的在所述當(dāng)前物體的整體空間中的點(diǎn),并且所述區(qū)域標(biāo)注模塊可以根據(jù)所述相對位置關(guān)系和相對位置信息來在所述圖像信息中標(biāo)注所述目標(biāo)區(qū)域包括:根據(jù)所述相對位置關(guān)系和所述點(diǎn)相對位置信息來確定所述目標(biāo)物體的參考點(diǎn)在所述圖像信息中的位置點(diǎn);以及在所述圖像信息中標(biāo)注所述位置點(diǎn),作為所述目標(biāo)區(qū)域。
在一個示例中,所述相對位置計(jì)算模塊可以根據(jù)所述目標(biāo)物體的尺寸信息、參考點(diǎn)位置信息、和所述目標(biāo)位置信息、以及所述當(dāng)前位置信息來確定所述目標(biāo)物體的整體空間與所述當(dāng)前物體的參考點(diǎn)之間的區(qū)域相對位置信息,所述參考點(diǎn)位置信息指示出所述目標(biāo)位置信息所確定的點(diǎn)在所述目標(biāo)物體的整體空間中的特定位置,所述當(dāng)前物體的參考點(diǎn)是所述當(dāng)前位置信息所確定的在所述當(dāng)前物體的整體空間中的點(diǎn),并且所述區(qū)域標(biāo)注模塊可以根據(jù)所述相對位置關(guān)系和相對位置信息來在所述圖像信息中標(biāo)注所述目標(biāo)區(qū)域包括:根據(jù)所述相對位置關(guān)系和所述區(qū)域相對位置信息來確定所述目標(biāo)物體的整體空間在所述圖像信息中的位置區(qū)域;以及在所述圖像信息中標(biāo)注所述位置區(qū)域,作為所述目標(biāo)區(qū)域。
在一個示例中,在一個示例中,所述區(qū)域標(biāo)注裝置100還可以包括:樣本生成單元140,用于基于其中標(biāo)注有所述目標(biāo)區(qū)域的圖像信息來生成所述訓(xùn)練樣本。
上述區(qū)域標(biāo)注裝置100中的各個單元和模塊的具體功能和操作已經(jīng)在上面參考圖1到圖7描述的區(qū)域標(biāo)注方法中詳細(xì)介紹,并因此,將省略其重復(fù)描述。
如上所述,本申請的實(shí)施例可以應(yīng)用于對其上裝備有成像器件的諸如交通工具、可移動機(jī)器人、固定監(jiān)控?cái)z像頭之類的各種在線電子設(shè)備所處的行駛環(huán)境中目標(biāo)物體的目標(biāo)區(qū)域進(jìn)行標(biāo)注。并且,根據(jù)本申請實(shí)施例的區(qū)域標(biāo)注方法和區(qū)域標(biāo)注裝置可以直接實(shí)現(xiàn)在上述在線電子設(shè)備上。但是,考慮到在線電子設(shè)備往往處理能力有限,所以為了獲得更好的性能,也可以將本申請的實(shí)施例實(shí)現(xiàn)在能夠與在線電子設(shè)備進(jìn)行通信以從其接收各種所需信息的并能向其傳送訓(xùn)練好的機(jī)器學(xué)習(xí)模型的各種離線的電子設(shè)備中。例如,該離線的電子設(shè)備可以包括諸如終端設(shè)備、服務(wù)器等。
相應(yīng)地,根據(jù)本申請實(shí)施例的區(qū)域標(biāo)注裝置100可以作為一個軟件模塊和/或硬件模塊而集成到該在線或離線的電子設(shè)備中,換言之,該電子設(shè)備可以包括該區(qū)域標(biāo)注裝置100。例如,該區(qū)域標(biāo)注裝置100可以是該電子設(shè)備的操作系統(tǒng)中的一個軟件模塊,或者可以是針對于該電子設(shè)備所開發(fā)的一個應(yīng)用程序;當(dāng)然,該區(qū)域標(biāo)注裝置100同樣可以是該電子設(shè)備的眾多硬件模塊之一。
替換地,在另一示例中,該區(qū)域標(biāo)注裝置100與該在線或離線的電子設(shè)備也可以是分立的設(shè)備,并且該區(qū)域標(biāo)注裝置100可以通過有線和/或無線網(wǎng)絡(luò)連接到該電子設(shè)備,并且按照約定的數(shù)據(jù)格式來傳輸交互信息。
示例性電子設(shè)備
下面,參考圖9來描述根據(jù)本申請實(shí)施例的電子設(shè)備。該電子設(shè)備可以是其上裝備有成像器件的諸如交通工具、可移動機(jī)器人之類的在線電子設(shè)備,也可以是能夠與在線電子設(shè)備進(jìn)行通信以向其傳送訓(xùn)練好的機(jī)器學(xué)習(xí)模型的離線的電子設(shè)備。
圖9圖示了根據(jù)本申請實(shí)施例的電子設(shè)備的框圖。
如圖9所示,電子設(shè)備10包括一個或多個處理器11和存儲器12。
處理器11可以是中央處理單元(CPU)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其他形式的處理單元,并且可以控制電子設(shè)備10中的其他組件以執(zhí)行期望的功能。
存儲器12可以包括一個或多個計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品可以包括各種形式的計(jì)算機(jī)可讀存儲介質(zhì),例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機(jī)存取存儲器(RAM)和/或高速緩沖存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(ROM)、硬盤、閃存等。在所述計(jì)算機(jī)可讀存儲介質(zhì)上可以存儲一個或多個計(jì)算機(jī)程序指令,處理器11可以運(yùn)行所述程序指令,以實(shí)現(xiàn)上文所述的本申請的各個實(shí)施例的區(qū)域標(biāo)注方法以及/或者其他期望的功能。在所述計(jì)算機(jī)可讀存儲介質(zhì)中還可以存儲諸如圖像信息、位置信息、目標(biāo)區(qū)域、訓(xùn)練樣本等各種內(nèi)容。
在一個示例中,電子設(shè)備10還可以包括:輸入裝置13和輸出裝置14,這些組件通過總線系統(tǒng)和/或其他形式的連接機(jī)構(gòu)(未示出)互連。
例如,該輸入裝置13可以是成像器件,用于采集圖像信息,所采集的圖像信息可以被存儲在存儲器12中以供其他組件使用。當(dāng)然,也可以利用其他集成或分立的成像器件來采集該圖像信息,并且將它發(fā)送到電子設(shè)備10。此外,該輸入設(shè)備13還可以包括例如鍵盤、鼠標(biāo)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸入設(shè)備等等。
該輸出裝置14可以向外部(例如,用戶或機(jī)器學(xué)習(xí)模型)輸出各種信息,包括確定出的行駛環(huán)境的目標(biāo)區(qū)域、訓(xùn)練樣本等。該輸出設(shè)備14可以包括例如顯示器、揚(yáng)聲器、打印機(jī)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出設(shè)備等等。
當(dāng)然,為了簡化,圖9中僅示出了該電子設(shè)備10中與本申請有關(guān)的組件中的一些,省略了諸如總線、輸入/輸出接口等等的組件。除此之外,根據(jù)具體應(yīng)用情況,電子設(shè)備10還可以包括任何其他適當(dāng)?shù)慕M件。
示例性計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲介質(zhì)
除了上述方法和設(shè)備以外,本申請的實(shí)施例還可以是計(jì)算機(jī)程序產(chǎn)品,其包括計(jì)算機(jī)程序指令,所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實(shí)施例的區(qū)域標(biāo)注方法中的步驟。
所述計(jì)算機(jī)程序產(chǎn)品可以以一種或多種程序設(shè)計(jì)語言的任意組合來編寫用于執(zhí)行本申請實(shí)施例操作的程序代碼,所述程序設(shè)計(jì)語言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語言,諸如Java、C++等,還包括常規(guī)的過程式程序設(shè)計(jì)語言,諸如“C”語言或類似的程序設(shè)計(jì)語言。程序代碼可以完全地在用戶計(jì)算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算設(shè)備上部分在遠(yuǎn)程計(jì)算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算設(shè)備或服務(wù)器上執(zhí)行。
此外,本申請的實(shí)施例還可以是計(jì)算機(jī)可讀存儲介質(zhì),其上存儲有計(jì)算機(jī)程序指令,所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實(shí)施例的區(qū)域標(biāo)注方法中的步驟。
所述計(jì)算機(jī)可讀存儲介質(zhì)可以采用一個或多個可讀介質(zhì)的任意組合??勺x介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)??勺x存儲介質(zhì)例如可以包括但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件,或者任意以上的組合??勺x存儲介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個或多個導(dǎo)線的電連接、便攜式盤、硬盤、隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPROM或閃存)、光纖、便攜式緊湊盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。
以上結(jié)合具體實(shí)施例描述了本申請的基本原理,但是,需要指出的是,在本申請中提及的優(yōu)點(diǎn)、優(yōu)勢、效果等僅是示例而非限制,不能認(rèn)為這些優(yōu)點(diǎn)、優(yōu)勢、效果等是本申請的各個實(shí)施例必須具備的。另外,上述公開的具體細(xì)節(jié)僅是為了示例的作用和便于理解的作用,而非限制,上述細(xì)節(jié)并不限制本申請為必須采用上述具體的細(xì)節(jié)來實(shí)現(xiàn)。
本申請中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進(jìn)行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認(rèn)識到的,可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯,指“包括但不限于”,且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”,且可與其互換使用,除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”,且可與其互換使用。
還需要指出的是,在本申請的裝置、設(shè)備和方法中,各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本申請的等效方案。
提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本申請。對這些方面的各種修改對于本領(lǐng)域技術(shù)人員而言是非常顯而易見的,并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本申請的范圍。因此,本申請不意圖被限制到在此示出的方面,而是按照與在此公開的原理和新穎的特征一致的最寬范圍。
為了例示和描述的目的已經(jīng)給出了以上描述。此外,此描述不意圖將本申請的實(shí)施例限制到在此公開的形式。盡管以上已經(jīng)討論了多個示例方面和實(shí)施例,但是本領(lǐng)域技術(shù)人員將認(rèn)識到其某些變型、修改、改變、添加和子組合。