本發(fā)明涉及定位測(cè)距技術(shù)，更具體地涉及運(yùn)動(dòng)物體的位置確定方法及系統(tǒng)。

背景技術(shù)：

在對(duì)諸如車輛、飛機(jī)等運(yùn)動(dòng)物體進(jìn)行定位以測(cè)量其與目標(biāo)區(qū)域的相對(duì)距離時(shí)，主要是借助于雷達(dá)。

以汽車輔助駕駛中的自動(dòng)泊車場(chǎng)景為例，自動(dòng)泊車向來(lái)是難點(diǎn)，其中最重要的是對(duì)車位準(zhǔn)確的檢測(cè)定位。

目前，量產(chǎn)的自動(dòng)泊車產(chǎn)品大部分是基于毫米波雷達(dá)來(lái)對(duì)車位進(jìn)行探測(cè)，受限于雷達(dá)的特性，車位兩側(cè)需要有障礙物，車輛通過(guò)來(lái)回探測(cè)來(lái)猜測(cè)車位的信息，因此，倒車體驗(yàn)很差。

其余的自動(dòng)泊車產(chǎn)品主要是基于傳統(tǒng)機(jī)器視覺(jué)來(lái)定位車位，可是，由于車位復(fù)雜多樣，加上光照、角度等各種因素的影響，車位識(shí)別率不超過(guò)40％，并且，對(duì)車位內(nèi)的障礙物沒(méi)有處理，容易造成倒車事故，因此很少采用。

當(dāng)然也有兩者結(jié)合的產(chǎn)品，可是，由于各自缺陷導(dǎo)致未能很好地互補(bǔ)，再加上成本和安裝校準(zhǔn)等各方面的問(wèn)題，也很難得到很好的應(yīng)用。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是為了克服上述缺點(diǎn)而完成的，所采用的技術(shù)方案如下。

一種運(yùn)動(dòng)物體的位置確定方法，包括：步驟a，針對(duì)每一個(gè)單位時(shí)間，獲取所述運(yùn)動(dòng)物體周圍的環(huán)視圖像；步驟b，基于所述環(huán)視圖像，利用事先訓(xùn)練好的識(shí)別模型，確定虛擬目標(biāo)區(qū)域；步驟c，針對(duì)所述虛擬目標(biāo)區(qū)域，利用所述識(shí)別模型，確定其各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息；步驟d，基于所述環(huán)視圖像的成像坐標(biāo)系與所述運(yùn)動(dòng)物體的主體坐標(biāo)系之間的映射關(guān)系，根據(jù)所述各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息來(lái)計(jì)算所述虛擬目標(biāo)區(qū)域所對(duì)應(yīng)的實(shí)際目標(biāo)區(qū)域與所述運(yùn)動(dòng)物體的相對(duì)距離；以及步驟e，針對(duì)每一個(gè)單位時(shí)間，使用針對(duì)當(dāng)前單位時(shí)間的前一個(gè)單位時(shí)間的通過(guò)所述步驟a～所述步驟d得到的相對(duì)距離與所述運(yùn)動(dòng)物體在所述前一個(gè)單位時(shí)間內(nèi)移動(dòng)的距離之差來(lái)修正針對(duì)所述當(dāng)前單位時(shí)間的通過(guò)所述步驟a～所述步驟d得到的相對(duì)距離，以獲得針對(duì)所述當(dāng)前單位時(shí)間的修正后的相對(duì)距離。

進(jìn)一步地，在根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法中，還包括：使用樣本數(shù)據(jù)對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練以獲得用于所述虛擬目標(biāo)區(qū)域的所述識(shí)別模型的步驟。

進(jìn)一步地，在根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法中，所述步驟b包括：步驟b1，在所述環(huán)視圖像中自適應(yīng)地選取若干個(gè)大小不同的候選區(qū)域；步驟b2，利用所述識(shí)別模型來(lái)計(jì)算每一個(gè)所述候選區(qū)域成為所述虛擬目標(biāo)區(qū)域的概率值；以及步驟b3，基于所述若干個(gè)大小不同的候選區(qū)域各自的概率值所形成的至少一個(gè)概率簇，從所述若干個(gè)候選區(qū)域中選擇一個(gè)候選區(qū)域來(lái)作為所述虛擬目標(biāo)區(qū)域。

進(jìn)一步地，在根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法中，所述步驟d包括：步驟d1，根據(jù)所述各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息來(lái)計(jì)算所述各個(gè)虛擬關(guān)鍵點(diǎn)在所述環(huán)視圖像的成像坐標(biāo)系下的虛擬三維角度信息；步驟d2，基于所述環(huán)視圖像的成像坐標(biāo)系與所述運(yùn)動(dòng)物體的主體坐標(biāo)系之間的映射關(guān)系，根據(jù)所述虛擬三維角度信息來(lái)計(jì)算與各個(gè)虛擬關(guān)鍵點(diǎn)對(duì)應(yīng)的用于確定實(shí)際目標(biāo)區(qū)域的各個(gè)實(shí)際關(guān)鍵點(diǎn)在所述運(yùn)動(dòng)物體的主體坐標(biāo)系下的實(shí)際三維角度信息；以及步驟d3，基于所述實(shí)際三維角度信息和所述運(yùn)動(dòng)物體的高度來(lái)計(jì)算所述各個(gè)實(shí)際關(guān)鍵點(diǎn)與所述運(yùn)動(dòng)物體的相對(duì)距離。

進(jìn)一步地，在根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法中，在所述步驟e中，對(duì)關(guān)于所述前一個(gè)單位時(shí)間的所述距離之差和針對(duì)所述當(dāng)前單位時(shí)間計(jì)算出的相對(duì)距離進(jìn)行卡爾曼濾波以獲得針對(duì)所述當(dāng)前單位時(shí)間的修正后的相對(duì)距離。

一種運(yùn)動(dòng)物體的位置確定裝置系統(tǒng)，包括：第一模塊，針對(duì)每一個(gè)單位時(shí)間，獲取所述運(yùn)動(dòng)物體周圍的環(huán)視圖像；第二模塊，基于所述環(huán)視圖像，利用事先訓(xùn)練好的識(shí)別模型，確定虛擬目標(biāo)區(qū)域；第三模塊，針對(duì)所述虛擬目標(biāo)區(qū)域，利用所述識(shí)別模型，確定其各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息；第四模塊，基于所述環(huán)視圖像的成像坐標(biāo)系與所述運(yùn)動(dòng)物體的主體坐標(biāo)系之間的映射關(guān)系，根據(jù)所述各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息來(lái)計(jì)算所述虛擬目標(biāo)區(qū)域所對(duì)應(yīng)的實(shí)際目標(biāo)區(qū)域與所述運(yùn)動(dòng)物體的相對(duì)距離；以及第五模塊，針對(duì)每一個(gè)單位時(shí)間，使用針對(duì)當(dāng)前單位時(shí)間的前一個(gè)單位時(shí)間的通過(guò)所述第一模塊～所述第四模塊得到的相對(duì)距離與所述運(yùn)動(dòng)物體在所述前一個(gè)單位時(shí)間內(nèi)移動(dòng)的距離之差來(lái)修正針對(duì)所述當(dāng)前單位時(shí)間的通過(guò)所述第一模塊～所述第四模塊得到的相對(duì)距離，以獲得針對(duì)所述當(dāng)前單位時(shí)間的修正后的相對(duì)距離。

進(jìn)一步地，在根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定系統(tǒng)中，還包括：使用樣本數(shù)據(jù)對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練以獲得用于所述虛擬目標(biāo)區(qū)域的所述識(shí)別模型的模塊。

進(jìn)一步地，在根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定系統(tǒng)中，所述第二模塊包括：在所述環(huán)視圖像中自適應(yīng)地選取若干個(gè)大小不同的候選區(qū)域的單元；利用所述識(shí)別模型來(lái)計(jì)算每一個(gè)所述候選區(qū)域成為所述虛擬目標(biāo)區(qū)域的概率值的單元；以及基于所述若干個(gè)大小不同的候選區(qū)域各自的概率值所形成的至少一個(gè)概率簇，從所述若干個(gè)候選區(qū)域中選擇一個(gè)候選區(qū)域來(lái)作為所述虛擬目標(biāo)區(qū)域的單元。

進(jìn)一步地，在根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定系統(tǒng)中，所述第四模塊包括：根據(jù)所述各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息來(lái)計(jì)算所述各個(gè)虛擬關(guān)鍵點(diǎn)在所述環(huán)視圖像的成像坐標(biāo)系下的虛擬三維角度信息的單元；基于所述環(huán)視圖像的成像坐標(biāo)系與所述運(yùn)動(dòng)物體的主體坐標(biāo)系之間的映射關(guān)系，根據(jù)所述虛擬三維角度信息來(lái)計(jì)算與各個(gè)虛擬關(guān)鍵點(diǎn)對(duì)應(yīng)的用于確定實(shí)際目標(biāo)區(qū)域的各個(gè)實(shí)際關(guān)鍵點(diǎn)在所述運(yùn)動(dòng)物體的主體坐標(biāo)系下的實(shí)際三維角度信息的單元；以及基于所述實(shí)際三維角度信息和所述運(yùn)動(dòng)物體的高度來(lái)計(jì)算所述各個(gè)實(shí)際關(guān)鍵點(diǎn)與所述運(yùn)動(dòng)物體的相對(duì)距離的單元。

進(jìn)一步地，在根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定系統(tǒng)中，所述第五模塊對(duì)關(guān)于所述前一個(gè)單位時(shí)間的所述距離之差和針對(duì)所述當(dāng)前單位時(shí)間計(jì)算出的相對(duì)距離進(jìn)行卡爾曼濾波以獲得針對(duì)所述當(dāng)前單位時(shí)間的修正后的相對(duì)距離。

一種運(yùn)動(dòng)物體位置確定程序，用于使計(jì)算機(jī)執(zhí)行所述運(yùn)動(dòng)物體的位置確定方法。

一種運(yùn)動(dòng)物體位置確定程序，用于使計(jì)算機(jī)實(shí)現(xiàn)所述運(yùn)動(dòng)物體的位置確定系統(tǒng)的功能。

一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄有用于使計(jì)算機(jī)執(zhí)行所述運(yùn)動(dòng)物體的位置確定方法的運(yùn)動(dòng)物體位置確定程序。

一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄有用于使計(jì)算機(jī)實(shí)現(xiàn)所述運(yùn)動(dòng)物體的位置確定系統(tǒng)的功能的運(yùn)動(dòng)物體位置確定程序。

相對(duì)于現(xiàn)有技術(shù)，本發(fā)明的有益效果是，1)通過(guò)采用機(jī)器視覺(jué)的深度學(xué)習(xí)并結(jié)合獨(dú)特的射影幾何和成像原理，從而實(shí)現(xiàn)了對(duì)運(yùn)動(dòng)物體周邊的目標(biāo)區(qū)域的準(zhǔn)確識(shí)別、以及實(shí)現(xiàn)了運(yùn)動(dòng)物體相對(duì)于目標(biāo)區(qū)域的準(zhǔn)確定位；2)通過(guò)考慮運(yùn)動(dòng)物體變形等特點(diǎn)而閉環(huán)地確定運(yùn)動(dòng)物體與目標(biāo)區(qū)域的相對(duì)距離，從而能夠在各類應(yīng)用場(chǎng)景下具有更強(qiáng)的魯棒性；3)由于不使用雷達(dá)等設(shè)備而是代之以依靠圖像獲取裝置和閉環(huán)計(jì)算方法，因此，能夠在任何位置實(shí)時(shí)確定運(yùn)動(dòng)物體相對(duì)于目標(biāo)區(qū)域的位置，不要求運(yùn)動(dòng)物體兩側(cè)必須存在用于定位測(cè)距的障礙物。

附圖說(shuō)明

圖1是根據(jù)本發(fā)明的一個(gè)示例的深度學(xué)習(xí)模型的原理圖；

圖2是根據(jù)本發(fā)明的一個(gè)示例的運(yùn)動(dòng)物體的位置確定方法的流程圖；

圖3是圖2所示出的流程圖中的步驟b的細(xì)節(jié)流程圖；

圖4是圖2所示出的流程圖中的步驟d的細(xì)節(jié)流程圖；

圖5是根據(jù)本發(fā)明的一個(gè)示例的運(yùn)動(dòng)物體的位置確定系統(tǒng)的框圖。

具體實(shí)施方式

以下將結(jié)合附圖對(duì)本發(fā)明涉及的運(yùn)動(dòng)物體的位置確定方法及系統(tǒng)作進(jìn)一步的詳細(xì)描述。需要注意的是，以下的具體實(shí)施方式是示例性而非限制的，其旨在提供對(duì)本發(fā)明的基本了解，并不旨在確認(rèn)本發(fā)明的關(guān)鍵或決定性的要素或限定所要保護(hù)的范圍。

此外，遍及本申請(qǐng)，可以使用序數(shù)(例如，第一、第二、第三等)作為要素(即，本申請(qǐng)中的任何名詞)的形容詞。序數(shù)的使用不暗示或創(chuàng)建要素的任何特定排序，也不將任何要素限于僅單個(gè)要素，除非明確公開(kāi)，諸如通過(guò)使用術(shù)語(yǔ)“在……之前”、“在……之后”、“單個(gè)”和其它這樣的術(shù)語(yǔ)。相反，序數(shù)的使用將區(qū)分要素。作為示例，第一要素與第二要素不同，并且第一要素可以涵蓋多于一個(gè)要素且在要素的排序中處于第二要素之后(或之前)。

根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法及系統(tǒng)結(jié)合深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的突破并且通過(guò)機(jī)器視覺(jué)來(lái)對(duì)運(yùn)動(dòng)物體進(jìn)行定位。因此，根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法及系統(tǒng)適用于各種運(yùn)動(dòng)物體的各種場(chǎng)景，其中，所述各種運(yùn)動(dòng)物體包括但不限于車輛、飛機(jī)等，而所述各種場(chǎng)景包括但不限于自動(dòng)泊車、車位檢測(cè)等常用場(chǎng)景。

下面以車輛的車位檢測(cè)場(chǎng)景為例來(lái)詳細(xì)地說(shuō)明根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法及系統(tǒng)。

在將作為本發(fā)明的一個(gè)示例的車輛的位置確定方法及系統(tǒng)應(yīng)用于待定位的車輛之前，需要事先訓(xùn)練好一個(gè)識(shí)別模型以用于實(shí)際車位圖像。作為上述識(shí)別模型，例如，可以通過(guò)對(duì)如圖1所示的lenet-5深度學(xué)習(xí)模型進(jìn)行訓(xùn)練來(lái)獲得。下面以圖1中示出的lenet-5深度學(xué)習(xí)模型為例來(lái)詳細(xì)地說(shuō)明如何訓(xùn)練模型。

具體地，首先，需要采集大量樣本，例如，搜集在各種倒車環(huán)境下的各類倒車視頻，此外通過(guò)互聯(lián)網(wǎng)爬取各種車位圖片，此外，還通過(guò)matlab對(duì)所爬取的各個(gè)視角、距離的車位圖片進(jìn)行仿真。接著，通過(guò)對(duì)所搜集的各類倒車視頻的每一幀的圖像、所爬取的各種車位圖片、以及仿真后的車位圖片進(jìn)行縮放、旋轉(zhuǎn)、平移等操作，從而進(jìn)一步擴(kuò)大樣本的數(shù)量。然后，對(duì)所有樣本提取出對(duì)應(yīng)的車位信息并進(jìn)行標(biāo)注，所述車位信息包括但不限于車位的類型、車位內(nèi)是否有干擾物體等。最后，利用標(biāo)注有車位信息的所有樣本對(duì)lenet-5深度學(xué)習(xí)模型進(jìn)行訓(xùn)練以獲得適合后續(xù)的車位區(qū)域識(shí)別的識(shí)別模型的各個(gè)模型參數(shù)。

如圖1所示，lenet-5深度學(xué)習(xí)模型共分為七層，不包含輸入，每層都包含可訓(xùn)練參數(shù)(連接權(quán)重)。輸入圖像為32×32的大小。第一層c1為卷積層，由6個(gè)28×28大小的特征圖構(gòu)成，用于形成車位的特征圖譜；第二層s2為下抽樣層，由6個(gè)14×14大小的特征圖構(gòu)成，用于利用圖像局部相關(guān)性來(lái)對(duì)車位的特征圖譜進(jìn)行下抽樣，以便在減少數(shù)據(jù)處理量的同時(shí)保留有用信息；第三層c3為卷積層，由16個(gè)10×10大小的特征圖構(gòu)成，用于對(duì)車位的特征圖譜再次進(jìn)行卷積操作以用于提取多種組合特征；第四層s4為下抽樣層，與第二層類似，由16個(gè)5×5大小的特征圖構(gòu)成；第五層c5為卷積層，由120個(gè)特征圖構(gòu)成，與第四層s4進(jìn)行全連接以便于提取全局特征；第六層f6為全連接層，由84個(gè)單元構(gòu)成，與第五層c5進(jìn)行全連接，對(duì)應(yīng)最后一層的編碼；第七層為輸出層，由歐式徑向基函數(shù)(euclideanradialbasisfunction)單元組成，用于輸出車位的特征圖譜的定位信息，諸如圖1中所示出的車位框狀的輸入圖像的外部4個(gè)頂點(diǎn)和內(nèi)部4個(gè)頂點(diǎn)的坐標(biāo)、以及虛擬車位線寬度等。

通過(guò)利用大量樣本來(lái)對(duì)圖1這樣的lenet-5深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，從而獲得用于實(shí)際車位框的識(shí)別的識(shí)別模型以備后續(xù)使用。

需要注意的是，雖然在以上將lenet-5深度學(xué)習(xí)模型作為示例進(jìn)行了說(shuō)明，但是，本發(fā)明中所涉及的深度學(xué)習(xí)模型不限于此，只要是能夠使用大量樣本數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練以用于車位圖像的識(shí)別的模型，都可以作為本發(fā)明中所涉及的深度學(xué)習(xí)模型來(lái)發(fā)揮作用。

接下來(lái)，參照?qǐng)D2至圖4來(lái)說(shuō)明如何使用上述獲得的識(shí)別模型來(lái)確定運(yùn)動(dòng)物體(在本示例中為車輛)相對(duì)于目標(biāo)區(qū)域(在本示例中為車位框)的位置。

圖2是根據(jù)本發(fā)明的一個(gè)示例的運(yùn)動(dòng)物體(在本示例中為車輛)的位置確定方法的流程圖。

在本示例中，當(dāng)車輛的用戶進(jìn)行倒車而開(kāi)啟環(huán)視功能時(shí)，使用例如安裝于車輛的車載視覺(jué)系統(tǒng)中的圖像傳感器等針對(duì)每一個(gè)單位時(shí)間來(lái)獲取車輛周圍的環(huán)視圖像(步驟a)。

需要注意的是，上述單位時(shí)間可以是1幀間隔，也可以是數(shù)幀間隔，還可以是根據(jù)車體變形等預(yù)先設(shè)定的其它固定的一段間隔時(shí)間。

在本示例中，在例如使用上述圖像傳感器等針對(duì)每一個(gè)單位時(shí)間獲得車輛周圍的環(huán)視圖像之后，上述圖像傳感器等將該環(huán)視圖像傳送至例如車輛的電子控制單元(electroniccontrolunit，以下簡(jiǎn)稱ecu)，由該ecu利用事先訓(xùn)練好的上述識(shí)別模型來(lái)對(duì)上述環(huán)視圖像進(jìn)行識(shí)別并且確定即將停車的車位框在圖像上的區(qū)域、即虛擬目標(biāo)區(qū)域(步驟b)。

圖3是圖2所示出的流程圖中的步驟b的細(xì)節(jié)流程圖。

具體地，在獲得車輛周圍的環(huán)視圖像之后，在該環(huán)視圖像中通過(guò)下述公式(1)自適應(yīng)地選取若干個(gè)大小不同的候選區(qū)域(例如，若干個(gè)邊長(zhǎng)大小不同的框)(步驟b1)：

其中，z為處于所選取的框的某條邊上的像素點(diǎn)離相應(yīng)中線的距離，g(z)為該條邊的邊長(zhǎng)。

然后，針對(duì)上述若干個(gè)邊長(zhǎng)大小不同的框中的每一個(gè)，將框及其內(nèi)部的圖像放入事先訓(xùn)練好的上述識(shí)別模型來(lái)計(jì)算該框與能夠停車的車位框的匹配程度、即成為上述虛擬目標(biāo)區(qū)域的概率值(步驟b2)。在對(duì)上述若干個(gè)邊長(zhǎng)大小不同的框均計(jì)算完該概率值之后，將根據(jù)各個(gè)框的位置以及每個(gè)框的概率值來(lái)形成關(guān)于上述環(huán)視圖像的概率分布圖，在該概率分布圖中分布有至少一個(gè)概率簇，每個(gè)概率簇中存在一個(gè)概率最大值，其代表上述環(huán)視圖像中該概率簇所處的區(qū)域存在成為車位框的可能性最大的一個(gè)框。

接下來(lái)，基于上述若干個(gè)邊長(zhǎng)大小不同的框的概率值所形成的上述至少一個(gè)概率簇，從上述若干個(gè)框中選擇一個(gè)框來(lái)作為上述虛擬目標(biāo)區(qū)域(步驟b3)。在一個(gè)示例中，環(huán)視圖像的概率分布圖僅分布有一個(gè)概率簇，此時(shí)，可以選擇該概率簇中概率值最大的那個(gè)框來(lái)作為上述虛擬目標(biāo)區(qū)域。在另一個(gè)示例中，環(huán)視圖像的概率分布圖分布有兩個(gè)或兩個(gè)以上的概率簇，此時(shí)，可以選擇所有概率簇中概率值最大的那個(gè)框來(lái)作為上述虛擬目標(biāo)區(qū)域。在又一個(gè)示例中，環(huán)視圖像的概率分布圖分布有兩個(gè)或兩個(gè)以上的概率簇，此時(shí)，可以選擇離車輛最近的那個(gè)概率簇中概率值最大的那個(gè)框來(lái)作為上述虛擬目標(biāo)區(qū)域。

在確定即將停車的車位框在圖像上的區(qū)域、即虛擬目標(biāo)區(qū)域之后，返回至圖2，執(zhí)行步驟c，即，針對(duì)該虛擬目標(biāo)區(qū)域，利用上述識(shí)別模型，確定其各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息。

需要注意的是，上述各個(gè)虛擬關(guān)鍵點(diǎn)可以是車位框的外部4個(gè)頂點(diǎn)和內(nèi)部4個(gè)頂點(diǎn)，但是不限于此，也可以是在車位框的各條邊上選取的若干點(diǎn)。此外，需要注意的是，上述成像位置信息可以是車位框的外部4個(gè)頂點(diǎn)和內(nèi)部4個(gè)頂點(diǎn)的坐標(biāo)值，但是不限于此，也可以是在車位框的各條邊上選取的若干點(diǎn)的坐標(biāo)，還可以是僅車位框的外部4個(gè)頂點(diǎn)和車位線寬度，等等。

然后，在上述示例中，ecu基于環(huán)視圖像的成像坐標(biāo)系與車輛自身的主體坐標(biāo)系之間的映射關(guān)系，根據(jù)在上述步驟c中確定的各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息來(lái)計(jì)算虛擬目標(biāo)區(qū)域所對(duì)應(yīng)的實(shí)際目標(biāo)區(qū)域與車輛的相對(duì)距離(步驟d)。

圖4是圖2所示出的流程圖中的步驟d的細(xì)節(jié)流程圖。

具體地，在確定出虛擬目標(biāo)區(qū)域的各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息之后，根據(jù)所述成像位置信息來(lái)計(jì)算各個(gè)虛擬關(guān)鍵點(diǎn)在環(huán)視圖像的成像坐標(biāo)系下的虛擬三維角度信息(步驟d1)。具體地，事先標(biāo)定好車輛的車載視覺(jué)系統(tǒng)的光軸角度，確定對(duì)應(yīng)于該光軸的成像坐標(biāo)系，通過(guò)成像原理計(jì)算出各個(gè)虛擬關(guān)鍵點(diǎn)和車輛的車載視覺(jué)系統(tǒng)的連線與成像坐標(biāo)系中的各個(gè)軸形成的投影夾角，從而獲得各個(gè)虛擬關(guān)鍵點(diǎn)在環(huán)視圖像的成像坐標(biāo)系下的虛擬三維角度信息。

接下來(lái)，基于由下述公式(2)限定的環(huán)視圖像的成像坐標(biāo)系與車輛自身的主體坐標(biāo)系之間的映射關(guān)系(即，通過(guò)下述公式(2)求取的變換矩陣[rt])，將各個(gè)虛擬關(guān)鍵點(diǎn)在環(huán)視圖像的成像坐標(biāo)系下的虛擬三維角度信息變換成與各個(gè)虛擬關(guān)鍵點(diǎn)對(duì)應(yīng)的用于確定實(shí)際目標(biāo)區(qū)域的各個(gè)實(shí)際關(guān)鍵點(diǎn)在運(yùn)動(dòng)物體的主體坐標(biāo)系下的實(shí)際三維角度信息(步驟d2)：

其中，zc是縮放因子，取值為大于或等于0的任意一個(gè)數(shù)；u、v是環(huán)視圖像上的任意點(diǎn)的像素坐標(biāo)；f/a是環(huán)視圖像長(zhǎng)尺寸方向的像素?cái)?shù)目，f/b是環(huán)視圖像短尺寸方向的像素?cái)?shù)目；u0、v0是位于環(huán)視圖像中心的點(diǎn)的像素坐標(biāo)，取值分別等于1/2*f/a、1/2*f/b；r是從環(huán)視圖像的成像坐標(biāo)系到車輛自身的主體坐標(biāo)系的3×3的rodrigues旋轉(zhuǎn)矩陣；t是3×1的平移矩陣，其中，在環(huán)視圖像的成像坐標(biāo)系的原點(diǎn)與車輛自身的主體坐標(biāo)系的原點(diǎn)重合時(shí)，t是每個(gè)分量的取值為0的3×1的平移矩陣；xw、yw、zw是車輛自身的主體坐標(biāo)系中與u、v對(duì)應(yīng)的點(diǎn)的坐標(biāo)。

然后，基于在步驟d2中計(jì)算出的實(shí)際三維角度信息和車身的高度，通過(guò)三角形原理來(lái)計(jì)算各個(gè)實(shí)際關(guān)鍵點(diǎn)與車身的相對(duì)距離(步驟d3)。

通過(guò)圖2的步驟a～步驟d，能夠針對(duì)每一個(gè)單位時(shí)間計(jì)算出車輛與目標(biāo)車位框的相對(duì)距離。

然而，考慮到倒車過(guò)程中車體載重狀態(tài)可能會(huì)發(fā)生變化，與此伴隨地，底盤(pán)傳感器可能會(huì)動(dòng)態(tài)調(diào)整車身的高度，因此，為了確保針對(duì)每一個(gè)單位時(shí)間的相對(duì)距離的計(jì)算的魯棒性，需要對(duì)每一個(gè)單位時(shí)間所對(duì)應(yīng)的相對(duì)距離的值用其前一個(gè)單位時(shí)間所對(duì)應(yīng)的相對(duì)距離的值進(jìn)行修正。具體地，在上述示例中，對(duì)于某一個(gè)單位時(shí)間而言，ecu通過(guò)上述步驟a～上述步驟d計(jì)算出當(dāng)前單位時(shí)間的相對(duì)距離并將其作為觀測(cè)值，另一方面，ecu對(duì)車輛的輪速傳感器進(jìn)行控制以通過(guò)該輪速傳感器獲得車輛在當(dāng)前單位時(shí)間的前一個(gè)單位時(shí)間內(nèi)移動(dòng)的距離，然后ecu用已經(jīng)通過(guò)上述步驟a～上述步驟d計(jì)算完畢的所述前一個(gè)單位時(shí)間的相對(duì)距離減去通過(guò)輪速傳感器獲得的移動(dòng)距離并將所得結(jié)果作為預(yù)測(cè)值，之后，ecu將上述觀測(cè)值和上述預(yù)測(cè)值通過(guò)一組卡爾曼濾波器，最終得到由下述公式(3)表示的針對(duì)當(dāng)前單位時(shí)間的修正后的相對(duì)距離(步驟e)：

其中，f(x,y)表示所計(jì)算的修正后的相對(duì)距離的結(jié)果，x、y分別表示上述觀測(cè)值、上述預(yù)測(cè)值，k表示濾波器的個(gè)數(shù)，wk表示上述一組卡爾曼濾波器中的第k個(gè)卡爾曼濾波器的權(quán)重，gk(x,y)表示由第k個(gè)卡爾曼濾波器計(jì)算出的相對(duì)距離。

需要注意的是，上述根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法的各步驟可以通過(guò)形成在集成電路(ic芯片)上的邏輯電路在硬件上執(zhí)行，也可以使用cpu(centralprocessingunit：中央處理單元)在軟件上執(zhí)行，還可以通過(guò)軟硬件結(jié)合的方式來(lái)執(zhí)行。

當(dāng)如上所述將根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法應(yīng)用于車輛的車位檢測(cè)場(chǎng)景時(shí)，由于本發(fā)明結(jié)合深度學(xué)習(xí)在圖片識(shí)別領(lǐng)域的突破，通過(guò)車載視覺(jué)系統(tǒng)對(duì)車身周邊的車位進(jìn)行準(zhǔn)確的定位和識(shí)別，并且對(duì)車位內(nèi)障礙物進(jìn)行有效的判別，結(jié)合獨(dú)特的射影幾何方法，對(duì)可用車位進(jìn)行垂直鳥(niǎo)覽圖轉(zhuǎn)化，計(jì)算二維的車位坐標(biāo)，從而動(dòng)態(tài)閉環(huán)實(shí)現(xiàn)自動(dòng)泊車等汽車輔助駕駛。

根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法實(shí)現(xiàn)了在各種環(huán)境下的無(wú)差別的車位識(shí)別定位效果，可應(yīng)用于各類車輛輔助駕駛中，而且，可利用對(duì)應(yīng)框架來(lái)檢測(cè)車身周圍常見(jiàn)的其它物體和行人等信息，因此，對(duì)車輛安全提供新的保障。

根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法，與毫米波雷達(dá)相比，不需要車輛的駕駛員來(lái)回開(kāi)車和檢測(cè)車位，而是在任何位置都能夠?qū)崟r(shí)檢測(cè)出車位。對(duì)車位兩側(cè)也沒(méi)有要求。

根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法，車位識(shí)別率最終為99％，部分車位因模糊而導(dǎo)致人眼很難辨識(shí)，但是，基于視覺(jué)的機(jī)器學(xué)習(xí)也能很好得工作，此外，障礙物識(shí)別率為100％，從而保障了自動(dòng)泊車的安全性，識(shí)別的誤差為-2cm至2cm，也滿足了自動(dòng)泊車模型的要求。

最后，參照?qǐng)D5來(lái)說(shuō)明根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定系統(tǒng)。圖5是根據(jù)本發(fā)明的一個(gè)示例的運(yùn)動(dòng)物體(在本示例中為車輛)的位置確定系統(tǒng)的框圖。

如圖5所示，運(yùn)動(dòng)物體(在本示例中為車輛)的位置確定系統(tǒng)包括：第一模塊101、第二模塊102、第三模塊103、第四模塊104、以及第五模塊105。

第一模塊101針對(duì)每一個(gè)單位時(shí)間獲取車輛周圍的環(huán)視圖像。

在本示例中，第一模塊可以是安裝于車輛的車載視覺(jué)系統(tǒng)中的圖像傳感器等。

需要注意的是，上述單位時(shí)間可以是1幀間隔，也可以是數(shù)幀間隔，還可以是根據(jù)車體變形等預(yù)先設(shè)定的其它固定的一段間隔時(shí)間。

第二模塊102基于由第一模塊101獲取的環(huán)視圖像并利用事先訓(xùn)練好的識(shí)別模型來(lái)確定虛擬目標(biāo)區(qū)域。

關(guān)于上述識(shí)別模型，例如，可以通過(guò)對(duì)如圖1所示的lenet-5深度學(xué)習(xí)模型進(jìn)行訓(xùn)練來(lái)獲得。

在本示例中，第二模塊可以是車輛的ecu中的功能模塊，在例如使用上述圖像傳感器等針對(duì)每一個(gè)單位時(shí)間獲得車輛周圍的環(huán)視圖像之后，上述圖像傳感器等將該環(huán)視圖像傳送至該ecu，由該ecu利用上述識(shí)別模型來(lái)對(duì)上述環(huán)視圖像進(jìn)行識(shí)別并且確定即將停車的車位框在圖像上的區(qū)域、即虛擬目標(biāo)區(qū)域。

具體地，第二模塊102包括：在上述環(huán)視圖像中自適應(yīng)地選取若干個(gè)大小不同的候選區(qū)域的單元，所述單元通過(guò)下述公式(4)自適應(yīng)地選取若干個(gè)大小不同的候選區(qū)域(例如，若干個(gè)邊長(zhǎng)大小不同的框)：

其中，z為處于所選取的框的某條邊上的像素點(diǎn)離相應(yīng)中線的距離，g(z)為該條邊的邊長(zhǎng)。

此外，第二模塊102還包括：利用上述識(shí)別模型來(lái)計(jì)算每一個(gè)候選區(qū)域成為虛擬目標(biāo)區(qū)域的概率值的單元，通過(guò)所述單元，將獲得關(guān)于上述環(huán)視圖像的概率分布圖，在該概率分布圖中分布有至少一個(gè)概率簇，每個(gè)概率簇中存在一個(gè)概率最大值，其代表上述環(huán)視圖像中該概率簇所處的區(qū)域存在成為車位框的可能性最大的一個(gè)框。

此外，第二模塊102還包括：基于上述若干個(gè)大小不同的候選區(qū)域各自的概率值所形成的至少一個(gè)概率簇，從上述若干個(gè)候選區(qū)域中選擇一個(gè)候選區(qū)域來(lái)作為上述虛擬目標(biāo)區(qū)域的單元。在一個(gè)示例中，環(huán)視圖像的概率分布圖僅分布有一個(gè)概率簇，此時(shí)，可以選擇該概率簇中概率值最大的那個(gè)框來(lái)作為上述虛擬目標(biāo)區(qū)域。在另一個(gè)示例中，環(huán)視圖像的概率分布圖分布有兩個(gè)或兩個(gè)以上的概率簇，此時(shí)，可以選擇所有概率簇中概率值最大的那個(gè)框來(lái)作為上述虛擬目標(biāo)區(qū)域。在又一個(gè)示例中，環(huán)視圖像的概率分布圖分布有兩個(gè)或兩個(gè)以上的概率簇，此時(shí)，可以選擇離車輛最近的那個(gè)概率簇中概率值最大的那個(gè)框來(lái)作為上述虛擬目標(biāo)區(qū)域。

第三模塊103針對(duì)由第二模塊102確定的虛擬目標(biāo)區(qū)域利用上述識(shí)別模型來(lái)確定其各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息。

在本示例中，第三模塊可以是車輛的ecu中的功能模塊。

需要注意的是，上述各個(gè)虛擬關(guān)鍵點(diǎn)可以是車位框的外部4個(gè)頂點(diǎn)和內(nèi)部4個(gè)頂點(diǎn)，但是不限于此，也可以是在車位框的各條邊上選取的若干點(diǎn)。此外，需要注意的是，上述成像位置信息可以是車位框的外部4個(gè)頂點(diǎn)和內(nèi)部4個(gè)頂點(diǎn)的坐標(biāo)值，但是不限于此，也可以是在車位框的各條邊上選取的若干點(diǎn)的坐標(biāo)，還可以是僅車位框的外部4個(gè)頂點(diǎn)和車位線寬度，等等。

第四模塊104基于上述環(huán)視圖像的成像坐標(biāo)系與車輛自身的主體坐標(biāo)系之間的映射關(guān)系，根據(jù)上述各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息來(lái)計(jì)算上述虛擬目標(biāo)區(qū)域所對(duì)應(yīng)的實(shí)際目標(biāo)區(qū)域與車輛的相對(duì)距離。

在本示例中，第四模塊104可以是車輛的ecu中的功能模塊。

具體地，第四模塊104包括：根據(jù)各個(gè)虛擬關(guān)鍵點(diǎn)的成像位置信息來(lái)計(jì)算所述各個(gè)虛擬關(guān)鍵點(diǎn)在環(huán)視圖像的成像坐標(biāo)系下的虛擬三維角度信息的單元。具體地，所述單元通過(guò)事先標(biāo)定好車輛的車載視覺(jué)系統(tǒng)的光軸角度，確定對(duì)應(yīng)于該光軸的成像坐標(biāo)系，借助于成像原理計(jì)算出各個(gè)虛擬關(guān)鍵點(diǎn)和車輛的車載視覺(jué)系統(tǒng)的連線與成像坐標(biāo)系中的各個(gè)軸形成的投影夾角，從而獲得各個(gè)虛擬關(guān)鍵點(diǎn)在環(huán)視圖像的成像坐標(biāo)系下的虛擬三維角度信息。

此外，第四模塊104還包括：基于由下述公式(5)限定的環(huán)視圖像的成像坐標(biāo)系與車輛自身的主體坐標(biāo)系之間的映射關(guān)系(即，通過(guò)下述公式(5)求取的變換矩陣[rt])，根據(jù)上述虛擬三維角度信息來(lái)計(jì)算與各個(gè)虛擬關(guān)鍵點(diǎn)對(duì)應(yīng)的用于確定實(shí)際目標(biāo)區(qū)域的各個(gè)實(shí)際關(guān)鍵點(diǎn)在車輛自身的主體坐標(biāo)系下的實(shí)際三維角度信息的單元。

其中，zc是縮放因子，取值為大于或等于0的任意一個(gè)數(shù)；u、v是環(huán)視圖像上的任意點(diǎn)的像素坐標(biāo)；f/a是環(huán)視圖像長(zhǎng)尺寸方向的像素?cái)?shù)目，f/b是環(huán)視圖像短尺寸方向的像素?cái)?shù)目；u0、v0是位于環(huán)視圖像中心的點(diǎn)的像素坐標(biāo)，取值分別等于1/2*f/a、1/2*f/b；r是從環(huán)視圖像的成像坐標(biāo)系到車輛自身的主體坐標(biāo)系的3×3的rodrigues旋轉(zhuǎn)矩陣；t是3×1的平移矩陣，其中，在環(huán)視圖像的成像坐標(biāo)系的原點(diǎn)與車輛自身的主體坐標(biāo)系的原點(diǎn)重合時(shí)，t是每個(gè)分量的取值為0的3×1的平移矩陣；xw、yw、zw是車輛自身的主體坐標(biāo)系中與u、v對(duì)應(yīng)的點(diǎn)的坐標(biāo)。

此外，第四模塊104還包括：基于實(shí)際三維角度信息和車身的高度來(lái)計(jì)算各個(gè)實(shí)際關(guān)鍵點(diǎn)與車身的相對(duì)距離的單元。

通過(guò)上述第一模塊101～第四模塊104，能夠針對(duì)每一個(gè)單位時(shí)間計(jì)算出車輛與目標(biāo)車位框的相對(duì)距離。

然而，考慮到倒車過(guò)程中車體載重狀態(tài)可能會(huì)發(fā)生變化，與此伴隨地，底盤(pán)傳感器可能會(huì)動(dòng)態(tài)調(diào)整車身的高度，因此，為了確保針對(duì)每一個(gè)單位時(shí)間的相對(duì)距離的計(jì)算的魯棒性，需要對(duì)每一個(gè)單位時(shí)間所對(duì)應(yīng)的相對(duì)距離的值用其前一個(gè)單位時(shí)間所對(duì)應(yīng)的相對(duì)距離的值進(jìn)行修正。因此，在圖5所示的位置確定系統(tǒng)中設(shè)置有第五模塊105，所述第五模塊105針對(duì)每一個(gè)單位時(shí)間使用針對(duì)當(dāng)前單位時(shí)間的前一個(gè)單位時(shí)間的通過(guò)上述第一模塊101～上述第四模塊104得到的相對(duì)距離與車輛在上述前一個(gè)單位時(shí)間內(nèi)移動(dòng)的距離之差來(lái)修正針對(duì)上述當(dāng)前單位時(shí)間的通過(guò)上述第一模塊101～上述第四模塊104得到的相對(duì)距離，以獲得針對(duì)上述當(dāng)前單位時(shí)間的修正后的相對(duì)距離。其中，第五模塊105可以是車輛的ecu中的功能模塊，而車輛在前一個(gè)單位時(shí)間內(nèi)移動(dòng)的距離可以通過(guò)車輛的輪速傳感器來(lái)獲得。更具體地，第五模塊105對(duì)關(guān)于前一個(gè)單位時(shí)間的上述距離之差和針對(duì)上述當(dāng)前單位時(shí)間計(jì)算出的相對(duì)距離進(jìn)行卡爾曼濾波以獲得由下述公式(6)表示的針對(duì)上述當(dāng)前單位時(shí)間的修正后的相對(duì)距離。

其中，f(x,y)表示所計(jì)算的修正后的相對(duì)距離的結(jié)果，x、y分別表示上述觀測(cè)值、上述預(yù)測(cè)值，k表示濾波器的個(gè)數(shù)，wk表示上述一組卡爾曼濾波器中的第k個(gè)卡爾曼濾波器的權(quán)重，gk(x,y)表示由第k個(gè)卡爾曼濾波器計(jì)算出的相對(duì)距離。

除了上述第一模塊101至第五模塊105以外，根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定系統(tǒng)還包括：使用樣本數(shù)據(jù)對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練以獲得用于虛擬目標(biāo)區(qū)域的上述識(shí)別模型的模塊。

此外，上述的運(yùn)動(dòng)物體的位置確定系統(tǒng)的各模塊可以通過(guò)形成在集成電路(ic芯片)上的邏輯電路在硬件上實(shí)現(xiàn)，也可以使用cpu(centralprocessingunit：中央處理單元)在軟件上實(shí)現(xiàn)，還可以通過(guò)軟硬件結(jié)合的方式來(lái)實(shí)現(xiàn)。

根據(jù)本發(fā)明的運(yùn)動(dòng)物體的位置確定方法及系統(tǒng)，通過(guò)采用機(jī)器視覺(jué)的深度學(xué)習(xí)并結(jié)合獨(dú)特的射影幾何和成像原理，從而實(shí)現(xiàn)了對(duì)運(yùn)動(dòng)物體周邊的目標(biāo)區(qū)域的準(zhǔn)確識(shí)別、以及實(shí)現(xiàn)了運(yùn)動(dòng)物體相對(duì)于目標(biāo)區(qū)域的準(zhǔn)確定位；通過(guò)考慮運(yùn)動(dòng)物體變形等特點(diǎn)而閉環(huán)地確定運(yùn)動(dòng)物體與目標(biāo)區(qū)域的相對(duì)距離，從而能夠在各類應(yīng)用場(chǎng)景下具有更強(qiáng)的魯棒性；由于不使用雷達(dá)等設(shè)備而是代之以依靠圖像獲取裝置和閉環(huán)計(jì)算方法，因此，能夠在任何位置實(shí)時(shí)確定運(yùn)動(dòng)物體相對(duì)于目標(biāo)區(qū)域的位置，不要求運(yùn)動(dòng)物體兩側(cè)必須存在用于定位測(cè)距的障礙物。

雖然在此之前以運(yùn)動(dòng)物體的位置確定方法及系統(tǒng)的實(shí)施方式為中心進(jìn)行了說(shuō)明，但是本發(fā)明不限定于這些實(shí)施方式，也可以將本發(fā)明實(shí)施為以下方式：用于執(zhí)行上述運(yùn)動(dòng)物體的位置確定方法的計(jì)算機(jī)程序的方式或者用于實(shí)現(xiàn)上述運(yùn)動(dòng)物體的位置確定系統(tǒng)的功能的計(jì)算機(jī)程序的方式或者記錄有該計(jì)算機(jī)程序的計(jì)算機(jī)可讀取的記錄介質(zhì)的方式。

在此，作為記錄介質(zhì)，能采用盤(pán)類(例如，磁盤(pán)、光盤(pán)等)、卡類(例如，存儲(chǔ)卡、光卡等)、半導(dǎo)體存儲(chǔ)器類(例如，rom、非易失性存儲(chǔ)器等)、帶類(例如，磁帶、盒式磁帶等)等各種方式的記錄介質(zhì)。

通過(guò)在這些記錄介質(zhì)中記錄使計(jì)算機(jī)執(zhí)行上述實(shí)施方式中的運(yùn)動(dòng)物體的位置確定方法的計(jì)算機(jī)程序或使計(jì)算機(jī)實(shí)現(xiàn)上述實(shí)施方式中的運(yùn)動(dòng)物體的位置確定系統(tǒng)的功能的計(jì)算機(jī)程序并使其流通，從而能使成本的低廉化以及可攜帶性、通用性提高。

而且，在計(jì)算機(jī)上裝載上述記錄介質(zhì)，由計(jì)算機(jī)讀出在記錄介質(zhì)中記錄的計(jì)算機(jī)程序并儲(chǔ)存在存儲(chǔ)器中，計(jì)算機(jī)所具備的處理器(cpu：centralprocessingunit(中央處理單元)、mpu：microprocessingunit(微處理單元))從存儲(chǔ)器讀出該計(jì)算機(jī)程序并執(zhí)行，由此，能執(zhí)行上述實(shí)施方式中的運(yùn)動(dòng)物體的位置確定方法并能實(shí)現(xiàn)上述實(shí)施方式中的運(yùn)動(dòng)物體的位置確定系統(tǒng)的功能。

本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)了解，本發(fā)明不限定于上述的實(shí)施方式，本發(fā)明可以在不偏離其主旨與范圍內(nèi)以許多其它的形式實(shí)施。因此，所展示的示例與實(shí)施方式被視為示意性的而非限制性的，在不脫離如所附各權(quán)利要求所定義的本發(fā)明精神及范圍的情況下，本發(fā)明可能涵蓋各種的修改與替換。