本發(fā)明的領(lǐng)域是用于自主機(jī)器人或車輛類型的移動(dòng)系統(tǒng)的導(dǎo)航輔助。本發(fā)明更具體地涉及根據(jù)場(chǎng)景的rgb-d圖像，即場(chǎng)景的彩色圖像和表征在圖像中看到的對(duì)象的距離的深度圖的組合，計(jì)算移動(dòng)系統(tǒng)的導(dǎo)航軌跡。

背景技術(shù)：

1、導(dǎo)航軌跡的計(jì)算可以使用不同的計(jì)算機(jī)視覺算法來(lái)實(shí)現(xiàn)，計(jì)算機(jī)視覺算法將場(chǎng)景的圖像和同一場(chǎng)景的深度圖作為輸入，以提供例如具有躲避障礙物和/或防止碰撞的導(dǎo)航解決方案作為輸出。

2、用于估計(jì)深度圖的方法通常分為兩類：將光源投射到場(chǎng)景中的主動(dòng)方法和僅基于獲取由環(huán)境光照射的場(chǎng)景的圖像的被動(dòng)方法。

3、在被動(dòng)方法中，區(qū)分了基于多視角幾何的方法(例如，在兩個(gè)視角的情況下的立體視覺)和基于單目圖像的方法。

4、多視角系統(tǒng)的主要困難之一涉及在弱紋理場(chǎng)景的情況下匹配來(lái)自不同視角的圖像之間的點(diǎn)的復(fù)雜性。此外，這種類型的系統(tǒng)的精度很大程度上取決于不同圖像的采集點(diǎn)之間的距離(立體基礎(chǔ))。

5、在基于單目圖像的方法中，認(rèn)為場(chǎng)景的單個(gè)視角包含足夠的指標(biāo)來(lái)估計(jì)深度圖。一方面，這些深度指標(biāo)在圖像中不可直接訪問，另一方面，這些測(cè)量值和深度圖之間的轉(zhuǎn)換是重要的。因此，神經(jīng)網(wǎng)絡(luò)已被用于處理這兩個(gè)任務(wù)。

6、已經(jīng)證明，在使用由相機(jī)的光學(xué)器件產(chǎn)生的模糊指標(biāo)的情況下，這種單目方法的性能得到改善。然而，使用聚焦在給定平面處的相機(jī)來(lái)獲取具有深度散焦模糊的圖像不允許在所有點(diǎn)處具有清晰的圖像(圖像也稱為全對(duì)焦圖像)，而清晰的圖像可以在其他視覺任務(wù)中被利用。此外，使用另一個(gè)全對(duì)焦相機(jī)用于其他任務(wù)會(huì)帶來(lái)對(duì)準(zhǔn)問題。另一種解決方案在于使用聚焦在不同平面上的多個(gè)圖像。這些方法的缺點(diǎn)在于獲取這些圖像需要對(duì)準(zhǔn)。實(shí)際上，在使用單個(gè)可變焦距相機(jī)的情況下，當(dāng)相機(jī)嵌入在移動(dòng)系統(tǒng)上時(shí)，圖像不能對(duì)準(zhǔn)。如果使用多個(gè)相機(jī)，則會(huì)存在視差問題。

7、此外，在這種類型的方法中，全對(duì)焦圖像是估計(jì)的，而不是由相機(jī)獲取，這在弱紋理區(qū)域的情況下是誤差的來(lái)源。存在基于兩個(gè)(或更多個(gè))圖像之間的模糊差異的其他方法。這種類型的方法的缺點(diǎn)是除了不存在全對(duì)焦圖像之外，不使用可以改善深度估計(jì)性能的其他深度指標(biāo)。像模糊一樣，這些指標(biāo)可以是幾何性質(zhì)的(圖像中的視角，或?qū)ο笙鄬?duì)于地平線的距離)和語(yǔ)義性質(zhì)的(紋理、對(duì)象的相對(duì)大小、遮擋)。

8、總之，證明了相機(jī)的焦點(diǎn)模糊構(gòu)成了可以顯著改善深度估計(jì)性能的指標(biāo)。然而，包含模糊的圖像降低了計(jì)算導(dǎo)航軌跡所必需的其他計(jì)算機(jī)視覺任務(wù)(分割、檢測(cè)等)的性能。使用兩個(gè)相機(jī)來(lái)獲取兩個(gè)圖像(一個(gè)圖像焦點(diǎn)模糊而另一個(gè)完全清晰)并不能提供相關(guān)的解決方案，因?yàn)閷⒕哂袃蓚€(gè)圖像(其中一個(gè)圖像是模糊的)之間的視差效應(yīng)的兩個(gè)圖像對(duì)齊是困難的，而這是誤差的來(lái)源。另一種解決方案在于由同一相機(jī)通過改變焦距參數(shù)獲取兩個(gè)圖像，這在移動(dòng)系統(tǒng)中是無(wú)法設(shè)想的，因?yàn)檫@兩個(gè)圖像不會(huì)被同時(shí)獲取，因此這兩個(gè)圖像不會(huì)對(duì)齊。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在提出一種基于安裝在移動(dòng)系統(tǒng)上的單個(gè)相機(jī)的解決方案，該解決方案可以在不降低計(jì)算移動(dòng)系統(tǒng)的導(dǎo)航軌跡所需的視覺任務(wù)的情況下提高深度估計(jì)性能。

2、為此，本發(fā)明提出了一種用于嵌入在移動(dòng)系統(tǒng)上的導(dǎo)航輔助設(shè)備，該導(dǎo)航輔助設(shè)備包括計(jì)算機(jī)視覺單元，該計(jì)算機(jī)視覺單元被配置為根據(jù)場(chǎng)景的第一圖像和場(chǎng)景的深度圖計(jì)算導(dǎo)航軌跡。該設(shè)備還包括單目相機(jī)，單目相機(jī)能夠同時(shí)獲取場(chǎng)景的具有第一景深的第一圖像和場(chǎng)景的具有小于第一景深的第二景深的至少一個(gè)第二圖像。該設(shè)備還包括深度估計(jì)單元，深度估計(jì)單元被配置為根據(jù)場(chǎng)景的第一圖像和場(chǎng)景的至少一個(gè)第二圖像確定場(chǎng)景的深度圖。

3、該設(shè)備的一些優(yōu)選但非限制性方面如下：

4、-為了確定場(chǎng)景的深度圖，深度估計(jì)單元使用機(jī)器學(xué)習(xí)模型，例如預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)；

5、-深度估計(jì)單元包括兩個(gè)不同的特征提取分支和編碼器-解碼器。兩個(gè)不同的特征提取分支用于分別計(jì)算第一圖像的特征圖和至少一個(gè)第二圖像的特征圖。編碼器-解碼器將由兩個(gè)特征提取分支計(jì)算的特征圖作為輸入以確定深度圖；

6、-單目相機(jī)包括具有第一焦距的鏡頭、具有大于所述第一焦距的第二焦距的鏡頭和能夠?qū)⑤斎牍馔繉?dǎo)向具有第一焦距的鏡頭和具有第二焦距的鏡頭中的每一個(gè)鏡頭的分光器；

7、-為了計(jì)算導(dǎo)航軌跡，計(jì)算機(jī)視覺單元還利用由單目相機(jī)獲取的場(chǎng)景的至少一個(gè)第二圖像；

8、-單目相機(jī)能夠同時(shí)獲取場(chǎng)景的第一圖像和場(chǎng)景的多個(gè)第二圖像。第二圖像在場(chǎng)景的不同平面處具有焦點(diǎn)；

9、-第一圖像在所有點(diǎn)都是清晰的圖像，并且至少一個(gè)第二圖像具有深度散焦模糊。

10、本發(fā)明還涉及一種用于移動(dòng)系統(tǒng)的導(dǎo)航輔助方法，包括根據(jù)場(chǎng)景的第一圖像和場(chǎng)景的深度圖計(jì)算導(dǎo)航軌跡的步驟。該方法還包括步驟：同時(shí)獲取場(chǎng)景的具有第一景深的第一圖像和場(chǎng)景的具有小于第一景深的第二景深的至少一個(gè)第二圖像。該方法還包括根據(jù)場(chǎng)景的第一圖像和場(chǎng)景的至少一個(gè)第二圖像確定場(chǎng)景的深度圖的步驟。

11、該設(shè)備的一些優(yōu)選但非限制性方案如下：

12、-確定深度圖的步驟借助于機(jī)器學(xué)習(xí)模型來(lái)執(zhí)行，該機(jī)器學(xué)習(xí)模型將場(chǎng)景的第一圖像和場(chǎng)景的至少一個(gè)第二圖像作為輸入，并提供場(chǎng)景的深度圖作為輸出；

13、-機(jī)器學(xué)習(xí)模型包括兩個(gè)不同的特征提取分支和編碼器-解碼器。兩個(gè)不同的特征提取分支分別計(jì)算第一圖像的特征圖和至少一個(gè)第二圖像的特征圖。編碼器-解碼器將由兩個(gè)特征提取分支計(jì)算的特征圖作為輸入以確定深度圖(dm)。

14、本發(fā)明擴(kuò)展到包括指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)程序由計(jì)算機(jī)執(zhí)行時(shí)，使計(jì)算機(jī)實(shí)現(xiàn)用于確定深度圖和計(jì)算導(dǎo)航軌跡的上述方法的步驟。

15、本發(fā)明還涉及一種用于訓(xùn)練機(jī)器學(xué)習(xí)模型的方法，該機(jī)器學(xué)習(xí)模型以圖像對(duì)作為輸入并提供深度圖作為輸出。該方法包括：

16、-由前述設(shè)備的單目相機(jī)獲取由同時(shí)獲取的場(chǎng)景的圖像組成的訓(xùn)練圖像對(duì)；

17、-接收由訓(xùn)練圖像對(duì)成像的場(chǎng)景的深度圖；

18、-機(jī)器學(xué)習(xí)模型對(duì)訓(xùn)練圖像對(duì)進(jìn)行處理；

19、通過將作為機(jī)器學(xué)習(xí)模型的輸出提供的場(chǎng)景的深度圖和與訓(xùn)練圖像對(duì)相關(guān)聯(lián)的場(chǎng)景的深度圖進(jìn)行比較來(lái)計(jì)算表示機(jī)器學(xué)習(xí)模型的性能的值。

20、本發(fā)明還涉及一種包括指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)程序由計(jì)算機(jī)執(zhí)行時(shí)，該程序使計(jì)算機(jī)執(zhí)行訓(xùn)練方法的處理和計(jì)算步驟。

技術(shù)特征：

1.一種用于嵌入在移動(dòng)系統(tǒng)中的導(dǎo)航輔助設(shè)備，包括計(jì)算機(jī)視覺單元(24)，所述計(jì)算機(jī)視覺單元被配置為根據(jù)場(chǎng)景的第一圖像(in)和所述場(chǎng)景的深度圖(dm)計(jì)算導(dǎo)航軌跡，其特征在于，所述導(dǎo)航輔助設(shè)備還包括：

2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，為了確定所述場(chǎng)景的所述深度圖，所述深度估計(jì)單元(23)使用機(jī)器學(xué)習(xí)模型，例如預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的設(shè)備，其中，所述深度估計(jì)單元包括兩個(gè)不同的特征提取分支(exn，exf)和編碼器-解碼器(enc，dec)，所述兩個(gè)不同的特征提取分支(exn，exf)用于分別計(jì)算所述第一圖像(in)的特征圖和所述至少一個(gè)第二圖像(if)的特征圖，所述編碼器-解碼器將由所述兩個(gè)特征提取分支計(jì)算的特征圖作為輸入以確定所述深度圖(dm)。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的設(shè)備，其中，所述單目相機(jī)包括具有第一焦距的鏡頭(5)、具有大于所述第一焦距的第二焦距的鏡頭(7、15、n)和能夠?qū)⑤斎牍馔繉?dǎo)向具有所述第一焦距的鏡頭和具有所述第二焦距的鏡頭中的每一個(gè)鏡頭的分光器(4)。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的設(shè)備，其中，為了計(jì)算所述導(dǎo)航軌跡，所述計(jì)算機(jī)視覺單元(24)還利用由所述單目相機(jī)獲取的所述場(chǎng)景的所述至少一個(gè)第二圖像。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的設(shè)備，其中，所述單目相機(jī)能夠同時(shí)獲取所述場(chǎng)景的所述第一圖像和所述場(chǎng)景的多個(gè)第二圖像，所述第二圖像在所述場(chǎng)景的不同平面處具有焦點(diǎn)。

7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的設(shè)備，其中，所述第一圖像在所有點(diǎn)都是清晰圖像，并且所述至少一個(gè)第二圖像具有深度散焦模糊。

8.一種用于移動(dòng)系統(tǒng)的導(dǎo)航輔助方法，包括根據(jù)場(chǎng)景的第一圖像(in)和所述場(chǎng)景的深度圖(dm)計(jì)算導(dǎo)航(nav)軌跡的步驟，其特征在于，所述方法還包括以下步驟：同時(shí)獲取(acq)所述場(chǎng)景的具有第一景深的第一圖像(in)和所述場(chǎng)景的具有小于所述第一景深的第二景深的至少一個(gè)第二圖像(if)，以及根據(jù)所述場(chǎng)景的第一圖像(in)和所述場(chǎng)景的至少一個(gè)第二圖像(if)確定所述場(chǎng)景的深度圖(est-d)。

9.根據(jù)權(quán)利要求8所述的方法，其中，確定所述深度圖的步驟借助于機(jī)器學(xué)習(xí)模型來(lái)執(zhí)行，所述機(jī)器學(xué)習(xí)模型將所述場(chǎng)景的所述第一圖像(in)和所述場(chǎng)景的所述至少一個(gè)第二圖像(if)作為輸入，并提供所述場(chǎng)景的所述深度圖作為輸出。

10.根據(jù)權(quán)利要求9所述的方法，其中，所述機(jī)器學(xué)習(xí)模型包括兩個(gè)不同的特征提取分支(exn，exf)和編碼器-解碼器(enc，dec)，所述兩個(gè)不同的特征提取分支(exn，exf)用于分別計(jì)算所述第一圖像(in)的特征圖和所述至少一個(gè)第二圖像(if)的特征圖，所述編碼器-解碼器將由所述兩個(gè)特征提取分支計(jì)算的特征圖作為輸入以確定所述深度圖(dm)。

11.一種計(jì)算機(jī)程序產(chǎn)品，包括指令，當(dāng)所述程序由計(jì)算機(jī)執(zhí)行時(shí)，使所述計(jì)算機(jī)實(shí)現(xiàn)根據(jù)權(quán)利要求8至10中任一項(xiàng)所述的用于確定所述深度圖并計(jì)算所述導(dǎo)航軌跡的方法的步驟。

技術(shù)總結(jié)
本發(fā)明涉及一種用于安裝在移動(dòng)系統(tǒng)上的導(dǎo)航輔助設(shè)備。該設(shè)備包括：?jiǎn)文肯鄼C(jī)、深度估計(jì)單元(23)和計(jì)算機(jī)視覺單元(24)。單目相機(jī)能夠同時(shí)獲取場(chǎng)景的具有第一景深的第一圖像(In)和場(chǎng)景的具有小于第一景深的第二景深的至少一個(gè)第二圖像(If)。深度估計(jì)單元(23)被配置為根據(jù)場(chǎng)景的第一圖像和場(chǎng)景的至少一個(gè)第二圖像確定場(chǎng)景的深度圖(Dm)。計(jì)算機(jī)視覺單元(24)被配置為根據(jù)場(chǎng)景的第一圖像和場(chǎng)景的深度圖計(jì)算導(dǎo)航路徑。

技術(shù)研發(fā)人員：阿赫邁德·納斯雷丁尼·本奈楚徹,米歇爾·穆卡里
受保護(hù)的技術(shù)使用者：賽峰集團(tuán)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30