本申請(qǐng)涉及計(jì)算機(jī)視覺，尤其涉及一種空間三維結(jié)構(gòu)信息恢復(fù)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、空間的三維結(jié)構(gòu)信息對(duì)增強(qiáng)現(xiàn)實(shí)ar、虛擬現(xiàn)實(shí)vr以及一些需要利用空間的三維結(jié)構(gòu)信息的任務(wù)十分重要，例如基于深度的相機(jī)自動(dòng)對(duì)焦、基于空間感知的麥克風(fēng)音響陣列初始參數(shù)估計(jì)。彩色相機(jī)拍攝得到的圖像是三維空間經(jīng)過透視投影而成的二維信號(hào)，因此不能直接從中直接獲取到空間的三維結(jié)構(gòu)信息。

2、目前室內(nèi)空間的三維結(jié)構(gòu)恢復(fù)方案主要采用tof(time-of-fl?igh)、結(jié)構(gòu)光等深度傳感器產(chǎn)生空間的深度信息，同時(shí)輔以彩色相機(jī)產(chǎn)生rgb顏色信息，并將上述兩信息進(jìn)行標(biāo)定和配準(zhǔn)，最后結(jié)合相機(jī)的內(nèi)部參數(shù)，將深度信息反投影，從而生成空間三維結(jié)構(gòu)的點(diǎn)云。然而，設(shè)置有深度傳感器的設(shè)備成本相對(duì)較高，在工業(yè)場景中往往對(duì)部件的成本非常敏感，因此，目前亟需一種既能夠?qū)崿F(xiàn)室內(nèi)空間的三維結(jié)構(gòu)恢復(fù)且成本相對(duì)較低的方案。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述技術(shù)問題，本申請(qǐng)的目的在于提供一種空間三維結(jié)構(gòu)信息恢復(fù)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有室內(nèi)空間三維結(jié)構(gòu)恢復(fù)的實(shí)現(xiàn)需要借助設(shè)置有深度傳感器的設(shè)備導(dǎo)致成本相對(duì)較高的技術(shù)問題。

2、第一方面，本申請(qǐng)實(shí)施例提供一種空間三維結(jié)構(gòu)信息恢復(fù)方法，包括：

3、獲取彩色相機(jī)拍攝得到的目標(biāo)場景圖像以及所述彩色相機(jī)的內(nèi)部參數(shù)；

4、將所述目標(biāo)場景圖像輸入深度估計(jì)模型，通過所述深度估計(jì)模型估計(jì)所述目標(biāo)場景圖像的無尺度深度信息，得到無尺度深度圖；

5、對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)，得到有尺度深度圖；

6、對(duì)所述目標(biāo)場景圖像進(jìn)行實(shí)例分割，得到所述目標(biāo)場景圖像對(duì)應(yīng)的實(shí)例分割圖；

7、根據(jù)像素坐標(biāo)位置，將所述目標(biāo)場景圖像、所述有尺度深度圖以及所述實(shí)例分割圖進(jìn)行關(guān)聯(lián)，得到關(guān)聯(lián)圖；

8、基于所述內(nèi)部參數(shù)，將所述關(guān)聯(lián)圖反投影到點(diǎn)云空間，得到初步的空間三維結(jié)構(gòu)信息。

9、進(jìn)一步的，所述基于所述內(nèi)部參數(shù)，將所述關(guān)聯(lián)圖反投影到點(diǎn)云空間，得到初步的空間三維結(jié)構(gòu)信息的步驟之后，還包括：

10、根據(jù)所述實(shí)例分割圖中的實(shí)例標(biāo)簽，采用點(diǎn)云平面擬合方法對(duì)所述初步的空間三維結(jié)構(gòu)信息中各平面類別的點(diǎn)云進(jìn)行平面擬合，得到優(yōu)化后的空間三維結(jié)構(gòu)信息。

11、進(jìn)一步的，所述對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)，包括：

12、采用先驗(yàn)標(biāo)定物對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)。

13、進(jìn)一步的，所述采用先驗(yàn)標(biāo)定物對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)的步驟包括：

14、獲取先驗(yàn)標(biāo)定物實(shí)際高度、所述無尺度深度圖中所述先驗(yàn)標(biāo)定物高度的像素?cái)?shù)；

15、根據(jù)所述先驗(yàn)標(biāo)定物實(shí)際高度、所述無尺度深度圖中所述先驗(yàn)標(biāo)定物高度的像素?cái)?shù)以及所述相機(jī)的垂直焦距計(jì)算所述先驗(yàn)標(biāo)定物的實(shí)際深度；

16、根據(jù)所述實(shí)際深度以及對(duì)應(yīng)的無尺度深度信息計(jì)算尺度因子；

17、根據(jù)所述尺度因子對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)。

18、進(jìn)一步的，所述采用先驗(yàn)標(biāo)定物對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)的步驟包括：

19、獲取先驗(yàn)標(biāo)定物實(shí)際寬度、所述無尺度深度圖中所述先驗(yàn)標(biāo)定物高度的像素?cái)?shù)；

20、根據(jù)所述先驗(yàn)標(biāo)定物實(shí)際寬度、所述無尺度深度圖中所述先驗(yàn)標(biāo)定物高度的像素?cái)?shù)以及所述相機(jī)的水平焦距計(jì)算所述先驗(yàn)標(biāo)定物的實(shí)際深度；

21、根據(jù)所述實(shí)際深度以及對(duì)應(yīng)的無尺度深度信息計(jì)算尺度因子；

22、根據(jù)所述尺度因子對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)。

23、進(jìn)一步的，所述基于所述內(nèi)部參數(shù)，將所述關(guān)聯(lián)圖反投影到點(diǎn)云空間，得到初步的空間三維結(jié)構(gòu)信息，包括：

24、利用所述內(nèi)部參數(shù)，對(duì)所述關(guān)聯(lián)圖進(jìn)行畸變矯正，得到畸變矯正后的關(guān)聯(lián)圖；

25、基于所述畸變矯正后的關(guān)聯(lián)圖的像素點(diǎn)坐標(biāo)、所述內(nèi)部參數(shù)以及所述有尺度深度圖的深度信息，利用反投影公式將所述畸變矯正后的關(guān)聯(lián)圖反投影到點(diǎn)云空間，得到初步的空間三維結(jié)構(gòu)信息。

26、進(jìn)一步的，所述相機(jī)為魚眼相機(jī)或針孔相機(jī)。

27、第二方面，本申請(qǐng)實(shí)施例提供一種空間三維結(jié)構(gòu)信息恢復(fù)裝置，包括：

28、獲取模塊，用于獲取彩色相機(jī)拍攝得到的目標(biāo)場景圖像以及所述彩色相機(jī)的內(nèi)部參數(shù)；

29、輸入模塊，用于將所述目標(biāo)場景圖像輸入深度估計(jì)模型，通過所述深度估計(jì)模型估計(jì)所述目標(biāo)場景圖像的無尺度深度信息，得到無尺度深度圖；

30、尺度恢復(fù)模塊，用于對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)，得到有尺度深度圖；

31、實(shí)例分割模塊，用于對(duì)所述目標(biāo)場景圖像進(jìn)行實(shí)例分割，得到所述目標(biāo)場景圖像對(duì)應(yīng)的實(shí)例分割圖；

32、關(guān)聯(lián)模塊，用于根據(jù)像素坐標(biāo)位置，將所述目標(biāo)場景圖像、所述有尺度深度圖以及所述實(shí)例分割圖進(jìn)行關(guān)聯(lián)，得到關(guān)聯(lián)圖；

33、反投影模塊，用于基于所述內(nèi)部參數(shù)，將所述關(guān)聯(lián)圖反投影到點(diǎn)云空間，得到初步的空間三維結(jié)構(gòu)信息。

34、第三方面，本申請(qǐng)實(shí)施例提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述任一項(xiàng)所述方法的步驟。

35、第四方面，本申請(qǐng)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一項(xiàng)所述方法的步驟。

36、本申請(qǐng)實(shí)施例提供的一種空間三維結(jié)構(gòu)信息恢復(fù)方法，包括：獲取彩色相機(jī)拍攝得到的目標(biāo)場景圖像以及所述彩色相機(jī)的內(nèi)部參數(shù)；將所述目標(biāo)場景圖像輸入深度估計(jì)模型，通過所述深度估計(jì)模型估計(jì)所述目標(biāo)場景圖像的無尺度深度信息，得到無尺度深度圖；對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)，得到有尺度深度圖；對(duì)所述目標(biāo)場景圖像進(jìn)行實(shí)例分割，得到所述目標(biāo)場景圖像對(duì)應(yīng)的實(shí)例分割圖；根據(jù)像素坐標(biāo)位置，將所述目標(biāo)場景圖像、所述有尺度深度圖以及所述實(shí)例分割圖進(jìn)行關(guān)聯(lián)，得到關(guān)聯(lián)圖；基于所述內(nèi)部參數(shù)，將所述關(guān)聯(lián)圖反投影到點(diǎn)云空間，得到初步的空間三維結(jié)構(gòu)信息。由此可見，本申請(qǐng)實(shí)施例通過采用普通色彩相機(jī)結(jié)合算法的方案實(shí)現(xiàn)了三維結(jié)構(gòu)信息的恢復(fù)，相比于基于tof、結(jié)構(gòu)光等硬件實(shí)現(xiàn)空間三維結(jié)構(gòu)信息的恢復(fù)大大降低了成本，具有極大的優(yōu)勢(shì)。此外，通過將目標(biāo)場景圖像、有尺度深度圖以及實(shí)例分割圖進(jìn)行關(guān)聯(lián)，大大提高了點(diǎn)云著色的效率和精度，還能夠高效地獲得實(shí)例級(jí)別的點(diǎn)云。

技術(shù)特征：

1.一種空間三維結(jié)構(gòu)信息恢復(fù)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的空間三維結(jié)構(gòu)信息恢復(fù)方法，其特征在于，所述基于所述內(nèi)部參數(shù)，將所述關(guān)聯(lián)圖反投影到點(diǎn)云空間，得到初步的空間三維結(jié)構(gòu)信息的步驟之后，還包括：

3.根據(jù)權(quán)利要求1所述的空間三維結(jié)構(gòu)信息恢復(fù)方法，其特征在于，所述對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)，包括：

4.根據(jù)權(quán)利要求3所述的空間三維結(jié)構(gòu)信息恢復(fù)方法，其特征在于，所述采用先驗(yàn)標(biāo)定物對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)的步驟包括：

5.根據(jù)權(quán)利要求3所述的空間三維結(jié)構(gòu)信息恢復(fù)方法，其特征在于，所述采用先驗(yàn)標(biāo)定物對(duì)所述無尺度深度圖進(jìn)行尺度恢復(fù)的步驟包括：

6.根據(jù)權(quán)利要求1所述的空間三維結(jié)構(gòu)信息恢復(fù)方法，其特征在于，所述基于所述內(nèi)部參數(shù)，將所述關(guān)聯(lián)圖反投影到點(diǎn)云空間，得到初步的空間三維結(jié)構(gòu)信息，包括：

7.根據(jù)權(quán)利要求1所述的空間三維結(jié)構(gòu)信息恢復(fù)方法，其特征在于，所述相機(jī)為魚眼相機(jī)或針孔相機(jī)。

8.一種空間三維結(jié)構(gòu)信息恢復(fù)裝置，其特征在于，包括：

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，提供一種空間三維結(jié)構(gòu)信息恢復(fù)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，方法包括：獲取彩色相機(jī)拍攝得到的目標(biāo)場景圖像以及彩色相機(jī)的內(nèi)部參數(shù)；將目標(biāo)場景圖像輸入深度估計(jì)模型，通過深度估計(jì)模型估計(jì)目標(biāo)場景圖像的無尺度深度信息，得到無尺度深度圖；對(duì)無尺度深度圖進(jìn)行尺度恢復(fù)，得到有尺度深度圖；對(duì)目標(biāo)場景圖像進(jìn)行實(shí)例分割，得到目標(biāo)場景圖像對(duì)應(yīng)的實(shí)例分割圖；根據(jù)像素坐標(biāo)位置，將目標(biāo)場景圖像、有尺度深度圖以及實(shí)例分割圖進(jìn)行關(guān)聯(lián)，得到關(guān)聯(lián)圖；基于內(nèi)部參數(shù)，將關(guān)聯(lián)圖反投影到點(diǎn)云空間，得到初步的空間三維結(jié)構(gòu)信息。本申請(qǐng)通過采用普通色彩相機(jī)結(jié)合算法的方案即可實(shí)現(xiàn)三維結(jié)構(gòu)信息的恢復(fù)，成本低。

技術(shù)研發(fā)人員：李玉鵬,任亮亮,劉宏波
受保護(hù)的技術(shù)使用者：廣州視源電子科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26