本發(fā)明涉及場(chǎng)景渲染，尤其涉及一種基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法、系統(tǒng)、終端及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、相機(jī)射線是指從相機(jī)位置發(fā)出的穿過(guò)對(duì)應(yīng)圖像平面像素的光線，用于確定哪些部分的場(chǎng)景應(yīng)該在圖像中顯示出來(lái)。在神經(jīng)隱式場(chǎng)渲染方法中，相機(jī)射線上的采樣點(diǎn)起著至關(guān)重要的作用。

2、但是，神經(jīng)隱式場(chǎng)的重建依賴于一個(gè)精確的位姿輸入，而針對(duì)位姿不精確情況下設(shè)計(jì)的算法，難以有效同時(shí)優(yōu)化相機(jī)位姿與神經(jīng)隱式場(chǎng)表達(dá)，得到的新視角渲染結(jié)果存在細(xì)節(jié)缺失，從密度場(chǎng)中提取的三維網(wǎng)格通常過(guò)度光滑，不能很好地反應(yīng)目標(biāo)物體的幾何細(xì)節(jié)。

3、因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法、系統(tǒng)、終端及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)中難以有效同時(shí)優(yōu)化相機(jī)位姿與神經(jīng)隱式場(chǎng)表達(dá)，從而導(dǎo)致渲染結(jié)果模糊，且不能準(zhǔn)確表達(dá)物體的幾何細(xì)節(jié)的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法，所述基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法包括如下步驟：

3、獲取目標(biāo)對(duì)象的初始圖像組，并構(gòu)建初始三維隱式場(chǎng)，將所述初始圖像組與所述目標(biāo)對(duì)象的多視角渲染值之間光度誤差輸入所述初始三維隱式場(chǎng)進(jìn)行訓(xùn)練，得到三維隱式場(chǎng)；

4、提取多種相機(jī)射線的采樣點(diǎn)特征，根據(jù)多個(gè)所述采樣點(diǎn)特征生成目標(biāo)關(guān)鍵特征，將所述目標(biāo)關(guān)鍵特征輸入所述三維隱式場(chǎng)，并將所述初始圖像組輸入所述三維隱式場(chǎng)，輸出目標(biāo)特征體；

5、將所述目標(biāo)特征體輸入幾何網(wǎng)絡(luò)，輸出有向距離場(chǎng)值和輸出特征，根據(jù)所述有向距離場(chǎng)值和所述輸出特征，得到所述目標(biāo)對(duì)象的幾何結(jié)果；

6、根據(jù)所述幾何結(jié)果得到所述目標(biāo)對(duì)象在每個(gè)采樣點(diǎn)上的法向信息，將所有所述法向信息輸入紋理網(wǎng)絡(luò)，輸出多種所述相機(jī)射線中的匹配射線的渲染值。

7、可選地，所述的基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法，其中，所述獲取目標(biāo)對(duì)象的初始圖像組，并構(gòu)建初始三維隱式場(chǎng)，將所述初始圖像組與所述目標(biāo)對(duì)象的多視角渲染值之間光度誤差輸入所述初始三維隱式場(chǎng)進(jìn)行訓(xùn)練，得到三維隱式場(chǎng)，具體包括：

8、獲取目標(biāo)相機(jī)采集的所述目標(biāo)對(duì)象的初始圖像組，其中，所述初始圖像組由所述目標(biāo)相機(jī)從多個(gè)視角拍攝所述目標(biāo)對(duì)象生成；

9、構(gòu)建初始三維隱式場(chǎng)，并計(jì)算所述初始圖像組與所述目標(biāo)對(duì)象的多視角渲染值之間光度誤差：

10、；

11、；

12、；

13、；

14、其中，表示采樣點(diǎn)的光度誤差，表示采樣點(diǎn)，表示初始圖像組中的圖像索引，表示圖像的像素點(diǎn)，表示圖像和目標(biāo)對(duì)象在像素點(diǎn)處的顏色誤差，表示第個(gè)圖像在像素點(diǎn)處的rgb值，表示目標(biāo)對(duì)象在像素點(diǎn)處的第個(gè)圖像對(duì)應(yīng)的相機(jī)視角的渲染值，表示第個(gè)圖像的相機(jī)位姿，表示第個(gè)圖像對(duì)應(yīng)的目標(biāo)相機(jī)的旋轉(zhuǎn)矩陣，表示第個(gè)圖像對(duì)應(yīng)的目標(biāo)相機(jī)的位移矢量，表示三維旋轉(zhuǎn)群，表示三維的有理數(shù)空間；

15、將所述光度誤差輸入所述初始三維隱式場(chǎng)進(jìn)行訓(xùn)練，得到三維隱式場(chǎng)。

16、可選地，所述的基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法，其中，所述相機(jī)射線包括：關(guān)鍵射線和輔助射線；

17、所述提取多種相機(jī)射線的采樣點(diǎn)特征，根據(jù)多個(gè)所述采樣點(diǎn)特征生成目標(biāo)關(guān)鍵特征，將所述目標(biāo)關(guān)鍵特征輸入所述三維隱式場(chǎng)，并將所述初始圖像組輸入所述三維隱式場(chǎng)，輸出目標(biāo)特征體，之前還包括：

18、獲取多個(gè)所述關(guān)鍵射線經(jīng)過(guò)的多個(gè)所述采樣點(diǎn)，并獲取每個(gè)所述采樣點(diǎn)的顏色信息和特征信息；

19、提取具有一致性的多個(gè)顏色信息和多個(gè)特征信息，并選擇對(duì)應(yīng)的采樣點(diǎn)，將選擇的多個(gè)所述采樣點(diǎn)對(duì)應(yīng)的關(guān)鍵射線相匹配，得到匹配射線：

20、；

21、；

22、其中，表示匹配射線，表示目標(biāo)相機(jī)的相機(jī)中心，表示射線數(shù)量，表示匹配射線的歸一化方向。

23、可選地，所述的基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法，其中，所述提取多種相機(jī)射線的采樣點(diǎn)特征，根據(jù)多個(gè)所述采樣點(diǎn)特征生成目標(biāo)關(guān)鍵特征，將所述目標(biāo)關(guān)鍵特征輸入所述三維隱式場(chǎng)，并將所述初始圖像組輸入所述三維隱式場(chǎng)，輸出目標(biāo)特征體，具體包括：

24、提取所述匹配射線穿過(guò)所述初始圖像組生成的關(guān)鍵采樣點(diǎn)的關(guān)鍵特征，提取多個(gè)所述輔助射線穿過(guò)所述初始圖像組生成的多個(gè)輔助采樣點(diǎn)的輔助特征：

25、；

26、其中，表示采樣點(diǎn)處的特征，表示采樣點(diǎn)，表示漸進(jìn)特征掩碼，表示初始特征體；

27、利用所有所述輔助特征增強(qiáng)所述關(guān)鍵特征，得到目標(biāo)關(guān)鍵特征，并將所述目標(biāo)關(guān)鍵特征輸入所述三維隱式場(chǎng)，輸出目標(biāo)特征體。

28、可選地，所述的基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法，其中，所述利用所述輔助特征增強(qiáng)所述關(guān)鍵特征，得到目標(biāo)關(guān)鍵特征，并將所述目標(biāo)關(guān)鍵特征輸入所述三維隱式場(chǎng)，輸出目標(biāo)特征體，具體包括：

29、融合所述關(guān)鍵特征與所有所述輔助特征，得到目標(biāo)關(guān)鍵特征：

30、；

31、其中，表示關(guān)鍵采樣點(diǎn)的目標(biāo)關(guān)鍵特征，表示關(guān)鍵采樣點(diǎn)的輔助射線數(shù)量，表示一種數(shù)學(xué)函數(shù)，用于將一組任意實(shí)數(shù)轉(zhuǎn)換為表示概率分布的實(shí)數(shù)，表示關(guān)鍵采樣點(diǎn)，表示輔助采樣點(diǎn)，表示關(guān)鍵采樣點(diǎn)處的關(guān)鍵特征，表示輔助采樣點(diǎn)處的輔助特征；

32、將所述目標(biāo)關(guān)鍵特征輸入所述三維隱式場(chǎng)，根據(jù)所述目標(biāo)關(guān)鍵特征優(yōu)化所述三維隱式場(chǎng)中的相機(jī)位姿，并輸出目標(biāo)關(guān)鍵特征。

33、可選地，所述的基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法，其中，所述將所述目標(biāo)特征體輸入幾何網(wǎng)絡(luò)，輸出有向距離場(chǎng)值和輸出特征，根據(jù)所述有向距離場(chǎng)值和所述輸出特征，得到所述目標(biāo)對(duì)象的幾何結(jié)果，具體包括：

34、將所述目標(biāo)特征體的目標(biāo)關(guān)鍵特征輸入已構(gòu)建的幾何網(wǎng)絡(luò)，輸出有向距離場(chǎng)值和所述輸出特征；

35、根據(jù)所述輸出特征，從所述有向距離場(chǎng)值中提取所述目標(biāo)對(duì)象在三維空間中的幾何結(jié)果：

36、；

37、其中，表示關(guān)鍵采樣點(diǎn)的有向距離場(chǎng)值，表示關(guān)鍵采樣點(diǎn)的輸出特征，表示幾何網(wǎng)絡(luò)。

38、可選地，所述的基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法，其中，所述根據(jù)所述幾何結(jié)果得到所述目標(biāo)對(duì)象在每個(gè)采樣點(diǎn)上的法向信息，將所有所述法向信息輸入紋理網(wǎng)絡(luò)，輸出多種所述相機(jī)射線中的匹配射線的渲染值，具體包括：

39、根據(jù)所述幾何結(jié)果的梯度值，計(jì)算所述目標(biāo)對(duì)象在采樣點(diǎn)上的法向，并根據(jù)所述法向得到所述采樣點(diǎn)上的法向信息；

40、將所述法向信息輸入已構(gòu)建的紋理網(wǎng)絡(luò)，輸出所述采樣點(diǎn)的rgb值：

41、；

42、其中，表示采樣點(diǎn)的rgb值，表示紋理網(wǎng)絡(luò)，表示采樣點(diǎn)的輸出特征，表示匹配射線的歸一化方向，表示采樣點(diǎn)的法向信息；

43、利用所有采樣點(diǎn)的不透明密度和rgb值，對(duì)所述匹配射線的顏色進(jìn)行渲染，得到所述匹配射線的渲染值：

44、；

45、其中，表示匹配射線的渲染值，表示采樣點(diǎn)處的透射比，表示采樣點(diǎn)的不透明度。

46、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建系統(tǒng)，其中，所述基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建系統(tǒng)包括：

47、隱式場(chǎng)優(yōu)化模塊，用于獲取目標(biāo)對(duì)象的初始圖像組，并構(gòu)建初始三維隱式場(chǎng)，將所述初始圖像組與所述目標(biāo)對(duì)象的多視角渲染值之間光度誤差輸入所述初始三維隱式場(chǎng)進(jìn)行訓(xùn)練，得到三維隱式場(chǎng)；

48、特征體優(yōu)化模塊，用于提取多種相機(jī)射線的采樣點(diǎn)特征，根據(jù)多個(gè)所述采樣點(diǎn)特征生成目標(biāo)關(guān)鍵特征，將所述目標(biāo)關(guān)鍵特征輸入所述三維隱式場(chǎng)，并將所述初始圖像組輸入所述三維隱式場(chǎng)，輸出目標(biāo)特征體；

49、幾何特征收集模塊，用于將所述目標(biāo)特征體輸入幾何網(wǎng)絡(luò)，輸出有向距離場(chǎng)值和輸出特征，根據(jù)所述有向距離場(chǎng)值和所述輸出特征，得到所述目標(biāo)對(duì)象的幾何結(jié)果；

50、渲染模塊，用于根據(jù)所述幾何結(jié)果得到所述目標(biāo)對(duì)象在每個(gè)采樣點(diǎn)上的法向信息，將所有所述法向信息輸入紋理網(wǎng)絡(luò)，輸出多種所述相機(jī)射線中的匹配射線的渲染值。

51、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種終端，其中，所述終端包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建程序，所述基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法的步驟。

52、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建程序，所述基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的基于視角匹配與對(duì)極幾何約束的隱式場(chǎng)重建方法的步驟。

53、本發(fā)明中，獲取目標(biāo)對(duì)象的初始圖像組，并構(gòu)建初始三維隱式場(chǎng)，將所述初始圖像組與所述目標(biāo)對(duì)象的多視角渲染值之間光度誤差輸入所述初始三維隱式場(chǎng)進(jìn)行訓(xùn)練，得到三維隱式場(chǎng)；提取多種相機(jī)射線的采樣點(diǎn)特征，根據(jù)多個(gè)所述采樣點(diǎn)特征生成目標(biāo)關(guān)鍵特征，將所述目標(biāo)關(guān)鍵特征輸入所述三維隱式場(chǎng)，并將所述初始圖像組輸入所述三維隱式場(chǎng)，輸出目標(biāo)特征體；將所述目標(biāo)特征體輸入幾何網(wǎng)絡(luò)，輸出有向距離場(chǎng)值和輸出特征，根據(jù)所述有向距離場(chǎng)值和所述輸出特征，得到所述目標(biāo)對(duì)象的幾何結(jié)果；根據(jù)所述幾何結(jié)果得到所述目標(biāo)對(duì)象在每個(gè)采樣點(diǎn)上的法向信息，將所有所述法向信息輸入紋理網(wǎng)絡(luò)，輸出多種所述相機(jī)射線中的匹配射線的渲染值。本發(fā)明利用位姿不精確的圖像集合作為輸入，重建三維隱式場(chǎng)，利用優(yōu)化后的相機(jī)位姿與三維隱式場(chǎng)進(jìn)行聯(lián)合優(yōu)化，通過(guò)穿過(guò)輸入圖像中關(guān)鍵點(diǎn)的相機(jī)光線來(lái)實(shí)現(xiàn)光線優(yōu)化和匹配光線一致性，能夠有效地提高位姿優(yōu)化的結(jié)果，利用點(diǎn)云特征增強(qiáng)的方式能夠進(jìn)一步優(yōu)化三維隱式場(chǎng)與相機(jī)位姿。