本申請涉及圖像處理，具體涉及一種圖像處理方法、裝置及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、三維高斯?jié)姙R方法是圖形學(xué)中常用的一種三維重建方法。三維高斯?jié)姙R方法從一組確定了相機(jī)參數(shù)的圖片中，恢復(fù)出以三維高斯場表達(dá)的場景，能夠基于高斯?jié)姙R實(shí)現(xiàn)高效的光柵化渲染。然而，相關(guān)技術(shù)中的的三維高斯?jié)姙R方法依賴于稠密的訓(xùn)練視角，在視角稀疏的區(qū)域則由于缺乏多視圖約束，沒有被足夠稠密訓(xùn)練視角覆蓋的場景區(qū)域也會產(chǎn)生嚴(yán)重的錯誤重建，幾何結(jié)構(gòu)會出現(xiàn)嚴(yán)重的缺陷，并使得觀測視角偏離訓(xùn)練視角時，渲染得到的結(jié)果和真實(shí)結(jié)果相差較大。

技術(shù)實(shí)現(xiàn)思路

1、本申請的目的是針對上述現(xiàn)有技術(shù)的不足提出的一種圖像處理方法、裝置及計(jì)算機(jī)程序產(chǎn)品，以至少解決上述現(xiàn)有技術(shù)的不足，該目的是通過以下技術(shù)方案實(shí)現(xiàn)的。

2、本申請的第一方面提出了一種圖像處理方法，所述方法包括：

3、獲取用于表達(dá)目標(biāo)場景的三維高斯場；

4、針對所述三維高斯場中的各三維高斯函數(shù)，計(jì)算所述三維高斯函數(shù)中目標(biāo)參數(shù)的不確定度；

5、在所述三維高斯場中，刪除所述不確定度超過預(yù)設(shè)閾值的所述三維高斯函數(shù)。

6、可選地，所述針對所述三維高斯場中的各三維高斯函數(shù)，計(jì)算所述三維高斯函數(shù)中目標(biāo)參數(shù)的不確定度，包括：

7、針對各所述三維高斯函數(shù)，基于已知的目標(biāo)圖像，使用拉普拉斯近似算法方法對所述目標(biāo)參數(shù)執(zhí)行后驗(yàn)估計(jì)，得到所述目標(biāo)參數(shù)的后驗(yàn)概率分布；所述目標(biāo)圖像是在目標(biāo)視角下拍攝所述目標(biāo)場景得到的；

8、根據(jù)所述目標(biāo)參數(shù)的后驗(yàn)概率分布，計(jì)算所述三維高斯函數(shù)中所述目標(biāo)參數(shù)的不確定度。

9、可選地，所述基于已知的目標(biāo)圖像，使用拉普拉斯近似算法方法對所述目標(biāo)參數(shù)執(zhí)行后驗(yàn)估計(jì)，得到所述目標(biāo)參數(shù)的后驗(yàn)概率分布，包括：

10、對所述三維高斯函數(shù)中的所述目標(biāo)參數(shù)執(zhí)行重參數(shù)化操作，得到更新的目標(biāo)參數(shù)；

11、將所述三維高斯函數(shù)中的所述目標(biāo)參數(shù)替換為所述更新的目標(biāo)參數(shù)，得到更新的三維高斯函數(shù)；

12、基于對角估計(jì)算法估計(jì)所述更新的三維高斯函數(shù)的海森矩陣；

13、根據(jù)所述更新的三維高斯函數(shù)的海森矩陣，確定所述目標(biāo)參數(shù)的后驗(yàn)概率分布。

14、可選地，所述基于對角估計(jì)算法估計(jì)所述更新的三維高斯函數(shù)的海森矩陣，包括：

15、根據(jù)泛化高斯-牛頓矩陣，估計(jì)所述更新的三維高斯函數(shù)的海森矩陣。

16、可選地，所述根據(jù)所述更新的三維高斯函數(shù)的海森矩陣，確定所述目標(biāo)參數(shù)的后驗(yàn)概率分布，包括：

17、根據(jù)所述更新的三維高斯函數(shù)的海森矩陣，確定所述目標(biāo)參數(shù)的后驗(yàn)概率分布中的協(xié)方差矩陣，得到確定的所述后驗(yàn)概率分布；

18、所述根據(jù)所述目標(biāo)參數(shù)的后驗(yàn)概率分布，計(jì)算所述三維高斯函數(shù)中所述目標(biāo)參數(shù)的不確定度，包括：

19、根據(jù)所述協(xié)方差矩陣，確定所述不確定度。

20、可選地，所述三維高斯函數(shù)的所述目標(biāo)參數(shù)為所述三維高斯函數(shù)的中心點(diǎn)位置；所述對所述三維高斯函數(shù)中的所述目標(biāo)參數(shù)執(zhí)行重參數(shù)化操作，得到更新的目標(biāo)參數(shù)，包括：

21、確定所述三維高斯函數(shù)的中心點(diǎn)位置在網(wǎng)格化空間中所處的三維網(wǎng)格，得到目標(biāo)三維網(wǎng)格；所述網(wǎng)格化空間為對所述目標(biāo)場景所處的三維空間劃分為預(yù)設(shè)尺寸的多個三維網(wǎng)格得到的，各所述三維網(wǎng)格中的各頂點(diǎn)設(shè)置有對應(yīng)的三維擾動量；

22、根據(jù)所述目標(biāo)三維網(wǎng)格中各頂點(diǎn)三維擾動量的三線性插值、以及所述三維高斯函數(shù)的中心點(diǎn)位置，生成更新的中心點(diǎn)位置；所述更新的中心點(diǎn)位置是所述更新的三維高斯函數(shù)中的中心點(diǎn)位置。

23、可選地，所述根據(jù)所述更新的三維高斯函數(shù)的海森矩陣，確定所述目標(biāo)參數(shù)的后驗(yàn)概率分布，包括：

24、根據(jù)所述更新的三維高斯函數(shù)的海森矩陣，估計(jì)所述目標(biāo)三維網(wǎng)格中各頂點(diǎn)的后驗(yàn)概率分布；

25、根據(jù)所述目標(biāo)三維網(wǎng)格中各頂點(diǎn)的后驗(yàn)概率分布，通過三線性插值計(jì)算所述中心點(diǎn)位置的后驗(yàn)概率分布。

26、可選地，所述獲取用于表達(dá)目標(biāo)場景的三維高斯場，包括：

27、獲取一組初始的三維高斯函數(shù)；各所述初始的三維高斯函數(shù)中包括多個參數(shù)，所述多個參數(shù)包括所述目標(biāo)參數(shù)；

28、根據(jù)所述目標(biāo)圖像，對所述初始的三維高斯函數(shù)中各所述參數(shù)執(zhí)行迭代訓(xùn)練，得到所述三維高斯場。

29、本申請的第二方面提出了一種圖像處理裝置，所述裝置包括：

30、獲取單元，用于獲取用于表達(dá)目標(biāo)場景的三維高斯場；

31、計(jì)算單元，用于針對所述三維高斯場中的各三維高斯函數(shù)，計(jì)算所述三維高斯函數(shù)中目標(biāo)參數(shù)的不確定度；

32、刪除單元，用于在所述三維高斯場中，刪除所述不確定度超過預(yù)設(shè)閾值的所述三維高斯函數(shù)。

33、本申請的第三方面提出了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行以實(shí)現(xiàn)本申請第一方面所述的方法。

34、基于上述第一方面所述的方法，本申請至少具有如下有益效果或優(yōu)點(diǎn)：

35、通過在獲取用于表達(dá)目標(biāo)場景的三維高斯場之后，針對三維高斯場中的各三維高斯函數(shù)，計(jì)算三維高斯函數(shù)中目標(biāo)參數(shù)的不確定度，進(jìn)而，可以在三維高斯場中，刪除不確定度超過預(yù)設(shè)閾值的三維高斯函數(shù)。本申請通過計(jì)算各三維高斯函數(shù)中目標(biāo)參數(shù)的不確定度，可以評估各三維高斯函數(shù)是否能夠準(zhǔn)確地描述該場景中對應(yīng)位置處的三維分布，通過剔除不確定度較高的三維高斯函數(shù)，可以剔除掉對場景不準(zhǔn)確的描述，提高了三維場景重建的準(zhǔn)確性，也提高了基于三維場景進(jìn)一步渲染二維圖像的準(zhǔn)確性。

36、上述說明僅是本申請技術(shù)方案的概述，為了能夠更清楚了解本申請的技術(shù)手段，可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本申請的上述和其他目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本申請的具體實(shí)施方式。

技術(shù)特征：

1.一種圖像處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對所述三維高斯場中的各三維高斯函數(shù)，計(jì)算所述三維高斯函數(shù)中目標(biāo)參數(shù)的不確定度，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于已知的目標(biāo)圖像，使用拉普拉斯近似算法方法對所述目標(biāo)參數(shù)執(zhí)行后驗(yàn)估計(jì)，得到所述目標(biāo)參數(shù)的后驗(yàn)概率分布，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于對角估計(jì)算法估計(jì)所述更新的三維高斯函數(shù)的海森矩陣，包括：

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述更新的三維高斯函數(shù)的海森矩陣，確定所述目標(biāo)參數(shù)的后驗(yàn)概率分布，包括：

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述三維高斯函數(shù)的所述目標(biāo)參數(shù)為所述三維高斯函數(shù)的中心點(diǎn)位置；所述對所述三維高斯函數(shù)中的所述目標(biāo)參數(shù)執(zhí)行重參數(shù)化操作，得到更新的目標(biāo)參數(shù)，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述更新的三維高斯函數(shù)的海森矩陣，確定所述目標(biāo)參數(shù)的后驗(yàn)概率分布，包括：

8.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取用于表達(dá)目標(biāo)場景的三維高斯場，包括：

9.一種圖像處理裝置，其特征在于，所述裝置包括：

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行以實(shí)現(xiàn)權(quán)利要求1-8任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請公開了一種圖像處理方法、裝置及計(jì)算機(jī)程序產(chǎn)品，該方法包括：獲取用于表達(dá)目標(biāo)場景的三維高斯場；針對三維高斯場中的各三維高斯函數(shù)，計(jì)算三維高斯函數(shù)中目標(biāo)參數(shù)的不確定度；在三維高斯場中，刪除不確定度超過預(yù)設(shè)閾值的三維高斯函數(shù)。本申請通過計(jì)算各三維高斯函數(shù)中目標(biāo)參數(shù)的不確定度，可以評估各三維高斯函數(shù)是否能夠準(zhǔn)確地描述該場景中對應(yīng)位置處的三維分布，通過剔除不確定度較高的三維高斯函數(shù)，可以剔除掉對場景不準(zhǔn)確的描述，提高了三維場景重建的準(zhǔn)確性，也提高了基于三維場景進(jìn)一步渲染二維圖像的準(zhǔn)確性。

技術(shù)研發(fā)人員：陳寶權(quán),葉開
受保護(hù)的技術(shù)使用者：北京大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19