背景技術：

1、三維場景重構在計算機視覺技術中頗受關注，并且在數字資產、增強現實、虛擬現實、游戲、電影和其他應用中發(fā)揮了重要作用。近年來，隨著深度學習領域的快速發(fā)展，已出現了基于深度學習的3d場景重構技術，包括由神經輻射場(nerf)表示的一類隱式場景表示。nerf系統(tǒng)使用神經網絡模型來基于從不同視圖(例如，頂視圖、側視圖等)獲取的場景的若干圖像來學習場景的表示，其目的是提供對來自未觀察視點的場景的真實圖像的渲染。然而，nerf的計算要求很高，并且對實時應用提出了挑戰(zhàn)。通常，從訓練后的nerf渲染視圖需要神經網絡模型進行多達數百萬次的推理計算，并且在一些硬件上渲染800×600圖像可能花費10分鐘以上。雖然基于nerf的一些后續(xù)研究已發(fā)現可以通過預計算加速渲染，但是這種方法通常需要附加的存儲器空間來存儲這些預計算結果。針對800×600圖像，其運行時存儲器消耗可以高達6千兆比特，因此它可能無法對普通移動電話執(zhí)行。

2、相對于這些和其他一般考慮，已描述了實施例。而且，盡管已討論了相對具體的問題，但是應該理解的是，實施例不應被限于解決背景中標識的具體問題。

技術實現思路

1、本發(fā)明的各個方面涉及用于合成新視圖(novel?view)的神經網絡模型。

2、在一個方面中，提供了一種用于變換神經輻射場模型的計算機實現的方法。該方法包括：向表示具有對象的3維空間的神經輻射場(nerf)模型提供多個輸入，其中多個輸入中的每個輸入包括地點和視圖方向，并且對應于表示3維空間的體素的相應顏色；基于多個輸入對nerf模型的多個輸出執(zhí)行光譜分析，其中多個輸出包括體素的相應顏色；提取頻率分量，這些頻率分量表示體素中的至少一些體素的顏色的光譜分析；以及生成稀疏體積數據結構，該稀疏體積數據結構表示3維空間和體素中的至少一些體素的相應顏色。

3、在另一方面中，提供了一種用于在3維空間中渲染對象的圖像的計算機實現的方法。該方法包括：處理從視點通過圖像的像素進入3維空間的射線，3維空間由稀疏體積數據結構和殘差神經網絡表示；沿射線對體素進行采樣，并且根據存儲在稀疏體積數據結構內的顏色值來累積體素的顏色；向殘差神經網絡提供視點的地點和視角以獲得圖像的像素的殘差顏色；以及通過組合圖像的每個像素的累積顏色和殘差顏色來渲染圖像。

4、在再一方面中，提供了一種包括指令的非瞬態(tài)計算機可讀存儲介質，該指令由一個或多個處理器可執(zhí)行。在由一個或多個處理器執(zhí)行時，指令使一個或多個處理器：向表示具有對象的3維空間的神經輻射場(nerf)模型提供多個輸入，其中多個輸入中的每個輸入包括地點和視圖方向，并且對應于表示3維空間的體素的相應顏色；基于多個輸入對nerf模型的多個輸出執(zhí)行光譜分析，其中多個輸出包括體素的相應顏色；提取頻率分量，這些頻率分量表示體素中的至少一些體素的顏色的光譜分析；以及生成稀疏體積數據結構，該稀疏體積數據結構表示3維空間和體素中的至少一些體素的相應顏色。

5、提供該
技術實現要素：
來以簡化的形式介紹下面在具體實施方式中進一步描述的一系列概念。該發(fā)明內容不旨在標識要求保護的主題的關鍵特征或者必要特征，也不旨在被用于限制要求保護的主題的范圍。

技術特征：

1.一種用于變換神經輻射場模型的計算機實現的方法，所述方法包括：

2.根據權利要求1所述的方法，其中提取所述頻率分量包括：

3.根據權利要求2所述的方法，其中提取所述頻率分量還包括：訓練殘差神經網絡以表示所述光譜分析的高頻分量。

4.根據權利要求3所述的方法，其中所述殘差神經網絡是單層神經網絡，并且針對所述殘差神經網絡模型的訓練數據是通過從所述nerf模型的對應輸出減去所述擴散顏色分量和所述低頻分量來獲得的。

5.根據權利要求3所述的方法，所述方法還包括：將所述殘差神經網絡模型的權重存儲為灰度圖像。

6.根據權利要求1所述的方法，所述方法還包括：

7.根據權利要求6所述的方法，其中存儲所述顏色包括：省略不與所述對象的表面相鄰的塊內的顏色。

8.根據權利要求6所述的方法，其中劃分所述3維空間包括：針對離所述對象更遠的所述3維空間的區(qū)域使用較大尺寸的塊，并且針對更靠近所述對象的所述3維空間的區(qū)域使用較小尺寸的塊。

9.根據權利要求6所述的方法，其中存儲所述顏色包括：將所述塊內的所述顏色存儲為第一紋理，并且將所述塊之中的相對位置存儲為第二紋理。

10.根據權利要求6所述的方法，其中所述稀疏體積數據結構是具有與所述尺寸不一致的塊相對應的節(jié)點的樹數據結構。

11.一種用于在3維空間中渲染對象的圖像的計算機實現的方法，所述方法包括：

12.根據權利要求11所述的方法，其中所述稀疏體積數據結構是具有與所述3維空間內的尺寸不一致的塊相對應的節(jié)點的樹數據結構。

13.根據權利要求12所述的方法，其中較大尺寸的塊對應于離所述對象更遠的所述3維空間的區(qū)域，并且較小尺寸的塊對應于更靠近所述對象的所述3維空間的區(qū)域。

14.一種非瞬態(tài)計算機可讀存儲介質，包括由一個或多個處理器可執(zhí)行的指令，所述指令在由所述一個或多個處理器執(zhí)行時使所述一個或多個處理器：

15.根據權利要求14所述的計算機可讀存儲介質，其中所述指令由所述一個或多個處理器可執(zhí)行以使所述一個或多個處理器：

16.根據權利要求15所述的計算機可讀存儲介質，其中所述指令由所述一個或多個處理器可執(zhí)行以使所述一個或多個處理器：

17.根據權利要求16所述的計算機可讀存儲介質，其中所述殘差神經網絡是單層神經網絡，并且針對所述殘差神經網絡模型的訓練數據是通過從所述nerf模型的對應輸出減去所述擴散顏色分量和所述低頻分量來獲得的。

18.根據權利要求14所述的計算機可讀存儲介質，其中所述指令由所述一個或多個處理器可執(zhí)行以使所述一個或多個處理器：

19.根據權利要求18所述的計算機可讀存儲介質，其中所述指令由所述一個或多個處理器可執(zhí)行以使所述一個或多個處理器：

20.根據權利要求18所述的計算機可讀存儲介質，其中所述指令由所述一個或多個處理器可執(zhí)行以使所述一個或多個處理器：

技術總結
描述了一種用于變換神經輻射場模型的計算機實現的方法。多個輸入被提供給表示具有對象的3維空間的神經輻射場(NeRF)模型，其中該多個輸入中的每個輸入包括地點和視圖方向，并且對應于表示3維空間的體素的相應顏色?；谠摱鄠€輸入對NeRF模型的多個輸出來執(zhí)行光譜分析，其中該多個輸出包括體素的相應顏色。提取頻率分量，這些頻率分量表示體素中的至少一些體素的顏色的光譜分析。生成稀疏體積數據結構，該稀疏體積數據結構表示3維空間和體素中的至少一些體素的相應顏色。

技術研發(fā)人員：劉策龍,張樂林,陳清瑜,李云珠,李昊澤,梅星
受保護的技術使用者：臉萌有限公司
技術研發(fā)日：
技術公布日：2024/12/17