一種基于空間加權(quán)的虛擬視點繪制方法
【技術領域】
[0001] 本發(fā)明設及一種虛擬視點繪制技術，尤其是設及一種基于空間加權(quán)的虛擬視點繪 制方法。
【背景技術】
[0002] 隨著數(shù)字視頻技術的快速發(fā)展，二維視頻W平面圖像來描述真實的=維場景，已 無法滿足用戶對真實感和立體感的需求。與傳統(tǒng)的二維視頻相比，自由視點視頻（FVV，化ee Viewpoint Video)系統(tǒng)能使用戶自由地選擇觀看角度，并且自由視點視頻能夠帶來強烈地 視覺沖擊，使觀眾感到景物迎面而來，恍若身臨其境，感受到了真切的深度感和沉浸感，是 新一代多媒體視頻系統(tǒng)的發(fā)展方向。在自由視點視頻中，由于受到成本與傳輸帶寬的限制， 不可能在每一個視點上都放置一臺攝像機，因此需要使用已有的有限個視點合成未知的多 個虛擬視點，來達到自由視點的視覺效果。
[000引多視點彩色加深度視頻（MVD，Multi-view Video plus Depth)是自由視點視頻的 一種主流數(shù)據(jù)表示結(jié)構(gòu)，其可用于表達深度層次豐富的場景，再結(jié)合基于深度圖繪制技術 值IBR，Depth Image Based Rendering)能夠繪制出多個虛擬視點，達到自由視點的體驗效 果。基于深度圖繪制技術是近幾年來得到廣泛關注與應用的虛擬視點合成技術，其利用已 有視點的彩色視頻與對應的深度視頻提供的空間幾何信息繪制出虛擬視點。利用基于深度 圖繪制技術繪制虛擬視點的過程中主要使用的技術有；坐標變換（3D Warping)、像素插值、 空洞填補、圖像融合、圖像修復等技術。
[0004] 在基于深度圖繪制技術的虛擬視點繪制過程中，存在兩個比較重要的環(huán)節(jié)，一個 就是S維變換（3DWarping)，另一個就是重采樣（像素插值）。其中，第一個環(huán)節(jié)就是實現(xiàn)將 參考視點圖像空間內(nèi)的像素點投影到目標視點圖像空間，它是W視差D為橋梁的，就水平 設置相機而言，公式
【主權(quán)項】
1. 一種基于空間加權(quán)的虛擬視點繪制方法，其特征在于包括以下步驟： ① 獲取同一時刻的左參考視點的彩色圖像和右參考視點的彩色圖像及兩者各自對應 的深度圖像，并假設虛擬視點介于左參考視點與右參考視點之間，且左參考視點、虛擬視 點、右參考視點三者在同一水平線上； ② 根據(jù)左參考視點的彩色圖像及其對應的深度圖像，以行為單位對左參考視點的彩色 圖像中的每行中的每個像素點進行坐標變換，得到左參考虛擬視點圖像中的每行中的每個 整像素點附近的N個實際投影像素點，其中，N多O ; ③ 獲取插值后的左參考虛擬視點圖像，具體過程為： ③-1、將插值前的左參考虛擬視點圖像中當前待處理的一行定義為當前行； ③-2、假設當前行為插值前的左參考虛擬視點圖像中的第i行，則對于當前行中坐標 位置為（i，j)的整像素點，若該整像素點附近即在（i_l，i+l)范圍內(nèi)的實際投影像素點的 個數(shù)N = 0,那么將該整像素點視為空洞像素點，對該整像素點不進行插值處理；若該整像 素點附近即在（i-1，i+Ι)范圍內(nèi)的實際投影像素點的個數(shù)N4 0,那么執(zhí)行以下步驟以對該 整像素點進行插值處理： 當N = 1時，直接將這1個實際投影像素點的亮度值作為該整像素點的亮度值，并將這 1個實際投影像素點的深度值作為該整像素點的深度值，完成該整像素點的插值處理； 當N = 2時，對這2個實際投影像素點的亮度值進行空間加權(quán)，得到該整像素點 的亮度值，記為IA(i，j)，
并對這2個 實際投影像素點的深度值進行空間加權(quán)，得到該整像素點的深度值，記為DvJi，j)，
至此完成該整像素點的插值處理；其中，P的初始值 為1，1彡p彡N，W(ij，p表示第p個實際投影像素點的加權(quán)系數(shù)，V (ij，p表示第p個實際投 影像素點的深度值，d(ij，p表示第p個實際投影像素點的水平位置X p與該整像素點的水平 位置i之間的絕對距離，daj)，p= I Xp-i I，符號" I I "為取絕對值符號，Iajhp表示第p個實 際投影像素點的亮度值； 當N = 3或N = 4時，先確定所有實際投影像素點中的可疑點，對于任一個 實際投影像素點，如果該實際投影像素點的深度值遠遠小于所有實際投影像素 點的深度值中的最大深度值，則確定該實際投影像素點為可疑點；再對所有實際 投影像素點的亮度值進行空間加權(quán)，得到該整像素點的亮度值，記為I vJi，j)，
，并對所有實際投影像素點的深度值進行空 間加權(quán)，得到該整像素點的深度值，記為DvJi，j)，
至此完成該整像素點的插值處理；其中，P的初始值為1，I < P < N，w' aj)，p表示第p個實 際投影像素點的加權(quán)系數(shù)，ν' (^ρ表示第p個實際投影像素點的深度值，d' (i，j)，p表不弟P 個實際投影像素點的水平位置x'p與該整像素點的水平位置i之間的絕對距離，d' ^p = IX' p-i I，符號" 11 "為取絕對值符號，I' (U，P表示第P個實際投影像素點的亮度值； 當N多5時，先從所有實際投影像素點中隨機選取5個實際投影像素點；然后根據(jù)隨機 選取的5個實際投影像素點各自的亮度值和深度值，采用ZBufTer技術獲得該整像素點的 亮度值和深度值，完成該整像素點的插值處理； 其中，I < i < W，I < j < H，W表示待繪制的虛擬視點圖像的寬度，H表示待繪制的虛 擬視點圖像的高度； ③ -3、在完成當前行的插值處理后，將插值前的左參考虛擬視點圖像中待處理的下一 行作為當前行，然后返回步驟③-2繼續(xù)執(zhí)行，直至插值前的左參考虛擬視點圖像中的所有 行處理完畢，獲得插值后的左參考虛擬視點圖像； ④ 按照步驟②至步驟③的操作過程，以相同的方式獲得插值后的右參考虛擬視點圖 像； ⑤ 對插值后的左參考虛擬視點圖像進行空洞填補，得到空洞填補后的左參考虛擬視點 圖像；同樣，對插值后的右參考虛擬視點圖像進行空洞填補，得到空洞填補后的右參考虛擬 視點圖像； ⑥ 對空洞填補后的左參考虛擬視點圖像和空洞填補后的右參考虛擬視點圖像進行融 合，得到融合后的虛擬視點圖像。
2.根據(jù)權(quán)利要求1所述的一種基于空間加權(quán)的虛擬視點繪制方法，其特征在于所述的 步驟⑥執(zhí)行完畢后，對融合后的虛擬視點圖像進行去噪處理，獲得最終的不含噪聲的虛擬 視點圖像，具體過程為： ⑦ -1、將融合后的虛擬視點圖像中當前待處理的一個像素點定義為當前像素點； ⑦-2、假設當前像素點在融合后的虛擬視點圖像中的坐標位置為（i，j)， 則利用空洞填補后的左參考虛擬視點圖像中坐標位置為（i，j)的整像素點和 空洞填補后的右參考虛擬視點圖像中坐標位置為（i，j)的整像素點對當前像 素點進行失真檢測，計算得到當前像素點的失真掩膜值，記為ErrorMask (i, j)，
?中， IvJi，j)表示空洞填補后的左參考虛擬視點圖像中坐標位置為（i，j)的整像素點的亮度 值，IvR(i，j)表示空洞填補后的右參考虛擬視點圖像中坐標位置為（i，j)的整像素點的亮 度值，D vJi，j)表示空洞填補后的左參考虛擬視點圖像中坐標位置為（i，j)的整像素點的 深度值，DvK(i，j)表示空洞填補后的右參考虛擬視點圖像中坐標位置為（i，j)的整像素點 的深度值，thl為設定的第一閾值，th2為設定的第二閾值，符號" I I "為取絕對值符號； ⑦-3、如果ErrorMask(i，j) = 1，則確定當前像素點為含有噪聲的像素點，然后 利用3X3的中值濾波模板對當前像素點進行中值濾波處理，再執(zhí)行步驟⑦-4;如果 ErrorMaskQ, j) = 0,則確定當前像素點為不含有噪聲的像素點，再執(zhí)行步驟⑦-4 ; ⑦-4、將融合后的虛擬視點圖像中下一個待處理的像素點作為當前像素點，然后返回 步驟⑦-2繼續(xù)執(zhí)行，直至融合后的虛擬視點圖像中的所有像素點處理完畢，得到最終的不 含噪聲的虛擬視點圖像。
3. 根據(jù)權(quán)利要求2所述的一種基于空間加權(quán)的虛擬視點繪制方法，其特征在于所述 的步驟⑦-2中設定的第一閾值thl = 0. 15(Ιν?α，j)+IvK(i，j))，設定的第二閾值th2 = 0· 10(DvL(i，j)+DvK(i，j))〇
4. 根據(jù)權(quán)利要求1至3中任一項所述的一種基于空間加權(quán)的虛擬視點繪制方法， 其特征在于所述的步驟③-2中當N = 2時，取w(i，ρ，ρ= 1;當N=3或N = 4時，取
其中，MaxDepthQ, j)表示在（i-1, i+1) 范圍內(nèi)的所有實際投影像素點的深度值中的最大深度值，符號" I I "為取絕對值符號，th為 設定的判定閾值。
5. 根據(jù)權(quán)利要求4所述的一種基于空間加權(quán)的虛擬視點繪制方法，其特征在于所述的 設定的判定閾值th = 0· 25MaxDepth(i, j)。
【專利摘要】本發(fā)明公開了一種基于空間加權(quán)的虛擬視點繪制方法，其以行為單位進行像素點的坐標變換，獲得實際投影像素點，然后以行為單位進行插值處理，省去了VSRS虛擬視點繪制方法中的上、下采樣操作，節(jié)省了繪制時間；其充分地考慮了投影像素點的空間位置和多個投影像素點對繪制質(zhì)量的影響，采用空間加權(quán)方式，有效地減少了由于深度圖不準確所引入的噪聲，提高了繪制精度，從而提高了虛擬視點圖像的主、客觀質(zhì)量；其充分地考慮了參考視點不同區(qū)域?qū)L制質(zhì)量的影響，從虛擬視點圖像中的整像素點附近的投影像素點個數(shù)側(cè)面地反映了其區(qū)域分布情況，并且對不同區(qū)域進行相應的插值，能夠準確地將參考視點中的像素點插入到虛擬視點中，提高了虛擬視點圖像的質(zhì)量。
【IPC分類】H04N13-00, H04N19-154
【公開號】CN104661013
【申請?zhí)枴緾N201510040545
【發(fā)明人】彭宗舉, 汪輝, 陳芬, 焦任直, 蔣剛毅
【申請人】寧波大學
【公開日】2015年5月27日
【申請日】2015年1月27日