,
[0050] 若冊MOx《冊MOTh。,則將像素X判定為紋理平坦點(diǎn),
[0051] 若HOM〇x>HOMOThre,則將像素X判定為紋理復(fù)雜點(diǎn);
[0052]S2. 3、針對深度圖的當(dāng)前編碼塊,
[0053] 若N《T,則將當(dāng)前編碼塊判定為平坦塊,
[0054] 若N>T,則將當(dāng)前編碼塊判定為紋理塊;
[0055] 其中,T為設(shè)定的數(shù)量闊值,N為當(dāng)前編碼塊中紋理復(fù)雜點(diǎn)的數(shù)量。
[0056] 在一個實(shí)施例中,
[0057] 所述第=處理單元通過SVR算法建立所述關(guān)系模型。
[0058] 在一個實(shí)施例中,
[0059] 所述第=處理單元通過如下步驟獲取所述實(shí)驗的失真深度圖的多個不同的紋理 塊與平坦塊的失真比:
[0060] 在根據(jù)實(shí)驗的參考深度圖編碼獲得實(shí)驗的失真深度圖的過程中,固定參考深度圖 的紋理塊的量化參數(shù),改變參考深度圖的平坦塊的量化參數(shù)。
[0061] 在一個實(shí)施例中,
[0062] 在根據(jù)實(shí)驗的參考紋理圖編碼獲得所述實(shí)驗的失真紋理圖過程中,固定參考紋理 圖的量化參數(shù)。
[0063] 本發(fā)明的有益效果是:
[0064] 本發(fā)明能夠W數(shù)學(xué)模型的形式,通過深度圖的紋理特征及其不同紋理區(qū)的失真情 況預(yù)測其合成圖的3D圖像體驗質(zhì)量值,對探究多視點(diǎn)視頻的體驗質(zhì)量及優(yōu)化多視點(diǎn)視頻 編碼具有重要的意義。 【【附圖說明】】 W65]圖1是本發(fā)明一種實(shí)施例的3D圖像體驗質(zhì)量預(yù)測方法的流程圖。 【【具體實(shí)施方式】】
[0066] W下對發(fā)明的較佳實(shí)施例作進(jìn)一步詳細(xì)說明。
[0067] 如圖1所示,一種實(shí)施例的3D圖像體驗質(zhì)量預(yù)測方法,包括如下步驟:
[0068] S1、獲得實(shí)驗3D圖像體驗質(zhì)量值與實(shí)驗的失真深度圖的紋理塊個數(shù)占比、紋理塊 的平均塊失真、紋理塊與平坦塊的失真比之間的關(guān)系模型。
[0069] SI. 1、輸入多個用于實(shí)驗的視點(diǎn)的紋理圖像、失真的深度圖像W及對應(yīng)的參考深 度圖像(用W獲得深度圖失真大?。?,視點(diǎn)數(shù)為N(N> 2),視點(diǎn)位置呈一維均勻分布。深度 圖的失真原因不限。參考深度圖在編碼過程中會產(chǎn)生失真,得到失真的深度圖。
[0070] 在編碼過程中,紋理圖和深度圖的編碼QP(量化參數(shù))存在固定的組合,例如 "30-39"指的是當(dāng)紋理圖的QP選擇30時,深度圖應(yīng)該對應(yīng)選擇39。當(dāng)紋理圖和深度圖的 編碼QP組合確定時,編碼的碼率基本水平即確定。紋理圖的編碼解碼后的失真對合成圖的 質(zhì)量有著較大的影響。但是,為了研究深度圖的失真情況對合成圖質(zhì)量的影響,在此,我們 固定紋理圖的QP。
[007U 深度圖失真的仿真過程可W包括如下步驟:借助3D-HEVC編碼平臺對多視點(diǎn)紋理 圖像和深度圖像進(jìn)行編碼。編碼時,固定紋理圖的QP(量化參數(shù)),通過區(qū)域性改變深度圖 的QP來獲取多種不同失真比的深度圖。對于深度圖中的紋理塊固定QP,平坦區(qū)的QP在紋 理塊的QP上加上一定的偏移量QPwfwt,編碼解碼后就可得到失真的紋理圖和深度圖。
[0072]SI. 2、對失真的深度圖檢測其紋理復(fù)雜度,根據(jù)深度圖中每個編碼塊的紋理復(fù)雜 度,將該編碼塊歸類為紋理塊或平坦塊,所述紋理塊指在深度圖中紋理復(fù)雜度大于紋理復(fù) 雜度闊值的編碼塊,所述平坦塊指在深度圖中紋理復(fù)雜度小于所述紋理復(fù)雜度闊值的編碼 塊。深度圖的每個編碼塊歸類為紋理塊或平坦塊的過程可W通過W下兩個步驟得到:
[0073] SI. 2. 1、計算深度圖中每一個像素X的同質(zhì)性值HOMOx,
陽0巧]其中,O是^像素X為中屯、點(diǎn)的M個像素點(diǎn)組成的方形區(qū)域,(i,j)為O區(qū)內(nèi)的像 素點(diǎn)坐標(biāo),Vi,j為像素點(diǎn)(i,j)的亮度值。M優(yōu)選為奇數(shù),在一個實(shí)施例中,M取9。
[0076] SI. 2. 2、設(shè)定闊值冊M〇Thw根據(jù)似式將像素X歸類為紋理平坦點(diǎn)或紋理復(fù)雜點(diǎn): 陽077] 若HOM〇x《HOMOThf。,則將像素X判定為紋理平坦點(diǎn), 陽07引若HOM〇x>HOMOThre,則將像素X判定為紋理復(fù)雜點(diǎn);似 陽0巧]SI.2. 3、針對深度圖的當(dāng)前編碼塊,
[0080] 若N《T,則將當(dāng)前編碼塊判定為平坦塊,
[0081] 若N>T,則將當(dāng)前編碼塊判定為紋理塊;
[00間其中,T為設(shè)定的數(shù)量闊值,N為當(dāng)前編碼塊中紋理復(fù)雜點(diǎn)的數(shù)量。
[008引具體地,在一個實(shí)施例中,多視點(diǎn)編碼標(biāo)準(zhǔn)3D-肥VC的基本編碼單元(編碼塊)是CTU,大小是64X64。計算出當(dāng)前CTU內(nèi)紋理復(fù)雜像素點(diǎn)的數(shù)量,則:
[0084] 若N《T,則將當(dāng)前CTU判定為平坦塊,
[0085] 若N>T,則將當(dāng)前CTU判定為紋理塊;
[0086] SI. 3、聯(lián)合參考深度圖像和失真的深度圖像,計算失真深度圖中紋理塊個數(shù)占 比,紋理塊的平均塊失真(客觀失真)、平坦塊的平均塊失真、W及紋理塊與平坦塊的失真 比。其中,紋理塊個數(shù)占比Rt指在深度圖中紋理塊的個數(shù)與編碼塊總數(shù)之比,紋理塊的平 均塊失真Dt指在失真深度圖中每個紋理塊相對于對應(yīng)的參考深度圖的紋理塊的失真之和 的算術(shù)平均值,平坦塊的平均塊失真町指在失真深度圖中每個平坦塊相對于對應(yīng)的參考深 度圖中的平坦塊的失真之和的算術(shù)平均值,紋理塊與平坦塊的失真比Dt/Dh指紋理塊的平 均塊失真與平坦塊的平均塊失真之比。當(dāng)QPwfWt在一定的區(qū)間內(nèi)變化時,就可W得到一系 列的失真比Dt/Dh值。
[0087]SI. 4、預(yù)測模型為基于SVR(支持向量回歸)建立的模型,模型建立分為W下幾 步:
[0088]SI. 4. 1、某一失真比Dt/Dh值的深度圖和紋理圖作為視點(diǎn)合成算法的輸入,執(zhí)行視 點(diǎn)合成算法就可W得到多個視點(diǎn)的合成圖。取合成圖中的兩個相鄰視點(diǎn)構(gòu)成3D立體對。
[0089] 視點(diǎn)合成算法,輸入是相機(jī)采集的兩個視點(diǎn)的紋理圖視頻和深度圖視頻,輸出是 對應(yīng)其間的指定視點(diǎn)的視頻?;镜乃惴鞒淌牵菏紫龋笥乙朁c(diǎn)的深度圖被變換到待合成 視點(diǎn),并進(jìn)行濾波處理;然后利用得到的兩個深度圖,獲得分別從左右兩視點(diǎn)變換到待合成 視點(diǎn)的合成圖;通過對兩合成圖進(jìn)行空桐填補(bǔ)、融合和圖像修補(bǔ)等操作,從而獲得最后的待 合成視點(diǎn)的合成圖。
[0090]SI. 4. 2、紋理圖保持不變,改變深度圖的失真比,重復(fù)第一步,得到多組"失真比 Dt/Dh-3D立體圖像對"的對應(yīng)對。對于每個視頻序列,抽取a帖畫面(不同的深度圖具有 各自的Rt、Dt、Dh),每個帖畫面有b種失真情況,所W每個視頻序列可W得到aXb個失真的 3D圖像。
[0091]SI. 4. 3、改變視頻序列,對C個視頻序列執(zhí)行上述操作,得到aXbXc個失真的3D 圖像。 陽09引 SI. 4. 4、經(jīng)過W上步驟,得到了aXbXc個失真的3D圖像。接下來實(shí)施主觀實(shí) 驗:1)根據(jù)主觀實(shí)驗的實(shí)驗要求,將3D顯示設(shè)備放置于安靜且光線較暗的環(huán)境中;2)將aXbXc個3D立體圖像對W隨機(jī)順序在立體顯示器上播放,觀看者為每一個立體圖像打 分,得到一個3D圖像體驗質(zhì)量值;3)針對每一個立體圖像:對得到的3D圖像體驗質(zhì)量值進(jìn) 行預(yù)處理,剔除離群點(diǎn),將n個觀眾對每一個立體對的3D圖像體驗質(zhì)量值取均值,作為該立 體對圖像的3D圖像體驗質(zhì)量值。
[009引 SI. 4. 5、至此,可W得到樣本量為aXbXc"3D圖像體驗質(zhì)量值一深度圖失真變 量"的數(shù)據(jù)集,即3D圖像體驗質(zhì)量值與失真深度圖的紋理塊個數(shù)占比、紋理塊的平均塊失 真、紋理塊與平坦塊的失真比之間的對應(yīng)數(shù)據(jù)集。
[0094] 對上述數(shù)據(jù)集進(jìn)行SVR算法運(yùn)算,可W建立3D圖像體驗質(zhì)量值與失真深度圖的紋 理塊個數(shù)占比、紋理塊的平均塊失真、紋理塊與平坦塊的失真比之間的所述關(guān)系模型。
[0095] 針對待預(yù)測的失真深度圖,通過如下步驟預(yù)測得到根據(jù)所述待預(yù)測的失真深度圖 和固定質(zhì)量的紋理圖(某一編碼碼率下得到的失真紋理圖)合成得到的視圖的3D圖像體 驗質(zhì)量值,包括如下步驟:
[0096] S2、獲取待預(yù)測的失真深度圖、W及對應(yīng)的參考深度圖;
當(dāng)前第2頁
1 
2 
3