一種3d圖像體驗質(zhì)量預(yù)測方法及裝置的制造方法
【專利說明】-種3D圖像體驗質(zhì)量預(yù)測方法及裝置 【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及多視點計算機(jī)視覺領(lǐng)域，尤其設(shè)及一種3D圖像體驗質(zhì)量預(yù)測方法及 裝置。 【【背景技術(shù)】】
[0002] 多視點視頻系統(tǒng)作為自由試點電視的第二個發(fā)展階段，近幾年取得了較大的發(fā) 展。多視點電視可W提供給用戶多個觀看視角的立體視頻。在實際操作中，對同一場景拍 攝、傳輸較多視點的視頻是不現(xiàn)實的。所W，可W拍攝有限個視點的視頻，對運有限個紋理 視頻及其對應(yīng)的深度視頻進(jìn)行壓縮傳輸。在接收端，利用解碼后的紋理視頻和深度視頻，其 它視點觀察目標(biāo)場景的視頻可W被合成出來，從而用戶端可W觀看到的視點個數(shù)遠(yuǎn)多于拍 攝視點個數(shù)。在編碼傳輸?shù)倪^程中，紋理視頻和深度視頻會產(chǎn)生失真，兩者的失真也會影響 合成圖的圖像質(zhì)量。
[0003] 現(xiàn)有的一些深度圖失真預(yù)測模型就深度圖的質(zhì)量對合成圖的客觀質(zhì)量進(jìn)行了一 些研究。例如VSD(ViewSynthesisDistortion),即通過估算編碼深度圖造成的合成視圖 的失真，來預(yù)測深度圖失真的方法，但此處的合成視圖的失真是客觀質(zhì)量失真。合成圖的主 觀質(zhì)量即用戶的3D體驗質(zhì)量對于評價多視點視頻系統(tǒng)及其他3D視頻應(yīng)用具有更重要的意 義。主觀實驗是評價視頻圖像的3D體驗質(zhì)量最直接準(zhǔn)確的方式，但是主觀實驗是一個耗時 費力并且對測試環(huán)境都有嚴(yán)格要求的過程。所W通過建立數(shù)學(xué)模型來預(yù)測合成圖的3D體 驗質(zhì)量極為重要。
[0004] 目前有學(xué)者對深度圖質(zhì)量對合成圖3D體驗質(zhì)量的影響做了一些探究性的實驗。 不足之處在于，只考慮到了不同碼率或不同包丟失率的情況下，深度圖的失真對合成圖3D 體驗質(zhì)量的影響，并未考慮深度圖空域上的內(nèi)容特征。另外，已有的探究由于觀測樣本較 少，只對結(jié)果提出了解釋性的結(jié)論，并未將深度圖的失真與合成圖的主觀質(zhì)量建立模型關(guān) 系，不能直觀的得出結(jié)果。 【
【發(fā)明內(nèi)容】
】
[0005] 為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種3D圖像體驗質(zhì)量預(yù)測方法，W分析 3D圖像體驗質(zhì)量值與失真的深度圖的各種參數(shù)之間的關(guān)系。
[0006] 一種3D圖像體驗質(zhì)量預(yù)測方法，包括如下步驟：
[0007] S1、獲取待預(yù)測的失真深度圖、W及對應(yīng)的參考深度圖；
[0008] S2、計算所述待預(yù)測的失真深度圖的紋理塊個數(shù)占比、紋理塊的平均塊失真、平坦 塊的平均塊失真、紋理塊與平坦塊的失真比；
[0009] 其中，所述紋理塊指在深度圖中紋理復(fù)雜度大于紋理復(fù)雜度闊值的編碼塊，所述 平坦塊指在深度圖中紋理復(fù)雜度小于所述紋理復(fù)雜度闊值的編碼塊，所述紋理塊個數(shù)占比 指在深度圖中紋理塊的個數(shù)與編碼塊總數(shù)之比，所述紋理塊的平均塊失真指在失真深度圖 中每個紋理塊相對于對應(yīng)的參考深度圖的紋理塊的失真之和的算術(shù)平均值，所述平坦塊的 平均塊失真指在失真深度圖中每個平坦塊相對于對應(yīng)的參考深度圖中的平坦塊的失真之 和的算術(shù)平均值，所述紋理塊與平坦塊的失真比指紋理塊的平均塊失真與平坦塊的平均塊 失真之比；
[0010] S3、將所述待預(yù)測的失真深度圖的紋理塊個數(shù)占比、紋理塊的平均塊失真、紋理塊 與平坦塊的失真比輸入關(guān)系模型中，得到根據(jù)所述待預(yù)測的失真深度圖和固定質(zhì)量的紋理 圖合成得到的視圖的3D圖像體驗質(zhì)量值；
[0011] 其中，通過如下步驟獲得所述關(guān)系模型：
[0012] S3. 1、獲取實驗的失真深度圖、W及對應(yīng)的參考深度圖、失真紋理圖；
[0013] S3. 2、計算所述實驗的失真深度圖的紋理塊個數(shù)占比、紋理塊的平均塊失真、平坦 塊的平均塊失真、紋理塊與平坦塊的失真比；
[0014] S3. 3、根據(jù)所述實驗的失真深度圖和失真紋理圖合成實驗視圖，并獲取用戶對所 述實驗視圖的體驗質(zhì)量進(jìn)行評價的實驗3D圖像體驗質(zhì)量值；
[0015]S3. 4、計算建立所述實驗3D圖像體驗質(zhì)量值與所述實驗的失真深度圖的紋理塊 個數(shù)占比、紋理塊的平均塊失真、紋理塊與平坦塊的失真比之間的所述關(guān)系模型。
[0016] 在一個實施例中，通過如下步驟確定深度圖中的紋理塊和平坦塊：
[0017] S2. 1、計算深度圖中每一個像素X的同質(zhì)性值HOMO,，
[0019] 其中，O是^像素X為中屯、點的M個像素點組成的方形區(qū)域，（i，如為O區(qū)內(nèi)的像 素點坐標(biāo)，Vi,j為像素點（i，j)的亮度值；
[0020] S2. 2、設(shè)定闊值HOM〇Thre，
[0021]若HOM〇x《HOMOThre，則將像素X判定為紋理平坦點，
[0022] 若冊M〇x>冊版)Th。，則將像素X判定為紋理復(fù)雜點；
[0023] S2. 3、針對深度圖的當(dāng)前編碼塊，
[0024] 若N《T，則將當(dāng)前編碼塊判定為平坦塊，
[0025] 若N>T，則將當(dāng)前編碼塊判定為紋理塊；
[0026] 其中，T為設(shè)定的數(shù)量闊值，N為當(dāng)前編碼塊中紋理復(fù)雜點的數(shù)量。
[0027] 在一個實施例中，
[0028] 在步驟S3. 4中，通過SVR算法建立所述關(guān)系模型。
[0029] 在一個實施例中，
[0030] 在步驟S3. 2中，通過如下步驟獲取所述實驗的失真深度圖的多個不同的紋理塊 與平坦塊的失真比：
[0031] 在根據(jù)實驗的參考深度圖編碼獲得實驗的失真深度圖的過程中，固定參考深度圖 的紋理塊的量化參數(shù)，改變參考深度圖的平坦塊的量化參數(shù)。
[0032] 在一個實施例中，
[0033] 在所述步驟S3. 4中，在根據(jù)實驗的參考紋理圖編碼獲得所述實驗的失真紋理圖 過程中，固定參考紋理圖的量化參數(shù)。
[0034] 本發(fā)明還提供了一種3D圖像體驗質(zhì)量預(yù)測裝置，包括如下單元：
[0035] 第一處理單元，用于獲取待預(yù)測的失真深度圖、W及對應(yīng)的參考深度圖；
[0036] 第二處理單元，用于計算所述待預(yù)測的失真深度圖的紋理塊個數(shù)占比、紋理塊的 平均塊失真、平坦塊的平均塊失真、紋理塊與平坦塊的失真比；
[0037] 其中，所述紋理塊指在深度圖中紋理復(fù)雜度大于紋理復(fù)雜度闊值的編碼塊，所述 平坦塊指在深度圖中紋理復(fù)雜度小于所述紋理復(fù)雜度闊值的編碼塊，所述紋理塊個數(shù)占比 指在深度圖中紋理塊的個數(shù)與編碼塊總數(shù)之比，所述紋理塊的平均塊失真指在失真深度圖 中每個紋理塊相對于對應(yīng)的參考深度圖的紋理塊的失真之和的算術(shù)平均值，所述平坦塊的 平均塊失真指在失真深度圖中每個平坦塊相對于對應(yīng)的參考深度圖中的平坦塊的失真之 和的算術(shù)平均值，所述紋理塊與平坦塊的失真比指紋理塊的平均塊失真與平坦塊的平均塊 失真之比；
[0038] 第=處理單元，用于將所述待預(yù)測的失真深度圖的紋理塊個數(shù)占比、紋理塊的平 均塊失真、紋理塊與平坦塊的失真比輸入關(guān)系模型中，得到根據(jù)所述待預(yù)測的失真深度圖 和固定質(zhì)量的紋理圖合成得到的視圖的3D圖像體驗質(zhì)量值；
[0039] 其中，所述第=處理單元通過如下步驟獲得所述關(guān)系模型：
[0040] 獲取實驗的失真深度圖、W及對應(yīng)的參考深度圖、失真紋理圖；
[0041] 計算所述實驗的失真深度圖的紋理塊個數(shù)占比、紋理塊的平均塊失真、平坦塊的 平均塊失真、紋理塊與平坦塊的失真比；
[0042] 根據(jù)所述實驗的失真深度圖和失真紋理圖合成實驗視圖，并獲取用戶對所述實驗 視圖的體驗質(zhì)量進(jìn)行評價的實驗3D圖像體驗質(zhì)量值；
[0043] 計算建立所述實驗3D圖像體驗質(zhì)量值與所述實驗的失真深度圖的紋理塊個數(shù)占 比、紋理塊的平均塊失真、紋理塊與平坦塊的失真比之間的所述關(guān)系模型。
[0044] 在一個實施例中，
[0045] 所述第=處理單元通過如下步驟確定深度圖中的紋理塊和平坦塊：
[0046] 計算深度圖中每一個像素X的同質(zhì)性值HOMOx,
[0048]其中，O是^像素X為中屯、點的M個像素點組成的方形區(qū)域，（i，j)為O區(qū)內(nèi)的像 素點坐標(biāo)，Vi,j為像素點（i，j)的亮度值； W例設(shè)定闊值冊M〇Thf。