一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法，其充分考慮了虛擬視點(diǎn)繪制失真類(lèi)型，對(duì)虛擬視點(diǎn)圖像進(jìn)行偏移補(bǔ)償，偏移補(bǔ)償過(guò)程針對(duì)虛擬視點(diǎn)繪制像素點(diǎn)偏移等特殊失真，很好地消除了像素點(diǎn)位置偏移對(duì)虛擬視點(diǎn)圖像質(zhì)量的影響，使虛擬視點(diǎn)圖像主客觀質(zhì)量結(jié)果更加一致；充分考慮了人眼視覺(jué)特性，提取參考圖像的視覺(jué)敏感掩模圖，消除了虛擬視點(diǎn)圖像中視覺(jué)不敏感區(qū)域的失真對(duì)客觀質(zhì)量評(píng)價(jià)結(jié)果的影響，使客觀質(zhì)量評(píng)價(jià)結(jié)果更加符合人眼特性；充分地考慮了失真幅值掩蔽效應(yīng)和失真分布掩蔽效應(yīng)，計(jì)算虛擬視點(diǎn)圖像的失真掩模圖是為了能夠?qū)⑹д娣容^大、失真分布集中的區(qū)域提取出來(lái)，有效的區(qū)分不同幅值、不同分布的失真對(duì)人眼主觀質(zhì)量的影響。
【專(zhuān)利說(shuō)明】
-種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及一種對(duì)虛擬視點(diǎn)及繪制系統(tǒng)性能的評(píng)價(jià)技術(shù)，尤其是設(shè)及一種基于視 覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法。
【背景技術(shù)】
[0002] 近年來(lái)，立體視頻技術(shù)快速發(fā)展。自由視點(diǎn)視頻系統(tǒng)（FVV，F(xiàn)ree Viewpoint Video)更是在3D視頻基礎(chǔ)上的進(jìn)一步發(fā)展，可W使用戶(hù)獲得更好的視覺(jué)體驗(yàn)效果?；谏?度的虛擬視點(diǎn)繪制（DIBR，Depth Image Based Rendering)技術(shù)是FVV系統(tǒng)的核屯、，其能夠 克服相機(jī)獲取真實(shí)視點(diǎn)能力的限制，產(chǎn)生足夠多的虛擬視點(diǎn)。然而，由繪制產(chǎn)生的虛擬視點(diǎn) 存在多種類(lèi)型失真，虛擬視點(diǎn)失真將嚴(yán)重影響3D視覺(jué)體驗(yàn)效果，因此需要提出一種評(píng)價(jià)尺 度W衡量虛擬視點(diǎn)質(zhì)量。虛擬視點(diǎn)質(zhì)量評(píng)價(jià)不同于傳統(tǒng)的2D評(píng)價(jià)尺度，虛擬視點(diǎn)質(zhì)量評(píng)價(jià) 不僅是對(duì)虛擬視點(diǎn)質(zhì)量的衡量，而且也是對(duì)DIBR算法性能的評(píng)估。此外，由于虛擬視點(diǎn)繪制 失真不同于傳統(tǒng)失真類(lèi)型，因此傳統(tǒng)的2D評(píng)價(jià)算法不能有效的衡量虛擬視點(diǎn)質(zhì)量。
[0003] 虛擬視點(diǎn)數(shù)據(jù)來(lái)源于解碼端。因此，影響虛擬視點(diǎn)質(zhì)量的因素主要有兩個(gè):一是接 收的深度視頻和彩色視頻的質(zhì)量;二是虛擬視點(diǎn)繪制算法。在相同的彩色視頻和深度視頻 配置下，虛擬視點(diǎn)質(zhì)量同時(shí)也反映了虛擬視點(diǎn)繪制系統(tǒng)的性能。在使用同一虛擬視點(diǎn)繪制 算法條件下，虛擬視點(diǎn)質(zhì)量也反映出解碼端彩色視頻和深度視頻的質(zhì)量，彩色視頻影響為 虛擬視點(diǎn)像素幅值的改變，而深度視頻影響為虛擬視點(diǎn)像素位置的偏移。此外，虛擬視點(diǎn)質(zhì) 量評(píng)價(jià)可分為虛擬視點(diǎn)視頻質(zhì)量評(píng)價(jià)和虛擬視點(diǎn)圖像質(zhì)量評(píng)價(jià)。
[0004] 在基于多視點(diǎn)加深度(MVD，Multi-view Video plus D邱th)的FW系統(tǒng)中，虛擬視 點(diǎn)由解碼端彩色視頻和與之相對(duì)應(yīng)的深度視頻繪制產(chǎn)生。DIBR技術(shù)的核屯、思想是利用深度 信息和攝像機(jī)參數(shù)將參考圖像中的像素投影到目標(biāo)虛擬視點(diǎn)上，主要由W下幾步完成:首 先，利用深度信息，將參考圖像中的所有的像素點(diǎn)重投影到與之對(duì)應(yīng)的3D空間中；然后，將 運(yùn)些3D空間點(diǎn)投影到目標(biāo)圖像平面;最后，對(duì)繪制的虛擬視點(diǎn)進(jìn)行后處理，消除虛擬視點(diǎn)中 的失真，主要包括空桐填補(bǔ)和偽影消除過(guò)程。
[0005] 虛擬視點(diǎn)繪制時(shí)，通常需要將深度轉(zhuǎn)化為視差，通過(guò)視差可求得參考視點(diǎn)中像素 點(diǎn)在虛擬視點(diǎn)中的位置，深度值決定參考視點(diǎn)中像素的偏移距離，若相鄰深度值變化劇烈， 則會(huì)在兩像素之間產(chǎn)生空桐，深度值變化越尖銳，則產(chǎn)生的空桐越大。由于前景與背景交界 處深度值變化較大，因此空桐的產(chǎn)生一般位于前景與背景交界處。前景與背景深度邊界不 準(zhǔn)使用不同的插值算法進(jìn)行空桐填補(bǔ)時(shí)，則會(huì)產(chǎn)生不同的失真。虛擬視點(diǎn)繪制過(guò)程中，邊界 像素的不可見(jiàn)也會(huì)在虛擬視點(diǎn)繪制過(guò)程中產(chǎn)生空桐，使用不同的算法進(jìn)行邊界填補(bǔ)時(shí)，產(chǎn) 生的失真也不相同。
[0006] 深度圖獲取算法的限制和深度圖編碼會(huì)導(dǎo)致深度估計(jì)不準(zhǔn)和深度壓縮失真，深度 壓縮失真則會(huì)造成虛擬視點(diǎn)像素位置偏移和對(duì)象扭曲?；诮Y(jié)構(gòu)相似度的檢測(cè)算法則可W 很好的檢測(cè)出失真偏移區(qū)域。對(duì)于不同繪制算法繪制出的虛擬視點(diǎn)組成的數(shù)據(jù)庫(kù)，存在W 下幾個(gè)影響因子:繪制算法、視覺(jué)敏感區(qū)域和失真分布情況。
[0007] 由于待評(píng)價(jià)虛擬視點(diǎn)為不同算法繪制得到，使用不同算法處理圖像邊界空桐和遮 擋空桐時(shí)，會(huì)在虛擬視點(diǎn)中引入不同類(lèi)型失真和不同程度的對(duì)象偏移和扭曲。因此，不同虛 擬視點(diǎn)繪制算法將影響虛擬視點(diǎn)質(zhì)量和虛擬視點(diǎn)失真類(lèi)型。
[0008] 由于虛擬視點(diǎn)失真大多為虛擬視點(diǎn)中像素位置偏移和對(duì)象扭曲，因此基于結(jié)構(gòu)相 似度的評(píng)價(jià)算法可W很好地檢測(cè)出此種類(lèi)型的失真。然而，對(duì)于評(píng)價(jià)算法檢測(cè)出的失真區(qū) 域，并非所有的失真區(qū)域都可W很好的被人眼所察覺(jué)，不同區(qū)域不同幅度的失真，對(duì)人眼的 影響效果也不盡相同，紋理復(fù)雜度較高或紋理特征相似的區(qū)域往往可W容忍更多的繪制失 真，而紋理特性變化較大區(qū)域的失真往往容易被人眼所察覺(jué)。
[0009] 失真的幅度和失真分布的集中及分散程度也將對(duì)人眼有不同的影響效果。若虛擬 視點(diǎn)中存在多處失真，則失真程度較大的區(qū)域?qū)θ搜鄣挠绊戄^為顯著，而失真程度較小的 區(qū)域?qū)θ搜塾绊戄^小;失真較為集中的區(qū)域?qū)θ搜鄣挠绊戄^大，而失真較為分散的區(qū)域?qū)?人眼的影響較小。若虛擬視點(diǎn)中存在多處失真，幅度較大、分布集中的失真則會(huì)將幅度較 小、分布離散的失真掩蔽掉，影響人眼的視覺(jué)效果。
[0010] 由上述內(nèi)容可知，虛擬視點(diǎn)繪制過(guò)程會(huì)引入許多新類(lèi)型的失真，同時(shí)加入人眼視 覺(jué)特性和失真分布的影響，傳統(tǒng)的基于像素的質(zhì)量評(píng)價(jià)方法不能有效的評(píng)價(jià)虛擬視點(diǎn)質(zhì) 量。虛擬視點(diǎn)質(zhì)量評(píng)價(jià)不僅是對(duì)虛擬視點(diǎn)質(zhì)量的衡量，而且也是對(duì)深度圖質(zhì)量和繪制算法 性能的衡量，因此，設(shè)計(jì)一種有效的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法具有重要的意義，該方法不僅要 求能夠有效的評(píng)價(jià)虛擬視點(diǎn)的質(zhì)量，符合人眼視覺(jué)特性，而且也要求能夠有效的評(píng)價(jià)虛擬 視點(diǎn)繪制算法的性能，選擇出較優(yōu)的虛擬視點(diǎn)繪制算法。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià) 方法，其能夠有效的評(píng)價(jià)虛擬視點(diǎn)的質(zhì)量，同時(shí)能夠有效的評(píng)價(jià)虛擬視點(diǎn)繪制算法的性能， 使主客觀評(píng)價(jià)結(jié)果更加一致，從而能夠有效的選出較優(yōu)的虛擬視點(diǎn)圖像和虛擬視點(diǎn)繪制算 法。
[0012] 本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為:一種基于視覺(jué)掩蔽效應(yīng)的虛擬視 點(diǎn)質(zhì)量評(píng)價(jià)方法，其特征在于包括W下步驟：
[0013] ①選定一幅寬度為W且高度為H的參考圖像;并利用多種不同虛擬視點(diǎn)繪制算法分 別獲取同一視點(diǎn)的虛擬視點(diǎn)視頻;接著提取每個(gè)虛擬視點(diǎn)視頻中的虛擬視點(diǎn)關(guān)鍵帖圖像作 為待評(píng)價(jià)的虛擬視點(diǎn)圖像;再由提取出的所有待評(píng)價(jià)的虛擬視點(diǎn)圖像構(gòu)成失真圖像庫(kù)，其 中，失真圖像庫(kù)中的每幅虛擬視點(diǎn)圖像的寬度為W且高度為H;
[0014] ②將失真圖像庫(kù)中當(dāng)前待評(píng)價(jià)的虛擬視點(diǎn)圖像定義為當(dāng)前虛擬視點(diǎn)圖像；
[0015] ③對(duì)當(dāng)前虛擬視點(diǎn)圖像進(jìn)行偏移補(bǔ)償，得到當(dāng)前虛擬視點(diǎn)圖像的結(jié)構(gòu)相似度值索 引圖，記為Iindex,具體過(guò)程為：
[0016] ③-1、利用一個(gè)尺寸大小為NXN的滑動(dòng)窗口，在參考圖像中逐像素點(diǎn)移動(dòng)，將參考 圖像劃分成(W-(N-I)) X化-(N-I))個(gè)相互重疊的尺寸大小為NXN的圖像塊作為參考圖像 塊；同樣，在當(dāng)前虛擬視點(diǎn)圖像中逐像素點(diǎn)移動(dòng)，將當(dāng)前虛擬視點(diǎn)圖像劃分成(W-(N-I)) X 化-(N-I))個(gè)相互重疊的尺寸大小為NXN的圖像塊作為失真圖像塊;其中，N> 1;
[0017] ③-2、在參考圖像中捜索，找出與當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊匹配最 佳的參考圖像塊作為最佳匹配塊；
[0018] ③-3、計(jì)算當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度 值，將當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值記為 SSIMk,其中，k 的初始值為1，1 <k< (W-(N-I))X 化-(N-I));
[0019] ③-4、將當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值 作為該失真圖像塊的中屯、像素點(diǎn)的客觀評(píng)價(jià)值；
[0020] ③-5、將當(dāng)前虛擬視點(diǎn)圖像中的所有失真圖像塊的中屯、像素點(diǎn)的客觀評(píng)價(jià)值構(gòu)成 的圖像作為當(dāng)前虛擬視點(diǎn)圖像的結(jié)構(gòu)相似度值索引圖Iindex,完成當(dāng)前虛擬視點(diǎn)圖像的偏移 補(bǔ)償，其中，Iindex的寬度為W-(N-1 )且高度為H-(N-1 );
[0021] ④根據(jù)Iindex計(jì)算當(dāng)前虛擬視點(diǎn)圖像的失真掩模圖，記為Vb，其中，Vb的寬度為W-(N-I)且高度為 H-(N-I);
[0022] ⑤計(jì)算參考圖像的視覺(jué)敏感掩模圖，記為Vt,其中，Vt的寬度為W且高度為H;然后對(duì) Vt進(jìn)行歸一化處理，得到參考圖像的歸一化后的視覺(jué)敏感掩模圖，記為Vt'；再對(duì)Vt'進(jìn)行裁 剪，保留寬度為W-(N-I)且高度為H-(N-I)的中間部分，將該中間部分作為參考圖像的最終 的視覺(jué)敏感掩模圖，記為Vt",其中，Vt"的寬度為W-(N-I)且高度為H-(N-I);
[0023] ⑥計(jì)算當(dāng)前虛擬視點(diǎn)圖像的質(zhì)量評(píng)價(jià)預(yù)測(cè)值，記為S C O r e。U r，
，其中，Uur表示當(dāng)前虛擬視點(diǎn) 圖像的基線(xiàn)距離加權(quán)因子，1 < X '卽-(N-I )，1 < y '卽-(N-I )，IindexU '，y '）表示Iindex中坐 標(biāo)位置為U'，y'）的像素點(diǎn)的像素值，Vb(x'，y'）表示化中坐標(biāo)位置為(x'，y'）的像素點(diǎn)的像 素值，Vt" (X '，y '）表示Vt"中坐標(biāo)位置為(X '，y '）的像素點(diǎn)的像素值；
[0024] ⑦將失真圖像庫(kù)中下一幅待評(píng)價(jià)的虛擬視點(diǎn)圖像作為當(dāng)前虛擬視點(diǎn)圖像，然后返 回步驟③繼續(xù)執(zhí)行，直至失真圖像庫(kù)中的所有虛擬視點(diǎn)圖像處理完畢。
[0025] 所述的步驟③-2的具體過(guò)程為：
[0026] ③-2a、在參考圖像中捜索，找出與當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊相匹配 的所有參考圖像塊；
[0027] ③-2b、計(jì)算當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其相匹配的每個(gè)參考圖像 塊的匹配程度，將當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊與其相匹配的第P個(gè)參考圖像塊 的匹配程度記為Sk,P
其中，k的初始值為1，1非< (W-(N-I)) XW- (N-I))，1卽^,P表示在參考圖像中捜索到的與當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊 相匹配的參考圖像塊的總個(gè)數(shù)，Sk表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有 像素點(diǎn)的像素值的方差，Sp表示在參考圖像中捜索到的與當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失 真圖像塊相匹配的第P個(gè)參考圖像塊中的所有像素點(diǎn)的像素值的方差，Sk,P表示當(dāng)前虛擬視 點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有像素點(diǎn)的像素值和其相匹配的第P個(gè)參考圖像塊中 的所有像素點(diǎn)的像素值的協(xié)方差，C為一個(gè)較小的常數(shù)，0<c<0.1;
[0028] ③-2c、針對(duì)當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊，從步驟③-2b計(jì)算得到的該 失真圖像塊對(duì)應(yīng)的所有匹配程度中找出值最大的匹配程度，并將找出的匹配程度對(duì)應(yīng)的參 考圖像塊確定為與該失真圖像塊匹配最佳的參考圖像塊，作為該失真圖像塊的最佳匹配 塊。
[0029] 所述的步驟③-34 I其中， qe[l，門(mén)，P表示在參考圖像中捜索到的與當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊相匹配 的參考圖像塊的總個(gè)數(shù)，Uk表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有像素點(diǎn) 的像素值的均值，Uq表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊的最佳匹配塊中的所有 像素點(diǎn)的像素值的均值，Sk表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有像素點(diǎn) 的像素值的方差，Sq表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊的最佳匹配塊中的所有 像素點(diǎn)的像素值的方差，Sk,q表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有像素點(diǎn) 的像素值和其最佳匹配塊中的所有像素點(diǎn)的像素值的協(xié)方差，C1 = 6.5025，C2 = 58.5225，C3 = 29.2613，a = l，P=l，丫 =1。
[0030] 所述的步驟④的具體過(guò)程為：
[0031] ④-1、將Iindex劃分f
個(gè)互不重疊的尺寸大小為MXM的 圖像塊，其中，M>1，符號(hào)1」"為向下取整符號(hào)；
[0032] ④-2、計(jì)算Iindex中的每個(gè)圖像塊的失真幅度，將Iindex中的第h個(gè)圖像塊的失真幅 度記為dh:
庚中，h的初始值為1，
Iindex(x'，y'）表示Iindex中坐標(biāo)位置為（x'，y'）的像素點(diǎn)的像素值，l<x' < W-(N-I)，l<y' 卽-(N-I)，Qh表示Iindex中的第h個(gè)圖像塊中的所有像素點(diǎn)的坐標(biāo)位置構(gòu)成的集合；
[0033] ④-3、計(jì)算當(dāng)前虛擬視點(diǎn)圖像的失真掩模圖Vb,將Vb中坐標(biāo)位置為(x'，y'）的像素 點(diǎn)的像素值記為Vb(X'，y'），假設(shè)Iindex中坐標(biāo)位置為(X'，y'）的像素點(diǎn)屬于Iindex中的第h個(gè) 圖像塊，則韋
，其中，thr表示分割闊值。
[0034] 所述的步驟④-3中的分割闊值thr的獲取過(guò)程為:將Iindex中的所有像素點(diǎn)的像素 值從小到大排列，將最小的像素值記為Iindex,min,將最大的像素值記為Iindex, max;然后令
的 值作為分割闊值thr;其中，g > 5。
[0035] 所述的步驟⑤中Vt的獲取過(guò)程為：
[0036] ⑤-1、對(duì)參考圖像進(jìn)行均值濾波，然后對(duì)均值濾波后得到的圖像中的每個(gè)像素點(diǎn) 的像素值進(jìn)行平方運(yùn)算，得到參考圖像的第一濾波圖像，記為If,其中，對(duì)參考圖像進(jìn)行均 值濾波所采用的濾波窗口的尺寸大小為5 X 5;
[0037] ⑤-2、對(duì)參考圖像中的每個(gè)像素點(diǎn)的像素值進(jìn)行平方運(yùn)算，然后對(duì)平方運(yùn)算后得 到的圖像進(jìn)行均值濾波，得到參考圖像的第二濾波圖像，記為If'，其中，對(duì)平方運(yùn)算后得到 的圖像進(jìn)行均值濾波所采用的濾波窗口的尺寸大小為5 X 5;
[0038] ⑤-3、計(jì)算If '與If的差值圖像，記為Iv，將レ中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素 值記夫
庚中，l<x<W，l < ^ H，If '（x，y)表示If '中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，If(x，y)表示If中坐標(biāo)位 置為(x，y)的像素點(diǎn)的像素值；
[0039] ⑤-4、利用canny算子計(jì)算參考圖像的邊界圖像，然后對(duì)參考圖像的邊界圖像進(jìn)行 膨脹，將得到的膨脹圖像記為Id,其中，對(duì)參考圖像的邊界圖像進(jìn)行膨脹所采用的膨脹模版 選用半徑為3個(gè)像素點(diǎn)大小的圓；
[0040] ⑤-5、根據(jù)^和。，計(jì)算^的非邊界區(qū)域掩膜圖，記為Ine,將Ine中坐標(biāo)位置為(X，y) 的像素點(diǎn)的像素值記為Ine(x,y)，Ine(x,y) = ]；v(x,y) X (1-Id(x,y))，其中，；U(x,y)表示；[沖 坐標(biāo)位置為(X，y)的像素點(diǎn)的像素值，Id (X，y)表示Id中坐標(biāo)位置為(X，y)的像素點(diǎn)的像素 值；
[0041] ⑤-6、對(duì)Ine進(jìn)行均值濾波，將均值濾波后得到的圖像記為Ivm,其中，對(duì)Ine進(jìn)行均值 濾波所采用的濾波窗口的尺寸大小為11 X 11;
[0042] ⑤-7、根據(jù)^和^。，計(jì)算最大融合圖，記為^3，將^3中坐標(biāo)位置為(x，y)的像素點(diǎn) 的像素值記為]；va(x,y)，]；va(x,y)=max(]；v(x,y) ,Ivm(x,y))，其中，maxO為取最大值函數(shù)， I?(x，y)表示Ivm中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值；
[0043] ⑤-8、對(duì)^3中的每個(gè)像素點(diǎn)的像素值進(jìn)行開(kāi)方運(yùn)算，將開(kāi)方運(yùn)算后得到的圖像作 為亮度對(duì)比值圖像，記為E;
[0044] ⑤-9、計(jì)算參考圖像對(duì)應(yīng)的預(yù)測(cè)圖像，記為I'，將I'中坐標(biāo)位置為(x，y)的像素點(diǎn) 的像素值記為I'（x，y)
'其中，X表示參考圖像中W坐 標(biāo)位置為(x，y)的像素點(diǎn)為中屯、且尺寸大小為RXR的窗口，R〉l，Qx表示由X內(nèi)的所有像素 點(diǎn)的坐標(biāo)位置構(gòu)成的集合，1 < Xi < W, 1 < yi < H，Kxi，yi)表示參考圖像中坐標(biāo)位置為(XI， yi)的像素點(diǎn)的像素值
表示參考圖像中坐標(biāo)位置為 (xi，yi)的像素點(diǎn)與其所在的窗口的中屯、像素點(diǎn)的互信息量，InO為W自然基數(shù)e為底的對(duì) 數(shù)函數(shù)
為W自然基數(shù)e為底的指數(shù)函數(shù)，O表示高斯分布 的標(biāo)準(zhǔn)差，
4表示參考圖像中W坐標(biāo)位置為(XI， yi)的像素點(diǎn)為中屯、且尺寸大小為RXR的窗口，Q自表示由C內(nèi)的所有像素點(diǎn)的坐標(biāo)位置構(gòu)成 的集合，1 <X2<W，1 <y2卽，（X2，y2)E Q弓，(V:.,於)表示參考圖像中屬于Q前坐標(biāo)位置 為(X2，y2)的像素點(diǎn)的像素值，和義)表示參考圖像中屬于Qx的坐標(biāo)位置為(xi，yi)的像 素點(diǎn)的像素值，sum()表示求和函數(shù)
表示fn與Q X中所有對(duì) 應(yīng)位置的像素點(diǎn)的像素值作差再平方后的求和運(yùn)算；
[0045] ⑤-10、計(jì)算參考圖像與I'的差值圖像，記為Iu,將Iu中坐標(biāo)位置為(x，y)的像素點(diǎn) 的像素值記為1。^，7)，1。^，7) = 1^，7)-1'^，7)，其中，符號(hào)"||"為取絕對(duì)值符號(hào);然后 計(jì)算Iu的香農(nóng)賭，記為Hu;
[0046] ⑤-11、計(jì)算參考圖像的視覺(jué)敏感掩模圖Vt,將Vt中坐標(biāo)位置為(x，y)的像素點(diǎn)的像 素值記為Vt(x，y)，Vt(x，y)=fe(x，y)Xfs(x，y)，其中，

衰示E中坐標(biāo)位置為(X，y)的像素點(diǎn) 的像素值，Hu(x，y)表示Hu中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，ki = 3.67，k2 = 3.22，k3 = 1.19。
[0047] 所述的步驟⑤中Vt'的獲取過(guò)程為:將Vt'中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值記 為Vt'（x，y)
'其中，Vt(x，y)表示Vt中坐標(biāo)位置為(x，y)的像素 點(diǎn)的像素值，Vt,min表示Vt中的所有像素點(diǎn)的像素值中最小的像素值，Vt,max表示Vt中的所有 像素點(diǎn)的像素值中最大的像素值。
[004引所述的步驟⑥中
^中，Bcur表示當(dāng)前虛擬視點(diǎn)圖像的基線(xiàn)距離， me地表示失真圖像庫(kù)中的所巧虛擬視點(diǎn)圏像的基線(xiàn)距離的中值，T為用于使Scorecur的值在 區(qū)間[0，1]內(nèi)的調(diào)節(jié)因子，符號(hào)"I I"為取絕對(duì)值符號(hào)。
[0049] 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：
[0050] 1)本發(fā)明方法充分考慮了虛擬視點(diǎn)繪制失真類(lèi)型，對(duì)虛擬視點(diǎn)圖像進(jìn)行偏移補(bǔ) 償，偏移補(bǔ)償過(guò)程針對(duì)虛擬視點(diǎn)繪制像素點(diǎn)偏移等特殊失真，很好地消除了像素點(diǎn)位置偏 移對(duì)虛擬視點(diǎn)圖像質(zhì)量的影響，使虛擬視點(diǎn)圖像主客觀質(zhì)量結(jié)果更加一致。
[0051] 2)本發(fā)明方法充分考慮了人眼視覺(jué)特性，提取參考圖像的視覺(jué)敏感掩模圖，即將 參考圖像分為視覺(jué)敏感區(qū)域和視覺(jué)不敏感區(qū)域，消除了待評(píng)價(jià)的虛擬視點(diǎn)圖像中視覺(jué)不敏 感區(qū)域的失真對(duì)虛擬視點(diǎn)圖像客觀質(zhì)量評(píng)價(jià)結(jié)果的影響，使虛擬視點(diǎn)圖像客觀質(zhì)量評(píng)價(jià)結(jié) 果更加符合人眼特性。
[0052] 3)本發(fā)明方法充分地考慮了失真幅值掩蔽效應(yīng)和失真分布掩蔽效應(yīng)，即虛擬視點(diǎn) 圖像中失真幅值較大的區(qū)域?qū)?huì)掩蔽失真幅值較小的區(qū)域，失真分布集中的區(qū)域?qū)?huì)掩蔽 失真分布離散的區(qū)域，計(jì)算虛擬視點(diǎn)圖像的失真掩模圖是為了能夠?qū)⑹д娣容^大、失真 分布集中的區(qū)域提取出來(lái)，有效的區(qū)分不同幅值、不同分布的失真對(duì)人眼主觀質(zhì)量的影響。
[0053] 4)本發(fā)明方法考慮到基線(xiàn)距離等繪制條件和繪制參數(shù)對(duì)虛擬視點(diǎn)圖像客觀質(zhì)量 的影響，反映不同參數(shù)下虛擬視點(diǎn)圖像客觀質(zhì)量變化情況。
[0054] 5)本發(fā)明方法充分地考慮了不同繪制算法對(duì)虛擬視點(diǎn)圖像客觀質(zhì)量的影響，實(shí)驗(yàn) 驗(yàn)證分別使用7種繪制算法繪制虛擬視點(diǎn)圖像，對(duì)虛擬視點(diǎn)圖像客觀質(zhì)量評(píng)價(jià)的同時(shí)，也能 有效的衡量繪制算法的性能，從而能夠選出較優(yōu)繪制系統(tǒng)。
【附圖說(shuō)明】
[0055] 圖1為本發(fā)明方法的總體實(shí)現(xiàn)框圖；
[0056] 圖2a為化wspaper序列中的第4視點(diǎn)的第104帖圖像，該圖像為虛擬視點(diǎn)圖像；
[0057] 圖2b為采用傳統(tǒng)的結(jié)構(gòu)相似度方法獲得的圖2a所示的圖像的結(jié)構(gòu)相似度值索引 圖；
[0058] 圖2c為采用本發(fā)明方法中的結(jié)構(gòu)相似度值索引圖獲取方法獲得的圖2a所示的圖 像的結(jié)構(gòu)相似度值索引圖；
[0059] 圖3a為Book arrival序列中的第8視點(diǎn)的第60帖圖像的結(jié)構(gòu)相似度值索引圖；
[0060] 圖3b為Book arriva 1序列中的第8視點(diǎn)的第60帖圖像對(duì)應(yīng)的參考圖像的視覺(jué)敏感 掩模圖；
[0061 ]圖3c為Book arrival序列中的第8視點(diǎn)的第60帖圖像的失真掩模圖；
[0062] 圖4a為Book arrival序列中的第10視點(diǎn)的第54帖圖像的一個(gè)局部放大圖；
[0063] 圖4b為圖4a所示圖像的偽影失真圖像；
[0064] 圖4c為Book arrival序列中的第10視點(diǎn)的第54帖圖像的另一個(gè)局部放大圖；
[0065] 圖4d為圖4c所示圖像的模糊失真圖像；
[0066] 圖4e為Book arrival序列中的第10視點(diǎn)的第54帖圖像的第S個(gè)局部放大圖；
[0067] 圖4f為圖4e所示圖像的扭曲失真圖像；
[0068] 圖4g為化wspaper序列中的第6視點(diǎn)的第136帖圖像的局部放大圖；
[0069] 圖地為圖4g所示圖像的紋理塊填補(bǔ)失真圖像。
【具體實(shí)施方式】
[0070] W下結(jié)合附圖實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
[0071] 本發(fā)明提出的一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法，其總體實(shí)現(xiàn)框圖 如圖1所示，其包括W下步驟：
[0072] ①選定一幅寬度為W且高度為H的參考圖像;并利用現(xiàn)有的多種不同虛擬視點(diǎn)繪制 算法分別獲取同一視點(diǎn)的虛擬視點(diǎn)視頻;接著提取每個(gè)虛擬視點(diǎn)視頻中的虛擬視點(diǎn)關(guān)鍵帖 圖像作為待評(píng)價(jià)的虛擬視點(diǎn)圖像;再由提取出的所有待評(píng)價(jià)的虛擬視點(diǎn)圖像構(gòu)成失真圖像 庫(kù)，其中，失真圖像庫(kù)中的每幅虛擬視點(diǎn)圖像的寬度為W且高度為H。
[0073] ②將失真圖像庫(kù)中當(dāng)前待評(píng)價(jià)的虛擬視點(diǎn)圖像定義為當(dāng)前虛擬視點(diǎn)圖像。
[0074] ③對(duì)當(dāng)前虛擬視點(diǎn)圖像進(jìn)行偏移補(bǔ)償，得到當(dāng)前虛擬視點(diǎn)圖像的結(jié)構(gòu)相似度值索 引圖，記為Iindex,具體過(guò)程為：
[0075] ③-1、利用一個(gè)尺寸大小為NXN的滑動(dòng)窗口，在參考圖像中逐像素點(diǎn)移動(dòng)，將參考 圖像劃分成(W-(N-I)) X化-(N-I))個(gè)相互重疊的尺寸大小為NXN的圖像塊作為參考圖像 塊；同樣，在當(dāng)前虛擬視點(diǎn)圖像中逐像素點(diǎn)移動(dòng)，將當(dāng)前虛擬視點(diǎn)圖像劃分成(W-(N-I)) X 化-(N-I))個(gè)相互重疊的尺寸大小為NXN的圖像塊作為失真圖像塊;其中，N含1，如可取N = 7、N=9或N=Il等，在本實(shí)施例中取N=7。
[0076] ③-2、在參考圖像中捜索，找出與當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊匹配最 佳的參考圖像塊作為最佳匹配塊。
[0077] 在此具體實(shí)施例中，步驟③-2的具體過(guò)程為：
[0078] ③-2a、在參考圖像中捜索，找出與當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊相匹配 的所有參考圖像塊。
[0079] ③-2b、計(jì)算當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其相匹配的每個(gè)參考圖像 塊的匹配程度，將當(dāng)前慮擬視點(diǎn)閣像中的第k個(gè)失真圖像塊與其相匹配的第P個(gè)參考圖像塊 的匹配程度記為Sk,P
度大說(shuō)明兩個(gè)圖像塊越匹配，其中，k的初 始值為1，1非含（W-(N-I))X化-(N-l))，l卽含P，P表示在參考圖像中捜索到的與當(dāng)前虛 擬視點(diǎn)圖像中的第k個(gè)失真圖像塊相匹配的參考圖像塊的總個(gè)數(shù)，Sk表示當(dāng)前虛擬視點(diǎn)圖 像中的第k個(gè)失真圖像塊中的所有像素點(diǎn)的像素值的方差，Sp表示在參考圖像中捜索到的 與當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊相匹配的第P個(gè)參考圖像塊中的所有像素點(diǎn)的 像素值的方差，Sk,P表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有像素點(diǎn)的像素值 和其相匹配的第P個(gè)參考圖像塊中的所有像素點(diǎn)的像素值的協(xié)方差，C為一個(gè)較小的常數(shù)，0 <(：<0.1，在本實(shí)施例中取C = 0.00 1。
[0080] ③-2c、針對(duì)當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊，從步驟③-2b計(jì)算得到的該 失真圖像塊對(duì)應(yīng)的所有匹配程度中找出值最大的匹配程度，并將找出的匹配程度對(duì)應(yīng)的參 考圖像塊確定為與該失真圖像塊匹配最佳的參考圖像塊，作為該失真圖像塊的最佳匹配 塊。
[0081] ③-3、計(jì)算當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度 值，將當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值記為 SSIMk,其中，k的初始值為1，1 < k < (W-(N-1)) X 化-(N-I))。
[0082] 在此具體實(shí)施例中，步驟③-3中
其中，qe [ 1，P]，P表示在參考圖像中捜索到的與當(dāng)前虛擬視點(diǎn)圈像中的巧k個(gè)乂具圈像巧 相匹配的參考圖像塊的總個(gè)數(shù)，Uk表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有 像素點(diǎn)的像素值的均值，Uq表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊的最佳匹配塊中 的所有像素點(diǎn)的像素值的均值，Sk表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有 像素點(diǎn)的像素值的方差，Sq表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊的最佳匹配塊中 的所有像素點(diǎn)的像素值的方差，Sk,q表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有 像素點(diǎn)的像素值和其最佳匹配塊中的所有像素點(diǎn)的像素值的協(xié)方差，C1 = 6.5025，C2 = 58.5225，C3 = 29.2613，a = l，0=l，丫 =1。
[0083] ③-4、將當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值 作為該失真圖像塊的中屯、像素點(diǎn)的客觀評(píng)價(jià)值，即對(duì)于當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真 圖像塊，將當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值作為 當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊的中屯、像素點(diǎn)的客觀評(píng)價(jià)值。
[0084] ③-5、將當(dāng)前虛擬視點(diǎn)圖像中的所有失真圖像塊的中屯、像素點(diǎn)的客觀評(píng)價(jià)值構(gòu)成 的圖像作為當(dāng)前虛擬視點(diǎn)圖像的結(jié)構(gòu)相似度值索引圖Iindex，完成當(dāng)前虛擬視點(diǎn)圖像的偏移 補(bǔ)償，其中，Iindex的寬度為W-(N-1 )且高度為H-(N-1 )。
[0085] 在此，本發(fā)明方法充分考慮了虛擬視點(diǎn)繪制失真類(lèi)型，對(duì)虛擬視點(diǎn)圖像進(jìn)行偏移 補(bǔ)償，偏移補(bǔ)償過(guò)程針對(duì)虛擬視點(diǎn)繪制像素點(diǎn)偏移等特殊失真，很好地消除了像素點(diǎn)位置 偏移對(duì)虛擬視點(diǎn)圖像質(zhì)量的影響，使虛擬視點(diǎn)圖像主客觀質(zhì)量結(jié)果更加一致。虛擬視點(diǎn)繪 制失真類(lèi)型有偽影和腐蝕、圖像邊界模糊、像素偏移和扭曲、紋理塊失真等，不同于傳統(tǒng)失 真類(lèi)型如高斯噪聲，椒鹽噪聲、肝EG失真等。圖4a給出了Book arrival序列中的第10視點(diǎn)的 第54帖圖像的一個(gè)局部放大圖，圖4b給出了圖4a所示圖像的偽影失真圖像；圖4c給出了 Book arrival序列中的第10視點(diǎn)的第54帖圖像的另一個(gè)局部放大圖，圖4d給出了圖4c所示 圖像的模糊失真圖像；圖4e給出了Book arrival序列中的第10視點(diǎn)的第54帖圖像的第S個(gè) 局部放大圖，圖4f給出了圖4e所示圖像的扭曲失真圖像；圖4g給出了化wspaper序列中的第 6視點(diǎn)的第136帖圖像的局部放大圖，圖4h給出了圖4g所示圖像的紋理塊填補(bǔ)失真圖像。
[0086] 圖2a給出了 Newspaper序列中的第4視點(diǎn)的第104帖圖像，該圖像為虛擬視點(diǎn)圖像； 圖化給出了采用傳統(tǒng)的結(jié)構(gòu)相似度方法獲得的圖2a所示的圖像的結(jié)構(gòu)相似度值索引圖；圖 2c給出了采用本發(fā)明方法中的結(jié)構(gòu)相似度值索引圖獲取方法獲得的圖2a所示的圖像的結(jié) 構(gòu)相似度值索引圖。對(duì)比圖2b和圖2c可W看出，圖2b所示的結(jié)構(gòu)相似度值索引圖的失真較 大，圖2a所示的虛擬視點(diǎn)圖像中許多未失真區(qū)域被錯(cuò)誤的計(jì)算為失真區(qū)域;而圖2c所示的 結(jié)構(gòu)相似度值索引圖的失真較小，與圖2a所示的虛擬視點(diǎn)圖像的失真大小和分布更加一 致。
[0087] ④根據(jù)Iindex計(jì)算當(dāng)前虛擬視點(diǎn)圖像的失真掩模圖，記為Vb,其中，Vb的寬度為W-(N-I)且高度為H-(N-I)。
[0088] 在此具體實(shí)施例中，步驟④的具體過(guò)程為：
[0089] ④-1、將Iindex劃分6
個(gè)互不重疊的尺寸大小為M X M 的圖像塊，其中，MM，如取M = 2、M = 4、M = 8等，在本實(shí)施例中取M = 8,符號(hào)"L」"為向下取 整符號(hào)。
[0090] ④-2、計(jì)算Iindex中的每個(gè)圖像塊的失真幅度，將Iindex中的第h個(gè)圖像塊的失真幅 度記為dh
庚中，h的初始值為1
Iindex(X'，y'）表示Iindex中坐標(biāo)位置為(x'，y'）的像素點(diǎn)的像素值，1<X'含W-(N-I)，l<y' < H-(N-I)，Qh表示Iindex中的第h個(gè)圖像塊中的所有像素點(diǎn)的坐標(biāo)位置構(gòu)成的集合。
[0091] ④-3、考慮人眼對(duì)失真幅值和失真分布的掩蔽效應(yīng)，計(jì)算當(dāng)前虛擬視點(diǎn)圖像的失 真掩模圖Vb,將Vb中坐標(biāo)位置為U'，y'）的像素點(diǎn)的像素值記為Vb(x'，y'），假設(shè)Iindex中坐標(biāo) 位置為(X'，y'）的像素點(diǎn)屬于Iindex中的第h個(gè)圖像塊，貝帕
，其 中，thr表不分割闊值。
[0092] 在此，步驟④-3中的分割闊值t虹的獲取過(guò)程為:將Iindex中的所有像素點(diǎn)的像素值 從小到大排列，將最小的像素值記為I index, min,將最大的像素值記為I index, max;然后令 的值作 為分割闊值thr;其中，g > 5，在本實(shí)施例中取g = 5。
[0093] ⑤計(jì)算參考圖像的視覺(jué)敏感掩模圖，記為Vt,其中，Vt的寬度為W且高度為H;然后對(duì) Vt進(jìn)行歸一化處理，得到參考圖像的歸一化后的視覺(jué)敏感掩模圖，記為Vt'；再對(duì)Vt'進(jìn)行裁 剪，保留寬度為W-(N-I)且高度為H-(N-I)的中間部分，將該中間部分作為參考圖像的最終 的視覺(jué)敏感掩模圖，記為Vt",其中，Vt"的寬度為W-(N-I)且高度為H-(N-l)。
[0094] 在此具體實(shí)施例中，步驟⑤中Vt的獲取過(guò)程為：
[0095] ⑤-1、對(duì)參考圖像進(jìn)行均值濾波，然后對(duì)均值濾波后得到的圖像中的每個(gè)像素點(diǎn) 的像素值進(jìn)行平方運(yùn)算，得到參考圖像的第一濾波圖像，記為If,其中，對(duì)參考圖像進(jìn)行均 值濾波所采用的濾波窗口的尺寸大小為5 X 5。
[0096] ⑤-2、對(duì)參考圖像中的每個(gè)像素點(diǎn)的像素值進(jìn)行平方運(yùn)算，然后對(duì)平方運(yùn)算后得 到的圖像進(jìn)行均值濾波，得到參考圖像的第二濾波圖像，記為If'，其中，對(duì)平方運(yùn)算后得到 的圖像進(jìn)行均值濾波所采用的濾波窗口的尺寸大小為5 X 5。
[0097] ⑤-3、計(jì)算If '與If的差值圖像，記為Iv，將レ中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素 值記為
，其中，1含X含W，1 < ^ H，If '（x，y)表示If '中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，If(x，y)表示If中坐標(biāo)位 置為(x，y)的像素點(diǎn)的像素值。
[0098] ⑤-4、利用canny算子計(jì)算參考圖像的邊界圖像，然后對(duì)參考圖像的邊界圖像進(jìn)行 膨脹，將得到的膨脹圖像記為Id,其中，對(duì)參考圖像的邊界圖像進(jìn)行膨脹所采用的膨脹模版 選用半徑為3個(gè)像素點(diǎn)大小的圓。
[0099] ⑤-5、根據(jù)^和。，計(jì)算Iv的非邊界區(qū)域掩膜圖，記為Ine,將Ine中坐標(biāo)位置為(X，y) 的像素點(diǎn)的像素值記為 Ine(X，y)，Ine(x，y) = Iv(x，y) X (1-Id(x，y))，其中，Iv(X，y)表示：[沖 坐標(biāo)位置為(X，y)的像素點(diǎn)的像素值，Id(x，y)表示Id中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素 值。
[0100] ⑤-6、對(duì)Ine進(jìn)行均值濾波，將均值濾波后得到的圖像記為Ivm,其中，對(duì)Ine進(jìn)行均值 濾波所采用的濾波窗口的尺寸大小為11 X 11。
[0101] ⑤-7、根據(jù)^和^。，計(jì)算最大融合圖，記為^3，將^3中坐標(biāo)位置為(x，y)的像素點(diǎn) 的像素值記為Iva(x，y)，Iva(x，y)=max(]：v(x，y)，Ivm(x，y))，其中，maxO為取最大值函數(shù)， I? (X，y)表示I vm中坐標(biāo)位置為(X，y)的像素點(diǎn)的像素值。
[0102] ⑤-8、對(duì)^3中的每個(gè)像素點(diǎn)的像素值進(jìn)行開(kāi)方運(yùn)算，將開(kāi)方運(yùn)算后得到的圖像作 為亮度對(duì)比值圖像，記為E。
坐標(biāo)位置為(X，y)的像素點(diǎn)為中屯、且尺寸大小為R X R的窗口，R〉1，在本實(shí)施例中取R = 21， 〇乂表示由乂內(nèi)的所有像素點(diǎn)的坐標(biāo)位置構(gòu)成的集合，1<義1<1，1<71<山1(義1，71)表示參考
[0103] ⑤-9、計(jì)算參老巧傻對(duì)獻(xiàn)的麗咖陋傻.巧責(zé)T 悠 T '由坐標(biāo)位置為（X，y)的像素點(diǎn) 的像素值記為I'（x，y) 岸中，X表示參考圖像中W 圖像中坐標(biāo)位置為(Xi，yi)的像素點(diǎn)的像素值
表示參考 圖像中坐標(biāo)位置為(xi，yi)的像素點(diǎn)與其所在的窗口的中屯、像素點(diǎn)的互信息量，InO為W自 然基數(shù)e為底的對(duì)數(shù)函數(shù)
婦W自然基數(shù)e為底的指數(shù)函數(shù)，曰 表示高斯分布的標(biāo)準(zhǔn)差，在本實(shí)施例中可巧
寫(xiě)表示參考圖像中W坐標(biāo)位置為(xi，yi)的像素點(diǎn)為中屯、且尺寸大小為RXR的窗口，Q自表示 由C內(nèi)的所有像素點(diǎn)的坐標(biāo)位置構(gòu)成的集合，1 < X2 < W，1 < y2卽，（X2，y2) e Q弓，/。_ (-V: O':） 表示參考圖像中屬于Q自的坐標(biāo)位置為(X2，y2)的像素點(diǎn)的像素值，與/(.V義）表示參考圖像 中屬于Q X的坐標(biāo)位置為（XI，yi)的像素點(diǎn)的像素值，sumO表示求和函數(shù)，
表示Q ^與Q X中所有對(duì)應(yīng)位置的像素點(diǎn)的像素值作差再平 方后的求和運(yùn)算，即計(jì)算fn中的第1個(gè)坐標(biāo)位置的像素點(diǎn)的像素值與Q X中的第1個(gè)坐標(biāo)位 置的像素點(diǎn)的像素值作差再平方，得到第1個(gè)值，依次類(lèi)推，共得到RXR個(gè)值，再求RXR個(gè)值 的和。
[0104] ⑤-10、計(jì)算參考圖像與I'的差值圖像，記為Iu,將Iu中坐標(biāo)位置為(x，y)的像素點(diǎn) 的像素值記為1。^，7)，1。^，7)=|1^，7)-1'^，7)|，其中，符號(hào)"||"為取絕對(duì)值符號(hào);然 后計(jì)算Iu的香農(nóng)賭，記為出。
[0105] ⑤-11、計(jì)算參考圖像的視覺(jué)敏感掩模圖Vt,將Vt中坐標(biāo)位置為(x，y)的像素點(diǎn)的像 素值記為Vt(x，y)，Vt(x，y)=fe(x，y)Xfs(x，y)，其中，

I表示E中坐標(biāo)位置為(X，y)的像素點(diǎn) 的像素值，Hu(x，y)表示Hu中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，ki = 3.67，k2 = 3.22，k3 = 1.19。
[0106] 在此具體實(shí)施例中，步驟⑤中Vt'的獲取過(guò)程為:將Vt'中坐標(biāo)位置為(x，y)的像素 點(diǎn)的像素值記為Vt'（x，y)
I其中，Vt(x，y)表示Vt中坐標(biāo)位置為 (X，y )的像素點(diǎn)的像素值，Vt,min表示Vt中的所有像素點(diǎn)的像素值中最小的像素值，Vt,max表示 Vt中的所有像素點(diǎn)的像素值中最大的像素值。
[0107] 圖3a給出了Book arrival序列中的第8視點(diǎn)的第60帖圖像的結(jié)構(gòu)相似度值索引 圖；圖3b給出了Book arrival序列中的第8視點(diǎn)的第60帖圖像對(duì)應(yīng)的參考圖像的視覺(jué)敏感 圖；圖3c給出了Book arrival序列中的第8視點(diǎn)的第60帖圖像的失真掩模圖。
[0108] ⑥計(jì)算當(dāng)前虛擬視點(diǎn)圖像的質(zhì)量評(píng)價(jià)預(yù)測(cè)值，記為S C O r e。U r， ，其中，Lcur表示當(dāng)前虛擬視點(diǎn) 圖像的基線(xiàn)距離加權(quán)因子，1 < X '卽-(N-I )，1 < y '卽-(N-I )，IindexU '，y '）表示Iindex中坐 標(biāo)位置為U'，y'）的像素點(diǎn)的像素值，Vb(x'，y'）表示化中坐標(biāo)位置為(x'，y'）的像素點(diǎn)的像 素值，Vt" (X '，y '）表示Vt"中坐標(biāo)位置為(X '，y '）的像素點(diǎn)的像素值。
[0109] 在此具體實(shí)施例中，步驟⑥4
其中，Bcur表示當(dāng)前虛擬視點(diǎn)圖像 的基線(xiàn)距離，medB表示失真圖像庫(kù)中的所有虛擬視點(diǎn)圖像的基線(xiàn)距離的中值，T為用于使 Scorecur的值在區(qū)間[0，1 ]內(nèi)的調(diào)節(jié)因子，符號(hào)"I I"為取絕對(duì)值符號(hào)。
[0110] 在本實(shí)施例中，T的取值與當(dāng)前虛擬視點(diǎn)圖像本身及對(duì)當(dāng)前虛擬視點(diǎn)圖像進(jìn)行偏 移補(bǔ)償時(shí)分塊處理所采用的滑動(dòng)窗口的大小有關(guān)，T的取值如表1所示，表1中化代表使用右 視點(diǎn)繪制左視點(diǎn)，LR代表使用左視點(diǎn)繪制右視點(diǎn)，化或LR后面的數(shù)字代表當(dāng)前虛擬視點(diǎn)圖 像的基線(xiàn)距離，如13則表示當(dāng)前虛擬視點(diǎn)圖像的基線(xiàn)距離為13cm，11 Xll、9X9、7 X7代表 偏移補(bǔ)償時(shí)滑動(dòng)窗口的尺寸大小。
[011U 表1t的取值列表 [0112]
[0113]⑦將失真圖像庫(kù)中下一幅待評(píng)價(jià)的虛擬視點(diǎn)圖像作為當(dāng)前虛擬視點(diǎn)圖像，然后返 回步驟③繼續(xù)執(zhí)行，直至失真圖像庫(kù)中的所有虛擬視點(diǎn)圖像處理完畢。
[0114]為了測(cè)試本發(fā)明方法的性能，分別采用"Book Arr ival"、"Newspaper"和 "Lovebirds" S個(gè)不同的多視點(diǎn)加深度序列建立的數(shù)據(jù)庫(kù)，分別提取繪制視頻的關(guān)鍵帖作 為待評(píng)價(jià)的虛擬視點(diǎn)圖像。分別采用7種不同的繪制算法，每個(gè)測(cè)試序列選取4個(gè)不同中間 視點(diǎn)，共84幅虛擬視點(diǎn)圖像作為待評(píng)價(jià)的虛擬視點(diǎn)圖像。其中，所用繪制算法分別為Al到 A7。
[0115] Al繪制算法:首先，對(duì)深度不連續(xù)區(qū)域做濾波處理;然后，切除虛擬視點(diǎn)圖像的邊 界區(qū)域，使用插值算法恢復(fù)被切除的邊界。此算法會(huì)導(dǎo)致圖像像素偏移和扭曲失真。
[0116] A2繪制算法:首先，對(duì)深度不連續(xù)區(qū)域做濾波處理;然后，使用圖像修復(fù)算法填充 邊界空桐。此算法會(huì)導(dǎo)致對(duì)象邊緣模糊。
[0117] A3繪制算法:此算法為MPEG 3D視頻專(zhuān)家組推薦算法，此算法會(huì)導(dǎo)致圖像邊界區(qū)域 模糊。
[0118] A4繪制算法:虛擬視點(diǎn)繪制時(shí)，使用Muller等人提出的基于深度信息輔助的空桐 填補(bǔ)算法填補(bǔ)空桐。
[0119] A5繪制算法:虛擬視點(diǎn)繪制時(shí)，使用Ndjiki-Nya等人提出的基于紋理塊的空桐填 補(bǔ)算法填補(bǔ)空桐。
[0120] A6繪制算法:虛擬視點(diǎn)繪制時(shí)，使用帖間信息來(lái)提升圖像被遮擋區(qū)域質(zhì)量。
[0121] A7繪制算法:虛擬視點(diǎn)繪制后，對(duì)空桐區(qū)域不做任何處理。
[0122] 表2給出了測(cè)試序列"Book Arrival"、"Newspaper"和"Lovebirds"的相機(jī)參數(shù)，表 3給出了虛擬視點(diǎn)圖像質(zhì)量評(píng)價(jià)5級(jí)評(píng)分標(biāo)準(zhǔn)。
[0123] 表2測(cè)試序列 "Book Arrival"、"Newspaper"和 "Lovebirds"的相機(jī)參數(shù)
[0125] 表3虛擬視點(diǎn)圖像質(zhì)量評(píng)價(jià)5級(jí)評(píng)分標(biāo)準(zhǔn)
[0126]
[0127] 表4分別給出了利用本發(fā)明方法和傳統(tǒng)的13種評(píng)價(jià)算法對(duì)測(cè)試序列"Book Arrival"、"Newspaper"和"Lovebirds"進(jìn)行處理得到的虛擬視點(diǎn)圖像質(zhì)量評(píng)價(jià)結(jié)果，表4中 化CC用于衡量主客觀評(píng)價(jià)一致性程度，其值越大越好，RMSE為主客觀評(píng)價(jià)值的均方根誤差， 其值越小越好。由表4可知，利用本發(fā)明方法求得的化CC和RMSE分別為:80.50 %和0.3799， 而由傳統(tǒng)的各種評(píng)價(jià)算法求得的評(píng)價(jià)結(jié)果均劣于本發(fā)明方法。本發(fā)明方法相比于傳統(tǒng)最優(yōu) 方法即傳統(tǒng)多尺度結(jié)構(gòu)相似度方法，PLCC比表4中傳統(tǒng)多尺度結(jié)構(gòu)相似度方法高出 25.29%，而RM 沈小 0.2101。
[0128] 表4虛擬視點(diǎn)圖像質(zhì)量評(píng)價(jià)結(jié)果 「/"H OOl

Lulou」 療田 J t區(qū)iW巧川！風(fēng)/tyu BOOK Arriva丄、iNewspaper Love日ir曰s Ttf'J 虛擬視點(diǎn)圖像的質(zhì)量評(píng)價(jià)結(jié)果對(duì)7種繪制算法的性能排序，通過(guò)表5可知，使用傳統(tǒng)評(píng)價(jià)算 法在評(píng)價(jià)各虛擬視點(diǎn)繪制算法性能時(shí)，主客觀一致性較差。表5第1行為主觀評(píng)分結(jié)果，通過(guò) 對(duì)各虛擬視點(diǎn)繪制算法繪制的虛擬視點(diǎn)圖像主觀評(píng)分，對(duì)虛擬視點(diǎn)繪制算法性能進(jìn)行排 序，表5第1行為主觀排序結(jié)果。
[0131] 由表5第1行可知，Al繪制算法性能最好，A7繪制算法性能最差。A5、A4繪制算法性 能較好，A6、A3繪制算法性能較差，A2繪制算法性能一般。表5第2行為本發(fā)明方法的評(píng)價(jià)結(jié) 果，后面為傳統(tǒng)的各種評(píng)價(jià)算法的評(píng)價(jià)結(jié)果。
[0132] 由表5可知，傳統(tǒng)評(píng)價(jià)算法大都不能很好的衡量Al繪制算法繪制的虛擬視點(diǎn)圖像 的質(zhì)量，而本發(fā)明方法優(yōu)于傳統(tǒng)評(píng)價(jià)算法，主客觀一致性較好。
[0133] 由于Al繪制算法繪制的虛擬視點(diǎn)圖像中發(fā)生像素點(diǎn)位置偏移和扭曲失真，造成待 評(píng)價(jià)的虛擬視點(diǎn)圖像和參考圖像對(duì)應(yīng)位置像素點(diǎn)的偏移，導(dǎo)致參考圖像和失真圖像中像素 點(diǎn)位置不一致。傳統(tǒng)評(píng)價(jià)算法評(píng)價(jià)此種類(lèi)型失真時(shí)效果較差，造成主客觀不一致。因此，傳 統(tǒng)評(píng)價(jià)算法不能很好的衡量虛擬視點(diǎn)圖像中像素點(diǎn)位置偏移和扭曲失真，評(píng)價(jià)效果較差。
[0134] 本發(fā)明方法通過(guò)設(shè)計(jì)偏移補(bǔ)償算法，消除了對(duì)應(yīng)圖像中像素點(diǎn)位置偏移的影響， 考慮人類(lèi)視覺(jué)特性，將圖像分為視覺(jué)敏感區(qū)域和視覺(jué)不敏感區(qū)域，同時(shí)根據(jù)失真掩蔽特性， 提取相應(yīng)的失真掩膜，得到最終評(píng)價(jià)結(jié)果。由表5可知，本發(fā)明方法的主客觀一致性較強(qiáng)，優(yōu) 于傳統(tǒng)評(píng)價(jià)算法。
[0135] 表5各虛擬視點(diǎn)繪制算法評(píng)價(jià)結(jié)果

【主權(quán)項(xiàng)】
1. 一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法，其特征在于包括以下步驟： ① 選定一幅寬度為W且高度為Η的參考圖像;并利用多種不同虛擬視點(diǎn)繪制算法分別獲 取同一視點(diǎn)的虛擬視點(diǎn)視頻;接著提取每個(gè)虛擬視點(diǎn)視頻中的虛擬視點(diǎn)關(guān)鍵幀圖像作為待 評(píng)價(jià)的虛擬視點(diǎn)圖像;再由提取出的所有待評(píng)價(jià)的虛擬視點(diǎn)圖像構(gòu)成失真圖像庫(kù)，其中，失 真圖像庫(kù)中的每幅虛擬視點(diǎn)圖像的寬度為W且高度為Η; ② 將失真圖像庫(kù)中當(dāng)前待評(píng)價(jià)的虛擬視點(diǎn)圖像定義為當(dāng)前虛擬視點(diǎn)圖像； ③ 對(duì)當(dāng)前虛擬視點(diǎn)圖像進(jìn)行偏移補(bǔ)償，得到當(dāng)前虛擬視點(diǎn)圖像的結(jié)構(gòu)相似度值索引 圖，記為I index ? 具體過(guò)程為： ③-1、利用一個(gè)尺寸大小為NXN的滑動(dòng)窗口，在參考圖像中逐像素點(diǎn)移動(dòng)，將參考圖像 劃分成(W-(N-1))X(H-(N-1))個(gè)相互重疊的尺寸大小為NXN的圖像塊作為參考圖像塊;同 樣，在當(dāng)前虛擬視點(diǎn)圖像中逐像素點(diǎn)移動(dòng)，將當(dāng)前虛擬視點(diǎn)圖像劃分成(W-(N-1))X(H-(N-1))個(gè)相互重疊的尺寸大小為NXN的圖像塊作為失真圖像塊;其中，N2 1; ③-2、在參考圖像中搜索，找出與當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊匹配最佳的 參考圖像塊作為最佳匹配塊； ③-3、計(jì)算當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值， 將當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值記為ssmk，其 中，k的初始值為1，1 < k < (W-(N-1)) X (H-(N-1)); ③-4、將當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值作為 該失真圖像塊的中心像素點(diǎn)的客觀評(píng)價(jià)值； ③ -5、將當(dāng)前虛擬視點(diǎn)圖像中的所有失真圖像塊的中心像素點(diǎn)的客觀評(píng)價(jià)值構(gòu)成的圖 像作為當(dāng)前虛擬視點(diǎn)圖像的結(jié)構(gòu)相似度值索引圖I indM，完成當(dāng)前虛擬視點(diǎn)圖像的偏移補(bǔ) 償，其中，Iimh的寬度為W-(N-1)且高度為H-(N-1); ④ 根據(jù)Iindex計(jì)算當(dāng)前虛擬視點(diǎn)圖像的失真掩模圖，記為Vb，其中，Vb的寬度為W-(N-l)且 高度為H-(N-l); ⑤ 計(jì)算參考圖像的視覺(jué)敏感掩模圖，記為Vt，其中，Vt的寬度為W且高度為Η;然后對(duì)Vt進(jìn) 行歸一化處理，得到參考圖像的歸一化后的視覺(jué)敏感掩模圖，記為V t'；再對(duì)Vt'進(jìn)行裁剪，保 留寬度為W-(N-l)且高度為H-(N-l)的中間部分，將該中間部分作為參考圖像的最終的視覺(jué) 敏感掩模圖，記為Vt"，其中，V t"的寬度為W-(N-l)且高度為H-(N-l); ⑥ 計(jì)算當(dāng)前虛擬視點(diǎn)圖像的質(zhì)量評(píng)價(jià)預(yù)測(cè)值，記為S c 〇 r e。u r，其中，Lcur表示當(dāng)前虛擬視點(diǎn) 圖像的基線(xiàn)距離加權(quán)因子，1 < X' UN-1)，1 < y ' < H-(N-1)，Iindex(x '，y '）表示Iindex中坐 標(biāo)位置為(x'，y'）的像素點(diǎn)的像素值，Vb(x'，y'）表示Vb中坐標(biāo)位置為(x'，y'）的像素點(diǎn)的像 素值，Vt"（X '，y '）表示Vt"中坐標(biāo)位置為(X '，y '）的像素點(diǎn)的像素值； ⑦ 將失真圖像庫(kù)中下一幅待評(píng)價(jià)的虛擬視點(diǎn)圖像作為當(dāng)前虛擬視點(diǎn)圖像，然后返回步 驟③繼續(xù)執(zhí)行，直至失真圖像庫(kù)中的所有虛擬視點(diǎn)圖像處理完畢。2. 根據(jù)權(quán)利要求1所述的一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法，其特征在 于所述的步驟③-2的具體過(guò)程為： ③-2a、在參考圖像中搜索，找出與當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊相匹配的所 有參考圖像塊； ③-2b、計(jì)算當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其相匹配的每個(gè)參考圖像塊的 匹配程度，將當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊與其相匹配的第p個(gè)參考圖像塊的匹'其中，k的初始值為1，1<1^(￥-0-1))\(!1-0- 1))，1<ρ<Ρ，Ρ表示在參考圖像中搜索到的與當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊相 匹配的參考圖像塊的總個(gè)數(shù)，Sk表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有像 素點(diǎn)的像素值的方差，S P表示在參考圖像中搜索到的與當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真 圖像塊相匹配的第P個(gè)參考圖像塊中的所有像素點(diǎn)的像素值的方差，&, Ρ表示當(dāng)前虛擬視點(diǎn) 圖像中的第k個(gè)失真圖像塊中的所有像素點(diǎn)的像素值和其相匹配的第p個(gè)參考圖像塊中的 所有像素點(diǎn)的像素值的協(xié)方差，c為一個(gè)較小的常數(shù)，0 < c < 0.1; ③ -2c、針對(duì)當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊，從步驟③-2b計(jì)算得到的該失真 圖像塊對(duì)應(yīng)的所有匹配程度中找出值最大的匹配程度，并將找出的匹配程度對(duì)應(yīng)的參考圖 像塊確定為與該失真圖像塊匹配最佳的參考圖像塊，作為該失真圖像塊的最佳匹配塊。3. 根據(jù)權(quán)利要求1所述的一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法，其特征在?其中，qe[l， P]，P表示在參考圖像中搜索到的與當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊相匹配的參考 圖像塊的總個(gè)數(shù)，uk表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有像素點(diǎn)的像素 值的均值，u q表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊的最佳匹配塊中的所有像素點(diǎn) 的像素值的均值，Sk表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有像素點(diǎn)的像素 值的方差，S q表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊的最佳匹配塊中的所有像素點(diǎn) 的像素值的方差，Sk, q表示當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊中的所有像素點(diǎn)的像素 值和其最佳匹配塊中的所有像素點(diǎn)的像素值的協(xié)方差，(^ = 6.5025,(32 = 58.5225,(33 = 29·2613，α = 1，β=1，γ =1〇4. 根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方 法，其特征在于所述的步驟④的具體過(guò)程為：個(gè)互不重疊的尺寸大小為ΜΧΜ的圖像 塊，其中，M2 1，符號(hào)1」"為向下取整符號(hào)； ④ -2、計(jì)算Iindex中的每個(gè)圖像塊的失真幅度，將Iindex中的第h個(gè)圖像塊的失真幅度記為其中，h的初始值為1Iindex(x'，y'）表示Iindex中坐標(biāo)位置為(X'，y'）的像素點(diǎn)的像素值，1《X' <W-(N-1)，1 < Η-(N-l)，Ω h表示Iinde3X中的第h個(gè)圖像塊中的所有像素點(diǎn)的坐標(biāo)位置構(gòu)成的集合； ④ -3、計(jì)算當(dāng)前虛擬視點(diǎn)圖像的失真掩模圖Vb，將Vb中坐標(biāo)位置為(x'，y'）的像素點(diǎn)的 像素值記為￥心'， 7'），假設(shè)111^中坐標(biāo)位置為(^，7'）的像素點(diǎn)屬于111^中的第11個(gè)圖像5. 根據(jù)權(quán)利要求4所述的一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法，其特征在 于所述的步驟④-3中的分割閾值thr的獲取過(guò)程為:將I ind(3X中的所有像素點(diǎn)的像素值從小 到大排列，將最小的像素值記為Iindex, min，將最大的像素值記為Iindex,max;然后令作為分割閾值thr;其中，g 2 5。6. 根據(jù)權(quán)利要求1所述的一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法，其特征在 于所述的步驟⑤中Vt的獲取過(guò)程為： ⑤ -1、對(duì)參考圖像進(jìn)行均值濾波，然后對(duì)均值濾波后得到的圖像中的每個(gè)像素點(diǎn)的像 素值進(jìn)行平方運(yùn)算，得到參考圖像的第一濾波圖像，記為If，其中，對(duì)參考圖像進(jìn)行均值濾 波所采用的濾波窗口的尺寸大小為5 X 5; ⑤-2、對(duì)參考圖像中的每個(gè)像素點(diǎn)的像素值進(jìn)行平方運(yùn)算，然后對(duì)平方運(yùn)算后得到的 圖像進(jìn)行均值濾波，得到參考圖像的第二濾波圖像，記為If'，其中，對(duì)平方運(yùn)算后得到的圖 像進(jìn)行均值濾波所采用的濾波窗口的尺寸大小為5 X 5; ⑤-3、計(jì)算If'與If的差值圖像，記為Iv，將Iv中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值記為If'（x，y)表示If'中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，If (x，y)表示If中坐標(biāo)位置為(X， y)的像素點(diǎn)的像素值； ⑤-4、利用canny算子計(jì)算參考圖像的邊界圖像，然后對(duì)參考圖像的邊界圖像進(jìn)行膨 脹，將得到的膨脹圖像記為Id，其中，對(duì)參考圖像的邊界圖像進(jìn)行膨脹所采用的膨脹模版選 用半徑為3個(gè)像素點(diǎn)大小的圓； ⑤-5、根據(jù)Iv和Id，計(jì)算Iv的非邊界區(qū)域掩膜圖，記為將In沖坐標(biāo)位置為(x，y)的像 素點(diǎn)的像素值記為Ine(x，y)，Ine(x，y) = Iv(x，y) X (1-Id(x，y))，其中，Iv(x，y)表示Iv中坐標(biāo) 位置為(χ，y)的像素點(diǎn)的像素值，Id (χ，y)表示I d中坐標(biāo)位置為(χ，y)的像素點(diǎn)的像素值； ⑤-6、對(duì)Ine3進(jìn)行均值濾波，將均值濾波后得到的圖像記為I?，其中，對(duì)Ine3進(jìn)行均值濾波 所采用的濾波窗口的尺寸大小為11 X11; ⑤-7、根據(jù)Iv和I?，計(jì)算最大融合圖，記為I?，將I?中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素 值記為Iva(x，y)，Iva(x，y)=max(Iv(x，y)，I Vm(x，y))，其中，max〇為取最大值函數(shù)，I?(x，y) 表示I?中坐標(biāo)位置為(χ，y)的像素點(diǎn)的像素值； ⑤-8、對(duì)Iva中的每個(gè)像素點(diǎn)的像素值進(jìn)行開(kāi)方運(yùn)算，將開(kāi)方運(yùn)算后得到的圖像作為亮 度對(duì)比值圖像，記為E; ⑤-9、計(jì)算參考圖像對(duì)應(yīng)的預(yù)測(cè)圖像，記為Γ，將Γ中坐標(biāo)位置為(x，y)的像素點(diǎn)的像 素值記為Γ (X，y)其中，X表示參考圖像中以坐標(biāo)位 置為(X，y)的像素點(diǎn)為中心且尺寸大小為R X R的窗口，R> 1，Ω X表示由X內(nèi)的所有像素點(diǎn)的 坐標(biāo)位置構(gòu)成的集合，1 < XI <W，1 <yi <!1，1(^1，71)表示參考圖像中坐標(biāo)位置為(11，71)的 像素點(diǎn)的像素值：表示參考圖像中坐標(biāo)位置為（XI， yd的像素點(diǎn)與其所在的窗口的中心像素點(diǎn)的互信息量，In()為以自然基數(shù)e為底的對(duì)數(shù)函為以自然基數(shù)e為底的指數(shù)函數(shù)，σ表示高斯分布的標(biāo) 準(zhǔn)差，胃4表示參考圖像中以坐標(biāo)位置為(xi，yi)的 像素點(diǎn)為中心且尺寸大小為RXR的窗口，Ωξ表示由ξ內(nèi)的所有像素點(diǎn)的坐標(biāo)位置構(gòu)成的集 合，1 <X2<W，1 <y2<H，（x2，y2)e Ωξ，/?2 (.v.r:)表示參考圖像中屬于Ωξ的坐標(biāo)位置為 (x2，y2)的像素點(diǎn)的像素值，表示參考圖像中屬于Ωχ的坐標(biāo)位置為( Xl，y〇的像素 點(diǎn)的像素值，sum〇表示求和函數(shù)，表示Ωξ與Ω沖所有對(duì)應(yīng) 位置的像素點(diǎn)的像素值作差再平方后的求和運(yùn)算； ⑤-10、計(jì)算參考圖像與Γ的差值圖像，記為Iu，將Iu中坐標(biāo)位置為(x，y)的像素點(diǎn)的像 素值記為1七，7)，11^，7)=|1(^7)-1'（^7)|，其中，符號(hào)"||"為取絕對(duì)值符號(hào);然后計(jì)算 Iu的香農(nóng)熵，記為Hu; ⑤-11、計(jì)算參考圖像的視覺(jué)敏感掩模圖Vt，將Vt中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值記為 乂1：(叉，7)，'\^(叉，7)=；^(叉，7)\；^(叉，7)，其中，_，α' =16，β' =26，E(x，y)表示E中坐標(biāo)位置為(x，y)的像素點(diǎn) 的像素值，Hu(x，y)表示Hu中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，1α = 3.67Λ2 = 3.22Λ3 = 1.19〇7. 根據(jù)權(quán)利要求6所述的一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法，其特征在 于所述的步驟⑤中Vt'的獲取過(guò)程為:將V t'中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值記為Vt'，其中，Vt(x，y)表示Vt中坐標(biāo)位置為(x，y)的像素點(diǎn)的像 素值，Vt,min表示Vt中的所有像素點(diǎn)的像素值中最小的像素值，V t,max表示Vt中的所有像素點(diǎn) 的像素值中最大的像素值。8. 根據(jù)權(quán)利要求1所述的一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法，其特征在，其中，8_表示當(dāng)前虛擬視點(diǎn)圖像的基線(xiàn)距離，medB表 示失真圖像庫(kù)中的所有虛擬視點(diǎn)圖像的基線(xiàn)距離的中值，τ為用于使Sc〇rec；ur的值在區(qū)間 [〇，1]內(nèi)的調(diào)節(jié)因子，符號(hào)"I Γ為取絕對(duì)值符號(hào)。
【文檔編號(hào)】G06T3/40GK105828061SQ201610307584
【公開(kāi)日】2016年8月3日
【申請(qǐng)日】2016年5月11日
【發(fā)明人】陳芬, 焦任直, 彭宗舉, 蔣剛毅, 郁梅
【申請(qǐng)人】寧波大學(xué)