本發(fā)明屬于圖像和視頻質(zhì)量評價的方法，利用自回歸建模方法建立質(zhì)量評價模型，實現(xiàn)對3d合成圖像的有效評價。

背景技術：

二十一世紀以來，圖像和視頻逐漸成為人們獲取信息、溝通交流的重要途徑，全世界每年產(chǎn)生數(shù)百億張數(shù)字照片和數(shù)億段視頻，而伴隨著3g技術的普及和4g時代的開啟，基于3d技術的虛擬現(xiàn)實等全視角視頻是科技發(fā)展的必然趨勢。在制作自由視角視頻過程中，需要使用基于深度的圖像繪制(dibr)技術，根據(jù)臨近的多個視角圖像產(chǎn)生新的視角下的圖像。dibr技術生成合成圖像主要分為兩步：首先通過每個像素的深度信息在3d空間重新產(chǎn)生新的結構信息；然后將3d空間點延伸到2d像平面產(chǎn)生虛擬照相機，通過虛擬照相機產(chǎn)生新視角下的圖像。dibr技術的應用可以有效減少自由視角視頻拍攝過程中使用攝像機的數(shù)量，降低視頻拍攝難度，但合成圖像的過程中不可避免會產(chǎn)生幾何畸變。幾何畸變與自然圖像中發(fā)生的畸變(如模糊、塊效應和細節(jié)丟失等)具有不同的特征，嚴重的幾何畸變會降低多視角視頻的觀看效果。因此，需要一種圖像質(zhì)量評價方法有效識別dibr圖像中的幾何畸變。

目前已有的質(zhì)量評價方法可以有效識別自然圖像(多重失真圖像、紅外圖像、立體圖像等)中的畸變，對dibr合成圖像中的幾何畸變評價效果并不理想。研究發(fā)現(xiàn)自然圖像臨近像素間存在漸變性，即自相似性，而幾何失真會破壞這種自相似性。基于此本發(fā)明使用自回歸方法對圖像建立局部自回歸模型，通過計算合成圖像與回歸模型之間的重構誤差識別幾何失真。本發(fā)明在評價dibr合成圖像時不需要無失真圖像信息，是一種無參考質(zhì)量評價方法，實際應用過程中通常無失真圖像是不可能得到的，因此本發(fā)明完全符合實際應用需求。dibr合成圖像的無參考質(zhì)量評價方法目前尚無人研究，本發(fā)明填補了這一方向的空白，對dibr合成圖像的評價提供有效的方法。

技術實現(xiàn)要素：

本發(fā)明依據(jù)建立自回歸模型提出一種dibr合成圖像評價方法，可以有效識別合成圖像中的失真畸變。通過irccyn/ivc數(shù)據(jù)庫中的96副圖片對該方法進行驗證，實驗結果表明，本發(fā)明對合成圖像的評價效果明顯高于已有的圖像質(zhì)量評價方法，皮爾遜線性相關性系數(shù)(plcc)、斯皮爾曼排序相關性系數(shù)(srcc)和肯德爾排序相關性系數(shù)(krcc)分別達到0.7307、0.7157和0.5766，均優(yōu)于已有的算法(最好效果分別為0.6772、0.6634和0.5382)，并且評價的均方根誤差(rmse)由最低的0.4899進一步降低到0.4546。本發(fā)明在質(zhì)量評價效果和效率方面都有明顯提高。

基于自回歸局部圖像描述的3d合成圖像質(zhì)量評價方法，其特征在于包括以下步驟：

第一步、建立自回歸模型；

第二步、計算自回歸參數(shù)；

第三步、計算圖像與自回歸模型預測值之間的誤差；

第四步、二值化誤差，將誤差根據(jù)閾值變?yōu)?和1；

第五步、根據(jù)二值化誤差計算圖像質(zhì)量得分；

第一步中：

自回歸模型建立方法如下：

對于圖像i中一個像素，定義其位置指標為i，值為zi，則構造該像素與其周邊像素的關系為：

zi＝rσ(zi)q+di(1)

其中rσ(zi)為像素zi周邊面積為的區(qū)域內(nèi)σ個像素的值組成的矢量；q＝(q1,q2,…,qσ)^t為自回歸參數(shù)矢量，(q1,q2,…,qσ)分別對應周邊σ個像素的參數(shù)，一個像素有一個參數(shù)；t表示轉(zhuǎn)置；di為當前像素值與相應的自回歸預測值之間的誤差；其中設定σ值為8；

第二步中：

自回歸參數(shù)計算方法如下：

為了計算合適的自回歸參數(shù)，首先將線性系統(tǒng)轉(zhuǎn)換為矩陣形式：

其中z＝(zi,1,zi,2,…,zi,φ)^t，(zi,1,zi,2,…,zi,φ)為以像素xi為中心的區(qū)域內(nèi)的φ個像素的值；x為φ行σ列的矩陣；z的第j行向量表達式為z(j,:)＝rσ(zi,j),j＝{1,2,…,φ}，表示像素zi,j周邊面積為的區(qū)域內(nèi)σ個像素的值組成的矢量，其中設定σ值為8；將φ設定為48；

然后使用最小二乘方法得到最好的自回歸參數(shù)：

其中z與z的定義同公式(2)。

第三步中：

使用自回歸模型預測輸入dibr合成圖像并得到誤差；同時使用高斯濾波器對誤差進行濾波，移除孤立的噪聲點；然后只保留η％誤差顯著的區(qū)域，η％取值范圍為0％到50％。

第四步中：

二值化誤差方法如下：

通過閾值對誤差進行二值化操作：

其中ee為高斯濾波后的誤差，λt為恒定閾值，取值范圍為30到150；

第五步中：

圖像質(zhì)量評分公式如下：

其中n1表示ed值為1的像素點的個數(shù)，n表示整個圖像中所有像素點的個數(shù)。

本發(fā)明的創(chuàng)造性主要體現(xiàn)在：

1)本發(fā)明利用建立自回歸模型對圖像進行局部描述，提出一種新的dibr合成圖像幾何畸變質(zhì)量評價方法。

2)首次提出dibr合成圖像無參考質(zhì)量評價方法。

3)本發(fā)明提出的質(zhì)量評價方法魯棒性強，對中間參數(shù)不敏感。

4)該質(zhì)量評價方法可以與已有的有參考質(zhì)量評價方法相結合，可以對現(xiàn)有的質(zhì)量評價方法起到擴展作用。

附圖說明

圖1、本發(fā)明的質(zhì)量評價框圖。

具體實施方式：

下面對本發(fā)明的實施例作詳細說明，本實施例在本發(fā)明技術方案為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施例。

實施例：

第一步、建立自回歸模型

對于圖像i中一個像素，定義其位置指標為i，值為zi，則構造該像素與其周邊像素的關系為：

zi＝rσ(zi)q+di(1)

其中rσ(zi)為像素zi周邊面積為的區(qū)域內(nèi)σ個像素組成的矢量；q＝(q1,q2,…,qσ)^t為自回歸參數(shù)矢量，(q1,q2,…,qσ)分別對應周邊σ個像素的參數(shù)，一個像素有一個參數(shù)；t表示轉(zhuǎn)置；di為當前像素值與相應的自回歸預測值之間的誤差；其中設定σ值為8，因為實驗表明增大θ值會增加計算量，但模型預測精度并沒有上升。

第二步、計算自回歸參數(shù)

為了計算合適的自回歸參數(shù)，首先將線性系統(tǒng)轉(zhuǎn)換為矩陣形式：

其中z＝(zi,1,zi,2,…,zi,φ)^t，(zi,1,zi,2,…,zi,φ)為以像素xi為中心的區(qū)域內(nèi)的φ個像素的值；z為φ行σ列的矩陣；z的第j行向量表達式為z(j,:)＝rσ(zi,j),j＝{1,2,…,φ}，表示像素zi,j周邊面積為的區(qū)域內(nèi)σ個像素的值組成的矢量，其中設定σ值為8；根據(jù)人們對局部斑塊的廣義平穩(wěn)和幾何二象性的有效性原則，將φ設定為48。

然后使用最小二乘方法得到最好的自回歸參數(shù)：

其中z與z的定義同公式(2)。

假設根據(jù)公式(1)對一個像素建立的關系，在7乘7的區(qū)域內(nèi)仍存在臨近的48個像素點，我們使用中心像素點zi和周圍的48個像素信息共同確定自回歸參數(shù)該策略可以確保自回歸模型的可靠性。

第三步、計算誤差

使用自回歸模型預測輸入dibr合成圖像并得到誤差。同時使用高斯濾波器對誤差進行濾波，移除孤立的噪聲點。然后只保留η％(實驗驗證取值范圍為0％到50％效果最理想，本實例取10％)誤差顯著的區(qū)域，這是因為誤差顯著區(qū)域代表著幾何失真，非幾何失真區(qū)域的誤差與幾何失真區(qū)域的誤差值相差很大。

第四步、二值化誤差

通過閾值對誤差進行二值化操作：

其中ee為高斯濾波后的誤差，λt為恒定閾值(實驗結果表明取值范圍為30到150效果較理想，本實驗取100)。

第五步、計算圖像質(zhì)量得分

根據(jù)已有的研究可知，比較一副失真圖像和相關的自然圖像的結構可以有效評估圖像質(zhì)量。由公式(4)可知，自然圖像的誤差較低，因此自然圖像的二值化誤差均為1，記為er，通過比較er和失真圖像的二值化誤差ed可以預測dibr合成圖像的質(zhì)量。

本發(fā)明定義合成圖像的質(zhì)量評價公式如下：

其中n為像素位置指標，n為整個圖像中所有像素的個數(shù)；ε為為了避免分母為0的一個很小的正常數(shù)；α是與閔可夫斯基求和相關的活性指數(shù)，取值范圍為[1,4]，圖像質(zhì)量越差的區(qū)域α值越大，這是因為人們對于即便區(qū)域的關注度較高。

由于自然圖像的幾何畸變十分輕微，因此er為單位變量1，公式(5)變?yōu)椋?/p>

由于ed(l)²+1>0，因此公式(6)中的ε可以刪去，公式(6)變?yōu)椋?/p>

其中n0和n1分別表示ed值為0和1的區(qū)域，n0+n1＝n。因此公式(7)可以簡化為

從公式(8)可知，α的值對最終的質(zhì)量評分沒有影響，可以省略。

實施效果

依據(jù)上述步驟，本發(fā)明對irccyn/ivc數(shù)據(jù)庫的96幅圖片進行質(zhì)量評價，其中12幅自然圖像和84幅幾何失真圖像。評價指標有plcc、srcc、krcc和rmse。

plcc的計算公式為：

其中ss表示本發(fā)明對96幅圖的質(zhì)量評分組成的向量，sm表示96幅圖的主觀評價分數(shù)向量，和分別為ss和sm去均值化后的結果，t表示轉(zhuǎn)置。plcc的值越接近于1越好。

srcc的計算公式如下：

其中dm表示每一對主觀分數(shù)和去線性化的客觀分數(shù)的排序差異。m表示主客觀分數(shù)對的總數(shù)。srcc的值越接近于1越好。

krcc的計算公式如下：

其中mc和md表示數(shù)據(jù)集中一致和不一致圖相對的總數(shù)。krcc的值越接近于1越好。

rmse的計算公式為：

其中δs＝ss-sm。rmse的值越小越好。

最終可得本發(fā)明的plcc、srcc、krcc和rmse分別達到0.7307、0.7157、0.5766和0.4546。同時，與20種其它方法進行比較，比較結果見表1，可知本發(fā)明是唯一的針對dibr合成圖像的無參考質(zhì)量評價方法，而且本發(fā)明在各個指標方面均優(yōu)于所對比方法。

表1

表1中所述的算法具體是指：

[1]z.wang,a.c.bovik,h.r.sheikh,ande.p.simoncelli,“imagequalityassessment:fromerrorvisibilitytostructuralsimilarity,”ieeetrans.imageprocess.,vol.13,no.4,pp.600-612,apr.2004.

[2]d.m.chandlerands.s.hemami,“vsnr:awavelet-basedvisualsignal-to-noiseratiofornaturalimages,”ieeetrans.imageprocess.,vol.16,no.9,pp.2284-2298,sep.2007.

[3]e.c.larson,andd.m.chandler,“mostapparentdistortion:fullreferenceimagequalityassessmentandtheroleofstrategy,”journalofelectronicimaging,vol.19,no.1,jan.2010.

[4]z.wangandq.li,“informationcontentweightingforperceptualimagequalityassessment,”ieeetrans.imageprocess.,vol.20,no.5,pp.1185-1198,may2011.

[5]l.zhang,l.zhang,x.mou,andd.zhang,“fsim:afeaturesimilarityindexforimagequalityassessment,”ieeetrans.imageprocess.,vol.20,no.8,pp.2378-2386,aug.2011.

[6]w.xue,l.zhang,x.mou,anda.c.bovik,“gradientmagnitudesimilaritydeviation:ahighlyefficientperceptualimagequalityindex,”ieeetrans.imageprocess.,vol.23,no.2,pp.684-695,feb.2014.

[7]k.gu,s.wang,g.zhai,w.lin,x.yang,andw.zhang,“analysisofdistortiondistributionforpoolinginimagequalityprediction,”ieeetrans.broadcasting,vol.62,no.2,pp.446-456,jun.2016.

[8]r.soundararajananda.c.bovik,“rredindices:reduced-referenceentropicdifferencingforimagequalityassessment,”ieeetrans.imageprocess.,vol.21,no.2,pp.517-526,feb.2012.

[9]g.zhai,x.wu,x.yang,w.lin,andw.zhang,“apsychovisualqualitymetricinfree-energyprinciple,”ieeetrans.imageprocess.,vol.21,no.1,pp.41-52,jan.2012.

[10]m.narwaria,w.lin,i.v.mcloughlin,s.emmanuel,andl.t.chia,“fouriertransform-basedscalableimagequalitymeasure,”ieeetrans.imageprocess.,vol.21,no.8,pp.3364-3377,aug.2012.

[11]j.wu,w.lin,g.shi,l.li,andy.fang,“orientationselectivitybasedvisualpatternforreduced-referenceimagequalityassessment,”informationscience,vol.351,pp.18-29,jul.2016.

[12]a.mittal,r.soundararajan,anda.c.bovik,“makinga‘completelyblind’imagequalityanalyzer,”ieeesignalprocess.lett.,vol.22,no.3,pp.209-212,mar.2013.

[13]w.xue,l.zhang,andx.mou,“l(fā)earningwithouthumanscoresforblindimagequalityassessment,”inproc.ieeeint.conf.computervisionandpatternrecognition,pp.995-1002,jun.2013.

[14]k.gu,g.zhai,x.yang,andw.zhang,“hybridno-referencequalitymetricforsinglyandmultiplydistortedimages,”ieeetrans.broadcasting,vol.60,no.3,pp.555-567,sep.2014.

[15]l.zhang,l.zhang,anda.c.bovik,“afeature-enrichedcompletelyblindimagequalityevaluator,”ieeetrans.onimageprocess.,vol.24,no.8,pp.2579-2591,aug.2015.

[16]p.h.conze,p.robert,andl.morin,“objectiveviewsynthesisqualityassessment,”electron.imag.int.societyforopticsandphotonics,pp.8288-8256,feb.2012.

[17]f.battisti,e.bosc,m.carli,andp.lecallet,“objectiveimagequalityassessmentof3dsynthesizedviews,”signalprocess.imagecommun.,vol.30,pp.78-88,jan.2015.

[18]d.sandi_c-stankovi_c,d.kukolj,andp.lecallet,“dibr-synthesizedimagequalityassessmentbasedonmorphologicalwavelets,”inproc.ieeeint.workshoponqualityofmultimediaexperience,pp.1-6,jan.2015.

[19]d.sandi_c-stankovi_c,d.kukolj,andp.lecallet,“dibr-synthesizedimagequalityassessmentbasedonmorphologicalpyramids,”thetruevision-capture,transmissionanddisplayof3dvideo,pp.1-4,oct.2015.

[20]d.sandi_c-stankovi_c,d.kukolj,andp.lecallet,“multi-scalesynthesizedviewassessmentbasedonmorphologicalpyramids,”journalofelectricalengineering,vol.67,no.1,pp.1-9,jan.2016.