1.一種基于PUP圖的3D圖像舒適度質(zhì)量評價方法,其特征在于,所述方法包括如下步驟:
第一步,確定PUP概念:通過關(guān)聯(lián)圖像、對應(yīng)視網(wǎng)膜圖像概念引出PUP概念;
所述關(guān)聯(lián)圖像定義為:視覺系統(tǒng)中雙目視為具有對應(yīng)關(guān)系的圖像塊;
所述對應(yīng)視網(wǎng)膜圖像定義為:映射到左右視網(wǎng)膜和視覺皮層相同位置的圖像塊;
當(dāng)對象位于同視點平面層時,關(guān)聯(lián)圖像同時也是對應(yīng)視網(wǎng)膜圖像,此時視差為零;當(dāng)對象位于非同視點平面層時,關(guān)聯(lián)圖像是移位過的圖像,而非對應(yīng)視網(wǎng)膜圖像,此時對應(yīng)視網(wǎng)膜圖像之間存在視差;
存在視差的對應(yīng)視網(wǎng)膜圖像依然存在部分關(guān)聯(lián)像素點,關(guān)聯(lián)像素是指場景中相同對象在左右視點成像結(jié)果,關(guān)聯(lián)像素具有相似的亮度及紋理特征,剩余部分則為未關(guān)聯(lián)像素點稱為非關(guān)聯(lián)像素;將圖像塊中非關(guān)聯(lián)像素的百分比稱為非關(guān)聯(lián)像素比PUP,PUP與該圖像塊的視差成正比關(guān)系;
第二步,特征組分類:利用各像素在不同角度下的方向特征以及亮度分布特征將其映射到不同的特征組,并通過特征組直方圖中像素分布計算非關(guān)聯(lián)像素數(shù)目,從而確定PUP的計算公式;
第三步,正負(fù)視差定義:根據(jù)PUP值正負(fù)進行圖像塊正負(fù)視差的判定,為正負(fù)PUP提取提供了準(zhǔn)則,即通過比較右圖像塊左右移動后計算得到的兩個PUP值的大小,判定該圖像塊視差的正負(fù),對于負(fù)視差情況取負(fù)PUP值,正視差情況取正PUP值;
第四步,PUP圖生成:通過Percival舒適域、Panum融合區(qū)原理確定圖像塊的三種不同尺寸,并采用部分區(qū)域重疊的圖像塊抽取方法,計算所抽取的每個圖像塊的PUP值,生成三種不同尺寸條件下對應(yīng)的PUP圖,用于3D圖像特征提取;
第五步,特征提取及評價:對三種不同尺寸條件下對應(yīng)的PUP圖,通過正負(fù)PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D圖像特征, 通過SVM方式建立3D圖像舒適度模型,用于3D圖像舒適度質(zhì)量評價。
2.如權(quán)利要求1所述的一種基于PUP圖的3D圖像舒適度質(zhì)量評價方法,其特征在于,所述的第一步,通過以下方式實現(xiàn):
對于對應(yīng)視網(wǎng)膜圖像塊a,其區(qū)域面積為Sa,其寬為Wa,其視差為da,關(guān)聯(lián)的對應(yīng)視網(wǎng)膜圖像區(qū)域面積SLinked表示為:
相反的,若SLinked已知,那么視差da表示為:
由以上公式看出,對于給定塊a視差并將這一比例因子定義為非關(guān)聯(lián)像素比PUP。
3.如權(quán)利要求1所述的一種基于PUP圖的3D圖像舒適度質(zhì)量評價方法,其特征在于,所述的第二步,通過以下方式實現(xiàn):
1)、利用不同方向的Gabor濾波器對圖像進行方向濾波,并對濾波后的特征值進行歸一化后得到方向濾波圖像Gj(x,y,θ),j=l為左圖,j=r為右圖,θ為所用二維Gabor濾波器方向參數(shù),(x,y)為圖像中各像素位置;
2)、若像素點在某方向上的方向特征大于閾值TG(θ),該點就被標(biāo)記為high,反之則標(biāo)記為low;由下式提取各像素點的方向性特征Oj(x,y,θ)(j=l,r):
閾值TG(θ)取0.5;
方向分類特征值計算分別在多個角度上進行判別,再結(jié)合亮度分布特征將各 像素按亮度劃分為多個等級;按方向特征與亮度分布特征進行結(jié)合,得到總的Nhist組特征組合,則圖像塊的非關(guān)聯(lián)區(qū)域面積Sunlinked和非關(guān)聯(lián)像素比分別為:
其中:Ntotal為圖像塊中總的像素數(shù),Hl(i)為經(jīng)方向特征及亮度特征變換后左圖像塊中特征值為i的點數(shù),Hr(i)為右圖像塊中特征值為i的點數(shù)。
4.如權(quán)利要求1所述的一種基于PUP圖的3D圖像舒適度質(zhì)量評價方法,其特征在于,所述第三步,通過以下方式實現(xiàn):
對于位于圖像中(x,y)處圖像塊,若右視圖中關(guān)聯(lián)圖像移位到對應(yīng)視網(wǎng)膜圖像的左端,那么視差為負(fù);通過比較左右移位右視圖圖像塊位置后的非關(guān)聯(lián)像素比PUP值來確定圖像中(x,y)處圖像塊非關(guān)聯(lián)像素比PUP(x,y)的正負(fù),對應(yīng)表示該圖像塊視差的正負(fù):
上式中,PUPL,(x,y)表示右圖左移t后計算的(x,y)處圖像塊的PUP值,PUPR,(x,y)表示右圖右移t后計算的(x,y)處圖像塊的PUP值,為左圖像塊的特征直方圖,表示位于(x,y)處圖像塊中特征值為i的像素數(shù),為右圖像塊的特征直方圖,表示位于(x±t,y)處圖像塊中特征值為i的像素數(shù);
其中:t=PUP(x,y)×W,W為圖像塊寬度;
當(dāng)PUPL,(x,y)≤PUPR,(x,y)時,左圖有更多像素關(guān)聯(lián)到右視圖中左移的圖像,視差為負(fù),則該點PUP取負(fù)值。
5.如權(quán)利要求1-4任一項所述的一種基于PUP圖的3D圖像舒適度質(zhì)量評價方法,其特征在于,所述的第四步,通過以下方式實現(xiàn):
非關(guān)聯(lián)像素比PUP描述的最大視差由圖像塊寬度決定,對象能雙目融合的區(qū)域稱為Panum融合區(qū),其中用來定義舒適觀看條件下的最大視網(wǎng)膜視差的子區(qū)域稱為Percival舒適域;當(dāng)圖像塊的視差比Percival舒適域更小時,其對視覺體驗影響微??;當(dāng)視差超過Panum融合區(qū)時,視覺上的不舒適程度會急劇增加;三種不同尺寸的圖像塊寬度由舒適域及融合區(qū)確定;最大塊寬度模式L對應(yīng)融合區(qū)的視差限制,最小塊寬度模式S對應(yīng)舒適域的視差限制,平均塊寬度模式A對應(yīng)以上兩種域視差限制的平均值,計算得到對應(yīng)的PUP圖PUPi(i=L,A,S);
采用重疊的橫向塊移位窗口,其移位值為bs×Wb(bs<1),比塊寬度Wb??;用HI和WI分別表示圖像的高度和寬度,Hb和Wb分別表示圖像塊的高度和寬度,則PUP圖表示為:
上式中,PUP(x,y)為圖像中(x,y)處圖像塊的PUP值,為水平方向圖像塊數(shù),為取整運算,為垂直方向圖像塊數(shù),則PUP圖中圖像塊的總數(shù)Npatch=mn。
6.如權(quán)利要求5所述的一種基于PUP圖的3D圖像舒適度質(zhì)量評價方法, 其特征在于,所述的第五步,通過以下方式實現(xiàn):
對PUPi(i=L,A,S)圖按各點的值的大小進行排序得到{PUPi(n)},PUPi(n)表示PUPi圖中第n個最小值,分別表示PUPi圖中正負(fù)值的數(shù)目,分別表示{PUPi(n)}中低于5%、高于95%PUP值的數(shù)目,為{PUPi(n)}中總的點數(shù),則提取的特征分別表示為:
在上式中,若
最后通過SVM對提取的特征與主觀評價值進行回歸建模,建立3D圖像舒適度質(zhì)量評價模型。
7.一種用于實現(xiàn)上述權(quán)利要求1-6任一項所述方法的基于PUP圖的3D圖像舒適度質(zhì)量評價系統(tǒng),其特征在于,所述系統(tǒng)包括:
PUP概念模塊:通過關(guān)聯(lián)圖像、對應(yīng)視網(wǎng)膜圖像概念引出PUP概念;
所述關(guān)聯(lián)圖像定義為:視覺系統(tǒng)中雙目視為具有對應(yīng)關(guān)系的圖像塊;
所述對應(yīng)視網(wǎng)膜圖像定義為:映射到左右視網(wǎng)膜和視覺皮層相同位置的圖像塊;
當(dāng)對象位于同視點平面層時,關(guān)聯(lián)圖像同時也是對應(yīng)視網(wǎng)膜圖像,此時視差為零;當(dāng)對象位于非同視點平面層時,關(guān)聯(lián)圖像是移位過的圖像,而非對應(yīng)視網(wǎng)膜圖像,此時對應(yīng)視網(wǎng)膜圖像之間存在視差;
存在視差的對應(yīng)視網(wǎng)膜圖像依然存在部分關(guān)聯(lián)像素點,關(guān)聯(lián)像素是指場景中相同對象在左右視點成像結(jié)果,關(guān)聯(lián)像素具有相似的亮度及紋理特征,剩余部分則為未關(guān)聯(lián)像素點稱為非關(guān)聯(lián)像素;將圖像塊中非關(guān)聯(lián)像素的百分比稱為非關(guān)聯(lián)像素比PUP,PUP與該圖像塊的視差成正比關(guān)系;
特征組分類模塊:在PUP概念模塊確定PUP定義的基礎(chǔ)上,利用各像素在不同角度下的方向特征以及亮度分布特征將其映射到不同的特征組,并通過特征組直方圖中像素分布計算非關(guān)聯(lián)像素數(shù)目,從而確定PUP的計算公式;
正負(fù)視差定義模塊:在特征組分類模塊給出的PUP計算公式基礎(chǔ)上,根據(jù)PUP值正負(fù)進行圖像塊正負(fù)視差的判定,為正負(fù)PUP提取提供了準(zhǔn)則,即通過比較右圖像塊左右移動后計算的PUP值大小,判定該圖像塊視差的正負(fù),對于負(fù)視差情況取負(fù)PUP值,正視差情況取正PUP值;
PUP圖生成模塊:基于圖像塊正負(fù)PUP值計算方法,通過Percival舒適域、Panum融合區(qū)原理確定圖像塊的三種不同尺寸,并采用部分區(qū)域重疊的圖像塊抽取方法,計算所抽取的每個圖像塊的PUP值,生成三種不同尺寸條件下對應(yīng)的PUP圖,用于3D圖像特征提取;
特征提取及評價模塊:對PUP圖生成模塊得到的三種不同尺寸條件下對應(yīng)的PUP圖,通過正負(fù)PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D圖像特征,通過SVM方式建立3D圖像舒適度模型,用于3D圖像舒適度質(zhì)量評價。