本發(fā)明涉及立體圖像舒適度質量評價領域，具體的說，是涉及一種基于PUP(非關聯(lián)像素比)圖的3D圖像(立體圖像)舒適度質量評價方法及系統(tǒng)，特別是運用了無視差計算的快速評價方法及系統(tǒng)。

背景技術：

近年來，諸如立體電影、立體電視等立體(3D)視頻產業(yè)迅速發(fā)展，3D視頻資源越來越廣泛地進入人們的日常生活中。其在提升觀影體驗的同時也會使觀眾出現(xiàn)諸如頭暈、惡心、胸悶等不適現(xiàn)象。為了改善觀看立體圖像的不舒適度，進一步提升觀影體驗，大量針對3D圖像舒適度質量評價方法的研究應運而生?，F(xiàn)有的幾乎所有3D圖像舒適度質量評價方法均利用了基于視差提取的3D圖像特征進行評價，包括諸如最大視差、視差范圍、視差能量和視差分布等特征，評價模型的準確度很大程度上依賴于視差估計方法的質量。

視差估計方法可分為稀疏匹配和稠密匹配兩種，后者計算每個像素的視差而前者計算像素塊的視差，所以后者是高復雜度的而前者是相對低復雜度的。就目前而言，大多數(shù)3D圖像舒適度質量評價方法都是基于稠密視差的，高質量的稠密視差匹配算法實現(xiàn)起來既費時且困難，同時也并不能保證所估計每點視差的準確度。

另一方面，隨著生理學的發(fā)展，人們對眼睛生理功能的認識日趨完善，特別是人眼觀看自然圖像時的舒適度調節(jié)功能。當觀看自然場景時，人雙眼的匯聚度與調節(jié)性通常以互助的形式調節(jié)。在雙眼調節(jié)過程中，晶狀體形狀通常由纖毛肌控制。在觀看近景對象時，瞳孔收縮以補償減少的域深度并增加球面像差；在觀看遠景對象時，瞳孔擴張以減少衍射并增加視網(wǎng)膜光強。在觀看平面3D圖像時，雙眼的調節(jié)性由左右圖像與雙眼間距離決定。但是，當獲取融合圖像時，同時需要雙眼調節(jié)匯聚度以適應場景中的深度位置。這樣，在觀看平面3D電視時就會 造成一種觀感上的沖突。在不使用視差圖的情況下模擬匯聚度、調節(jié)性之間的沖突，就需要描述雙目視差的相關信息。

到目前為止，研究者基于視差特征提出了很多3D圖像舒適度質量評價模型，Jincheol Park等人在2014年3月“IEEE信號處理中相關主題期刊(Selected Topics in Signal Processing,IEEE Journal of)”上的“3D視覺舒適性預測：匯聚、凹形及生理光學調節(jié)(3D Visual Discomfort Prediction:Vergence,Foveation,and the Physiological Optics of Accommodation)”一文中，在分析影響人眼觀看平面3D圖像舒適性的各類因素基礎上，以視差為基礎，提取各類特征并建立3D圖像舒適性評價模型，取得了目前為止相對最好的評價測試效果。但該方法對于視差數(shù)據(jù)的準確性有著較高的要求，而高質量視差數(shù)據(jù)依賴于高復雜度的視差估計方法。

為了解決3D圖像舒適度質量評價過程中因視差計算帶來的復雜度高及視差估計精度對于評價模型質量的影響等問題，本發(fā)明在不計算視差的情況下，通過關聯(lián)圖像、對應視網(wǎng)膜圖像提出非關聯(lián)像素比(PUP，Percentage of Un-linked Pixels)概念，進一步通過特征組分類導出PUP計算公式，通過PUP圖提取特征進行3D圖像舒適度質量評價，這樣就解決了計算視差過程中帶來的諸多問題，降低了3D圖像舒適度質量評價模型所需特征提取的復雜度，同時基于所提特征建立的3D圖像舒適度質量評價方法也具有很好的準確性。

技術實現(xiàn)要素：

為了解決3D圖像舒適度質量評價過程中因視差計算帶來的復雜度高、視差估計精度對于評價模型質量的影響等問題，本發(fā)明提供一種在不需計算視差的條件下，基于PUP圖的3D圖像舒適度質量評價方法及系統(tǒng)，使3D圖像舒適度質量評價過程更快速，并且結果準確。

為實現(xiàn)上述的目的，本發(fā)明采用的技術方案是：本發(fā)明在不計算視差的情況下，通過關聯(lián)圖像、對應視網(wǎng)膜圖像提出非關聯(lián)像素比(PUP，Percentage of Un‐linked Pixels)概念，進一步通過特征組分類導出PUP計算公式，通過PUP圖提取特征進行3D圖像舒適度質量評價，這樣就解決了計算視差過程中帶來的諸多問題，降低了3D圖像舒適度質量評價模型所需特征提取的復雜度，同時基于所提特征建立的3D圖像舒適度質量評價方法也具有很好的準確性。

根據(jù)本發(fā)明的一個方面，提供一種基于PUP圖的3D圖像舒適度質量評價方法，所述方法在無需視差計算條件下快速有效地進行3D圖像舒適度質量評價；包括如下步驟：

第一步，確定PUP概念：通過關聯(lián)圖像、對應視網(wǎng)膜圖像概念引出PUP概念；

第二步，特征組分類：利用各像素在不同角度下的方向特征以及亮度分布特征將其映射到不同的特征組，并通過特征組直方圖中像素分布計算非關聯(lián)像素數(shù)目，從而確定PUP的計算公式；

第三步，正負視差定義：根據(jù)PUP值正負進行圖像塊正負視差的判定，為正負PUP提取提供了準則，即通過比較右圖像塊左右移動后計算得到的兩個PUP值的大小，判定該圖像塊視差的正負，對于負視差情況取負PUP值，正視差情況取正PUP值；

第四步，PUP圖生成：基于圖像塊正負PUP值計算方法，通過Percival舒適域、Panum融合區(qū)原理確定圖像塊的三種不同尺寸，并采用部分區(qū)域重疊的圖像塊抽取方法，計算所抽取的每個圖像塊的PUP值，生成三種不同尺寸條件下對應的PUP圖，用于3D圖像特征提取；

第五步，特征提取及評價：對三種不同尺寸條件下對應的PUP圖，通過正負PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D圖像特征，通過SVM方式建立3D圖像舒適度模型，用于3D圖像舒適度質量評價。

優(yōu)選地，所述的第一步，通過以下方式實現(xiàn)：

1)、定義關聯(lián)圖像為視覺系統(tǒng)中雙目視為具有對應關系的圖像塊；對應視網(wǎng)膜圖像定義為映射到左右視網(wǎng)膜和視覺皮層相同位置的圖像塊；當對象位于同視點(Horopter)平面層時，關聯(lián)圖像同時也是對應視網(wǎng)膜圖像，此時視差為零；當對象位于非同視點平面層時，關聯(lián)圖像是移位過的圖像，而非對應視網(wǎng)膜圖像，此時對應視網(wǎng)膜圖像之間存在視差；

2)、存在視差的對應視網(wǎng)膜圖像依然存在部分關聯(lián)像素點，剩余部分則為未關聯(lián)像素點為非關聯(lián)像素；將圖像塊中非關聯(lián)像素的百分比稱為非關聯(lián)像素比PUP；

對于對應視網(wǎng)膜圖像塊a，其區(qū)域面積為S_a，其寬為W_a，其視差為d_a，關聯(lián)的對應視網(wǎng)膜圖像區(qū)域面積S_Linked表示為：

相反的，若S_Linked已知，那么視差d_a表示為：

由以上公式可看出，對于給定塊a視差并將這一比例因子定義為非關聯(lián)像素比PUP；

基于PUP的概念可知，圖像塊中的關聯(lián)像素是指場景中相同對象在左右視點成像結果，關聯(lián)像素具有相似的亮度及紋理特征；圖像塊中非關聯(lián)像素數(shù)的百分比定義為PUP，PUP與該圖像塊的視差成正比關系；

基于PUP概念，本發(fā)明通過Gabor方向濾波方法提取圖像中各像素的紋理特征，通過亮度重量化提取圖像中像素的亮度特征；在此基礎上，利用變換得到的紋理與亮度的聯(lián)合特征，通過聯(lián)合特征直方圖即可提取每個圖像塊的PUP值，從而簡化PUP計算，同時增加PUP的魯棒性。

優(yōu)選地，所述的第二步通過以下方式實現(xiàn)：

1)、利用不同方向的Gabor濾波器對圖像進行方向濾波，并對濾波后的特征值進行歸一化后得到方向濾波圖像G^j(x,y,θ)(j＝l為左圖，j＝r為右圖，θ為所用二維Gabor濾波器方向參數(shù)，一般取0°,45°,90°和135°，(x,y)為圖像中各像素位置)；

2)、若像素點在某方向上的方向特征足夠大，該點就被標記為high，反之則標記為low；方向特征的大小可用閾值T_G(θ)區(qū)分；由下式提取各像素點的方向性特征O^j(x,y,θ)(j＝l,r)：

方向分類特征值計算需分別在多個角度上進行判別，再結合亮度分布特征將各像素按亮度劃分為多個等級；按方向特征與亮度分布特征進行結合，得到總的N_hist組特征組合，則圖像塊的非關聯(lián)區(qū)域面積S_unlinked和PUP分別定義為：

其中：N_total為圖像塊中總的像素數(shù)，H^l(i)為經(jīng)方向特征及亮度特征變換后左圖像塊中特征值為i的點數(shù)，H^r(i)為右圖像塊中特征值為i的點數(shù)。

優(yōu)選地，所述第三步通過以下方式實現(xiàn)：

對于位于圖像中(x,y)處圖像塊，若右視圖中關聯(lián)圖像移位到對應視網(wǎng)膜圖像的左端，那么視差為負；通過比較左右移位右視圖圖像塊位置后的PUP值來確定圖像中(x,y)處圖像塊PUP_(x,y)的正負，對應表示該圖像塊視差的正負：

其中：t＝PUP_(x,y)×W，W為圖像塊寬度；

當PUP_L,(x,y)≤PUP_R,(x,y)時，左圖有更多像素關聯(lián)到右視圖中左移的圖像，視差為負，則該點PUP取負值。

PUP_L,(x,y)表示右圖左移t后計算的(x,y)處圖像塊的PUP值，PUP_R,(x,y)表示 右圖右移t后計算的(x,y)處圖像塊的PUP值，為左圖像塊的特征直方圖，表示位于(x,y)處圖像塊中特征值為i的像素數(shù)，為右圖像塊的特征直方圖，表示位于(x±t,y)處圖像塊中特征值為i的像素數(shù)；

第四步，所述的第四步通過以下方式實現(xiàn)：

PUP描述的最大視差由圖像塊寬度決定；對于包含多變視差等級及多細節(jié)的圖像塊應采用更小的尺寸，對于包含較少視差等級及細節(jié)的圖像塊應采用更大的尺寸，因而分不同的尺寸處理是有必要的；

對象能雙目融合的區(qū)域稱為Panum融合區(qū)，其中用來定義舒適觀看條件下的最大視網(wǎng)膜視差的子區(qū)域稱為Percival舒適域；當圖像塊的視差比Percival舒適域更小時，其對視覺體驗影響微?。划斠暡畛^Panum融合區(qū)時，視覺上的不舒適程度會急劇增加；因此，三種不同尺寸的圖像塊寬度由舒適域及融合區(qū)確定；最大塊寬度模式(L)對應融合區(qū)的視差限制，最小塊寬度模式(S)對應舒適域的視差限制，平均塊寬度模式(A)對應以上兩種域視差限制的平均值，計算得到對應的PUP圖PUPⁱ(i＝L,A,S)；

另一方面，寬度較大的圖像塊可能會包含多個視差平面及不同的對象，從而影響視差描述的精度，因此采用重疊的橫向塊移位窗口，其移位值為bs×W_b(bs＜1)，比塊寬度W_b??；若用H_I和W_I分別表示圖像的高度和寬度，H_b和W_b分別表示圖像塊的高度和寬度，則PUP圖表示為：

PUP圖中圖像塊的總數(shù)為：

第五步，所述的第五步通過以下方式實現(xiàn)：

對PUPⁱ(i＝L,A,S)圖按各點的值的大小進行排序得到{PUPⁱ(n)}，PUPⁱ(n) 表示PUPⁱ圖中第n個最小值，分別表示PUPⁱ圖中正負值的數(shù)目，分別表示{PUPⁱ(n)}中低于5％、高于95％PUP值的數(shù)目，為{PUPⁱ(n)}中總的點數(shù)，則提取的特征分別表示為：

在上式中，若則則

最后通過SVM對提取的特征與主觀評價值進行回歸建模，建立3D圖像舒適度質量評價模型。

根據(jù)本發(fā)明的第二方面，提供一種基于PUP圖的3D圖像舒適度質量評價系統(tǒng)，所述系統(tǒng)包括：

PUP概念模塊：通過關聯(lián)圖像、對應視網(wǎng)膜圖像概念引出PUP概念；

所述關聯(lián)圖像定義為：視覺系統(tǒng)中雙目視為具有對應關系的圖像塊；

所述對應視網(wǎng)膜圖像定義為：映射到左右視網(wǎng)膜和視覺皮層相同位置的圖像塊；

當對象位于同視點平面層時，關聯(lián)圖像同時也是對應視網(wǎng)膜圖像，此時視差為零；當對象位于非同視點平面層時，關聯(lián)圖像是移位過的圖像，而非對應視網(wǎng)膜圖像，此時對應視網(wǎng)膜圖像之間存在視差；

存在視差的對應視網(wǎng)膜圖像依然存在部分關聯(lián)像素點，關聯(lián)像素是指場景中相同對象在左右視點成像結果，關聯(lián)像素具有相似的亮度及紋理特征，剩余部分則為未關聯(lián)像素點稱為非關聯(lián)像素；將圖像塊中非關聯(lián)像素的百分比稱為非關聯(lián)像素比PUP，PUP與該圖像塊的視差成正比關系；

特征組分類模塊：在PUP概念模塊確定PUP定義的基礎上，利用各像素在不同角度下的方向特征以及亮度分布特征將其映射到不同的特征組，并通過特征 組直方圖中像素分布計算非關聯(lián)像素數(shù)目，從而確定PUP的計算公式；

正負視差定義模塊：在特征組分類模塊給出的PUP計算公式基礎上，根據(jù)PUP值正負進行圖像塊正負視差的判定，為正負PUP提取提供了準則，即通過比較右圖像塊左右移動后計算的PUP值大小，判定該圖像塊視差的正負，對于負視差情況取負PUP值，正視差情況取正PUP值；

PUP圖生成模塊：基于圖像塊正負PUP值計算方法，通過Percival舒適域、Panum融合區(qū)原理確定圖像塊的三種不同尺寸，并采用部分區(qū)域重疊的圖像塊抽取方法，計算所抽取的每個圖像塊的PUP值，生成三種不同尺寸條件下對應的PUP圖，用于3D圖像特征提取；

特征提取及評價模塊：對PUP圖生成模塊得到的三種不同尺寸條件下對應的PUP圖，通過正負PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D圖像特征，通過SVM方式建立3D圖像舒適度模型，用于3D圖像舒適度質量評價。

本發(fā)明與現(xiàn)有技術相比較，具有如下有益效果：

本發(fā)明引入PUP圖概念，首次在立體圖像舒適度質量評價方法上提出了無視差計算的3D圖像舒適度質量評價方法，在無需視差計算條件下快速有效地進行3D圖像舒適度質量評價，效果提升顯著。

附圖說明

通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發(fā)明的特征、目的和優(yōu)點將會變得更明顯：

圖1為本發(fā)明一實施例的基于PUP圖的3D圖像舒適度質量評價系統(tǒng)框圖；

圖2為本發(fā)明一實施例的關聯(lián)圖像、對應視網(wǎng)膜圖像等定義的示意圖；

圖3為本發(fā)明一實施例的關聯(lián)圖像、對應視網(wǎng)膜圖像位置關系的示意圖；

圖4為IEEE-SA圖像庫中某3D圖像，其中：右上角圖像塊視差較小，左下角圖像塊視差較大；

圖5為圖4中右上角圖像塊和左下角圖像塊的左右視點圖像；

圖6a-圖6d為圖5圖像特征分組后的特征分布直方圖；

圖7為基于部分區(qū)域重疊的圖像塊提取方法圖示；

圖8為圖4所示3D圖像對應三種不同尺寸條件下生成的PUP圖。

具體實施方式

下面結合具體實施例對本發(fā)明進行詳細說明。以下實施例將有助于本領域的技術人員進一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干變形和改進。這些都屬于本發(fā)明的保護范圍。

如圖1所示，本實施例提供一種基于PUP圖的3D圖像舒適度質量評價系統(tǒng)，所述系統(tǒng)包括：

PUP概念模塊，根據(jù)關聯(lián)圖像、對應視網(wǎng)膜圖像等概念，引出PUP的概念，用于為PUP的具體計算提供理論依據(jù)；

特征組分類模塊，利用像素方向特征和亮度分布特征進行組合，映射到不同的特征組進行特征分類，在特征分類的基礎上定義PUP的具體計算方法；

正負視差定義模塊，根據(jù)上述的PUP的具體計算方法，給出通過正負PUP值來表示正負視差的表示方法；

PUP圖生成模塊，采用基于部分區(qū)域重疊的圖像塊抽取方法，根據(jù)Percival舒適域、Panum融合區(qū)原理確定圖像塊的三種尺寸，分別生成對應的PUP圖；

特征提取及評價模塊，通過對三種尺寸圖像塊提取的PUP圖分別提取正負PUP圖均值、PUP圖前5％均值、PUP圖后5％均值作為3D圖像特征，通過SVM回歸建模，結合SROCC、LCC指標進行3D圖像舒適度質量評價性能對比。

如圖2-3所示，所述關聯(lián)圖像、對應視網(wǎng)膜圖像：

所述關聯(lián)圖像定義為：視覺系統(tǒng)中雙目視為具有對應關系的圖像塊；所述對應視網(wǎng)膜圖像定義為：映射到左右視網(wǎng)膜和視覺皮層相同位置的圖像塊；

當對象位于同視點平面層時，關聯(lián)圖像同時也是對應視網(wǎng)膜圖像，此時視差為零；當對象位于非同視點平面層時，關聯(lián)圖像是移位過的圖像，而非對應視網(wǎng)膜圖像，此時對應視網(wǎng)膜圖像之間存在視差；

存在視差的對應視網(wǎng)膜圖像依然存在部分關聯(lián)像素點，剩余部分則為未關聯(lián)像素點為非關聯(lián)像素；將圖像塊中非關聯(lián)像素的百分比稱為非關聯(lián)像素比PUP；

對于對應視網(wǎng)膜圖像塊a，其區(qū)域面積為S_a，其寬為W_a，其視差為d_a，關 聯(lián)的對應視網(wǎng)膜圖像區(qū)域面積S_Linked表示為：

相反的，若S_Linked已知，那么視差d_a表示為：

由以上公式看出，對于給定塊a視差并將這一比例因子定義為非關聯(lián)像素比PUP。

本發(fā)明中，PUP是針對一個圖像塊，整個圖像分割成很多圖像塊，針對每個塊計算的PUP值，按在圖中位置排列，就得到PUP圖。PUP值不能反映正負視差，僅反映視差大小，因此需要該模塊，通過判斷確定PUP值的正負，對應視差的正負。

圖2中：a點處于同視點平面，視差為0，a’和a”互為對應視網(wǎng)膜圖像并同時也是關聯(lián)圖像；b'和b”互為關聯(lián)圖像，b″′和b”互為對應視網(wǎng)膜圖像；

如圖3所示，其中：陰影區(qū)域為對應視網(wǎng)膜圖像域；(6)、(7)表明陰影域大小受圖像大小影響；

基于上述定義，以IEEE-SA立體圖像庫中的3D圖像為例，對基于PUP圖的3D圖像舒適度質量評價方法進行詳細介紹：

第一步、任意選取庫中一張3D圖像(如圖4所示)，通過四種空間頻率均為0.592周/度的不同方向的Gabor濾波器進行方向濾波，濾波后的特征值經(jīng)歸一化后得到方向濾波圖像G^j(x,y,θ)(j＝l為左圖，j＝r為右圖)；在某方向上響應足夠大的像素點用high表示，響應相對較小的像素點用low表示；方向特征的大小用閾值T_G(θ)區(qū)分，本實施例中取閾值T_G(θ)＝0.5，左右視點圖像中像素點(x,y)的方向性特征提取公式如下：

此處分別選取θ＝{0°,45°,90°,135°}四個角度濾波，共得到16個分類組(如表1所示)。根據(jù)亮度分布特征劃分為5個分類組。進行方向特征與亮度分布特征組合，得到共N_hist＝80組特征(圖6a-圖6d所示為圖5圖像塊圖像提取特征后基于新特征統(tǒng)計得到的特征分布直方圖)。

表1

第二步、利用各像素在不同角度下的方向特征以及亮度分布特征將其映射到不同的特征組，并通過特征組直方圖中像素分布計算非關聯(lián)像素數(shù)目，從而確定PUP的計算公式；

根據(jù)特征分組情況計算各圖像塊PUP值，具體計算公式為：

其中：N_total為圖像塊中總的像素數(shù)，H^l(i)為經(jīng)方向特征及亮度特征變換后 左圖像塊中特征值為i的點數(shù)，H^r(i)為右圖像塊中特征值為i的點數(shù)。

第三步、通過比較右圖像塊左右移動后計算得到的兩個PUP值的大小，判定該圖像塊視差的正負，對于負視差情況取負PUP值，正視差情況取正PUP值；

根據(jù)PUP定義正負視差的公式定義PUP正負值，若PUP_L,(x,y)≤PUP_R,(x,y)，則此時為負視差，PUP標記為負數(shù)。

第四步、通過Percival舒適域、Panum融合區(qū)原理確定圖像塊的三種不同尺寸，并采用部分區(qū)域重疊的圖像塊抽取方法，計算所抽取的每個圖像塊的PUP值，生成三種不同尺寸條件下對應的PUP圖，用于3D圖像特征提??；

根據(jù)Panum融合區(qū)及Percival舒適域原理確定三種不同尺寸的像素塊。本例中圖像均為1920×1080像素，根據(jù)上述規(guī)則選取大(L)、中(A)、小(S)三種圖像塊的寬度依次為480、192、80像素。

在具體圖像塊分塊中采用重疊移位思想(如圖7所示)，每次移位值為bs×W_b，其中bs＜1，在此例中大、中、小模式下bs依次選為PUP圖的像素塊總數(shù)為：

計算后得到三種不同尺寸圖像塊劃分下的PUP圖(如圖8所示)。

第五步、對三種不同尺寸條件下對應的PUP圖，通過正負PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D圖像特征，通過SVM方式建立3D圖像舒適度模型，用于3D圖像舒適度質量評價。

根據(jù)正負PUP值的均值、5％前的PUP值均值、95％后的PUP值均值提取4組特征；具體計算為：

在本實施例中，由三種不同的圖像塊提取尺寸生成的PUP圖，共提取了12組特征。庫中其余立體圖像均按上述步驟操作，再利用SVM回歸分析方法建立3D圖像舒適度模型。利用EPFL與IEEE-SA這兩個立體圖像庫，計算所建立模型的SROCC、LCC指標，并與Park“3D視覺舒適性預測”一文中結果進行比較，表2所示：

表2

本發(fā)明在兩個指標上性能與Park方法接近，但在計算速度方面，由于不需要進行視差估計，有很大提升。

以上對本發(fā)明的具體實施例進行了描述。需要理解的是，本發(fā)明并不局限于上述特定實施方式，本領域技術人員可以在權利要求的范圍內做出各種變形或修改，這并不影響本發(fā)明的實質內容。