一種基于視覺保真度的立體圖像質(zhì)量客觀評價方法
【專利摘要】本發(fā)明公開了一種基于視覺保真度的立體圖像客觀質(zhì)量評價方法，其在訓(xùn)練階段，選多幅原始的無失真立體圖像構(gòu)成訓(xùn)練圖像集，通過區(qū)域檢測確定無失真立體圖像中的像素點(diǎn)屬于遮擋區(qū)域或匹配區(qū)域，并通過無監(jiān)督學(xué)習(xí)方式對訓(xùn)練圖像集構(gòu)造單目視覺字典表和雙目視覺字典表；在測試階段，對測試立體圖像和其原始的無失真立體圖像，根據(jù)單目視覺字典表和雙目視覺字典表，估計測試立體圖像和對應(yīng)的無失真立體圖像中屬于遮擋區(qū)域和匹配區(qū)域的每個子塊的稀疏系數(shù)矩陣，并通過稀疏系數(shù)矩陣來計算單目圖像質(zhì)量客觀評價預(yù)測值和雙目圖像質(zhì)量客觀評價預(yù)測值，并最終結(jié)合得到圖像質(zhì)量客觀評價預(yù)測值；優(yōu)點(diǎn)是得到的圖像質(zhì)量客觀評價預(yù)測值與主觀評價值的一致性較好。
【專利說明】一種基于視覺保真度的立體圖像質(zhì)量客觀評價方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像質(zhì)量評價方法，尤其是涉及一種基于視覺保真度的立體圖像 質(zhì)量客觀評價方法。

【背景技術(shù)】
[0002] 隨著圖像編碼技術(shù)和立體顯示技術(shù)的迅速發(fā)展，立體圖像技術(shù)受到了越來越廣泛 的關(guān)注與應(yīng)用，已成為當(dāng)前的一個研究熱點(diǎn)。立體圖像技術(shù)利用人眼的雙目視差原理，雙目 各自獨(dú)立地接收來自同一場景的左視點(diǎn)圖像和右視點(diǎn)圖像，通過大腦融合形成雙目視差， 從而欣賞到具有深度感和逼真感的立體圖像。與單通道圖像相比，立體圖像需要同時保證 兩個通道的圖像質(zhì)量，因此對其進(jìn)行質(zhì)量評價具有非常重要的意義。然而，目前對立體圖像 質(zhì)量缺乏有效的客觀評價方法進(jìn)行評價。因此，建立有效的立體圖像質(zhì)量客觀評價模型具 有十分重要的意義。
[0003] 由于影響立體圖像質(zhì)量的因素較多，如左視點(diǎn)和右視點(diǎn)質(zhì)量失真情況、立體感知 情況、觀察者視覺疲勞等，因此如何有效地進(jìn)行立體圖像質(zhì)量評價是亟需解決的難點(diǎn)問題。 目前已有方法是通過機(jī)器學(xué)習(xí)來預(yù)測評價模型，但其計算復(fù)雜度較高，并且訓(xùn)練模型需要 預(yù)知各評價圖像的主觀評價值，并不適用于實(shí)際的應(yīng)用場合，存在一定的局限性。稀疏表示 將信號在已知的函數(shù)集上進(jìn)行分解，力求在變換域上用盡量少的基函數(shù)來對原始信號進(jìn)行 逼近。稀疏表示的一個關(guān)鍵問題就是如何有效地構(gòu)造字典來表征圖像的本質(zhì)特征。目前已 提出的字典構(gòu)造算法包括：1)有學(xué)習(xí)過程的字典構(gòu)造方法：通過機(jī)器學(xué)習(xí)來訓(xùn)練得到字典 信息，如支持向量機(jī)等；2)無學(xué)習(xí)過程的字典構(gòu)造方法：直接利用圖像的特征來構(gòu)造字典， 如多尺度Gabor字典、多尺度高斯字典等。因此，如何進(jìn)行無學(xué)習(xí)過程的字典構(gòu)造，如何根 據(jù)字典來進(jìn)行質(zhì)量估計，如何從字典中提取反映圖像保真度的視覺特征，都是在立體圖像 質(zhì)量評價研究中需要重點(diǎn)解決的技術(shù)問題。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是提供一種基于視覺保真度的立體圖像質(zhì)量客觀評 價方法，其計算復(fù)雜度低，且能夠有效地提高客觀評價結(jié)果與主觀感知之間的相關(guān)性。
[0005] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種基于視覺保真度的立體圖像 質(zhì)量客觀評價方法，其特征在于包括訓(xùn)練階段和測試階段兩個過程，所述的訓(xùn)練階段包括 以下步驟：
[0006] ①-1、選取N幅原始的無失真立體圖像構(gòu)成訓(xùn)練圖像集，記為{Si;OTg| 1彡i彡N}， 其中，N>1，Si;OTg表示{Si;OTg| 1彡i彡N}中的第i幅原始的無失真立體圖像；
[0007] ①-2、利用區(qū)域檢測算法，判定{Si，OTg|1 <i<N}中的每幅原始的無失真立體圖 像的左視點(diǎn)圖像和右視點(diǎn)圖像中的每個像素點(diǎn)屬于遮擋區(qū)域還是屬于匹配區(qū)域；
[0008] ①-3、采用Gabor濾波器，獲取{Si，OTg| 1彡i彡N}中的每幅原始的無失真立體圖 像的左視點(diǎn)圖像和右視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的頻率 響應(yīng)；
[0009] 然后根據(jù){Si，OTg|Ki<N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像中的 每個像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響應(yīng)，獲取{Si，OTg|Ki<N}中的每 幅原始的無失真立體圖像的左視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子 下的振幅；
[0010] 同樣，根據(jù){Si，OTg|1彡i彡N}中的每幅原始的無失真立體圖像的右視點(diǎn)圖像中的 每個像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響應(yīng)，獲取{Si，OTg|Ki<N}中的每 幅原始的無失真立體圖像的右視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子 下的振幅；
[0011] 并且，根據(jù){Si，OTg|l彡i彡N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖 像和右視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響應(yīng)，獲取 {Si，OTg|1<i<N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像中的每個像 素點(diǎn)在不同中心頻率、不同方向因子和不同相位偏移下的振幅；
[0012] ①-4、對{Si，OTg|1<i<N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像和右視 點(diǎn)圖像進(jìn)行非重疊的分子塊處理；
[0013] 然后采用K-SVD方法，對由{Si;OTg|l彡i彡N}中的所有原始的無失真立體圖 像的左視點(diǎn)圖像和右視點(diǎn)圖像中屬于遮擋區(qū)域的所有子塊各自的特征向量構(gòu)成的特 征向量集合進(jìn)行字典訓(xùn)練操作，獲得{Si，OTg|l彡i彡N}的單目視覺字典表，記為Dn。，

【權(quán)利要求】
1. 一種基于視覺保真度的立體圖像質(zhì)量客觀評價方法，其特征在于包括訓(xùn)練階段和測 試階段兩個過程，所述的訓(xùn)練階段包括以下步驟： ①-1、選取N幅原始的無失真立體圖像構(gòu)成訓(xùn)練圖像集，記為以，?！?彡i彡N}，其中，N>1，Si;OTg表示{Si;OTg| 1彡i彡N}中的第i幅原始的無失真立體圖像； ①-2、利用區(qū)域檢測算法，判定{Si，OTg| 1彡i彡N}中的每幅原始的無失真立體圖像的 左視點(diǎn)圖像和右視點(diǎn)圖像中的每個像素點(diǎn)屬于遮擋區(qū)域還是屬于匹配區(qū)域； ①-3、采用Gabor濾波器，獲取中的每幅原始的無失真立體圖像的左 視點(diǎn)圖像和右視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響應(yīng)； 然后根據(jù){Si，OTg|Ki<N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像中的每個 像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響應(yīng)，獲取{Si，OTg|Ki<N}中的每幅原 始的無失真立體圖像的左視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的 振幅； 同樣，根據(jù){Si，OTg|Ki<N}中的每幅原始的無失真立體圖像的右視點(diǎn)圖像中的每個 像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響應(yīng)，獲取{Si，OTg|Ki<N}中的每幅原 始的無失真立體圖像的右視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的 振幅； 并且，根據(jù){Si，OTg|l<i<N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像 和右視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響應(yīng)，獲取 {Si，OTg| 1 <i<N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像中的每個像 素點(diǎn)在不同中心頻率、不同方向因子和不同相位偏移下的振幅； ① -4、對{Si，OTg| 1彡i彡N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖 像進(jìn)行非重疊的分子塊處理； 然后采用K-SVD方法，對由{Si，OTg| 1彡i彡N}中的所有原始的無失真立體圖像 的左視點(diǎn)圖像和右視點(diǎn)圖像中屬于遮擋區(qū)域的所有子塊各自的特征向量構(gòu)成的特征 向量集合進(jìn)行字典訓(xùn)練操作，獲得{Si，OTg|l彡i彡N}的單目視覺字典表，記為Dn。，
，其中，j的初始值為1，K表示設(shè)定的字典的總個數(shù)，1，^表示 Dn。中的第j個視覺字典，屬于遮擋區(qū)域的任一個子塊為該子塊中有屬于遮擋區(qū)域的像素 點(diǎn)，屬于遮擋區(qū)域的任一個子塊的特征向量為該子塊中的所有像素點(diǎn)在所有中心頻率和方 向因子下的振幅按該子塊中的每個像素點(diǎn)的坐標(biāo)位置的先后順序排列構(gòu)成； 同樣，采用K-SVD方法，對由{Si;OTg|l彡i彡N}中的所有原始的無失真立體圖 像的左視點(diǎn)圖像和右視點(diǎn)圖像中屬于匹配區(qū)域的所有子塊各自的特征向量構(gòu)成的特 征向量集合進(jìn)行字典訓(xùn)練操作，獲得{Si，OTg|l<i<N}的雙目視覺字典表，記為Dbf，
，其中，j的初始值為1，K表示設(shè)定的字典的總個數(shù)，K彡1，表示 Dbf中的第j個視覺字典，屬于匹配區(qū)域的任一個子塊為該子塊中沒有屬于遮擋區(qū)域的像素 點(diǎn)，屬于匹配區(qū)域的任一個子塊的特征向量為該子塊中的所有像素點(diǎn)在所有中心頻率、方 向因子和相位偏移下的振幅按該子塊中的每個像素點(diǎn)的坐標(biāo)位置的先后順序排列構(gòu)成； 所述的測試階段包括以下步驟： ② 對于任意一副測試立體圖像Stest，將Stest對應(yīng)的原始的無失真立體圖像記為SOTg ; 按照步驟①-2至步驟①-3的過程，以相同的操作獲取St6st和SOTg各自的左視點(diǎn)圖像和 右視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的振幅，并獲取Stest和SOTg 各自的左視點(diǎn)圖像和右視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率、不同方向因子和不同相 位偏移下的振幅； 將Stest的左視點(diǎn)圖像和右視點(diǎn)圖像中屬于遮擋區(qū)域的所有子塊各自的特征向量構(gòu)成 一個特征向量集合，將SOTg的左視點(diǎn)圖像和右視點(diǎn)圖像中屬于遮擋區(qū)域的所有子塊各自的 特征向量構(gòu)成一個特征向量集合，屬于遮擋區(qū)域的任一個子塊為該子塊中有屬于遮擋區(qū)域 的像素點(diǎn)，屬于遮擋區(qū)域的任一個子塊的特征向量為該子塊中的所有像素點(diǎn)在所有中心頻 率和方向因子下的振幅按該子塊中的每個像素點(diǎn)的坐標(biāo)位置的先后順序排列構(gòu)成；將Stest 的左視點(diǎn)圖像和右視點(diǎn)圖像中屬于匹配區(qū)域的所有子塊的特征向量構(gòu)成一個特征向量集 合，將SOTg的左視點(diǎn)圖像和右視點(diǎn)圖像中屬于匹配區(qū)域的所有子塊的特征向量構(gòu)成一個特 征向量集合，屬于匹配區(qū)域的任一個子塊為該子塊中沒有屬于遮擋區(qū)域的像素點(diǎn)，屬于匹 配區(qū)域的任一個子塊的特征向量為該子塊中的所有像素點(diǎn)在所有中心頻率、方向因子和相 位偏移下的振幅按該子塊中的每個像素點(diǎn)的坐標(biāo)位置的先后順序排列構(gòu)成； 根據(jù)訓(xùn)練階段得到的{Si，OTg|l彡i彡N}的單目視覺字典表Dn。，獲取遮擋區(qū)域相 關(guān)的兩個特征向量集合中的每個特征向量的稀疏系數(shù)矩陣；并根據(jù)訓(xùn)練階段得到的 {Si;OTg 11彡i彡N}的雙目視覺字典表Dbf，獲取匹配區(qū)域相關(guān)的兩個特征向量集合中的每個 特征向量的稀疏系數(shù)矩陣； 根據(jù)遮擋區(qū)域相關(guān)的兩個特征向量集合中位置相對應(yīng)的兩個特征向量各自的稀疏系 數(shù)矩陣，獲取Stest的左視點(diǎn)圖像和右視點(diǎn)圖像中對應(yīng)的子塊的局部客觀評價度量值；并根 據(jù)匹配區(qū)域相關(guān)的兩個特征向量集合中位置相對應(yīng)的兩個特征向量各自的稀疏系數(shù)矩陣， 獲取Stest的左視點(diǎn)圖像和右視點(diǎn)圖像中對應(yīng)的子塊的局部客觀評價度量值； 根據(jù)Stest的左視點(diǎn)圖像和右視點(diǎn)圖像中屬于遮擋區(qū)域的每個子塊的局部客觀評價度 量值和Stest的左視點(diǎn)圖像和右視點(diǎn)圖像中屬于匹配區(qū)域的每個子塊的局部客觀評價度量 值，獲得Stest的圖像質(zhì)量客觀評價預(yù)測值。
2.根據(jù)權(quán)利要求1所述的一種基于視覺保真度的立體圖像質(zhì)量客觀評價方法，其特征 在于所述的步驟①-2中的區(qū)域檢測算法的具體過程為： al、將{Si，OTg| 1 <i<N}中當(dāng)前待處理的第i幅原始的無失真立體圖像Si，OTg定義為 當(dāng)前立體圖像，將當(dāng)前立體圖像31^的左視點(diǎn)圖像定義為當(dāng)前左視點(diǎn)圖像，將當(dāng)前立體圖 像的右視點(diǎn)圖像定義為當(dāng)前右視點(diǎn)圖像，其中，i的初始值為1 ; a2、采用塊匹配法計算當(dāng)前左視點(diǎn)圖像與當(dāng)前右視點(diǎn)圖像之間的視差圖像，記為{(^，。11^，7)}，其中，1；^彡1，1；^彡11，1表示以，。1^|1彡;[彡吣中的原始的無失真立 體圖像的寬度，^1表示以，(^|1彡1彡吣中的原始的無失真立體圖像的高度，(^ (^(1，7)表 示中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素值； a3、根據(jù)y)}中的每個像素點(diǎn)的像素值，判定當(dāng)前左視點(diǎn)圖像中的每個像素點(diǎn) 屬于遮擋區(qū)域還是屬于匹配區(qū)域；對于當(dāng)前左視點(diǎn)圖像中坐標(biāo)位置為（x，y)的像素點(diǎn)，如 果= 255,則判定當(dāng)前左視點(diǎn)圖像中坐標(biāo)位置為（x，y)的像素點(diǎn)屬于遮擋區(qū)域， 如果尹255,則判定當(dāng)前左視點(diǎn)圖像中坐標(biāo)位置為（x，y)的像素點(diǎn)屬于匹配區(qū) 域； a4、在當(dāng)前右視點(diǎn)圖像中，將與當(dāng)前左視點(diǎn)圖像中屬于匹配區(qū)域的每個像素點(diǎn)對應(yīng)的 像素點(diǎn)判定為屬于匹配區(qū)域；然后將當(dāng)前右視點(diǎn)圖像中除屬于匹配區(qū)域外的所有像素點(diǎn)判 定為屬于遮擋區(qū)域； a5、令i=i+1，將{Si;OTg| 1彡i彡N}中下一幅待處理的原始的無失真立體圖像作為當(dāng) 前立體圖像，將當(dāng)前立體圖像的左視點(diǎn)圖像作為當(dāng)前左視點(diǎn)圖像，將當(dāng)前立體圖像的右視 點(diǎn)圖像作為當(dāng)前右視點(diǎn)圖像，然后返回步驟a2繼續(xù)執(zhí)行，直至{Si，OTg| 1 <i<N}中的所有 原始的無失真立體圖像處理完畢為止，其中，i=i+1中的"="為賦值符號。
3.根據(jù)權(quán)利要求1或2所述的一種基于視覺保真度的立體圖像質(zhì)量客觀評價方法，其 特征在于所述的步驟①-3的具體過程為： bl、將{Si,OTg| 1 <i<N}中當(dāng)前待處理的第i幅原始的無失真立體圖像Si,OTg定義為 當(dāng)前立體圖像，將當(dāng)前立體圖像Si,OTg的左視點(diǎn)圖像定義為當(dāng)前左視點(diǎn)圖像，將當(dāng)前立體圖 像的右視點(diǎn)圖像定義為當(dāng)前右視點(diǎn)圖像，其中，i的初始值為1 ; b2、采用Gabor濾波器對當(dāng)前左視點(diǎn)圖像進(jìn)行濾波處理，得到當(dāng)前左視點(diǎn)圖像中的每 個像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響應(yīng)，將當(dāng)前左視點(diǎn)圖像中坐標(biāo)位置為 (x，y)的像素點(diǎn)在中心頻率為《和方向因子為0下的頻率響應(yīng)記為
同樣，采用Gabor濾波器對當(dāng)前右視點(diǎn)圖像進(jìn)行濾波處理，得到當(dāng)前右視點(diǎn)圖像中的 每個像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響應(yīng)，將當(dāng)前右視點(diǎn)圖像中坐標(biāo)位置 為（x，y)的像素點(diǎn)在中心頻率為《和方向因子為0下的頻率響應(yīng)記為
上述，1彡x彡W，1彡y彡H，W表示{Si;OTg| 1彡i彡N}中的原始的無失真立體圖像的 寬度，H表示{Si;OTg| 1彡i彡N}中的原始的無失真立體圖像的高度，《表示所采用的Gabor 濾波器的中心頻率，《eQU，QU表示所采用的Gabor濾波器的中心頻率的集合，0表示 所采用的Gabor濾波器的方向因子，0GQ0，Q0表示所采用的Gabor濾波器的方向因子 的集合； b3、根據(jù)當(dāng)前左視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響 應(yīng)，計算當(dāng)前左視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的振幅，將當(dāng) 前左視點(diǎn)圖像中坐標(biāo)位置為（x，y)的像素點(diǎn)在中心頻率為和方向因子為0下的振幅 記為
》其中，符號"III|2"為求取矩陣的 2-范數(shù)符號； 同樣，根據(jù)當(dāng)前右視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的頻率 響應(yīng)，計算當(dāng)前右視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的振幅，將 當(dāng)前右視點(diǎn)圖像中坐標(biāo)位置為（x，y)的像素點(diǎn)在中心頻率為《和方向因子為0下的振幅 記為
.其中，符號"III|2"為求取矩陣的 2-范數(shù)符號； b4、根據(jù)當(dāng)前左視點(diǎn)圖像和當(dāng)前右視點(diǎn)圖像中的每個像素點(diǎn)在不同中心頻 率和不同方向因子下的頻率響應(yīng)，計算當(dāng)前左視點(diǎn)圖像和當(dāng)前右視點(diǎn)圖像中的每 個像素點(diǎn)在不同中心頻率、不同方向因子和不同相位偏移下的振幅，將當(dāng)前左視 點(diǎn)圖像和當(dāng)前右視點(diǎn)圖像各自中坐標(biāo)位置為（X，y)的像素點(diǎn)在中心頻率為《、 方向因子為Q和相位偏移為AV下的振幅記為
，
，其中，AVGQAvQAv 表 示所采用的Gabor濾波器的相位偏移的集合，符號" | | | |2"為求取矩陣的2-范數(shù)符號，e表 示自然基數(shù)，j為虛數(shù)單位； b5、令i=i+1，將{Si;OTg| 1彡i彡N}中下一幅待處理的原始的無失真立體圖像作為當(dāng) 前立體圖像，將當(dāng)前立體圖像的左視點(diǎn)圖像作為當(dāng)前左視點(diǎn)圖像，將當(dāng)前立體圖像的右視 點(diǎn)圖像作為當(dāng)前右視點(diǎn)圖像，然后返回步驟b2繼續(xù)執(zhí)行，直至{Si，OTg| 1 <i<N}中的所有 原始的無失真立體圖像處理完畢為止，其中，i=i+1中的"="為賦值符號。
4.根據(jù)權(quán)利要求3所述的一種基于視覺保真度的立體圖像質(zhì)量客觀評價方法，其特征 在于所述的步驟①-4的具體過程為： cl、將{Si，OTg|Ki<N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像 分別劃分成
個尺寸大小為8X8的互不重疊的子塊，其中，W表示{Si，OTg| 1 <i<N} 中的原始的無失真立體圖像的寬度，H表示{Si，OTg|Ki<N}中的原始的無失真立體圖像 的高度； c2、確定{Si;OTg| 1 <i<N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖 像中屬于遮擋區(qū)域的所有子塊，對于的左視點(diǎn)圖像和右視點(diǎn)圖像中的任一個子塊，如 果該子塊中有屬于遮擋區(qū)域的像素點(diǎn)，則確定該子塊屬于遮擋區(qū)域； 并將{Si，OTg| 1 <i<N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像 中除屬于遮擋區(qū)域的子塊外的所有子塊確定為屬于匹配區(qū)域； c3、獲取{Si，OTg|Ki<N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖 像中屬于遮擋區(qū)域的每個子塊的特征向量，對于3_8的左視點(diǎn)圖像和右視點(diǎn)圖像中屬于遮 擋區(qū)域的任一個子塊，該子塊的特征向量為該子塊中的所有像素點(diǎn)在所有中心頻率和方向 因子下的振幅按該子塊中的每個像素點(diǎn)的坐標(biāo)位置的先后順序排列構(gòu)成； 并獲取{Si，OTg| 1 <i<N}中的每幅原始的無失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖 像中屬于匹配區(qū)域的每個子塊的特征向量，對于左視點(diǎn)圖像和右視點(diǎn)圖像中屬于匹 配區(qū)域的任一個子塊，該子塊的特征向量為該子塊中的所有像素點(diǎn)在所有中心頻率、方向 因子和相位偏移下的振幅按該子塊中的每個像素點(diǎn)的坐標(biāo)位置的先后順序排列構(gòu)成； c4、將{Si，OTg| 1彡i彡N}中的所有原始的無失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像 中屬于遮擋區(qū)域的所有子塊各自的特征向量構(gòu)成一個特征向量集合，記為{yt 11 <t<MJ， 其中，yt為{yt|l彡t彡MJ中的第t個特征向量，yt的維數(shù)為64XNuXNe，Nu表示 Gabor濾波器的中心頻率的總個數(shù)，Ne表示Gabor濾波器的方向因子的總個數(shù)，Mi表示 {Si，OTg| 1 <i<N}中的所有原始的無失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像中屬于遮擋 區(qū)域的子塊的總個數(shù)，
并將以，。」1彡i彡N}中的所有原始的無失真立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像中 屬于匹配區(qū)域的所有子塊的特征向量構(gòu)成一個特征向量集合，記為{zt| 1 <t<M2}，其中， zt為{zt 11彡t彡M2}中的第t個特征向量，zt的維數(shù)為64XNUXNeXNAV，NU表示Gabor 濾波器的中心頻率的總個數(shù)，Ne表示Gabor濾波器的方向因子的總個數(shù)，NAV表示Gabor濾波器的相位偏移的總個數(shù)，M2表示{Si，OTg|Ki<N}中的所有原始的無失真立體圖像的 左視點(diǎn)圖像和右視點(diǎn)圖像中屬于匹配區(qū)域的子塊的總個數(shù)，
c5、采用K-SVD方法對{yt 11彡t彡MJ進(jìn)行字典訓(xùn)練操作，獲得{yt 11彡t彡MJ的 視覺字典表，并將{yt|l彡t彡MJ的視覺字典表作為{Si，OTg|l彡i彡N}的單目視覺字 典表，記為Dn。，
，Dn。通過K-SVD方法求解
得到，
?的約束條件為：W，||x,|彳r,其中，Dn。的維數(shù)為（64XNuXNe)XK，K表示設(shè)定的字典的總個數(shù)，K彡1，表示Dn。中的第j個字典，min()為取最小值函數(shù)，符號 "III|2"為求取矩陣的2-范數(shù)符號，
，Yn。的維數(shù)為（eAXtXNjXMi， y:表示{ytl1彡t彡MJ中的第1個特征向量，yt表示{yt| 1彡t彡MJ中的第t個特征向 量，yMi表示{yt| 中的第Mi個特征向量,Xn。表示稀疏矩陣，
xn。的維數(shù)為KXMpXl表示Xn。中的第1列，xt表示Xn。中的第t列，表示Xn。中的第札 列，符號"[]"為矢量表示符號，V/表示存在一個t，符號" | | | | /為求取矩陣的0-范數(shù)符 號，T為誤差系數(shù)； 并采用K-SVD方法對{zt 11彡t彡M2}進(jìn)行字典訓(xùn)練操作，獲得{zt 11彡t彡M2}的 視覺字典表，并將{zt|l彡t彡M2}的視覺字典表作為以，?！?彡i彡N}的雙目視覺 字典表，記為Dbf，
，Dbf通過K-SVD方法求解
得到，
的約束條件為：
，其中，Dbf的維數(shù)為 (64XNUXNeXNAv)XK，K表示設(shè)定的字典的總個數(shù)，K彡1,私表示Dbf中的第j個字典， min()為取最小值函數(shù)，符號"| | | |2"為求取矩陣的2-范數(shù)符號，
冗^的維數(shù)為（64XNuXNeXNAv)XM2,?為{zt|l彡t彡MJ中的第1個特征向量，\為 {zt|l<t<M2}中的第t個特征向量，、為{zt|l<t<M2}中的第M2個特征向量，F(xiàn)m 表示稀疏矩陣，
，F(xiàn)bf的維數(shù)為KXM2, 表示Fbf中的第1列，ft表示Fbf 中的第t列，表不Fbf中的第M2列，符號" □"為矢量表不符號，V/表不存在一個t，符號"III1/為求取矩陣的0-范數(shù)符號，t為誤差系數(shù)。
5. 根據(jù)權(quán)利要求4所述的一種基于視覺保真度的立體圖像質(zhì)量客觀評價方法，其特征 在于所述的步驟c5中取T= 〇. 1。
6. 根據(jù)權(quán)利要求4所述的一種基于視覺保真度的立體圖像質(zhì)量客觀評價方法，其特征 在于所述的步驟②的具體過程為： ②-1、將St6st的左視點(diǎn)圖像記為Lt6St，將St6st的右視點(diǎn)圖像記為Rt6St，將St6st對應(yīng)的原 始的無失真立體圖像記為SOTg，將SOTg的左視點(diǎn)圖像記為LOTg，將SOTg的右視點(diǎn)圖像記為ROTg ; ②-2、按照步驟①_2的過程，以相同的操作判定Ltest和Rtest中的每個像素點(diǎn)屬于遮擋 區(qū)域還是屬于匹配區(qū)域，并判定LOTg和ROTg中的每個像素點(diǎn)屬于遮擋區(qū)域還是屬于匹配區(qū) 域； ②-3、按照步驟①_3的過程，以相同的操作獲取Ltest中的每個像素點(diǎn)在不同中心頻 率和不同方向因子下的振幅、Rtest中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的振 幅、Ltest和Rtest中的每個像素點(diǎn)在不同中心頻率、不同方向因子和不同相位偏移下的振幅， 并獲取LOTg中的每個像素點(diǎn)在不同中心頻率和不同方向因子下的振幅、ROTg中的每個像素點(diǎn) 在不同中心頻率和不同方向因子下的振幅、LOTg和ROTg中的每個像素點(diǎn)在不同中心頻率、不 同方向因子和不同相位偏移下的振幅； ②-4、對Lt6St和Rt6St及LOTg和ROTg分別進(jìn)行非重疊的分子塊處理； 然后確定Lt6St和Rt6St及LOTg和ROTg中屬于遮擋區(qū)域的所有子塊，對于Lt6St和Rt6St及LOTg 和R"g中的任一個子塊，如果該子塊中有屬于遮擋區(qū)域的像素點(diǎn)，則確定該子塊屬于遮擋區(qū) 域；并將Lt6St和Rt6St及LOTg和ROTg中除屬于遮擋區(qū)域的子塊外的所有子塊確定為屬于匹配 區(qū)域； 接著獲取Ltest和Rtest及LOTg和ROTg中屬于遮擋區(qū)域的每個子塊的特征向量，對于Ltest 和Rtest及LOTg和ROTg中屬于遮擋區(qū)域的任一個子塊，該子塊的特征向量為該子塊中的所有 像素點(diǎn)在所有中心頻率和方向因子下的振幅按該子塊中的每個像素點(diǎn)的坐標(biāo)位置的先后 順序排列構(gòu)成；并獲取Ltest和Rtest及LOTg和ROTg中屬于匹配區(qū)域的每個子塊的特征向量，對 于Lt6St和Rt6St及LOTg和ROTg中屬于匹配區(qū)域的任一個子塊，該子塊的特征向量為該子塊中 的所有像素點(diǎn)在所有中心頻率、方向因子和相位偏移下的振幅按該子塊中的每個像素點(diǎn)的 坐標(biāo)位置的先后順序排列構(gòu)成； 之后將Ltest和Rtost中屬于遮擋區(qū)域的所有子塊各自的特征向量構(gòu)成一個特征向量集 合，記為{yt，，t6St|l彡t'SM/},并將Ltost和Rtost中屬于匹配區(qū)域的所有子塊的特征向量構(gòu) 成一個特征向量集合，記為{zt，，test| 1彡t'彡M2'}，其中，yt，，test為{yt，，test| 1彡t'彡M/} 中的第t'個特征向量，yt，，test的維數(shù)為64XNuXNe，在此M/表示Ltest和Rtest中屬于遮擋 區(qū)域的子塊的總個數(shù)，zt，，test為Izt，，test| 1彡t'彡M2' }中的第t'個特征向量，zt，，test的維 數(shù)為64XNUXNeXNAv，在此M2'表示Lt6St和Rt6St中屬于匹配區(qū)域的子塊的總個數(shù)，Nu表 示Gabor濾波器的中心頻率的總個數(shù)，Ne表示Gabor濾波器的方向因子的總個數(shù)，NAv表 示Gabor濾波器的相位偏移的總個數(shù)； 同樣，將LOTg和ROTg中屬于遮擋區(qū)域的所有子塊各自的特征向量構(gòu)成一個特征向量集 合，記為{yt，，"g| 1彡t'彡M/}，并將LOTg和ROTg中屬于匹配區(qū)域的所有子塊的特征向量構(gòu) 成一個特征向量集合，記為{zt，，OTg|l彡t's^M2'}，其中，yt，，OTg為{yt，，OTg|l；^t' 中 的第t'個特征向量，7^_的維數(shù)為64XNuXNe，在此％'表示LOTg和ROTg中屬于遮擋區(qū) 域的子塊的總個數(shù)，\，，"8為Izt，，"g|l彡t' <M2'}中的第t'個特征向量，zt，，OTg的維數(shù)為 64XNu XNe XNAv，在此M2'表示LOTg和ROTg中屬于匹配區(qū)域的子塊的總個數(shù)，Nu表示Gabor 濾波器的中心頻率的總個數(shù)，Ne表示Gabor濾波器的方向因子的總個數(shù)，NAV表示Gabor 濾波器的相位偏移的總個數(shù)； ②-5、根據(jù)訓(xùn)練階段得到的隊(duì)?！?彡i彡N}的單目視覺字典表Dn。，獲取 {yt，，test|l彡t'彡M/}中的每個特征向量的稀疏系數(shù)矩陣和{yt，，OTg|l彡t'彡M/}中的每 個特征向量的稀疏系數(shù)矩陣，將yt>st的稀疏系數(shù)矩陣記為xt>st，xt>st= (DncT 將yt，，《g的稀疏系數(shù)矩陣記為xt，，OTg，xt，，OTg = (Dj-1 ?yt，，OTg，其中，（DJ-1為Dn。的逆矩陣； 根據(jù)訓(xùn)練階段得到的{Si，OTg| 1彡i彡N}的雙目視覺字典表Dbf，獲取 {zt，，test|l彡t' <M2'}中的每個特征向量的稀疏系數(shù)矩陣和{zt，，OTg|l彡t' <M2'}中的每 個特征向量的稀疏系數(shù)矩陣，將zt，，test的稀疏系數(shù)矩陣記為 將zt，，"g的稀疏系數(shù)矩陣記為ft，，OTg，ft，，"g = (Dj^r1 ?zt，，OTg，其中，（Dj^r1為Dbf的逆矩陣； ②-6、計算Ltest和Rtest中屬于遮擋區(qū)域的每個子塊的局部客觀評價度量值，將Ltest 和Rtost中屬于遮擋區(qū)域的所有子塊中的第t'個子塊的局部客觀評價度量值記為qt，^st，
,其中，（xt>st)T為xt>st的轉(zhuǎn)置矩陣，符號"III|2"為求取矩陣 的2-范數(shù)符號，C為控制參數(shù)； 并計算Ltest和Rtest中屬于匹配區(qū)域的每個子塊的局部客觀評價度量值，將Lt6St和Rt6St中屬于匹配區(qū)域的第t'個子塊的局部客觀評價度量值記為pt，，t6St，
,其中，（ft>st)T為ft>st的轉(zhuǎn)置矩陣，符號"III|2"為求取矩陣 的2-范數(shù)符號，C為控制參數(shù)； ②-7、計算Stest的單目圖像質(zhì)量客觀評價預(yù)測值，記為Qn。，
；并計算 Stost的雙目圖像質(zhì)量客觀評價預(yù)測值，記為Qbf，
②-8、計算Stest的圖像質(zhì)量客觀評價預(yù)測值，記為Q，Q=wMXQnc;+(l-wn。）XQbf，其中，wn。為Qn。的權(quán)值比重。
7. 根據(jù)權(quán)利要求6所述的一種基于視覺保真度的立體圖像質(zhì)量客觀評價方法，其特征 在于所述的步驟②-6中取C= 0. 02。
8. 根據(jù)權(quán)利要求7所述的一種基于視覺保真度的立體圖像質(zhì)量客觀評價方法，其特征 在于所述的步驟②-8中取wn。= 0. 2。
【文檔編號】G06T7/00GK104408716SQ201410679301
【公開日】2015年3月11日 申請日期:2014年11月24日 優(yōu)先權(quán)日:2014年11月24日
【發(fā)明者】邵楓, 李柯蒙, 李福翠 申請人:寧波大學(xué)