基于立體視覺注意力機制和結構相似度的3d繪制圖像的客觀質量評價方法
【專利摘要】本發(fā)明“基于立體視覺注意力機制和結構相似度的3D繪制圖像的客觀質量評價方法”涉及圖像質量評價【技術領域】。通過SIFT（Scale-invariantfeaturetransform）模型匹配原始參考圖像和3D繪制圖像的位置關系，使用SSIM模型來測量具體的壓縮失真、傳輸失真、繪制失真等多種失真。通過計算繪制圖像的3D顯著圖來反映人眼視覺系統(tǒng)的立體視覺注意機制，計算每個SIFT匹配窗口的顯著度平均值作為顯著度因子，并將其作為每個窗口的權重對所有的SSIM值加權取和得到最終的評價質量結果。結果表明，本發(fā)明所提出的客觀質量評價方法與主觀感受具有很高的相關性。
【專利說明】基于立體視覺注意力機制和結構相似度的3D繪制圖像的 客觀質量評價方法

【技術領域】
[0001] 本發(fā)明涉及圖像質量評價【技術領域】。 技術背景
[0002] 圖像質量評價方法可以大致分為兩類：第一類為主觀質量評價方法，目前已經(jīng)制 定了許多標準，如文獻 1 (參見 International Telecommunication Union (ITU) Radio communication Sector: 'Methodology for the subjective assessment of the quality of television pictures'，ITU-R BT. 500-11，January 2002)。這些標準要求沒有先驗 經(jīng)驗的普通觀察者，在標準的環(huán)境下，觀察待評價的圖像(有的情況下還有原始圖像作為參 考)然后對這些圖像的質量進行打分。但是由于主觀質量評價方法需要嚴格的測試環(huán)境，數(shù) 量可觀的觀察者，耗時耗力，因此無法實時應用，常作為實驗室中研究所用。
[0003] 第二類為客觀質量評價方法，這類模型使用算法代替人作為評判質量標準。國際 電信聯(lián)盟所屬的視頻質量專家組（Video Quality Experts Group, VQEG)提出了 3種類型 的視頻質量測試方法，即全參考、部分參考和無參考數(shù)據(jù)的視頻質量度量。全參考方法提供 所有的原始視頻以供參考，通過對比失真視頻和原始視頻得到失真視頻的質量。部分參考 評價方法只需用部分視頻原始序列信息，通過比對視頻的特征來判斷視頻的質量。無參考 評價方法中，沒有參考視頻可以提供，通過分析待測視頻的數(shù)據(jù)來判斷數(shù)據(jù)的質量，難于實 現(xiàn)，因此研究成果較少。
[0004] 目前，大多數(shù)的圖像質量評價研究集中于全參考和部分參考評價方法。例如文 獻 2(參見 Z. Wang, A.C. Bovik, H.R. Sheikh and E. Simoncelli, "IQA: From error visibility to structural similarity"， IEEE Trans. Image Process, vol. 13, no. 4，pp. 600-612, Apr. 2004.)中，提出了結構相似度（Structural Similarity , SSIM ) 模型，從整體上模擬人眼視覺系統(tǒng)中的結構相似度理論，用對結構信息的度量作為圖像感 知質量的近似，能夠有效地對2D圖像進行感知質量評價。文獻3(C. Τ· E. R. Hewage，S. T. fforrall, S. Dogan, et al, "Quality evaluation of color plus depth map-based stereoscopic video"， IEEE Journal of Selected Topics in Signal Processing, 2009，3 (2) : 304-318.)基于SSM模型對彩色視頻加深度視頻表示的立體視頻的左、右視 點視頻的質量進行評價。該方法是基于繪制的虛擬視點視頻存在原始參考視頻為前提進行 質量評價模型設計的。在實際應用中，虛擬視點的原始參考視頻往往不存在，該模型無法應 用。
[0005] 近年來隨著視覺注意力機制研究的發(fā)展，學者們提出多種視覺注意檢測模型，如： 文獻 4 (L. Itti, C. Koch, E. Niebur, et al. , "A model of saliency-based visual attention for rapid scene analysis，，'· IEEE Trans, on Pattern Analysis and 供《ce, vol.20, no.ll，pp. 1254 - 1259，1998.)的 ITTI 模型，文獻 5 (X. Hou, L. Zhang, "Saliency detection: A spectral residual approach^ IEEE Conference on Computer Vision and Pattern Recognition, 2007. CVPR' 07, 2007: 1_8)的譜殘差模型，文獻 6 (J. Harel, C. Koch, P. Perona, "Graph-based visual saliency"， Advances in neural information processing systems. 2006: 545-552)的 GBVS (Graph-based visual saliency)模型。由于視覺注意是圖像質量評價的一個重要 影響因素，已開始有學者將視覺注意力機制加入到質量評價的過程中，例如文獻7(張艷， 安平，張秋聞，張兆楊，視覺關注度的立體圖像質量評價[J].中國圖象圖形學報，2012， 17(006) : 722-725)基于ITTI模型分別對立體圖像兩路圖像的紋理圖和深度圖檢測提取 感興趣區(qū)域，并依此進行左右兩路圖像加權的質量評價，并將兩路圖像質量評價結果的平 均值作為立體圖像的最終評價結果。該方法同樣是以立體圖像的兩路圖像均存在原始參考 圖像為前提的。
[0006] 由于現(xiàn)在的很多3D攝像頭通常只采集一個視角的彩色圖像和其對應的深度 圖像，立體圖像合成所需要的另一個視角圖像往往是采用DIBR (Depth image based rendering)技術繪制生成。在這種情況下對3D繪制圖像進行質量評價沒有原始的繪制視 角圖像可供參考，可供參考的3D攝像頭采集到的原始彩色圖像和3D繪制圖像并不是一個 視角，兩者存在一定的視差。這種情況導致傳統(tǒng)3D繪制圖像質量評價方法不起作用。因此 有必要針對3D繪制圖像設計新的客觀質量評價方案。


【發(fā)明內容】

[0007] 本發(fā)明結合立體視覺注意力機制提出了一個新的3D繪制圖像的客觀質量評價方 法，通過SIFT (Scale-invariant feature transform)模型匹配原始參考圖像和3D繪制 圖像的位置關系，使用SSIM模型來測量具體的壓縮失真、傳輸失真、繪制失真等多種失真。 通過計算繪制圖像的3D顯著圖來反映人眼視覺系統(tǒng)的立體視覺注意機制，計算每個SIFT 匹配窗口的顯著度平均值作為顯著度因子，并將其作為每個窗口的權重對所有的SSM值 加權取和得到最終的評價質量結果。
[0008] 為此，本發(fā)明給出技術方案實施步驟為： 一種基于立體視覺注意力機制的3D繪制圖像客觀質量評價方法，采用如下技術方案， 包括以下步驟： 步驟S1 :將原始彩色圖像、原始深度圖像繪制為供參考的參考虛擬視點圖像。
[0009] 步驟S2 :原始彩色圖像和參考虛擬視點圖像中分別提取SIFT點。
[0010] 步驟S3 :利用步驟S2得到的SIFT點的特征值，建立SIFT點之間的匹配關系，形 成匹配點對。為了減小誤差，進行了異常點去除工作。
[0011] 步驟S4 :利用立體視覺注意模型對原始彩色圖像和深度圖像進行顯著性檢測，得 到立體圖像的顯著圖。
[0012] 步驟S5 :以步驟S3得到的SIFT匹配點對的像素位置為中心，分別在原始彩色圖 像和待測的3D繪制圖像中取窗口。有重疊像素窗口只保留一個，避免重復計算。
[0013] 步驟S6 :在步驟S5得到的匹配窗口中進行SSM計算，衡量窗口中的各種失真。
[0014] 步驟S7 :步驟S5得到的匹配窗口對的權重值，即為這個窗口對中SS頂值的權重， 定義為在原始彩色圖像中所取窗口在步驟S4所得的立體顯著圖上的顯著值的平均值再除 以所有權重值的平均。
[0015] 步驟S8 :對步驟S6得到的所有SS頂值進行帶權重的平均。
[0016] 上述技術方案體現(xiàn)出的關鍵技術要點： 1、許多實際的3D繪制圖像中，待測的3D繪制圖像和原始彩色圖像一般存在微小的位 移，這使得傳統(tǒng)的客觀質量評價方法不起效用。本發(fā)明提出了使用SIFT模型來建立原始彩 色圖像和3D繪制圖像的匹配關系。每一對SIFT點，都標志這兩個像素在實際場景中處于 同一位置。
[0017] 2、本發(fā)明在進行客觀質量評價的過程中考慮了人眼視覺系統(tǒng)的立體視覺注意機 制。通過計算繪制圖像的3D顯著圖，使用每個窗口的顯著度平均值作為顯著度因子，將最 終的顯著度因子作為每個SSIM值的權重。這種方法可以有效地反映人眼視覺系統(tǒng)的立體 注意力機制，從而使得最終的客觀質量評價結果和人眼視覺系統(tǒng)的感知結果更加匹配。
[0018] 本發(fā)明方法的有益效果為：使用SIFT模型建立原始彩色圖像和3D繪制圖像的匹 配關系，避免了傳統(tǒng)客觀質量評價方法不起效用的情況。同時，本發(fā)明還考慮了立體視覺注 意機制，使客觀評價質量和人眼視覺系統(tǒng)更加匹配。結果表明，本發(fā)明所提出的客觀質量評 價方法與主觀感受具有很高的相關性。

【專利附圖】

【附圖說明】
[0019] 圖1是本發(fā)明基于立體視覺注意力機制和結構相似度的3D繪制圖像的客觀質量 評價方法框圖。
[0020] 圖2是本發(fā)明實例Midd的原始彩色圖像。
[0021] 圖3是本發(fā)明實例Midd的原始深度圖像。
[0022] 圖4是本發(fā)明實例Midd的待評價的3D繪制圖像。
[0023] 圖5是本發(fā)明實例Midd的立體顯著圖結果。

【具體實施方式】
[0024] 下面以具體實例結合附圖對本發(fā)明作進一步說明： 本發(fā)明提供的實例采用MATLAB R2010a作為仿真實驗平臺，以1396X 1110的bmp灰度 圖像Midd作為選定的測試圖像，下面結合每個步驟詳細描述本實例： 步驟（1)，選定大小1396X1110, bmp格式的原始彩色和原始深度圖像作為輸入圖像， 將其繪制為供參考的參考虛擬視點圖像。
[0025] 步驟（2)，原始彩色圖像和參考虛擬視點圖像中分別提取SIFT點： 步驟（3)，利用步驟（2)得到的SIFT點的特征值，建立SIFT點之間的匹配關系，形成匹 配點對。為了減小誤差，進行了異常點去除工作。當滿足下式時，即認定此點對為異常點：

【權利要求】
1. 一種基于立體視覺注意力機制的3D繪制圖像客觀質量評價方法，其特征在于，包括 以下步驟： 步驟S1 :將原始彩色圖像、原始深度圖像繪制為供參考的參考虛擬視點圖像； 步驟S2 :原始彩色圖像和參考虛擬視點圖像中分別提取SIFT點； 步驟S3 :利用步驟S2得到的SIFT點的特征值，建立SIFT點之間的匹配關系，形成匹 配點對，為了減小誤差，進行了異常點去除工作； 步驟S4 :利用立體視覺注意模型對原始彩色圖像和深度圖像進行顯著性檢測，得到立 體圖像的顯著圖； 步驟S5 :以步驟S3得到的SIFT匹配點對的像素位置為中心，分別在原始彩色圖像和 待測的3D繪制圖像中取窗口，有重疊像素窗口只保留一個，避免重復計算； 步驟S6 :在步驟S5得到的匹配窗口中進行SSM計算，衡量窗口中的各種失真； 步驟S7 :步驟S5得到的匹配窗口對的權重值，即為這個窗口對中SSM值的權重，定義 為在原始彩色圖像中所取窗口在步驟S4所得的立體顯著圖上的顯著值的平均值再除以所 有權重值的平均； 步驟S8 :對步驟S6得到的所有SSM值進行帶權重的平均。
【文檔編號】H04N13/00GK104243970SQ201310565886
【公開日】2014年12月24日 申請日期:2013年11月14日 優(yōu)先權日:2013年11月14日
【發(fā)明者】張冬冬, 黃佳禾, 臧笛, 劉典, 陳艷毓 申請人:同濟大學