本發(fā)明涉及一種圖像質量評價方法，尤其是涉及一種基于多尺度字典的立體圖像視覺舒適度評價方法。
背景技術：
：：隨著立體視頻顯示技術和高質量立體視頻內容獲取技術的快速發(fā)展，立體視頻的視覺體驗質量(QoE，qualityofexperience)是立體視頻系統(tǒng)設計中的一個重要問題，而視覺舒適度(VC，visualcomfort)是影響立體視頻的視覺體驗質量的重要因素。目前，對立體視頻/圖像的質量評價研究主要考慮內容失真對于圖像質量的影響，而很少考慮視覺舒適度等因素的影響。因此，為了提高觀看者的視覺體驗質量，研究立體視頻/圖像的視覺舒適度客觀評價模型對指導3D內容的制作和后期處理具有十分重要的作用。傳統(tǒng)的立體圖像視覺舒適度評價方法主要是基于機器學習的方法，其需要大量的樣本數(shù)據(jù)在立體圖像視覺舒適度特征和主觀評價值之間建立回歸模型，然而由于主觀評價值的獲取需要通過復雜的主觀實驗，因此非常耗時，并不適合實際的圖像處理應用?？紤]到人們在進行主觀實驗時通常采用多等級打分制對立體圖像的視覺舒適度進行評價這一事實，如何在客觀評價過程中有效地將評價結果映射到不同的舒適度等級，使得客觀評價結果更加符合人類視覺主觀評價，是在對立體圖像進行客觀視覺舒適度評價過程中需要研究解決的問題。技術實現(xiàn)要素：本發(fā)明所要解決的技術問題是提供一種基于多尺度字典的立體圖像視覺舒適度評價方法，其能夠有效地提高客觀評價結果與主觀感知之間的相關性。本發(fā)明解決上述技術問題所采用的技術方案為：一種基于多尺度字典的立體圖像視覺舒適度評價方法，其特征在于包括訓練階段和測試階段兩個過程；在訓練階段中，選取五個不同舒適度等級的多幅立體圖像，構成初始訓練圖像集；然后通過獲取初始訓練圖像集中的每幅立體圖像的視差統(tǒng)計特征矢量和神經(jīng)響應特征矢量，得到初始訓練圖像集中的每幅立體圖像的用于反映視覺舒適度的特征矢量；接著根據(jù)初始訓練圖像集中的所有立體圖像的用于反映視覺舒適度的特征矢量構造多尺度字典，并確定多尺度字典對應的多尺度質量表；在測試階段中，對于任意一幅測試立體圖像，以相同的方式獲得測試立體圖像的用于反映視覺舒適度的特征矢量；然后根據(jù)在訓練階段構造的多尺度字典，計算測試立體圖像的用于反映視覺舒適度的特征矢量的稀疏系數(shù)矩陣，進而確定測試立體圖像的用于反映視覺舒適度的特征矢量對應于多尺度字典的不同舒適度等級的稀疏系數(shù)矩陣；接著根據(jù)在訓練階段確定的多尺度質量表和對應于多尺度字典的不同舒適度等級的稀疏系數(shù)矩陣，計算測試立體圖像對應于不同舒適度等級的舒適度評價預測值；最后結合測試立體圖像對應于不同舒適度等級的舒適度評價預測值，獲得測試立體圖像的視覺舒適度客觀評價預測值。所述的訓練階段具體包括以下步驟：①_1、選取五個不同舒適度等級各幅寬度為W且高度為H的立體圖像，將選取的共M幅立體圖像構成初始訓練圖像集，記為{Si|1≤i≤M}，其中，M>5且M為5的整數(shù)倍，Si表示{Si|1≤i≤M}中的第i幅立體圖像；①_2、獲取{Si|1≤i≤M}中的每幅立體圖像的視差統(tǒng)計特征矢量，將Si的視差統(tǒng)計特征矢量記為其中，的維數(shù)為1×5，此處符號“[]”為矢量表示符號，fi1、fi2、fi3、fi4和fi5對應表示Si的左視點圖像與右視點圖像之間的視差圖像{di(x,y)}的平均最大視差、平均最小視差、視差對比度、視差散度和視差偏度，di(x,y)表示{di(x,y)}中坐標位置為(x,y)的像素點的像素值，1≤x≤W，1≤y≤H；①_3、獲取{Si|1≤i≤M}中的每幅立體圖像的神經(jīng)響應特征矢量，將Si的神經(jīng)響應特征矢量記為其中，的維數(shù)為1×13，此處符號“[]”為矢量表示符號，1≤j≤13，ri1,ri2,…,rij,…,ri13對應為中的第1個元素、第2個元素、…、第j個元素、…、第13個元素，符號“||”為取絕對值符號，表示Si中的第j個神經(jīng)元在所有視差區(qū)間的響應構成的向量經(jīng)最大池化后得到的特征矢量；①_4、將{Si|1≤i≤M}中的每幅立體圖像的視差統(tǒng)計特征矢量和神經(jīng)響應特征矢量組合成一個新的矢量作為對應的立體圖像的用于反映視覺舒適度的特征矢量，將Si的用于反映視覺舒適度的特征矢量記為Di，其中，Di的維數(shù)為1×18，此處符號“[]”為矢量表示符號，表示將和連接起來形成一個新的矢量；①_5、根據(jù){Si|1≤i≤M}中的所有立體圖像的用于反映視覺舒適度的特征矢量構造多尺度字典，記為D，并確定D對應的多尺度質量表，記為q，其中，D1,1表示{Si|1≤i≤M}中屬于第1個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{Si|1≤i≤M}中屬于第1個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D2,1表示{Si|1≤i≤M}中屬于第2個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{Si|1≤i≤M}中屬于第2個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D3,1表示{Si|1≤i≤M}中屬于第3個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{Si|1≤i≤M}中屬于第3個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D4,1表示{Si|1≤i≤M}中屬于第4個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{Si|1≤i≤M}中屬于第4個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D5,1表示{Si|1≤i≤M}中屬于第5個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{Si|1≤i≤M}中屬于第5個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，q1,1表示{Si|1≤i≤M}中屬于第1個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{Si|1≤i≤M}中屬于第1個舒適度等級的第幅立體圖像的平均主觀評分均值，q2,1表示{Si|1≤i≤M}中屬于第2個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{Si|1≤i≤M}中屬于第2個舒適度等級的第幅立體圖像的平均主觀評分均值，q3,1表示{Si|1≤i≤M}中屬于第3個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{Si|1≤i≤M}中屬于第3個舒適度等級的第幅立體圖像的平均主觀評分均值，q4,1表示{Si|1≤i≤M}中屬于第4個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{Si|1≤i≤M}中屬于第4個舒適度等級的第幅立體圖像的平均主觀評分均值，q5,1表示{Si|1≤i≤M}中屬于第5個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{Si|1≤i≤M}中屬于第5個舒適度等級的第幅立體圖像的平均主觀評分均值；所述的測試階段具體包括以下步驟：②_1、對于任意一幅測試立體圖像Stest，按照步驟①_2至步驟①_4的過程，以相同的操作獲取Stest的用于反映視覺舒適度的特征矢量，記為Gt，其中，Gt的維數(shù)為1×18；②_2、根據(jù)在訓練階段構造的多尺度字典D，計算Gt的稀疏系數(shù)矩陣，記為是通過求解得到的，其中，α1,1表示Gt對應于多尺度字典D的第1個舒適度等級的第1幅立體圖像的稀疏系數(shù)，表示Gt對應于多尺度字典D的第1個舒適度等級的第幅立體圖像的稀疏系數(shù)，α2,1表示Gt對應于多尺度字典D的第2個舒適度等級的第1幅立體圖像的稀疏系數(shù)，表示Gt對應于多尺度字典D的第2個舒適度等級的第幅立體圖像的稀疏系數(shù)，α3,1表示Gt對應于多尺度字典D的第3個舒適度等級的第1幅立體圖像的稀疏系數(shù)，表示Gt對應于多尺度字典D的第3個舒適度等級的第幅立體圖像的稀疏系數(shù)，α4,1表示Gt對應于多尺度字典D的第4個舒適度等級的第1幅立體圖像的稀疏系數(shù)，表示Gt對應于多尺度字典D的第4個舒適度等級的第幅立體圖像的稀疏系數(shù)，α5,1表示Gt對應于多尺度字典D的第5個舒適度等級的第1幅立體圖像的稀疏系數(shù)，表示Gt對應于多尺度字典D的第5個舒適度等級的第幅立體圖像的稀疏系數(shù)，符號“||||2”為求取矩陣的2-范數(shù)符號，ε為誤差閾值，min{}為取最小值函數(shù)；②_3、根據(jù)確定Gt對應于多尺度字典D的不同舒適度等級的稀疏系數(shù)矩陣，將Gt對應于多尺度字典D的第1個舒適度等級的稀疏系數(shù)矩陣記為將Gt對應于多尺度字典D的第2個舒適度等級的稀疏系數(shù)矩陣記為將Gt對應于多尺度字典D的第3個舒適度等級的稀疏系數(shù)矩陣記為將Gt對應于多尺度字典D的第4個舒適度等級的稀疏系數(shù)矩陣記為將Gt對應于多尺度字典D的第5個舒適度等級的稀疏系數(shù)矩陣記為②_4、計算Stest對應于不同舒適度等級的舒適度評價預測值，將Stest對應于第n個舒適度等級的舒適度評價預測值記為Qn，其中，1≤n≤5，符號“〈〉”為求內積操作符號，q為在訓練階段確定的多尺度質量表，符號“||||1”為求取矩陣的1-范數(shù)符號；②_5、通過對Stest對應于不同舒適度等級的舒適度評價預測值進行結合，獲得Stest的視覺舒適度客觀評價預測值，記為Qt，其中，所述的步驟①_2中{di(x,y)}采用基于光流的視差估計算法獲得。所述的步驟①_2中其中，dmax表示{di(x,y)}中的所有像素點的像素值按從大到小的順序排序后最大的像素值，表示{di(x,y)}中的所有像素點的像素值按從大到小的順序排列后、前10％的像素值對應的所有像素點的坐標位置構成的集合，表示{di(x,y)}中的所有像素點的像素值按從大到小的順序排列后、前10％的像素值對應的像素點的總個數(shù)，表示{di(x,y)}中的所有像素點的像素值按從小到大的順序排列后、前10％的像素值對應的所有像素點的坐標位置構成的集合，表示{di(x,y)}中的所有像素點的像素值按從小到大的順序排列后、前10％的像素值對應的像素點的總個數(shù)，NR表示采用超像素分割技術對{di(x,y)}進行分割得到的分割區(qū)域的總個數(shù)，1≤p≤NR，SPp表示采用超像素分割技術對{di(x,y)}進行分割得到的第p個分割區(qū)域，p≠q，exp()表示以自然基數(shù)e為底的指數(shù)函數(shù)，λ為控制參數(shù)，符號“||||”為求歐式距離符號，表示SPp中的中心像素點的坐標位置，SPq表示采用超像素分割技術對{di(x,y)}進行分割得到的第q個分割區(qū)域，表示SPq中的中心像素點的坐標位置，max()為取最大值函數(shù)，表示SPp中的所有像素點的坐標位置構成的集合，表示SPp中包含的像素點的總個數(shù)，表示SPq中的所有像素點的坐標位置構成的集合，表示SPq中包含的像素點的總個數(shù)，符號“||”為取絕對值符號。所述的步驟①_3中的獲取過程為：①_3a、采用基于光流的視差估計算法獲取Si的視差圖像，記為{di(x,y)}；然后利用視差轉換算法計算{di(x,y)}的角視差圖像，記為{φi(x,y)}；再計算{φi(x,y)}的視差直方圖，記為其中，1≤x≤W，1≤y≤H，di(x,y)表示{di(x,y)}中坐標位置為(x,y)的像素點的像素值，φi(x,y)表示{φi(x,y)}中坐標位置為(x,y)的像素點的像素值，表示{φi(x,y)}中像素值屬于第k個視差區(qū)間的像素點的總個數(shù)，L表示中的視差區(qū)間的總數(shù)；①_3b、利用13個不同神經(jīng)元的視差調制函數(shù)對{di(x,y)}進行調制操作，得到{di(x,y)}中的不同神經(jīng)元在不同視差區(qū)間的響應，將{di(x,y)}中的第j個神經(jīng)元在第k個視差區(qū)間的響應記為Rj,k，其中，1≤j≤13,1≤k≤L，p(k|φi(x,y))表示φi(x,y)屬于第k個視差區(qū)間的概率，如果φi(x,y)屬于第k個視差區(qū)間，則p(k|φi(x,y))＝1，如果φi(x,y)不屬于第k個視差區(qū)間，則p(k|φi(x,y))＝0，gj(φi(x,y))表示第j個神經(jīng)元的視差調制函數(shù)，Aj表示第j個神經(jīng)元的視差調制函數(shù)的振幅，Aj∈{44,67,73,42,110,124,51,77,46,121,49,31,92}，表示第j個神經(jīng)元的視差調制函數(shù)的中心，δj表示第j個神經(jīng)元的視差調制函數(shù)的高斯核寬度，δj∈{1.86,1.16,1.07,0.62,0.53,0.31,0.62,0.67,0.57,0.52,1.01,2.10,0.56}，cos()為求余弦函數(shù)，fj表示第j個神經(jīng)元的視差調制函數(shù)的頻率，fj∈{0.19,0.25,0.28,0.43,0.51,0.37,0.42,0.50,0.49,0.30,0.21,0.19,0.33}，Φj表示第j個神經(jīng)元的視差調制函數(shù)的相位，Φj∈{74,86,123,73,40,-51,-38,-55,-92,-61,-19,38,-162}；①_3c、將{di(x,y)}中的第j個神經(jīng)元在所有視差區(qū)間的響應構成一個向量，記為然后利用最大池化方法，獲取經(jīng)最大池化后得到的特征矢量，記為其中，對應表示{di(x,y)}中的第j個神經(jīng)元在第1個視差區(qū)間的響應、在第2個視差區(qū)間的響應、…、在第k個視差區(qū)間的響應、…、在第L個視差區(qū)間的響應，對應表示中的第1個元素、第2個元素、…、第k個元素、…、第L個元素，所述的步驟①_3c中獲取經(jīng)最大池化后得到的特征矢量的過程為：獲取中的每個元素經(jīng)最大池化后得到的值，將經(jīng)最大池化后得到的值記為其中，max()為取最大值函數(shù)；然后將中的所有元素經(jīng)最大池化后得到的值按順序排列構成與現(xiàn)有技術相比，本發(fā)明的優(yōu)點在于：1)本發(fā)明方法在訓練階段，通過選取不同舒適度等級各多幅立體圖像構成初始訓練圖像集，并通過計算初始訓練圖像集中的每幅立體圖像的視差統(tǒng)計特征矢量和神經(jīng)響應特征矢量，來獲得多尺度字典和對應的多尺度質量表，這樣就建立了特征矢量與質量之間的關系模型，從而只需要通過簡單的映射就能直接預測圖像質量。2)本發(fā)明方法在測試階段，計算測試立體圖像的用于反映視覺舒適度的特征矢量，并根據(jù)已訓練得到的多尺度字典和多尺度質量表，預測得到對應于不同舒適度等級的稀疏系數(shù)矩陣和舒適度評價預測值，并結合對應于不同舒適度等級的舒適度評價預測值得到最終的視覺舒適度客觀評價預測值，得到的視覺舒適度客觀評價預測值與主觀評價值保持了較好的一致性，即視覺舒適度客觀評價預測值與主觀感知之間的相關性高。附圖說明圖1為本發(fā)明方法的總體實現(xiàn)框圖。具體實施方式以下結合附圖實施例對本發(fā)明作進一步詳細描述。本發(fā)明提出的一種基于多尺度字典的立體圖像視覺舒適度評價方法，其總體實現(xiàn)框圖如圖1所示，其包括訓練階段和測試階段兩個過程；在訓練階段中，選取五個不同舒適度等級的多幅立體圖像，構成初始訓練圖像集；然后通過獲取初始訓練圖像集中的每幅立體圖像的視差統(tǒng)計特征矢量和神經(jīng)響應特征矢量，得到初始訓練圖像集中的每幅立體圖像的用于反映視覺舒適度的特征矢量；接著根據(jù)初始訓練圖像集中的所有立體圖像的用于反映視覺舒適度的特征矢量構造多尺度字典，并確定多尺度字典對應的多尺度質量表；在測試階段中，對于任意一幅測試立體圖像，以相同的方式獲得測試立體圖像的用于反映視覺舒適度的特征矢量；然后根據(jù)在訓練階段構造的多尺度字典，計算測試立體圖像的用于反映視覺舒適度的特征矢量的稀疏系數(shù)矩陣，進而確定測試立體圖像的用于反映視覺舒適度的特征矢量對應于多尺度字典的不同舒適度等級的稀疏系數(shù)矩陣；接著根據(jù)在訓練階段確定的多尺度質量表和對應于多尺度字典的不同舒適度等級的稀疏系數(shù)矩陣，計算測試立體圖像對應于不同舒適度等級的舒適度評價預測值；最后結合測試立體圖像對應于不同舒適度等級的舒適度評價預測值，獲得測試立體圖像的視覺舒適度客觀評價預測值。在此具體實施例中，所述的訓練階段具體包括以下步驟：①_1、選取五個不同舒適度等級各幅寬度為W且高度為H的立體圖像，將選取的共M幅立體圖像構成初始訓練圖像集，記為{Si|1≤i≤M}，其中，M>5且M為5的整數(shù)倍，在本實施例中取M＝50，Si表示{Si|1≤i≤M}中的第i幅立體圖像，符號“{}”為集合表示符號，五個不同舒適度等級分別為極端不舒適(extremelyuncomfortable)、不舒適(uncomfortable)、略微舒適(mildlycomfortable)、舒適(comfortable)和非常舒適(verycomfortable)，即初始訓練圖像集{Si|1≤i≤M}由幅極端不舒適的立體圖像、幅不舒適的立體圖像、幅略微舒適的立體圖像、幅舒適的立體圖像和幅非常舒適的立體圖像構成。①_2、獲取{Si|1≤i≤M}中的每幅立體圖像的視差統(tǒng)計特征矢量，將Si的視差統(tǒng)計特征矢量記為其中，的維數(shù)為1×5，此處符號“[]”為矢量表示符號，fi1、fi2、fi3、fi4和fi5對應表示Si的左視點圖像與右視點圖像之間的視差圖像{di(x,y)}的平均最大視差、平均最小視差、視差對比度、視差散度和視差偏度，di(x,y)表示{di(x,y)}中坐標位置為(x,y)的像素點的像素值，1≤x≤W，1≤y≤H。在此具體實施例中，步驟①_2中{di(x,y)}采用現(xiàn)有的基于光流的視差估計算法獲得。在此具體實施例中，步驟①_2中其中，dmax表示{di(x,y)}中的所有像素點的像素值按從大到小的順序排序后最大的像素值，表示{di(x,y)}中的所有像素點的像素值按從大到小的順序排列后、前10％的像素值對應的所有像素點的坐標位置構成的集合，表示{di(x,y)}中的所有像素點的像素值按從大到小的順序排列后、前10％的像素值對應的像素點的總個數(shù)，表示{di(x,y)}中的所有像素點的像素值按從小到大的順序排列后、前10％的像素值對應的所有像素點的坐標位置構成的集合，表示{di(x,y)}中的所有像素點的像素值按從小到大的順序排列后、前10％的像素值對應的像素點的總個數(shù)，NR表示采用現(xiàn)有的超像素分割技術對{di(x,y)}進行分割得到的分割區(qū)域的總個數(shù)，在本實施例中取NR＝400，1≤p≤NR，SPp表示采用現(xiàn)有的超像素分割技術對{di(x,y)}進行分割得到的第p個分割區(qū)域，p≠q，exp()表示以自然基數(shù)e為底的指數(shù)函數(shù)，λ為控制參數(shù)，在本實施例中取λ＝5，符號“||||”為求歐式距離符號，表示SPp中的中心像素點的坐標位置，SPq表示采用現(xiàn)有的超像素分割技術對{di(x,y)}進行分割得到的第q個分割區(qū)域，表示SPq中的中心像素點的坐標位置，max()為取最大值函數(shù)，表示SPp中的所有像素點的坐標位置構成的集合，表示SPp中包含的像素點的總個數(shù)，表示SPq中的所有像素點的坐標位置構成的集合，表示SPq中包含的像素點的總個數(shù)，符號“||”為取絕對值符號。①_3、獲取{Si|1≤i≤M}中的每幅立體圖像的神經(jīng)響應特征矢量，將Si的神經(jīng)響應特征矢量記為其中，的維數(shù)為1×13，此處符號“[]”為矢量表示符號，1≤j≤13，ri1,ri2,…,rij,…,ri13對應為中的第1個元素、第2個元素、…、第j個元素、…、第13個元素，符號“||”為取絕對值符號，表示Si中的第j個神經(jīng)元在所有視差區(qū)間的響應構成的向量經(jīng)最大池化后得到的特征矢量。在此具體實施例中，步驟①_3中的獲取過程為：①_3a、采用現(xiàn)有的基于光流的視差估計算法獲取Si的視差圖像，記為{di(x,y)}；然后利用現(xiàn)有的視差轉換算法計算{di(x,y)}的角視差圖像，記為{φi(x,y)}；再計算{φi(x,y)}的視差直方圖，記為其中，1≤x≤W，1≤y≤H，di(x,y)表示{di(x,y)}中坐標位置為(x,y)的像素點的像素值，φi(x,y)表示{φi(x,y)}中坐標位置為(x,y)的像素點的像素值，表示{φi(x,y)}中像素值屬于第k個視差區(qū)間的像素點的總個數(shù)，L表示中的視差區(qū)間的總數(shù)，L的取值根據(jù){φi(x,y)}的視差直方圖分布而定。①_3b、利用13個不同神經(jīng)元的視差調制函數(shù)對{di(x,y)}進行調制操作，得到{di(x,y)}中的不同神經(jīng)元在不同視差區(qū)間的響應，將{di(x,y)}中的第j個神經(jīng)元在第k個視差區(qū)間的響應記為Rj,k，其中，1≤j≤13,1≤k≤L，p(k|φi(x,y))表示φi(x,y)屬于第k個視差區(qū)間的概率，如果φi(x,y)屬于第k個視差區(qū)間，則p(k|φi(x,y))＝1，如果φi(x,y)不屬于第k個視差區(qū)間，則p(k|φi(x,y))＝0，gj(φi(x,y))表示第j個神經(jīng)元的視差調制函數(shù)，Aj表示第j個神經(jīng)元的視差調制函數(shù)的振幅，Aj∈{44,67,73,42,110,124,51,77,46,121,49,31,92}，表示第j個神經(jīng)元的視差調制函數(shù)的中心，δj表示第j個神經(jīng)元的視差調制函數(shù)的高斯核寬度，δj∈{1.86,1.16,1.07,0.62,0.53,0.31,0.62,0.67,0.57,0.52,1.01,2.10,0.56}，cos()為求余弦函數(shù)，fj表示第j個神經(jīng)元的視差調制函數(shù)的頻率，fj∈{0.19,0.25,0.28,0.43,0.51,0.37,0.42,0.50,0.49,0.30,0.21,0.19,0.33}，Φj表示第j個神經(jīng)元的視差調制函數(shù)的相位，Φj∈{74,86,123,73,40,-51,-38,-55,-92,-61,-19,38,-162}。①_3c、將{di(x,y)}中的第j個神經(jīng)元在所有視差區(qū)間的響應構成一個向量，記為然后利用現(xiàn)有的最大池化方法，獲取經(jīng)最大池化后得到的特征矢量，記為其中，對應表示{di(x,y)}中的第j個神經(jīng)元在第1個視差區(qū)間的響應、在第2個視差區(qū)間的響應、…、在第k個視差區(qū)間的響應、…、在第L個視差區(qū)間的響應，對應表示中的第1個元素、第2個元素、…、第k個元素、…、第L個元素，為經(jīng)最大池化后得到的，為經(jīng)最大池化后得到的，為經(jīng)最大池化后得到的，為經(jīng)最大池化后得到的，在此具體實施例中，步驟①_3c中獲取經(jīng)最大池化后得到的特征矢量的過程為：獲取中的每個元素經(jīng)最大池化后得到的值，將經(jīng)最大池化后得到的值記為其中，max()為取最大值函數(shù)；然后將中的所有元素經(jīng)最大池化后得到的值按順序排列構成①_4、將{Si|1≤i≤M}中的每幅立體圖像的視差統(tǒng)計特征矢量和神經(jīng)響應特征矢量組合成一個新的矢量作為對應的立體圖像的用于反映視覺舒適度的特征矢量，將Si的用于反映視覺舒適度的特征矢量記為Di，其中，Di的維數(shù)為1×18，此處符號“[]”為矢量表示符號，表示將和連接起來形成一個新的矢量。①_5、根據(jù){Si|1≤i≤M}中的所有立體圖像的用于反映視覺舒適度的特征矢量構造多尺度字典，記為D，并確定D對應的多尺度質量表，記為q，其中，D1,1表示{Si|1≤i≤M}中屬于第1個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{Si|1≤i≤M}中屬于第1個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D2,1表示{Si|1≤i≤M}中屬于第2個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{Si|1≤i≤M}中屬于第2個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D3,1表示{Si|1≤i≤M}中屬于第3個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{Si|1≤i≤M}中屬于第3個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D4,1表示{Si|1≤i≤M}中屬于第4個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{Si|1≤i≤M}中屬于第4個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，D5,1表示{Si|1≤i≤M}中屬于第5個舒適度等級的第1幅立體圖像的用于反映視覺舒適度的特征矢量，表示{Si|1≤i≤M}中屬于第5個舒適度等級的第幅立體圖像的用于反映視覺舒適度的特征矢量，q1,1表示{Si|1≤i≤M}中屬于第1個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{Si|1≤i≤M}中屬于第1個舒適度等級的第幅立體圖像的平均主觀評分均值，q2,1表示{Si|1≤i≤M}中屬于第2個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{Si|1≤i≤M}中屬于第2個舒適度等級的第幅立體圖像的平均主觀評分均值，q3,1表示{Si|1≤i≤M}中屬于第3個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{Si|1≤i≤M}中屬于第3個舒適度等級的第幅立體圖像的平均主觀評分均值，q4,1表示{Si|1≤i≤M}中屬于第4個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{Si|1≤i≤M}中屬于第4個舒適度等級的第幅立體圖像的平均主觀評分均值，q5,1表示{Si|1≤i≤M}中屬于第5個舒適度等級的第1幅立體圖像的平均主觀評分均值，表示{Si|1≤i≤M}中屬于第5個舒適度等級的第幅立體圖像的平均主觀評分均值。所述的測試階段具體包括以下步驟：②_1、對于任意一幅測試立體圖像Stest，按照步驟①_2至步驟①_4的過程，以相同的操作獲取Stest的用于反映視覺舒適度的特征矢量，記為Gt，其中，Gt的維數(shù)為1×18。即Gt的獲取過程為：a、獲取Stest的視差統(tǒng)計特征矢量，記為其中，的維數(shù)為1×5，此處符號“[]”為矢量表示符號，ft1、ft2、ft3、ft4和ft5對應表示Stest的左視點圖像與右視點圖像之間的視差圖像{dt(x,y)}的平均最大視差、平均最小視差、視差對比度、視差散度和視差偏度，dt(x,y)表示{dt(x,y)}中坐標位置為(x,y)的像素點的像素值，1≤x≤W，1≤y≤H；b、獲取Stest的神經(jīng)響應特征矢量，記為其中，的維數(shù)為1×13，此處符號“[]”為矢量表示符號，1≤j≤13，rt1,rt2,…,rtj,…,rt13對應為中的第1個元素、第2個元素、…、第j個元素、…、第13個元素，符號“||”為取絕對值符號，表示Stest中的第j個神經(jīng)元在所有視差區(qū)間的響應構成的向量經(jīng)最大池化后得到的特征矢量；c、將和組合成一個新的矢量作為Stest的用于反映視覺舒適度的特征矢量，記為Gt，其中，Gt的維數(shù)為1×18，此處符號“[]”為矢量表示符號，表示將和連接起來形成一個新的矢量。②_2、根據(jù)在訓練階段構造的多尺度字典D，計算Gt的稀疏系數(shù)矩陣，記為是通過求解得到的，其中，α1,1表示Gt對應于多尺度字典D的第1個舒適度等級的第1幅立體圖像的稀疏系數(shù)，表示Gt對應于多尺度字典D的第1個舒適度等級的第幅立體圖像的稀疏系數(shù)，α2,1表示Gt對應于多尺度字典D的第2個舒適度等級的第1幅立體圖像的稀疏系數(shù)，表示Gt對應于多尺度字典D的第2個舒適度等級的第幅立體圖像的稀疏系數(shù)，α3,1表示Gt對應于多尺度字典D的第3個舒適度等級的第1幅立體圖像的稀疏系數(shù)，表示Gt對應于多尺度字典D的第3個舒適度等級的第幅立體圖像的稀疏系數(shù)，α4,1表示Gt對應于多尺度字典D的第4個舒適度等級的第1幅立體圖像的稀疏系數(shù)，表示Gt對應于多尺度字典D的第4個舒適度等級的第幅立體圖像的稀疏系數(shù)，α5,1表示Gt對應于多尺度字典D的第5個舒適度等級的第1幅立體圖像的稀疏系數(shù)，表示Gt對應于多尺度字典D的第5個舒適度等級的第幅立體圖像的稀疏系數(shù)，符號“||||2”為求取矩陣的2-范數(shù)符號，ε為誤差閾值，在本實施例中取ε＝10，min{}為取最小值函數(shù)。②_3、根據(jù)確定Gt對應于多尺度字典D的不同舒適度等級的稀疏系數(shù)矩陣，將Gt對應于多尺度字典D的第1個舒適度等級的稀疏系數(shù)矩陣記為將Gt對應于多尺度字典D的第2個舒適度等級的稀疏系數(shù)矩陣記為將Gt對應于多尺度字典D的第3個舒適度等級的稀疏系數(shù)矩陣記為將Gt對應于多尺度字典D的第4個舒適度等級的稀疏系數(shù)矩陣記為將Gt對應于多尺度字典D的第5個舒適度等級的稀疏系數(shù)矩陣記為②_4、計算Stest對應于不同舒適度等級的舒適度評價預測值，將Stest對應于第n個舒適度等級的舒適度評價預測值記為Qn，其中，1≤n≤5，符號“<>”為求內積操作符號，q為在訓練階段確定的多尺度質量表，符號“||||1”為求取矩陣的1-范數(shù)符號。②_5、通過對Stest對應于不同舒適度等級的舒適度評價預測值進行結合，獲得Stest的視覺舒適度客觀評價預測值，記為Qt，其中，在本實施例中，采用寧波大學建立的立體圖像數(shù)據(jù)庫來分析本實施例得到的立體圖像的視覺舒適度客觀評價預測值與平均主觀評分均值之間的相關性。該立體圖像數(shù)據(jù)庫包括200幅立體圖像以及對應的視差圖像，該立體圖像數(shù)據(jù)庫中包含了各種場景深度的室內和室外圖像，并給出了每幅立體圖像的視覺舒適度的平均主觀評分均值。這里，將50幅立體圖像作為訓練立體圖像構成初始訓練圖像集，剩下的150幅立體圖像作為測試立體圖像。利用評估圖像質量評價方法的3個常用客觀參量作為評價指標，即非線性回歸條件下的Pearson線性相關系數(shù)(Pearsonlinearcorrelationcoefficient，PLCC)、Spearman秩等級相關系數(shù)(Spearmanrankordercorrelationcoefficient，SROCC)、均方根誤差(Rootmeansquarederror，RMSE)，PLCC和RMSE反映客觀評價預測值的準確性，SROCC反映其單調性。將利用本發(fā)明方法計算得到的150幅立體圖像各自的視覺舒適度客觀評價預測值做五參數(shù)Logistic函數(shù)非線性擬合，PLCC和SROCC值越高、RMSE值越小說明本發(fā)明方法的評價結果與視覺舒適度的平均主觀評分均值的相關性越好。表1給出了采用不同的特征矢量得到的視覺舒適度客觀評價預測值與視覺舒適度的平均主觀評分均值之間的相關性，從表1中可以看出，只采用視差統(tǒng)計特征矢量或神經(jīng)響應特征矢量構造多尺度字典得到的視覺舒適度客觀評價預測值與視覺舒適度的平均主觀評分均值之間的相關性并不是最優(yōu)的，而采用視差統(tǒng)計特征矢量結合神經(jīng)響應特征矢量構造多尺度字典得到的視覺舒適度客觀評價預測值與視覺舒適度的平均主觀評分均值之間的相關性提高了，這說明了本發(fā)明方法提取的特征信息是有效的，同時也說明了本發(fā)明方法建立的基于多尺度字典的視覺舒適度評價模型是準確的，使得得到的視覺舒適度客觀評價預測值與視覺舒適度的平均主觀評分均值之間的相關性更強，這足以說明本發(fā)明方法是可行且有效的。表1采用不同特征組合得到的視覺舒適度客觀評價預測值與視覺舒適度的平均主觀評分均值之間的相關性當前第1頁1 2 3 當前第1頁1 2 3