基于顯著性區(qū)域的立體圖像舒適度色度范圍的測量方法與流程
本發(fā)明屬于圖像處理領(lǐng)域，涉及影響立體圖像觀看舒適度的因素研究，尤其是涉及一種基于立體圖像顯著區(qū)域的舒適色度定量研究方法。具體講,涉及基于顯著性區(qū)域的立體圖像舒適度色度范圍的測量方法。
背景技術(shù)：
近年來，三維立體顯示技術(shù)在科研和商業(yè)活動中發(fā)展迅猛，特別是在商業(yè)立體電影上已獲得巨大成功，然而一些觀眾在觀看立體畫面時，會出現(xiàn)不同程度的視覺不舒適現(xiàn)象[1-5]。視覺不舒適是目前視差型3d電影和電視的重要缺陷，如果該問題得不到解決，立體顯示技術(shù)就很難被推廣[6]。視覺不舒適是一種主觀感受，通常用視覺舒適度來衡量[5]。視覺不舒適的主要來源有：顯示設(shè)備本身、立體內(nèi)容、人的生理心理以及觀看環(huán)境等四個方面。立體內(nèi)容缺乏是制約立體成像技術(shù)普及的重要因素[7]，因此，制作豐富的立體內(nèi)容顯得尤為重要。眾所周知，影響立體內(nèi)容不舒適的因素有很多，比如亮度、色度、飽和度、對比度、串?dāng)_和視差等因素。如果能夠得到關(guān)于各影響因素的量化標(biāo)準(zhǔn)，將為立體內(nèi)容的制作提供強(qiáng)有利的技術(shù)支撐。本文實驗就是結(jié)合人眼的視覺注意機(jī)制，定量研究由色度引起的立體內(nèi)容舒適與否的問題。
截至目前，已有不少國內(nèi)外專家學(xué)者對立體圖像內(nèi)容舒適度的影響因素進(jìn)行了研究。在國外，文獻(xiàn)[8]中，frankl.k通過實驗比較系統(tǒng)地定性研究了亮度、色度、對比度、串?dāng)_、視差等各種因素對雙目立體圖像舒適度的影響，實驗結(jié)果表明，如果雙目視圖不匹配程度超過一定的門限將會嚴(yán)重降低立體圖像視覺舒適度。文獻(xiàn)[9]指出，大視差能夠能夠增強(qiáng)立體感，但也經(jīng)常導(dǎo)致視覺不舒適。該文獻(xiàn)中進(jìn)一步設(shè)計了一種算法使觀察者能夠自動調(diào)整視差大小來得到更加舒適的立體圖像。在國內(nèi)，文獻(xiàn)[10]定性地研究了色度、亮度、對比度以及分辨率4個參數(shù)對雙視點(diǎn)立體成像系統(tǒng)顯示效果的影響，并分析說明了參數(shù)變化對成像效果造成影響的原因。文獻(xiàn)[11]系統(tǒng)地闡述了觀看立體圖像引起視覺疲勞的生理因素，指出引起視疲勞的原因之一是顏色和亮度差異過大的左右視圖在觀看者眼中出現(xiàn)不匹配視差圖像對。文獻(xiàn)[12]指出國際標(biāo)準(zhǔn)化組織曾發(fā)行立體圖像、視頻安全性文件iwa3：imagesafety，明確闡述雙眼差異過大的立體圖像會引起眼疲勞或誘發(fā)眼病。
目前，國內(nèi)外對立體圖像舒適度的研究大都是定性的，且沒有統(tǒng)一的評定標(biāo)準(zhǔn)。為了更直接、更準(zhǔn)確地判斷給定的立體圖像視覺舒適度與否，需要進(jìn)行定量研究。部分文獻(xiàn)對影響觀看舒適度的各種因素進(jìn)行了定量研究，文獻(xiàn)[13][14][15][16][17]對影響立體圖像舒適度的亮度、飽和度、色度、對比度和視差等因素進(jìn)行了定量地研究。但是，此類方法都是基于整幅立體圖像進(jìn)行研究。然而，文獻(xiàn)[18]表明人類視覺系統(tǒng)的一個重要特性是視覺注意，而人眼視覺往往只關(guān)注場景的感興趣區(qū)域。文獻(xiàn)[19]表明人眼在觀察圖像時往往更傾向于觀察其中的重要部分而不是整幅圖像，圖像顯著性區(qū)域是人眼視覺的一個重要的特性，該特性已應(yīng)用在很多方面，并取得了很好的結(jié)果。
技術(shù)實現(xiàn)要素：
為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在提供適當(dāng)?shù)姆椒?，能夠很好地反映立體圖像的舒適度，為立體內(nèi)容制作提供更有力的技術(shù)支撐。為此，本發(fā)明采用的技術(shù)方案是，基于顯著性區(qū)域的立體圖像舒適度色度范圍的測量方法，先采用視差圖和二維圖像顯著圖相結(jié)合的方法得到立體顯著度圖，再利用模糊隸屬度和掩膜對其優(yōu)化得出最終的顯著立體圖像，并利用眼動儀實驗驗證立體顯著算法提取顯著區(qū)域的正確性；然后采用由粗到細(xì)的逐級逼近法進(jìn)行主觀實驗，通過最小二乘法對實驗數(shù)據(jù)進(jìn)行擬合，得到顯著立體圖像的舒適色度匹配圖和舒適色度差異圖，并對不同場景下被試圖像的主觀感受進(jìn)行分析。
得到立體顯著度圖的具體步驟是，二維圖像顯著圖通過圖像本身的亮度、色度、對比度和空間頻率進(jìn)行計算，具體采用gbvs算法計算得到右視點(diǎn)平面顯著圖，記為smr(x,y)；采用快速立體匹配算法得到以右視點(diǎn)為基準(zhǔn)的視差圖，記為dr(x,y)；采用線性方式將平面視覺顯著圖smr(x,y)和右視差圖像dr(x,y)進(jìn)行加權(quán)得到立體顯著度圖i(x,y)，如公式(1)：
i(x,y)＝w1dr(x,y)+w2smr(x,y)(1)
式中：i(x,y)為立體顯著度圖；w1和w2為加權(quán)比重，且w1+w2＝1。
顯著立體圖像的獲取的具體步驟是，利用模糊數(shù)學(xué)的理論來描述圖像的特征信息，將立體顯著度圖進(jìn)行優(yōu)化，得到優(yōu)化后的顯著圖為二值圖像，稱為掩模圖像，像素點(diǎn)的像素值為1表明原立體圖像中的該點(diǎn)屬于顯著區(qū)域，反之屬于非顯著區(qū)域。
顯著立體圖像的獲取的進(jìn)一步具體過程如下：
設(shè)論域x為立體顯著度圖，將論域中的元素分為兩類，顯著區(qū)域a和非顯著區(qū)域b，a和b是x的一個劃分，即：
a∪b＝x
a∩b＝φ
立體顯著度圖的灰度值表示原始圖像中該像素點(diǎn)屬于顯著區(qū)域的程度，因此直接給出隸屬函數(shù)，如公式(2)，a(x,y)表示像素點(diǎn)(x,y)處的灰度值l對顯著區(qū)域a的隸屬度。
采用閾值分割的方法去模糊，分割閾值t由最大類間方差方法確定，通過該閾值去模糊得到掩模圖像m(x,y)[28],如公式(3)：
對于立體顯著度圖i(x,y)中的任一像素點(diǎn)(x,y)，若a(x,y)對顯著區(qū)域的的隸屬度大于閾值t，則該像素點(diǎn)屬于視覺顯著性區(qū)域，對應(yīng)掩模圖像m(x,y)中的白色區(qū)域，否則屬于黑色區(qū)域。為了去除掩膜圖像邊緣的毛刺及空洞現(xiàn)象，采用形態(tài)學(xué)的開閉運(yùn)算對掩膜圖像m(x,y)進(jìn)行優(yōu)化得到優(yōu)化掩膜圖像m'(x,y)；最后將優(yōu)化掩模圖像與原始視點(diǎn)圖像相乘得到顯著立體圖像。
采用眼動儀對源立體圖像的顯著區(qū)域進(jìn)行主觀測量，每次實驗前先進(jìn)行校準(zhǔn)實驗和基準(zhǔn)測量，當(dāng)被試者對校準(zhǔn)基準(zhǔn)點(diǎn)的觀測誤差小于1度時進(jìn)行實驗，每張圖片隨機(jī)呈現(xiàn)且呈現(xiàn)時間為5s。根據(jù)眼動儀測量出的圖像感興趣區(qū)域的熱圖，與顯著立體圖像區(qū)域?qū)Ρ取?/p>
采用由粗到細(xì)的逐級逼近法進(jìn)行數(shù)據(jù)處理，將步長逼近級數(shù)分為3級，第一級步長到第三級步長分別為75、15和3，采用三級步長對立體圖像色度進(jìn)行線性變換，其中，僅對左視圖進(jìn)行第2級步長分段，對右視圖進(jìn)行第1級、第2級、第3級步長分段；實驗使用matlab2014b對顯著立體圖像的獲取和各級色度變化進(jìn)行處理，處理步驟如下：
a.選取源立體圖像，得到立體顯著度圖并最終得到顯著立體圖像；
b.將顯著立體圖像進(jìn)行顏色空間變換，由rgb空間轉(zhuǎn)換到hsv顏色空間，提取圖像色度h。根據(jù)a中的顯著立體圖像確定圖像的顯著與非顯著部分。顯著區(qū)域為源立體圖像中對應(yīng)的像素，非顯著部分用灰度為255的圖像進(jìn)行覆蓋；
c.對顯著立體圖像左視圖色度以步長15進(jìn)行變換，得到24幅左視圖，對顯著立體圖像右視圖色度以步長72進(jìn)行變換，得到5幅右視圖；兩兩組合后可以得到120幅待測顯著立體圖像；
d.對步驟c中的120幅顯著立體圖像進(jìn)行主觀評分，選取
e.對步驟d中色度值范圍n1rup、n1rup'和n1rdown、n1rdown'進(jìn)行第二級的步長變化，得到10幅二級右視圖，因此左右視圖兩兩組合后可以得到240幅待測顯著立體圖像；
f.對步驟e中的240幅顯著立體圖像進(jìn)行主觀評分，選取
g.同理，對步驟f中色度值范圍n2rup、n2rup'和n2rdown、n2rdown'進(jìn)行第三級的步長變化，得到12幅三級右視圖，因此左右視圖兩兩組合后可以得到288幅待測顯著立體圖像；
h.對步驟g中的288幅顯著立體圖像進(jìn)行主觀評分，選取
本發(fā)明的特點(diǎn)及有益效果是：
文獻(xiàn)[14]在沒有考慮視覺顯著性的情況下定量研究色度因素對視覺舒適度的影響，如圖(10)可以看出，折線包圍的色度范圍基本一致，說明顯著區(qū)域的舒適度能夠代表整幅立體圖像的舒適度，與理論一致。文獻(xiàn)[14]采用雙刺激的實驗方法，即給定原始圖像，讓被試者對測試圖像舒適與否進(jìn)行評價，會對被試者的主觀性有一定的限制。由于是有參考的主觀實驗，所以對于某些場景，其左視圖色度區(qū)間(0°,360°)，右視圖并不應(yīng)該都有舒適色度區(qū)間與之匹配。本文采用單刺激的實驗方法，較文獻(xiàn)[14]的雙刺激方法更符合人眼視覺的主觀性，其左視圖色度區(qū)間(0°,360°)右視圖都有一定的舒適色度區(qū)間，而且場景不同舒適色度區(qū)間大小也不同。本文得出的結(jié)論具有真實性，更能夠為立體內(nèi)容的制作提供有利的技術(shù)支撐，為立體內(nèi)容舒適標(biāo)準(zhǔn)的制作提供合理的方案。
附圖說明：
圖14幅源立體圖像。圖中，a為乒乓圖，b為告示牌，c小孩圖，d花朵圖。
圖2算法流程圖。
圖3顯著立體圖提取過程圖。圖中a為右視圖，b視差圖，c為平面顯示圖，d為立體顯示圖，e掩膜圖像，f優(yōu)化掩膜圖像，g顯著立體圖像。
圖4眼動儀實驗顯著熱圖。
圖5顯著立體圖像。
圖6四組立體圖像視覺舒適度匹配圖。圖中a為乒乓圖，b為告示牌，c小孩圖，d花朵圖。
圖7四組立體圖像視覺舒適度差異圖。圖中a為乒乓圖，b為告示牌，c小孩圖，d花朵圖。
圖8立體圖像舒適色度匹配圖。
圖9立體圖像舒適色度差異圖。
圖10本文實驗結(jié)果與文獻(xiàn)[14]結(jié)果對比。
圖112幅源立體圖像。圖中a為乒乓圖，b為告示牌。
具體實施方式
本文首次結(jié)合人眼視覺注意機(jī)制定量研究色度因素對立體圖像觀看舒適度的影響。該工作首先采用視差圖和二維圖像顯著圖相結(jié)合的方法得到立體顯著度圖，對立體顯著度圖進(jìn)行優(yōu)化得到顯著立體圖像，并利用眼動儀實驗驗證了立體顯著算法提取顯著區(qū)域的正確性；然后采用由粗到細(xì)的逐級逼近法進(jìn)行主觀實驗，通過最小二乘法對實驗數(shù)據(jù)進(jìn)行擬合，得到顯著立體圖像的舒適色度匹配圖和舒適色度差異圖，并對不同場景下被試圖像的主觀感受進(jìn)行分析。實驗結(jié)果表明，依據(jù)本文方法得到的舒適色度的量化范圍更加符合人眼視覺主觀觀測的結(jié)果。
本文首次結(jié)合視覺注意機(jī)制，通過大量主觀實驗定量地對影響立體圖像視覺舒適度的色度因素進(jìn)行研究。首先，結(jié)合視差圖和平面顯著圖獲得立體顯著度圖，再利用模糊隸屬度和掩膜對其優(yōu)化得出最終的顯著立體圖像。采用眼動儀對所得顯著立體圖像的合理性進(jìn)行驗證；然后，采用由粗到細(xì)的逼近法獲得實驗數(shù)據(jù)進(jìn)行主觀實驗，得到不同場景顯著立體圖像的舒適色度匹配圖和差異圖。實驗結(jié)果表明，左右視圖舒適色度區(qū)間會隨著不同場景而不同，雙目視圖舒適色度差異值平均最大可為122.5o，即左右視圖色度差異不能過大。本文所得舒適色度范圍很好地反映了立體圖像的舒適度，為立體內(nèi)容制作提供了更有力的技術(shù)支撐。
本發(fā)明提供了一種結(jié)合視覺注意機(jī)制定量研究色度因素對立體圖像觀看舒適度的方法。首先，結(jié)合視差圖和平面顯著圖獲得立體顯著度圖，再利用模糊隸屬度和掩膜對其優(yōu)化得出最終的顯著立體圖像。采用眼動儀對所得顯著立體圖像的合理性進(jìn)行驗證；然后，采用由粗到細(xì)的逼近法獲得實驗數(shù)據(jù)進(jìn)行主觀實驗，得到不同場景顯著立體圖像的舒適色度匹配圖和差異圖。
本發(fā)明實驗流程為1)立體顯著度圖的提取。二維圖像顯著圖與立體圖像視差圖結(jié)合得到立體顯著度圖。2)顯著立體圖像的獲取。對立體顯著度圖進(jìn)行優(yōu)化處理，立體顯著度圖經(jīng)過模糊原理處理及掩膜優(yōu)化得到顯著立體圖像。3)主觀實驗。將顯著立體圖像進(jìn)行色度分級步長變換并進(jìn)行主觀實驗。4)得到舒適色度匹配圖和舒適色度差異圖。實驗流程圖如圖2所示。
下面將對各個步驟進(jìn)行詳細(xì)的分析：
1.立體顯著度圖的獲取
立體圖像要比單視點(diǎn)圖像具有更多的信息量，人眼不可能在短時間內(nèi)匹配所有的特征邊緣，大多數(shù)人只關(guān)注那些“重要區(qū)域”，然后提取這些區(qū)域中對象的邊界，并最終匹配這些邊界形成立體視覺。根據(jù)人眼的立體視覺注意特性，觀察者會對圖像中顯著區(qū)域的內(nèi)容更為關(guān)注[25]，因此，可以采用顯著立體圖像的舒適度來反映整幅立體圖像的舒適度情況，以提高測試準(zhǔn)確率并減少計算復(fù)雜度。立體圖像的視差特性和空間頻率都會影響視覺舒適度[26]。因此，通過立體圖像視差圖和二維圖像顯著圖最終獲得立體顯著度圖。
二維圖像顯著圖通過圖像本身的亮度、色度、對比度和空間頻率等因素進(jìn)行計算。本文采用gbvs算法[27]計算得到右視點(diǎn)平面顯著圖，記為smr(x,y)。采用快速立體匹配算法[28]得到以右視點(diǎn)為基準(zhǔn)的視差圖，記為dr(x,y)。采用線性方式將平面視覺顯著圖smr(x,y)和右視差圖像dr(x,y)進(jìn)行加權(quán)得到立體顯著度圖i(x,y)，如公式(1)：
i(x,y)＝w1dr(x,y)+w2smr(x,y)(1)
式中：i(x,y)為立體顯著度圖；w1和w2為加權(quán)比重，且w1+w2＝1；本文中取w1＝w2＝0.5[29]。
2.顯著立體圖像的獲取
由于得到的立體顯著度圖的灰度值l在0-255之間，即l∈(0，255)，圖像的灰度分布和顯著區(qū)域邊緣等信息都具有模糊性，無法直接根據(jù)這個立體顯著度圖明確劃分為顯著區(qū)域和非顯著區(qū)域，因此需要確定一個閾值，使之能夠?qū)⒒叶蕊@著度圖進(jìn)行劃分。論文利用模糊數(shù)學(xué)的理論來描述圖像的特征信息[30]，將立體顯著度圖進(jìn)行優(yōu)化，得到優(yōu)化后的顯著圖為二值圖像，稱為掩模圖像[26]，像素點(diǎn)的像素值為1表明原立體圖像中的該點(diǎn)屬于顯著區(qū)域，反之屬于非顯著區(qū)域。具體過程如下：
假設(shè)論域x為立體顯著度圖，將論域中的元素分為兩類，顯著區(qū)域a和非顯著區(qū)域b，a和b是x的一個劃分，即：
a∪b＝x
a∩b＝φ
立體顯著度圖的灰度值表示原始圖像中該像素點(diǎn)屬于顯著區(qū)域的程度，因此可以直接給出隸屬函數(shù)，如公式(2)，a(x,y)表示像素點(diǎn)(x,y)處的灰度值l對顯著區(qū)域a的隸屬度。
因為最終目標(biāo)是得到顯著區(qū)域a，因此需要去模糊[30]。本文采用閾值分割的方法，分割閾值t由最大類間方差方法確定[31]。通過該閾值去模糊得到掩模圖像m(x,y)[28],如公式(3)：
對于立體顯著度圖i(x,y)中的任一像素點(diǎn)(x,y)，若a(x,y)對顯著區(qū)域的的隸屬度大于閾值t，則該像素點(diǎn)屬于視覺顯著性區(qū)域，對應(yīng)掩模圖像m(x,y)中的白色區(qū)域，否則屬于黑色區(qū)域。為了去除掩膜圖像邊緣的毛刺及空洞現(xiàn)象，采用形態(tài)學(xué)的開閉運(yùn)算對掩膜圖像m(x,y)進(jìn)行優(yōu)化得到優(yōu)化掩膜圖像m'(x,y)。
最后將優(yōu)化掩模圖像與原始視點(diǎn)圖像相乘得到顯著立體圖像，如圖3(a-g)所示。圖3分別給出了4組立體圖像右視點(diǎn)、視差圖、平面顯著圖、立體顯著度圖、掩膜圖像、優(yōu)化掩膜圖像和顯著立體圖像。
3.眼動儀實驗驗證
為了驗證本文算法所得顯著立體圖像的顯著性區(qū)域是否為真值，本文采用眼動儀對源立體圖像的顯著區(qū)域進(jìn)行主觀測量。每次實驗前先進(jìn)行校準(zhǔn)實驗和基準(zhǔn)測量，當(dāng)被試者對校準(zhǔn)基準(zhǔn)點(diǎn)的觀測誤差小于1度時進(jìn)行實驗。每張圖片隨機(jī)呈現(xiàn)且呈現(xiàn)時間為5s。根據(jù)眼動儀測量出的圖像感興趣區(qū)域的熱圖，與本文的顯著立體圖像區(qū)域?qū)Ρ劝l(fā)現(xiàn)，二者所提出的顯著區(qū)域基本一致，圖4為眼動儀測量出的圖像感興趣區(qū)域的熱圖。
眼動儀實驗以顏色暖色度來顯示注視點(diǎn)的時間和位置的動態(tài)變化，圖4中標(biāo)記為紅色、黃色的區(qū)域表明注視時間最長，也是最為顯著的部分。綠色標(biāo)記部分表示較為重要，被試者在實驗中對此部分較為感興趣；藍(lán)色標(biāo)記部分表示重要程度較低，但在實驗中被試者也對藍(lán)色標(biāo)記部分進(jìn)行了關(guān)注；無標(biāo)記部分表示被試者在實驗階段內(nèi)對此部分關(guān)注很少或沒有關(guān)注，表示非顯著區(qū)域。
通過將圖4眼動儀實驗顯著熱圖與圖3的立體顯著圖對比發(fā)現(xiàn)，本文算法獲得的立體顯著區(qū)域與主觀實驗的結(jié)果基本一致，表明該方法能夠很好的提取立體圖像的顯著區(qū)域，且與主觀實驗的結(jié)論有很強(qiáng)的一致性。
4.主觀實驗
hsv顏色模型[32]是根據(jù)顏色的直觀特性創(chuàng)建的一種顏色空間，比rgb顏色空間更接近于人們的經(jīng)驗和對彩色的感知。因此，本實驗采用hsv顏色模型提取圖像的色度分量。在hsv顏色模型中，人眼大約可分辨128種色度，色調(diào)變化范圍從0°到360°，故人眼可分辨的最小色度變化值約為3°。若對立體圖像左右視點(diǎn)分別進(jìn)行以3為步長的色度變化處理，那么，左右視圖各得到120幅色度變化后的圖像，左右視圖兩兩組合后共得到14400幅立體色度圖像。如果將這些立體圖像讓被試者逐一進(jìn)行主觀評分，立體圖像過多，進(jìn)行主觀實驗費(fèi)時費(fèi)力。
因此本文采用由粗到細(xì)的逐級逼近法[15]進(jìn)行數(shù)據(jù)處理，該方法的中心思想是先以大步長分級找出立體圖像舒適與不舒適色度的兩個邊界；然后用小步長將兩個亮度邊界中間的色度值細(xì)化，再次找出小步長舒適與不舒適的色度邊界；進(jìn)行多次細(xì)化與實驗，最終達(dá)到人眼的最小色度分辨率，找出舒適與不舒適色度的色度值。采用逐級逼近法，將步長逼近級數(shù)分為3級，第一級步長到第三級步長分別為75、15和3[15]。采用三級步長對立體圖像色度進(jìn)行線性變換。若對立體圖像左右視圖分別進(jìn)行三級步長處理，則主觀實驗測試圖像數(shù)量依然很多，且第一級色度步長變化較大，意味著色度變化很明顯，主觀實驗時人眼不好判斷舒適色度范圍。主觀評價實驗表明，當(dāng)顯著立體圖像左右視圖中一個視圖(左或右)色度值在[0°,360°]范圍內(nèi)變化時，另一視圖(右或左)總能找到相應(yīng)的色度值范圍，使他們組合而成的立體圖像的舒適度良好。因此，本實驗僅對左視圖進(jìn)行第2級步長分段，對右視圖進(jìn)行第1級、第2級、第3級步長分段。
實驗使用matlab2014b對顯著立體圖像的獲取和各級色度變化進(jìn)行處理，處理步驟如下：
a.選取源立體圖像，得到立體顯著度圖并最終得到顯著立體圖像。
b.將顯著立體圖像進(jìn)行顏色空間變換，由rgb空間轉(zhuǎn)換到hsv顏色空間，提取圖像色度h。根據(jù)a中的顯著立體圖像確定圖像的顯著與非顯著部分。顯著區(qū)域為源立體圖像中對應(yīng)的像素，非顯著部分用灰度為255的圖像進(jìn)行覆蓋，如圖5所示。
c.對顯著立體圖像左視圖色度以步長15進(jìn)行變換，得到24幅左視圖，對顯著立體圖像右視圖色度以步長72進(jìn)行變換，得到5幅右視圖；兩兩組合后可以得到120幅待測顯著立體圖像。
d.對步驟c中的120幅顯著立體圖像進(jìn)行主觀評分，選取
e.由于第一級步長較大，對滿足舒適度要求的邊界處的視圖進(jìn)行第二級步長的細(xì)化。對步驟d中色度值范圍n1rup、n1rup'和n1rdown、n1rdown'進(jìn)行第二級的步長變化，得到10幅二級右視圖，因此左右視圖兩兩組合后可以得到240幅待測顯著立體圖像。
f.對步驟e中的240幅顯著立體圖像進(jìn)行主觀評分，選取
g.同理，對步驟f中色度值范圍n2rup、n2rup'和n2rdown、n2rdown'進(jìn)行第三級的步長變化，得到12幅三級右視圖，因此左右視圖兩兩組合后可以得到288幅待測顯著立體圖像。
h.對步驟g中的288幅顯著立體圖像進(jìn)行主觀評分，選取
采用三級步長逼近法共得到648幅待測圖像，遠(yuǎn)小于理論上得到的14400幅待測立體圖像數(shù)量，大大減少了實驗的數(shù)量，而且也能得到很好的實驗結(jié)果。
實驗設(shè)備及素材
實驗設(shè)備立體顯示器采用冠捷(aoc)公司的22英寸偏光式3d立體顯示器。眼動儀采用德國smi公司的iviewxred，眼動儀用來驗證論文算法所獲得立體顯著區(qū)域的正確性。
實驗素材選用韓國先進(jìn)科學(xué)技術(shù)院所提供的立體圖像數(shù)據(jù)庫作為立體圖像樣本數(shù)據(jù)集合[20]。該立體圖像庫包含多種類型的圖像(人類，樹木，建筑等)，共120對分辨率為1920x1080的立體圖像組成。本實驗選取該立體圖像庫中四幅源立體圖像pingpang.bmp、signboard.bmp、kid.bmp和flower.bmp，如圖1所示，這4幅源立體圖像的立體感強(qiáng)，具有非常好的視覺舒適度。
實驗環(huán)境及被試者
為避免雜散光影響被試者的主觀評價結(jié)果，實驗需在暗室中進(jìn)行[21]。對于22英寸全高清顯示器，觀看距離應(yīng)為屏幕高度的三倍距離[22]。
為保證實驗結(jié)果的正確性，所有參與實驗的人員均為天津眼科醫(yī)院進(jìn)行雙目視覺功能測試的合格被使者。實驗選取雙目視覺生理正常的被試者共28人，其中男性13人，女性15人；有立體技術(shù)研究背景的12人，沒有立體技術(shù)研究背景的16人，且被試者主眼都是右眼。
主觀評價
主觀評價是該論文實驗定量研究的重要依據(jù)。實驗前，先向被試者介紹實驗評價方法和評分等級；然后對被試者進(jìn)行實驗訓(xùn)練使其更加明白評分規(guī)則，保證實驗評分結(jié)果的普適性。其中，訓(xùn)練圖像為包含各種舒適度等級的幾幅圖像，使被試者能正確理解圖像所屬等級。為避免被試者因視覺疲勞而影響實驗評價結(jié)果，所以，每個測試階段不超過30分鐘[23]。
實驗測試采用單刺激方法，實驗中，同一幅待測圖像顯示2次，若同一被試者對同一立體圖像給出相差2級或者以上的評分時，此分值視為無效評分。根據(jù)itu-rbt.1438立體圖像主觀評價推薦準(zhǔn)則，將立體圖像的舒適度分為5個等級，如表1所示。允許被試者給出半分的分值，舒適度良好的立體圖像應(yīng)達(dá)到4分(含)以上[24]，即舒適立體圖像有效評分的統(tǒng)計平均值
下面結(jié)合技術(shù)方案詳細(xì)說明本方法：
一、顯著立體圖像的獲取
立體圖像要比單視點(diǎn)圖像具有更多的信息量，人眼不可能在短時間內(nèi)匹配所有的特征邊緣，大多數(shù)人只關(guān)注那些“重要區(qū)域”，然后提取這些區(qū)域中對象的邊界，并最終匹配這些邊界形成立體視覺。根據(jù)人眼的立體視覺注意特性，觀察者會對圖像中顯著區(qū)域的內(nèi)容更為關(guān)注[25]，因此，可以采用顯著立體圖像的舒適度來反映整幅立體圖像的舒適度情況，以提高測試準(zhǔn)確率并減少計算復(fù)雜度。立體圖像的視差特性和空間頻率都會影響視覺舒適度[26]。因此，通過立體圖像視差圖和二維圖像顯著圖最終獲得立體顯著度圖。
由于得到的立體顯著度圖的灰度值l在0-255之間，即l∈(0，255)，圖像的灰度分布和顯著區(qū)域邊緣等信息都具有模糊性，無法直接根據(jù)這個立體顯著度圖明確劃分為顯著區(qū)域和非顯著區(qū)域，因此需要確定一個閾值，使之能夠?qū)⒒叶蕊@著度圖進(jìn)行劃分。論文利用模糊數(shù)學(xué)的理論來描述圖像的特征信息[30]，將立體顯著度圖進(jìn)行優(yōu)化，得到優(yōu)化后的顯著圖為二值圖像，稱為掩模圖像[26]，為了去除掩膜圖像邊緣的毛刺及空洞現(xiàn)象，采用形態(tài)學(xué)的開閉運(yùn)算對掩膜圖像m(x,y)進(jìn)行優(yōu)化得到優(yōu)化掩膜圖像m'(x,y)。最后將優(yōu)化掩模圖像與原始視點(diǎn)圖像相乘得到顯著立體圖像。
為了驗證所得顯著立體圖像是否為真值，本發(fā)明采用眼動儀對源立體圖像的顯著區(qū)域進(jìn)行主觀測量。用以驗證算法所得的顯著區(qū)域與主觀值一致，實驗結(jié)果表明本發(fā)明算法獲得的立體顯著區(qū)域與主觀實驗的結(jié)果基本一致，表明該方法能夠很好的提取立體圖像的顯著區(qū)域，且與主觀實驗的結(jié)論有很強(qiáng)的一致性。
二、主觀實驗
因此本文采用由粗到細(xì)的逐級逼近法[15]進(jìn)行數(shù)據(jù)處理，該方法的中心思想是先以大步長分級找出立體圖像舒適與不舒適色度的兩個邊界；然后用小步長將兩個亮度邊界中間的色度值細(xì)化，再次找出小步長舒適與不舒適的色度邊界；進(jìn)行多次細(xì)化與實驗，最終達(dá)到人眼的最小色度分辨率，找出舒適與不舒適色度的色度值。采用逐級逼近法，將步長逼近級數(shù)分為3級，第一級步長到第三級步長分別為75、15和3[15]。采用三級步長對立體圖像色度進(jìn)行線性變換。若對立體圖像左右視圖分別進(jìn)行三級步長處理，則主觀實驗測試圖像數(shù)量依然很多，且第一級色度步長變化較大，意味著色度變化很明顯，主觀實驗時人眼不好判斷舒適色度范圍。主觀評價實驗表明，當(dāng)顯著立體圖像左右視圖中一個視圖(左或右)色度值在[0°,360°]范圍內(nèi)變化時，另一視圖(右或左)總能找到相應(yīng)的色度值范圍，使他們組合而成的立體圖像的舒適度良好。因此，本實驗僅對左視圖進(jìn)行第2級步長分段，對右視圖進(jìn)行第1級、第2級、第3級步長分段。
采用三級步長逼近法共得到648幅待測圖像，遠(yuǎn)小于理論上得到的14400幅待測立體圖像數(shù)量，大大減少了實驗的數(shù)量，而且也能得到很好的實驗結(jié)果。
三、實驗數(shù)據(jù)分析
對實驗數(shù)據(jù)采用最小二乘分段線性擬合來進(jìn)行處理[33]，其基本思想是將所測數(shù)據(jù)用分段的直線來逼近以便獲得相應(yīng)的數(shù)學(xué)模型，而直線段的擬合仍采用最小二乘法。運(yùn)用最小二乘法對4組實驗數(shù)據(jù)進(jìn)行處理，如圖(6)和圖(7)所示，圖(6)橫坐標(biāo)為左視圖色度值，縱坐標(biāo)為右視圖色度值；圖(7)橫坐標(biāo)為左視圖色度值，縱坐標(biāo)為左視點(diǎn)和右視點(diǎn)的色度差值；圖(7)中以左視圖為基準(zhǔn)，正值表示右視點(diǎn)色度值比左視點(diǎn)色度值大，負(fù)值表示右視點(diǎn)色度值比左視點(diǎn)色度值小。
1)不同的場景對立體圖像舒適度匹配區(qū)間大小有一定的影響。圖(6)中flower和kind形成鮮明對比，kind舒適色度區(qū)間明顯比flower舒適色度區(qū)間小。對于人物圖像，觀察者最先觀察到的是人的膚色問題，對于顏色匹配有一定的限制。人的眼睛內(nèi)有幾種辨別顏色的錐形感光細(xì)胞，分別對黃綠色、綠色和藍(lán)紫色(或稱紫羅蘭色)的光最敏感(波長分別為564、534和420納米)，如果辨別黃綠色的細(xì)胞受到的刺激略大于辨別綠色的細(xì)胞，人的感覺是黃色；如果辨別黃綠色的細(xì)胞受到的刺激大大高于辨別綠色的細(xì)胞，人的感覺是紅色。區(qū)間(50o,220o)，對應(yīng)顏色由紅色變?yōu)辄S色至藍(lán)色，此區(qū)間左右色度合成的顏色更符合人對于膚色的主觀意識，所以此區(qū)間范圍相對較大；而其他區(qū)間對于左視圖色度所能匹配的色度區(qū)間相對較小。對于flower這類圖像，由于人的喜好不同，各色的花都很受歡迎，所以其左視圖在任何色度區(qū)域與其匹配的右視圖色度范圍較大。
2)圖(6)為四組立體圖像舒適色度匹配圖，分段直線圍成的區(qū)域表示左右視圖的色度值在此區(qū)間組合下形成的立體圖像給觀看者的感覺是舒適的。圖(7)為四組立體圖像舒適色度差異圖，分段直線圍成的區(qū)域表示左右視圖色度值差異在何種范圍時，立體圖像視覺舒適度良好。根據(jù)圖(7)得出表1不同場景的舒適色度正最大差異值范圍和負(fù)最大差異值范圍。此數(shù)據(jù)證明了不同場景所對應(yīng)的色度區(qū)間不同。根據(jù)圖(6)、圖(7)和表1能夠看出，對于不同的場景，其舒適色度范圍是不同的。因此，為了使本文的方案具有普適性，對圖(6)和圖(7)所示的四組立體圖像舒適色度匹配圖和差異圖的實驗數(shù)據(jù)進(jìn)行平均，分別得到立體圖像舒適色度匹配圖和立體圖像舒適色度差異圖，如圖(8)和圖(9)所示。將圖(8)與圖(9)中直線擬合包圍區(qū)域分為r1、r2、r3、r4、r5等五個部分：
a.r1、r2、r3、r4、r5五部分為立體圖像評分
b.在r1和r5區(qū)域，左視圖色調(diào)變化范圍約為(320.0°,9.8°)，對應(yīng)顏色由紫色過渡至品紅至紅色。由于不同顏色的光子能量不同，人眼受刺激程度也不同。在hsv顏色模型中，當(dāng)色調(diào)從300.0°到360.0°，紫色分量衰減，色譜變成紅色。紅色波長能量較小，對人眼的刺激也較??；由于所選圖片場景不同，對于花朵類型的圖片在此區(qū)域舒適色度區(qū)域較寬，但是人物圖片在此區(qū)間的舒適色度變小，而圖(8)和圖(9)是四組立體圖像數(shù)據(jù)的統(tǒng)計平均，所以從圖中可以看出r1和r5區(qū)域的色度范圍會比r2小。
c.在r2區(qū)域，左視圖色調(diào)變化范圍約為(9.8°,200°)，對應(yīng)顏色由紅色變?yōu)辄S色至藍(lán)色，從圖中可以看出立體圖像舒適色度良好的范圍較寬。一是因為在此區(qū)間的色譜光子能量大小適中，對人眼的刺激較溫和，比較適宜人眼觀看；二是因為此區(qū)間對于多種類型的圖片顏色較適宜；綜上所述，當(dāng)左右視圖的色調(diào)值在此區(qū)間，立體圖像視覺舒適度范圍較寬。
d.在r3區(qū)域，左視圖色調(diào)變化區(qū)間約為(200°,220°)，對應(yīng)顏色為藍(lán)色，藍(lán)色等短波能量較大，對人眼的刺激過于強(qiáng)烈，導(dǎo)致視覺不舒適，但是由于此實驗為主觀實驗，人腦對于藍(lán)色光和綠色光有一定的偏愛。所以，舒適色度范圍較r2區(qū)域變窄但是比r4舒適色度范圍寬。
e.在r4區(qū)域，左視圖色調(diào)變化區(qū)間約為(220°,320°)，對應(yīng)顏色有藍(lán)色變?yōu)樽仙捎谒{(lán)色和紫色均為短波，紫色光的光子能量較大，對人眼的刺激也較大，導(dǎo)致人眼不舒適；而且，對于好多場景的圖片，紫色并不適合作為其圖片主色，先驗條件下，給人一種不舒適的感覺，因此從圖(8)和圖(9)可以看出r4區(qū)間色度范圍在整個舒適區(qū)域是最窄的。
四、實驗驗證
1.對比驗證
文獻(xiàn)[14]在沒有考慮視覺顯著性的情況下定量研究色度因素對視覺舒適度的影響，如圖(10)可以看出，折線包圍的色度范圍基本一致，說明顯著區(qū)域的舒適度能夠代表整幅立體圖像的舒適度，與理論一致。文獻(xiàn)[14]采用雙刺激的實驗方法，即給定原始圖像，讓被試者對測試圖像舒適與否進(jìn)行評價，會對被試者的主觀性有一定的限制。由于是有參考的主觀實驗，所以對于某些場景，其左視圖色度區(qū)間(0°,360°)，右視圖并不應(yīng)該都有舒適色度區(qū)間與之匹配。本文采用單刺激的實驗方法，較文獻(xiàn)[14]的雙刺激方法更符合人眼視覺的主觀性，其左視圖色度區(qū)間(0°,360°)右視圖都有一定的舒適色度區(qū)間，而且場景不同舒適色度區(qū)間大小也不同。本文得出的結(jié)論具有真實性，更能夠為立體內(nèi)容的制作提供有利的技術(shù)支撐，為立體內(nèi)容舒適標(biāo)準(zhǔn)的制作提供合理的方案。
2.測試驗證
為了驗證本文實驗得到的立體圖像舒適色度匹配圖和立體圖像舒適色度差異圖是否具有普適性，本文又另外選取了兩幅源立體圖像進(jìn)行結(jié)果驗證。所選圖像如圖(11)所示，將這兩幅立體圖像按照本文上述步驟進(jìn)行色度處理，由于考慮到圖片數(shù)量問題，因此實驗驗證僅僅對右圖片進(jìn)行第三級步長變化，每幅立體圖像得到120幅色度變化圖像，選取其中的80幅圖像進(jìn)行主觀實驗。然后按照本文上述主觀實驗方法讓被試者進(jìn)行主觀評分。對實驗結(jié)果進(jìn)行統(tǒng)計，其中，flowerone這組圖片中統(tǒng)計平均分
參考文獻(xiàn)
[1]pkingwm.viewingcomfortwithstereoscopicpictures:anexperimentalstudyonthesubjectiveeffectsofdisparitymagnitudeanddepthoffocus.journalofthesocietyforinformationdisplay，1995,3(3):101
[2]yanos,emotom,mitsuhashit.twofactorsinvisualfatiguecausedbystereoscopichdtvimages.displays,2004,25(4):141
[3]nojiriy,yamanoueh,hanazatoa,etal.visualcomfort/discomfortandvisualfatiguecausedbystereoscopichdtvviewing//proceedingsofspie.usa,2004:303
[4]speranzaf，tamwj，renaudr，etal.effectofdisparityandmotiononvisualcomfortofstereoscopicimages//proceedingsofspie.usa,2006:1
[5]lambooijm,ijsselsteijnw,fortuinm,etal.visualdiscomfortandvisualfatigueofstereoscopicdisplays:areview.journalofimagingscienceandtechnology,2009,53(3):1
[6]meestersl,ijsselsteijnw,seuntiensp.asurveyofperceptualevaluationsandrequirementsofthree-dimensionaltv.ieeetransactionsoncircuitsandsystemsforvideotechnology,2004,14(3):381
[7]zhenghd,yuyj,chengwm.areviewonthree-dimensionaldisplaytechniques.opticaltechnique,2008,34(3):426
(鄭華東,于瀛潔,程維明.三維立體顯示技術(shù)研究新進(jìn)展.光學(xué)技術(shù),2008,34(3):426)
[8]franklk.visualcomfortofbinocularand3ddisplays.display,2004,25(2):99
[9]panh,yuanch,dalys.3dvideodisparityscalingforpreferenceandpreventionofdiscomfort//proceedingsofspie,shanghai,2011:4
[10]yangl.theoreticalanalysisandexperimentalresearchofmulti-viewstationaryfreestereoimageprocessing[dissertation].tianjin:tianjinuniversity,2007
(楊蕾.多視點(diǎn)靜止自由立體圖像處理的理論分析及實驗研究[學(xué)位論文].天津：天津大學(xué)，2007)
[11]lixf,wangqh.autostereoscopicdisplayforvisualfatigue.liquidcrystalsanddisplays,2008,23(4):464
(李小方,王瓊?cè)A.自由立體顯示器觀看視疲勞.液晶與顯示，2008,23(4):464)
[12]isoiwa32005(e).imagesafety:reducingtheincidenceofundesirablebiomedicaleffectscausedbyvisualimagesequences.switzerland:isocopyrightofficeihs，2005
[13]zangyj,lism,weijj.measurementoftherangeofthebrightnessparameterinfluencingthecomfortofstereoscopicimages.electronicmeasurementtechnology,2012,35(2):59
(臧艷軍,李素梅,衛(wèi)津津,劉文娟.影響立體圖像舒適度的亮度范圍測定.電子測量技術(shù),2012,02:59)
[14]lism,fubb,zangyj,etal.measurementoftherangeofsaturationparameterinfluencingthecomfortofstereoscopicimages.journaloftianjinuniversity,2012,45(8):669
(李素梅，付貝貝，臧艷軍等.影響立體圖像舒適度的飽和度范圍的測定.天津大學(xué)學(xué)報,2012,45(8):669)
[15]liuc,lism,zhud,etal.quantitativeresearchofthehueparameterinfluenceonthevisualcomfortofstereoscopicimages.journalofoptoelectronicslaser,2014,01:178
(劉暢,李素梅,朱丹,臧艷軍.色度對立體圖像視覺舒適度影響的定量研究.光電子.激光,2014,01:178)
[16]liuch,lism.measurementofcontrastrangeaffectingcomfortofstereoscopicimages.journalofoptoelectronicslaser,2014,25(4):748
(劉暢，李素梅.影響立體圖像舒適度的對比度范圍的測定.光電子.激光,2014,25(4):748)
[17]zhud.researchoftheparallaxinfluencingthevisualcomfortofstereoscopicimages[dissertation].tianjin:tianjinuniversity,2014
(朱丹.影響立體圖像舒適度的視差研究[學(xué)位論文].天津：天津大學(xué)，2014)
[18]qinmp,yiumch,xingy,etal.ahybridoflocalandglobalsalienciesfordetectingimagesalientregionandappearance.ieeetransactionsonsystemsman&cyberneticssystems.2017,47(1):86.
[19]chengmm,zhanggx,mitranj,etal.globalcontrastbasedsalientregiondetection//proceedingsofcomputervisionandpatternrecognition,usa,2015,37(3):569
[20]ivylabstereoscopicimagedatabase[ol].[2013-03-12].http://ivylab.kaist.ac.kr/demo/3dvca/3dvca.html
[21]seuntiensp.visualexperienceof3dtv.eindhovenuniversityoftechnology,2006
[22]rec.itu-rbt.1438.subjectiveassessmentofstereoscopictelevisionpictures,2000
[23]thestateadministrationofradiofilmandtelevision.gb/t7401-1987,methodofsubjectiveassessmentofqualityofcolortvpictures.beijing:chinastandardspress,1987
(國家廣播電視總局.gb/t7401-1987彩色電視圖像質(zhì)量主觀評價方法.北京:中國標(biāo)準(zhǔn)出版社,1987)
[24]beijingtechnologyqualitycontroloffice.dbii/t384.5-2009,imageinformationmanagementsystemtechnical:imagequalityrequirementsandevaluationmethods.beijing:chinastandardspress,2009
(北京市質(zhì)量技術(shù)監(jiān)督局.dbii/t384.5-2009圖像信息管理系統(tǒng)技術(shù)規(guī)范第5部分：圖像質(zhì)量要求與評價方法.北京:中國標(biāo)準(zhǔn)出版社,2009)
[25]wangf.visualsaliencydetectionbasedoncontextandbackground[dissertation].dalianuniversityoftechnology,2013
(王飛.基于上下文和背景的視覺顯著性檢測[學(xué)位論文].大連理工大學(xué),2013)
[26]jiangqp,shaof,yum,etal.anobjectivestereoscopicimagevisualcomfortassessmentmetricbasedonvisualimportantregions.chinesejournalofelectronicsandinformationtechnology,2014,36(04):875
(姜求平,邵楓,蔣剛毅,郁梅,彭宗舉.基于視覺重要區(qū)域的立體圖像視覺舒適度客觀評價方法.電子與信息學(xué)報,2014,36(04):875)
[27]harel,jonathan,christofk,etal.graph-basedvisualsaliency.advancesinneuralinformationprocessingsystems,2007,19:545
[28]rhemannc,hosnia,bleyerm,etal.fastcost-volumefilteringforvisualcorrespondenceandbeyond//proceedingsofcomputervisionandpatternrecognition,usa,2011,35:3017
[29]wangj,dasilvamp,lecalletp,etal.computationalmodelofstereoscopic3dvisualsaliency.ieeetransactionsonimageprocessing,2013,22(6):2151
[30]lizhm.researchonimagesegmentationalgorithmbasedonfuzzyclustering[dissertation].hunanuniversity,2009
(李志梅.基于模糊聚類的圖像分割算法研究[學(xué)位論文].湖南大學(xué),2009)
[31]yuwj.studyofotsuimagesegmentationbasedonimprovedgeneticalgorithm[dissertation].hainanuniversity,2012
(余文姣.基于改進(jìn)遺傳算法的最大類間方差圖像分割方法研究[學(xué)位論文].海南大學(xué),2012)
[32]tonglf,tuy.danieldenengelsen.digitaltvdisplaytechnology.beijin:electronicsindustrypress,2007,112
(童林夙,屠彥.danieldenengelsen.數(shù)字電視顯示技術(shù).北京：電子工業(yè)出版社,2007,112)
[33]xieyb.leastsquarepiecewiselinearfitting.modernelectricpower,1992,01:19
(謝友寶.最小二乘法分段直線擬合.現(xiàn)代電力,1992,01:19)。
- 還沒有人留言評論。精彩留言會獲得點(diǎn)贊！