專利名稱：基于感興趣區(qū)域內(nèi)運動特征的立體視覺舒適度評價方法
技術(shù)領(lǐng)域：
本發(fā)明涉及雙眼立體視覺領(lǐng)域，具體地說，涉及的是一種基于立體視頻感興趣區(qū)域內(nèi)運動特征的立體視覺舒適度評價方法。
背景技術(shù)：
立體視覺舒適度評價標(biāo)準(zhǔn)是根據(jù)立體視頻的視覺特性(如視差特征、運動特征等)，建立相應(yīng)的標(biāo)準(zhǔn)來判斷和預(yù)測立體視頻對觀測者造成的立體視覺舒適程度。隨著立體電視技術(shù)的高速發(fā)展，立體視覺舒適度評價標(biāo)準(zhǔn)逐漸引起人們的關(guān)注。因為在立體視覺安全領(lǐng)域中，立體視覺舒適度評價標(biāo)準(zhǔn)在預(yù)測立體視覺疲勞和不舒適性中起到關(guān)鍵的作用。在預(yù)防立體視覺疲勞和不舒適性的分析過程中，視覺的輻輳調(diào)節(jié)沖突和在時間域與空間域中視差特征變化、運動特征變化是導(dǎo)致立體視覺不舒適的關(guān)鍵因素。本發(fā)明中著重關(guān)注立體視頻感興趣區(qū)域內(nèi)運動特征和立體視覺舒適度之間的關(guān)系，所提出的基于立體視頻感興趣區(qū)域內(nèi)運動特征的立體視覺舒適度評價方法，在立體視頻拍攝及后期制作過程中，提供立體舒適性質(zhì)量評價參考值，有助于提高成片后立體視頻的人眼觀看的安全性。經(jīng)過對現(xiàn)有技術(shù)文獻的檢索發(fā)現(xiàn)，Jaeseob Choi等人于2010年在《IEEE ImageProcessing International Conference (圖像處理國際會議)》上發(fā)表的“Visual fatigueevaluation and enhancement for 2D_plus_Depth video (關(guān)于 2D_Plus_Depth 視頻的視覺疲勞的評價方法)”中提出根據(jù)立體視頻幀內(nèi)深度值特征和幀間深度值特征來評估立體視頻的運動特征，進而對立體視覺舒適度進行評價。又經(jīng)檢索發(fā)現(xiàn)，Sumio Yano等人于2002年在《Displays (顯示)》上發(fā)表的“Astudy of visual fatigue and visual comfort fr 3D HDTV/HDTV images (關(guān)于 3D 高清電視的視覺疲勞和舒適性的研究)”中提出基于全局視差信息，分析建立表征運動特征的運動特征比率值，進而對立體視覺舒適度進行評價；該運動特征比率值描述著在立體視頻序列中相對快速運動的運動信息與相對慢速運動的運動信息的比值。又經(jīng)檢索發(fā)現(xiàn)，Y.J.Jung等人于2012年在《Journal of Electronic Imaging(電子圖像期刊)》上發(fā)表的“Visual comfort assessment metric based on salient objectmotion information in stereoscopic video (基于立體視頻序列中顯著性運動信息的視覺舒適性評價)”中采用基于人眼關(guān)注模型的立體視覺舒適度評價方法；首先，基于稠密光流跟蹤方法獲取立體視頻的運動信息；其次，綜合分析提取立體視頻的顯著性區(qū)域內(nèi)運動特征；根據(jù)立體視頻的運動特征和立體視覺舒適度之間的非線性關(guān)系，建立評估立體視頻舒適度的評價標(biāo)準(zhǔn)。然而上述三種評價標(biāo)準(zhǔn)存在一定的問題:首先，上述提及的第一種和第二種評價標(biāo)準(zhǔn)基于全局視差信息進行分析和判斷；根據(jù)人眼關(guān)注模型，相比于全局視差信息，感興趣區(qū)域內(nèi)視差信息在立體視覺舒適度評價標(biāo)準(zhǔn)中起到更加顯著和重要的作用，從而提高立體視覺舒適度判斷的準(zhǔn)確性；其次，上述提及的第三種評價標(biāo)準(zhǔn)基于立體視頻感興趣區(qū)域內(nèi)塊級運動特征；相比于像素級運動特征，它不能精確地反映立體視頻在時間域和空間域中運動特征的變化情況；同時，第三種評價標(biāo)準(zhǔn)采用稠密光流跟蹤方法來獲取運動信息；相比于稀疏光流跟蹤方法，它的魯棒性不好，需要消耗較大的運算時間；此外，在提取感興趣區(qū)域的過程中，并沒有結(jié)合深度空間信息來進一步提高感興趣區(qū)域提取的準(zhǔn)確性。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的上述不足，提出一種更加高效、準(zhǔn)確和穩(wěn)定的基于感興趣區(qū)域內(nèi)運動特征的立體視覺舒適度評價方法。為實現(xiàn)上述的目的，本發(fā)明采用的技術(shù)方案是:本發(fā)明根據(jù)人眼關(guān)注模型，通過提取立體視頻感興趣區(qū)域的運動特征來評價立體視覺舒適度。首先，制定提取立體視頻感興趣區(qū)域內(nèi)運動特征向量策略；在提取運動特征向量策略中，首先基于SIFT提取特征角點集；其次，選擇基于圖像金字塔的Lucas-Kanade光流跟蹤，篩選得到具有時間一致性的特征角點對；最后，選擇SMDE提取立體視頻感興趣區(qū)域，篩選得到具有時間一致性和位于空間感興趣區(qū)域內(nèi)的特征角點對，得到立體視頻感興趣區(qū)域內(nèi)運動特征向量。其次，通過主觀測試建立表征立體視頻運動特征和立體視覺舒適度之間非線性關(guān)系的立體視覺模型。最后，基于感興趣區(qū)域內(nèi)運動特征向量和立體視覺模型，選擇空間域均值策略、最小值整合策略和時域中值策略，制定立體視覺舒適度評價方法。本發(fā)明方法具體包括如下步驟:第一步，制定提取立體視頻感興趣區(qū)域內(nèi)運動特征向量策略，得到立體視頻感興趣區(qū)域內(nèi)運動特征向量；針對立體視頻，選擇左視圖作為視點參考視圖，包括如下步驟:I)基于SIFT特征點提取，分別提取立體視頻參考視圖第i幀Xi的特征角點集CPi和立體視頻參考視圖第i +Ι幀Xi+1的特征角點集CPi+1 ；2)選擇基于圖像金字塔的Lucas-Kanade光流跟蹤算法，篩選得到立體視頻參考視圖第i幀Xi與第i+Ι幀Xi+1間具有時間一致性的特征角點對CPPi=KCPiil, CPi+ljl)，…，(CPi,N，CPi+1,N)}，其中，N為匹配到的點對數(shù)；3)采用綜合分析提取立體視頻參考視圖第i幀Xi的顯著圖信息、運動圖信息和深度空間信息的SMDE方法，提取立體視頻參考視圖第i幀Xi的感興趣區(qū)域BROIi,從CPPi中篩選得到視頻第i幀Xi與第i+Ι幀Xi+1間具有時間一致性并位于空間感興趣區(qū)域內(nèi)的特征角點對ROICPP1:RoiCPPi=KCP' ia，CP' i+ia)，…，(CP' i；M, CPi i+1，M)} (Μ 彡 N)，其中，M 為感興趣區(qū)域上的匹配點對數(shù)。具體而言，SMDE方法提取立體視頻的感興趣區(qū)域BROIi的步驟如下:a)基于頻域調(diào)節(jié)的顯著性區(qū)域檢測方法，提取得到立體視頻參考視圖第i幀Xi的顯著圖Salienti ；b)基于稀疏矩陣降秩分解的方法，提取得到立體視頻參考視圖第i幀Xi的運動圖Motioni ；c)采用基于區(qū)域的視差預(yù)測方法，得到立體視頻參考視圖第1幀Xi的深度圖Depthi和視差彳目息Disi ；d)基于評價框架的感興趣區(qū)域提取策略，釆用自適應(yīng)閾值方法，即設(shè)置各圖的平均值作為相應(yīng)閾值，得到顯著二值圖BSalientp運動二值圖BMotioni和深度二值圖BDepthi ；e)基于顯著二值圖BSalientp運動二值圖BMotioni和深度二值圖
顯著圖信息、運動信息和深度空間信息不同的權(quán)重，進而得到感興趣區(qū)域權(quán)重圖ROIi ;具體而H，ROIi= a ^BSalienti+ β ^BMotioni+ y ^BDepthi其中α，β和Y分別為顯著圖信息，運動信息和深度空間信息的權(quán)重；此外，α，β和Y的取值有如下約束:α+β + Y =1 ;f)基于感興趣區(qū)域權(quán)重圖ROIi,計算感興趣區(qū)域權(quán)重圖的平均權(quán)重值；采用自適應(yīng)閾值方法，即設(shè)置計算得到的平均權(quán)重值為閾值，得到感興趣區(qū)域權(quán)重二值圖BROIi ；4)基于SMDE計算立體視頻參考視圖第i幀Xi與第i+Ι幀Xi+1對應(yīng)的全局視差信息Disi, Disi+1,得到立體視頻參考視圖感興趣區(qū)域內(nèi)運動特征向量MFi ;具體而言，運動特征向量第k個元素MFi,,的計算公式如下為:MFiik=Imotionxiik, motionyi，k, motionzi,k，disi；k},O < k ^ M ；MFi, k各分量的計算公式為:
權(quán)利要求
1.一種基于感興趣區(qū)域內(nèi)運動特征的立體視覺舒適度評價方法，其特征在于，包括如下步驟: 第一步，制定計算立體視頻感興趣區(qū)域內(nèi)運動特征向量策略，得到立體視頻感興趣區(qū)域內(nèi)運動特征向量； 第二步，基于人眼視覺模型，建立運動特征和立體視覺舒適度之間非線性關(guān)系的立體視覺模型； 第三步，基于立體視頻感興趣區(qū)域內(nèi)運動特征向量和非線性立體視覺模型，制定立體視覺舒適度評價方法，最終得到立體視頻的視覺舒適度評分VC。
2.根據(jù)權(quán)利要求1所述的基于感興趣區(qū)域內(nèi)運動特征的立體視覺舒適度評價方法，其特征在于，所述制定計算立體視頻感興趣區(qū)域內(nèi)運動特征向量策略:針對立體視頻，選擇左視圖作為視點參考視圖，具體包括如下步驟: 1)，基于SIFT特征點提取，分別提取立體視頻參考視圖第i幀Xi的特征角點集CPi和立體視頻參考視圖第i+Ι幀Xi+1的特征角點集CPi+1 ； 2)，選擇基于圖像金字塔的Lucas-Kanade光流跟蹤算法，篩選得到立體視頻參考視圖第i幀Xi與第i+Ι幀Xi+1間具有時間一致性的特征角點對CPPi=KCPiil, CPi+ljl)，…，(CPi,N，CPi+1,N)}，其中，N為匹配到的點對數(shù)； 3)，采用綜合分析提取立體視頻參考視圖第i幀Xi的顯著圖信息、運動圖信息和深度空間信息的SMDE方法，提取立體視頻參考視圖第i幀Xi的感興趣區(qū)域BROIi,從CPPi中篩選得到視頻第i幀Xi與第i+Ι幀Xi+1間具有時間一致性并位于空間感興趣區(qū)域內(nèi)的特征角點對 ROICPP1:ROICPPi= ((CPi i；1,CP/ i+ia),…，(CP' i’M’CP' i+1’M)}(M ≤ N) 其中，M為感興趣區(qū)域上的匹配點對數(shù)； 4)，基于SMDE計算立體視頻參考視圖第i幀Xi與第i+Ι幀Xi+1對應(yīng)的全局視差信息DisijDisi+!,得到立體視頻感興趣區(qū)域內(nèi)運動特征向量MFi ;運動特征向量第k個元素MFiJ為: MFijk= {motionxijk, motionyi,k, motionzi,k, disijk},0 < k ≤ M ； MFi, k各分量的計算公式為:
3.根據(jù)權(quán)利要求1或2所述的基于感興趣區(qū)域內(nèi)運動特征的立體視覺舒適度評價方法，其特征在于:所述第三步，具體實現(xiàn)如下: I )，基于運動特征向量MFi,選擇空間域均值策略，計算得到經(jīng)過空間域均值選擇的立體視頻運動特征向量Mif^ed，其公式如下:
全文摘要
本發(fā)明公開一種基于感興趣區(qū)域內(nèi)運動特征的立體視覺舒適度評價方法首先，制定計算立體視頻感興趣區(qū)域內(nèi)運動特征向量策略；然后，通過主觀測試建立表征立體視頻運動特征和立體視覺舒適度之間非線性關(guān)系的立體視覺模型。最后，基于立體視頻感興趣區(qū)域內(nèi)運動特征向量和非線性立體視覺模型，選擇空間域均值策略、最小值整合策略和時域中值策略，制定立體視覺舒適度評價方法。本發(fā)明提出的評價結(jié)果和人眼主觀立體舒適性結(jié)果一致性更好。
文檔編號H04N13/00GK103096122SQ20131002745
公開日2013年5月8日 申請日期2013年1月24日 優(yōu)先權(quán)日2013年1月24日
發(fā)明者周軍, 畢野, 王嶺, 孫軍, 張艷芳 申請人:上海交通大學(xué)