基于立體圖像特征的立體圖像舒適度檢測(cè)方法
【專利摘要】本發(fā)明公開一種基于立體圖像特征的立體圖像舒適度檢測(cè)方法。該方法關(guān)注立體圖像的視差和運(yùn)動(dòng)特征與立體圖像舒適度之間的關(guān)系，首先需要獲取立體圖像的視差和運(yùn)動(dòng)相關(guān)的若干特征，然后通過主觀實(shí)驗(yàn)建立表征立體圖像特征和立體圖像舒適度之間非線性關(guān)系的舒適度模型，最后即可根據(jù)立體圖像的特征和非線性舒適度模型，對(duì)立體圖像進(jìn)行客觀地舒適度評(píng)價(jià)。本發(fā)明可根據(jù)比較直觀的若干圖像特征計(jì)算出其立體圖像舒適度，從而為立體圖像的評(píng)價(jià)、制作等提供參考。
【專利說明】基于立體圖像特征的立體圖像舒適度檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于三維顯示評(píng)估領(lǐng)域，具體涉及一種基于立體圖像特征的立體圖像舒適度檢測(cè)方法。
【背景技術(shù)】
[0002]雖然立體顯示技術(shù)在電視廣播、圖像游戲、會(huì)議、醫(yī)療、教育、商業(yè)等領(lǐng)域的應(yīng)用越來越多。但目前由于技術(shù)和成本的限制，觀看立體顯示還在很多風(fēng)險(xiǎn)隱患，如視疲勞，圖像不適等。這些問題不僅嚴(yán)重影響用戶體驗(yàn)，也制約了立體顯示技術(shù)的發(fā)展和普及。因此，研究立體顯示舒適度的各項(xiàng)影響因素，進(jìn)而采取措施預(yù)防和緩解圖像不適，對(duì)改善立體顯示觀看體驗(yàn)具有重要的意義。
[0003]大量的研究表明，影響立體顯示觀看舒適度的因素主要包括三個(gè)方面:一是立體顯示設(shè)備性能不佳；二是人的生理原因；三是立體內(nèi)容的原因。其中立體內(nèi)容方面可進(jìn)一步細(xì)分為視差、運(yùn)動(dòng)、場(chǎng)景復(fù)雜度等因素。為了有針對(duì)性的研究某種立體內(nèi)容特性對(duì)舒適度的影響，目前普遍的做法是制作動(dòng)態(tài)立體圖像，從而控制拍攝圖像中存在的眾多不可控因素。其中，視差和運(yùn)動(dòng)是影響立體圖像舒適度最重要的兩個(gè)因素。一方面，隨著視差的增大，用戶的舒適程度會(huì)隨之下降，甚至?xí)霈F(xiàn)一系列的生理不適癥狀，如頭疼、惡心等。另一方面，物體的運(yùn)動(dòng)(平面或深度)也已被證實(shí)對(duì)舒適度有很大的影響。由于深度方向的運(yùn)動(dòng)伴隨著雙眼視差量級(jí)的時(shí)序變化，相關(guān)研究已經(jīng)證明它對(duì)舒適度的影響可能會(huì)比絕對(duì)的雙眼視差還要嚴(yán)重。而有關(guān)平面運(yùn)動(dòng)對(duì)舒適度的影響的研究目前還沒有比較系統(tǒng)的結(jié)論。
[0004]專利CN102595187B、CN102497565B等研究了影響立體圖像舒適度的亮度、色度范圍的測(cè)定，但在包括這些方案在內(nèi)的眾多相關(guān)研究中，幾乎都沒有考慮運(yùn)動(dòng)物體的數(shù)量對(duì)舒適度的影響，所使用的立體視差只處于舒適視差范圍之內(nèi)(±1° )，對(duì)該范圍之外的視差情況則沒有分析。這些研究普遍存在的問題還包括各因素的取值個(gè)數(shù)偏少，幾乎沒有考慮不同因素之間的綜合作用，比如物體的運(yùn)動(dòng)速度和尺寸、視差和數(shù)量等。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有方法中在檢測(cè)和評(píng)價(jià)立體圖像的圖像舒適度時(shí)存在的不足，本發(fā)明提供一種基于立體圖像特征的立體圖像舒適度檢測(cè)方法，本方法可根據(jù)比較直觀的若干圖像特征計(jì)算出其立體圖像舒適度，從而為立體圖像的評(píng)價(jià)、制作等提供參考。
[0006]本發(fā)明著重關(guān)注立體圖像的視差和運(yùn)動(dòng)特征，首先獲取立體圖像的視差和運(yùn)動(dòng)相關(guān)的若干特征，然后通過主觀實(shí)驗(yàn)建立表征立體圖像特征和立體圖像舒適度之間非線性關(guān)系的舒適度模型，最后即可根據(jù)立體圖像的特征和非線性舒適度模型，對(duì)立體圖像進(jìn)行舒適度檢測(cè)和評(píng)價(jià)，進(jìn)而在立體圖像拍攝及后期制作過程中，提供立體舒適性質(zhì)量評(píng)價(jià)參考，有助于提高立體資源的實(shí)際觀看安全性和用戶體驗(yàn)。
[0007]具體來說，本發(fā)明采用的技術(shù)方案如下:
[0008]一種基于立體圖像特征的立體圖像舒適度檢測(cè)方法，其步驟包括:[0009]I)選擇立體圖像的四種特征值，包括:運(yùn)動(dòng)物體的個(gè)數(shù)(N)、大?、?、速度(V)、深度⑶；
[0010]2)對(duì)上述四種圖像特征的數(shù)值進(jìn)行設(shè)定，即立體圖像中運(yùn)動(dòng)物體的個(gè)數(shù)可以有(η” η2,…，nf, f = I, 2,…)個(gè),共f種，物體大小有g(shù)種(S1, S2,…，sg, g = I, 2,...),速度有h 種(V1, V2,..., vh, h = I, 2，...),深度有 k 種((I1, d2,..., dk, k = I, 2，...)；
[0011]3)基于步驟2)中的設(shè)置，將四種圖像特征的所有取值進(jìn)行類似笛卡爾積的組合處理，可得到L (f X gX h X k)個(gè)組合，進(jìn)而使用三維立體圖像制作工具生成具備上述L種取值情況的圖像片段；
[0012]4)對(duì)步驟3)中制作出的L個(gè)立體圖像進(jìn)行編號(hào)形成一個(gè)圖像序列(VedpVed2,…，VedL)；
[0013]5)進(jìn)行主觀實(shí)驗(yàn)，獲取用戶對(duì)上述立體圖像的主觀舒適度評(píng)分；
[0014]6)將經(jīng)過步驟5)得到的立體圖像的用戶主觀舒適度評(píng)分，與立體圖像的四種特征建立對(duì)應(yīng)關(guān)系，形成 L組數(shù)據(jù)(Ni, Si, Vi, Di, AvgVCScorei)，i = 1，2，…，L ;其中 Ni, Si, Vi, Di表示i號(hào)立體圖像中運(yùn)動(dòng)物體的個(gè)數(shù)、大小、速度和深度，AvgVCScorei表示i號(hào)立體圖像最終獲得的用戶主觀舒適度評(píng)分； [0015]7)對(duì)步驟6)中L組立體圖像特征與舒適度評(píng)分的對(duì)應(yīng)數(shù)據(jù)，進(jìn)行單因素逐步多元回歸，可得到四種圖像特征作為相互獨(dú)立的因素與主觀舒適度之間的非線性關(guān)系，形如VC1=W1XN+w2X S+w3X V+w4XD+θ!,其中VC1表示圖像舒適度得分，W1, w2, w3, W4代表各個(gè)參量的權(quán)重，θι是一個(gè)常量；
[0016]8)將四種圖像特征進(jìn)行兩兩組合，形成新的6個(gè)因素，即(N.S)、(N.V)、(N.D)、(S.V)、(S.D)、(V.D)，則步驟 6)中的 L 組數(shù)據(jù)可擴(kuò)充表示為(Ni, Si, Vi, Di, Ni.Si, Ni.Vi, Ni.Di, Si.Vi, Si.Di, Vi.Di, AvgVCScorei)，i = 1，2，…，L ;
[0017]9)對(duì)步驟8)中擴(kuò)充后的L組數(shù)據(jù)，進(jìn)行逐步多元回歸，可得到四種圖像特征及其相互組合形成的10個(gè)潛在因素與主觀舒適度之間的非線性關(guān)系；
[0018]10)根據(jù)步驟7)~9)得到的兩個(gè)立體圖像特征與圖像舒適度之間的非線性關(guān)系，進(jìn)而可通過回歸判定系數(shù)、斯皮爾曼等級(jí)相關(guān)系數(shù)或均方根誤差等方法來對(duì)其有效性和復(fù)雜性等各方面進(jìn)行判定，最終得到一個(gè)立體圖像特征與立體圖像舒適度非線性關(guān)系模型；
[0019]11)獲取目標(biāo)立體圖像的若干圖像特征，利用步驟10)得到的非線性立體圖像舒適度模型，計(jì)算得出該目標(biāo)立體圖像的舒適度估計(jì)值。
[0020]進(jìn)一步的，所述步驟I)中，立體圖像中運(yùn)動(dòng)物體的大小可以用物體所占的像素點(diǎn)個(gè)數(shù)表示(單位=Pixels)，運(yùn)動(dòng)速度用每秒鐘位移所跨越的像素點(diǎn)數(shù)表示(單位:pixel/s)，深度則用運(yùn)動(dòng)物體相對(duì)于左右眼形成的視角減去屏幕上對(duì)應(yīng)點(diǎn)相對(duì)于左右眼形成的視角來表示(單位:度° )。
[0021]進(jìn)一步的，所述步驟3)中三維立體圖像的制作可使用常見的3DSMAX軟件完成。為了保證每個(gè)圖像片段能給予觀看者足夠的時(shí)間產(chǎn)生對(duì)其效果的主觀感受，建議每個(gè)立體圖像片段時(shí)長(zhǎng)至少為15秒。
[0022]進(jìn)一步的，所述步驟5)進(jìn)行主觀實(shí)驗(yàn)的具體步驟如下:
[0023]a)建立一個(gè)立體顯示觀看環(huán)境，顯示設(shè)備可以是一般常見的3D顯示器，并準(zhǔn)備一張寫字桌用于記錄打分；[0024]b)對(duì)用戶進(jìn)行立體圖像篩查，當(dāng)其可辨認(rèn)立體圖像視差達(dá)到200"及以下，即認(rèn)為其可以參與實(shí)驗(yàn)，最終參與用戶數(shù)量為M個(gè)，編號(hào)為U1, U2,…，Um ；
[0025]c)將制作完成的立體圖像作為觀看內(nèi)容，以隨機(jī)的方式顯示，每個(gè)圖像播放結(jié)束后，顯示5至8秒左右的灰色圖片，此段時(shí)間內(nèi)用戶完成對(duì)剛剛觀看完的圖像的舒適度打分；
[0026]d)將用戶對(duì)立體圖像的舒適度打分記為VCScore (Vedi, Uj)，i = 1，2，…，L，j =1，2，…，M，表示j號(hào)用戶對(duì)i號(hào)圖像片段的舒適度評(píng)分；
[0027]e)最終每個(gè)立體圖像都獲得了 M個(gè)用戶的舒適度評(píng)分，進(jìn)而求平均可得每個(gè)立體圖像的用戶主觀舒適度評(píng)分AvgVCScorei, i = I, 2,…，L。
[0028]進(jìn)一步的，所述步驟5)中，參與檢測(cè)的用戶數(shù)量M越大越好，建議不少于15人。綜合越多用戶的體驗(yàn)感受，越能接近真實(shí)地對(duì)顯示設(shè)備或內(nèi)容進(jìn)行檢測(cè)。
[0029]進(jìn)一步的，所述步驟5)中，主觀實(shí)驗(yàn)需要注意對(duì)用戶的任務(wù)訓(xùn)練，以保證實(shí)驗(yàn)在相對(duì)一致的時(shí)間內(nèi)完成。在正式開始之前，訓(xùn)練用戶熟悉打分過程，并適應(yīng)實(shí)驗(yàn)的節(jié)奏，直到可以在規(guī)定的時(shí)間內(nèi)完成對(duì)每個(gè)立體圖像的舒適度打分。
[0030]進(jìn)一步的，所述步驟5)中，在進(jìn)行任務(wù)訓(xùn)練時(shí)，需要在所觀看的若干個(gè)立體圖像中插入一個(gè)參考圖像，該參考圖像是從所制作出的立體圖像資源中隨機(jī)選擇出來的。用戶在反復(fù)多次進(jìn)行訓(xùn)練的過程中，會(huì)形成對(duì)該參考圖像的多個(gè)舒適度評(píng)分，以這些評(píng)分的均值作為該參考視圖像對(duì)該名用戶的參考舒適度得分。同時(shí)，在正式實(shí)驗(yàn)中，該參考圖像會(huì)平均穿插到所觀看圖像序 列中，作為顯式參照，幫助用戶把握評(píng)分標(biāo)準(zhǔn)。
[0031]進(jìn)一步的，所述步驟5)中，為了防止長(zhǎng)時(shí)間觀看立體顯示造成用戶圖像疲勞，從而影響他們對(duì)圖像舒適度的評(píng)判，需要在實(shí)驗(yàn)中每隔30分鐘或其他合適的時(shí)間，讓用戶休息10至Ij 15分鐘。
[0032]進(jìn)一步的，所述步驟5)中，舒適度打分可參考ITU-R BT.500中使用的連續(xù)量表，打分范圍[0，10]，平均分為五個(gè)等級(jí)，每個(gè)等級(jí)跨越2分，精度0.1。[8，10]表示非常舒適、[6,8)表示舒適、[4，6)表示輕度不舒適、[2,4)表示不舒適、[O, 2)表示非常不舒適。
[0033]進(jìn)一步的，所述步驟7)中，進(jìn)行單因素逐步多元回歸時(shí)，可直接借助專業(yè)的統(tǒng)計(jì)分析軟件(如SPSS)完成，并且在這一過程中，統(tǒng)計(jì)分析軟件會(huì)根據(jù)各個(gè)因素對(duì)舒適度的最終相關(guān)性高低而自動(dòng)選擇是否將其加入到關(guān)系式中，因此有可能某些圖像特征并沒有出現(xiàn)在最終的模型關(guān)系中，形如VC’ = UlXS+u2XV+u3XD+e’。
[0034]進(jìn)一步的，所述步驟9)中，考慮到統(tǒng)計(jì)分析軟件會(huì)根據(jù)各個(gè)因素與主觀舒適度之間的相關(guān)性高低而自動(dòng)剔除某些因素，最終形成一個(gè)多因素交叉影響的舒適度模型，如VC2=P1X D+p2 X V+p3X S+p4 X N.V+p5XD.S+e2,其中 P1, p2, p3, p4, p5 代表各個(gè)參量的權(quán)重,其他變量含義與步驟7)相同。
[0035]進(jìn)一步的，所述步驟10)對(duì)所得兩個(gè)非線性立體圖像舒適度關(guān)系模型的有效性和復(fù)雜性等各方面進(jìn)行判定，可采用的判定方法包括評(píng)價(jià)模型擬合程度高低的擬合系數(shù)R2、評(píng)價(jià)模型精準(zhǔn)度的Pearson線性相關(guān)系數(shù)(CC)，檢測(cè)模型計(jì)算值與主觀值相關(guān)性的Spearman等級(jí)相關(guān)系數(shù)(ROCC)以及評(píng)價(jià)模型計(jì)算值誤差大小的均方根誤差(RMSE)。其判定標(biāo)準(zhǔn)是:⑴R2、CC和ROCC的值越高(越接近于I)，RMSE的值越小(越接近于O)，表示模型性能越好；(2)如果一個(gè)模型的RMSE值相比另一個(gè)模型要大，但對(duì)RMSE結(jié)果進(jìn)行T檢驗(yàn)得到的顯著性P值均滿足具體實(shí)驗(yàn)設(shè)定的可接受范圍，則可認(rèn)為兩個(gè)模型在RMSE分析中表現(xiàn)是相等的，如此只需要對(duì)比其他幾個(gè)判定方法的結(jié)果即可；(3)模型的復(fù)雜度可包括模型關(guān)系式中所需的參量的個(gè)數(shù)、測(cè)量各參量值的實(shí)際工作量和已具備的條件、所有數(shù)據(jù)的存儲(chǔ)與傳輸?shù)人璐鷥r(jià)，等等；(4)考慮到具體應(yīng)用中對(duì)最終模型的復(fù)雜度、性能要求會(huì)有不同，可適當(dāng)根據(jù)實(shí)際需要，決定是優(yōu)先考慮模型的性能，還是考慮模型的復(fù)雜度。
[0036]進(jìn)一步的，對(duì)步驟10)中所得到的非線性立體圖像舒適度關(guān)系模型，為了提高其有效性，應(yīng)進(jìn)行較大規(guī)模的實(shí)驗(yàn)，收集大量數(shù)據(jù)以穩(wěn)定關(guān)系模型中的各項(xiàng)系數(shù)。在各種條件允許的情況下實(shí)驗(yàn)規(guī)模越大，越能保證最終模型的穩(wěn)定性。
[0037]本發(fā)明還提出一種基于舒適度檢測(cè)的立體圖像制作方法，首先采用上面所述方法獲得檢測(cè)立體圖像舒適度的非線性關(guān)系模型，然后在拍攝和制作立體圖像過程中即可根據(jù)所設(shè)定的相關(guān)立體圖像特征的值，利用所得立體圖像舒適度的非線性關(guān)系模型計(jì)算出所制作的立體圖像舒適度的值，對(duì)舒適度不合格的圖像可以進(jìn)行修改或重新拍攝，如此可以指導(dǎo)制作出舒適度較高的立體圖像資源。
[0038]本方法的流程如圖1所示，包括立體圖像資源制作、主觀評(píng)價(jià)試驗(yàn)、數(shù)據(jù)分析和建模等環(huán)節(jié)。立體圖像資源可根據(jù)需要選擇合適的三維立體圖像制作工具完成，前提是確定若干種立體圖像特征，并在制作過程中設(shè)置它們的不同值從而生成包含各種特征值組合情況的立體圖像片段。主觀評(píng)價(jià)試驗(yàn)是本方法中數(shù)據(jù)獲取的關(guān)鍵，用戶觀看所制作出的立體圖像并給出主觀舒適度打分，形成多組立體圖像特性與舒適度之間的對(duì)應(yīng)數(shù)據(jù)。最后，采用單因素、多因素逐步多元回歸，尋找和立體圖像舒適度緊密相關(guān)的若干種立體圖像特征及其交叉組合，即可得到一個(gè)或多個(gè)立體圖像特征與立體圖像舒適度之間的關(guān)系模型。根據(jù)統(tǒng)計(jì)分析方法中對(duì)逐步多元回歸的判定標(biāo)準(zhǔn)和方法(如R2越接近I越好)，可就具體實(shí)驗(yàn)對(duì)模型的時(shí)間復(fù)雜度、精度等需求，從所得立體圖像舒適度模型中擇優(yōu)選擇適合實(shí)際需要的即可。實(shí)驗(yàn)中，環(huán)境光照、溫度等一般保持正常值不變，同時(shí)控制整個(gè)觀看過程中顯示設(shè)備參數(shù)是恒定的，可設(shè)定參數(shù)為推薦值，并保持不變。
[0039]根據(jù)本方法所得的立體圖像舒適度模型，只需要獲取目標(biāo)立體圖像中若干種特征，即可實(shí)現(xiàn)對(duì)立體圖像舒適度的定量計(jì)算和評(píng)價(jià)，而不再需要用戶的主觀打分。所用立體圖像的特征值比較直觀易獲取，數(shù)據(jù)處理也只需要掌握一種多元回歸分析方法即可，整個(gè)方法的實(shí)施簡(jiǎn)單明確。本方法一方面對(duì)用戶沒有任何強(qiáng)制性限制，只需要能夠正常完成觀看和打分；另一方面，數(shù)據(jù)處理部分對(duì)研究人員基本沒有門檻，只要有基礎(chǔ)的數(shù)學(xué)知識(shí)就能完成計(jì)算。
[0040]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果:
[0041]1.方法的有效性
[0042]本方法從單因素、多因素角度分析了立體圖像若干特征與圖像舒適度之間的統(tǒng)計(jì)關(guān)系，確認(rèn)所選立體圖像特征對(duì)圖像舒適度的影響貢獻(xiàn)大小，并通過一系列數(shù)據(jù)處理得到用所選立體圖像特征估算立體圖像舒適度的關(guān)系模型。其中，通過主觀評(píng)價(jià)試驗(yàn)獲得本方法所需數(shù)據(jù)，嚴(yán)格按照ITU標(biāo)準(zhǔn)布置環(huán)境，并通過一定的任務(wù)訓(xùn)練獲得每個(gè)用戶自己的對(duì)參考圖像的舒適度評(píng)分，并以此作為該名用戶在正式實(shí)驗(yàn)中的打分參照，一定程度上增加了主觀打分的可靠性和穩(wěn)定性。
[0043]2.自制立體圖像資源，可形成立體圖像資源數(shù)據(jù)庫(kù)[0044]本方法所使用立體圖像資源可用一般立體圖像制作工具完成，通過控制所選立體圖像特征的取值，可形成一個(gè)立體圖像資源數(shù)據(jù)庫(kù)，實(shí)現(xiàn)多種實(shí)驗(yàn)用途。
[0045]3.數(shù)據(jù)處理簡(jiǎn)單
[0046]本方法中數(shù)據(jù)分析和建模中所用到的數(shù)據(jù)包括立體圖像若干特征取值和對(duì)應(yīng)的舒適度得分。立體圖像的特征值是研究人員可控可知的，通過主觀評(píng)價(jià)試驗(yàn)，進(jìn)一步形成這些特征值和對(duì)應(yīng)圖像舒適度的對(duì)應(yīng)數(shù)據(jù)組，針對(duì)這些組數(shù)據(jù)只需要兩步統(tǒng)計(jì)分析處理即可獲得最終的立體圖像舒適度模型。在應(yīng)用所得模型去評(píng)價(jià)任意立體圖像時(shí)，也只需要獲知目標(biāo)立體圖像的若干特征值，直接公式帶入即可估算出其舒適度得分情況。數(shù)據(jù)處理和模型應(yīng)用都幾乎沒有門檻。
[0047]4.為實(shí)現(xiàn)立體圖像舒適度的自動(dòng)評(píng)價(jià)打下基礎(chǔ)
[0048]通過本方法尋找到立體圖像舒適度模型，可應(yīng)用于立體圖像舒適度的客觀評(píng)價(jià)而不再需要用戶參與主觀評(píng)價(jià)，減少了個(gè)體情感等主觀因素影響，因而結(jié)果更客觀。同時(shí)本方法也為進(jìn)一步實(shí)現(xiàn)立體圖像舒適度自動(dòng)評(píng)級(jí)做了鋪墊，某自動(dòng)化方法提取出立體圖像的特征值后，可直接利用本方法所得的立體圖像舒適度模型計(jì)算出立體圖像的舒適度情況。
【專利附圖】

【附圖說明】
[0049]圖1是本發(fā)明方法的基本流程圖；
[0050]圖2是本發(fā)明方法的具體實(shí)施中立體資源視差概念示意圖；
[0051]圖3是本發(fā)明方法的具體實(shí)施環(huán)境圖；
[0052]圖4是本發(fā)明方法的具體實(shí)施流程圖；
【具體實(shí)施方式】
[0053]為了使本【技術(shù)領(lǐng)域】的技術(shù)人員更好的理解，下面結(jié)合表1和附圖2對(duì)具體實(shí)施中立體圖像資源的制作進(jìn)行說明；同時(shí)結(jié)合附圖3、附圖4和表2對(duì)本方法中主觀評(píng)價(jià)試驗(yàn)作進(jìn)一步的詳細(xì)介紹。
[0054]使用本方法檢測(cè)立體圖像的舒適度，其過程主要包括五個(gè)階段:立體圖像資源制作、布置環(huán)境、練習(xí)演示、觀看和打分，以及數(shù)據(jù)處理。
[0055]1.立體圖像資源制作
[0056]首先選擇四種立體圖像特征:運(yùn)動(dòng)所在平面的視差(深度)、運(yùn)動(dòng)速度、運(yùn)動(dòng)物體的數(shù)量和大小。
[0057]設(shè)置最終的動(dòng)態(tài)圖像規(guī)格為576X768pixels，前景運(yùn)動(dòng)物體為球體。具體立體圖像特征的取值設(shè)定如表1所示。
[0058]表1.立體圖像資源參數(shù)設(shè)置表
[0059]
【權(quán)利要求】
1.一種基于立體圖像特征的立體圖像舒適度檢測(cè)方法，其步驟包括: 1)選擇立體圖像的四種特征值，包括運(yùn)動(dòng)物體的個(gè)數(shù)N、大小S、速度V、深度D，并對(duì)該四種圖像特征的數(shù)值進(jìn)行設(shè)定； 2)將四種圖像特征的所有取值進(jìn)行類似笛卡爾積的組合處理，得到L個(gè)組合，進(jìn)而使用三維立體圖像制作工具生成具備L種取值情況的圖像片段； 3)進(jìn)行主觀實(shí)驗(yàn)，獲取用戶對(duì)L個(gè)立體圖像的主觀舒適度評(píng)分； 4)將得到的立體圖像的用戶主觀舒適度評(píng)分與立體圖像的四種特征建立對(duì)應(yīng)關(guān)系，形成L組數(shù)據(jù)； 5)對(duì)L組立體圖像特征與舒適度評(píng)分的對(duì)應(yīng)數(shù)據(jù)進(jìn)行單因素逐步多元回歸，得到四種圖像特征作為相互獨(dú)立的因素與主觀舒適度之間的非線性關(guān)系； 6)將四種圖像特征進(jìn)行兩兩組合，形成新的6個(gè)因素，SP(N.S), (N.V), (N.D),(S.V)、(S.D)、(V.D);同樣進(jìn)行逐步多元回歸，得到四種圖像特征及其相互組合形成的10個(gè)潛在因素與主觀舒適度之間的非線性關(guān)系； 7)對(duì)步驟5)和步驟6)得到的兩個(gè)非線性關(guān)系的有效性和復(fù)雜性進(jìn)行判定，進(jìn)而建立立體圖像特征與立體圖像舒適度非線性關(guān)系模型； 8)獲取目標(biāo)立體圖像的若干圖像特征，利用所述立體圖像特征與立體圖像舒適度非線性關(guān)系模型計(jì)算得出該目標(biāo)立體圖像的舒適度估計(jì)值。
2.如權(quán)利要求1所述的方法，其特征在于，步驟I)所述立體圖像的圖像特征中，運(yùn)動(dòng)物體的大小用物體所占的像素點(diǎn)個(gè)數(shù)表示，運(yùn)動(dòng)速度用每秒鐘位移所跨越的像素點(diǎn)數(shù)表示，深度用運(yùn)動(dòng)物體相對(duì)于左右眼形成的視角減去屏幕上對(duì)應(yīng)點(diǎn)相對(duì)于左右眼形成的視角來表不。
3.如權(quán)利要求1所述的方法，其特征在于，步驟2)使用3DSMAX軟件完成三維立體圖像的制作，為保證每個(gè)圖像片段能給予觀看者足夠的時(shí)間產(chǎn)生對(duì)其效果的主觀感受，每個(gè)立體圖像片段時(shí)長(zhǎng)至少為15秒。
4.如權(quán)利要求1所述的方法，其特征在于，步驟3)所述主觀實(shí)驗(yàn)的具體步驟如下: 3-1)建立一立體顯示觀看環(huán)境，包括顯示設(shè)備和用于記錄打分的寫字桌； 3-2)對(duì)用戶進(jìn)行立體圖像篩查，當(dāng)其可辨認(rèn)立體圖像視差達(dá)到200"及以下，即認(rèn)為其可以參與實(shí)驗(yàn)，最終參與用戶數(shù)量為M個(gè)； 3-3)將制作完成的立體圖像作為觀看內(nèi)容，以隨機(jī)的方式顯示，每個(gè)圖像播放結(jié)束后，顯示5至8秒左右的灰色圖片，此段時(shí)間內(nèi)用戶完成對(duì)剛剛觀看完的圖像的舒適度打分； 3-4)記錄用戶對(duì)立體圖像的舒適度打分； 3-5)最終每個(gè)立體圖像都獲得M個(gè)用戶的舒適度評(píng)分，進(jìn)而求平均得到每個(gè)立體圖像的用戶主觀舒適度評(píng)分。
5.如權(quán)利要求4所述的方法，其特征在于，所述主觀實(shí)驗(yàn)中參與檢測(cè)的用戶數(shù)量M盡量大，不少于15人，并在主觀實(shí)驗(yàn)中對(duì)用戶進(jìn)行任務(wù)訓(xùn)練，以保證實(shí)驗(yàn)在相對(duì)一致的時(shí)間內(nèi)完成。
6.如權(quán)利要求4所述的方法，其特征在于，所述主觀實(shí)驗(yàn)參考ITU-RBT.500中使用的連續(xù)量表進(jìn)行舒適度打分，打分范圍為[0，10]，平均分為五個(gè)等級(jí)，每個(gè)等級(jí)跨越2分，精度 0.1。
7.如權(quán)利要求1所述的方法，其特征在于，步驟5)采用專業(yè)的統(tǒng)計(jì)分析軟件進(jìn)行單因素逐步多元回歸，并且在這一過程中，統(tǒng)計(jì)分析軟件根據(jù)各個(gè)因素對(duì)舒適度的最終相關(guān)性高低而自動(dòng)選擇是否將其加入到關(guān)系式中。
8.如權(quán)利要求1所述的方法，其特征在于，步驟7)對(duì)所述兩個(gè)非線性關(guān)系的有效性和復(fù)雜性進(jìn)行判定的方法包括:評(píng)價(jià)模型擬合程度高低的擬合系數(shù)R2、評(píng)價(jià)模型精準(zhǔn)度的Pearson線性相關(guān)系數(shù),檢測(cè)模型計(jì)算值與主觀值相關(guān)性的Spearman等級(jí)相關(guān)系數(shù)以及評(píng)價(jià)模型計(jì)算值誤差大小的均方根誤差。
9.如權(quán)利要求1所述的方法，其特征在于，對(duì)步驟7)得到的非線性立體圖像舒適度關(guān)系模型進(jìn)行較大規(guī)模的實(shí)驗(yàn)，以提高其有效性，穩(wěn)定關(guān)系模型中的各項(xiàng)系數(shù)。
10.一種基于舒適度檢測(cè)的立體圖像制作方法，其特征在于，首先采用權(quán)利要求1所述方法獲得立體圖像舒適度的非線性關(guān)系模型，然后參考該非線性關(guān)系模型設(shè)置合適的拍攝和制作參數(shù)，以生成舒適 度較高的立體圖像資源。
【文檔編號(hào)】H04N13/00GK104038756SQ201410247757
【公開日】2014年9月10日 申請(qǐng)日期:2014年6月5日 優(yōu)先權(quán)日:2014年6月5日
【發(fā)明者】王丹力, 王婷婷, 王宏安 申請(qǐng)人:中國(guó)科學(xué)院軟件研究所