一種檢測立體視覺疲勞度的系統(tǒng)及方法
【專利摘要】本發(fā)明公開一種針對觀看三維立體顯示內(nèi)容的視疲勞檢測系統(tǒng)和方法。該系統(tǒng)包含硬件布局和集成化軟件兩大部分。硬件包括顯示裝置、紅外攝像機、紅外光源、視覺反應時測量儀、調(diào)節(jié)最大點測量儀等。在用戶觀看三維內(nèi)容的過程中，通過儀器設備來記錄其多項客觀指標用于估算視疲勞，同時通過主觀量表來記錄視疲勞的參考值用于對比驗證。軟件能夠把測量的整個過程集成為無縫的流程，包括對用戶的篩選、三維內(nèi)容顯示、客觀指標測量、主觀參考值采集、眼睛參數(shù)提取、視疲勞模型估算、估算誤差計算和統(tǒng)計分析等功能。本發(fā)明能夠簡單快速地檢測觀看立體顯示所造成的視疲勞程度，可用于檢測立體顯示設備和內(nèi)容，以及指導設備生產(chǎn)和制作舒適的立體資源等。
【專利說明】一種檢測立體視覺疲勞度的系統(tǒng)及方法

【技術領域】
[0001]本發(fā)明屬于三維立體顯示【技術領域】，具體涉及一種用于估算因觀看立體內(nèi)容而引起的視覺疲勞度的軟硬件系統(tǒng)，以及相應的檢測方法。

【背景技術】
[0002]目前，立體顯示技術在許多領域得到越來越多的應用。但由于技術和成本的限制，立體顯示技術的發(fā)展受到很多阻礙。其中，一個很重要的因素是:3D顯示的成像原理和人的視覺系統(tǒng)工作機制存在沖突，造成了 3D顯示不可忽視的副作用，尤其容易導致觀看者的視疲勞。這些問題的存在使得人們不便長期觀看立體顯示，更不利于一些特殊人群，如小孩觀看；這不僅嚴重影響用戶體驗，也制約了三維顯示技術的發(fā)展，及其相關產(chǎn)品的應用普及。因此，預防立體顯示對觀看過程中造成的視疲勞等不適癥狀十分必要。
[0003]目前的立體顯示視疲勞數(shù)據(jù)檢測方法主要有主觀檢測和客觀測量兩種。前者是讓觀看者在觀看之后主管表述觀看不適感的程度，或者完成一些相關的問卷；后者主要是通過測量與視疲勞相關的一些生理指標，來間接反映視疲勞的程度。但這兩類方法都各有一些局限性；主觀表述往往因人而異，沒有統(tǒng)一的量化標準；客觀測量的設備則往往復雜昂貴，對受試者的限制較多，有的甚至還要求測量者具備較多的領域知識；此外，客觀參量的選擇以及它們反應主觀不適程度的閾值等都還沒有標準可循。


【發(fā)明內(nèi)容】

[0004]為了解決上述問題，本發(fā)明提出了一套用于檢測立體視覺疲勞度的軟硬件系統(tǒng)及方法，該系統(tǒng)提供了進行視疲勞檢測所需的硬件布局、軟件系統(tǒng)以及檢測方法。通過本系統(tǒng)及方法，能夠簡單快速地定量測量觀看立體顯示所造成的視疲勞程度，可用于檢測立體顯示設備和內(nèi)容，以及指導設備生產(chǎn)和制作舒適的立體資源等。
[0005]為實現(xiàn)上述目的，本發(fā)明采用的技術方案如下:
[0006]一種檢測立體視覺疲勞度的系統(tǒng)，包括:
[0007]顯示裝置，用于顯示三維內(nèi)容；
[0008]攝像機，用于錄制觀看三維內(nèi)容過程中用戶的眼部視頻；
[0009]視覺反應時(VRT)測量儀，用于在觀看三維內(nèi)容過程中穿插測量用戶的視覺反應時間；
[0010]調(diào)節(jié)最大點(PMA)測量儀，用于在觀看過程中穿插測量用戶的視覺調(diào)節(jié)最大點；
[0011]視疲勞主觀打分裝置，用于在觀看過程中采集用戶對視疲勞的主觀評分；
[0012]信息處理裝置，用于根據(jù)調(diào)節(jié)最大點PMA、視覺反應時VRT和從眼部視頻中提取閉眼時長PERCL0S的變化量數(shù)據(jù)，以及它們與主觀數(shù)據(jù)之間的相關性，建立視疲勞的最佳預測模型，進而根據(jù)該最佳預測模型得到視疲勞的估計值。
[0013]進一步地，還包括軟件部分，包括表現(xiàn)層、應用層和數(shù)據(jù)層，其中:
[0014]所述表現(xiàn)層包括:培訓演示模塊，用于進行操作過程演示和儀器使用演示；三維內(nèi)容顯示模塊，用于進行三維圖片和/或三維視頻的顯示；
[0015]所述應用層包括:檢查測量模塊，用于篩選出合格的用戶，并在觀看三維內(nèi)容的過程中穿插測量用戶的視覺反應時和調(diào)節(jié)最大點；參考值采集模塊，與所述視疲勞主觀打分裝置結合使用，用于收集問卷信息并進行視疲勞主觀評價；視疲勞估算模塊，用于從眼部視頻中提取閉眼時長，并使用線性回歸方法建立視疲勞的最佳預測模型；驗證分析模塊，用于對比由客觀指標推算出的視疲勞預測值與主觀評價結果，計算二者之間的誤差，并進行統(tǒng)計分析；
[0016]所述數(shù)據(jù)層包括:數(shù)據(jù)I/O模塊，用于從數(shù)據(jù)存儲單元中讀取或寫入數(shù)據(jù)。
[0017]進一步地，所述攝像機為紅外攝像機，并配置紅外光源以提供紅外攝像機所需的紅外照明；所述紅外攝像機采用專用的紅外攝像機，或者采用高清攝像機配合紅外濾光鏡頭使用。
[0018]一種采用上述系統(tǒng)檢測立體視覺疲勞度的方法，其步驟包括:
[0019]I)用戶篩選:通過顯示多個視覺檢查圖檢查用戶的立體視覺功能，從中篩選出合格的用戶；
[0020]2)測量階段:讓用戶填寫觀看前問卷，記錄觀看三維內(nèi)容前各種視疲勞癥狀的程度；然后進行調(diào)節(jié)最大點PMA和視覺反應時VRT的測量；
[0021]3)觀看階段:通過顯示裝置顯示三維內(nèi)容(圖片或視頻)，用戶觀看之后進行相應的主觀評價，并進行客觀指標即調(diào)節(jié)最大點PMA和視覺反應時VRT的測量；當觀看階段全部完成之后要求用戶填寫觀看后問卷，記錄觀看三維內(nèi)容后各種視疲勞癥狀的程度；
[0022]4)建立預測模型:從眼部視頻中提取閉眼時長PERCL0S，根據(jù)得到的PMA，VRT和PERCL0S的變化量數(shù)據(jù)，利用線性回歸方法來尋找它們隨時間的變化趨勢，以及它們與主觀數(shù)據(jù)之間的相關性，最后通過逐步多元回歸得到主觀視疲勞的最佳預測模型；
[0023]5)估計視覺疲勞度:針對每一個新用戶，按照步驟I)?3)測量其在觀看三維內(nèi)容過程中的客觀指標參數(shù)PMA，VRT和PERCL0S，并根據(jù)步驟4)所述最佳預測模型求得視疲勞的估計值。
[0024]進一步地，步驟5)同時采集新用戶的主觀評價分值，其與所述最佳預測模型求得視疲勞的估計值的差值作為視疲勞的估計誤差；當用戶的數(shù)量較多時求出每個用戶的視疲勞估計誤差，并通過統(tǒng)計方法來分析誤差的均值、方差、標準差和誤差的顯著性，從而反向驗證模型的有效性和可靠性，在必要時重新進行測量，計算出更加精確的回歸參數(shù)，以提高模型的性能。
[0025]進一步地，步驟4)所述最佳預測模型是:
[0026]SS’ = a.PMA+b.VRT+c.PERCLOS+d
[0027]其中，SS’是觀看立體顯示視頻時的預測疲勞度，a, b，c和d為回歸參數(shù)。
[0028]進一步地，通過視疲勞主觀量表采集用戶對視疲勞的主觀評分，根據(jù)實際需要采用不同取值范圍的量表。
[0029]進一步地，用戶使用視覺反應時(VRT)測量儀時，每當看到既定的目標圖案出現(xiàn)則按下按鍵，看到其它圖案則不做操作；用戶使用調(diào)節(jié)最大點(PM)測量儀時，取兩次調(diào)節(jié)最大點測量結果的均值作為最終采用的結果。
[0030]本發(fā)明用于檢測人們在觀看三維立體顯示內(nèi)容時所產(chǎn)生的視疲勞，能夠采集用戶在觀看三維內(nèi)容時的一些客觀指標，通過特定的數(shù)學模型來推算用戶的視疲勞；同時，系統(tǒng)也能夠采集用戶觀看過程中的主觀評價，作為參考值與上述推算得到的結果進行驗證分析。由于本系統(tǒng)的操作既包括軟件的運行，也包括儀器設備的使用，因此本發(fā)明設計了一套操作和檢測方法來配合軟硬件系統(tǒng)，能夠在軟件系統(tǒng)的運行過程中穿插設備操作，從而將儀器設備的使用也無縫集成到完整的測量流程中；并且，在采集到所需的主客觀指標之后，能夠通過軟件估算出視疲勞，并且與主觀評價的結果進行對比和統(tǒng)計分析。
[0031]與現(xiàn)有技術相比，本發(fā)明具有下列有益效果:
[0032]首先，本發(fā)明通過軟件系統(tǒng)和操作方法相結合，將整個測量過程和儀器設備的使用無縫集成，顯著減小了使用上的困難。
[0033]其次，本發(fā)明所選取的客觀指標易于測量，設備成本低、使用簡便，用戶通過觀看軟件系統(tǒng)中提供的培訓演示，即能很快掌握相應儀器設備的使用，大大提高操作效率。
[0034]再次，本發(fā)明利用特定的數(shù)學模型，在客觀指標和視疲勞之間建立起對應關系，從而能夠通過上述客觀指標的測量值，快速推算出用戶的視疲勞程度。
[0035]最后，系統(tǒng)支持同時采集客觀指標和主觀評價，并能夠將二者進行對比和統(tǒng)計分析，從而驗證視疲勞估算結果的準確性。

【專利附圖】

【附圖說明】
[0036]圖1是本發(fā)明的視疲勞檢測系統(tǒng)的硬件布局示意圖；
[0037]圖2是本發(fā)明的視疲勞檢測系統(tǒng)的軟件架構圖；
[0038]圖3是實施例中主觀評價問卷的主體內(nèi)容示意圖；
[0039]圖4是本發(fā)明的視疲勞檢測方法的操作流程圖。

【具體實施方式】
[0040]為了更好的理解本發(fā)明的技術方案，下面結合附圖及具體實施例對本發(fā)明做進一步的詳細描述。
[0041]本發(fā)明提供了一套針對觀看三維立體顯示內(nèi)容的視疲勞檢測系統(tǒng)和方法，該系統(tǒng)提供了進行視疲勞檢測所需的硬件布局、軟件系統(tǒng)以及檢測方法，能夠簡單快速地定量測量觀看立體顯示所造成的視疲勞程度并基于主觀評價進行結果驗證。
[0042]本發(fā)明中的視疲勞檢測系統(tǒng)包括硬件和軟件兩大部分。系統(tǒng)中需要用到的硬件包括計算機、紅外攝像機、紅外光源、視覺反應時(VRT)測量儀、視疲勞主觀打分裝置、調(diào)節(jié)最大點(PMA)測量儀等設備和儀器。在用戶觀看顯示器上播放的三維內(nèi)容的過程中，紅外攝像機(結合紅外光源使用)全程錄制用戶的眼部畫面，并穿插多次測量視覺反應時與調(diào)節(jié)最大點的數(shù)值，并通過視疲勞主觀打分裝置來記錄參考值。系統(tǒng)中的軟件則能夠把測量的整個過程集成為無縫的流程。包括:對用戶的檢查、篩選、培訓，三維內(nèi)容的顯示、客觀指標的測量、主觀參考值的采集、眼睛參數(shù)的提取、視疲勞的模型估算、估算誤差的計算和統(tǒng)計分析等功能。其中，三維內(nèi)容既包括圖片也包括視頻，客觀指標則包括視覺反應時(VRT)和調(diào)節(jié)最大點(PMA)，主觀參考值既包括視疲勞的總體評分，也包括多項更具體的視疲勞評價。
[0043]其中，硬件布局如圖1所示，通?？梢詫⑵洳贾迷诳臻g足夠的房間中進行，且房間內(nèi)的濕度、溫度和光照均可使用平常的室內(nèi)環(huán)境狀態(tài)。為了保證用戶170的視覺狀態(tài)良好，建議將測量安排在上午九點和下午兩點進行；因為前期對受試者的采訪表明，在這兩個時間段，他們的眼睛剛剛得到較好的休息，視覺狀態(tài)為一天中較為良好的時候。當然，在條件一致的前提下，或者僅僅出于試驗的目的，也可以安排在其它時間進行。
[0044]計算機的顯示器110用于顯示三維內(nèi)容，包括一系列三維圖片和三維視頻。該顯示器110可以各種類型的三維顯示器，比如:紅藍立體顯示器、偏光立體顯示器、頻閃式立體顯示器、裸眼立體顯示器、紅藍立體投影屏、偏光立體投影屏、頻閃式立體投影屏、裸眼立體投影屏等。用戶170坐在到顯示器一定距離的位置上(如圖1所示的90cm)，該位置以及用戶的視線方向在測量開始前可以微調(diào)，從而獲得合適的觀看距離和角度。當采用紅藍立體顯示器、偏光立體顯示器、頻閃式立體顯示器、紅藍立體投影屏、偏光立體投影屏、頻閃式立體投影屏等顯示設備進行觀看時，用戶需要佩戴相應的紅藍眼鏡、偏光眼鏡或者頻閃式眼鏡等。
[0045]紅外攝像機120用于記錄觀看全過程中用戶的眼部畫面，該攝像機可以采用專用的紅外攝像機，也可以對常規(guī)攝像機進行改造使其能夠錄制紅外視頻。為了能夠提高后續(xù)處理結果的精確度，通常要求攝像機120具有較高的空間分辨率和較高的幀率。
[0046]紅外光源130用于提供紅外攝像機120所需的紅外照明，為了能夠獲得足夠清晰的成像，同時又不對用戶的眼睛產(chǎn)生負面影響，紅外光源130的強度應該調(diào)節(jié)到適當?shù)姆秶?br> [0047]視覺反應時(VRT)測量儀140用于在觀看過程中穿插測量用戶的視覺反應時間，該測量值從一個方面反映了用戶當時的視疲勞程度。視覺反應時的測量原理是反應時間與大腦皮層的功能活動密切相關；人在疲勞時皮層功能下降，條件反射活動受影響，表現(xiàn)為反應時延長、反應錯誤增多。測定是利用光或聲刺激，結合事先通過語言指示形成手指按壓的條件反射，測定從光刺激信號發(fā)出至產(chǎn)生手指按壓的反應時間(單位:毫秒)；測量應在安靜環(huán)境中進行，避免其它聲、光干擾刺激。用戶在操作時，每當看到既定的目標圖案出現(xiàn)時按下按鍵，看到其它圖案則不做操作。
[0048]視疲勞主觀打分裝置150用于在觀看過程中采集用戶對視疲勞的主觀評分。其使用方法與專利《一種三維立體顯示的視疲勞檢測系統(tǒng)和方法》(申請?zhí)?201410019363.X)所述的主觀視疲勞連續(xù)打分裝置使用方法類似。
[0049]調(diào)節(jié)最大點(PMA)測量儀160用于在觀看過程中穿插測量用戶的視覺調(diào)節(jié)最大點，調(diào)節(jié)最大點可通過測量近點距離來反映。該測量值也能夠從一個方面反映用戶當時的視疲勞程度。其使用方法參見專利《一種三維立體顯示的視疲勞檢測系統(tǒng)和方法》(申請?zhí)?201410019363.X)所述的近點距離測量方法。
[0050]本發(fā)明中的軟件系統(tǒng)為整個測量操作提供了集成框架和各種運行模塊，其軟件架構圖如圖2所示，可劃分為表現(xiàn)層、應用層和數(shù)據(jù)層三大部分。
[0051]1.表現(xiàn)層
[0052]表現(xiàn)層包括兩個模塊:培訓演示模塊210和三維內(nèi)容顯示模塊220。
[0053]其中，培訓演示模塊210又包括操作過程演示子模塊211和儀器使用演示子模塊212。操作過程演示子模塊211以視頻教程的方式播放并演示測量操作的完整流程，用戶仔細觀看完該演示之后，即可對整個測量過程建立直觀的印象和理解。儀器使用演示子模塊212同樣以視頻教程的方式播放并演示各種儀器的使用方法，包括:視覺反應時(VRT)測量儀140和調(diào)節(jié)最大點(PMA)測量儀160的使用方法，具體的使用方法依照前述的操作步驟進行演示。
[0054]三維內(nèi)容顯示模塊220又包括三維圖片顯示子模塊221和三維視頻顯示子模塊222。三維圖片顯示子模塊221用于顯示預先選擇的立體圖片，并能夠以不同的顯示模式進行顯示，比如:不同的顯示順序、不同的時間間隔、是否重復顯示等等。三維視頻顯示子模塊222用于顯示預先選擇的立體視頻，支持多種立體視頻格式，并能夠在左右、右左、上下、下上等顯示模式間切換。
[0055]2.應用層
[0056]應用層包括檢查測量模塊230、參考值采集模塊240、視疲勞估算模塊250和驗證分析模塊260等四個模塊。
[0057]其中，檢查測量模塊230又包括立體視覺篩選子模塊231和客觀指標測量子模塊232。立體視覺篩選子模塊231通過顯示多個視覺檢查圖，在正式測量之前檢查用戶的立體視覺功能，并從中篩選出合格的用戶?？陀^指標測量子模塊232的作用是在觀看三維內(nèi)容的過程中穿插測量用戶的視覺反應時和調(diào)節(jié)最大點。
[0058]參考值采集模塊240又包括問卷信息收集子模塊241和視疲勞主觀評價子模塊242。問卷信息收集子模塊241在測量的開始階段和結束階段使用，分別對應于觀看前問卷和觀看后問卷。兩種問卷的主體內(nèi)容相同，但觀看前問卷額外收集用戶的姓名、性別、視力等個人信息，余下的內(nèi)容均是針對視疲勞的各項具體主觀衡量指標。圖3顯示了問卷主體內(nèi)容的一種形式，其中包含了 15種不同的癥狀，用戶可以針對這些癥狀給出1-5的不同分值。在具體應用中，也可以采用同類的其它問卷，以及不同的打分規(guī)則，比如采用九分制等等。視疲勞主觀評價子模塊242與視疲勞主觀打分裝置150結合使用，讀取該裝置所采集的分值數(shù)據(jù)，并按照預定的格式保存到存儲器中，供后續(xù)進行計算和分析。
[0059]視疲勞估算模塊250又包括眼睛參數(shù)提取子模塊251和視疲勞模型計算子模塊252。眼睛參數(shù)提取子模塊251用于從眼部視頻中提取閉眼時長(PERCLOS，percentage ofeyelid closure over the pupil over time)。首先使用模板匹配的方法進行人眼的定位和跟蹤。然后，在取得眼睛區(qū)域后進行圖像的濾波降噪，針對較暗的區(qū)域進行直方圖均值化和二值化，再通過開合運算去除干擾點，并對瞳孔中的光點進行填補，修復瞳孔的形狀。之后再使用SOBEL算子進行邊緣檢測，通過水平投影來計算眼睛的閉合狀態(tài)。最終用單位時間內(nèi)眼睛閉合的幀數(shù)來表示閉眼時長PERCL0S。在視疲勞模型計算子模塊252中，使用線性回歸方法探究主客觀指標隨時間的變化趨勢，以及各種數(shù)據(jù)之間的相關性等；通過逐步多元回歸，尋找視疲勞的最佳預測模型；一旦建立起視疲勞預測模型，即可從客觀測量指標中推算出給定時刻的視疲勞程度。
[0060]驗證分析模塊260又包括估算誤差計算子模塊261和結果統(tǒng)計分析子模塊262。估算誤差計算子模塊261用于對比由客觀指標推算出的視疲勞預測值與主觀評價結果，計算二者之間的誤差。結果統(tǒng)計分析子模塊262則進一步對上述誤差的統(tǒng)計特性進行分析，從而驗證視疲勞預測的效果。
[0061]3.數(shù)據(jù)層
[0062]數(shù)據(jù)I/O模塊270用于從數(shù)據(jù)存儲單元中讀取或寫入數(shù)據(jù)。數(shù)據(jù)存儲單元可以是文件、數(shù)據(jù)庫等。測量過程中用到的數(shù)據(jù)包括:已測參數(shù)271，即已經(jīng)測得的視覺反應時和調(diào)節(jié)最大點等數(shù)據(jù)；參考值272，即已經(jīng)采集到的問卷信息和主觀評價分值；還有估算值273，即由視疲勞估算模塊輸出的視疲勞的估計值。
[0063]下面說明采用上述軟硬件系統(tǒng)進行立體視覺疲勞度檢測的具體方法，其流程如圖4所示。
[0064]首先是在軟件系統(tǒng)中演示測量過程，然后對用戶進行立體視覺篩選，排除不合適接受測量的用戶。針對已經(jīng)通過篩選的用戶，仍然通過軟件系統(tǒng)為其演示PMA和VRT儀器設備的使用，并進行幾次練習。
[0065]一旦上述環(huán)節(jié)完成，則進入觀看前的測量階段。首先，需要讓用戶填寫觀看前問卷，收集用戶的個人信息，以及觀看三維內(nèi)容前各種視疲勞癥狀的程度。然后，在軟件系統(tǒng)的引導下，通過相關的儀器設備進行調(diào)節(jié)最大點PMA和視覺反應時VRT的測量。
[0066]之后，就正式進入觀看階段。由軟件系統(tǒng)顯示三維內(nèi)容(圖片或視頻)，用戶觀看之后進行相應的主觀評價和客觀指標測量。包括:通過視疲勞主觀量表對當前的視疲勞程度進行即時的主觀評價，給出一個分值；測量調(diào)節(jié)最大點PMA，并測量視覺反應時VRT。這個過程將反復進行多次(比如后文表I所示的10次，也可以采用不同的次數(shù))。
[0067]當觀看階段全部完成之后，再次要求用戶填寫觀看后問卷，記錄觀看三維內(nèi)容后各種視疲勞癥狀的程度。
[0068]通過上述步驟，就采集到了估算視疲勞所需的客觀指標參數(shù)PMA, VRT和PERCL0S ；其中PMA和VRT在測量過程中直接采集得到，而PERCL0S則是利用圖像處理技術從攝像機所采集的視頻中提取得到。同時，也收集了用于驗證分析所需的主觀評價值。
[0069]針對PMA，VRT和PERCL0S的變化量數(shù)據(jù)，利用線性回歸方法來尋找它們隨時間的變化趨勢，以及它們與主觀數(shù)據(jù)之間的相關性等。最后通過逐步多元回歸，得到主觀視疲勞的最佳預測模型如下:
[0070]SS’ = a.PMA+b.VRT+c.PERCLOS+d
[0071]其中SS’是觀看立體顯示視頻時的預測疲勞度，回歸判定系數(shù)R2為0.989。根據(jù)方差分析結果AV0NA，顯著性水平小于0.001，因此認為這個回歸結果是顯著而有效的。采用本系統(tǒng)和方法，就可以通過實際的測量來確定上述模型中的回歸參數(shù)a，b, c和d。以表I所示的測量結果為例，11名被試(含I人次的預測試結果)所測得的客觀指標PM，VRT和PERCL0S，以及主觀評價結果SS ;在該輪測量中測得上述回歸參數(shù)為:a = -0.5606, b=-0.4172，c = -0.4746，d = 1.1681,將這些回歸參數(shù)代入上述模型公式，即可得到實際可用的三維顯示觀看視疲勞估算模型。當然，這個例子只是一次測量所得的結果，并不是唯一適合上述模型的回歸參數(shù)。
[0072]表1.測量結果列表
[0073]

鑭量指標
ΡλΙΑVRTPERCLOSSS
羅涵試 8.61 土 1.670.29±0.0584.67 士40.984.71±0.47
19.24±1.800.32±0.05101.51 =53.244.21±0.70
29.53 ±1.730.32±0.05125.06 -76.474.07±0.73
39.67 士:LOl0.32±0.05126.24 -74.203.93±0.83
410.09 ±1.860.33±0.07 183.21 士 130.113.64土0.74
510.21 士2.050.33土0.04 139.58 土 109.173.43土0.51
610.50 ±1,960.35±0,05155.99 -81.493.29 ±0,61
?10.74 士2,440.35士0,04 177.69 ±128.822.93土0,62
810.85 ±2.430.35±0.04 212.21 土 Π8.232.71土0.91
911.04 ±2.480.36±0.04 187.63 ±104242.43士0.94
1011.33 土2.600.38±0.06 203.80 ±107,762.21±1.05
[0074]針對每一個新用戶，只需按照上述流程測量(并提取)其在觀看過程中的客觀指標參數(shù)PMA, VRT和PERCL0S，代入上述公式中即可求得視疲勞的估計值。如果同時也采集了新用戶的主觀評價分值，則二者的差值就是視疲勞的估計誤差。當用戶的數(shù)量較多時可求出每個用戶的視疲勞估計誤差，并通過統(tǒng)計方法來分析誤差的均值、方差、標準差、誤差的顯著性等，從而反向驗證模型的有效性和可靠性，在必要時可以重新進行測量，計算出更加精確的回歸參數(shù)，提高模型的性能。
[0075]綜上所述，以上僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【權利要求】
1.一種檢測立體視覺疲勞度的系統(tǒng)，其特征在于，包括: 顯示裝置，用于顯示三維內(nèi)容； 攝像機，用于錄制觀看三維內(nèi)容過程中用戶的眼部視頻； 視覺反應時測量儀，用于在觀看三維內(nèi)容過程中穿插測量用戶的視覺反應時間； 調(diào)節(jié)最大點測量儀，用于在觀看過程中穿插測量用戶的視覺調(diào)節(jié)最大點； 視疲勞主觀打分裝置，用于在觀看過程中采集用戶對視疲勞的主觀評分； 信息處理裝置，用于根據(jù)調(diào)節(jié)最大點、視覺反應時和從眼部視頻中提取閉眼時長的變化量數(shù)據(jù)，以及它們與主觀數(shù)據(jù)之間的相關性，建立視疲勞的最佳預測模型，進而根據(jù)該最佳預測模型得到視疲勞的估計值。
2.如權利要求1所述的系統(tǒng)，其特征在于，還包括軟件部分，所述軟件部分包括表現(xiàn)層、應用層和數(shù)據(jù)層，其中: 所述表現(xiàn)層包括:培訓演示模塊，用于進行操作過程演示和儀器使用演示；三維內(nèi)容顯示模塊，用于進行三維圖片和/或三維視頻的顯示； 所述應用層包括:檢查測量模塊，用于篩選出合格的用戶，并在觀看三維內(nèi)容的過程中穿插測量用戶的視覺反應時和調(diào)節(jié)最大點；參考值采集模塊，與所述視疲勞主觀打分裝置結合使用，用于收集問卷信息并進行視疲勞主觀評價；視疲勞估算模塊，用于從眼部視頻中提取閉眼時長，并使用線性回歸方法建立視疲勞的最佳預測模型；驗證分析模塊，用于對比由客觀指標推算出的視疲勞預測值與主觀評價結果，計算二者之間的誤差，并進行統(tǒng)計分析； 所述數(shù)據(jù)層包括:數(shù)據(jù)I/o模塊，用于從數(shù)據(jù)存儲單元中讀取或寫入數(shù)據(jù)。
3.如權利要求1或2所述的系統(tǒng)，其特征在于，所述顯示裝置是下列三維顯示器中的一種:紅藍立體顯示器、偏光立體顯示器、頻閃式立體顯示器、裸眼立體顯示器、紅藍立體投影屏、偏光立體投影屏、頻閃式立體投影屏、裸眼立體投影屏；所述三維內(nèi)容是一系列三維圖片和/或三維視頻。
4.如權利要求1或2所述的系統(tǒng)，其特征在于:所述攝像機為紅外攝像機，并配置紅外光源以提供紅外攝像機所需的紅外照明；所述紅外攝像機采用專用的紅外攝像機，或者采用高清攝像機配合紅外濾光鏡頭使用。
5.一種采用權利要求1所述系統(tǒng)檢測立體視覺疲勞度的方法，其步驟包括: 1)通過顯示多個視覺檢查圖檢查用戶的立體視覺功能，從中篩選出合格的用戶； 2)由用戶填寫觀看前問卷，記錄觀看三維內(nèi)容前各種視疲勞癥狀的程度；然后進行調(diào)節(jié)最大點PMA和視覺反應時VRT的測量； 3)通過顯示裝置顯示三維內(nèi)容，用戶觀看之后進行相應的主觀評價，并進行客觀指標即調(diào)節(jié)最大點和視覺反應時的測量；當觀看階段全部完成之后要求用戶填寫觀看后問卷，記錄觀看三維內(nèi)容后各種視疲勞癥狀的程度； 4)從眼部視頻中提取閉眼時長，根據(jù)得到的調(diào)節(jié)最大點，視覺反應時和閉眼時長的變化量數(shù)據(jù)，利用線性回歸方法來尋找它們隨時間的變化趨勢，以及它們與主觀數(shù)據(jù)之間的相關性，最后通過逐步多元回歸得到主觀視疲勞的最佳預測模型； 5)針對每一個新用戶，按照步驟I)?3)測量其在觀看三維內(nèi)容過程中的客觀指標參數(shù)即調(diào)節(jié)最大點、視覺反應時和閉眼時長，并根據(jù)步驟4)所述最佳預測模型求得視疲勞的估計值。
6.如權利要求5所述的方法，其特征在于:步驟5)同時采集新用戶的主觀評價分值，其與所述最佳預測模型求得視疲勞的估計值的差值作為視疲勞的估計誤差；當用戶的數(shù)量較多時求出每個用戶的視疲勞估計誤差，并通過統(tǒng)計方法來分析誤差的均值、方差、標準差和誤差的顯著性，從而反向驗證模型的有效性和可靠性，在必要時重新進行測量，計算出更加精確的回歸參數(shù)，以提高模型的性能。
7.如權利要求5所述的方法，其特征在于，步驟4)所述從眼部視頻中提取閉眼時長的方法是:首先使用模板匹配的方法進行人眼的定位和跟蹤；然后在取得眼睛區(qū)域后進行圖像的濾波降噪，針對較暗的區(qū)域進行直方圖均值化和二值化，再通過開合運算去除干擾點，并對瞳孔中的光點進行填補，修復瞳孔的形狀；之后再使用SOBEL算子進行邊緣檢測，通過水平投影來計算眼睛的閉合狀態(tài)；最終用單位時間內(nèi)眼睛閉合的幀數(shù)來表示閉眼時長。
8.如權利要求5所述的方法，其特征在于:步驟4)所述最佳預測模型是:
SS’ = a.PMA+b.VRT+c.PERCLOS+d, 其中，SS’是觀看立體顯示視頻時的預測疲勞度，a，b，c和d為回歸參數(shù)，PMA表示調(diào)節(jié)最大點，PMA表示視覺反應時，PERCL0S表示閉眼時長。
9.如權利要求5所述的方法，其特征在于:通過視疲勞主觀量表采集用戶對視疲勞的主觀評分，根據(jù)實際需要采用不同取值范圍的量表。
10.如權利要求5所述的方法，其特征在于:用戶使用視覺反應時測量儀時，每當看到既定的目標圖案出現(xiàn)則按下按鍵，看到其它圖案則不做操作；用戶使用調(diào)節(jié)最大點測量儀時，取兩次調(diào)節(jié)最大點測量結果的均值作為最終采用的結果。
【文檔編號】H04N17/00GK104185020SQ201410387060
【公開日】2014年12月3日 申請日期:2014年8月7日 優(yōu)先權日:2014年8月7日
【發(fā)明者】王丹力, 謝耀華, 王宏安 申請人:中國科學院軟件研究所