眨眼測量設備及其方法和程序的制作方法
【專利摘要】一種眨眼測量裝置，包括：獲取單元，用于獲取被檢眼的運動信息；以及分析單元，用于基于所述運動信息來獲取與所述被檢眼的眨眼有關的開始信息。
【專利說明】眨眼測量設備及其方法和程序
【技術領域】
[0001]本發(fā)明涉及用于測量眨眼的裝置，尤其涉及用于根據(jù)眼睛的運動獲得眨眼信息的
>J-U ρ?α裝直。
【背景技術】
[0002]眨眼是指使動物的眼臉開閉以濕潤角膜和結膜的表面并且進行淚液的循環(huán)。眨眼是生理現(xiàn)象，但例如如日本特開平9-39603所提出的，可以積極地用于判斷駕駛員是否打瞌睡。
[0003]此外，利用眼科診所所用的拍攝裝置來對眼睛攝像。然而，如果在拍攝期間發(fā)生眨目艮，則此時獲取到的圖像不可用。因此，進行用于檢查眨眼并且除去眨眼期間所獲得的圖像信息的處理。關于這種眨眼檢測，日本特開平10-52403論述了使用小波變換的眨眼檢測方法。
[0004]另一方面，人類的眼球經(jīng)常進行已知作為固視期間的無意識眼動的微小運動。在眼科診所所用的拍攝裝置中單獨設置有用于檢測眼球的位置的光學系統(tǒng)，并且測量所用的激光追隨眼球的位置。然而，由于在眨眼時可能無法進行眼球位置的檢測，因此需要在眨眼之后重新開始眼球的追蹤。在這種情況下，發(fā)生延遲。此外，眼球的位置在眨眼前后經(jīng)常改變，并且眨眼發(fā)生之前的眼球位置信息可能不可用。在這種情況下，如果可以預測到眨眼的發(fā)生，則能夠進行快速響應。然而，利用相`關技術的眨眼檢測方法，難以預先預測眨眼的發(fā)生。
[0005]引f列表
_6] 專利文獻
[0007]專利文獻1:日本特開平9-39603
[0008]專利文獻2:日本特開平10-52403

【發(fā)明內(nèi)容】

[0009]本發(fā)明涉及用于獲得眨眼開始信息的機構。
[0010]根據(jù)本發(fā)明的眨眼測量裝置，包括:獲取單元，用于獲取被檢眼的運動信息；以及分析單元，用于基于所述運動信息來獲得與所述被檢眼的眨眼有關的開始信息。
[0011]通過以下參考附圖對典型實施例的詳細說明，本發(fā)明的其它特征和方面將變得明顯。
【專利附圖】

【附圖說明】
[0012]包含在說明書中并構成說明書一部分的附圖示出了本發(fā)明的典型實施例、特征和方面，并和說明書一起用來解釋本發(fā)明的原理。
[0013]圖1是示出根據(jù)本發(fā)明的眨眼測量裝置的結構的圖。
[0014]圖2是示出使用軟件來實現(xiàn)根據(jù)第一典型實施例的眨眼測量裝置的各單元的計算機的基本結構的圖。
[0015]圖3示出根據(jù)本發(fā)明的眨眼預測方法的流程圖。
[0016]圖4是示出SLO的結構的圖。
[0017]圖5是示出掃描激光檢眼鏡(SLO)圖像。
[0018]圖6是示出眼球位置的時間變化的示例的圖。
[0019]圖7是示出眼球位置的時間變化的示例的圖。
[0020]圖8是示出眼球位置的時間變化的示例的圖。
[0021]圖9是示出根據(jù)本發(fā)明的第二典型實施例的眨眼測量裝置的結構的圖。 [0022]圖10是示出眨眼之后的眼球位置預測的圖。
[0023]圖11是示出第二典型實施例中的模板匹配的圖。
[0024]圖12是示出根據(jù)另一典型實施例的眨眼測量裝置的結構的圖。
【具體實施方式】
[0025]以下將參考附圖來詳細說明本發(fā)明的各種典型實施例、特征和方面。
[0026]圖1示出根據(jù)本發(fā)明的眨眼測量裝置I的基本結構。在圖1中，獲取單元11連續(xù)地檢測被檢眼的眼球的運動并且輸出位置信息。特性獲取單元12分析從獲取單元11輸入的位置信息并且獲取被檢眼的特性。分析單元13根據(jù)特性獲取單元12所獲取到的特性來獲取眨眼開始信息。此外，可以預先預測眨眼的發(fā)生并且可以輸出其結果。
[0027]圖2是示出用于通過執(zhí)行軟件來實現(xiàn)圖1所示的眨眼測量裝置I的各單元的功能的計算機的基本結構的圖。
[0028]眨眼測量裝置I包括控制單元20、監(jiān)視器204、鼠標205和鍵盤206。此外，控制單元20包括中央處理單元(CPU) 200、主存儲器201、磁盤202、顯示存儲器203和共用總線207。
[0029]CPU200通過執(zhí)行存儲在主存儲器201中的程序來執(zhí)行諸如與數(shù)據(jù)庫2的通信和眨眼測量裝置I的整體控制等的各種控制。CPU200主要控制眨眼測量裝置I的各元件的操作。
[0030]主存儲器201存儲CPU200所執(zhí)行的控制程序，并且提供在CPU200執(zhí)行該程序時的工作區(qū)域。
[0031]磁盤202存儲諸如操作系統(tǒng)(OS)、針對外圍裝置的裝置驅(qū)動器、以及針對以下將說明的眨眼預測處理的程序等的各種應用程序軟件。
[0032]顯示存儲器203臨時存儲用于監(jiān)視器204的顯示數(shù)據(jù)。
[0033]監(jiān)視器204在CPU200的控制下進行顯示存儲器203中所存儲的顯示數(shù)據(jù)的顯示。
[0034]鼠標205和鍵盤206由用戶(醫(yī)生)使用以進行指示輸入并且進行文字輸入等。
[0035]各組件經(jīng)由共用總線207相連接，以使得這些組件可以彼此進行通信。
[0036]上述裝置可以包括通用計算機和外圍設備。此外，以下將參考圖3所述的根據(jù)本發(fā)明的眨眼測量裝置的控制過程可以作為計算機要執(zhí)行的程序來實現(xiàn)。
[0037]以下將根據(jù)圖3所示的流程圖來說明各單元的詳情和處理的流程。
[0038]步驟SlOl
[0039]PC基于是否已進行了針對被檢眼的眨眼的分析來將后續(xù)處理切換為分析模式或預測模式。這是因為根據(jù)本發(fā)明的眨眼測量裝置具有用于預先分析被檢眼的眨眼時的特性的處理。該處理在分析模式的情況下(“是”)進入步驟S102，并且在預測模式的情況下(“否”)進入步驟S106。
[0040]特性獲取單元12和分析單元13進行相同的處理以獲得與被檢眼的眨眼開始有關的信息。然而，在分析模式的情況下，使用特性獲取單元12來分析預先測量到的數(shù)據(jù)并且獲得被檢眼的特性。在預測模式的情況下，不同于分析模式，每當分析單元13獲取到獲取單元11所獲得的信息時，分析單元13分析該信息并且預測發(fā)生被檢眼的眨眼的時刻。
[0041]步驟S102
[0042]首先，獲取單元11獲取分析所使用的眼底的圖像。圖4示出獲取單元11的圖像生成單元的結構。在本典型實施例中，獲取單元11包括掃描激光檢眼鏡(以下稱為SL0)。此外，本發(fā)明不限于此，并且可以使用任何裝置，只要該裝置可以檢測眼球的位置即可。然而，該裝置需要以大約每秒10幀以上、更優(yōu)選為每秒幾十幀以上的速率連續(xù)地檢測眼球的位置變化。例如，可以追蹤諸如前眼部的虹膜等的特征區(qū)域(特征部)作為眼球的運動。
[0043]在圖4中，401表示諸如半導體激光器或超發(fā)光二極管(SLD)光源等的激光光源，并且例如，優(yōu)選該激光光源的波長為700nm~lOOOnm。從激光光源401輸出的測量光B經(jīng)由穿孔鏡402、中繼透鏡404、配置在中繼透鏡404的前方和后方的用于在正交雙軸方向上掃描測量光B的掃描器403和405、以及目鏡光學系統(tǒng)406而入射到被檢眼E上。被被檢眼E的眼底反射的測量光B沿著原路徑返回，以經(jīng)由穿孔鏡和中繼透鏡407在檢測器408上成像。檢測器408例如可以是 雪崩光電二極管(APD)，并且輸出光強度信號作為電信號。
[0044]另一方面，PC控制掃描器403和405以及檢測器408的操作，并且拍攝來自被檢眼的眼底的反射強度作為二維SLO圖像。圖5示出SLO圖像的示例。在SLO圖像I中，可看見視神經(jīng)乳頭H和眼底血管V。
[0045]步驟S103
[0046]接著，獲取單元11通過模板匹配來根據(jù)SLO圖像I檢測眼球的位置。在圖5中，模板T是從根據(jù)被檢眼所獲取到的SLO圖像中提取出的、用于檢測眼球的位置的小區(qū)域。模板T是用于在搜索區(qū)域S內(nèi)提取作為對象的圖像之間相似度高的特征部分的圖案。模板T可以由裝置的操作員手動提取、或者可以通過圖像處理來自動提取，但期望模板T包括作為諸如血管的分叉等的特征結構的特征部，從而確認眼球的位置?？梢詮谋粰z眼的拍攝開始之后的最初SLO圖像進行該提取?？蛇x地，可以從在特定時間段內(nèi)獲取到的多個SLO圖像中選擇并提取由于固視期間的無意識眼動所引起的失真處于較低水平的圖像。
[0047]在模板提取之后、被檢眼的拍攝開始的情況下，針對獲取單元11順次獲取到的SLO圖像執(zhí)行模板匹配并且利用PC計算眼球的位置Pe?？梢允褂靡阎夹g來執(zhí)行模板匹配。在典型實施例中，使用University of Tokyo Press出版的由Mikio Takagi等人主編的 “Handbook of Image Analysis, Revised Edition”所論述的互相關系數(shù)。
[0048]在連續(xù)獲取到的SLO圖像中，計算出眼球的位置Pe作為圖5所示的坐標系中的坐標值(X，y)，并且將其順次輸出至特性獲取單元12。
[0049]步驟S104
[0050]特性獲取單元12分析所輸入的眼球的位置Pe的X方向(水平方向)和Y方向(垂直方向)上的分量的時間變化。首先，特性獲取單元12 —起接收SLO圖像以及眼球的位置Pe，并且判斷在獲取各SLO圖像時是否發(fā)生眨眼。在發(fā)生眨眼的情況下，反射光沒有返回至圖4中的檢測器408并且SLO圖像值的像素值的平均值非常小。因此，可以使用該值。更具體地，在SLO圖像的像素值的平均值小于閾值的情況下，判斷為發(fā)生了眨眼，并且特性獲取單元12獲取緊挨在發(fā)生眨眼之前產(chǎn)生的被檢眼的預定運動。
[0051]可以通過實驗預先確定閾值的適當值，并且可以將該適當值存儲在特性獲取單元12可利用的諸如存儲器等的存儲裝置中。
[0052]圖6針對各分量示出圖4所示的SLO實際測量到的眼球的位置的變化。在圖6中，橫軸表示幀編號(SL0圖像的編號)，并且縱軸表示X或Y方向上的坐標值。此外，虛線表示發(fā)生眨眼的幀。例如，在針對Y方向的圖中，在幀編號540~560附近發(fā)生眨眼。由于在正發(fā)生眨眼的情況下無法進行模式匹配，因此在正發(fā)生眨眼的情況下將要進行模式匹配的搜索區(qū)域的中心坐標設置為臨時值。
[0053]從圖6可以看出，在被檢眼中，緊挨在發(fā)生眨眼之前，眼球在Y軸的負方向上快速移動的頻率變高。圖7是另一被檢眼的例示。與圖6的示例相同，緊挨在發(fā)生眨眼之前，眼球在Y的負方向上快速移動。這種現(xiàn)象是本 申請人:首次發(fā)現(xiàn)的，并且在本發(fā)明中使用該特征。
[0054]具體地，特性獲取單元12在檢測到眨眼之后計算緊挨該眨眼之前的眼球的移動速度，并且根據(jù)該移動速度的值來計算眨眼預測所用的預測閾值Tp作為特性信息。具體地，根據(jù)從獲取單元11輸入的位置Pe和相鄰幀之間的時間間隔來計算眨眼之前的移動速度，并且采用緊挨眨眼之前的移動速度的平均值作為預測閾值Tp。更具體地，在分析時間段內(nèi)所產(chǎn)生的眨眼次數(shù)為N的情況下，使用以下等式來獲得針對第i次眨眼的移動速度V(i)和Tp0
[0055]數(shù)學式I
[0056]V (i) = {Pe (i) -Pe (i_l)} /T…(I)
[0057]Τρ=Σ (V(i))/N…(2)
[0058]其中，i=0、l、…、N-1，并且T表示根據(jù)SLO圖像的獲取速率所計算出的、在時間上相鄰的SLO圖像之間的時間間隔。
[0059]此外，圖8示出另一被檢眼的位置變化，其中不同于上述兩個情況，在X方向而不是Y方向上觀察到緊挨眨眼之前的快速移動。因此，特性獲取單元12分析X方向和Y方向這兩個方向，選擇緊挨眨眼之前變化較大的方向，并且獲得預測閾值Tp。這里，可以看出，Y方向和X方向分別與針對被檢者的垂直方向和水平方向相對應，并且在緊挨眨眼之前的眼睛的運動中獲得各被檢者的特性。因此，特性獲取單元12可以通過預先獲得被檢眼的特性信息來精確地獲得眨眼發(fā)生時刻。更具體地，特性獲取單元12可以根據(jù)被檢眼來選擇垂直方向或水平方向上的運`動并且獲得眨眼發(fā)生時刻。
[0060]此外，可以根據(jù)X方向和Y方向這兩者上的運動的大小來獲得被檢眼的眼運動的絕對值以獲得移動速度να)和τρ。在這種情況下，可以與被檢者無關地、利用眼睛的運動速度來均勻地處理緊挨眨眼之前的眼睛的運動。
[0061]這里，使用移動速度V(i)和Tp作為被檢眼的預定運動的代表值。
[0062]此外，在這種情況下，期望特性獲取單元12除去離群值。例如，在圖7中，在幀編號600附近似乎發(fā)生了兩次眨眼，但緊挨第二次眨眼之前眼球在Y的正方向上移動。在眨眼時在整個SLO圖像內(nèi)信號沒有被眼瞼阻斷、并且明部和暗部混合的情況下，可能發(fā)生該情況，使得由于模板匹配而造成誤檢測。
[0063]因此，特性獲取單元12在緊挨眨眼之前的移動方向大大不同于其它的情況下將其視為離群值，并且不應使用該值來進行上述的預測閾值Tp的計算。將如此計算出的預測閾值Tp和預測所使用的方向D作為特性信息輸出至分析單元13。例如，D在使用X方向來進行預測的情況下為0，并且在使用Y方向來進行預測的情況下為I。
[0064]此外，在本典型實施例中，如圖6和7所示，分析所使用的幀數(shù)為800，但本發(fā)明不限于該幀數(shù)。然而，由于在眨眼分析中在作為分析對象的數(shù)據(jù)中需要包含多次眨眼，因此期望大致按10秒以上來獲取并分析數(shù)據(jù)。
[0065]步驟S105
[0066]將從特性獲取單元12輸出的預測閾值Tp存儲在分析單元13的未示出的存儲器中。該處理的流程返回至步驟S101，并且進入實際預測操作開始的預測模式。該處理的流程進入步驟S106。
[0067]步驟S106
[0068]獲取單元11獲取SLO圖像。由于詳情與步驟S102相同，因此將省略其說明。
[0069]步驟S107
[0070]獲取單元11通過模式匹配來針對SLO圖像計算眼球的位置并且將該眼球的位置輸出至分析單元13。模式匹配的詳情與步驟S103相同，因此將省略其說明。
[0071]步驟S108`
[0072]分析單元13以與步驟S104相同的方式根據(jù)所輸入的眼球位置Pe計算眼球的移動速度，并且將該眼球的移動速度與步驟S105中預先存儲的作為預定值的預測閾值Tp進行比較。然而，分析單元13可以選擇X和Y這兩個方向中的任一方向以進行分析。在這種情況下，分析單元13僅對從特性獲取單元12輸入的預測要使用的方向D的值中所定義的方向進行分析。
[0073]結果，在移動速度等于或大于預測閾值Tp、并且移動方向與步驟S104中緊挨眨眼之前眼球移動的方向相同的情況下，有可能連續(xù)地發(fā)生眨眼并且將預測信號S輸出至外部。
[0074]此外，如上所述，分析單元13可以根據(jù)X和Y這兩個方向上的運動來進行分析。
[0075]步驟S109
[0076]在PC需要連續(xù)地接收SLO圖像并且進行預測的情況下，該處理再次進入步驟S106。例如，在本典型實施例的眨眼測量裝置與眼科診所所用的拍攝裝置連接的情況下，基于拍攝是否結束來確定本步驟中的處理。
[0077]如上所述，根據(jù)本發(fā)明的眨眼測量裝置可以分析眼球的移動速度和眨眼的發(fā)生，并且根據(jù)該眨眼的發(fā)生以及眼球的移動速度和方向來預測眨眼。此外，可以隨后對眼球的移動速度進行分析以分析眨眼的發(fā)生。在這種情況下，可以通過分析獲得眨眼開始信息。
[0078]在上述的第一典型實施例中，已說明了用于預測眨眼的發(fā)生的裝置。在第二典型實施例中，將說明根據(jù)本發(fā)明的眨眼測量裝置的有效應用示例。此外，由于本典型實施例中的眨眼測量裝置的基本結構與第一典型實施例的基本結構相同，因此將省略針對相同部分的說明并且將詳細說明不同的部分。[0079]圖9示出本典型實施例中的眨眼測量裝置的結構。在本典型實施例中，各單元的基本操作與第一典型實施例的基本操作相同，但除了緊挨眨眼之前的眼球的移動速度以外，特性獲取單元12還輸出用以估計眨眼之后的眼球的位置的參數(shù)。以下將參考圖6來說明本典型實施例中的特性獲取單元12的操作。
[0080]特性獲取單元12 —起接收SLO圖像和眼球的位置Pe，并且使用第一典型實施例所述的方法來判斷在獲取各SLO圖像時是否發(fā)生眨眼。接著，特性獲取單元12提取緊挨眨眼發(fā)生之前的眼球的移動速度和眨眼之后的眼球的位置。例如，發(fā)現(xiàn)以下:關于圖6和7中的Y方向上的眼球位置，眨眼發(fā)生之后的該眼球位置相對于緊挨眨眼發(fā)生之前的位置在正方向上大幅改變，并且眼球趨于在特定時間內(nèi)停留不動。特性獲取單元12采用眨眼發(fā)生之后的眼球位置的平均值P作為眨眼發(fā)生之后的眼球的估計位置。
[0081]更具體地，在如圖10所示、第i次眨眼之后的眼球位置為P (i)的情況下，如下計算估計位置P。
[0082]數(shù)學式2
[0083]P= Σ (i)/N— (3)
[0084]其中，分析時發(fā)生的眨眼次數(shù)為N。 與第一典型實施例相同，將預測閾值Tp和預測值P輸出至分析單元13。
[0085]接著，如果將模式切換為預測模式，則分析單元13根據(jù)眼球位置Pe來預測眨眼，并且在預測到眨眼發(fā)生的情況下，將預測位置P連同預測信號S—起輸出至獲取單元11。如圖11所示，在針對眼球位置檢測進行模板匹配的情況下，獲取單元11使針對與模板相匹配的位置所要搜索的區(qū)域在Y方向上移動了量P，由此在修正后的搜索區(qū)域S2中進行眨眼之后的匹配。
[0086]此外，盡管在圖11中使模板匹配所用的搜索區(qū)域僅在Y方向上移動，但在如第一典型實施例所述使用X方向和Y方向的運動的情況下，可以使搜索區(qū)域在兩個方向上移動。
[0087]因而，預測到眨眼之后的位置并且將該位置反映到搜索位置上以進行下次模板匹配。因此，即使在眼球的位置由于眨眼而大幅偏移的情況下，也防止了模式匹配對象移動到搜索區(qū)域外，由此可以進行更加穩(wěn)定的針對眼球運動的追蹤。
[0088]其它典型實施例
[0089]在上述的各典型實施例中，每次都獲得作為眨眼預測所用的參數(shù)的預測閾值Tp或預測位置P。然而，可以存儲該參數(shù)并且將其再用于已進行了針對預測的分析的被檢眼。
[0090]例如，如圖12所示，向圖1的結構添加存儲單元4，并且將特性獲取單元12的輸出輸入至分析單元13和存儲單元14以存儲在存儲單元14中。在這種情況下，從未示出的輸入單元輸入用于指定被檢眼的唯一編號，并且將該唯一編號連同預測閾值Tp —起存儲。
[0091]接著，在進行針對同一被檢眼的預測的情況下，PC通過搜索來判斷在存儲單元4中是否已存在具有同一編號的被檢眼的信息。在存在被檢眼的信息的情況下，分析單元13可以從存儲單元14接收預測閾值Tp，并且在不存在被檢眼的信息的情況下，可以通過圖3所示的過程來確定預測所需的參數(shù)。
[0092]如上所述，根據(jù)本發(fā)明，可以預先預測眨眼，并且可以在針對眼睛的拍攝裝置中進行更加高效的拍攝。
[0093]盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應該理解，本發(fā)明不限于所公開的典型實施例。所附權利要求書的范圍符合最寬的解釋，以包含所有修改、等同結構和功能。
[0094]本申請要求2011年8月26日提交的日本專利申請2011-184618的優(yōu)先權，在此通過引用包含其 全部內(nèi)容。
【權利要求】
1.一種眨眼測量裝置，包括: 獲取單元，用于獲取被檢眼的運動信息；以及 分析單元，用于基于所述運動信息來獲得與所述被檢眼的眨眼有關的開始信息。
2.根據(jù)權利要求1所述的眨眼測量裝置，其中，所述分析單元分析所述開始信息，并且在所述被檢眼進行預定運動的情況下，判斷為所述被檢眼的眨眼開始。
3.根據(jù)權利要求1或2所述的眨眼測量裝置，其中，所述分析單元分析所述開始信息，并且在緊挨眨眼之前的眼球的移動速度超過預定值的情況下，判斷為所述被檢眼的眨眼開始。
4.根據(jù)權利要求1至3中任一項所述的眨眼測量裝置，其中，所述分析單元根據(jù)所述被檢眼來選擇垂直方向和水平方向中的任一方向上的運動，并且獲得眨眼發(fā)生時刻。
5.根據(jù)權利要求1至4中任一項所述的眨眼測量裝置，其中，所述獲取單元包括掃描激光檢眼鏡，并且獲取所述掃描激光檢眼鏡所拍攝到的所述被檢眼的眼底的特征部的運動作為所述被檢眼的運動信息。
6.根據(jù)權利要求1至5中任一項所述的眨眼測量裝置，其中，所述分析單元估計在眨眼發(fā)生之后的眼球位置。
7.根據(jù)權利要求1至6中任一項所述的眨眼測量裝置，其中，所述分析單元預測眨眼發(fā)生時刻。
8.根據(jù)權利要求1至7中任一項所述的眨眼測量裝置，其中，還包括: 特性獲取單元，用于獲取所述被檢眼的特性信息；以及 存儲單元，用于存儲所述特性信息， 其中，所述分析單元基于存儲在所述存儲單元中的特性信息來獲得與所述被檢眼的眨眼有關的開始信息。
9.根據(jù)權利要求1至8中任一項所述的眨眼測量裝置，其中，所述獲取單元獲取所述被檢眼的固視期間的無意識眼動作為所述被檢眼的所述運動信息。
10.一種眨眼測量方法，包括以下步驟: 獲取被檢眼的運動信息；以及 基于所述運動信息來進行分析，以獲得與所述被檢眼的眨眼有關的開始信息。
11.一種程序，用于使計算機執(zhí)行根據(jù)權利要求10所述的眨眼測量方法。
【文檔編號】A61B3/113GK103764015SQ201280041711
【公開日】2014年4月30日 申請日期:2012年8月22日 優(yōu)先權日:2011年8月26日
【發(fā)明者】佐藤真 申請人:佳能株式會社