一種眼控方法及裝置的制造方法
【專利摘要】本發(fā)明公開了一種眼控方法及裝置，其中，該方法包括：獲取人眼在待操作設備上的注視點的位置信息；控制待操作設備屏幕上的光標移動到與人眼注視點位置信息相對應的位置；如果人眼在待操作設備上的注視點位置信息滿足預設條件，則控制在所述光標的位置輸入設定操作。本發(fā)明基于人眼的動作實現(xiàn)對光標的控制，進而實現(xiàn)控制操作設備。
【專利說明】
一種眼控方法及裝置
技術領域
[0001 ]本發(fā)明涉及眼控技術領域，尤其涉及一種眼控方法及裝置。
【背景技術】
[0002]在現(xiàn)有技術中，人與操作設備(如頭戴顯示設備、計算機、手機等)之間的交互主要是通過手工操作的交互方式。例如，人與頭戴顯示設備進行交互時，可以利用物理按鍵進行提高音量、播放或暫停等操作;人與計算機進行交互時，需要手工操作鍵盤或鼠標進行播放或打開等操作。但是這些手工的操作在用戶在雙手忙碌時或其他情形時會有種種的不便。
[0003]在人與操作設備交互的過程中，眼睛也作為又一種重要的信息交互通道，而視線反應人的注意方向，因而將視線應用于人機交互技術具有其自然性、直接性和交互性等特點，備受人們的關注，因此如何基于人眼的動作來實現(xiàn)人機交互是急需解決的技術問題。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明實施例提供一種眼控方法及裝置，基于人眼的動作實現(xiàn)對光標的控制，進而實現(xiàn)控制操作設備的目的。
[0005]第一方面，本發(fā)明實施例提供了一種眼控方法，包括:
[0006]獲取人眼在待操作設備上的注視點的位置信息；
[0007]控制待操作設備屏幕上的光標移動到與人眼注視點位置信息相對應的位置；
[0008]如果人眼在待操作設備上的注視點位置信息滿足預設條件，則控制在所述光標的位置輸入設定操作。
[0009]第二方面，本發(fā)明實施例還提供了一種眼控裝置，包括:
[0010]注視點位置信息獲取模塊，用于獲取人眼在待操作設備上的注視點的位置信息；
[0011]光標控制模塊，用于控制待操作設備屏幕上的光標移動到與人眼注視點位置信息相對應的位置；
[0012]設定操作輸入模塊，用于如果人眼在待操作設備上的注視點位置信息滿足預設條件，則控制在所述光標的位置輸入設定操作。
[0013]本發(fā)明實施例提供的一種眼控方法及裝置，通過人眼在待操作設備上注視點的位置信息控制光標的移動，通過注視點位置信息滿足的預設條件控制光標的輸入操作，實現(xiàn)了通過人眼動作控制待操作設備屏幕上的光標，進而控制待操作設備的目的。
【附圖說明】
[0014]通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本發(fā)明的其它特征、目的和優(yōu)點將會變得更明顯:
[0015]圖1a是本發(fā)明實施例一提供的一種眼控方法流程圖；
[0016]圖1b是本發(fā)明實施例一提供的人機交互時的映射圖；
[0017]圖2a是本發(fā)明實施例二提供的一種眼控方法流程圖；
[0018]圖2b是本發(fā)明實施例二提供的獲取人眼瞳孔映射到角膜平面位置坐標流程圖；
[0019]圖2c是本發(fā)明實施例二提供的人眼圖像的原圖，
[0020]圖2d是本發(fā)明實施例二提供的提取圖像進行灰度化后的圖；
[0021]圖2e是本發(fā)明實施例二提供的提取的圖像二值化后的圖；
[0022]圖2f本發(fā)明實施例二提供的提取的圖像膨脹運算后的圖；
[0023]圖3a是本發(fā)明實施例三提供的一種眼控裝置的結構框圖；
[0024]圖3b是本發(fā)明實施例三提供的另一種眼控裝置的結構圖；
[0025]圖3c是本發(fā)明實施例三提供的用戶使用頭戴顯示設備時的側視圖。
【具體實施方式】
[0026]下面結合附圖和實施例對本發(fā)明作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關的部分而非全部內(nèi)容。
[0027]實施例一
[0028]圖1a是本發(fā)明實施例一提供的一種眼控方法的流程圖；本實施例的技術方案可由眼控裝置來執(zhí)行，該裝置可以采用硬件和/或軟件的方式來實現(xiàn)，所述裝置設于電子設備內(nèi)部，典型的是集成于諸如頭戴顯示設備等待操作設備的內(nèi)部。如圖1a所示，所述方法包括:
[0029]S110:獲取人眼在待操作設備上的注視點的位置信息。
[0030]在本實施例中，所述待操作設備為頭戴顯示設備、手機、觸控顯示屏、計算機、平板電腦、平視顯示器等能夠識別人眼注視點的電子設備。
[0031]所述待操作設備上具有眼控功能的物理按鍵或設定標識，用戶可以根據(jù)自己的需要對眼控功能的物理按鍵或設定標識進行打開或關閉。例如，當待操作設備為頭戴顯示設備時，頭戴顯示設備上具有眼控功能的物理按鍵，當用戶不方便采用手動操作時，可以按下具有眼控功能的物理按鍵，通過人眼的動作對頭戴顯示設備進行操作。當待操作設備上具有眼控功能的設定標識時，通過人眼注視設定標識的時間，判定對待操作設備的眼控功能的打開或關閉。其中設定標識可以為待操作設備屏幕上的設定圖標，待操作設備上的設定位置或操作設備上的設定按鈕。
[0032]當待操作設備上的眼控功能打開以后，獲取人眼在待操作設備上的注視點的位置信息。在獲取人眼在待操作設備上的注視點位置信息過程中，首先通過紅外拍攝單元拍攝人眼圖像，通過眼控裝置對人眼圖像進行處理。如圖1b所示，當人眼注視待操作設備上不同的位置時，經(jīng)處理的人眼圖像瞳孔的位置是不同的，經(jīng)過分析可以得到人眼的瞳孔101映射到角膜平面的映射點在角膜平面102移動，同時人眼在待操作設備103上的注視點也隨之移動。其中，角膜平面為根據(jù)人眼圖像將人眼的眼球表面映射至預設位置的一個二維平面。將人眼的瞳孔映射到角膜平面102的映射點和人眼在待操作設備上的注視點通過歸納、統(tǒng)計計算，一一實現(xiàn)校準，并且通過統(tǒng)計計算，可以獲得人眼的瞳孔101映射到角膜平面102的位置和人眼在待操作設備103上的注視點位置的對應關系，其中，對應關系可以是公式或函數(shù)等。進行校準后，獲取人眼圖像，并對人眼圖像進行處理，獲得人眼瞳孔映射到角膜平面的位置，根據(jù)對應關系就可以獲取人眼在待操作設備上的注視點位置信息。
[0033]S120:控制待操作設備屏幕上的光標移動到與人眼注視點位置信息相對應的位置。
[0034]在本實施例中，舉例說明，當待操作設備為頭戴顯示設備時，如果用戶正在觀看視頻，根據(jù)用戶的需求對視頻進行快進，用戶可以注視頭戴顯示設備屏幕中的快進鍵的位置，待操作設備上的眼控裝置獲取人眼在快進鍵位置的位置信息，控制頭戴顯示設備屏幕上的光標移動到快進鍵的位置。
[0035]又如，當待操作設備為計算機時，如果用戶的需求是打開目標應用或目標文件，用戶可以注視計算機屏幕上目標應用或目標文件的圖標，待操作設備上的眼控裝置獲取人眼在目標應用的圖標位置信息或目標文件的圖標位置信息，控制計算機屏幕上的光標移動到目標應用圖標的位置或目標文件圖標的位置。其中，目標應用可以為瀏覽器、qq等應用。目標文件可以是word文檔、PDF文件、壓縮文件等。
[0036]S130:如果人眼在待操作設備上的注視點位置信息滿足預設條件，則控制在所述光標的位置輸入設定操作。
[0037]在本實施例中，人眼在待操作設備上的注視點位置信息滿足預設條件優(yōu)選包括下述至少一項:人眼在待操作設備上的注視點位置信息持續(xù)第一預設時間；
[0038]人眼在待操作設備上在第二預設時間內(nèi)，保持注視點位置信息不變時進行至少一次眨眼動作。在本實施例中，如果人眼在待操作設備上的注視點位置信息持續(xù)第一預設時間，即人眼在待操作設備上的注視點位置信息在第一預設時間內(nèi)不發(fā)生變化，則控制在所述光標的位置輸入設定操作。
[0039]示例性的，控制在所述光標的位置輸入設定操作優(yōu)選包括:控制在所述光標的位置輸入點擊、長按、或者長按結合拖動操作。其中，點擊的操作可以是單擊操作，也可以是雙擊操作，關于單擊或雙擊的操作，可以根據(jù)用戶的需要進行自定義設置。
[0040]當人眼在待操作設備上的注視點位置信息滿足預設條件包括:人眼在待操作設備上的注視點位置信息持續(xù)第一預設時間時，對于點擊操作的設置進行舉例說明，如，將人眼在待操作設備上的注視點位置信息持續(xù)Is設置為輸入單擊操作。將人眼在待操作設備上的注視點位置信息持續(xù)2s設置為輸入雙擊操作。
[0041]當用戶在待操作設備上控制視頻的快進、后退、播放或暫停以及關閉窗口等操作時，用戶可以注視相應的位置ls，即可以實現(xiàn)自己的需求。當用戶在操作設備需要打開目標文件或目標應用時，可以注視相應的位置2s，即可實現(xiàn)自己的需求。
[0042]在本實施例中，長按的操作是指光標在某一位置的時間達到了設定的時間，長按操作可以根據(jù)用戶的需要進行自定義設置。例如，如果人眼在待操作設備上的注視點位置信息持續(xù)2_3s設為長按操作。當待操作設備為手機時，如果人眼在手機屏幕上微信中的編輯位置注視2_3s，可以實現(xiàn)微信內(nèi)容的編輯，但是如果人眼對手機屏幕上的圖標注視2-3，僅僅能實現(xiàn)長按圖標的操作，當人眼的注視點位置信息變化時，不能將圖標進行拖動。
[0043]在本實施例中，長按結合拖動的操作可以根據(jù)用戶的需要進行設置。例如，如果人眼在待操作設備上的注視點位置信息持續(xù)3_4s設置為長按結合拖動的操作。當待操作設備為手機時，如果人眼在手機屏幕上的圖標注視3-4s，可以將實現(xiàn)對圖標長按的操作，當人眼的注視點位置信息變化時，還能夠拖動圖標。
[0044]在本實施例中，當人眼在待操作設備上的注視點位置信息滿足預設條件包括:人眼在待操作設備上在第二預設時間內(nèi)，保持注視點位置信息不變時進行至少一次眨眼動作時，控制在所述光標的位置輸入設定的操作。其中，關于控制在光標的位置輸入設置的操作，眨眼的動作的次數(shù)可以根據(jù)用戶的需求進行自定義設置。例如，在l_2s時間內(nèi)，人眼在待操作設備上注視點位置信息不變的情形下如果快速眨眼一次，設定為輸入單擊操作，如果快速眨眼兩次，設定為輸入雙擊操作。人眼的眨眼動作能夠通過紅外拍攝單元拍攝的用于判斷人眼動作的人眼圖像得到。所述人眨眼的動作還可以實現(xiàn)在光標的位置輸入其他形式的操作，如，長按或者長按結合拖動的操作等。
[0045]在上述實施例的基礎上，凡是在待操作設備上通過手動進行操作的動作，均可以通過上述的方法來實現(xiàn)。
[0046]本發(fā)明實施例一提供了一種眼控方法，通過人眼在待操作設備上注視點的位置信息控制光標的移動，通過注視點位置信息滿足的預設條件控制光標的輸入操作，實現(xiàn)了通過人眼動作控制待操作設備屏幕上的光標，進而控制待操作設備的目的。
[0047]實施例二
[0048]圖2a是本發(fā)明實施例二提供的一種眼控方法的流程圖；在上述實施例的基礎上，所述獲取人眼在待操作設備上的注視點的位置信息優(yōu)選包括:
[0049]獲取人眼圖像，根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面位置坐標；
[0050]根據(jù)預存的人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系，獲取人眼在待操作設備上注視點的位置信息。
[0051]位置坐標之間的對應關系可以預先確定，S卩，在根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面位置坐標之前，還包括:
[0052]當人眼的瞳孔映射到角膜平面時的位置與角膜平面形成的高亮度的反射點相對應時，獲取人眼注視點在操作設備上的第一預設位置；
[0053]以角膜平面形成的高亮度的反射點作為第一參考點建立角膜平面坐標系，以第一預設位置作為第二參考點建立注視點平面坐標系；
[0054]獲取人眼注視點在待操作設備上的至少一個第二預設位置時的校準人眼圖像，從所述校準人眼圖像中獲取人眼瞳孔映射到角膜平面的位置坐標；
[0055]根據(jù)人眼注視點在待操作設備上的第二預設位置時的瞳孔映射到角膜平面位置坐標與待操作設備上第二預設位置的坐標，獲取人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系。
[0056]為了更加準確的確定人眼瞳孔的位置坐標，所述根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面位置坐標優(yōu)選包括:
[0057]根據(jù)人眼圖像提取人眼睛中黑色眼球的區(qū)域圖像；
[0058]對提取的圖像進行處理，根據(jù)處理后圖像中人眼瞳孔的位置確定人眼瞳孔映射到角膜平面的位置；
[0059]根據(jù)人眼瞳孔映射到角膜平面位置以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面的位置坐標。
[0060]基于上述的優(yōu)化，本實施例提供的技術方案具體如下:
[0061]S210:當人眼的瞳孔映射到角膜平面的位置與角膜平面形成的高亮度的反射點相對應時，獲取人眼注視點在待操作設備上的第一預設位置。
[0062]在本實施例中，待操作設備為頭戴顯示設備。設置于頭戴顯示設備內(nèi)部的眼控裝置發(fā)出紅外光線在人眼的角膜平面上形成一個高亮度的反射點。當用戶注視頭戴顯示設備屏幕上不同的位置時，由于眼球是球體并且頭戴顯示設備與人眼的相對位置不變，則紅外光線在人眼角膜平面形成的反射點的位置不變，但瞳孔的位置發(fā)生變化。
[0063]當人眼的瞳孔映射到角膜平面的位置與角膜平面形成的高亮度的反射點相對應時，人眼在頭戴顯示設備上的注視點在一個目標位置，目標位置為第一預設的位置，第一預設位置也為頭戴顯示設備屏幕所在的注視點平面坐標系的參考位置。
[0064]S220:以角膜平面形成的高亮度的反射點作為第一參考點建立角膜平面坐標系；以第一預設位置作為第二參考點建立注視點平面坐標系。
[0065]S230:獲取人眼注視點在待操作設備上的至少一個第二預設位置時的校準人眼圖像，從所述校準人眼圖像中獲取人眼瞳孔映射到角膜平面的位置坐標。
[0066]在本實施例中，可預先進行位置校準，即預先選取一個或多個第二預設位置，告知校準人分別注視這幾個第二預設位置，且記錄下注視時的人眼圖像。即，校準人眼圖像為當人眼注視點在待操作設備上的第二預設位置時記錄的人眼圖像。再從校準人眼圖像中識別人眼瞳孔映射到角膜平面的位置坐標。
[0067]在本實施例中，舉例說明，當人眼的瞳孔映射到角膜平面的位置與角膜平面形成的高亮度的反射點相對應時，如果人眼在頭戴顯示設備屏幕中間的位置，此時人眼的瞳孔映射到角膜平面的位置坐標為(0，0)，頭戴顯示設備屏幕中間的位置為第一預設位置，也為注視點平面坐標系的第二參考點，即在注視點平面坐標系中坐標為(0，0)。第二預設位置選取多個位置，如頭戴顯示設備屏幕的左上角、左下角、右上角、右下角等位置。當人眼注視點在頭戴顯示設備屏幕的左上角、左下角、右上角、右下角等位置時，根據(jù)校準人眼圖像，獲取人眼瞳孔映射到角膜平面的位置，通過角膜平面坐標系，可以獲取人眼瞳孔映射到角膜平面的位置坐標(a，b)，(8，(:)、((1，13)和((1，(3)等。
[0068]S240:根據(jù)人眼注視點在待操作設備上的第二預設位置時的瞳孔映射到角膜平面位置坐標與待操作設備上第二預設位置的坐標，獲取人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系。
[0069]在本實施例中，舉例說明，當人眼注視點在頭戴顯示設備屏幕的左上角、左下角、右上角、右下角等位置時，根據(jù)校準人眼圖像，獲取人眼瞳孔映射到角膜平面的位置，通過角膜平面坐標系，可以獲取人眼瞳孔映射到角膜平面的位置坐標(3，13)，(&，(3)、((1，13)和((1，C)，相應的，頭戴顯示設備屏幕的左上角、左下角、右上角、右下角對應的在注視點坐標系中坐標分別是(11，71)、(乂1，0、(12，71)和(12，72)，其中，當當人眼注視點在頭戴顯示設備屏幕的左上角、左下角、右上角、右下角等位置均可以作為第二預設位置。
[0070]根據(jù)(a，b)，(a，c)、(d，e)和(d，f)分別和(xl，yl)、(xl，y2)、(x2，y3)和(x2，y4)的對應關系，經(jīng)過統(tǒng)計分析，得到人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系，其中，對應關系可以是函數(shù)或公式等。例如，函數(shù)或公式可以為(義，7)=人(&上)例，其中，λ可以為常數(shù)，也可以為函數(shù)。
[0071]需要說明的是，在獲取人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系過程中，需要大量的統(tǒng)計計算，所以，需要預先獲取人眼注視點在頭戴顯示設備屏幕的多個位置時的人眼圖像，不僅僅局限于預先獲取頭戴顯示設備屏幕有限的幾個位置的人眼圖像，其中，頭戴顯示設備屏幕的多個位置在注視點平面坐標系的坐標均可以確定。然后，通過校準人眼圖像，獲取人眼瞳孔映射到角膜平面的位置坐標，進而確定人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系。
[0072]S250:獲取人眼圖像，根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面位置坐標。
[0073]在本實施例中，所述根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面位置坐標，優(yōu)選包括:根據(jù)人眼圖像提取人眼睛中黑色眼球的區(qū)域圖像;對提取的圖像進行處理，根據(jù)處理后的圖像中人眼瞳孔的位置確定人眼瞳孔映射到角膜平面的位置;根據(jù)人眼瞳孔映射到角膜平面位置以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面的位置坐標。
[0074]其中，所述對提取的圖像進行處理優(yōu)選包括:對提取的圖像分別進行灰度化、歸一化、高斯平滑處理和二值化處理;將二值化處理后的圖像進行腐蝕運算處理，判斷腐蝕運算處理后的圖像是否是一個連通區(qū)域；如果腐蝕運算處理后的圖像是一個連通區(qū)域，對腐蝕運算處理的圖像進行膨脹運算處理。
[0075]基于上述的優(yōu)化，如圖2b所示，獲取人眼瞳孔映射到角膜平面位置坐標流程如下:
[0076]S251:根據(jù)人眼圖像提取人眼睛中黑色眼球的區(qū)域圖像。
[0077]S252:對提取的圖像分別進行灰度化、歸一化、高斯平滑處理和二值化處理。
[0078]在本實施例中，圖2c為人眼圖像的原圖，圖2d為提取的圖像進行灰度化后圖，圖2e為提取的圖像二值化后的圖。使用雙線性插值法把提取的圖像歸一化大小為55X35。對提取的圖像進行高斯平滑濾波處理過程中，采用θ = (η/2-1)Χ0.3+0.8的標準差及選取n=ll模板大小進行處理。對提取的圖像二值化是采用自適應閾值算法進行的，其中提取閾值方法是采用高斯算法，先求出塊中的加權和，然后再二值化圖像(如圖2e所示)。
[0079]S253:將二值化處理后的圖像進行腐蝕運算處理，判斷腐蝕運算處理后的圖像是否是一個連通區(qū)域。如果是，執(zhí)行S254，如果不是，則返回S252。
[0080]在本實施例中，分別經(jīng)過灰度化、歸一化、高斯平滑處理和二值化處理處理后的圖像中除得到眼球(虹膜區(qū)內(nèi))的區(qū)域外，還得到了一些其他的多余信息，采用數(shù)學形態(tài)學的開運算方法處理，先用3 X 3的方形結構元素對前面處理后的圖像進行多次腐蝕運算，判斷腐蝕運算處理后的圖像是否是一個連通區(qū)域。
[0081 ] S254:對腐蝕運算處理的圖像進行膨脹運算處理。
[0082]在本實施例中，膨脹運算處理圖像如圖2f所示，處理后的圖像是一個連通區(qū)域，并且在圖像中存在人眼瞳孔的映射點。
[0083]S255:根據(jù)處理后的圖像中人眼瞳孔的位置確定人眼瞳孔映射到角膜平面的位置。
[0084]在本實施例中，處理后圖像中連通區(qū)域的寬度和面積，可以判斷人眼的閉合或打開狀態(tài)。當判斷人眼處理閉合狀態(tài)時，不能基于人眼動作對待操作設備進行操作。在處理后的圖像中，存在人眼瞳孔的位置信息(圖2f所示)，再將人眼瞳孔映射到角膜平面，在角膜平面上形成映射點，進而確定人眼瞳孔映射到角膜平面的位置。
[0085]S256:根據(jù)人眼瞳孔映射到角膜平面位置以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面的位置坐標。
[0086]在本實施例中，在角膜平面坐標系中可以獲取人眼瞳孔映射到角膜平面的位置坐標。
[0087]S260:根據(jù)預存的人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系，獲取人眼在待操作設備上注視點的位置信息。
[0088]在本實施例中，例如，當用戶使用頭戴顯示設備觀看視頻時，通過獲取人眼圖像并對人眼圖像進行處理，獲取的人眼瞳孔映射到角膜平面的坐標為(0.04，0.07)，則根據(jù)預存的人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系，獲得人眼在待操作設備上注視的位置為(c，c)。
[0089]S270:如果人眼在待操作設備上的注視點位置信息持續(xù)預設時間，則控制在所述光標的位置輸入設定操作
[0090]S280:如果人眼在待操作設備上的注視點位置信息滿足預設條件，則控制在所述光標的位置輸入設定操作。
[0091]在上述實施例的基礎上，獲取人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系方法還可以采用如下方式:分別獲取人眼注視點在待操作設備上的第一預設位置和第二預設位置時的瞳孔映射到角膜平面位置；以人眼注視點在待操作設備上的第一預設位置時的瞳孔映射到角膜平面的位置為第一參考點建立角膜平面坐標系；以待操作設備上的第一預設位置為第二參考點建立注視點平面坐標系;根據(jù)人眼注視點在待操作設備上的第二預設位置時的瞳孔映射到角膜平面的坐標與待操作設備上的第二預設位置的坐標，獲取人眼瞳孔位置坐標與人眼在待操作設備上注視點位置坐標對應關系。其中，第二預設位置存在多個。
[0092]在上述實施例的基礎上，人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系的方法還可以存在其他的方式。
[0093]本發(fā)明實施例提供了一種眼控方法，通過獲取人眼圖像并對人眼圖像的處理，獲取人眼瞳孔的位置信息，通過人眼瞳孔位置信息，獲取人眼在待操作設備的注視點的位置信息，實現(xiàn)基于人眼的動作控制待操作設備的目的。
[0094]實施例三
[0095]圖3是本發(fā)明實施例三提供的一種眼控裝置的結構框圖，如圖3所示，所述裝置，包括:注視點位置信息獲取模塊310、光標控制模塊320和設定操作輸入模塊330。
[0096]其中，注視點位置信息獲取模塊310，用于獲取人眼在待操作設備上的注視點的位置信息；
[0097]光標控制模塊320，用于控制待操作設備屏幕上的光標移動到與人眼注視點位置信息相對應的位置；
[0098]設定操作輸入模塊330，用于如果人眼在待操作設備上的注視點位置信息滿足預設條件，則控制在所述光標的位置輸入設定操作。
[0099]進一步的，人眼在待操作設備上的注視點位置信息滿足預設條件包括下述至少一項:
[0100]人眼在待操作設備上的注視點位置信息持續(xù)第一預設時間；
[0101]人眼在待操作設備上在第二預設時間內(nèi)，保持注視點位置信息不變時進行至少一次眨眼動作。
[0102]進一步的，設定操作輸入模塊330，具體用于:
[0103]控制在所述光標的位置輸入點擊、長按、或者長按結合拖動操作。
[0104]進一步的，注視點位置信息獲取模塊310，包括:
[0105]瞳孔位置坐標獲取子模塊311，用于獲取人眼圖像，根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面位置坐標；
[0106]注視點位置信息獲取子模塊312，用于根據(jù)預存的人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系，獲取人眼在待操作設備上注視點的位置信息。
[0107]進一步的，所述裝置還包括:對應關系獲取模塊340，用于在根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面位置坐標之前，當人眼的瞳孔映射到角膜平面時的位置與角膜平面形成的高亮度的反射點相對應時，獲取人眼注視點在操作設備上的第一預設位置；以角膜平面形成的高亮度的反射點作為第一參考點建立角膜平面坐標系，以第一預設位置作為第二參考點建立注視點平面坐標系；獲取人眼注視點在待操作設備上的至少一個第二預設位置時校準人眼圖像，從所述校準人眼圖像中獲取人眼瞳孔映射到角膜平面的位置坐標;根據(jù)人眼注視點在待操作設備上的第二預設位置時的瞳孔映射到角膜平面位置坐標與待操作設備上第二預設位置的坐標，獲取人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系。
[0108]進一步的，瞳孔位置坐標獲取子模塊311具體用于:
[0109]根據(jù)人眼圖像提取人眼睛中黑色眼球的區(qū)域圖像；
[0110]對提取的圖像進行處理，根據(jù)處理后的圖像中人眼瞳孔的位置確定人眼瞳孔映射到角膜平面的位置；
[0111]根據(jù)人眼瞳孔映射到角膜平面位置以及預設的圖像坐標系獲取人眼瞳孔的位置坐標。
[0112]進一步的，所述對提取的圖像進行處理優(yōu)選包括:
[0113]對提取的圖像分別進行灰度化、歸一化、高斯平滑處理和二值化處理；
[0114]將二值化處理后的圖像進行腐蝕運算處理，判斷腐蝕運算處理后的圖像是否是一個連通區(qū)域；
[0115]如果腐蝕運算處理后的圖像是一個連通區(qū)域，對腐蝕運算處理的圖像進行膨脹運算處理。
[0116]在上述實施例的基礎上，如圖3b所示，所述裝置300還包括紅外發(fā)射單元350和紅外拍攝單元360。其中，紅外發(fā)射單元350，用于向人眼發(fā)射紅外光，以使角膜平面上形成高亮度的反射點；紅外拍攝單元360，用于拍攝人眼圖像，并將人眼圖像發(fā)送給注視點位置信息獲取模塊310。
[0117]紅外發(fā)射單元350、紅外拍攝單元360均設置在待操作設備上，注視點位置信息獲取模塊310、光標控制模塊320和設定操作輸入模塊330均集成在芯片301上。當待操作設備為頭戴顯示設備302時，圖3c是用戶使用頭戴顯示設備時的側視圖，如圖3c所示，紅外發(fā)射單元350設置在頭戴顯示設備302兩個屏幕中間的位置，紅外拍攝單元360、芯片301分別設置在頭戴顯示設備302上。當打開頭戴顯示設備上的眼控裝置時，由紅外發(fā)射單元350向人眼發(fā)射紅外光，以使角膜平面形成高亮度的反射點；紅外拍攝單元360拍攝人眼圖像，將人眼的圖像發(fā)送給集成在芯片301上的注視點位置信息獲取模塊，經(jīng)過芯片301中各個模塊對人眼圖像進行分析，獲取人眼的動作?；谌搜鄣膭幼骺刂乒鈽说囊苿右约霸诠鈽怂谖恢玫狞c擊、長按或長按結合拖動的操作，實現(xiàn)通過人眼動作對頭戴顯示設備進行控制的目的。在所述的頭戴顯示設備中，芯片、紅外發(fā)射單元、紅外拍攝單元的位置可以根據(jù)需要進行設置。
[0118]上述裝置可執(zhí)行本發(fā)明任意實施例所提供的眼控方法，具備執(zhí)行方法相應的功能模塊和有益效果。
[0119]本發(fā)明實施例提供了一種眼控裝置，通過人眼在待操作設備上注視點的位置信息控制光標的移動，通過注視點位置信息滿足的預設條件控制光標的輸入操作，實現(xiàn)了通過人眼動作控制待操作設備屏幕上的光標，進而控制操作設備的目的。
[0120]注意，上述僅為本發(fā)明的較佳實施例及所運用技術原理。本領域技術人員會理解，本發(fā)明不限于這里所述的特定實施例，對本領域技術人員來說能夠進行各種明顯的變化、重新調(diào)整和替代而不會脫離本發(fā)明的保護范圍。因此，雖然通過以上實施例對本發(fā)明進行了較為詳細的說明，但是本發(fā)明不僅僅限于以上實施例，在不脫離本發(fā)明構思的情況下，還可以包括更多其他等效實施例，而本發(fā)明的范圍由所附的權利要求范圍決定。
【主權項】
1.一種眼控方法，其特征在于，包括: 獲取人眼在待操作設備上的注視點的位置信息； 控制待操作設備屏幕上的光標移動到與人眼注視點位置信息相對應的位置； 如果人眼在待操作設備上的注視點位置信息滿足預設條件，則控制在所述光標的位置輸入設定操作。2.根據(jù)權利要求1所述的方法，其特征在于，人眼在待操作設備上的注視點位置信息滿足預設條件包括下述至少一項: 人眼在待操作設備上的注視點位置信息持續(xù)第一預設時間； 人眼在待操作設備上在第二預設時間內(nèi)，保持注視點位置信息不變時進行至少一次眨眼動作。3.根據(jù)權利要求1所述的方法，其特征在于，控制在所述光標的位置輸入設定操作包括: 控制在所述光標的位置輸入點擊、長按、或者長按結合拖動操作。4.根據(jù)權利要求1所述的方法，其特征在于，獲取人眼在待操作設備上的注視點的位置信息，包括: 獲取人眼圖像，根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面的位置坐標； 根據(jù)預存的人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系，獲取人眼在待操作設備上注視點的位置信息。5.根據(jù)權利要求4所述的方法，其特征在于，在根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面位置坐標之前，還包括: 當人眼的瞳孔映射到角膜平面時的位置與角膜平面形成的高亮度的反射點相對應時，獲取人眼注視點在操作設備上的第一預設位置； 以角膜平面形成的高亮度的反射點作為第一參考點建立角膜平面坐標系，以第一預設位置作為第二參考點建立注視點平面坐標系； 獲取人眼注視點在待操作設備上的至少一個第二預設位置時的校準人眼圖像，從所述校準人眼圖像中獲取人眼瞳孔映射到角膜平面的位置坐標； 根據(jù)人眼注視點在待操作設備上的第二預設位置時的瞳孔映射到角膜平面位置坐標與待操作設備上第二預設位置的坐標，獲取人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系。6.根據(jù)權利要求4所述的方法，其特征在于，所述根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面位置坐標，包括: 根據(jù)人眼圖像提取人眼睛中黑色眼球的區(qū)域圖像； 對提取的圖像進行處理，根據(jù)處理后的圖像中人眼瞳孔的位置確定人眼瞳孔映射到角膜平面的位置； 根據(jù)人眼瞳孔映射到角膜平面位置以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面的位置坐標。7.根據(jù)權利要求6所述的方法，其特征在于，所述對提取的圖像進行處理包括: 對提取的圖像分別進行灰度化、歸一化、高斯平滑處理和二值化處理； 將二值化處理后的圖像進行腐蝕運算處理，判斷腐蝕運算處理后的圖像是否是一個連通區(qū)域； 如果腐蝕運算處理后的圖像是一個連通區(qū)域，對腐蝕運算處理的圖像進行膨脹運算處理。8.一種眼控裝置，其特征在于，包括: 注視點位置信息獲取模塊，用于獲取人眼在待操作設備上的注視點的位置信息； 光標控制模塊，用于控制待操作設備屏幕上的光標移動到與人眼注視點位置信息相對應的位置； 設定操作輸入模塊，用于如果人眼在待操作設備上的注視點位置信息滿足預設條件，則控制在所述光標的位置輸入設定操作。9.根據(jù)權利要求8所述的裝置，其特征在于，人眼在待操作設備上的注視點位置信息滿足預設條件包括下述至少一項: 人眼在待操作設備上的注視點位置信息持續(xù)第一預設時間； 人眼在待操作設備上在第二預設時間內(nèi)，保持注視點位置信息不變時進行至少一次眨眼動作。10.根據(jù)權利要求8所述的裝置，其特征在于，設定操作輸入模塊，具體用于: 控制在所述光標的位置輸入點擊、長按、或者長按結合拖動操作。11.根據(jù)權利要求8所述的裝置，其特征在于，注視點位置信息獲取模塊，包括: 瞳孔位置坐標獲取子模塊，用于獲取人眼圖像，根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面位置坐標； 注視點位置信息獲取子模塊，用于根據(jù)預存的人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系，獲取人眼在待操作設備上注視點的位置信息。12.根據(jù)權利要求11所述的裝置，其特征在于，還包括:對應關系獲取模塊，用于在根據(jù)人眼圖像以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面位置坐標之前，當人眼的瞳孔映射到角膜平面時的位置與角膜平面形成的高亮度的反射點相對應時，獲取人眼注視點在操作設備上的第一預設位置； 以角膜平面形成的高亮度的反射點作為第一參考點建立角膜平面坐標系，以第一預設位置作為第二參考點建立注視點平面坐標系； 獲取人眼注視點在待操作設備上的至少一個第二預設位置時的校準人眼圖像，從所述校準人眼圖像中獲取人眼瞳孔映射到角膜平面的位置坐標； 根據(jù)人眼注視點在待操作設備上的第二預設位置時的瞳孔映射到角膜平面位置坐標與待操作設備上第二預設位置的坐標，獲取人眼瞳孔映射到角膜平面的位置坐標與人眼在待操作設備上注視點位置坐標對應關系。13.根據(jù)權利要求11所述的裝置，其特征在于，瞳孔位置坐標獲取子模塊具體用于: 根據(jù)人眼圖像提取人眼睛中黑色眼球的區(qū)域圖像； 對提取的圖像進行處理，根據(jù)處理后的圖像中人眼瞳孔的位置確定人眼瞳孔映射到角膜平面的位置； 根據(jù)人眼瞳孔映射到角膜平面位置以及預設的角膜平面坐標系獲取人眼瞳孔映射到角膜平面的位置坐標。14.根據(jù)權利要求13所述的裝置，其特征在于，所述對提取的圖像進行處理包括: 對提取的圖像分別進行灰度化、歸一化、高斯平滑處理和二值化處理； 將二值化處理后的圖像進行腐蝕運算處理，判斷腐蝕運算處理后的圖像是否是一個連通區(qū)域； 如果腐蝕運算處理后的圖像是一個連通區(qū)域，對腐蝕運算處理的圖像進行膨脹運算處理。15.根據(jù)權利要求8所述的裝置，其特征在于，還包括； 紅外發(fā)射單元，用于向人眼發(fā)射紅外光，以使角膜平面上形成高亮度的反射點； 紅外拍攝單元，用于拍攝人眼圖像，并將人眼圖像發(fā)送給注視點位置信息獲取模塊。
【文檔編號】G06F3/01GK105867603SQ201510899912
【公開日】2016年8月17日
【申請日】2015年12月8日
【發(fā)明人】王坤, 趙謙謙
【申請人】樂視致新電子科技（天津）有限公司