基于瞳孔跟蹤的閱讀控制方法、閱讀控制裝置及顯示設備的制作方法
【專利摘要】本發(fā)明提供一種基于瞳孔跟蹤的閱讀控制方法，包括如下步驟：步驟A、當用戶閱讀顯示設備的顯示屏上的顯示內容時，獲取用戶的當前眼部圖像；步驟B、將所述當前眼部圖像與瞳孔動作樣本圖像集進行匹配，得到所述當前眼部圖像所屬的瞳孔動作樣本圖像；步驟C、獲取所述瞳孔動作樣本圖像所映射的閱讀指令；步驟D、執(zhí)行所述閱讀指令，對顯示設備的顯示屏上顯示內容進行相應的閱讀操作。本發(fā)明基于瞳孔跟蹤的閱讀控制方法，通過跟蹤用戶雙眼的瞳孔動作來控制所述顯示屏上顯示內容執(zhí)行對應的閱讀操作，能夠實現(xiàn)對顯示內容的實時操作，能夠使我們的生活更加智能化、更加便捷化及更具有人性化。本發(fā)明還提供一種基于瞳孔跟蹤的閱讀控制裝置及顯示設備。
【專利說明】基于瞳孔跟蹤的閱讀控制方法、閱讀控制裝置及顯示設備
【技術領域】
[0001]本發(fā)明涉及人機交互【技術領域】，尤其涉及一種基于瞳孔跟蹤的閱讀控制方法、閱讀控制裝置及顯示設備。
【背景技術】
[0002]傳統(tǒng)在便攜設備上進行閱讀的操控方法一般有兩種，按鍵/按鈕式的操控和可觸屏上手勢的操控。當然，隨著現(xiàn)在語音技術的成熟，語音操控或許也是一種不錯的方式，在這些操控方式，按鍵和手勢操控是需要同設備直接接觸的，操作繁瑣；而語音操控，一方面容易受環(huán)境干擾，另一方面也容易干擾到環(huán)境，也不是很適合用戶的閱讀。隨著科技的發(fā)展，特別是人臉檢測和定位技術的成熟為這種人機交互式閱讀提供了更多的可能。
[0003]便攜設備上的閱讀內容是通過眼睛輸入給人的，眼睛是閱讀的直接行為者，能否直接通過眼睛對閱讀進行操控，使眼睛既為輸入者又為輸出者(閱讀的同時進行操控)，這樣的操控肯定是最便捷的。

【發(fā)明內容】

[0004]本發(fā)明的主要目的在于提供一種基于瞳孔跟蹤的閱讀控制方法、閱讀控制裝置及顯示設備，旨在通過跟蹤用戶雙眼的瞳孔動作來控制所述顯示屏上顯示內容執(zhí)行對應的閱讀操作，以實現(xiàn)對顯示內容的實時操作。
[0005]為了實現(xiàn)上述目的，本發(fā)明提供一種基于瞳孔跟蹤的閱讀控制方法，包括如下步驟:
[0006]步驟A、當用戶閱讀顯示設備的顯示屏上的顯示內容時，獲取用戶的當前眼部圖像；
[0007]步驟B、將所述當前眼部圖像與瞳孔動作樣本圖像集進行匹配，得到所述當前眼部圖像所屬的瞳孔動作樣本圖像；
[0008]步驟C、獲取所述瞳孔動作樣本圖像所映射的閱讀指令；
[0009]步驟D、執(zhí)行所述閱讀指令，對顯示設備的顯示屏上顯示內容進行相應的閱讀操作。
[0010]優(yōu)選地，在所述步驟A之前還包括:步驟A0、采集多個瞳孔動作樣本形成所述瞳孔動作樣本圖像集，并在所述瞳孔動作樣本圖像集的瞳孔動作樣本圖像和閱讀指令集的閱讀指令之間建立一對一映射關系。
[0011]優(yōu)選地，所述步驟AO中，所述瞳孔動作樣本圖像集包括雙眼正常直視樣本圖像、雙眼向右樣本圖像、雙眼向左樣本圖像、雙眼向上樣本圖像、雙眼向下樣本圖像、雙眼閉眼樣本圖像、左眼閉右眼睜樣本圖像及右眼閉左眼睜樣本圖像中的至少一種，所述閱讀指令集包括正常閱讀指令、向右翻頁指令、向左翻頁指令、向上移動頁面指令、向下移動頁面指令、確認指令、返回指令及調用菜單指令中的至少一種；
[0012]所述步驟B中，將所述當前眼部圖像與瞳孔動作樣本圖像集進行匹配時，定義當前眼部圖像fn與瞳孔動作樣本圖像集中瞳孔動作樣本圖像Fi (i ^ I)的距離函數(shù)值為:
[0013]Clni=Ifn(Xl)-Fi (xl) +Ifn(Yl)-Fi (yl) +|fn(x2)-Fi (x2) | +1 fn(y2)-Fi (y2)
[0014]上式中:
[0015]fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔中心的X坐標和y坐標；Fi (xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔中心的x坐標和y坐標；fn(x2)、fn(y2)分別代表當前眼部圖像4中右眼瞳孔中心的X坐標和y坐標Α(χ2)、&(72)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔中心的X坐標和y坐標；或者
[0016]fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔所有點的X坐標集合和y坐標集合A (xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔所有點的x坐標集合和y坐標集合；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔所有點的X坐標集合和y坐標集合Α(Χ2)、Fi(y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔所有點的x坐標集合和I坐標集合；又或者
[0017]fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔所有點的X坐標平均值和y坐標平均值A(Xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔所有點的X坐標平均值和I坐標平均值；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔所有點的X坐標平均值和I坐標平均值A (x2)、Fi (y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔所有點的X坐標平均值和y坐標平均值；
[0018]定義dni中的最小值為閥值T，T=min (dnl，......，dni)，閥值T所對應的i代表的瞳
孔動作樣本圖像即為所述當前眼部圖像所屬的瞳孔動作樣本圖像。
[0019]優(yōu)選地，所述步驟AO中，每一個瞳孔動作樣本圖像的采集步驟包括: [0020]當用戶雙眼處于所述瞳孔動作樣本圖像對應的狀態(tài)時，獲取用戶在所述狀態(tài)下的臉部圖像樣本；
[0021]對獲取的臉部圖像樣本進行預處理；
[0022]對預處理后的臉部圖像樣本進行檢測和定位，以獲取臉部圖像樣本中用戶的眼部圖像樣本，得到所述瞳孔動作樣本圖像。
[0023]優(yōu)選地,所述步驟A具體包括:
[0024]Al、當用戶閱讀顯示設備的顯示屏上的顯示內容時，獲取顯示屏前方的圖像；
[0025]A2、對獲取的圖像進行預處理；
[0026]A3、對預處理后的圖像進行人臉檢測，如果檢測到預處理后的圖像中包含人臉圖像，則對人臉圖像進行定位并獲取人臉圖像中用戶的當前眼部圖像；否則，執(zhí)行步驟Al。
[0027]本發(fā)明還提供一種基于瞳孔跟蹤的閱讀控制裝置，包括:
[0028]圖像采集和處理模塊，用于當用戶閱讀顯示設備的顯示屏上的顯示內容時，獲取用戶的當前眼部圖像；
[0029]瞳孔動作匹配模塊，用于將所述當前眼部圖像與瞳孔動作樣本圖像集進行匹配，得到所述當前眼部圖像所屬的瞳孔動作樣本圖像；
[0030]瞳孔動作映射模塊，用于獲取所述瞳孔動作樣本圖像所映射的閱讀指令；
[0031]瞳孔動作執(zhí)行模塊，用于執(zhí)行所述閱讀指令，對顯示設備的顯示屏上顯示內容進行相應的閱讀操作。
[0032]優(yōu)選地，所述圖像采集和處理模塊包括:[0033]圖像采集單元，包括攝像頭，用于當用戶閱讀顯示設備的顯示屏上的顯示內容時，獲取顯示屏前方的圖像；
[0034]圖像預處理單元，用于對獲取后的圖像進行預處理；
[0035]人臉檢測與定位單元，用于對預處理后的圖像進行人臉檢測與定位，以獲取人臉圖像中用戶的當前眼部圖像。 [0036]優(yōu)選地，所述圖像采集和處理模塊還用于采集多個瞳孔動作樣本形成所述瞳孔動作樣本圖像集，所述瞳孔動作映射模塊還用于在所述瞳孔動作樣本圖像集的瞳孔動作樣本圖像和閱讀指令集的閱讀指令之間建立一對一映射關系；
[0037]所述瞳孔動作匹配模塊具體用于:
[0038]定義當前眼部圖像fn與瞳孔動作樣本圖像集中瞳孔動作樣本圖像Fi (i > I)的距離函數(shù)值為:
[0039](Ini=Ifn(Xl)-Fi (xl) +|fn(yD_Fi (y!) I +1 fn (x2)-Fi (x2) +|fn(y2)-Fi (y2)
[0040]上式中:
[0041]fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔中心的X坐標和I坐標；Fi (xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔中心的x坐標和y坐標；fn(x2)、fn(y2)分別代表當前眼部圖像4中右眼瞳孔中心的X坐標和y坐標Α(χ2)、&(72)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔中心的X坐標和y坐標；或者
[0042]fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔所有點的x坐標集合和y坐標集合A (xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔所有點的x坐標集合和y坐標集合；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔所有點的X坐標集合和y坐標集合Α(Χ2)、Fi(y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔所有點的x坐標集合和I坐標集合；又或者
[0043]fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔所有點的x坐標平均值和y坐標平均值A(Xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔所有點的X坐標平均值和I坐標平均值；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔所有點的X坐標平均值和I坐標平均值A (x2)、Fi (y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔所有點的X坐標平均值和y坐標平均值；
[0044]定義dni中的最小值為閥值T，T=min (dnl,......，dni)，閥值T所對應的i代表的瞳
孔動作樣本圖像即為所述當前眼部圖像所屬的瞳孔動作樣本圖像。
[0045]優(yōu)選地，所述圖像采集和處理模塊還用于當用戶雙眼處于所述瞳孔動作樣本圖像對應的狀態(tài)時，獲取用戶在所述狀態(tài)下的臉部圖像樣本；所述圖像采集單元還用于當用戶雙眼處于所述瞳孔動作樣本圖像對應的狀態(tài)時，獲取用戶在所述狀態(tài)下的臉部圖像樣本；所述圖像預處理單元還用于對獲取的臉部圖像樣本進行預處理；所述人臉檢測與定位單元還用于對預處理后的臉部圖像樣本進行檢測和定位，以獲取臉部圖像樣本中用戶的眼部圖像樣本，得到所述瞳孔動作樣本圖像。
[0046]本發(fā)明還提供一種顯示設備，包括用于顯示內容供用戶閱讀的顯示屏，其特征在于，所述顯示設備還包括前述的基于瞳孔跟蹤的閱讀控制裝置，所述基于瞳孔跟蹤的閱讀控制裝置用于跟蹤用戶雙眼的瞳孔動作來控制所述顯示屏上顯示內容執(zhí)行對應的閱讀操作。[0047]本發(fā)明基于瞳孔跟蹤的閱讀控制方法、控制裝置及顯示設備，通過跟蹤用戶雙眼的瞳孔動作來控制所述顯示屏上顯示內容執(zhí)行對應的閱讀操作，能夠實現(xiàn)對顯示內容的實時操作，能夠使我們的生活更加智能化、更加便捷化及更具有人性化。
【專利附圖】

【附圖說明】
[0048]圖1為本發(fā)明基于瞳孔跟蹤的閱讀控制方法第一實施例的流程圖。
[0049]圖2為圖1所示基于瞳孔跟蹤的閱讀控制方法中步驟A的細化流程圖。
[0050]圖3為圖1所示基于瞳孔跟蹤的閱讀控制方法中，當前眼部圖像fn為雙眼向左時的示意圖。
[0051]圖4為圖1所示基于瞳孔跟蹤的閱讀控制方法中，所采用的瞳孔動作樣本圖像的示意圖。
[0052]圖5為本發(fā)明基于瞳孔跟蹤的閱讀控制方法第二實施例的流程圖。
[0053]圖6為本發(fā)明基于瞳孔跟蹤的閱讀控制裝置的結構示意圖。
[0054]圖7為圖6所示基于瞳孔跟蹤的閱讀控制裝置中圖像采集和處理模塊的結構示意圖。
[0055]圖8為本發(fā)明顯示設備一較佳實施例的結構示意圖。
[0056]本發(fā)明目的的實現(xiàn)、功能特點及優(yōu)點將結合實施例，參照附圖做進一步說明。
【具體實施方式】
[0057]本發(fā)明提供的技術方案是:用戶在閱讀顯示設備的顯示屏上的顯示內容時，顯示設備獲取用戶的當前眼部圖像，通過將當前眼部圖像與瞳孔動作樣本圖像集進行匹配，根據(jù)匹配結果得到用戶當前的瞳孔動作，并執(zhí)行該瞳孔動作對應的閱讀操作，實現(xiàn)通過對用戶的瞳孔跟蹤來進行閱讀控制的目的。
[0058]為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的【具體實施方式】僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0059]如圖1所示，本發(fā)明第一實施例提供的基于瞳孔跟蹤的閱讀控制方法，包括如下步驟:
[0060]步驟A、當用戶閱讀顯示設備的顯示屏上的顯示內容時，獲取用戶的當前眼部圖像；
[0061]顯示設備可以是便攜式設備，例如手機、平板電腦、PAD等。顯示設備包括顯示屏和圖像采集和處理模塊。所述顯示屏用于顯示內容供用戶閱讀。所述圖像采集和處理模塊包括用于獲取顯示設備的顯示屏前方圖像的圖像采集單元、用于對獲取后的圖像進行預處理的圖像預處理單元、以及用于對預處理后的圖像進行人臉檢測與定位的人臉檢測與定位單元。
[0062]如圖2所示，所述步驟A具體包括:
[0063]Al、當用戶閱讀顯示設備的顯示屏上的顯示內容時，獲取顯示屏前方的圖像；
[0064]A2、對獲取的圖像進行預處理；
[0065]A3、對預處理后的圖像進行人臉檢測，如果檢測到預處理后的圖像中包含人臉圖像，則對人臉圖像進行定位并獲取人臉圖像中用戶的當前眼部圖像；否則，執(zhí)行步驟Al ；
[0066]其中，當用戶閱讀顯示設備的顯示屏上的顯示內容時，圖像采集單元的攝像頭被打開并獲取顯示屏前方的圖像。
[0067]采用圖像預處理單元對獲取的圖像進行預處理，以提高圖像的信噪比和抑制背景噪聲，以便最真實的還原原始圖像信息，為后續(xù)處理提供基礎。圖像預處理采用的算法包括:圖像光照校正和圖像降噪兩大部分。
[0068]圖像光照校正主要是對原始特定信息圖中夾雜的一些變化信息(如光照變化、角度變化等)的處理，可采用的方法有但不局限于:Ca_a校正、圖像亮度非線性變換、直方圖均衡化和最高亮度點光照補償算法。Ga_a校正和圖像亮度非線性變換通過對圖像像素點的非線性調整，能去除原始信息圖中的一些無關的變化信息；直方圖均衡化和最高亮度點光照補償算法是一種針對圖像對比度調整的方法，能增強圖像局部對比度。
[0069]圖像降噪主要是對原始圖像中的噪聲信息進行濾除，圖像中典型的噪聲有高斯噪聲、椒鹽噪聲、加性噪聲等，常用的方法有均值濾波、中值濾波和高斯濾波等。
[0070]采用人臉檢測與定位單元對預處理后的圖像進行人臉檢測和定位，其中人臉檢測與定位算法目前已經(jīng)比較成熟，在此不細述，可采用的方法有AdaBoost算法和膚色檢測算法，但并不局限于此。
[0071]當檢測到預處理后的圖像中包含人臉圖像時，對人臉圖像進行定位后，在圖像中的目標僅保留眼睛和瞳孔，其它信息都去除(如采用黑色填充)，以雙眼的中點作為坐標原點(0，0)，在圖像中建立二維坐標，在完全包含眼睛和瞳孔的情況下截取圖像寬度為W、高度為h，然后存儲截取的圖像，即獲取到人臉圖像中用戶的當前眼部圖像fn。對瞳孔位置進行定位時，可以采用將當前眼部圖像4與雙眼正常的背景模板圖對比即可得知瞳孔的具體坐標值，假設當前眼部圖像fn與背景模板圖對比時(即坐標對應的像素值相減)，得到大部分像素點的相減結果為0，小部分像素點的相減結果為負數(shù)，去除該大部分像素點(該大部分像素點為背景模板的位置，用O填充)，剩下的一部分像素點就是瞳孔的實際位置，即可獲取當前眼部圖像fn的左、右眼瞳孔位置。
[0072]在獲取當前眼部圖像fn的左、右眼瞳孔位置后，再以雙眼的中點作為坐標原點(0，0)，計算得到當前眼部圖像4中左、右眼瞳孔中心的坐標分別為(-11，111)、(11，111)或(-11，-111)、(n, -m)，其中，η為左、右眼瞳孔中心距χ軸的距離，m為左、右眼瞳孔中心距y軸的距離。
[0073]如圖3所示，為當前眼部圖像4為雙眼向左時的示意圖，獲取到左、右眼瞳孔中心的坐標分別為(-n，0)、(n，0)，即左、右眼瞳孔中心距χ軸的距離均為n，左、右眼瞳孔中心距離y軸的距離均為O。
[0074]步驟B、將所述當前眼部圖像與瞳孔動作樣本圖像集進行匹配，得到所述當前眼部圖像所屬的瞳孔動作樣本圖像；
[0075]瞳孔動作樣本圖像集在用戶進行閱讀之前已經(jīng)制作好，通常是在用戶進行首次閱讀時制作。瞳孔動作樣本圖像集包括多個瞳孔動作樣本圖像，如圖4中的(I)?(8)所示，F(xiàn)1?F8分別為雙眼正常直視樣本圖像、雙眼向右樣本圖像、雙眼向左樣本圖像、雙眼向上樣本圖像、雙眼向下樣本圖像、雙眼閉眼樣本圖像、左眼閉右眼睜樣本圖像和右眼閉左眼睜樣本圖像的示意圖。其中，每一個瞳孔動作樣本圖像均為一寬度為《、高度為h的二維圖像，圖像中僅保留眼睛和瞳孔，并以雙眼的中點作為坐標原點(O，O)，在圖像中建立二維坐標，其中:
[0076]對于雙眼正常直視樣本圖像，左、右眼瞳孔中心距離坐標原點(0，O)的距離定義為a，則左、右眼瞳孔中心的坐標分別為(_a，O)、(a，O)；
[0077]對于雙眼向右樣本圖像和雙眼向左樣本圖像；左、右眼瞳孔中心相對于雙眼正常直視時分別向左和向右偏離的距離定義為b，則左眼瞳孔中心的坐標分別為(_a+b，0)、(-&-13，0)，右眼瞳孔中心的坐標分別為(&+13，0)、(&-13，0)；
[0078]對于雙眼向上樣本圖像和雙眼向下樣本圖像，左、右眼瞳孔中心相對于雙眼正常直視時分別向上和向下偏離的距離定義為C，則左眼瞳孔中心的坐標分別為(_a，C)、(_a, -c),右眼瞳孔中心的坐標分別為(a, C)、(a, -c);
[0079]對于雙眼閉眼樣本圖像，左、右眼瞳孔中心的與雙眼正常直視時的坐標保持一致，為區(qū)別這兩種情況，此時在雙眼正常的坐標基礎上增加一個固定的值P以示區(qū)別，將雙眼閉眼樣本圖像中左、右眼瞳孔中心的坐標分別定義為(_a-p，O)、(a+p，0)，其中p古b ;
[0080]對于左眼閉右眼睜樣本圖像，同雙眼閉眼樣本圖像的處理，將左眼閉右眼睜樣本圖像中左、右眼瞳孔中心的坐標分別定義為(-a-p,0)、(a, O),其中P古b ;
[0081]對于右眼閉左眼睜樣本圖像，同雙眼閉眼樣本圖像的處理，將右眼閉左眼睜樣本圖像中左、右眼瞳孔中心的坐標分別定義為(_a, O)、(a+ρ,Ο),其中P古b。
[0082]當獲取用戶的當前眼部圖像后，采用瞳孔動作匹配模塊將所述當前眼部圖像與瞳孔動作樣本圖像集進行匹配，本實施例中，瞳孔動作匹配模塊定義當前眼部圖像fn與瞳孔動作樣本圖像集中瞳孔動作樣本圖像Fi的距離函數(shù)值dni如下式(I)所示: [0083](Ini=Ifn(Xl)-Fi (xl) +|fn(yD_Fi (y!) I +1 fn (x2)-Fi (x2) +|fn(y2)-Fi (y2) I (I)
[0084]上式(I)中:
[0085]fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔中心的x坐標和y坐標；Fi (xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔中心的χ坐標和y坐標；fn(x2)、fn(y2)分別代表當前眼部圖像4中右眼瞳孔中心的χ坐標和y坐標Α(χ2)、&(72)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔中心的χ坐標和I坐標。
[0086]以下以本實施例八個瞳孔動作樣本圖像為例進行具體說明，當前眼部圖像4與瞳孔動作樣本圖像集中各瞳孔動作樣本圖像Fi (i=l~8)的距離函數(shù)值dni分別為:
[0087](Inl=Ifn(Xl)-F1 (xl) I+ I ^yD-F1 (yI) +Ifn(X2)-F1 (x2) | +1 fn(y2)-F1 (y2)
[0088](In2=Ifn(Xl)-F2 (xl) Hfn(yl)-F2(yl) I +1 fn (x2)-F2 (x2) +|fn(y2)-F2 (y2)
[0089]dn3= |fn(xl)-F3(Xl) | +1 fn (yl)-F3 (yl) | +1 fn(x2)-F3 (x2) | +1 fn(y2)-F3 (y2)
[0090]dn4=| fn(xl)-F4(xl) | + |fn(yl)_F4(yl) | +1 fn(x2)-F4(x2) | +1 fn(y2)-F4(y2)
[0091]dn5= Ifn(Xl)-F5(Xl) Hfn(yl)-F5(yl) | + |fn(x2)-F5(x2) +|fn(y2)-F5(y2)
[0092]dn6= Ifn(Xl)-F6(Xl) H fn (y!) "F6 (y!) I +1 fn (x2)-F6 (x2) H fn(y2)-F6 (y2)
[0093]dn7=| fn (xl)-F7(xl) I +1 fn (yl)-F7 (yl) | +1 fn (x2)-F7 (x2) | +1 fn(y2)-F7 (y2)
[0094]dn8= |fn(xl)-F8(Xl) H fn (y!) "F8 (y!) I +1 fn (x2)-F8 (x2) H fn(y2)-F8 (y2)
[0095]其中，
[0096]dnl表示fn與F1的距離函數(shù)值，即當前眼部圖像fn與雙眼正常直視樣本圖像之間的距離函數(shù)值，F(xiàn)1 (xl) =-a, F1 (yl)=0, F1 (x2) =a、F1 (y2) =0 ；
[0097]Cln2表示fn與F2的距離函數(shù)值，即當前眼部圖像fn與雙眼向右樣本圖像之間的距離函數(shù)值，F(xiàn)2 (xl)=-a+b, F2 (yl)=0, F2 (x2) =a+b、F2 (y2) =O ；
[0098]dn3表示fn與F3的距離函數(shù)值，即當前眼部圖像fn與雙眼向左樣本圖像之間的距離函數(shù)值，F(xiàn)3 (xl)=-a-b, F3 (yl)=0, F3 (x2)=a-b> F3 (y2) =0 ；
[0099]dn4表示fn與F4的距離函數(shù)值，即當前眼部圖像fn與雙眼向上樣本圖像之間的距離函數(shù)值，F(xiàn)4 (xl)=-a, F4 (yl)=c, F4 (x2)=a> F4 (y2)=c ；
[0100]dn5表示fn與F5的距離函數(shù)值，即當前眼部圖像fn與雙眼向下樣本圖像之間的距離函數(shù)值，F(xiàn)5 (xl)=-a, F5 (yl)=-c, F5 (x2)=a> F5 (y2) =-c ；
[0101]dn6表示fn與F6的距離函數(shù)值，即當前眼部圖像fn與雙眼閉眼樣本圖像之間的距離函數(shù)值，F(xiàn)6 (xl)=-a-p, F6 (yl)=0, F6 (x2)=a+p> F6 (y2) =0 ；
[0102]dn7表示fn與F7的距離函數(shù)值，即當前眼部圖像fn與左眼閉右眼睜樣本圖像之間的距離函數(shù)值，F(xiàn)7 (xl)=-a-p, F7 (yl)=0, F7 (x2)=a> F7 (y2) =0 ；
[0103]dn8表示fn與F8的距離函數(shù)值，即當前眼部圖像fn與右眼閉左眼睜樣本圖像之間的距離函數(shù)值，F(xiàn)8 (xl)=-a, F8 (yl)=0, F8 (x2)=a+p> F8(y2)=0。
[0104]以圖3所示的當前眼部圖像fn為例，將其左、右眼瞳孔中心的坐標(_n，0)、(n，0)依次代入以上計算公式，即可求得Clnl?dn8。
[0105]瞳孔動作匹配模塊將dni中的最小值定義為閥值T，即相似度最大的i值，其中
[0106]T=min (dnl, dn2, dn3, dn4, dn5, dn6, dn7, dn8)
[0107]當T為最小的i即為識別結果，對圖3所示的當前眼部圖像fn，進行識別的結果為i=3,即當前眼部圖像fn屬于雙眼向左樣本圖像。
[0108]由于閉眼時瞳孔中心的坐標與睜眼時保持一致，為了區(qū)別這兩種情況，在計算獲取當前眼部圖像fn中瞳孔中心的坐標之前，先對瞳孔面積進行計算，當檢測到瞳孔的面積大于預定值時，則認為該瞳孔已閉，不計算該瞳孔中心的坐標，而直接在雙眼正常的坐標基礎上增加一個固定的值P以示區(qū)別，其中，左眼閉時左眼瞳孔中心的坐標直接設置為(-a-p，0)，右眼閉時右眼瞳孔中心的坐標直接設置為(a+p，O)。當檢測到瞳孔的面積未超過預定值時，則認為該瞳孔未閉，正常計算獲得該瞳孔中心的坐標。
[0109]在上式(I)中，通過采用對雙眼瞳孔中心的坐標進行相關計算來對當前眼部圖像4進行識別，但對當前眼部圖像4進行識別的方式并不局限如此，還可以采用其它方式，例如采用對雙眼瞳孔所有點的X坐標集合和y坐標集合進行相關計算或采用對雙眼瞳孔所有點的χ坐標平均值和y坐標平均值進行相關計算來對當前眼部圖像fn進行識別。
[0110]當通過采用對雙眼瞳孔所有點的X坐標集合和y坐標集合進行相關計算來對當前眼部圖像4進行識別時，則在上式(I)中:
[0111]fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔所有點的X坐標集合和I坐標集合A (xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔所有點的χ坐標集合和y坐標集合；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔所有點的χ坐標集合和y坐標集合Α(Χ2)、Fi(y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔所有點的χ坐標集合和I坐標集合。
[0112]在此種情況下，各瞳孔動作樣本圖像Fi中雙眼瞳孔所有點的χ坐標集合和I坐標集合可在制作瞳孔動作樣本圖像Fi時分別通過計算得到相應的值，然后在對當前眼部圖像fn進行識別時分別將相應的值代入上述式(I)進行計算，得到對應的dni。[0113]當通過采用雙眼瞳孔所有點的X坐標平均值和I坐標平均值進行相關計算來對當前眼部圖像fn進行識別時，則在上式(I)中:
[0114]fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔所有點的X坐標平均值和y坐標平均值A(Xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔所有點的χ坐標平均值和I坐標平均值；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔所有點的χ坐標平均值和I坐標平均值A (x2)、Fi (y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔所有點的χ坐標平均值和y坐標平均值。
[0115]在此種情況下，各瞳孔動作樣本圖像Fi中雙眼瞳孔所有點的χ坐標平均值和y坐標平均值可在制作瞳孔動作樣本圖像Fi時分別通過計算得到相應的值，然后在對當前眼部圖像fn進行識別時分別將相應的值代入上述式(I)進行計算，得到對應的dni。
[0116]步驟C、獲取所述瞳孔動作樣本圖像所映射的閱讀指令；
[0117]瞳孔動作樣本圖像集的瞳孔動作樣本圖像和閱讀指令集的閱讀指令之間建立有一對一映射關系，即每一瞳孔動作樣本圖像代表一個與之對應的閱讀指令。在本實施例中，瞳孔動作樣本圖像集的瞳孔動作樣本圖像和閱讀指令集的閱讀指令之間的映射關系如表一所示，表一中的映射關系只是作為示例，并不局限如此，可以根據(jù)個人喜愛對映射關系進行變換。
[0118]表一瞳孔動作映射表
[0119]
【權利要求】
1.一種基于瞳孔跟蹤的閱讀控制方法，其特征在于，包括如下步驟: 步驟A、當用戶閱讀顯示設備的顯示屏上的顯示內容時，獲取用戶的當前眼部圖像；步驟B、將所述當前眼部圖像與瞳孔動作樣本圖像集進行匹配，得到所述當前眼部圖像所屬的瞳孔動作樣本圖像； 步驟C、獲取所述瞳孔動作樣本圖像所映射的閱讀指令； 步驟D、執(zhí)行所述閱讀指令，對顯示設備的顯示屏上顯示內容進行相應的閱讀操作。
2.如權利要求1所述的基于瞳孔跟蹤的閱讀控制方法，其特征在于，在所述步驟A之前還包括:步驟A0、采集多個瞳孔動作樣本形成所述瞳孔動作樣本圖像集，并在所述瞳孔動作樣本圖像集的瞳孔動作樣本圖像和閱讀指令集的閱讀指令之間建立一對一映射關系。
3.如權利要求2所述的基于瞳孔跟蹤的閱讀控制方法，其特征在于，所述步驟AO中，所述瞳孔動作樣本圖像集包括雙眼正常直視樣本圖像、雙眼向右樣本圖像、雙眼向左樣本圖像、雙眼向上樣本圖像、雙眼向下樣本圖像、雙眼閉眼樣本圖像、左眼閉右眼睜樣本圖像及右眼閉左眼睜樣本圖像中的至少一種，所述閱讀指令集包括正常閱讀指令、向右翻頁指令、向左翻頁指令、向上移動頁面指令、向下移動頁面指令、確認指令、返回指令及調用菜單指令中的至少一種； 所述步驟B中，將所述當前眼部圖像與瞳孔動作樣本圖像集進行匹配時，定義當前眼部圖像fn與瞳孔動作樣本圖像集中瞳孔動作樣本圖像Fi (i ^ I)的距離函數(shù)值為:(Ini=Ifn(Xl)-Fi(Xl) +|fn(yD_Fi (y!) +Ifn(X2)-Fi (x2) I +1 fn (y2)-Fi (y2) 上式中: fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔中心的X坐標和Y坐標！Fi(Xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔中心的X坐標和y坐標；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔中心的X坐標和I坐標Α(Χ2)、Fi (y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔中心的X坐標和y坐標；或者 fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔所有點的X坐標集合和I坐標集合A (xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔所有點的x坐標集合和y坐標集合；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔所有點的X坐標集合和y坐標集合；匕(x2) ,Fi (y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔所有點的x坐標集合和y坐標集合；又或者 fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔所有點的X坐標平均值和I坐標平均值；Fi (xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔所有點的x坐標平均值和I坐標平均值；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔所有點的X坐標平均值和I坐標平均值；匕(x2) ,Fi (y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔所有點的x坐標平均值和I坐標平均值； 定義dni中的最小值為閥值T，T=min (dnl,......，dni)，閥值T所對應的i代表的瞳孔動作樣本圖像即為所述當前眼部圖像所屬的瞳孔動作樣本圖像。
4. 如權利要求2或3所述的基于瞳孔跟蹤的閱讀控制方法，其特征在于，所述步驟AO中，每一個瞳孔動作樣本圖像的采集步驟包括: 當用戶雙眼處于所述瞳孔動作樣本圖像對應的狀態(tài)時，獲取用戶在所述狀態(tài)下的臉部圖像樣本；對獲取的臉部圖像樣本進行預處理； 對預處理后的臉部圖像樣本進行檢測和定位，以獲取臉部圖像樣本中用戶的眼部圖像樣本，得到所述瞳孔動作樣本圖像。
5.如權利要求1所述的基于瞳孔跟蹤的閱讀控制方法，其特征在于，所述步驟A具體包括: Al、當用戶閱讀顯示設備的顯示屏上的顯示內容時，獲取顯示屏前方的圖像； A2、對獲取的圖像進行預處理； A3、對預處理后的圖像進行人臉檢測，如果檢測到預處理后的圖像中包含人臉圖像，則對人臉圖像進行定位并獲取人臉圖像中用戶的當前眼部圖像；否則，執(zhí)行步驟Al。
6.一種基于瞳孔跟蹤的閱讀控制裝置，其特征在于，包括: 圖像采集和處理模塊，用于當用戶閱讀顯示設備的顯示屏上的顯示內容時，獲取用戶的當前眼部圖像； 瞳孔動作匹配模塊，用于將所述當前眼部圖像與瞳孔動作樣本圖像集進行匹配，得到所述當前眼部圖像所屬的瞳孔動作樣本圖像； 瞳孔動作映射模塊，用于獲取所述瞳孔動作樣本圖像所映射的閱讀指令； 瞳孔動作執(zhí)行模塊，用于執(zhí)行所述閱讀指令，對顯示設備的顯示屏上顯示內容進行相應的閱讀操作。.
7.如權利要求6所述的基于瞳孔跟蹤的閱讀控制裝置，其特征在于，所述圖像采集和處理模塊包括: 圖像采集單元，包括攝像頭，用于當用戶閱讀顯示設備的顯示屏上的顯示內容時，獲取顯示屏前方的圖像； 圖像預處理單元，用于對獲取后的圖像進行預處理； 人臉檢測與定位單元，用于對預處理后的圖像進行人臉檢測與定位，以獲取人臉圖像中用戶的當前眼部圖像。
8.如權利要求6所述的基于瞳孔跟蹤的閱讀控制裝置，其特征在于，所述圖像采集和處理模塊還用于采集多個瞳孔動作樣本形成所述瞳孔動作樣本圖像集，所述瞳孔動作映射模塊還用于在所述瞳孔動作樣本圖像集的瞳孔動作樣本圖像和閱讀指令集的閱讀指令之間建立一對一映射關系； 所述瞳孔動作匹配模塊具體用于: 定義當前眼部圖像fn與瞳孔動作樣本圖像集中瞳孔動作樣本圖像Fi (i ^ I)的距離函數(shù)值為:
(Ini=Ifn(Xl)-Fi(Xl) +|fn(yD_Fi (y!) +Ifn(X2)-Fi (x2) I +1 fn (y2)-Fi (y2) 上式中: fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔中心的X坐標和Y坐標！Fi(Xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔中心的X坐標和y坐標；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔中心的X坐標和I坐標Α(Χ2)、Fi (y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔中心的X坐標和y坐標；或者 fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔所有點的X坐標集合和I坐標集合A (xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔所有點的x坐標集合和y坐標集合；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔所有點的X坐標集合和y坐標集合；匕(x2) ,Fi (y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔所有點的x坐標集合和y坐標集合；又或者 fn(xl)、fn(yl)分別代表當前眼部圖像fn中左眼瞳孔所有點的X坐標平均值和I坐標平均值；Fi (xl)、Fi (yl)分別代表瞳孔動作樣本圖像Fi中左眼瞳孔所有點的x坐標平均值和I坐標平均值；fn(x2)、fn(y2)分別代表當前眼部圖像fn中右眼瞳孔所有點的X坐標平均值和I坐標平均值；匕(x2) ,Fi (y2)分別代表瞳孔動作樣本圖像Fi中右眼瞳孔所有點的x坐標平均值和I坐標平均值； 定義dni中的最小值為閥值T，T=min (dnl,......，dni)，閥值T所對應的i代表的瞳孔動作樣本圖像即為所述當前眼部圖像所屬的瞳孔動作樣本圖像。
9.如權利要求6所述的基于瞳孔跟蹤的閱讀控制裝置，其特征在于，所述圖像采集和處理模塊還用于當用戶雙眼處于所述瞳孔動作樣本圖像對應的狀態(tài)時，獲取用戶在所述狀態(tài)下的臉部圖像樣本；所述圖像采集單元還用于當用戶雙眼處于所述瞳孔動作樣本圖像對應的狀態(tài)時，獲取用戶在所述狀態(tài)下的臉部圖像樣本；所述圖像預處理單元還用于對獲取的臉部圖像樣本進行預處理；所述人臉檢測與定位單元還用于對預處理后的臉部圖像樣本進行檢測和定位，以獲取臉部圖像樣本中用戶的眼部圖像樣本，得到所述瞳孔動作樣本圖像。
10.一種顯示設備，包括用于顯示內容供用戶閱讀的顯示屏，其特征在于，所述顯示設備還包括如權利要求6至9中任意一項所述的基于瞳孔跟蹤的閱讀控制裝置，所述基于瞳孔跟蹤的閱讀控制裝置用于跟蹤用戶雙眼的瞳孔動作來控制所述顯示屏上顯示內容執(zhí)行對應的閱讀操作。.
【文檔編號】G06F3/01GK103472915SQ201310390295
【公開日】2013年12月25日 申請日期:2013年8月30日 優(yōu)先權日:2013年8月30日
【發(fā)明者】趙波 申請人:深圳Tcl新技術有限公司