瞳孔追蹤裝置制造方法
【專利摘要】一種瞳孔追蹤裝置，包含主動(dòng)光源、圖像傳感器和控制處理單元。所述主動(dòng)光源輪流以第一亮度和第二亮度朝眼球發(fā)光。所述圖像傳感器獲取相對(duì)所述第一亮度的第一亮度圖像和相對(duì)所述第二亮度的第二亮度圖像。所述控制處理單元用以將所述第一亮度圖像和所述第二亮度圖像中相對(duì)位置的最亮區(qū)域識(shí)別為主動(dòng)光源圖像。
【專利說明】瞳孔追蹤裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是關(guān)于一種互動(dòng)系統(tǒng)，特別是關(guān)于一種使用至少一主動(dòng)光源作為定位基準(zhǔn)點(diǎn)的瞳孔追蹤裝置。
【背景技術(shù)】
[0002]互動(dòng)式控制機(jī)制能夠提供使用者更人性化的操控方式，因而已被廣泛的應(yīng)用于各式多媒體系統(tǒng)，尤其可應(yīng)用于包含顯示幕的圖像顯示系統(tǒng)。
[0003]使用能夠獲取圖像的遙控器作為互動(dòng)式人機(jī)介面為一種常用的手段，而且所述遙控器可被制作成各式道具，例如球棒、球拍、球桿等。另一種互動(dòng)式人機(jī)介面則是不需使用任何手持裝置來進(jìn)行的，例如瞳孔追蹤裝置即可根據(jù)使用者視線方向的變化來進(jìn)行互動(dòng)式操作。
[0004]已知瞳孔追蹤裝置的問題在于容易受到環(huán)境光源的影響，例如圖1顯示人眼圖像9的示意圖，其包含瞳孔圖像Ip和環(huán)境光源圖像1，當(dāng)所述瞳孔圖像Ip與所述環(huán)境光源圖像1相互重疊時(shí)，則可能出現(xiàn)無法正確定位所述瞳孔圖像Ip的情形，因而無法正確進(jìn)行瞳孑L追蹤ο
[0005]有鑒于此，本發(fā)明還提出一種瞳孔追蹤裝置，其可排除環(huán)境光源的影響，借此提高瞳孔追蹤的正確性。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在提供一種瞳孔追蹤裝置，其利用至少一主動(dòng)光源朝眼球發(fā)光形成定位基準(zhǔn)點(diǎn)。
[0007]本發(fā)明另一目的在提供一種適用于頭戴式配件的瞳孔追蹤裝置。
[0008]本發(fā)明提供一種瞳孔追蹤裝置，包含主動(dòng)光源、圖像傳感器和控制處理單元。所述主動(dòng)光源輪流以第一亮度和第二亮度朝眼球發(fā)光。所述圖像傳感器獲取相對(duì)所述第一亮度的第一亮度圖像和相對(duì)所述第二亮度的第二亮度圖像。所述控制處理單元用以將所述第一亮度圖像和所述第二亮度圖像中相對(duì)位置的最亮區(qū)域識(shí)別為主動(dòng)光源圖像。
[0009]本發(fā)明還提供一種瞳孔追蹤裝置，包含主動(dòng)光源、圖像傳感器和控制處理單元。所述主動(dòng)光源輪流以第一亮度和第二亮度朝眼球發(fā)光。所述圖像傳感器獲取相對(duì)所述第一亮度的第一亮度圖像和相對(duì)所述第二亮度的第二亮度圖像。所述控制處理單元用以計(jì)算所述第一亮度圖像和所述第二亮度圖像的差分圖像并將所述差分圖像中最暗區(qū)域識(shí)別為主動(dòng)光源圖像。
[0010]一實(shí)施例中，所述控制處理單元根據(jù)所述第一亮度圖像或所述第二亮度圖像識(shí)別瞳孔位置；其中，當(dāng)所述第一亮度高于所述第二亮度時(shí)，所述控制處理單元將所述第一亮度圖像中最低灰階值周圍灰階值介于灰階值范圍的多個(gè)像素識(shí)別為瞳孔區(qū)域，并計(jì)算所述瞳孔區(qū)域的重心或中心以作為所述瞳孔位置。
[0011]一實(shí)施例中，瞳孔追蹤裝置另包含存儲(chǔ)單元用以存儲(chǔ)所述主動(dòng)光源圖像與所述瞳孔位置相關(guān)的瞳孔坐標(biāo)信息。所述控制處理單元可根據(jù)所述瞳孔坐標(biāo)信息計(jì)算目前瞳孔坐標(biāo)。
[0012]一實(shí)施例中，所述第一亮度圖像和所述第二亮度圖像可通過改變所述圖像傳感器的曝光時(shí)間和/或電路增益來實(shí)現(xiàn)，并不一定要改變所述主動(dòng)光源的亮度。
[0013]本發(fā)明還提供一種瞳孔追蹤裝置，該裝置包含至少兩個(gè)主動(dòng)光源、一圖像傳感器和一控制處理單元。所述至少兩主動(dòng)光源輪流發(fā)光以照明眼球。所述圖像傳感器獲取相對(duì)不同的所述主動(dòng)光源點(diǎn)亮的第一圖像幀和第二圖像幀。所述控制處理單元用以計(jì)算所述第一圖像幀和所述第二圖像幀的差分圖像并將所述差分圖像中最暗區(qū)域和最亮區(qū)域識(shí)別為主動(dòng)光源圖像。
[0014]一實(shí)施例中，所述控制處理單元還根據(jù)所述第一圖像幀識(shí)別第一瞳孔區(qū)域并根據(jù)所述第二圖像幀識(shí)別第二瞳孔區(qū)域；并將所述第一瞳孔區(qū)域和所述第二瞳孔區(qū)域的聯(lián)集區(qū)域定義為輸出瞳孔區(qū)域。
[0015]一實(shí)施例中，所述瞳孔追蹤裝置包含四個(gè)主動(dòng)光源，所述控制處理單元識(shí)別所述差分圖像中四個(gè)主動(dòng)光源圖像并分別計(jì)算相對(duì)所述四個(gè)主動(dòng)光源圖像的定位坐標(biāo)。所述控制處理單元?jiǎng)t可根據(jù)所述四個(gè)定位坐標(biāo)計(jì)算所述眼球的眼球中心。
[0016]一實(shí)施例中，所述控制處理單元還根據(jù)所述第一圖像幀和所述第二圖像幀識(shí)別輸出瞳孔區(qū)域，并將所述眼球中心與所述輸出瞳孔區(qū)域的連線方向定義為視線方向。
[0017]本發(fā)明實(shí)施例的瞳孔追蹤裝置中，所述主動(dòng)光源圖像是指所述主動(dòng)光源在角膜(Cornea)上的反射圖像。
[0018]本發(fā)明實(shí)施例的瞳孔追蹤裝置中，所述主動(dòng)光源圖像是用作為瞳孔追蹤的定位基準(zhǔn)點(diǎn)，故瞳孔追蹤裝置較佳設(shè)置于頭戴式配件上，以固定所述眼球中所述主動(dòng)光源圖像的位置。
[0019]本發(fā)明實(shí)施例的瞳孔追蹤裝置中，通過正確的識(shí)別主動(dòng)光源圖像的位置以作為定位基準(zhǔn)點(diǎn)并通過計(jì)算差分圖像以消除環(huán)境光源的影響，可有效提高瞳孔追蹤的精確度。
【專利附圖】

【附圖說明】
[0020]圖1顯示人眼圖像的示意圖；
[0021]圖2A顯示本發(fā)明實(shí)施例的瞳孔追蹤裝置的方塊示意圖。
[0022]圖2B顯示本發(fā)明實(shí)施例的瞳孔追蹤裝置中，瞳孔坐標(biāo)信息的示意圖；
[0023]圖3A顯示本發(fā)明一實(shí)施例的瞳孔追蹤裝置的運(yùn)作示意圖；
[0024]圖3B顯示本發(fā)明一實(shí)施例的瞳孔追蹤裝置的圖像獲取和光源點(diǎn)亮的示意圖；
[0025]圖3C顯示本發(fā)明一實(shí)施例的瞳孔追蹤裝置中，識(shí)別主動(dòng)光源圖像的示意圖；
[0026]圖3D顯示本發(fā)明另一實(shí)施例的瞳孔追蹤裝置的圖像獲取和光源點(diǎn)亮的示意圖；
[0027]圖4顯示本發(fā)明實(shí)施例的瞳孔追蹤裝置中，識(shí)別瞳孔位置的示意圖；
[0028]圖5A顯示本發(fā)明另一實(shí)施例的瞳孔追蹤裝置的運(yùn)作示意圖；
[0029]圖5B顯示本發(fā)明另一實(shí)施例的瞳孔追蹤裝置的圖像獲取和光源點(diǎn)亮的示意圖；
[0030]圖5C顯示本發(fā)明另一實(shí)施例的瞳孔追蹤裝置中，識(shí)別主動(dòng)光源圖像的示意圖。
[0031]附圖標(biāo)記說明
[0032]I瞳孔追蹤裝置111-114主動(dòng)光源[0033]12圖像傳感器13控制處理單元
[0034]14存儲(chǔ)單元2頭戴式配件
[0035]3圖像顯示裝置9人眼圖像
[0036]90眼球91、91’瞳孔圖像
[0037]92、92’虹膜圖像93、93’角膜部分
[0038]9r94人眼圖像LS111-LS114反射光點(diǎn)
[0039]fbl、fb2亮度圖像fl、f2圖像幀
[0040]fbl-fb2差分圖像fl_f2差分圖像
[0041]I111-1114主動(dòng)光源圖像I111'_1114’主動(dòng)光源圖像
[0042]P1最低灰階值P2瞳孔位置
[0043]Rg灰階值范圍PA瞳孔區(qū)域
[0044]Am、Am’最売區(qū)域Ip瞳孔圖像
[0045]1環(huán)境光源圖像C1-C4預(yù)設(shè)參考點(diǎn)
[0046]Ic1-1c4 瞳孔圖像-5^距離。
【具體實(shí)施方式】
[0047]為了讓本發(fā)明的上述和其他目的、特征、和優(yōu)點(diǎn)能更明顯，下文將配合所附圖示，作詳細(xì)說明如下。在本發(fā)明的說明中，相同的構(gòu)件是以相同的符號(hào)表示，在此應(yīng)提前說明。
[0048]請(qǐng)參照?qǐng)D2A所示，其顯示本發(fā)明實(shí)施例的瞳孔追蹤裝置I的方塊示意圖，包含至少一主動(dòng)光源(例如此時(shí)顯示為四主動(dòng)光源111-114)、圖像傳感器12、控制處理單元13和存儲(chǔ)單元14。本實(shí)施例的瞳孔追蹤裝置I主要利用所述主動(dòng)光源于眼球90上投射至少一主動(dòng)光源圖像以作為定位基準(zhǔn)點(diǎn)，并根據(jù)瞳孔位置與所述定位基準(zhǔn)點(diǎn)(即主動(dòng)光源圖像)的相對(duì)關(guān)系決定瞳孔坐標(biāo)；其中，所述主動(dòng)光源圖像是指所述主動(dòng)光源在角膜上的反射圖像。所述瞳孔追蹤裝置I例如可將所述瞳孔坐標(biāo)有線或無線的傳送至圖像顯示裝置3 (圖2B)以相對(duì)控制所述圖像顯示裝置3執(zhí)行相對(duì)應(yīng)功能。必須說明的是，使用四個(gè)主動(dòng)光源的目的是用以計(jì)算眼球中心，但若僅進(jìn)行瞳孔追蹤，可使用任意數(shù)量的主動(dòng)光源。
[0049]一般而言，當(dāng)所述眼球90向下看時(shí)，上眼皮會(huì)遮蔽部分眼球90，因此若所述瞳孔追蹤裝置I設(shè)置于頭戴式配件2上，所述圖像傳感器12的設(shè)置位置較佳低于所述眼球90，以避免眼球90向下看(瞳孔朝下)時(shí)導(dǎo)致無法檢測(cè)到瞳孔的情形。
[0050]所述主動(dòng)光源111-114例如可為紅外光光源，例如紅外光發(fā)光二極體，以避免點(diǎn)亮?xí)r影響視線。所述主動(dòng)光源111-114用以朝向所述眼球90發(fā)光以照明所述眼球90并于所述眼球上90形成反射光點(diǎn)(即呈現(xiàn)于所述眼球90上的主動(dòng)光源圖像)。必須說明的是，每一個(gè)主動(dòng)光源可僅包含單一光源元件或由多個(gè)光源排列而成。
[0051]所述圖像傳感器12例如可為CCD圖像傳感器、CMOS圖像傳感器等用以傳感光能量的光傳感器，其以幀率(frame rate)相對(duì)所述主動(dòng)光源111-114的點(diǎn)亮獲取所述眼球90的圖像幀。所述圖像傳感器12可以固定或可變的曝光時(shí)間和電路增益獲取圖像幀。必須說明的是，所述圖像傳感器12的幀率可不等于所述主動(dòng)光源111-114的發(fā)光頻率。
[0052]所述控制處理單元13用以控制所述主動(dòng)光源111-114的點(diǎn)亮以及所述圖像傳感器12的圖像獲取，并根據(jù)所述圖像傳感器12所獲取的圖像幀識(shí)別瞳孔位置、瞳孔坐標(biāo)、主動(dòng)光源圖像、眼球中心和視線方向等(詳述于后)。其他實(shí)施例中，所述控制處理單元13也可由多個(gè)單元所形成，例如以獨(dú)立的光源控制單元控制所述主動(dòng)光源111-114以及獨(dú)立的處理單元(DSP)進(jìn)行圖像后處理，并無特定限制。
[0053]所述存儲(chǔ)單元14用以存儲(chǔ)所述主動(dòng)光源圖像與所述瞳孔位置相關(guān)的瞳孔坐標(biāo)信息。借此，當(dāng)所述控制處理單元13求得目前瞳孔位置與主動(dòng)光源圖像的目前相對(duì)關(guān)系，則可根據(jù)預(yù)先存儲(chǔ)的所述瞳孔坐標(biāo)信息求得目前瞳孔坐標(biāo)。例如參照?qǐng)D2B所示，本發(fā)明實(shí)施例的瞳孔追蹤裝置I例如可包含設(shè)定程序(setup procedure),其可于每次操作前自動(dòng)進(jìn)入或接受指示時(shí)才進(jìn)入。所述設(shè)定程序中，使用者可依次注視預(yù)設(shè)參考點(diǎn)，例如，但不限于，依次注視圖像顯示裝置3的四個(gè)角落C1-C4,此時(shí)所述圖像傳感器12則依次獲取四張人眼圖像9「94，每一張人眼圖像9「94分別包含瞳孔圖像IaUP主動(dòng)光源圖像I111 ;其中，所述主動(dòng)光源圖像I111于四張人眼圖像9r94中均位于相同(相對(duì))位置。例如，當(dāng)使用者注視參考點(diǎn)C1時(shí)，所述圖像傳感器12獲取所述人眼圖像％ ;其中，所述瞳孔圖像Ia到所述主動(dòng)光源圖像I111的向量假設(shè)為同理，所述控制處理單元13可分別求出所述人眼圖像92-94中的向量5^。瞳孔追蹤裝置I則可根據(jù)所述向量(6-?;定義操作空間并預(yù)先存儲(chǔ)于所述存儲(chǔ)單元14中。借此，于實(shí)際操作時(shí)所述控制處理單元13則可根據(jù)所述操作空間計(jì)算目前瞳孔坐標(biāo)。必須說明的是，圖2B中所述向量$ ζ的方向也可能相反。
[0054]請(qǐng)參照?qǐng)D3Α所示，其顯示本發(fā)明一實(shí)施例的瞳孔追蹤裝置I的運(yùn)作示意圖。所述瞳孔追蹤裝置I包含主動(dòng)光源111、圖像傳感器12、控制處理單元13和存儲(chǔ)單元14。如前所述存儲(chǔ)單元14使用以存儲(chǔ)主動(dòng)光源圖像與瞳孔位置相關(guān)的瞳孔坐標(biāo)信息，故于此不再贅述。
[0055]請(qǐng)同時(shí)參照?qǐng)D3Α至3D所示，圖3Β顯示圖3Α的瞳孔追蹤裝置中，所述圖像傳感器12的圖像犾取和所述王動(dòng)光源111的光源點(diǎn)売的不意圖；圖3C顯不圖3Α的睛孔追蹤裝直中，所述控制處理單元13識(shí)別 主動(dòng)光源圖像Illl的示意圖，圖3D顯示圖3Α的瞳孔追蹤裝置中，所述圖像傳感器12的圖像獲取和所述主動(dòng)光源111的光源點(diǎn)亮的另一示意圖。
[0056]所述主動(dòng)光源111輪流以第一亮度和第二亮度朝眼球90發(fā)光。所述圖像傳感器12獲取相對(duì)所述第一亮度的第一亮度圖像fbl和相對(duì)所述第二亮度的第二亮度圖像fb2。例如圖3C中，所述第一亮度圖像fbl包含最亮區(qū)域A111 (即主動(dòng)光源圖像)、瞳孔(Pupil)圖像91、虹膜(Iris)圖像92和角膜(Cornea)部分93 ;所述第二亮度圖像fb2包含最亮區(qū)域Am’(即主動(dòng)光源圖像)、瞳孔圖像91’、虹膜圖像92’和角膜部分93’。由于本發(fā)明實(shí)施例的瞳孔追蹤裝置I較佳設(shè)置于頭戴式配件2上，以使所述主動(dòng)光源111與所述眼球90的相對(duì)位置固定，因此所述最亮區(qū)域Am、Am’雖然位于不同亮度圖像中，但位于相對(duì)(相同)位置，且所述主動(dòng)光源圖像為所述主動(dòng)光源111在角膜上的直接反射點(diǎn)，為圖像中最亮區(qū)域。因此，所述控制處理單元13可將所述第一亮度圖像fbl和所述第二亮度圖像fb2中相對(duì)位置的最亮區(qū)域(即Am、A111')識(shí)別為主動(dòng)光源圖像I111 ;其中，所述最亮區(qū)域是指灰階值最高。借此，即使所述圖像傳感器12所獲取的亮度圖像中包含有其他環(huán)境光源圖像，然而由于所述眼球90與環(huán)境光源間的空間關(guān)系不固定，不同亮度圖像中所述環(huán)境光源圖像不會(huì)位于相同位置，故尋找相對(duì)位置的最亮區(qū)域可借此排除環(huán)境光源的影響。其他實(shí)施例中，所述圖像傳感器12可額外獲取一張所述主動(dòng)光源111不發(fā)光圖像(第三亮度圖像)fb3，如圖3D所示，并將所述第一亮度圖像fbl與所述第二亮度圖像fb2分別減去所述第三亮度圖像得到fbl3與fb23借此濾除環(huán)境光干擾并穩(wěn)定檢測(cè)最亮區(qū)域的主動(dòng)光源圖像。
[0057]此外，除了改變所述主動(dòng)光源111的亮度(例如改變驅(qū)動(dòng)電流的大小)外，也可固定所述主動(dòng)光源111的亮度而改變所述圖像傳感器12的采樣參數(shù)(例如包含曝光時(shí)間和電路增益等)來達(dá)到相同目的。也即，另一實(shí)施例中，所述第一亮度可等于所述第二亮度，所述圖像傳感器12以第一曝光時(shí)間和第一電路增益獲取所述第一亮度圖像fbl并以第二曝光時(shí)間和第二電路增益獲取所述第二亮度圖像fb2 ;其中，所述第一曝光時(shí)間不等于所述第二曝光時(shí)間和/或所述第一電路增益不等于所述第二電路增益。
[0058]此外，本實(shí)施例中所述控制處理單元13另可根據(jù)所述第一亮度圖像fbl或所述第二亮度圖像&2識(shí)別瞳孔位置；其中，所述控制處理單元13較佳根據(jù)具有較高亮度的亮度圖像識(shí)別所述瞳孔位置，如此能較清晰的識(shí)別出瞳孔圖像91。例如參照?qǐng)D4所示，所述控制處理單元13用以計(jì)算所述第一亮度圖像fbl (此時(shí)假設(shè)所述第一亮度高于所述第二亮度)中最低灰階值P1，并將所述最低灰階值P1周圍灰階值介于灰階值范圍Rg的多個(gè)像素識(shí)別為瞳孔區(qū)域PA。當(dāng)所述主動(dòng)光源11點(diǎn)亮?xí)r，所述瞳孔圖像91的亮度最低，所述角膜區(qū)域93的亮度最高而所述虹膜圖像92的亮度通常介于所述瞳孔圖像91和所述角膜區(qū)域93間，故所述最低灰階值P1會(huì)出現(xiàn)于所述瞳孔圖像91中。因此，所述最低灰階值P1附近的像素區(qū)域則可被視為所述瞳孔區(qū)域PA，而所述最低灰階值P1B近的像素區(qū)域例如可利用圖像分群(image grouping)的方式將互相關(guān)聯(lián)的像素區(qū)域視作為同一物件，例如可參照讓與給本發(fā)明相同受讓人的美國(guó)專利公開第20110176733號(hào)，標(biāo)題為「圖像識(shí)別方法」中所披露的。此夕卜，所述灰階值范圍Rg的設(shè)定可根據(jù)所述瞳孔追蹤裝置I的操作環(huán)境而調(diào)整，例如戶外與室內(nèi)可分別設(shè)計(jì)不同的灰階值范圍Rg。再者，為避免噪聲干擾，所述控制處理單元13另可根據(jù)所述瞳孔區(qū)域PA的尺寸和形狀等特性判斷是否屬于環(huán)境光源圖像，例如當(dāng)尺寸太小或非屬圓形者即可能為環(huán)境光源，可予以排除。
[0059]接著，所述控制處理單元13可計(jì)算所述瞳孔區(qū)域PA的重心或中心以作為瞳孔位置P2,并根據(jù)所述瞳孔位置P2與所述參考光源圖像I111的相對(duì)位置參考所述存儲(chǔ)單元14中所存儲(chǔ)的瞳孔坐標(biāo)信息輸出所述瞳孔位置匕相關(guān)的瞳孔坐標(biāo)(X，y)。所述控制處理單元13例如可根據(jù)所述瞳孔坐標(biāo)(X，y)相對(duì)控制圖像顯示裝置3的游標(biāo)的動(dòng)作?？梢粤私獾氖牵鐾孜恢肞2可不等于所述最低灰階值P1的位置。
[0060]總而言之，本實(shí)施例中，所述控制處理單元13根據(jù)兩張圖像幀識(shí)別所述主動(dòng)光源圖像I111，但僅以一張(例如亮度較高者)來識(shí)別所述瞳孔位置，借此排除環(huán)境光源影響且所述主動(dòng)光源圖像可用作為瞳孔追蹤的定位基準(zhǔn)點(diǎn)。
[0061]另一實(shí)施例中，為了進(jìn)一步消除環(huán)境光源的影響，所述控制處理單元13可進(jìn)一步計(jì)算所述第一亮度圖像fbl和所述第二亮度圖像fb2的差分圖像(fbl_fb2)，并將所述差分圖像(fbl-fb2)中最暗區(qū)域通過與所述第一亮度圖像fbl或所述第二亮度圖像fb2比較，以識(shí)別出主動(dòng)光源圖像I111"(如圖3C);其中，所述最暗區(qū)域是指灰階值最低，其例如可為O灰階左右，但其也可以是相對(duì)值。
[0062]具體來說，由于所述第一亮度圖像fbl和第二亮度圖像fb2中所述主動(dòng)光源圖像I111(即最亮區(qū)域A111和Am’ )均具有最高亮度(例如所使用灰階值范圍的最高階)，因此所述差分圖像(fbl-fb2)中所述主動(dòng)光源圖像I111會(huì)具有最低亮度。一實(shí)施例中，假設(shè)所述第一圖像fbl中，主動(dòng)光源圖像I111為255灰階，瞳孔圖像91為O灰階，虹膜圖像92為128灰階而角膜部分93為228灰階；所述第二圖像fb2中，主動(dòng)光源圖像Im’為255灰階，瞳孔圖像91’為O灰階，虹膜圖像92’為64灰階而角膜部分93’為100灰階；如此可求得所述差分圖像(fb「fb2沖，主動(dòng)光源圖像I111"為O灰階，瞳孔圖像91"為O灰階，虹膜圖像92"為64灰階而角膜部分93"為128灰階。由于所述瞳孔圖像91、91’的灰階值均為O灰階，因此所述差分圖像(fbl_fb2)中所述瞳孔圖像91"同樣會(huì)具有最低亮度。此時(shí)，可通過比較所述差分圖像(fbl-fb2)與所述第一亮度圖像fbl或所述第二亮度圖像fb2，便可識(shí)別出所述主動(dòng)光源圖像I111"(如圖3C)的位置；其中，比較的方式例如，由于所述第一亮度圖像fbl或所述第二亮度圖像fb2中的所述瞳孔圖像91、91’皆具有最低亮度，因此便可直接通過比較所述第一亮度圖像fbl與所述差分圖像(fbl_fb2)兩圖像中哪個(gè)圖像物件是由相對(duì)極亮變到相對(duì)極暗，便可對(duì)應(yīng)地決定出所述主動(dòng)光源圖像I111"(如圖3C)的位置；或者是，通過比較所述第二亮度圖像fb2與所述差分圖像(fbl_fb2)兩圖像中哪個(gè)圖像物件是由相對(duì)極亮變到相對(duì)極暗，便可對(duì)應(yīng)地決定出所述主動(dòng)光源圖像I111"(如圖3C)的位置。另一實(shí)施例中，可將所述差分圖像(fbl_fb2)中具有最低亮度且圖像物件面積較小者識(shí)別為所述主動(dòng)光源圖像而將具有最低亮度且圖像物件面積較大者識(shí)別為瞳孔圖像。
[0063]此外，本實(shí)施例中除了所述主動(dòng)光源圖像I111的計(jì)算是利用差分圖像(fbl_fb2)進(jìn)行外，其他包括識(shí)別瞳孔位置、建立瞳孔坐標(biāo)信息以及實(shí)現(xiàn)所述第一亮度圖像fbl和所述第二亮度圖像fb2等方式均與前一實(shí)施例相同，故于此不再贅述。
[0064]請(qǐng)參照?qǐng)D5A所示，其顯示本發(fā)明另一實(shí)施例的瞳孔追蹤裝置I的運(yùn)作示意圖。所述瞳孔追蹤裝置I包含四主動(dòng)光源111-114、一圖像傳感器12、一控制處理單元13和一存儲(chǔ)單元14。如前所述所述存儲(chǔ)單元14是用以存儲(chǔ)主動(dòng)光源圖像與瞳孔位置相關(guān)的瞳孔坐標(biāo)信息，故于此不再贅述。
[0065]請(qǐng)同時(shí)參照?qǐng)D5A至5C所示，圖5B顯示圖5A的瞳孔追蹤裝置中，所述圖像傳感器12的圖像犾取和所述王動(dòng)光源111-114的光源點(diǎn)売的不意圖；圖5C顯不圖5A的睛孔追蹤裝置中，所述控制處理單元13識(shí)別主動(dòng)光源圖像的示意圖。如前所述，使用四個(gè)主動(dòng)光源是用以計(jì)算眼球中心，若僅進(jìn)行瞳孔追蹤，可使用至少兩個(gè)主動(dòng)光源即可達(dá)成本實(shí)施例的目的。
[0066]所述主動(dòng)光源111-114輪流發(fā)光以照明眼球90，用于在所述眼球90上形成反射光點(diǎn)LS111-LS114t5所述圖像傳感器112獲取相對(duì)不同的所述主動(dòng)光源111-114點(diǎn)亮的第一圖像幀fl和第二圖像幀f2。所述控制處理單元13用以計(jì)算所述第一圖像幀fl和所述第二圖像幀f2的差分圖像(fl_f2)并將所述差分圖像(fl_f2)中最暗區(qū)域(例如I113’和I114’ )和最亮區(qū)域(例如Im’和I112’ )識(shí)別為主動(dòng)光源圖像。
[0067]例如圖5C中，所述主動(dòng)光源111和112點(diǎn)亮(此時(shí)所述主動(dòng)光源113和114熄滅)時(shí)所述圖像傳感器12獲取第一圖像幀fl，其包含瞳孔圖像91、虹膜圖像92、角膜部分93和參考光源圖像I111和I112 ;所述主動(dòng)光源113和114點(diǎn)亮(此時(shí)所述主動(dòng)光源111和112熄滅)時(shí)所述圖像傳感器12獲取第二圖像幀f2，其包含瞳孔圖像91’、虹膜圖像92’、角膜部分93’和參考光源圖像I113和I114 ;其中，相對(duì)所述第一圖像幀fl的光源亮度與相對(duì)所述第二圖像幀f2的光源亮度可相同或不同，并無特定限制。此外，其他實(shí)施例中，相對(duì)所述第一圖像幀fl可點(diǎn)亮所述主動(dòng)光源111-114中至少其中的一者(例如一個(gè)或三個(gè))而相對(duì)所述第二圖像幀f2則點(diǎn)亮其他主動(dòng)光源(例如三個(gè)或一個(gè))，并不限定于點(diǎn)亮兩個(gè)主動(dòng)光源。當(dāng)所述第一圖像幀fl減去所述第二圖像幀f2時(shí)，所述差分圖像(fl_f2)中所述參考光源圖像Illl和〗112成為最売區(qū)域而具有最聞灰階值且所述參考光源圖像Ill3和IlM成為最暗區(qū)域而具有最低灰階值；借此，所述控制處理單元13可于所述差分圖像(fl_f2)中識(shí)別出四個(gè)主動(dòng)光源圖像Im’-1114’。一實(shí)施例中，假設(shè)所述第一圖像幀fl中，主動(dòng)光源圖像I111和I112大約為+255灰階，瞳孔圖像91大約為O灰階，虹膜圖像92大約為64灰階而角膜部分93大約為128灰階；所述第二圖像幀f2中，主動(dòng)光源圖像I113和I114大約為+255灰階，瞳孔圖像91’大約為O灰階，虹膜圖像92’大約為64灰階而角膜部分93’大約為128灰階；如此可求得所述差分圖像(fl-f2)中主動(dòng)光源圖像I111 ’和I112’大約為+127灰階，主動(dòng)光源圖像I113’和I114’大約為-127灰階，其他部分大約為O灰階；另一實(shí)施例中，可將整體灰階值進(jìn)行調(diào)整而使得全部灰階值均大于等于零，例如主動(dòng)光源圖像Im’和I112’大約可調(diào)整為+254灰階，主動(dòng)光源圖像I113’和I114’大約可調(diào)整為O灰階，其他部分大約可調(diào)整為+127灰階。必須說明的是，上述灰階值得數(shù)值僅為例示性，并非用以限定本發(fā)明。
[0068]由于本實(shí)施例使用四個(gè)主動(dòng)光源111-114，所述控制處理單元13識(shí)別出所述差分圖像(fl-f2)中四個(gè)主動(dòng)光源圖像Im’-1114’后，可分別計(jì)算相對(duì)所述四個(gè)主動(dòng)光源圖像Im'-1iH的定位坐標(biāo)，且每一個(gè)定位坐標(biāo)皆可為三維坐標(biāo)。所述控制處理單元13則可根據(jù)所述四個(gè)定位坐標(biāo)來計(jì)算所述眼球90的眼球中心，例如利用球體方程式(X-Xtl)2+ (y-y0)2+ (z-z0)2=r2計(jì)算。借此，所述控制處理單元13可進(jìn)而將所述眼球中心與輸出瞳孔區(qū)域的連線方向定義為視線方向。
[0069]本實(shí)施例中，所述輸出瞳孔區(qū)域的決定方式如下:首先，所述控制處理單元13根據(jù)所述第一圖像幀fl識(shí)別第一瞳孔區(qū)域并根據(jù)所述第二圖像幀f2識(shí)別第二瞳孔區(qū)域。識(shí)別瞳孔區(qū)域的方式類似圖4所示，也即所述控制處理單元13將所述第一圖像幀f I中最低灰階值(例如P1)周圍灰階值介于灰階值范圍Rg的多個(gè)像素識(shí)別為所述第一瞳孔區(qū)域(例如PA);所述控制處理單13 將所述第二圖像幀f2中最低灰階值(例如P1)周圍灰階值介于所述灰階值范圍Rg的多個(gè)像素識(shí)別為所述第二瞳孔區(qū)域(例如PA)。當(dāng)所述第一瞳孔區(qū)域和所述第二瞳孔區(qū)域識(shí)別出后，所述控制處理單元13則計(jì)算所述第一瞳孔區(qū)域的重心或中心以作為所述第一瞳孔位置(例如P2)并計(jì)算所述第二瞳孔區(qū)域的重心或中心以作為所述第二瞳孔位置(例如P2)。
[0070]由于本實(shí)施例的兩張圖像幀均可取得瞳孔圖像，因此所述控制處理單元13將所述第一瞳孔區(qū)域和所述第二瞳孔區(qū)域的聯(lián)集區(qū)域作為輸出瞳孔區(qū)域。同理，所述控制處理單元13可根據(jù)所述輸出瞳孔區(qū)域與預(yù)先存儲(chǔ)于所述存儲(chǔ)單元14中的瞳孔坐標(biāo)信息決定輸出瞳孔坐標(biāo)，只是此處包含四個(gè)主動(dòng)光源圖像作為定位基準(zhǔn)點(diǎn)。其他實(shí)施例中，所述控制處理單元13也可將所述第一瞳孔區(qū)域和所述第二瞳孔區(qū)域中其中的一者做為所述輸出瞳孔區(qū)域。
[0071]此外，本發(fā)明各實(shí)施例的瞳孔追蹤裝置I可搭配顯示單元以顯示圖像，且所述顯示單元也可設(shè)置于所述頭戴式配件2上，例如眼鏡或護(hù)目鏡。
[0072]本發(fā)明各實(shí)施例的瞳孔追蹤裝置I可還具有眨眼檢測(cè)功能。例如所述控制處理單元13可分別記錄檢測(cè)到與檢測(cè)不到瞳孔的期間，借此識(shí)別眨眼動(dòng)作。
[0073]本發(fā)明各實(shí)施例的瞳孔追蹤裝置I可還具有瞌睡檢測(cè)和分心檢測(cè)功能。例如當(dāng)所述瞳孔追蹤裝置I應(yīng)用于車用裝置時(shí)，可用以檢測(cè)駕駛是否有睡意或?qū)Ｗ⒂谇胺?，且于適當(dāng)時(shí)間提出警示。檢測(cè)睡意例如可通過檢測(cè)眼睛開闔時(shí)間的比例來實(shí)現(xiàn)；檢測(cè)分心例如可通過檢測(cè)駕駛的視線方向來實(shí)現(xiàn)。
[0074]本發(fā)明各實(shí)施例的瞳孔追蹤裝置I可還具有眨眼頻率和干眼檢測(cè)功能。具體而言，所述控制處理單元13可依據(jù)所檢測(cè)的眨眼頻率反推目前眼睛干澀的可能性和程度，進(jìn)而提醒使用者眨眼。
[0075]本發(fā)明各實(shí)施例的瞳孔追蹤裝置I可還具有姿勢(shì)識(shí)別(gesture recognition)功能。此時(shí)所述姿勢(shì)識(shí)別例如可為識(shí)別瞳孔朝預(yù)定方向以預(yù)定次數(shù)來改變位置，并將其與預(yù)設(shè)姿勢(shì)進(jìn)行比對(duì)，可借此達(dá)成執(zhí)行特定功能的運(yùn)作，其類似已知利用瞳孔以外的其他物件，例如手或手指來進(jìn)行的手勢(shì)識(shí)別。
[0076]本發(fā)明各實(shí)施例的瞳孔追蹤裝置I可還具有省電功能，例如于預(yù)設(shè)時(shí)間內(nèi)檢測(cè)不到瞳孔或圖像幀的圖像變化量過小，則可進(jìn)入省電模式。
[0077]可以了解的是，上述各圖示中主動(dòng)光源圖像與瞳孔圖像的比例僅為例示性。
[0078]必須說明的是，本發(fā)明各實(shí)施例的瞳孔追蹤裝置I可直接制作成頭戴式瞳孔追蹤裝置，或者通過結(jié)合元件結(jié)合固定于頭戴式配件，例如眼鏡、護(hù)目鏡或帽子等各式穿戴、套設(shè)或架設(shè)于頭部的配件，較佳使主動(dòng)光源與人眼不會(huì)相對(duì)移動(dòng)，所述主動(dòng)光源圖像則可用作為追蹤瞳孔的定位基準(zhǔn)點(diǎn)。
[0079]綜上所述，已知瞳孔追蹤裝置因無法排除環(huán)境光源的影響，因而可能出現(xiàn)檢測(cè)錯(cuò)誤的情形。本發(fā)明另提出一種瞳孔追蹤裝置(圖2A、3A和5B)，其利用相對(duì)眼球位置固定的主動(dòng)光源作為定位基準(zhǔn)點(diǎn)，可消除環(huán)境光源的影響以提高檢測(cè)精確度。
[0080]雖然本發(fā)明通過以前述實(shí)施例披露，但是其并非用以限定本發(fā)明，任何本發(fā)明所屬【技術(shù)領(lǐng)域】中具有通常知識(shí)的技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作各種的更動(dòng)與修改。因此本發(fā)明的保護(hù)范圍當(dāng)視后附的權(quán)利要求范圍所界定的范圍為準(zhǔn)。
【權(quán)利要求】
1.一種瞳孔追蹤裝置，該瞳孔追蹤裝置包含: 主動(dòng)光源，輪流以第一亮度和第二亮度朝眼球發(fā)光； 圖像傳感器，獲取相對(duì)所述第一亮度的第一亮度圖像和相對(duì)所述第二亮度的第二亮度圖像；以及 控制處理單元，用以將所述第一亮度圖像和所述第二亮度圖像中相對(duì)位置的最亮區(qū)域識(shí)別為主動(dòng)光源圖像。
2.根據(jù)權(quán)利要求1所述的瞳孔追蹤裝置，其中所述控制處理單元還根據(jù)所述第一亮度圖像或所述第二亮度圖像識(shí)別瞳孔位置。
3.根據(jù)權(quán)利要求2所述的瞳孔追蹤裝置，其中所述第一亮度高于所述第二亮度，所述控制處理單元將所述第一亮度圖像中最低灰階值周圍的灰階值介于灰階值范圍的多個(gè)像素識(shí)別為瞳孔區(qū)域，并計(jì)算所述瞳孔區(qū)域的重心或中心以作為所述瞳孔位置。
4.根據(jù)權(quán)利要求2所述的瞳孔追蹤裝置，該瞳孔追蹤裝置還包含存儲(chǔ)單元，用以存儲(chǔ)所述主動(dòng)光源圖像與所述瞳孔位置相關(guān)的瞳孔坐標(biāo)信息。
5.根據(jù)權(quán)利要求1所述的瞳孔 追蹤裝置，其中所述第一亮度等于所述第二亮度，所述圖像傳感器以第一曝光時(shí)間和第一電路增益獲取所述第一亮度圖像并以第二曝光時(shí)間和第二電路增益獲取所述第二亮度圖像。
6.根據(jù)權(quán)利要求1-5中任一項(xiàng)權(quán)利要求所述的瞳孔追蹤裝置，該瞳孔追蹤裝置設(shè)置于頭戴式配件上。
7.一種瞳孔追蹤裝置，該瞳孔追蹤裝置包含: 主動(dòng)光源，輪流以第一亮度和第二亮度朝眼球發(fā)光； 圖像傳感器，獲取相對(duì)所述第一亮度的第一亮度圖像和相對(duì)所述第二亮度的第二亮度圖像；以及 控制處理單元，用以計(jì)算所述第一亮度圖像和所述第二亮度圖像的差分圖像，并將所述差分圖像中的最暗區(qū)域識(shí)別為主動(dòng)光源圖像。
8.根據(jù)權(quán)利要求7所述的瞳孔追蹤裝置，其中所述控制處理單元還根據(jù)所述第一亮度圖像或所述第二亮度圖像識(shí)別瞳孔位置。
9.根據(jù)權(quán)利要求8所述的瞳孔追蹤裝置，其中所述第一亮度高于所述第二亮度，所述控制處理單元將所述第一亮度圖像中最低灰階值周圍的灰階值介于灰階值范圍的多個(gè)像素識(shí)別為瞳孔區(qū)域，并計(jì)算所述瞳孔區(qū)域的重心或中心以作為所述瞳孔位置。
10.根據(jù)權(quán)利要求8所述的瞳孔追蹤裝置，該瞳孔追蹤裝置還包含存儲(chǔ)單元，該存儲(chǔ)單元用以存儲(chǔ)所述主動(dòng)光源圖像與所述瞳孔位置相關(guān)的瞳孔坐標(biāo)信息。
11.根據(jù)權(quán)利要求7所述的瞳孔追蹤裝置，其中所述第一亮度等于所述第二亮度，所述圖像傳感器以第一曝光時(shí)間和第一電路增益獲取所述第一亮度圖像并以第二曝光時(shí)間和第二電路增益獲取所述第二亮度圖像。
12.根據(jù)權(quán)利要求7-11中任一項(xiàng)權(quán)利要求所述的瞳孔追蹤裝置，該瞳孔追蹤裝置設(shè)置于頭戴式配件上。
13.一種瞳孔追蹤裝置，該瞳孔追蹤裝置包含: 至少兩個(gè)主動(dòng)光源，輪流發(fā)光以照明眼球； 圖像傳感器，獲取相對(duì)不同的所述主動(dòng)光源點(diǎn)亮的第一圖像幀和第二圖像幀；以及控制處理單元，用以計(jì)算所述第一圖像幀和所述第二圖像幀的差分圖像，并將所述差分圖像中的最暗區(qū)域和最亮區(qū)域識(shí)別為主動(dòng)光源圖像。
14.根據(jù)權(quán)利要求13所述的瞳孔追蹤裝置，其中所述控制處理單元還根據(jù)所述第一圖像幀識(shí)別第一瞳孔區(qū)域并根據(jù)所述第二圖像幀識(shí)別第二瞳孔區(qū)域。
15.根據(jù)權(quán)利要求14所述的瞳孔追蹤裝置，其中所述控制處理單元將所述第一圖像幀中最低灰階值周圍的灰階值介于灰階值范圍的多個(gè)像素識(shí)別為所述第一瞳孔區(qū)域并將所述第二圖像幀中最低灰階值周圍的灰階值介于所述灰階值范圍的多個(gè)像素識(shí)別為所述第二瞳孔區(qū)域；所述控制處理單元計(jì)算所述第一瞳孔區(qū)域的重心或中心以作為所述第一瞳孔位置并計(jì)算所述第二瞳孔區(qū)域的重心或中心以作為所述第二瞳孔位置。
16.根據(jù)權(quán)利要求14所述的瞳孔追蹤裝置，所述控制處理單元還將所述第一瞳孔區(qū)域和所述第二瞳孔區(qū)域的聯(lián)集區(qū)域定義為輸出瞳孔區(qū)域。
17.根據(jù)權(quán)利要求13所述的瞳孔追蹤裝置，該瞳孔追蹤裝置包含四個(gè)主動(dòng)光源，所述控制處理單元識(shí)別所述差分圖像中的四個(gè)主動(dòng)光源圖像并分別計(jì)算相對(duì)所述四個(gè)主動(dòng)光源圖像的定位坐標(biāo)。
18.根據(jù)權(quán)利要求17所述的瞳孔追蹤裝置，其中所述控制處理單元還根據(jù)所述四個(gè)定位坐標(biāo)計(jì)算所述眼球的眼球中心。
19.根據(jù)權(quán)利要求18所述的瞳孔追蹤裝置，其中所述控制處理單元還根據(jù)所述第一圖像幀和所述第二圖像幀識(shí)別輸出瞳孔區(qū)域，并將所述眼球中心與所述輸出瞳孔區(qū)域的連線方向定義為視線方向。
20.根據(jù)權(quán)利要求13-19中任一項(xiàng)權(quán)利要求所述的瞳孔追蹤裝置，該瞳孔追蹤裝置設(shè)置于頭戴式配件上。`
【文檔編號(hào)】G06F3/01GK103793045SQ201210428613
【公開日】2014年5月14日 申請(qǐng)日期:2012年10月31日 優(yōu)先權(quán)日:2012年10月31日
【發(fā)明者】黃昱豪, 高銘璨, 李宜方, 許恩峰, 謝孟寰, 陳念澤 申請(qǐng)人:原相科技股份有限公司