本發(fā)明涉及一種校準(zhǔn)眼動儀的設(shè)備和方法，并且涉及包括這樣的校準(zhǔn)設(shè)備的眼睛控制裝置。

背景技術(shù)：

用于追蹤眼球運(yùn)動的設(shè)備(一般稱之為“眼動儀”)通常需要執(zhí)行校準(zhǔn)步驟。在校準(zhǔn)過程中，實(shí)際上用戶的一些具體眼睛參數(shù)被扣除以將給定的瞳孔位置關(guān)聯(lián)至特定觀察點(diǎn)。

在校準(zhǔn)步驟中，用戶通常被提示至少盯住屏幕的三個預(yù)定點(diǎn)數(shù)秒鐘。通過假定用戶在被要求時會真正地盯住所述的點(diǎn)而且瞳孔不會由于照明條件的改變而擴(kuò)張來執(zhí)行校準(zhǔn)。

因此以上描述的校準(zhǔn)程序需要用戶的注目和配合。

而且，在大多數(shù)情況下，為了補(bǔ)償環(huán)境的任何改變或者適應(yīng)用戶可能的眼睛疲勞，校準(zhǔn)程序被間歇地執(zhí)行。

因此，由于校準(zhǔn)程序需要時間和合作，所以校準(zhǔn)程序?qū)τ脩舳允橇钊擞憛挼那矣袎毫Φ摹?/p>

而且，對于向不同用戶開放的應(yīng)用，諸如游戲或者內(nèi)容選擇的交互界面、駕駛時的注意力控制應(yīng)用等，這種校準(zhǔn)程序是不能接受的。

感覺需要通過使校準(zhǔn)幾乎不易察覺來最小化用戶所需做的努力。

例如文獻(xiàn)US2011/0310006描述一種方案，其中通過在用戶執(zhí)行具體動作時的眼睛監(jiān)控“掩飾”校準(zhǔn)。假定在這些動作發(fā)生時眼睛指向設(shè)定的點(diǎn)(例如在按下按鈕時假定眼球轉(zhuǎn)向該按鈕)。但是，這種方法仍然需要用戶的合作，并且不總是有效的，尤其是因?yàn)橛脩魣?zhí)行動作時不真正地盯住目標(biāo)點(diǎn)的情況經(jīng)常發(fā)生。

技術(shù)實(shí)現(xiàn)要素：

因此本發(fā)明的目的是提供一種消除這里強(qiáng)調(diào)的現(xiàn)有技術(shù)缺陷的方法，特別是，本發(fā)明的目的是提供一種校準(zhǔn)方法，該方法不易被用戶察覺并且同時保證精確和可靠的校準(zhǔn)。

根據(jù)這些目的，本發(fā)明涉及權(quán)利要求1中主張的一種校準(zhǔn)方法。

以這種方式，無需用戶的任何配合來執(zhí)行校準(zhǔn)。實(shí)際上不用用戶注意而執(zhí)行校準(zhǔn)。此外，通過選擇在多個校準(zhǔn)函數(shù)中評價為最好的校準(zhǔn)函數(shù)來最優(yōu)化校準(zhǔn)。

進(jìn)一步的目的是提供一種校準(zhǔn)設(shè)備，其能夠執(zhí)行精確和可靠的校準(zhǔn)，同時使用戶不易察覺。

根據(jù)這些目的，本發(fā)明涉及在權(quán)利要求9中所主張的一種校準(zhǔn)設(shè)備。

附圖說明

本發(fā)明進(jìn)一步的特性和優(yōu)點(diǎn)將通過下面參考附圖描述非限制性實(shí)施例而變得清楚，其中：

-圖1是示意性地表示根據(jù)本發(fā)明的眼睛控制裝置的框圖；

-圖2是示意性地表示根據(jù)本發(fā)明的校準(zhǔn)設(shè)備的框圖；

-圖3是涉及根據(jù)本發(fā)明校準(zhǔn)方法的一些步驟的流程圖。

具體實(shí)施方式

在圖1中根據(jù)本發(fā)明的眼睛控制裝置由附圖標(biāo)記1表示。

在這里描述和示出的非限制性示例中，眼睛控制裝置1用于選擇由處理器運(yùn)行并且在監(jiān)視器上顯示的軟件的內(nèi)容。

可以理解的是，眼睛控制裝置意指接收與一個或多個用戶的眼球運(yùn)動相關(guān)的輸入數(shù)據(jù)的任何裝置。例如，眼睛控制裝置可以配置成監(jiān)控用戶駕駛時的注目，或者操作和調(diào)整設(shè)備的移動，根據(jù)用戶的視覺探索路徑來移動用戶的注目，或者監(jiān)控諸如嬰兒的不合作目標(biāo)的眼睛。

眼睛控制裝置1包括眼動儀2、校準(zhǔn)設(shè)備3、處理器4和監(jiān)視器5。

用于追蹤眼球運(yùn)動的設(shè)備2(這里和下文中以術(shù)語“眼動儀”表示)配置成記錄被監(jiān)控用戶的眼睛的位置和方向。優(yōu)選地，眼動儀2包括至少一個攝像頭(未在附圖中示出)和圖像處理系統(tǒng)(在附圖中不可見)，攝像頭聚焦在用戶的虹膜光圈的平面上，圖像處理系統(tǒng)用于處理由此獲取的圖像。

圖像處理系統(tǒng)提供與當(dāng)前眼睛位置相對應(yīng)的一系列坐標(biāo)。特別是，圖像處理系統(tǒng)為每個眼睛位置提供一對坐標(biāo)，優(yōu)選笛卡爾坐標(biāo)。

優(yōu)選地，眼動儀2配置成提供右眼的一系列實(shí)際坐標(biāo)(x₁；y₁)_D，(x₂；y₂)_D……(x_n；y_n)_D(下文中簡稱為(x_i；y_i)_D)，和左眼的一系列實(shí)際坐標(biāo)(x₁；y₁)_S，(x₂；y₂)_S……(x_n；y_n)_S(下文中簡稱為(x_i；y_i)_S)。

右眼的系列坐標(biāo)(x_i；y_i)_D限定了用戶的右眼做出的掃視途徑，左眼的系列坐標(biāo)(x_i；y_i)_s限定了用戶的左眼做出的掃視途徑，

校準(zhǔn)設(shè)備3配置成確定至少一個最佳校準(zhǔn)函數(shù)以提供給處理器4，如下面我們將更詳細(xì)地看到的，處理器4根據(jù)記錄的最佳校準(zhǔn)函數(shù)修正與當(dāng)前眼睛位置相對應(yīng)的系列坐標(biāo)，并且控制內(nèi)容選擇軟件。

在這里描述和示出的非限制性示例中，校準(zhǔn)設(shè)備3配置成確定至少一個右眼的最佳校準(zhǔn)函數(shù)f_D和左眼的最佳校準(zhǔn)函數(shù)f_S以提供給處理器4。

參考圖2，校準(zhǔn)設(shè)備3包括選擇模塊10、計(jì)算模塊11和評價模塊12。

選擇模塊10配置成確定與用戶的眼睛凝視有關(guān)的坐標(biāo)，并且限定在監(jiān)視器5上顯示并且引起用戶注目的當(dāng)前圖像的至少一個第一吸引區(qū)域A1。

一般地，實(shí)際上在觀察一些目標(biāo)時用戶的眼睛會停留一段時間。因此，凝視是指被觀察了給定的時間段的點(diǎn)。但是，即使在停下來觀察目標(biāo)時，用戶的凝視也從不靜止在一個精確的點(diǎn)上，而是在被觀察的目標(biāo)附近移動。于是，每次凝視的坐標(biāo)被如下地形成：起始于在給定的區(qū)域并且在給定的時間間隙期間內(nèi)具有高觀察密度的觀察評分的坐標(biāo)。

優(yōu)選地，校準(zhǔn)設(shè)備3配置成通過在給定的一段時間期間，對特定的觀察區(qū)域中所選擇的觀察評分的坐標(biāo)進(jìn)行簡單平均，來確定每次凝視的坐標(biāo)。

多個可替代的方案通過計(jì)算重心，或者加權(quán)平均數(shù)的計(jì)算，或者其他類型的計(jì)算來確定每次凝視的坐標(biāo)。

在這里描述和示出的非限制性示例中，選擇模塊10配置成用于確定與右眼凝視相關(guān)的一系列坐標(biāo)(x_i；y_i)_DF和與左眼凝視相關(guān)的一系列坐標(biāo)(xi；yi)_SF。

選擇模塊10還配置成記錄和確定針對監(jiān)視到的用戶眼睛移動的附加指標(biāo)。例如，這里描述和示出的選擇模塊10適于確定每次凝視的持續(xù)時間、凝視的空間密度、感興趣區(qū)域的凝視次數(shù)、在具體區(qū)域中凝視持續(xù)時間的總和(“凝視”)、在第一次凝視之前的時間流逝和與掃視移動相關(guān)的參數(shù)。

如已經(jīng)提到的，選擇模塊10配置成限定至少一個在監(jiān)視器5上顯示并且引起用戶注目的當(dāng)前圖像的至少一個第一吸引區(qū)域A1。在這里描述和示出的非限制性示例中，預(yù)先執(zhí)行對于由監(jiān)視器顯示的每個當(dāng)前圖像的吸引區(qū)域的識別，并且存儲在選擇模塊10中。優(yōu)選地，基于實(shí)驗(yàn)測試來進(jìn)行預(yù)先的識別。

詳細(xì)地，選擇模塊10配置成識別在監(jiān)視器5上顯示的當(dāng)前圖像的第一吸引區(qū)域A1和第二吸引區(qū)域A2。

可替代的方案提供了起始于當(dāng)前顯示的圖像的實(shí)時地執(zhí)行吸引區(qū)域的識別，其通過統(tǒng)計(jì)計(jì)算來識別最可能吸引用戶的注目的區(qū)域。

在圖3中示出塊15，塊15概括了由選擇模塊10實(shí)施的活動。

參考圖2，將由選擇模塊10識別的與右眼凝視相關(guān)的系列坐標(biāo)(x_i；y_i)_DF和與左眼凝視相關(guān)的系列坐標(biāo)(xi；yi)_SF發(fā)送到計(jì)算模塊11。

計(jì)算模塊11配置成通過各個校準(zhǔn)函數(shù)f₁、f₂…f_n(下文中簡稱為fj)計(jì)算右眼凝視(x_i；y_i)_DF(圖3的塊16)和/或左眼凝視(x_i；y_i)_SF(圖3的塊17)的多個校準(zhǔn)位置。

因此，對于右眼的每次凝視(x_i；y_i)_DF做出下面的計(jì)算：

P_jD＝(x；y)_jD＝f_j((x_i；y_i)_DF)

對于左眼的每次凝視(x_i；y_i)_SF做出下面的計(jì)算：

P_jS＝(x；y)_jS＝f_j((x_i；y_i)_SF)

在這里描述和示出的非限制性示例中，右眼凝視P_jD和左眼凝視P_js的多個校準(zhǔn)位置的坐標(biāo)以這種方式分別計(jì)算：

P_jD＝(x；y)_jD＝(f_j(x_i)；f_j(y_i))_DF

P_jS＝(x；y)_jS＝(f_j(x_i)；f_j(y_i))_SF

在這里描述和示出的非限制性示例中，校準(zhǔn)函數(shù)f_j接近1000。使用的校準(zhǔn)函數(shù)f_j的數(shù)量基本上取決于所期望的精度、眼睛控制裝置1的應(yīng)用類型(例如，在用于交互游戲的眼睛控制裝置1中所需的校準(zhǔn)精度低于用于語音通信的眼睛控制裝置所需的精度)和校準(zhǔn)設(shè)備3本身的計(jì)算能力。

優(yōu)選地，校準(zhǔn)函數(shù)f_j是一次函數(shù)?？商娲姆桨柑峁┑男?zhǔn)函數(shù)f_j包括具有比一次函數(shù)高的次的函數(shù)。在這里描述和示出的非限制實(shí)施例中，函數(shù)f_j是通過實(shí)驗(yàn)測試獲得的函數(shù)并且存儲在計(jì)算模塊11中。

將多個校準(zhǔn)位置P_jD和P_jS發(fā)送到評價模塊12，評價模塊12配置成在采用的多個校準(zhǔn)函數(shù)f_j中確定右眼的最佳校準(zhǔn)函數(shù)f_D和左眼的最佳校準(zhǔn)函數(shù)f_S，提供給處理器4。

在這里描述和示出的非限制性示例中，評價模塊12配置成：

-關(guān)于當(dāng)前圖像的吸引區(qū)域A1，根據(jù)右眼凝視(圖3中的塊20)和左眼凝視(圖3中的塊22)的多個校準(zhǔn)位置中的各個校準(zhǔn)位置P_jD和P_jS給每個校準(zhǔn)函數(shù)f_j分配分?jǐn)?shù)；

-存儲分配給吸引區(qū)域A1的分?jǐn)?shù)；

-關(guān)于當(dāng)前圖像的吸引區(qū)域A2，根據(jù)右眼凝視(圖3中的塊21)和左眼凝視(圖3中的塊23)的多個校準(zhǔn)位置中的各個校準(zhǔn)位置P_jD和P_jS給每個校準(zhǔn)函數(shù)f_j分配分?jǐn)?shù)；

-存儲分配給吸引區(qū)域A2的分?jǐn)?shù)；

-合并給予右眼的每個校準(zhǔn)函數(shù)的分?jǐn)?shù)(圖3的塊24)，并且合并給予左眼的每個校準(zhǔn)函數(shù)f_j的分?jǐn)?shù)(圖3的塊25)；

-選擇具有最高最終分?jǐn)?shù)的右眼的最佳校準(zhǔn)函數(shù)f_D(圖3的塊26)，和具有最高最終分?jǐn)?shù)的左眼的最佳校準(zhǔn)函數(shù)f_s(圖3的塊27)。

在這里描述和示出的非限制性示例中，根據(jù)和具體校準(zhǔn)函數(shù)f_j有關(guān)的校準(zhǔn)點(diǎn)P_jD和P_jS與各個吸引區(qū)域A1和A2之間的距離執(zhí)行分?jǐn)?shù)的分配。校準(zhǔn)點(diǎn)P_jD和P_jS離各個吸引區(qū)域A1和A2越遠(yuǎn)，分?jǐn)?shù)越低。

優(yōu)選通過分?jǐn)?shù)的加權(quán)來執(zhí)行分?jǐn)?shù)的合并。分配給每個分?jǐn)?shù)的權(quán)重取決于各個吸引區(qū)域的吸引能力。分配給每個吸引區(qū)域的權(quán)重是預(yù)先確定的。

校準(zhǔn)設(shè)備3是持續(xù)活躍的并且分配給每個校準(zhǔn)函數(shù)f_j的分?jǐn)?shù)被存儲，使得后續(xù)的校準(zhǔn)考慮之前的校準(zhǔn)獲得的分?jǐn)?shù)。

例如，如果進(jìn)一步的分?jǐn)?shù)分配給與進(jìn)一步的吸引區(qū)域有關(guān)的每個校準(zhǔn)函數(shù)f_j，該進(jìn)一步的吸引區(qū)域與吸引區(qū)域A1和A2不同，所述進(jìn)一步的分?jǐn)?shù)會被增加到之前關(guān)于吸引區(qū)域A1和A2分配的分?jǐn)?shù)中。因此，如果第二圖像引起用戶的注意，校準(zhǔn)設(shè)備3會再次進(jìn)行給關(guān)于第二圖像的吸引區(qū)域的每個新校準(zhǔn)函數(shù)f_j分配分?jǐn)?shù)，并且將這些新分?jǐn)?shù)增加到之前分配的分?jǐn)?shù)中。以這種方式，以迭代方式持續(xù)地計(jì)算右眼和左眼的最佳校準(zhǔn)函數(shù)f_D和f_S。這允許校準(zhǔn)設(shè)備3適應(yīng)用戶、環(huán)境條件等任何的變化。

未示出的可替代方案提供選擇模塊識別單個吸引區(qū)域和多個凝視，以及對于每次凝視，評價模塊12為校準(zhǔn)函數(shù)f_j分配分?jǐn)?shù)，該分?jǐn)?shù)是僅與記錄的吸引區(qū)域有關(guān)而被計(jì)算的分?jǐn)?shù)。

由校準(zhǔn)設(shè)備3持續(xù)地計(jì)算的右眼的最佳校準(zhǔn)函數(shù)f_D和左眼的最佳校準(zhǔn)函數(shù)f_S被提供給處理器4。處理器4通過使用校正函數(shù)f_D和f_S校正眼動儀2記錄的右眼系列坐標(biāo)(x_i；y_i)_D和左眼系列坐標(biāo)(x_i；y_i)S。一旦獲得了右眼系列坐標(biāo)(x_i；y_i)_D和左眼系列坐標(biāo)(x_i；y_i)_S的校正值，優(yōu)選地，處理器4計(jì)算右眼的校正坐標(biāo)與相應(yīng)的左眼的校正坐標(biāo)之間的平均值。該平均值將用做選擇軟件內(nèi)容的命令。

處理器還配置成記錄右眼與左眼之間的任何異常，例如，因?yàn)樾币暥_定的異常。在這種情況下，處理器4不計(jì)算右眼校正坐標(biāo)和左眼校正坐標(biāo)的平均值，而是僅將主視眼的校正坐標(biāo)作為選擇軟件內(nèi)容的命令。

在這里描述和示出的非限制性示例中，校正設(shè)備3與處理器4分離。未示出的可替代方案是校準(zhǔn)設(shè)備3集成到處理器4或者處理器4集成到校準(zhǔn)設(shè)備3。

進(jìn)一步的可替代方案是校準(zhǔn)設(shè)備3和處理器4集成到眼動儀2。

有利地，校準(zhǔn)設(shè)備3可以用于執(zhí)行任何類型的眼動儀2的校準(zhǔn)。

另外，校準(zhǔn)設(shè)備3適于執(zhí)行持續(xù)的校準(zhǔn)而不受環(huán)境變化、用戶的突然改變或者任何眼睛疲勞的影響。以這種方式眼睛控制裝置可以由多個用戶依次使用。實(shí)際上校準(zhǔn)持續(xù)地適用于用戶的當(dāng)前條件。所述方案對于游戲交互和內(nèi)容選擇尤其有利。歸功于根據(jù)本發(fā)明的校準(zhǔn)設(shè)備，實(shí)際上用戶不需要合作。

歸功于持續(xù)地計(jì)算和評價最佳校準(zhǔn)函數(shù)的事實(shí)，根據(jù)本發(fā)明的校準(zhǔn)設(shè)備3實(shí)際上能夠適應(yīng)任何條件。

隨著分配給校準(zhǔn)函數(shù)的分?jǐn)?shù)累積，排名會更新并且示出最好的校準(zhǔn)函數(shù)。所述校準(zhǔn)方法結(jié)果是穩(wěn)健的并且能夠適用任何情形。而且，由于最佳校準(zhǔn)函數(shù)幾乎是立即出現(xiàn)，所以根據(jù)本發(fā)明的校準(zhǔn)方法非?？焖?；并且由于不需要所記錄的最佳校準(zhǔn)函數(shù)的任何驗(yàn)證，所以根據(jù)本發(fā)明的校準(zhǔn)方法是完全自主的。

最后，顯然所述的眼睛控制裝置、方法和校準(zhǔn)設(shè)備可以在不偏離所附權(quán)利要求的范圍時被修改和變型。