評估視線檢測結(jié)果的方法和裝置制造方法
【專利摘要】本發(fā)明涉及用于評估視線檢測結(jié)果的方法和裝置，其中這些結(jié)果以信息的形式出現(xiàn)或被獲得，該信息針對多個連續(xù)時間中的每一個時間限定了在該時間檢測到觀察方向以及從而在分配給該時間的場景圖像(10)中識別的焦點(12)。為了這個目的，本發(fā)明提供以下待執(zhí)行的步驟：-評估觀察方向和/或焦點(12)的時間變化以識別不同的觀察事件，該不同的觀察事件由不同的眼睛移動速度(v)彼此區(qū)分，其中掃視(14)和注視(16)和/或跟隨移動(15)被檢測為不同類型的觀察事件且識別的觀察事件根據(jù)其類型分類，-包括這些時間的時間段以這樣的方式被劃分為多個時間間隔，使得對應于特定的觀察事件的持續(xù)時間的時間間隔被分配給每個識別的觀察事件，其中至少一些時間間隔分別包括多個時間的序列，-在每種情況下從每個被分配給注視(16)或跟隨移動(15)的時間間隔(I1至I6)中精確選擇一個時間或真正的時間子集，-以及，針對每個這些選擇的時間，在分配給特定時間的場景圖像(10)中識別的焦點(12)被映射至參考圖像(11)中對應于該焦點(12)的位置(13)。
【專利說明】評估視線檢測結(jié)果的方法和裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于評估眼睛檢測結(jié)果，即眼睛跟蹤結(jié)果的方法和裝置。

【背景技術(shù)】
[0002]眼睛跟蹤本身是已知的，例如，當有必要檢查人的視線或甚至是動物的視線停留在哪些視點、何時停留在這些視點、停留多長時間和/或以什么樣的順序停留、或者視線或視線方向如何在不同視點之間移動時，眼睛跟蹤被用在行為研究或市場研究中。為了確定過路人的注意力，這點可以給出例如關(guān)于供應商應該將出售貨物最有利地放置在何地以及如何最有利地放置出售貨物的信息。
[0003]在由現(xiàn)有技術(shù)已知的用于眼睛跟蹤方法的例子中，場景圖像被記錄以重現(xiàn)對測試對象可見的場景-隨后，在本文件中測試對象可以代表人和動物-為了這個目的，例如可以使用固定在測試對象的頭部上且由此隨頭部移動的照相機。同時，測試對象的眼睛位置因此和視線方向被檢測，其可以例如通過朝向測試對象的眼睛的照相機，使用合適的圖像評估方法來進行。在校準了這樣的眼睛跟蹤器后，然后可分別對場景圖像中的視點(術(shù)語視點)得出結(jié)論，即使眼睛位置和頭部位置改變-這也適用于隨后的本發(fā)明和實施方式的描述-在該場景圖像中指定點，測試對象的視線在分配場景圖像的時刻停留在該點上。
[0004]因此，眼睛跟蹤結(jié)果通常作為信息出現(xiàn)，該信息針對大量連續(xù)的時刻中的每一個分別限定了在該時刻檢測到的視線方向以及因此在分配給該時刻的場景圖像中識別的視點。為了評估這些結(jié)果，需要處理極其大量的信息，因為通常每秒超過二十個場景圖像和圖像點被檢測。因此，不論評估是否被手動地、自動地或交互地影響，其都與非常長的時間或計算開銷有關(guān)。


【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是提出能夠降低評估上述類型的眼睛跟蹤結(jié)果的復雜度的措施。
[0006]該目的是根據(jù)本發(fā)明通過具有主要權(quán)利要求的特征的方法和具有協(xié)同權(quán)利要求的特征的裝置來實現(xiàn)的。本發(fā)明的有利的實施方式和改進由次權(quán)利要求的特征來體現(xiàn)。
[0007]根據(jù)本發(fā)明的裝置適于實現(xiàn)所提出的方法，該方法隨后首先被描述且該方法顯著降低了與評估眼睛跟蹤結(jié)果關(guān)聯(lián)的復雜度。因此，該方法用于評估眼睛跟蹤的結(jié)果，這些結(jié)果作為信息出現(xiàn)或-例如以之前描述的方式通過眼睛跟蹤-作為信息被獲得，該信息針對大量連續(xù)的時刻中的每一個時刻分別限定了在該時刻檢測到的視線方向和因此在分配給該時刻的場景圖像中識別的視點，場景圖像是時變的，使得不同的場景圖像通常分配給不同時刻。該方法包括以下步驟:
[0008]-評估視線方向和/或視點和/或眼睛移動的時間變化以識別不同的視覺事件，至少兩種不同類型的視覺事件被識別且識別的視覺事件根據(jù)其類型分類，
[0009]-將包括時刻的時間段劃分為多個時間間隔，以使對應于相應的視覺事件的持續(xù)時間的時間間隔分配給每個識別的視覺事件，通常這些時間間隔中的至少一些分別包括多個時刻的序列，
[0010]-從被分配給至少一種選定的視覺事件類型的視覺事件的每個時間間隔中分別精確地選擇一個時刻或合適的時刻子集，
[0011]-以及，針對每個這些選擇的時刻，將在分配給相應時刻的場景圖像中識別的視點，即由該時刻的眼睛跟蹤結(jié)果限定的視點，成像至參考圖像中對應于該視點的位置上。
[0012]從而，將時間段劃分為時間間隔可通過例如將指示該時刻或分配給該場景圖像的時刻所屬哪個時間間隔或視覺事件的屬性分配給每個時刻或每個場景圖像來實現(xiàn)。通常，時間間隔是分離的。針對不同的場景圖像，參考圖像可以相同。然而，參考圖像也可以分別是來自例如由參考視頻限定的參考圖像序列中的一幅圖像。與場景圖像類似，在這種情況下參考圖像也是時變的。
[0013]特別地，如果在評估過程中，產(chǎn)生信息攝入的視覺事件和沒有產(chǎn)生信息攝入的視覺事件(即具有信息攝入的視覺事件和沒有信息攝入的視覺事件)被識別為不同類型的視覺事件，則是特別有利的。上述至少一種選定的視覺事件類型的視覺事件于是將是具有信息攝入的視覺事件。特別地，例如通常針對每個被分配給產(chǎn)生信息攝入的視覺事件的時間間隔，于是分別產(chǎn)生一個時刻或時刻子集的精確選擇。
[0014]以下以這樣的方式大幅度降低評估的復雜度的提案有以下三種深刻見解。首先，針對許多眼睛跟蹤的應用，僅僅或主要確定測試對象何時看見什么信息是重要的。第二，與提出的方法的目的相關(guān)的至少一種信息攝入僅在特定類型的視覺事件期間，特別是在注視或后續(xù)的移動(在該注視或后續(xù)的移動中，視線在靜止或相對測試對象移動的物體上停留或多或少的長的時間)期間發(fā)生，然而并不在例如掃視(該掃視表示不同類型的視覺事件，并且在該掃視中，太快的眼睛移動使得從這個意義上講相關(guān)的信息攝入是幾乎不可能的)的情況下發(fā)生。第三，在與信息攝入相關(guān)的視覺事件，例如注視或后續(xù)的移動的過程中，視線總是或多或少停留在相同的點或物體上，使得從每個注視或后續(xù)的移動中可以僅針對一個時刻檢查分配給該時刻的場景圖像以及在該場景圖像中識別的視點，以便在該視覺事件期間了解信息攝入所需要的一切。此外，針對目前描述的發(fā)明，沒有絕對必要區(qū)分注視和后續(xù)的移動。然而，注視和后續(xù)的移動至少便利地與沒有信息攝入的事件(例如掃視)區(qū)分開。
[0015]即使當考慮了這一點，然而在評估眼睛跟蹤結(jié)果過程中避免不必要的復雜性不是不重要的。這首先可能是因為，由于對視線方向、和/或視點和/或眼睛移動的時間變化的評估，不同的視覺事件-優(yōu)選為具有信息攝入的視覺事件和沒有信息攝入的視覺事件，即，例如掃視和注視和/或后續(xù)的移動-被識別為不同類型的視覺事件，以及包含時刻的時間段被劃分成多個時間間隔，以使對應于相應的視覺事件的持續(xù)時間的時間間隔被分配給每個識別的視覺事件。只有這樣，時刻中的一個或典型的時刻子集才能分別從每個時間間隔(該時間間隔被分配給一種選定類型的視覺事件-例如具有信息攝入的視覺事件或例如注視或后續(xù)的移動)中的該時間間隔中精確選擇，才能保證足以對分配給這些時刻的場景圖像和視點進行評估而不會冒不期望的信息損失的危險。
[0016]因此，沒有必要從單獨的時間間隔中選擇多于一個的時刻。然而，后者有利于排除或減少錯誤或降低不精確度，錯誤或不精確度對于成像(該成像隨后進行并可能自動實現(xiàn))至參考圖像可能是不可避免的。在每一種情況下，選擇的時刻因此和待進行的到參考圖像的視點的成像的數(shù)量明顯少于對于有關(guān)場景圖像和視點的信息存在的所有時刻的數(shù)量。
[0017]視點到參考圖像中的對應位置的成像最終使得可以進行系統(tǒng)評估，僅僅因為如果必須接受測試對象正在移動以及因此分配給不同時刻的場景圖像彼此不同，則此處確定的位置包括有關(guān)測試對象的視線已停留在哪個物體上、何時停留和停留了多久的客觀信息?，F(xiàn)在，特別的優(yōu)點體現(xiàn)在通過提出的程序，待被執(zhí)行的成像的數(shù)量能夠保持在非常狹窄的范圍內(nèi)。該方法還可提供以上述方式分析多個連續(xù)或同時觀測的測試對象的視覺行為。視點到參考圖像的成像(為了這個目的優(yōu)選為所有測試對象分別選擇相同的參考圖像)于是可以以非常低的復雜度得到對測試結(jié)果的非?？陀^的評估。
[0018]可以澄清，在本文的視覺事件的識別和分類中使用的術(shù)語，一方面，“產(chǎn)生信息攝入的視覺事件”或“具有信息攝入的視覺事件”，以及另一方面，“沒有產(chǎn)生信息攝入的視覺事件”或“沒有信息攝入的視覺事件”，不應意味著在視覺事件期間直接分別檢查測試對象實際是否攝入信息以及攝入信息到什么程度。據(jù)此僅僅意味著通?？蓮牡湫偷纳硖卣骰螂姍C特征中識別的不同視覺事件是有區(qū)別的，以及基于實驗證據(jù)或似乎合理的考慮，這些視覺事件可被劃分為具有預期的信息攝入的視覺事件以及-例如由于移動速度太快-可以假設(shè)至少沒有產(chǎn)生相關(guān)的信息攝入的視覺事件。因此，可以在這個意義上假設(shè)例如，在注視和后續(xù)的移動的情況下產(chǎn)生信息攝入，而在掃視的情況下沒有產(chǎn)生信息攝入。典型的生理特征(基于該特征可區(qū)分不同類型的視覺事件以及通過該特征可識別這些不同類型的視覺事件)為例如眼睛移動的速度或覆蓋在特定的時間段內(nèi)的角度范圍的尺寸。具有信息攝入的視覺事件和沒有信息攝入的視覺事件的命名最終也并不意味著恰恰只區(qū)分這兩類視覺事件。相反地，可以識別大量的不同類型的視覺事件，其也可能被分配給大量的不同類另IJ，然而，這些類別可以以上述意義分別解釋為可能不同的可想象的有或沒有信息攝入的視覺事件中的一種。
[0019]作為已經(jīng)論述過的事實，不同的視覺事件可由不同的眼睛移動的速度和/或幅度彼此區(qū)分。相應地，對不同視覺事件的識別可通過例如對眼睛移動的速度和/或幅度的檢測和評估而實現(xiàn)。此外，為了這個目的可評估其他信息，例如涉及眼睛加速度或場景圖像(為了這個目的該場景圖像可受圖像評估)中的視點周圍的圖像內(nèi)容的信息，或涉及可由頭部跟蹤器檢測的頭部移動的信息。
[0020]特別是在方法的有利實施方式的情況下，掃視被識別為沒有產(chǎn)生信息攝入的視覺事件，而注視和/或后續(xù)的移動可被識別為產(chǎn)生信息攝入的視覺事件。
[0021]可以設(shè)計該方法，使得針對每個分配給選定類型的視覺事件-例如具有信息攝入的視覺事件(例如注視或后續(xù)的移動)的時間間隔，參考圖像中的位置與有關(guān)相應的視覺事件的持續(xù)時間的信息一起存儲作為成像目標或“映射結(jié)束點”。如果從該時間間隔中精確選擇一個時刻，該位置可被選擇為針對選自該時間間隔的時刻所限定的視點被成像所至的位置。如果從該時間間隔中選擇多個時刻，該位置可被選擇為針對選自該時間間隔的多個時刻所限定的視點被成像所至的位置中的一個或位置的平均值(不一定是算術(shù)平均值)或中間值。在剛才提到的情況下，成像目標可以被選擇例如作為針對選自該時間間隔的最后時刻所限定的視點被成像所至的位置，或者特別是在自動成像的情況下，作為各成像的質(zhì)量的測量的函數(shù)。除了有關(guān)相應的視覺事件的持續(xù)時間的信息外，還可將具有有關(guān)視覺事件的信息的屬性與位置一起存儲，例如，開始和結(jié)束、視覺事件的連續(xù)數(shù)量或在同一位置多次出現(xiàn)的情況下的計數(shù)讀數(shù)。所有這些信息隨后允許評估眼睛跟蹤結(jié)果，該評估可以被廣泛自動進行。
[0022]在不僅用于眼睛跟蹤的評估還用于眼睛跟蹤本身的方法的實施方式中，提供了在上述時刻的場景圖像由照相機記錄，視線方向由眼睛跟蹤器檢測，該眼睛跟蹤器根據(jù)由此獲得的有關(guān)視線方向的信息確定該場景圖像中的視點。因此，照相機可戴在其視線方向由眼睛跟蹤器檢測的測試對象的頭上。該眼睛跟蹤器可具有例如用于分別觀測測試對象的兩只眼睛中的一只的眼睛照相機，并且可以提供圖像評估。眼睛照相機可以確定例如涉及各眼睛的角膜上的反射的瞳孔位置。這兩個眼睛照相機可以與第一次提到的照相機一起由眼鏡架保持，用于記錄場景圖像。
[0023]在已描述的評估的有利實施方式中，參考圖像是在場景圖像中可見的場景的圖像，其對應固定的視角并可被例如用照相機記錄或可具有圖形特征，或是抽象的復制品或是可在場景圖像中檢測到的獨有特征的編碼。這樣的抽象的復制品或編碼，例如針對每個考慮的獨有特征，可通過該獨有特征的命名或位置限定來提供。
[0024]針對每個選擇的時刻，可分別提供將分配給該時刻的場景圖像與在該場景圖像中識別的視點一起輸出到例如屏幕上。這能夠利于視點到參考圖像中的成像的手動執(zhí)行(例如通過鼠標點擊)或視覺檢查。為了這個目的，參考圖像同樣優(yōu)選被輸出并可示于屏幕上，例如緊鄰當前的場景圖像或位于當前的場景圖像之上或位于當前的場景圖像之下。
[0025]不應排除手動來實現(xiàn)圖像點從各個選擇的場景圖像到參考圖像的成像。但是視點到位置上的成像以及因此上述位置的確定至少可以通過以下自動實現(xiàn)
[0026]-通過用于特征檢測的算法，識別參考圖像中的多個獨有特征和這些獨有特征在參考圖像中的位置，
[0027]-通過對場景圖像應用相同或相應的算法，識別相應的場景圖像中的這些獨有特征并確定這些獨有特征在相應的場景圖像中的位置，
[0028]-確定將特征在場景圖像中的位置成像至在參考圖像中的相應位置(即成像至相應特征在參考圖像中的位置)的變換，以及
[0029]-將該變換應用于在相應的場景圖像中識別的視點。
[0030]該變換可通過例如為具有期望的成像性能的單應性的附加條件來確定。該變換也可確定為空間成像。從而，特征的至少一部分可位于同一場景對象上。從而，針對每個選擇的時刻或針對分配給這些時刻的每個場景圖像，分別實施此處描述的四個步驟中的最后三個步驟。通過算法在圖像評估框架內(nèi)識別的獨有特征可涉及例如角或線。用于特征檢測的相應算法本身從例如出版物US6，711,293 BI中獲知。
[0031]時刻的選擇也可以手動實現(xiàn)和自動實現(xiàn)。因此，例如一個時刻可相應地被選擇為位于相應時間間隔的中央。
[0032]正如已經(jīng)論述過的，提出的裝置適合對眼睛跟蹤結(jié)果的有利的低復雜度的評估，這些結(jié)果作為信息出現(xiàn)或能夠在信息中被讀取或作為信息產(chǎn)生，該信息針對大量連續(xù)時刻中的每一個時刻分別限定了在該時刻檢測到的視線方向和因此在分配給該時刻的場景圖像中識別的視點，這些場景圖像是時變的，使得不同的場景圖像通常分配給不同的時刻。為了這個目的，該裝置通過編程技術(shù)被配備用于執(zhí)行以下步驟:
[0033]-評估視線方向和/或視點和/或眼睛移動的時間變化以識別不同的視覺事件，識別至少兩種不同類型的視覺事件并根據(jù)其類型對識別的視覺事件進行分類，
[0034]-將包括時刻的時間段劃分為通常分離的時間間隔，以使對應于相應的視覺事件的持續(xù)時間的時間間隔分配給每個識別的視覺事件，
[0035]-輸出針對選自時間間隔的時刻限定了場景圖像中的視點的信息，這些時間間隔被分配給選定類型的視覺事件，
[0036]-以及，針對每個選擇的時刻，存儲參考圖像中的位置作為針對該時刻限定的視點的圖像，以及存儲分配給該位置作為屬性的、有關(guān)該時刻所屬的視覺事件或時間間隔的持續(xù)時間的信息，還可能與其他的具有有關(guān)該視覺事件的信息的屬性，例如具有有關(guān)視覺事件的開始和結(jié)束和/或持續(xù)數(shù)量的信息的屬性，一起存儲。
[0037]從而，該裝置可被配備成通過將指示該時刻屬于哪個時間間隔或視覺事件的屬性分別分配給每個時刻，將時間段劃分為多個時間間隔。在此同時，針對不同的場景圖像，參考圖像可再一次是相同的或時變的。
[0038]通常，上述不同的類型可彼此不同以至于特別是具有信息攝入的視覺事件和沒有信息攝入的視覺事件可以在上述意義上相互區(qū)分。因此，在有利的實施方式中，該裝置被配備成識別產(chǎn)生信息攝入的視覺事件和沒有產(chǎn)生信息攝入的視覺事件作為不同類型的視覺事件。相應地，上述選定類型的視覺事件有利地涉及具有信息攝入的視覺事件。
[0039]為了區(qū)分不同的視覺事件，特別是為了能夠識別作為產(chǎn)生信息攝入的視覺事件和作為沒有產(chǎn)生信息攝入的視覺事件，該裝置可被配備成根據(jù)不同的眼睛移動速度和/或幅度來識別不同的視覺事件。在有利的實施方式的情況下，該裝置特別被配備成識別掃視作為沒有信息攝入的視覺事件和/或識別注視和/或后續(xù)的移動作為具有信息攝入的視覺事件。
[0040]該裝置的實施方式可以通過編程技術(shù)被配備成將針對選擇的時刻限定的視點自動成像至參考圖像中對應于這些圖像點的位置上，并存儲由此確定的位置作為該視點的圖像。此外，為了將視點自動成像至參考圖像中的對應位置上，該裝置可被配備成執(zhí)行以下步驟:
[0041]-通過用于特征檢測算法，識別參考圖像中的多個獨有特征和這些獨有特征在參考圖像中的位置，
[0042]-通過對場景圖像應用相同或相應的算法，識別相應的場景圖像中的這些獨有特征并確定這些獨有特征在相應的場景圖像中的位置，
[0043]-確定將特征在場景圖像中的位置成像至相應的特征的在參考圖像中由此識別的位置的變換，以及
[0044]-將該變換應用于在相應的場景圖像中識別的視點。
[0045]該變換可涉及例如單應性。為了使圖像點以預期的方式成像至參考圖像，該裝置可配備成例如在附加條件下因此分別確定該變換，該附加條件涉及具有關(guān)于上述多個獨有特征的位置所需的成像性能的單應性。
[0046]也可以想象，該裝置需要手動輸入以限定來自選定的場景圖像的視點的成像，或允許其手動輸入作為自動顯示圖像的校正。在這種情況下，該裝置可被配備成針對每個選擇的時刻，根據(jù)輸入，將參考圖像中的對應位置與分別分配給這些位置的屬性一起存儲，該輸入限定了位置并將該位置與時刻或分配給該時刻的場景圖像關(guān)聯(lián)。例如針對每個選擇的時刻，該輸入可通過在為了這個目的示出的參考圖像中點擊鼠標來實現(xiàn)。
[0047]各種可能性也可想象用于時刻的選擇。因此，該裝置可被配備用于限定選擇的時亥IJ本身的輸入-例如分別通過在為了這個目的時間間隔被直觀表示所在的時間線上點擊鼠標-或用于通過應用根據(jù)時間間隔限定這些時刻的規(guī)范來自動選擇這些時刻。該規(guī)范可例如限定選擇分別位于時間間隔的中央的時刻。
[0048]此外，如果從被分配給一個具有信息攝入的視覺事件的同一時間間隔中選擇多個時刻，該裝置可被配備成將分配給選自該時間間隔的這些時刻的場景圖像中的視點所成像的位置中的一個或位置平均值存儲為分配給該時間間隔的圖像目標。術(shù)語平均值此處能夠并不僅僅指算術(shù)平均值也可以是例如中間值。
[0049]可以提供該裝置此外具有用于檢測視線方向的眼睛跟蹤器和用于記錄場景圖像的照相機。在這種情況下，其涉及用于眼睛跟蹤和評估該眼睛跟蹤的結(jié)果的裝置。該眼睛跟蹤器優(yōu)選具有用于固定到測試對象的頭部的安裝架，以允許測試對象的自由移動，從而能夠獲得有關(guān)其視覺習慣的盡可能逼真的信息。用于記錄場景圖像的照相機通常為眼睛跟蹤器的部件并可承載在同一安裝架上。這有利于眼睛跟蹤器的校準。
[0050]最后,該裝置還可具有用于記錄參考圖像的照相機。
[0051]首先描述的方法可尤其通過此處描述的類型的裝置來實現(xiàn)。相反地，除了這里所提到的必需的或可選的特征外，所描述的裝置還可被配備成實現(xiàn)首先描述的方法的任何所述實施方式或設(shè)計。

【專利附圖】

【附圖說明】
[0052]本發(fā)明的實施方式隨后參照圖1至圖6進行解釋。其中
[0053]圖1是用于眼睛跟蹤和評估該眼睛跟蹤結(jié)果的裝置的示意圖，
[0054]圖2是通過該裝置記錄的場景圖像，以及相鄰地在右側(cè)，是同樣通過該裝置記錄的參考圖像，其通過箭頭來說明在該場景圖像中識別的視點如何成像至該參考圖像中的對應位置上，
[0055]圖3是由該裝置在觀測時間段內(nèi)檢測到的眼睛移動速度的時間過程的圖示，以及
[0056]圖4是時間線，在該時間線上，該觀測時間段被描繪劃分為多個時間間隔，這些時間間隔對應于由該裝置識別的不同視覺事件。

【具體實施方式】
[0057]因此，如圖1所示的裝置涉及包括用于眼睛跟蹤的眼睛跟蹤器I的設(shè)備，此外，該設(shè)備被配備以在特別有利的方式和低復雜度下評估由該眼睛跟蹤器I獲得的眼睛跟蹤結(jié)果O
[0058]眼睛跟蹤器I具有兩個眼睛照相機2，這兩個眼睛照相機2由眼鏡架3保持且朝向佩戴眼鏡架3的測試對象的兩個眼睛(此處未示出)。此外，眼睛跟蹤器I具有由同一眼鏡架3保持的用于記錄場景圖像的照相機4，因此，設(shè)置該照相機，使得其與測試對象的頭部一起移動，并且使得該照相機4的視野大致相應地對應測試對象的視野。
[0059]此外，眼睛跟蹤器包括計算單元5，該計算單元5通過圖像評估方法分析眼睛照相機2的輸出，從而分別確定在大量時刻(以窄的時間間隔連續(xù))的測試對象的當前視線方向。為了這個目的，計算單元5可被設(shè)置為例如針對眼角膜上限定的反射確定眼睛瞳孔的相對位置，該反射可由相應定向的眼睛照度來產(chǎn)生。在每個上述時刻，照相機4分別記錄分配給該時刻的場景圖像。這些場景圖像因此構(gòu)成由照相機4記錄的影片的連續(xù)畫面。根據(jù)確定的視線方向，現(xiàn)在，具有計算單元5的眼睛跟蹤器I針對每個時刻識別分配給該時刻的場景圖像中的視線點，視點-也稱為“視線點”或“焦點相應地指定測試對象在給定時刻在場景圖像中所看的點。
[0060]除眼睛跟蹤器I外，該裝置還包括記錄參考圖像的另一個照相機6。此處的參考圖像涉及從確定的視角記錄的場景的攝影圖像，該場景對應于測試對象可見的場景且由場景圖像重現(xiàn)。在本例子中，該場景包括架子7，該架子7可涉及例如超市中的商品貨架，且在該架子7中放置多個物體8 (例如，各種貨物)。也可以想象這樣的實施方式:在該實施方式中，照相機6由攝像機提供，且參考圖片是時變的。
[0061]最后，該裝置具有用于評估由眼睛跟蹤器I獲得的結(jié)果的評估單元9。這些結(jié)果涉及以所描述的方式獲得的信息，該信息針對每個上述時刻分別限定了在該時刻檢測到的視線方向和在該時刻檢測到的在分配給該時刻的場景圖像中識別的視點。
[0062]在圖2的左邊，通過示例示出了由照相機4記錄的場景圖像10之一，而在相鄰的右邊，示出了由照相機6記錄的參考圖像11。代替該攝影的參考圖像11，通過變型，場景的示意圖也可作為參考圖像或抽象的復制品，其中，可在該場景圖像中檢測到的獨有特征-例如放置在架子7中的物體8-通過其標簽或位置被簡單編碼。在場景圖像10中，在該場景圖像10中識別的視點12也可表示為X的形式。
[0063]針對眼睛跟蹤結(jié)果的系統(tǒng)評估，現(xiàn)在應該確定測試對象在參考圖像11中所看的位置，應該將這些位置與有關(guān)測試對象何時看和已經(jīng)看了多久的信息一起存儲。在圖2中，為了這個目的，通過箭頭示出了視點12如何成像至對應于該視點12的位置13。為了使這樣的成像不需要針對每個場景圖像執(zhí)行以便獲得所需的信息，現(xiàn)在，這個過程以隨后描述的方式進行。
[0064]通過編程技術(shù)相應配備的評估單元9通過對于連續(xù)時刻存在的有關(guān)視線方向和視點的信息的比較，檢測視線方向和/或視點的時間變化。在圖3中，示出了由此確定的在觀測時間段內(nèi)測試對象的眼睛移動速度V的時間過程，該觀測時間段為從&到tlt)通過將分別確定的速度V與閾值Vth進行比較，不同的視覺事件被識別，事實上，該視覺事件為:掃視14，其中眼睛移動得非?？?，使得v>vth ;后續(xù)的移動15，其中眼睛基本上移動得較慢，使得v〈vth;以及注視16，其中眼睛靜止。由此識別的視覺事件根據(jù)其類型分類，在此處示出的示例中，即分別為掃視14、后續(xù)的移動15或注視16。從而，掃視14被認為是沒有產(chǎn)生信息攝入的一類視覺事件，而后續(xù)的移動15和注視16被認為是產(chǎn)生信息攝入的兩類視覺事件。然而，對于所描述的方法，沒有絕對必要區(qū)分后續(xù)的移動15和注視16。這兩類視覺事件也可在分類中相同對待，并簡單歸為具有信息攝入的視覺事件類別的事件。
[0065]前一段落通過示例僅描述了相對簡單的用于識別不同視覺事件的方法。為了識別不同類型的視覺事件，特別是為了區(qū)分具有信息攝入的視覺事件和沒有信息攝入的視覺事件，可額外提供其他措施，例如通過頭部跟蹤器或IMU(慣性測量單元)評估同時檢測到的頭部運動、和/或通過場景照相機數(shù)據(jù)的評估來分析在視點12處的圖像內(nèi)容?？蛇x地或額外地，針對所描述的眼睛移動速度V的評估，同樣通過比較在不同連續(xù)時刻的視線方向和/或視點12，可檢查眼睛移動的幅度，并可根據(jù)檢測到的幅度，識別各視覺事件以及將各視覺事件分類。從而術(shù)語幅度為在特定時間段內(nèi)的眼睛移動期間觀測到的最大視覺角度差。因此，例如微掃視(盡管速度快，在該微掃視中也應考慮信息攝入)可區(qū)別于實際的掃視(該掃視可以看作是沒有信息攝入的視覺事件)。額外地或代替地，也可檢測眼睛的加速度用以識別視覺事件。
[0066]在視覺事件的識別和分類后，上述觀測時間段由評估單元9劃分為分離的時間間隔，以使對應于相應的視覺事件的持續(xù)時間的時間間隔被分配給每個識別的視覺事件。這在示出了具有時間間隔的時間線的圖4中進行說明。分配給注視16或后續(xù)的移動15的時間間隔全部在圖4中被指定為時間間隔I1、時間間隔I2、時間間隔I3、時間間隔I4、時間間隔I5和時間間隔16。至少這些時間間隔I1至時間間隔I6分別包括多個上述時刻。通過將指示該時刻屬于哪個時間間隔或視覺事件的屬性分別分配給每個時刻，將觀測時間段劃分為時間間隔。
[0067]現(xiàn)在，對于分配給注視16或后續(xù)的移動15的時間間隔I1至時間間隔I6中的每一個，選擇一個時刻。選擇的時刻在圖4中分別通過箭頭示出。根據(jù)該實施方式，這些時刻的選擇可通過自動應用限定了選擇的時刻例如分別為位于各時間間隔中央的時刻的規(guī)范，或以采用的算法最優(yōu)的任何方式，或通過手動點擊時間線上的所需的時刻(為了這個目的，該時間線在評估單元9的屏幕17上再現(xiàn))來實現(xiàn)。從而，時間線可以以在圖4中以使相關(guān)的時間間隔I1至時間間隔I6可見的方式示出的方式重現(xiàn)。
[0068]配備評估單元9，使得分別針對每個選擇的時刻，分配給該時刻的場景圖像10與在該場景圖像10中識別的視點12 —起被輸出在屏幕17上，參考圖像11以如圖2所示的方式在屏幕17上分別表示為緊鄰場景圖像10或位于場景圖像10之上或位于場景圖像10之下。
[0069]針對這些每個選擇的時刻-且僅僅針對這些時刻-現(xiàn)在，在分配給該時刻的場景圖像10中識別的視點12相應地成像至參考圖像11中的對應于該視點12的位置13。針對每個選擇的時刻，參考圖像11中的對應于分配給該時刻的視點12的位置13，相應地作為視點12的圖像與有關(guān)該時刻所屬的視覺事件或時間間隔的信息一起存儲，該信息作為屬性分配給該位置13。特別地，各視覺事件或時間間隔的持續(xù)時間可以從該信息中得出。此外，具有有關(guān)該視覺事件的信息的其他屬性(例如有關(guān)視覺事件的開始和結(jié)束的數(shù)據(jù)、視覺事件的持續(xù)數(shù)量、或在同一位置13多次出現(xiàn)的情況下的計數(shù)讀數(shù))也可與位置13 —起被相應地存儲。
[0070]可提供手動實現(xiàn)選擇的場景圖像11中的視點12的成像。例如，這點可分別通過在輸入標記或光標已被引導至再現(xiàn)在屏幕上的參考圖像中的相應位置13后點擊鼠標來進行。于是因此，評估單元9被配備成針對每個選擇的時刻，根據(jù)輸入，將參考圖像12中對應的位置13與分別分配給這些位置13的屬性一起存儲，該輸入限定了位置13并將該位置13與時刻或分配給該時刻的場景圖像10關(guān)聯(lián)起來。從而，該關(guān)聯(lián)可例如通過總是在選擇時刻的輸入后直接跟隨的限定成像的輸入來進行。
[0071]然而，評估單元9也可被配備成自動將對于選擇的時刻限定的視點12成像至對應于這些視點12的位置13，并將由此自動確定的位置存儲作為視點12的圖像。
[0072]如果自動確定的位置13也被可見地示出在參考圖像中，于是場景圖像10和參考圖像11的示出可用作直觀地檢查視點12在參考圖像11中的自動成像。
[0073]針對視點12到參考圖像11中對應位置13上的自動成像，評估單元9可被配備成通過用于特征檢測的算法識別參考圖像11中的多個獨有特征(例如，角或邊緣)和這些獨有特征在參考圖像11中的位置，此外，針對每個選擇的時刻，實施下面相應的步驟:
[0074]-通過對場景圖像10應用相同的算法，識別相應的場景圖像10中的這些獨有特征并確定這些獨有特征在相應的場景圖像10中的位置，
[0075]-確定將特征在場景圖像10中的位置成像至相應的特征在參考圖像11中由此識別的的位置的單應性變換，以及
[0076]-將該變換應用于在相應場景圖像10中識別的視點12。
[0077]與上述描述不同，也可針對時間間隔I1至時間間隔I6中的每一個或針對這些時間間隔I1至時間間隔I6中的一些分別選擇多個時刻，以最小化由錯誤成像引起的不精確度。在每種情況下，選擇的時刻分別明顯少于相應時間間隔包含的時刻。當然，此處的術(shù)語“時亥IJ”總是意味著僅是有關(guān)視點的信息出現(xiàn)的最終數(shù)量的時刻中的時刻。如果從一個時間間隔選擇多個時刻(針對該時間間隔，分別限定了上述類型的成像因此和在參考圖像11中的一個位置13)，這些位置13中的一個或這些位置13的平均值或中間值可作為分配給該時間間隔的成像目標，與作為屬性的、有關(guān)分配給該位置13的時間間隔的持續(xù)時間的信息一起存儲。
[0078]以相對低的復雜度、因此相對快地確定和存儲的信息包括對眼睛跟蹤結(jié)果進行進一步評估所需的所有數(shù)據(jù)，并且為了這個目的，該信息可以以最多樣的方式(通過機器或以及手動)被統(tǒng)計評估。
【權(quán)利要求】
1.一種用于評估眼睛跟蹤結(jié)果的方法，這些結(jié)果作為信息出現(xiàn)或被獲得，所述信息針對大量連續(xù)的時刻中的每一個時刻分別限定了在該時刻檢測到的視線方向和因此在分配給該時刻的場景圖像(10)中識別的視點(12)，所述場景圖像是時變的，使得分配給不同時刻的所述場景圖像是不同的，所述方法包括以下步驟: -評估所述視線方向和/或所述視點(12)和/或眼睛移動的時間變化以識別不同的視覺事件，至少兩種不同類型的視覺事件被識別且所述識別的視覺事件根據(jù)其類型分類， -將包括所述時刻的時間段劃分為多個時間間隔，以使對應于相應的視覺事件的持續(xù)時間的時間間隔分配給每個所述識別的視覺事件， -從每個被分配給至少一種選定的視覺事件類型的視覺事件的所述時間間隔(I1至I6)中分別精確地選擇一個時刻或合適的時刻子集， -以及，針對每個這些選擇的時刻，將在分配給相應時刻的所述場景圖像(10)中識別的所述視點(12)成像至參考圖像(11)中對應于該視點(12)的位置(13)上。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在評估過程中，產(chǎn)生信息攝入的視覺事件和沒有產(chǎn)生信息攝入的視覺事件被識別為不同類型的視覺事件，針對被分配給具有信息攝入的視覺事件的每個所述時間間隔(I1至I6)，分別產(chǎn)生一個時刻或時刻子集的精確選擇。
3.根據(jù)權(quán)利要求1或2中任一項所述的方法，其特征在于，所述不同的視覺事件由不同的眼睛移動速度(V)和/或眼睛移動幅度彼此區(qū)分，和/或特征在于，掃視(14)被識別為沒有產(chǎn)生信息攝入的視覺事件，和/或特征在于，注視(16)和/或后續(xù)的移動(15)被識別為產(chǎn)生信息攝入的視覺事件。
4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其特征在于，針對分配給選定類型的視覺事件的每個所述時間間隔(I1至I6)，在所述參考圖像(11)中的位置(13)與有關(guān)相應的視覺事件的持續(xù)時間的信息一起存儲作為成像目標，該位置(13)被選擇為: -如果從該時間間隔⑴至、)中精確選擇一個時刻，針對選自該時間間隔⑴至、)的所述時刻所限定的所述視點(12)被成像所至的位置(13)， 或者 -如果從該時間間隔(^至^中選擇多個時刻，針對選自該時間間隔⑴至、)的所述多個時刻所限定的所述視點(12)被成像所至的位置(13)中的一個或所述位置(13)的平均值。
5.根據(jù)權(quán)利要求1至4中任一項所述的方法，其特征在于，在上述時刻的所述場景圖像(10)由照相機⑷記錄，所述視線方向通過眼睛跟蹤器⑴檢測，所述眼睛跟蹤器⑴根據(jù)由此獲得的有關(guān)所述視線方向的信息確定所述場景圖像(10)中的所述視點(12)，因此，所述照相機(4)優(yōu)選佩戴在其視線方向由所述眼睛跟蹤器(I)檢測的測試對象的頭上。
6.根據(jù)權(quán)利要求1至5中任一項所述的方法，其特征在于，所述參考圖像(11)是在所述場景圖像(10)中可見的場景中的圖像，所述參考圖像(11)對應固定的視角，或是抽象的復制品或是能夠在所述場景圖像(10)中檢測到的獨有特征的編碼。
7.根據(jù)權(quán)利要求1至6中任一項所述的方法，其特征在于，針對每個所述選擇的時刻，將分配給該時刻的所述場景圖像(10)分別輸出用于所述視點(12)到所述參考圖像(11)中的成像的手動執(zhí)行或視覺檢查。
8.根據(jù)權(quán)利要求1至7中任一項所述的方法，其特征在于，所述視點(12)到所述位置(13)上的成像通過以下自動實現(xiàn): -通過用于特征檢測的算法，識別所述參考圖像(11)中的多個獨有特征和這些獨有特征在所述參考圖像(11)中的位置， -通過對所述場景圖像(10)應用相同或相應的算法，識別相應的所述場景圖像(10)中的這些獨有特征并確定這些獨有特征在相應的所述場景圖像(10)中的位置， -確定將所述特征在所述場景圖像中(10)的位置成像至在所述參考圖像(11)中的相應位置的變換，以及 -將該變換應用于在相應的所述場景圖像(10)中識別的所述視點(12)。
9.一種用于評估眼睛跟蹤結(jié)果的裝置，這些結(jié)果作為信息出現(xiàn)或能夠在信息中被讀取或作為信息產(chǎn)生，所述信息針對大量連續(xù)的時刻中的每一個時刻分別限定了在該時刻檢測到的視線方向和因此在分配給該時刻的場景圖像(10)中識別的視點(12)，所述場景圖像是時變的，使得分配給不同時刻的所述場景圖像是不同的，所述裝置被配備用于執(zhí)行以下步驟: -評估所述視線方向和/或所述視點(12)和/或眼睛移動的時間變化以識別不同的視覺事件，識別至少兩種不同類型的視覺事件，以及將所述識別的視覺事件根據(jù)其類型進行分類， -將包括時刻的時間段劃分為多個時間間隔，以使對應于相應的視覺事件的持續(xù)時間的時間間隔分配給每個所述識別的視覺事件， -輸出針對選自所述時間間隔(I1SI6)的時刻限定了所述場景圖像(10)中的所述視點(12)的信息，所述時間間隔⑴至、)被分配給選定類型的視覺事件， -以及，針對每個選擇的時刻，存儲參考圖像(11)中的位置(13)作為針對該時刻限定的所述視點(12)的圖像，以及存儲分配給該位置(13)作為屬性的、有關(guān)該時刻所屬的所述視覺事件或時間間隔(^至^的持續(xù)時間的信息。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置被配備成識別產(chǎn)生信息攝入的視覺事件和沒有產(chǎn)生信息攝入的視覺事件作為不同類型的視覺事件。
11.根據(jù)權(quán)利要求9或10中任一項所述的裝置，其特征在于，為了將時間段劃分為多個時間間隔，所述裝置被配備成將指示該時刻所屬哪個時間間隔或視覺事件的屬性分別分配給每個所述時刻。
12.根據(jù)權(quán)利要求9至11中任一項所述的裝置，其特征在于，所述裝置被配備成根據(jù)不同的眼睛移動速度(V)和/或眼睛移動幅度識別所述不同的視覺事件，和/或識別掃視(14)作為沒有產(chǎn)生信息攝入的視覺事件，和/或識別注視(16)和/或后續(xù)的移動(15)作為產(chǎn)生信息攝入的視覺事件。
13.根據(jù)權(quán)利要求9至12中任一項所述的裝置，其特征在于，所述裝置被配備成將針對所述選擇的時刻限定的所述視點(12)自動成像至所述參考圖像(11)中對應于這些圖像點(12)的位置(13)上，并存儲由此確定的位置(13)作為所述視點(12)的圖像。
14.根據(jù)權(quán)利要求13所述的裝置，其特征在于，為了將所述視點(12)自動成像至所述參考圖像(11)中的對應位置(13)上，所述裝置被配備成執(zhí)行以下步驟: -通過用于特征檢測的算法，識別所述參考圖像(11)中的多個獨有特征和這些獨有特征在所述參考圖像(11)中的位置， -通過對所述場景圖像(10)應用相同或相應的算法，識別相應的所述場景圖像(10)中的這些獨有特征并確定這些獨有特征在相應的所述場景圖像(10)中的位置， -確定將所述特征在所述場景圖像(10)中的位置成像至相應的所述特征在所述參考圖像(11)中由此識別的位置的變換，以及 -將該變換應用于在相應的所述場景圖像(10)中識別的所述視點(12)。
15.根據(jù)權(quán)利要求9至12中任一項所述的裝置，其特征在于，所述裝置被配備成針對每個所述選擇的時刻，根據(jù)輸入，將所述參考圖像(11)中的對應的位置(13)與分別分配給這些位置(13)的屬性一起存儲，所述輸入限定了所述位置(13)并將所述位置(13)與所述時刻或分配給該時刻的所述場景圖像(10)關(guān)聯(lián)。
16.根據(jù)權(quán)利要求9至15中任一項所述的裝置，其特征在于，所述裝置被配備用于限定所述選擇的時刻本身的輸入、或用于通過應用根據(jù)所述時間間隔(^至^限定這些時刻的規(guī)范來自動選擇這些時刻。
17.根據(jù)權(quán)利要求9至16中任一項所述的裝置，其特征在于，所述裝置此外具有用于檢測所述視線方向的眼睛跟蹤器(I)和/或用于記錄所述參考圖像(11)的照相機(6)，所述眼睛跟蹤器(I)具有用于記錄所述場景圖像(10)的照相機(4)。
【文檔編號】G06K9/00GK104321785SQ201380026908
【公開日】2015年1月28日 申請日期:2013年3月21日 優(yōu)先權(quán)日:2012年3月22日
【發(fā)明者】丹尼斯·威廉姆斯, 簡·霍夫曼 申請人:Smi創(chuàng)新傳感技術(shù)有限公司