相關申請的交叉引用

本應用要求2014年10月30日提交的歐洲專利申請ep14191120.6的優(yōu)先權和申請日。

本申請涉及一種用于利用視線追蹤系統(tǒng)檢測感興趣的對象的方法、計算機程序和計算機可讀介質。此外，本發(fā)明涉及一種視線追蹤系統(tǒng)。

背景技術：

如pc、膝上型計算機、智能電話或頭部安裝的眼睛追蹤器(諸如增強現(xiàn)實眼鏡、虛擬現(xiàn)實眼鏡、眼睛追蹤眼鏡或智能眼鏡)的設備可以配備有視線追蹤系統(tǒng)，該視線追蹤系統(tǒng)適配于確定其中使用設備的人正在看著(眼睛追蹤)的方向并且適配于確定人正在看著(視線追蹤)的那個點處。

視線追蹤系統(tǒng)可以被用于支持搜索，該搜索是在利用計算機工作時的關鍵活動。然而，人類的光學搜索通常發(fā)生在焦點(focuspoint)中以及旁中心凹(parafoveal)、周邊中心凹(perifoveal)和周邊(peripheral)視野中二者，其在下文中以術語周邊視野來概括。當對于圖形可區(qū)別對象(諸如圖像、詞語、文本塊、圖標等)進行搜索時，人類視線的焦點選擇性地指向感興趣的對象，該感興趣的對象由人類視線的焦點基于光學可辨識的方面或對象類別(例如主色、結構、特定元素如人、圖像或圖標中的文本或圖形、詞語中的字長、小、高圓形的和直的字母的布置)預識別為潛在候選?？梢杂扇祟愒谄渲苓呉曇爸袡z測的類別特性可以取決于其自身的搜索任務，并且該類別特性通常受周邊視野的不同區(qū)域中人類視覺的能力的限制。

技術實現(xiàn)要素：

本發(fā)明的目標是以有效率方式利用視線追蹤系統(tǒng)支持基于計算機的搜索。

通過獨立權利要求的主題實現(xiàn)這個目的。另外的示例性實施例根據(jù)從屬權利要求和以下描述而明顯。

本發(fā)明的方面涉及用于檢測感興趣的對象的方法，這可以完全地通過計算機來執(zhí)行。感興趣的對象可以是在通過計算機提供的屏幕上顯示的圖像和/或字，或者可以是現(xiàn)實世界對象，該現(xiàn)實世界對象例如通過智能眼鏡或頭戴式眼睛追蹤器由人進行觀看。

根據(jù)本發(fā)明的一個實施例，該方法包括：接收正在看著對象集合的人的視線追蹤數(shù)據(jù)，該視線追蹤數(shù)據(jù)包括人正在看著哪些點的信息；確定該人的視場中的對象映射，該對象映射指示對象集合中的對象被布置在哪個位置處；通過將視線追蹤數(shù)據(jù)與對象映射進行匹配，確定針對該對象集合中的對象的(至少一個類型的)視線交互事件，其中，對象的視線交互事件指示關于該對象已經發(fā)生特定視線交互；確定具有視線交互事件的對象的類別特性，其中，類別特性關于特定對象類別來描述該對象；通過找出被分配給多個對象的至少一個類別特性，在至少一個對象類別中確定至少一個感興趣的類別特性，所述多個對象具有指示該人對這些對象感興趣的視線交互事件。

例如，視線追蹤數(shù)據(jù)可以包括數(shù)據(jù)點，該數(shù)據(jù)點可以包括兩個坐標，并且該兩個坐標指示人的一只或兩只眼睛的當前焦點。為了確定人正在看著哪個對象，對象映射可以包括對象的輪廓或對象的形狀。例如，對象映射可以在對象集合中包括每個對象的含納輪廓的(outlining)矩形，或一般地包括含納輪廓的多邊形或含納輪廓的形狀。

然后，例如通過確定哪些數(shù)據(jù)點位于對象的哪個輪廓內，視線追蹤數(shù)據(jù)的數(shù)據(jù)點可以被映射到對象的映射。此外，例如通過對視線數(shù)據(jù)點的數(shù)目計數(shù)，可以根據(jù)視線追蹤數(shù)據(jù)來識別視線交互事件，該視線數(shù)據(jù)點位于對象的相應輪廓內部。還可以是可能的是從數(shù)據(jù)點導出運動向量(具有支持點和方向的矢量)，這會產生另外的視線交互事件，作為例如所預測的目標點和/或與視線向量的對象的交叉。

至少針對這些目的中的一些，針對視線交互事件已經識別的對象，確定類別特性。例如，當對象是圖像或現(xiàn)實世界對象時，這些類別特性可以是圖像中的特定色彩、特定形狀和/或特定模式。類別特性可以被分配給諸如顏色、形狀和/或模式的對象類別。必須理解的是，僅一個或多個特定類型的對象類別的類別特性可以被考慮(諸如顏色和/或形狀)。

最后，通過組合在先前步驟——即視線交互事件分配給對象和將類別特性分配給對象——期間確定的信息來確定至少一個對象類別中的至少一個感興趣的類別特性。通常，通過統(tǒng)計評估所聚集的信息，通過找出類似的類別特性的一個或多個群組來確定一個或多個類別特性，將該一個或多個的類別特性全部分配給該人感興趣的多個對象。

例如，通過單個值(例如，特定色彩值)或多個值(例如，在覆蓋圖像的網(wǎng)格上散布的平均色彩值)，可以表示特定類別(諸如色彩)的類別特性，并且當兩個類別特性的值與彼此僅相差至少閾值時，該兩個類別特性可以是類似的。應用于類別特性(的值)的統(tǒng)計函數(shù)(諸如最小均方)可以被用于確定統(tǒng)計值，該統(tǒng)計值可以與用于判定該類別特性是否在由平均值表示的特定群組中的平均值進行比較。

在一種情況下，當將對象分配給視線交互事件時，可以聲明該對象是人感興趣的。例如，如果該視線交互事件是基于具有在對象的映射區(qū)域中的數(shù)據(jù)點的視線追蹤數(shù)據(jù)的，則視線交互事件指示該人對該對象感興趣。還可以是可能的是，通過可以利用統(tǒng)計函數(shù)(例如，依據(jù)視線交互事件)確定的值，可以表示感興趣的級別或涉入程度(involvementlevel)，并且當涉入程度值高于閾值時，聲明該對象是令人感興趣的。

根據(jù)本發(fā)明的一個實施例，對對象的類別特性進行群集，并且通過選擇類別特性中表示至少一個感興趣的類別特性的至少一個群集來確定至少一個感興趣的類別特性。該類別特性可以關于對象類別和/或關于可以利用統(tǒng)計函數(shù)確定的一個或多個平均類別特性進行群集。例如，在平均色彩的類別中，統(tǒng)計函數(shù)可以找出藍色平均色彩的群集(該藍色平均色彩的群集可以包括不同的藍色色彩值)和紅色平均色彩的群集。

根據(jù)本發(fā)明的一個實施例，針對對象確定至少兩個不同類型的視線交互事件。必須理解的是，根據(jù)純視線追蹤數(shù)據(jù)(即，數(shù)據(jù)點)，可以導出更多個復雜視線交互事件。例如，視線交互事件可以是基于以下中的至少一個的：對象上的視線命中、視線聚焦于對象的持續(xù)時間、關于對象的固定檢測、關于對象的讀取模式檢測、對對象的再次訪問、詳細的掃描模式、在顯示器上/周邊視野中對象的首次出現(xiàn)之后的交互時間、訪問時間的長度、在完成加載內容之后的時間等。

根據(jù)本發(fā)明的一個實施例，視線交互事件是基于人的周邊視野(peripheralview)的模型。通常，視線追蹤數(shù)據(jù)包括指示人的視線的焦點的數(shù)據(jù)點。然而，在搜索期間，尋找特定特征的人還可使用他的或她的周邊視野以用于確定感興趣的對象和不感興趣的對象。人的周邊視野可以被定義為焦點或聚焦區(qū)域的外部的視野。

在一種情況下，可以利用圍繞焦點和不包括焦點的區(qū)域對周邊視野建模?？梢岳脟@焦點的一個或多個環(huán)形區(qū)域對周邊視野建模。映射區(qū)域與視線交互事件的周邊視野重疊的對象可以被聲明是令人感興趣的或是不感興趣的。對象的興趣值的等級可以基于分配給這樣的視線交互事件的值。

慮及周邊視野的視線交互事件可以基于以下中的至少一個：在人的周邊視野中的對象的持續(xù)時間、與人的周邊視野的涉入程度、指向特定對象處但是沒有導致具體對象上的焦點焦點的異常值等。

根據(jù)本發(fā)明的一個實施例，針對對象確定至少兩個不同類型的對象類別的類別特性。必須理解的是針對感興趣的對象同時地評估不僅一個對象類別而且兩個或更多個對象類別。還可以是可能的是，在評估視線追蹤數(shù)據(jù)期間確定感興趣的對象類別，以及對類別特性的確定被局限于這些對象類別。

根據(jù)本發(fā)明的一個實施例，該對象集合的類別特性被預計算并且與該對象一起被存儲。例如，該對象可以被存儲在數(shù)據(jù)庫(諸如圖像或視頻)中，并且該數(shù)據(jù)庫還可以包含已經在由數(shù)據(jù)庫的構建期間或之前計算的數(shù)個類別的類別特性。在圖像和視頻的情況下，例如，可以計算平均色彩值并且將其與圖像或視頻的相應多媒體數(shù)據(jù)一起存儲。

根據(jù)本發(fā)明的一個實施例，可以通過評估對象的對象數(shù)據(jù)來確定類別特性。例如，當在顯示設備上顯示諸如圖像數(shù)據(jù)、視頻數(shù)據(jù)或文本數(shù)據(jù)的對象數(shù)據(jù)時和/或在利用視線追蹤系統(tǒng)的相機記錄該對象數(shù)據(jù)期間或之后，可以“即時(onthefly)”——即在評估視線追蹤數(shù)據(jù)期間或之后評估該對象數(shù)據(jù)。

根據(jù)本發(fā)明的一個實施例，通過評估來自感興趣的對象的群組的對象的對象數(shù)據(jù)來確定對象類別。還可以是可能的是利用統(tǒng)計方法或利用機器學習方法來評估對象數(shù)據(jù)，以生成對象類別。

根據(jù)本發(fā)明的一個實施例，該方法進一步包括：根據(jù)對象的視線交互事件(以及可選地，根據(jù)類別特性)確定該對象的涉入程度，其中，只有具有高于涉入程度閾值的涉入程度的對象被考慮用于感興趣的識別、對象的選擇和/或對象類別的選擇。涉入程度可以是基于視線交互事件來計算的數(shù)值。例如，可以將不同視線交互事件(諸如運動矢量所觸及的固定點或對象)分配給不同的——例如預定義的涉入程度值，并且對象的涉入程度是基于視線交互事件的涉入程度值的(例如，視線交互事件的涉入程度值可以相加或相乘)。

此外，可以是可能的是涉入程度可以基于與其它人的共同興趣。例如，當數(shù)個其它用戶或人發(fā)現(xiàn)類別特性a和b令人感興趣時，對于發(fā)現(xiàn)特性a令人感興趣的用戶，可以增加具有特性b的對象的涉入程度。

根據(jù)本發(fā)明的一個實施例，該方法進一步包括：根據(jù)對象的視線交互事件確定該對象的負涉入程度(具體地基于人的周邊視野的模型)(并且可選地基于對象的類別特性)，其中，具有高于負涉入程度閾值的負涉入程度的對象被不考慮用于對象的選擇。負涉入程度可以與正涉入程度類似地進行計算。

例如，沒有明確地正在看著特定對象的人可能已經在他的或她的周邊視野中看見該對象不具有所需的特性的(因為，該對象可以具有錯誤色彩)。在這個情況下，在沒有視線交互事件“聚焦”的情況下的視線交互事件“對象觸及周邊視野”可以導致高負涉入程度。

可以預定義或動態(tài)地確定正涉入程度閾值和負涉入程度閾值。在后者的情況下，可以對涉入程度的值排序，并且截止限(cutoff)可以被確定在上升或下降值的曲線具有陡斜側面(flank)(曲線的導數(shù)達到特定值)處。通常，可以利用任何類型的群集來確定該截止限。

根據(jù)本發(fā)明的一個實施例，在人的視場中，對象集合被顯示在顯示設備上。例如，視線追蹤設備監(jiān)視正在看著計算機的監(jiān)視器的人，該計算機的監(jiān)視器顯示對象并且還執(zhí)行用于檢測對對象、類別特性和/或類別感興趣的該人對哪個對象、類別特性和/或類別感興趣的方法。

根據(jù)本發(fā)明的一個實施例，在已經確定至少一個感興趣的類別特性之后，在顯示設備上顯示具有該至少一個感興趣的特征的額外對象。在該情況下，在顯示設備的監(jiān)視器上顯示該對象，還可以可能的是執(zhí)行該方法的計算機向人提供具有看起來該人感興趣的特征的更多個對象。

根據(jù)本發(fā)明的一個實施例，根據(jù)對象的輪廓生成對象映射。在該情況下，通過還執(zhí)行該方法的設備顯示該對象，將要被顯示的對象的輪廓或形狀可以被確定并且可以被用于將視線追蹤數(shù)據(jù)映射至對象。然而，還可以可能的是，根據(jù)從記錄該人的視場的攝像機接收的圖像數(shù)據(jù)來生成對象映射。

根據(jù)本發(fā)明的一個實施例，對象集合包括以下中的至少一個：圖像、詞語、文本塊、圖標、公式、頁面、文檔的段落、3d對象、形狀、模式。全部這些類型的對象可以具有諸如色彩、形狀、字類型、模式等的不同類型的對象類別。

根據(jù)本發(fā)明的一個實施例，對象類別是視覺描述符，其中，該類別特性是內容描述符的值。如mpep-7標準的若干標準限定標準化內容描述符，該標準化內容描述符將值與例如多媒體數(shù)據(jù)的特性相關聯(lián)。在mpep-7的情況下，這些描述符的示例是可伸縮顏色描述符(scalablecolordescriptor)、色彩布局描述符、主色彩描述符、和邊緣直方描述符。

本發(fā)明的另外方面涉及一種用于檢測感興趣的對象的計算機程序，其中，該計算機程序在通過處理器執(zhí)行時，被適配來施行如以上和以下所描述的方法的步驟，并且涉及一種計算機可讀介質，這樣的計算機程序存儲在該計算機可讀介質中。

計算機可讀介質可以是軟盤、硬盤、usb(通用串行總線)存儲設備、ram(隨機存取存儲器)、rom(只讀存儲器)、eprom(可擦除可編程只讀存儲器)或flash存儲器(閃速存儲器)。計算機可讀介質還可以是例如互聯(lián)網(wǎng)的數(shù)據(jù)通信網(wǎng)絡，該數(shù)據(jù)通信網(wǎng)絡允許下載程序代碼。通常，計算機可讀介質可以是非暫時性或暫時性介質。

本發(fā)明的另一方面涉及一種視線追蹤系統(tǒng)，例如，該視線追蹤系統(tǒng)可以通過膝上型計算機或頭戴式眼睛追蹤器來提供。必須理解的是，如在以上和以下描述的方法、計算機程序和計算機可讀介質的特征可以是如在以上和以下描述的視線追蹤系統(tǒng)的特征，反之亦然。

根據(jù)本發(fā)明的一個實施例，該視線追蹤系統(tǒng)包括用于生成視線追蹤數(shù)據(jù)視線追蹤設備和對象檢測設備，該視線追蹤設備可以適配以用于執(zhí)行如以上和以下描述的方法。

視線追蹤設備可以包括用于照明人的眼睛的光源和用于檢測該眼睛的運動的相機或傳感器。視線追蹤設備可以生成例如2d數(shù)據(jù)點的序列的視線追蹤數(shù)據(jù)，該視線追蹤數(shù)據(jù)指示人正在看著的點。

對象檢測設備可以是例如附接至智能眼鏡的計算機、智能電話、平板計算機、或頭戴式眼睛追蹤器。通常，該對象檢測設備可以適配以用于處理視線追蹤數(shù)據(jù)。

此外，視線追蹤系統(tǒng)可以包括用于顯示例如圖像的對象集合的顯示設備。

總之，當與具有在高數(shù)目的對象(例如，數(shù)百至數(shù)千的詞語、圖像)中進行視線追蹤和搜索的計算機一起工作時，關于焦點和外圍視覺的信息可以被用于識別感興趣的對象之間的相似性。該信息可以通過以下方式有效地在她的或他的搜索中支持用戶(即，使用視線追蹤系統(tǒng)的人)：例如顯示包含全部數(shù)目的對象中的對象的最可能的搜索結果的子樣本；基于所假設的興趣適配顯示次序；或者在更間接的方法中，使用關于可能和與最終選擇有關的信息組合的相似性的該信息，在最初用戶的搜索之后，將對象的顯示適配至在對象的類似群組中作出選擇的其它用戶。

該方法可以用于基于通過視線追蹤系統(tǒng)(從遠程眼睛追蹤至具有所包括的眼睛追蹤器的抬頭顯示器的各種裝置(setup))提供的視線數(shù)據(jù)來識別對象或感興趣的對象的群組，以實時或近實時在基于光學的搜索過程中支持用戶。

當焦點的運動和視線交互事件的若干其它方面(焦點的持續(xù)時間、焦點的分布等)可以揭示關于用戶的感興趣的對象的信息時，同時焦點基于個人興趣被吸引至對象，該個人興趣從由于特異性(peculiarity)、陌生(unfamiliarity)和記憶的排斥到吸引力以及搜索過程中獨立于對象的影響——如被打斷或對在屏幕處無目的地凝視。還可以通過該方法補償對該搜索過程的這些影響。

本發(fā)明的這些和其它方面將通過參照下文中描述的實施例而變得顯而易見并得以闡明。

附圖說明

以下，參照附圖詳細描述本發(fā)明的實施例。

圖1示出根據(jù)本發(fā)明的實施例的視線追蹤系統(tǒng)。

圖2示出根據(jù)本發(fā)明的其他實施例的視線追蹤系統(tǒng)。

圖3示出用于根據(jù)本發(fā)明的實施例的，檢測感興趣的對象的方法的流程圖。

圖4示意性示出在圖3的方法中使用的對象映射。

圖5示意性示出在圖3的方法中使用的周邊視野的模型。

圖6示意性示出在圖3的方法中使用的對象類別和特性。

在附圖中使用的附圖標記以及它們的含義在附圖標記列表中以概述的形式列出來。原則上，在附圖中，完全相同的部分被設置有相同的附圖標記。

具體實施方式

圖1以膝上型計算機的形式示出視線追蹤系統(tǒng)10，其包括殼體12、附接至殼體12的軌跡板14和鍵盤16、和經由鉸接件20附接至殼體12的屏幕或顯示設備18。在鉸接件20上，設置例如包括紅外光源和對應的傳感器(相機)的遠程視線追蹤器22。另外，在屏幕18上方設置3d相機24。

利用遠程視線追蹤器22，膝上型計算機可以被用作為視線追蹤設備26。來自視線追蹤器22的紅外光被照射在用戶處，并且利用視線追蹤器22的內部相機記錄來自眼球的反射。根據(jù)紅外相機的所記錄的數(shù)據(jù)，膝上型計算機10然后預測眼睛正在看著哪里。具體地，膝上型計算機10生成視線追蹤數(shù)據(jù)，該視線追蹤數(shù)據(jù)可以被提供給在膝上型計算機上運行的軟件組件。

如下面將更詳細說明的，膝上型計算機10可以顯示對象28并且可以使用視線追蹤數(shù)據(jù)來檢測哪些對象28或該對象的哪些特征是用戶感興趣的。在這個意義上，膝上型計算機10可以被看作為對象檢測設備30。

圖2示出包括作為視線追蹤設備26的眼鏡32和對象檢測設備30的視線追蹤系統(tǒng)10的其他類型，該對象檢測設備30可以是與眼鏡32通信地互連的pc或智能電話。眼鏡32包括用于記錄眼鏡32的佩戴者的眼睛的傳感器或相機34，并且眼鏡32或對象檢測設備可以生成來自傳感器34的所記錄的數(shù)據(jù)的視線追蹤數(shù)據(jù)。

此外，眼鏡32包括用于記錄佩戴者的視場的相機36。利用相機36的相機數(shù)據(jù)，對象檢測設備30可以檢測該人正在看著的對象(例如，通過在相機數(shù)據(jù)中找出輪廓或形狀)，并且利用視線追蹤數(shù)據(jù)，對象檢測設備30可以檢測哪些對象或這些對象的哪些特征是佩戴者感興趣的。

圖3示出用于檢測感興趣的對象的方法，其可以通過圖1或圖2的對象檢測設備/模塊來執(zhí)行。

在步驟s10中，對象檢測設備30接收人正在看著對象集合的視線追蹤數(shù)據(jù)，該視線追蹤數(shù)據(jù)包括該人正在看著哪些點的信息。例如，對象集合可以是顯示器18上的圖像，或者可以是在佩戴眼鏡32時她或他的視場中的對象。

如圖4所示，視線追蹤數(shù)據(jù)38可以包括一系列的數(shù)據(jù)點40，其例如可以利用恒定或可變的采樣率通過圖1或圖2的視線追蹤設備26來記錄。該數(shù)據(jù)點40可以包括可以被映射至顯示器18的坐標的兩個坐標，和/或校正可以被應用來調整所假設的焦點。

在步驟s12中，確定人的視場中的對象28的映射42，對象的映射42指示對象集合中的對象28布置在哪個位置處。

這樣的映射的示例還被示出在圖4中。每個對象28在映射42中具有映射區(qū)域44。在圖4的情況下，映射區(qū)域44是相等尺寸的矩形。例如，對象28可以是相等尺寸的圖像，并且映射區(qū)域44可以是這些圖像的外邊界。

當對象28具有較復雜的形式時(例如，當對象是圖像的部分時)，還可以針對對象28來確定輪廓46，并且可以根據(jù)這些輪廓46來生成對象的映射42。

在對象是現(xiàn)實世界對象(例如，在圖2的情況下)和/或對象沒有由視線追蹤系統(tǒng)10自身來顯示的情況下，可以根據(jù)從相機36接收的圖像數(shù)據(jù)來生成對象28的映射42。例如，對象辨識算法可以應用于相機數(shù)據(jù)并且這些對象的輪廓被用于生成映射42。

在步驟s14中，通過將視線追蹤數(shù)據(jù)與對象的映射42進行匹配來確定視線交互事件48，其中，針對對象的視線交互事件48指示關于對象28已經發(fā)生了特定視線交互。通過根據(jù)事件追蹤數(shù)據(jù)確定視線交互事件48的一個或多個算法來處理視線追蹤數(shù)據(jù)30。

這些算法可以相對于對象28的位置中立，并且所檢測的事件48可以具有可以映射至一個或多個對象28的位置。這樣的視線交互事件48的示例可以是固定點48a，其可以在特定數(shù)目的數(shù)據(jù)點40位于特定區(qū)域內時生成。

這里還可以是已經關注于對象28的算法。這樣的算法的示例是在對象28上的視線命中(hit)48b或者關注于對象28的視線的持續(xù)時間。

還可能的是，視線交互事件48、48c是基于如圖5所示的人的周邊視野的模型50的。事件48c可以被描述為事件“對象僅在周邊視野中”。

圖5示出周邊視野的模型50，該模型50包括內圓和外環(huán)，該內圓圍繞對人的焦點(中心凹)視野52建模的數(shù)據(jù)點40，該外環(huán)對人的周邊視野54建模。在圖5中，利用圍繞焦點并且不包括焦點的區(qū)域來建模周邊視野。

基于模型50(其還可以包括若干個同心環(huán))，可以通過若干算法處理周邊視野上的視線追蹤數(shù)據(jù)，所述若干算法也可以關于位置中立或可以是關注于對象的。這樣的算法的示例是在周邊視野中的對象28的持續(xù)時間、周邊視野內的涉入程度(levelofinvolvement)等。

模型50可以基于關于人的信息(例如，基于所監(jiān)視的視線/選擇行為)對于該人進行調整。參照圖5，圓和環(huán)的半徑可以適配于人。

在步驟s16中，確定具有視線交互事件38的對象28的類別特性。如圖6所指示，每個對象28可以具有一個或多個類別特性56，該一個或多個類別特性56關于特定對象類別58來描述該對象28。

例如，對象類別58可以是平均色彩58a、色彩模式58b，該包含頭58c、形狀58d等。在這些情況下的特性56可以是色彩值56a、多個(色彩)值56b、布爾(boolean)值58c和其它數(shù)據(jù)58d(如“圓形”、“正方形”、“星形”)。

可以是可能的是，預計算并且與對象26一起存儲對象26的類別特性56。例如，特性56可以是在數(shù)據(jù)庫中與對象一起存儲的(標準)描述符。

還可以是可能的是，通過即時(onthefly)評估對象26的對象數(shù)據(jù)來確定類別特性56。在這個情況下，當相關的類別58是未知的時，在搜索過程期間建立已知對象類別58中的相似性的預先面(upfront)和/或方面。例如，視線追蹤系統(tǒng)10可以知道人正在看著圖像并且針對圖像中的相似性的經考慮的對象類別58是突出色彩、粒度、圖像中的人等，并且正在參照用戶正看著的對象26來實時或近實時地分析這些方面。

此外，可以是可能的是通過評估對象26的對象數(shù)據(jù)來確定事件對象類別58(之前未知)。在這個情況下，當即使針對相似性的對象類別58也未知時，然后在慮及或沒有慮及哪種數(shù)據(jù)被編碼成對象數(shù)據(jù)的情況下，可以基于機器學習算法分析在blob(二進制大對象)——即對象數(shù)據(jù)——之間的相似性。

在步驟s18中，通過找出被分配給多個對象28的至少一個類別特性56來確定一個或多個對象類別58中的一個或多個感興趣的類別特性56，該多個對象28具有指示人對這些對象感興趣的視線交互事件48。

無論對象28是人感興趣的還是不感興趣的，可以基于負涉入程度和/或正涉入程度來計算指示符，該涉入程度可以是關于對象來預測感興趣的級別或不感興趣的級別的數(shù)值。

僅具有高于涉入程度閾值的涉入程度的對象28被認為是感興趣的對象，和/或從感興趣的對象的選擇中排除具有高于負涉入程度閾值的負涉入程度的對象28。

這里，正涉入程度和/或負涉入程度的閾值或截止值可以基于在全部對象26上檢測經排序的涉入程度的曲線中的群集或急劇下降的算法進行動態(tài)調整。

例如，特定視線追蹤事件48可以具有預定義的正涉入程度和/或可以具有預定義的負涉入程度，并且對象的涉入程度然后基于視線交互事件特定程度。例如，固定點48a的涉入程度可以高于數(shù)個命中48的涉入程度?；谥苓呉曇暗囊暰€交互事件48c可能具有負涉入程度。例如，當對像28在周邊視野被假設來有效地(actively)處理的時間期間處于周邊視野中的特定區(qū)域54中但后來沒有被聚焦的時候。

在那之后，對感興趣的對象28的類別特性56進行群集，并且通過選擇類別特性中表示至少一個感興趣的類別特性的至少一個群集來確定至少一個感興趣的類別特性。圖6示出兩個這樣的群集60。例如，群集60a可以是“對象是藍色的”，其中，藍色可以通過被感知為藍色的色彩值的范圍來描述。作為另一示例，群集60b可以是“示出圓形的對象”。

如上所述，一個對象類別58的類別特性56可以是數(shù)值、整數(shù)值或布爾值，和/或可以是這些值的集合/向量/矩陣?？梢允褂媒y(tǒng)計方法來評估這些值或值的集合。例如，利用最小均方，可以針對特定類別特性56來確定平均值，并且只有僅具有在閾值以下的距離的那些類別特性56可以被計入群集。

可以基于單個對象類別58來對類別特性56群集。

可以是可能的是，經由若干對象類別58發(fā)生群集。例如，一個對象28的若干對象類別58的類別特性56的值(或值的集合)可以被聚集成一個矢量或矩陣，并且感興趣的對象28的矢量或矩陣可以被評估以供找出類似的模式。具有類似模式的這樣的對象28可以被聚集成一個群集。然后，感興趣的類別特性可以被確定為這樣的群集的表示。在這個情況下，相似性可以被限定：可以根據(jù)矢量或矩陣計算的統(tǒng)計值至少僅與平均值相差閾值。

通常，還可以是可能的是，基于與類別特性組合的(正和/或負)涉入程度來發(fā)生群集——即從涉入程度和特性來形成矢量和矩陣并且該群集是基于與上述類似的這些矢量或矩陣的。

在這個情況下，在人的視場中，對象28集合被顯示在顯示設備18上，在步驟s20中，具有至少一個感興趣的特性的額外對象28可以被顯示在顯示設備18上。

例如，當檢測到在感興趣的類別特性56當中的趨勢時，這個信息可以被應用于其余的正在被搜索的對象28，和/或可以從可通過視線追蹤系統(tǒng)10訪問的類似對象28的數(shù)據(jù)庫抽取其他對象。

當具有用戶的歷史——關于對對象的子集的事先熟悉的信息時，和/或當具有關于對象的一些額外信息時，這個信息還可以被使用在搜索過程中。例如，可以忽略在按數(shù)據(jù)排序時的一定數(shù)據(jù)范圍中的圖像，和/或因為系統(tǒng)10知道沒有包括所搜索的項目，所以系統(tǒng)10可以詳細地知道圖像的群組并且該系統(tǒng)10沒有包括這些。

盡管已經在附圖及前述描述中詳細說明并且描述了本發(fā)明，但這樣的說明和描述可以認為是說明性的或示例性的，而不是限制性的；本發(fā)明不限于所公開的實施例。通過研究附圖、公開內容、和所附權利要求，本領域技術人員在實踐所要求保護的發(fā)明時能夠理解和實現(xiàn)所公開的實施例的其它變型。在權利要求書中,詞“包括”并不排除其它元件或步驟，且不定冠詞“一”或“一個”并不排除多個。單個處理器或其它單元可以實現(xiàn)權利要求書中所記載的若干項目的功能。在相互不同的從屬權利要求中記載的某些測量并不指示這些測量的組合無法被使用來獲益。權利要求書中的任何附圖標記不應當被解釋為限制其范圍。

附圖標記的列表

10視線追蹤系統(tǒng)

12殼體

14軌跡板

16鍵盤

18顯示設備

20鉸接件

22視線追蹤器

243d相機

26視線追蹤設備

28對象

30對象檢測設備

32頭戴式眼睛追蹤系統(tǒng)

34眼睛追蹤傳感器

36相機

38視線追蹤數(shù)據(jù)

40數(shù)據(jù)點

42對象的映射

44映射區(qū)域

46輪廓

48視線交互事件

50周邊視野的模型

52焦點視野

54周邊視野

56類別特性

58對象類別

60群集