用于改進(jìn)眼睛跟蹤的場(chǎng)景分析的制作方法
【專(zhuān)利說(shuō)明】用于改進(jìn)眼睛跟蹤的場(chǎng)景分析
【背景技術(shù)】
[0001] 除非在本文中另外表明，否則本部分中所述的材料對(duì)于本申請(qǐng)中的權(quán)利要求來(lái)說(shuō) 不是現(xiàn)有技術(shù)并且不由于包括在本部分中而被承認(rèn)是現(xiàn)有技術(shù)。
[0002] 眼睛跟蹤系統(tǒng)可包括可跟蹤人眼運(yùn)動(dòng)的小型照相機(jī)。眼睛跟蹤具有各種有用且有 趣的應(yīng)用。例如，眼睛跟蹤可被部署在增強(qiáng)現(xiàn)實(shí)（AR)應(yīng)用以及各種醫(yī)療和工業(yè)應(yīng)用中。眼 睛跟蹤還具有各種潛在的用戶界面（UI)應(yīng)用，諸如允許裝置用戶凝視來(lái)控制選擇指針。裝 置用戶可凝視諸如文件的虛擬對(duì)象，按下按鈕，然后凝視對(duì)象的目的地位置，并釋放按鈕以 傳送該對(duì)象。眼睛跟蹤還提供了收集用戶興趣和用戶活動(dòng)信息、例如以理解用戶是否看過(guò) 廣告的機(jī)會(huì)。眼睛跟蹤的這些和其它用途提供了許多有趣的可能性。然而，眼睛跟蹤技術(shù) 仍停留在相對(duì)早的開(kāi)發(fā)階段，并且隨著眼睛跟蹤成熟，存在許多要解決的挑戰(zhàn)。
[0003] 概述
[0004] 本公開(kāi)總體地描述了包括與用于改進(jìn)眼睛跟蹤的場(chǎng)景分析相關(guān)的裝置、方法和計(jì) 算機(jī)可讀介質(zhì)的技術(shù)。由計(jì)算裝置執(zhí)行的一些示例眼睛跟蹤方法可包括：從面對(duì)眼睛的傳 感器接收眼睛凝視方向信息；從數(shù)字照相機(jī)接收數(shù)字場(chǎng)景信息，其中數(shù)字照相機(jī)可被定向 為從眼睛可見(jiàn)的場(chǎng)景捕捉數(shù)字場(chǎng)景信息；基于凝視方向信息來(lái)確定數(shù)字場(chǎng)景信息內(nèi)的被檢 測(cè)凝視目標(biāo)；分析數(shù)字場(chǎng)景信息以標(biāo)識(shí)數(shù)字場(chǎng)景信息內(nèi)的潛在凝視目標(biāo)，其中潛在凝視目 標(biāo)可包括例如靜止型凝視目標(biāo)、移動(dòng)型凝視目標(biāo)和/或加速型凝視目標(biāo)；選擇潛在凝視目 標(biāo)；和/或?qū)⒈粰z測(cè)凝視目標(biāo)修改到被選定凝視目標(biāo)的位置。
[0005] 本公開(kāi)還公開(kāi)了具有實(shí)施本文中所述的各種技術(shù)的指令的計(jì)算裝置和計(jì)算機(jī)可 讀介質(zhì)。示例計(jì)算機(jī)可讀介質(zhì)可包括具有處理器可執(zhí)行的計(jì)算機(jī)可執(zhí)行指令的非暫時(shí)性計(jì) 算機(jī)可讀存儲(chǔ)介質(zhì)，這些指令當(dāng)被處理器執(zhí)行時(shí)使處理器實(shí)現(xiàn)本文中所提供的各種方法的 任何組合。示例計(jì)算裝置可包括例如頭戴式裝置，這些頭戴式裝置包括數(shù)字照相機(jī)、面對(duì)眼 睛的傳感器和計(jì)算裝置，該計(jì)算裝置配備有被配置為實(shí)現(xiàn)本文中所提供的各種方法的任何 組合的眼睛跟蹤精度提高器。
[0006] 前述概述僅僅是說(shuō)明性的，而并不意圖以任何方式是限制性的。除了說(shuō)明性的方 面，上述實(shí)施例和特征、另外的方面、實(shí)施例和特征將通過(guò)參考附圖和下面的詳細(xì)描述而變 得顯而易見(jiàn)。
【附圖說(shuō)明】
[0007] 通過(guò)結(jié)合附圖進(jìn)行的以下描述和所附權(quán)利要求，本公開(kāi)的前述和其它特征將變得 更充分地顯而易見(jiàn)。理解，這些附圖僅僅描繪了根據(jù)本公開(kāi)的幾個(gè)實(shí)施例，因此，不應(yīng)被認(rèn) 為是限制其范圍，將通過(guò)使用附圖來(lái)更具體地、更詳細(xì)地描述本公開(kāi)，在附圖中：
[0008] 圖1是說(shuō)明被用戶佩戴的示例頭戴式裝置的示圖；
[0009] 圖2是說(shuō)明包括潛在凝視目標(biāo)、被檢測(cè)凝視目標(biāo)和它們的運(yùn)動(dòng)的示圖；
[0010]圖3是作為合并在頭戴式裝置內(nèi)的計(jì)算機(jī)的一個(gè)示例的計(jì)算裝置的框圖；
[0011] 圖4是說(shuō)明示例眼睛跟蹤方法的流程圖；
[0012] 圖5是說(shuō)明示例眼睛跟蹤精度提高器的框圖；
[0013] 圖6是說(shuō)明包括潛在凝視目標(biāo)、被檢測(cè)凝視目標(biāo)、被選定凝視目標(biāo)的場(chǎng)景以及關(guān) 于被選定凝視目標(biāo)的AR信息的示圖；
[0014] 圖7是說(shuō)明包括潛在凝視目標(biāo)、被檢測(cè)凝視目標(biāo)和被選定凝視目標(biāo)的場(chǎng)景的示 圖，其中被選定凝視目標(biāo)可被用作控制至少一個(gè)計(jì)算裝置功能的用戶輸入，所有附圖都是 依照本文所述的至少一些實(shí)施例來(lái)安排的。
【具體實(shí)施方式】
[0015] 在以下詳細(xì)描述中，對(duì)附圖進(jìn)行參考，所述附圖形成詳細(xì)描述的一部分。除非上下 文另外指示，否則在附圖中，相似的符號(hào)通常標(biāo)識(shí)相似的部件。在詳細(xì)描述、附圖和權(quán)利要 求中描述的說(shuō)明性實(shí)施例并不意味著是限制性的。在不脫離這里所提供的主題的精神或范 圍的情況下，可以利用其它實(shí)施例，以及可以進(jìn)行其它改變。將易于理解的是，如在本文中 一般地描述的和在圖中示出的那樣，本公開(kāi)的各方面可以以廣泛多樣的不同配置被布置、 替代、組合和設(shè)計(jì)，所有這些都被明確地構(gòu)想并成為本公開(kāi)的部分。
[0016] 本公開(kāi)尤其是針對(duì)包括與用于改進(jìn)眼睛跟蹤的場(chǎng)景分析相關(guān)的方法、裝置、系統(tǒng) 和/或部署在其中的計(jì)算機(jī)可讀介質(zhì)的技術(shù)進(jìn)行一般性的描寫(xiě)的。在一些示例中，可從來(lái) 自面對(duì)眼睛的傳感器的凝視方向信息得到凝視目標(biāo)?？赏ㄟ^(guò)捕捉并分析來(lái)自眼睛可見(jiàn)的場(chǎng) 景的數(shù)字場(chǎng)景信息來(lái)改進(jìn)凝視目標(biāo)位置和/或運(yùn)動(dòng)。可分析由數(shù)字照相機(jī)捕捉的數(shù)字場(chǎng)景 信息以標(biāo)識(shí)潛在凝視目標(biāo)，諸如，舉例來(lái)說(shuō)，靜止型凝視目標(biāo)、移動(dòng)型凝視目標(biāo)和/或加速 型凝視目標(biāo)?？蓪⒈粰z測(cè)凝視目標(biāo)修改為包括被選定的潛在凝視目標(biāo)（在本文中也被稱(chēng)為 "被選定凝視目標(biāo)"）的位置。
[0017] 在一些實(shí)施例中，本文中所述的技術(shù)可被合并到頭戴式裝置中，所述頭戴式裝置 諸如，舉例來(lái)說(shuō)，G00GLEGLASS?類(lèi)型的裝置。這樣的裝置可提供例如用戶可通過(guò)其觀看 物理世界的透明鏡片。裝置還可在鏡片上顯示數(shù)字對(duì)象和信息。裝置可允許用戶（諸如頭 戴式裝置的佩戴者）選擇將顯示的數(shù)字對(duì)象和信息以及與這些對(duì)象和信息進(jìn)行交互。裝置 可選地可以例如通過(guò)無(wú)線地連接到互聯(lián)網(wǎng)而連接到計(jì)算機(jī)網(wǎng)絡(luò)。裝置還可包括集成數(shù)字照 相機(jī)，并且裝置可允許用戶捕捉通過(guò)鏡片觀看的場(chǎng)景的數(shù)字照片和視頻。除了示例裝置中 可包括的這些和其它特征之外，裝置還可合并面對(duì)眼睛的傳感器，并且可被配備為執(zhí)行眼 睛跟蹤方法，諸如本文中所述的那些方法。
[0018] 面對(duì)眼睛的傳感器可包括較高成本、較高精度的傳感器或較低成本、較低精度的 傳感器。本公開(kāi)的實(shí)施例可涉及任何類(lèi)型的面對(duì)眼睛的傳感器。較高成本、較高精度的傳 感器可以例如包括捕捉眼睛的高分辨率可見(jiàn)光圖像的照相機(jī)，并且眼睛跟蹤系統(tǒng)可進(jìn)行相 對(duì)多的處理來(lái)實(shí)現(xiàn)所計(jì)算的眼睛位置的較高精度。較低成本、較低精度的傳感器可以例如 包括捕捉眼睛的低分辨率紅外（IR)光圖像的照相機(jī)，并且眼睛跟蹤系統(tǒng)可進(jìn)行相對(duì)不太 廣泛的處理而實(shí)現(xiàn)所計(jì)算的眼睛位置的相對(duì)低的精度。
[0019] 在眼睛跟蹤中存在由難以分辨光滑球體（S卩，眼睛）中的非常小的、低對(duì)比度的旋 轉(zhuǎn)而導(dǎo)致的基本困難。一些面對(duì)眼睛的傳感器和相應(yīng)的眼睛跟蹤系統(tǒng)的一個(gè)問(wèn)題是，適度 強(qiáng)度和對(duì)比度的反射IR光導(dǎo)致跳躍的難以分辨的運(yùn)動(dòng)，該運(yùn)動(dòng)可導(dǎo)致估計(jì)不精確的凝視 方向。雖然高分辨率可見(jiàn)光眼睛跟蹤系統(tǒng)可能進(jìn)展更好，但是這樣的眼睛跟蹤系統(tǒng)使用更 昂貴的面對(duì)眼睛的傳感器和更多處理能力，并且在低光狀況下不會(huì)同樣地作用。
[0020] 眼睛跟蹤的困難在物理環(huán)境、而不是虛擬環(huán)境的背景下尤其明顯。在物理環(huán)境下， 當(dāng)前技術(shù)沒(méi)有提供關(guān)于人眼在所觀看的物理場(chǎng)景內(nèi)感興趣的點(diǎn)或感興趣的其它潛在凝視 目標(biāo)的信息。因此，在一些實(shí)施例中，本文中所述的技術(shù)可捕捉并分析來(lái)自眼睛可見(jiàn)的物理 場(chǎng)景的數(shù)字場(chǎng)景信息，標(biāo)識(shí)潛在凝視目標(biāo)，并使用這樣標(biāo)識(shí)的潛在凝視目標(biāo)來(lái)改進(jìn)從面對(duì) 眼睛的傳感器得到的凝視目標(biāo)位置和/或凝視目標(biāo)運(yùn)動(dòng)。
[0021] 在一些實(shí)施例中，眼睛跟蹤系統(tǒng)可通過(guò)將檢測(cè)的眼睛跟蹤位置、速度和/或加速 度值和與物理世界潛在凝視目標(biāo)相應(yīng)的估計(jì)眼睛跟蹤值進(jìn)行比較來(lái)產(chǎn)生改進(jìn)的眼睛跟蹤 目標(biāo)估計(jì)（在本文中也被稱(chēng)為凝視目標(biāo)估計(jì)）。潛在凝視目標(biāo)可以例如在物理世界場(chǎng)景的 實(shí)時(shí)視頻中被標(biāo)識(shí)。
[0022] 潛在凝視目標(biāo)可以例如通過(guò)下述方式被標(biāo)識(shí)，例如，使用對(duì)象識(shí)別，或者應(yīng)用各種 圖形分析算法中的任何一種來(lái)標(biāo)識(shí)潛在凝視目標(biāo)，或者例如通過(guò)標(biāo)識(shí)場(chǎng)景中的對(duì)象運(yùn)動(dòng)。 實(shí)施例隨后可確定每個(gè)標(biāo)識(shí)的潛在凝視目標(biāo)的位置值、速度值和/或加速度值，并且可將 這樣的確定的值與檢測(cè)的眼睛跟蹤位置值、速度值和/或加速度值進(jìn)行比較。
[0023] 實(shí)施例可選擇適當(dāng)?shù)臐撛谀暷繕?biāo)，該目標(biāo)包括基本上與檢測(cè)的眼睛跟蹤位置 值、速度值和/或加速度值匹配的位置值、速度值和/或加速度值。實(shí)施例然后可推斷：正 確的眼睛跟蹤位置值、速度值和/或加速度值是被選定凝視目標(biāo)的那些值。修改的、改進(jìn)的 眼睛跟蹤位置值、速度值和/或加速度值可以例如被存儲(chǔ)或者以其它方式被用于使用眼睛 跟蹤信息的任何應(yīng)用。
[0024] 實(shí)施例可視情況執(zhí)行數(shù)據(jù)變換以使得能夠在檢測(cè)的眼睛跟蹤位置值、速度值和/ 或加速度值與潛在凝視目標(biāo)位置值、速度值和/或加速度值之間進(jìn)行比較。例如，在一些實(shí) 施例中，檢測(cè)的眼睛跟蹤位置值可包括與眼睛凝視方向相應(yīng)的角坐標(biāo)。同時(shí)，潛在凝視目標(biāo) 位置值可至少最初包括例如捕捉的視頻幀的平面內(nèi)的二維x、y坐標(biāo)。檢測(cè)的眼睛跟蹤角坐 標(biāo)可以例如使用照相機(jī)位置與眼睛位置之間的幾何關(guān)系而被轉(zhuǎn)換為二維X、y坐標(biāo)以支持 比較操作，或者反過(guò)來(lái)。還將理解，實(shí)施例可根據(jù)需要將所有信息轉(zhuǎn)換到任何中間坐標(biāo)系中 以支持比較操作。
[0025] 在一些實(shí)施例中，眼睛跟蹤系統(tǒng)可將被檢測(cè)凝視目標(biāo)與物理場(chǎng)景中的靜止?jié)撛谀?視目標(biāo)的位置進(jìn)行比較，并且視情況，可通過(guò)將在它們的噪聲邊界內(nèi)的被檢測(cè)凝視目標(biāo)修 改到靜止?jié)撛谀暷繕?biāo)的位置來(lái)校正這些被檢測(cè)凝視目標(biāo)。在一些實(shí)施例中，眼睛跟蹤系 統(tǒng)可將被檢測(cè)凝視方向和與物理場(chǎng)景中的靜止?jié)撛谀暷繕?biāo)的估計(jì)位置相應(yīng)的凝視方向 進(jìn)行比較，并且可通過(guò)將在它們的噪聲邊界內(nèi)的被檢測(cè)凝視方向修改到估計(jì)的凝視方向來(lái) 校正這些被檢測(cè)凝視方向。
[0026] 在一些實(shí)施例中，眼睛跟蹤系統(tǒng)可將被檢測(cè)凝視目標(biāo)運(yùn)動(dòng)（其可包括凝視目標(biāo)速 度和/或凝視目標(biāo)加速度，并且可以例如從物理場(chǎng)景中的一系列被檢測(cè)凝視目標(biāo)得出）與 跟隨物理場(chǎng)景中的移動(dòng)潛在凝視目標(biāo)的建模凝視目標(biāo)運(yùn)動(dòng)進(jìn)行比較，并且實(shí)施例可通過(guò)將 在其噪聲邊界內(nèi)的被檢測(cè)凝視目標(biāo)運(yùn)動(dòng)修改為跟隨物理場(chǎng)景中的移動(dòng)潛在凝視目標(biāo)的建 模凝視目標(biāo)運(yùn)動(dòng)來(lái)校正這些被檢測(cè)凝視目標(biāo)運(yùn)動(dòng)。在一些實(shí)施例中，眼睛跟蹤系統(tǒng)可將被 檢測(cè)眼睛運(yùn)動(dòng)（其可以例如從一系列被檢測(cè)凝視方向得到）和與跟隨物理場(chǎng)景中的移動(dòng)潛 在凝視目標(biāo)相關(guān)聯(lián)的建模眼睛運(yùn)動(dòng)進(jìn)行比較，并且實(shí)施例可通過(guò)將在其噪聲邊界內(nèi)的被檢 測(cè)眼睛運(yùn)動(dòng)修改為跟隨物理場(chǎng)景中的移動(dòng)潛在凝視目標(biāo)的建模眼睛運(yùn)動(dòng)或者修改為與建 模眼