通過眼睛跟蹤進行的用戶輸入處理的制作方法
【專利說明】通過眼睛跟蹤進行的用戶輸入處理
[0001]相關申請的交叉引用
[0002]本申請要求2012年5月4日申請的美國專利申請?zhí)?3/464，703的優(yōu)先權權益，所述專利申請的公開內(nèi)容以引用的方式并入本文中。
[0003]發(fā)明背景
技術領域
[0004]本發(fā)明大體上涉及輸入處理系統(tǒng)，且更明確地說，涉及經(jīng)由圖像處理來處理來自多個用戶的輸入。
[0005]習知技術
[0006]計算系統(tǒng)應用程序通過接收用戶輸入、處理所述輸入以及提供結果來與用戶交互。隨著系統(tǒng)變得更先進，且更多的人欣然接受技術，應用程序已演進為同時使多個用戶參與。多個用戶可同時與計算系統(tǒng)交互，且所述用戶可提供與特定用戶有關的輸出。舉例來說，兩個用戶可使用游戲控制器來玩計算機游戲，其允許所述用戶在游戲會話期間與每一其它用戶競爭。每一用戶用相應的游戲控制器來提供輸入。
[0007]技術已演進為允許與計算系統(tǒng)的不同類型的交互。不同于例如接收來自每一用戶的遠程游戲控制器的輸入，一些計算系統(tǒng)利用單個輸入機構，例如觸摸屏。當僅一個用戶與所述計算裝置嚙合時，所述單個輸入機構接收來自單個用戶的輸入。當多個用戶嚙合具有單個輸入機構的計算系統(tǒng)時，確定哪一用戶正在提供輸入非常困難。
[0008]此項技術中需要一種系統(tǒng)，其允許多個用戶容易且高效地使用單個輸入機構與計算裝置交互。
發(fā)明概要
[0009]在一實施例中，性能、功能性、內(nèi)容或業(yè)務相關性。基于學習技術、高效監(jiān)視和資源管理，本發(fā)明的系統(tǒng)可以非常低的開銷捕獲網(wǎng)絡應用程序的數(shù)據(jù)，并提供網(wǎng)絡應用程序的異常值的分析信息。
[0010]在一實施例中，在裝置存在的情況下，可通過首先在物理上識別多個用戶來接收輸入。輸入可由裝置從所述多個物理存在的用戶中的第一用戶接收?？蓮乃龆鄠€用戶中與所述輸入相關聯(lián)的一者檢測物理狀態(tài)。
[0011]在一實施例中，一種用戶檢測輸入的系統(tǒng)可包含顯示裝置、相機、處理器，以及存儲在存儲器中且可由處理器執(zhí)行的模塊。所述相機可捕獲色彩圖像數(shù)據(jù)，且將圖像數(shù)據(jù)提供給處理器。特征檢測模塊可執(zhí)行以檢測用戶的物理特征。用戶焦點檢測模塊檢測用戶眼睛的焦點。一種輸入處理模塊接收并處理來自用戶的輸入。
[0012]附圖簡述
[0013]圖1是用于通過計算控制臺的觸摸屏接收輸入的示范性系統(tǒng)的框圖。
[0014]圖2是用于通過平板計算機的觸摸屏接收輸入的示范性系統(tǒng)的框圖。
[0015]圖3是用于通過移動裝置的觸摸屏接收輸入的示范性系統(tǒng)的框圖。
[0016]圖4是具有用戶檢測機構的示范性計算裝置。
[0017]圖5是示范性的一組可執(zhí)行軟件模塊。
[0018]圖6是用于識別來自多個用戶中的一者的輸入的示范性方法的流程圖。
[0019]圖7A到7B是用戶眼睛的示范性圖像。
[0020]圖8是接收來自多個用戶中的一者的輸入的示范性計算裝置的框圖。
[0021]圖9是用于實施計算裝置的示范性系統(tǒng)的框圖。
【具體實施方式】
[0022]本發(fā)明的實施例確定多個用戶中的哪一用戶通過單個輸入裝置提供了輸入。所述計算系統(tǒng)可包含用于捕獲所述一或多個用戶的圖像的機構?？商幚硭鰣D像以確定哪一用戶使用所述輸入裝置提供了輸入。舉例來說，可處理所述圖像以識別每一用戶的頭部和眼睛，且確定每一用戶的眼睛的焦點。將眼睛聚焦在輸入裝置處的用戶識別為提供所述輸入。在輸入機構可為觸摸屏的實施例中，將眼睛聚焦在被觸摸的觸摸屏部分上的用戶識別為提供所述輸入。
[0023]本發(fā)明的實施例可結合若干類型的計算裝置使用。圖1是用于通過計算控制臺的觸摸屏接收輸入的示范性系統(tǒng)的框圖。計算控制臺125將用于顯示的圖像數(shù)據(jù)提供給觸摸屏120。觸摸屏120可接收觸摸輸入，且將輸入提供給計算控制臺125。計算控制臺可接收輸入，處理所述輸入并創(chuàng)建新的圖像數(shù)據(jù)，且將所述圖像數(shù)據(jù)提供給觸摸屏120。用戶105和110中的任一者可將輸入提供給計算控制臺125，例如通過觸摸觸摸屏120。本發(fā)明能夠確定哪一用戶觸摸了觸摸屏，且相應地處理所述輸入。圖2是用于通過平板計算機130的觸摸屏接收輸入的示范性系統(tǒng)的框圖。用戶105和110可各自使用平板的觸摸屏將輸入提供給平板計算機130。本發(fā)明的實施例可確定用戶105和110中的哪一者將輸入提供給了平板計算機130，且相應地處理所述輸入。圖3是用于通過移動裝置的觸摸屏接收輸入的示范性系統(tǒng)的框圖。用戶105和110可各自通過觸摸屏或其它輸入件將輸入提供給移動裝置140。本發(fā)明可確定哪一用戶將輸入提供給了移動裝置140，且為所述用戶處理輸入。
[0024]圖4是具有用戶檢測機構45的示范性計算裝置。用戶檢測機構405可結合計算控制臺、平板計算機、移動裝置或任何其它計算裝置使用。用戶檢測機構包含彩色相機410和紅外線(IR)相機415。彩色相機410可捕獲計算裝置附近的區(qū)域420的圖像?？商幚硭鰣D像以識別用戶、用戶的物理特征，以及所述物理特征的狀態(tài)。舉例來說，可處理彩色相機410所捕獲的兩個玩家的圖像，以識別區(qū)域420內(nèi)的兩個用戶，每一用戶的物理特征包含用戶頭部和眼睛，以及每一用戶的眼睛的狀態(tài)，例如每一用戶將其眼睛聚焦在何處。還可使用IR成像系統(tǒng)415來捕獲和處理圖像。可在低光條件下利用IR成像系統(tǒng)415，以捕獲區(qū)域425的IR圖像?？商幚鞩R圖像以識別若干用戶、用戶物理特征以及特征狀態(tài)，類似于彩色相機圖像處理的處理。
[0025]圖5是示范性的一組可執(zhí)行軟件模塊。所述模塊可由處理器執(zhí)行以實施本文所述的本發(fā)明的各種方面。特征檢測模塊520檢測用戶的圖像中的特征。舉例來說，特征檢測模塊可接收圖像，檢測人類臉部的輪廓，且識別臉部內(nèi)的眼睛。模塊520可具有一或多個臉部的模板，以與接收到的圖像的部分進行比較來識別人類臉部。所述模板可存儲在特征庫模塊540中。在一些實施例中，特征檢測模塊540可檢測兩個或兩個以上連續(xù)圖像之間的運動，且使用像素著色的變化來檢測用戶。一旦檢測到用戶頭部，特征檢測模塊就分析所述頭部內(nèi)的特征以檢測用戶的眼睛?？赏ㄟ^檢測例如靠近眼睛的鼻子等特征，確定用戶眼睛在用戶頭頂下方的某一距離，或執(zhí)行此項技術中通常已知的其它算法來識別眼睛。除物理特征之外，也可確定其它特征，例如用戶遠離計算裝置的距離。在一些實施例中，如果檢測到的人大于距計算裝置的某一閾值距離，那么用戶將不被視為能夠提供輸入的用戶。
[0026]用戶聚焦模塊510可分析用戶眼睛的圖像以確定用戶聚焦在何處。人眼的前部包含黑瞳、瞳孔周圍的彩色虹膜，以及虹膜周圍的白色鞏膜。計算裝置可分析鞏膜的面積和位置，以確定用戶向上、向下、向左還是向右聚焦。舉例來說，當用戶的眼睛聚焦在他右邊的物體上時，用戶眼睛所捕獲的圖像將顯示用戶的鞏膜的較多部分在圖像(用戶的左側)中在眼睛的右側而不是左側，因為眼睛將朝左側移動。
[0027]輸入聚焦模塊530接收輸入并處理所述輸入。所述輸入可為觸摸屏上的指定熱點、按鈕、無線信號或某一其它輸入的選擇。輸入聚焦模塊530可從識別用戶已提供最近輸入的其它模塊接收信息。輸入處理模塊接著將所述輸入處理為所識別的用戶的動作。
[0028]特征庫模塊540可包含臉部和眼睛掩模、模板、模型和其它數(shù)據(jù)，其用于處理圖像，且識別用戶物理特征和特征狀態(tài)，例如用戶的眼睛聚焦在哪一方向上。
[0029]圖6是用于識別來自多個用戶中的一者的輸入的示范性方法的流程圖。圖6的方法可由計算裝置120和125、130和140中的任一者執(zhí)行。在步驟610處，計算裝置識別參與的用戶。參與的用戶是可將輸入提供給計算裝置的那些用戶?？赏ㄟ^向系統(tǒng)注冊或圖像處理來識別參與的用戶。注冊可包括每一用戶將某一類的識別信息或它們存在的指示提供給計算裝置。圖像處理可包括:捕獲用戶可從中提供輸入的區(qū)域的一或多個圖像；檢測人類頭部的數(shù)目；以及將值指派給每一檢測到的頭部。在一些實施例中，可使用注冊和圖像處理兩者來識別參與的用戶。
[0030]一種用于經(jīng)由圖像處理檢測人類頭部的方法可以分析類似人類頭部的形狀的圖像來開始。可使用對比度檢測、運動檢測和其它技術來識別形狀。一旦檢測到潛在的頭部形狀，就針對大部分人類頭部共有的特征來分析頭部候選者。所述特征可包含呈現(xiàn)鼻子、嘴巴或眼睛可能所處的位置的對比度、陰影或其它特征。如果候選頭部滿足閾值特征等級，那么可將所述頭部候選者識別為參與的用戶。用于檢測圖像中的臉部的其它方法是此項技術中已知的。
[0031]在步驟615處，定位每一用戶的眼睛區(qū)域。檢測參與用戶的頭部的眼睛區(qū)域可涉及搜索頭部內(nèi)眼睛所位于的區(qū)域周圍的對比度、亮度或其它圖像特性等級。在步驟620處，一旦定位到用戶眼睛，就可針對每一參與用戶校準眼睛行為。校準可包括屏幕上對參與用戶指示用戶的臉部應距計算裝置的距離范圍的指令，看屏幕上的特定點的指令以及其它方向。所述校準可使用戶看計算裝置的顯示器上的不同點或熱點，且當已知用戶眼睛的焦點時，分析用戶眼睛的圖像。舉例來說，圖7A到7C說明當用戶眼睛聚焦在不同區(qū)域上時的用戶頭部和眼睛。圖7A說明具有眼睛714和712的用戶頭部710。眼睛714包含虹膜和瞳孔區(qū)域716，以及鞏膜區(qū)域718和720。眼睛712包含虹膜和瞳孔區(qū)域722，以及鞏膜區(qū)域724和726。當虹膜和瞳孔區(qū)域的左側和右側的鞏膜面積大約相同時，可確定用戶大約聚焦在正前方。當鞏膜的面積在虹膜和瞳孔區(qū)域的右側遠大于在瞳孔和虹膜左側的鞏膜面積時，用戶焦點可朝向用戶的右側(圖7C)。類似地，當鞏膜的面積在虹膜和瞳孔區(qū)域的右側和下面遠大于在瞳孔和虹膜左側和上方的鞏膜面積時，用戶焦點可朝向用戶的右上側(圖7D)?？赏ㄟ^在校準期間取用戶眼睛的一組測量結果來得出聚焦程度以及對應的焦點?？捎涗浻脩舻耐?、虹膜和其它對象的面積和位置，以用于后續(xù)跟蹤用戶眼睛。
[0032]在步驟625處，用戶眼睛的跟蹤開始。所述跟蹤涉及捕獲用戶的連續(xù)圖像?？商幚硭鰣D像，以跟蹤和維持用戶眼睛位置和焦點的知識。在一些實施例中，重復地捕獲并存儲所述圖像，但接著如果未從任何用戶接收到輸入，那么丟棄所述圖像。
[0033]在步驟630處，在屏幕熱點處檢測輸入。所述輸入可包含用戶觸摸計算控制臺120、平板計算機220和移動裝置320中的一者的觸摸屏上的熱點。所述熱點可為屏幕上所顯示的特