專利名稱：用于人機界面的控制柄交互的制作方法
用于人機界面的控制柄交互背景在過去，諸如計算機游戲和多媒體應用之類的計算應用使用控制器、遙控器、鍵盤、鼠標等來允許用戶操縱應用的游戲角色或其他方面。近來，計算機游戲和多媒體應用已開始使用相機和軟件姿勢識別引擎來提供人機界面(“HCI”)。使用HCI，檢測、解釋用戶姿勢并將其用于控制應用的游戲角色或其他方面。在HCI系統(tǒng)中，手的姿勢通常被用來控制與游戲或其他應用的交互?，F(xiàn)有姿勢識別系統(tǒng)通常集中于基于位置的指向姿勢或基于運動的象征姿勢。對于指向姿勢，用戶指揮屏幕上的追隨該用戶的手的光標。這樣的姿勢識別系統(tǒng)具有各種缺陷，包括抖動和手移動與光標位置之間的等待時間(例如，延遲時間)以及有限的用戶界面(UI)密度。對于基于運動的象征姿勢，解釋用戶的移動，并且如果匹配預定義的姿勢，則采取某相關聯(lián)的動作?；谶\動的系統(tǒng)具有若干缺陷，包括虛假肯定、姿勢沖突、以及不能提供立即啟示和反饋(必 須首先識別ー特定姿勢)。

發(fā)明內(nèi)容
本發(fā)明技術一般涉及ー種使用屏上圖形控制柄來控制用戶與屏上對象之間的交互的系統(tǒng)。在各實施例中，控制柄是與給定對象相關聯(lián)地顯示在顯示畫面上的n対象?？刂票x用戶可對對象執(zhí)行什么動作，如滾動遍歷文本或圖形導航菜単。用戶占用控制柄并執(zhí)行姿勢來操縱該控制柄，如在顯示屏上向上、下、左、右來移動該控制柄。這ー操縱造成在對象上執(zhí)行相關聯(lián)的動作。提供啟示(affordance)來引導用戶通過與控制柄進行交互的過程。在一實施例中，本發(fā)明技術涉及耦合到用于捕捉用戶位置并提供人機界面的捕捉設備的計算環(huán)境。這一系統(tǒng)執(zhí)行一種便于用戶與用于人機界面的顯示畫面的區(qū)域進行交互的方法，包括以下步驟(a)生成與用戶界面的該區(qū)域相關聯(lián)的控制柄；(b)檢測用戶占用了在所述步驟(a)生成的控制柄；(c)接收用戶的姿勢的指示；以及(d)響應于所述步驟(C)對用戶界面的所述區(qū)域執(zhí)行動作。又一實施例涉及耦合到用于捕捉用戶位置并提供人機界面的捕捉設備的計算環(huán)境的處理器可讀存儲介質，該處理器可讀存儲介質將處理器編程成執(zhí)行ー種便于用戶與人機界面的顯示畫面的動作區(qū)域進行交互的方法。這ー實施例包括(a)在顯示畫面上顯示與用戶界面的該區(qū)域相關聯(lián)的圖形控制柄，該圖形控制柄提供用于占用該動作區(qū)域的顯式占用點并且該圖形控制柄定義在接收到用戶的預定義的姿勢之后用戶可如何與該動作區(qū)域進行交互；(b)作為檢測到用戶位置的結果，接收用戶正追蹤控制柄的指示；(C)在用戶追蹤到控制柄時，建立對該控制柄的占用；(d)接收用戶的姿勢的指示；以及(e)當在所述步驟(d)接收到的姿勢指示與所述步驟(a)的預定義姿勢相匹配時，對顯示畫面的動作區(qū)域執(zhí)行由該圖形控制柄所定義的動作。又一實施例涉及ー種人機界面，包括顯示畫面上的動作區(qū)域，所述動作區(qū)域能夠進行以下操作中的至少ー個執(zhí)行動作和使得對它執(zhí)行動作；顯示在顯示畫面上并與該動作區(qū)域相關聯(lián)的控制柄，該控制柄提供對動作區(qū)域的顯式占用點并定義用戶可如何與該動作區(qū)域進行交互；以及顯示在顯示畫面上的、與該控制柄相關聯(lián)的、用于定義用戶可如何操縱該控制柄的導軌(rai I)。附圖簡述圖I示出了目標識別、分析和跟蹤系統(tǒng)的示例實施例，其中用戶正在與該系統(tǒng)進行交互。圖2示出包括根據(jù)本發(fā)明技術的一實施例的控制柄的示例屏幕顯示。圖3示出了可在目標識別、分析和跟蹤系統(tǒng)中使用的捕捉設備的一個示例實施例。圖4A示出了可用于本發(fā)明技術的目標識別、分析和跟蹤系統(tǒng)中的計算環(huán)境的示例實施例。 圖4B示出了可用于本發(fā)明技術的目標識別、分析和跟蹤系統(tǒng)中的計算環(huán)境的另一示例實施例。圖5是本發(fā)明技術的一實施例的操作流程圖。圖6是控制柄吸引光標的操作流程圖。圖7是本發(fā)明系統(tǒng)識別一姿勢的操作流程圖。圖8示出包括根據(jù)本發(fā)明技術的一實施例的控制柄和導軌的示例屏幕顯示。圖9示出包括根據(jù)本發(fā)明技術的又一實施例的控制柄和導軌的示例屏幕顯示。詳細描述現(xiàn)在將參考

圖1-9來描述本發(fā)明技術的各實施例，其一般涉及使用屏上控制柄來控制用戶與屏上對象之間的交互的姿勢識別和交互系統(tǒng)。在各實施例中，控制柄是用于與人機界面交互、關于人機界面進行導航以及控制人機界面的UI對象。在各實施例中，控制柄提供與諸如n上的對象之類的動作區(qū)域的顯式占用點，并提供關于用戶可如何與該對象交互的啟示。一旦用戶占用(engage) 了控制柄，用戶可例如通過移動該控制柄或執(zhí)行與該控制柄相關聯(lián)的一個或多個姿勢來操縱該控制柄。最初參考圖1-3，用于實現(xiàn)本發(fā)明技術的硬件包括目標識別、分析和跟蹤系統(tǒng)10，該系統(tǒng)可用于識別、分析和/或跟蹤諸如用戶18等人類目標。目標識別、分析和跟蹤系統(tǒng)10的各實施例包括用于執(zhí)行游戲或其他應用的計算環(huán)境12，以及用于提供來自游戲或其他應用的音頻和視覺表示的視聽設備16。系統(tǒng)10還包括用于捕捉用戶18的位置和所執(zhí)行的移動的捕捉設備20，計算環(huán)境12接收、解釋并使用這些位置和移動來控制游戲或其他應用。下面將更詳細地解釋這些組件中的每一個。如圖I所示，在一示例實施例中，在計算環(huán)境12上執(zhí)行的應用可向用戶18呈現(xiàn)n19。該n可以是游戲應用或平臺的一部分，且在各實施例中可以是用于訪問游戲應用或平臺的所選區(qū)域的導航菜單。計算環(huán)境12在n 19上生成一個或多個控制柄21，每個控制柄綁定到或以其他方式關聯(lián)到n 19上的動作區(qū)域23。每個控制柄通常是顯示在屏幕上的用于控制相對于其相關聯(lián)的動作區(qū)域的操作的圖形對象，如下文中更為詳細地解釋的。在各實施例中，控制柄21可在顯示畫面上成形為圓形或三維球體，但是本領域的技術人員將理解在另選的實施例中控制柄可以是各種其他形狀中的任何一種。如下文解釋的那樣，控制柄21的存在和外觀可改變，這取決于用戶是否存在以及取決于用戶是否正占用控制柄。在各實施例中，控制柄的形狀在所有動作區(qū)域23中可以是相同的，但是在其他實施例中，構想了不同動作區(qū)域具有不同形狀的控制柄。盡管圖I示出了單個控制柄21，但是n 19可包括多個控制柄21，每個控制柄與不同的動作區(qū)域23相關聯(lián)，如下文所解釋的。如此處使用的，“動作區(qū)域”是n 19上的任何區(qū)域，它可具有與之相關聯(lián)的控制柄，且能夠在其控制柄被操縱時執(zhí)行動作，或能夠在其控制柄被操縱時使動作在其上執(zhí)行。在各實施例中，動作區(qū)域23可以是被顯示為導航菜單的一部分的文本或圖形對象。然而，在各實施例中，動作區(qū)域23無需是導航菜單的一部分，且無需是特定的所顯示的圖形對象。動作區(qū)域23可另選地是n的某一區(qū)域，當通過其控制柄被訪問時，該區(qū)域使得某ー動作在該區(qū)域處或者是總體上在n上被執(zhí)行。在動作區(qū)域是顯示畫面上的特定圖形對象時，與該圖形對象相關聯(lián)的控制柄21可被顯示在該圖形對象上或顯示在該圖形對象附近(在圍繞該圖形對象外圍的任何位置處)。在又一實施例中，控制柄21可不被映射到特定対象。在該實施例中，動作區(qū)域23可 以是n 19上的包括多個圖形對象的區(qū)域。當與該動作區(qū)域相關聯(lián)的控制柄21被操縱時，可對該動作區(qū)域23中的所有對象執(zhí)行動作。在又一實施例中，控制柄21可被集成到圖形對象中。在這ー實施例中，沒有與對象分開的控制柄21的視覺顯示。相反，當對象被抓住或以其他方式被選擇時，對象充當控制柄21，且執(zhí)行與控制柄相關聯(lián)的動作。這些動作將在以下更詳細地描述。界面19還可包括經(jīng)由用戶移動來控制的光標25。具體來說，捕捉設備20捕捉用戶指向的位置，如下所解釋的，且計算環(huán)境解釋該圖像數(shù)據(jù)以在視聽設備16上的所確定的點處顯示光標25。光標可向用戶提供關于該用戶正明確地指向視聽設備上的何處的閉環(huán)反饋。這方便了對視聽設備16上的控制柄的選擇，如下文所解釋的。類似地，每個控制柄可具有類似于磁場的引力，用于在光標足夠接近控制柄時將光標拉到控制柄。該特征也在下文中更詳細地解釋。光標25可總是可見的，僅在用戶存在于視野中時可見，或僅在用戶正在跟蹤顯示畫面上的具體對象時可見?？刂票?1的ー個目的是提供顯式占用點，從該點用戶能夠與動作區(qū)域23交互。在操作中，用戶會將光標25引導到控制柄21上，并執(zhí)行姿勢以附連到該控制柄。用戶在其中移動的三維真實空間可被定義為參照系，其中z軸是從捕捉設備20筆直水平延伸出的軸，X軸是垂直于z軸的水平軸，y軸是垂直于z軸的垂直軸。給定該參照系,用戶可通過在x-y平面中移動他或她的手以將光標定位在控制柄上，然后沿z軸向捕捉設備移動手，來附連到控制柄。在光標被定位在控制柄上的情況下，計算環(huán)境12將用戶的手的向內(nèi)(inward)移動(即沿z軸，漸漸靠近屏幕上控制柄21)解釋為用戶試圖附連到控制柄，且計算環(huán)境執(zhí)行該動作。在各實施例中，屏幕上x-y移動是在彎曲的坐標空間中完成的。也就是說，用戶的移動仍舊主要在X方向和y方向上，但考慮到人類手臂遵循的彎曲路徑，計入了 z方向上的某一定量的扭曲。存在具有變化的占用方法的不同類型的控制柄。第一種控制柄可以是單手控制柄。這些類型的控制柄可由用戶的右手或左手來占用，但非兩手都能占用。第二種類型的控制柄可以是雙手控制柄。這些類型的控制柄能夠由用戶的右手或左手占用?？蔀橛沂趾妥笫职姹緞?chuàng)建雙手控制柄的單獨的實例，并定位到動作區(qū)域的左側或右側，以便定位該控制柄來供用戶在3D空間中進行更自然的占用。第三種類型的控制柄是兩手成對控制柄。這些控制柄要求用戶的兩只手來完成交互。這些交互利用視覺啟示以及在各實施例中利用聽覺啟示，來告知用戶如何完成更復雜的交互，如下所解釋的。圖I包括單手控制柄21的示例。圖2是包括控制柄的附加示例的顯示畫面的圖示。圖2中朝向n 19頂部的控制柄21是與動作區(qū)域23相關聯(lián)的單手控制柄21，在該示例中該動作區(qū)域是文本導航菜單。朝向n 19的底部的兩個控制柄21是與動作區(qū)域23相關聯(lián)的雙手控制柄的示例。在圖2的示例中，動作區(qū)域23是一個或多個圖形導航對象(也稱為“槽”)，示出通過用戶選擇某一槽下面的兩個角處的兩個控制柄21可對其執(zhí)行某一動作的具體軟件標題。不同的控制柄21也可能夠在被用戶占用時進行不同的移動。例如，某些控制柄被約束到在單個方向移動(例如沿屏幕的X軸或y軸)。提供其他控制柄用于沿X軸和y軸的二軸移動。還有控制柄被提供用于繞x_y平面的多向移動。又有一些控制柄可專門地或作為多向運動的一部分沿z軸移動。每個控制柄可包括用于清楚地指示用戶可如何操縱該控 制柄的啟示。例如，當用戶接近控制柄21時，這里被稱為“導軌”的圖形指示可出現(xiàn)在顯示 畫面上控制柄附近。該導軌示出控制柄21可移動以在相關聯(lián)的動作區(qū)域23上完成某一動作的方向。在下文中更詳細地解釋了導軌，但圖I示出了導軌27，導軌27指示出可沿X軸(圖I中向左)移動控制柄21。如所指示的，導軌僅在用戶接近控制柄21或占用控制柄21時出現(xiàn)。否則，它們在屏幕上是不可見的，以便不使顯示畫面零亂。然而，在另選的實施例中，與控制柄相關聯(lián)的任何導軌可在其控制柄可見時總是可見的。在又一實施例中，光標25也可提供關于可能的控制柄操縱的反饋和提示。也就是說，除了控制柄本身之外，光標的位置可使得導軌被顯露，或提供操縱反饋。圖3示出可在目標識別、分析和跟蹤系統(tǒng)10中使用的捕捉設備20的一個示例實施例。涉及與本發(fā)明技術一起使用的捕捉設備的附加細節(jié)在題為“Device ForIdentifying And Tracking Multiple Humans Over Time (用于隨時間標識和跟蹤多個人的設備)”的共同待審的專利申請?zhí)?2/475，308中闡述，該申請通過引用而整體結合于此。然而，在一示例實施例中，捕捉設備20可以被配置成通過任何合適的技術，包括例如，飛行時間法、結構化光、立體圖像等等，來捕捉具有可包括深度值的深度圖像的視頻。根據(jù)一個實施例，捕捉設備20可以將所計算的深度信息組織成“Z層”，即與從深度相機沿其視線延伸的Z軸相垂直的層。如圖3所示，捕捉設備20可包括圖像相機組件22。根據(jù)一個示例實施例，圖像相機組件22可以是可捕捉場景的深度圖像的深度相機。深度圖像可包括被捕捉的場景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每一個像素都可以(例如以厘米、毫米等等為單位)表示來自相機的被捕捉的場景中的物體的長度。如圖3所示，根據(jù)一個示例實施例，圖像相機組件22可包括可用于捕捉場景的深度圖像的IR光組件24、三維(3-D)相機26，以及RGB相機28。例如，在飛行時間分析中，捕捉設備20的IR光組件24可將紅外光發(fā)射到場景上，并且隨后可使用傳感器(未示出)、用例如3-D相機26和/或RGB相機28來檢測從場景中的一個或多個目標和物體的表面反向散射的光。根據(jù)另一實施例，捕捉設備20可包括可以從不同的角度觀察場景的兩個或更多個在物理上分開的相機，以獲取可以被解析以生成深度信息的視覺立體數(shù)據(jù)。捕捉設備20還可包括話筒30。話筒30可包括可接收聲音并將其轉換成電信號的變換器或傳感器。根據(jù)ー個實施例，話筒30可用于減少目標識別、分析和跟蹤系統(tǒng)10中的捕捉設備20與計算環(huán)境12之間的反饋。另外，話筒30可用于接收也可由用戶提供的音頻信號，以控制可由計算環(huán)境12執(zhí)行的諸如游戲應用、非游戲應用等之類的應用。在一示例實施例中，捕捉設備20還可包括能與圖像相機組件22通信的處理器32。處理器32可包括標準化處理器、專用處理器、微處理器等，它們可執(zhí)行用于接收深度圖像、判斷合適的目標是否可被包括在深度圖像中、將合適的目標轉換為目標的骨架表示或模型的指令，或任何其他適合的指令。捕捉設備20還可包括存儲器組件34，存儲器組件34可存儲可由處理器32執(zhí)行的指令、3-D相機或RGB相機捕捉到的圖像或圖像的幀、或任何其他合適的信息、圖像等。根據(jù)一示例實施例，存儲器組件34可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤、或任何其他合適的存儲組件。如圖3所示，在一個實施例中，存儲器組件34可 以是與圖像相機組件22和處理器32通信的分開組件。根據(jù)另ー個實施例，可將存儲器組件34集成到處理器32和/或圖像相機組件22中。如圖3所示，捕捉設備20可經(jīng)由通信鏈路36與計算環(huán)境12通信。通信鏈路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等有線連接和/或諸如無線802. lib、802. llg、802. Ila或802. Iln連接等無線連接。根據(jù)ー個實施例，計算環(huán)境12可以經(jīng)由通信鏈路36向捕捉設備20提供時鐘，該時鐘可用于確定何時捕捉例如場景。另外，捕捉設備20可以通過通信鏈路36向計算環(huán)境12提供深度信息和由例如3-D相機26和/或RGB相機28捕捉到的圖像、以及可以由捕捉設備20生成的骨架模型。存在用于判斷由捕捉設備20檢測到的目標或對象是否與人類目標相對應的各種已知技木。骨架映射技術因而可用于確定該用戶的骨架上的各個點，手、腕、肘、膝、鼻、踝、肩的關節(jié)，以及骨盆與脊椎相交之處。其他技術包括將圖像變換成人的人體模型表示以及將圖像變換成人的網(wǎng)格模型表示。骨架模型隨后可被提供給計算環(huán)境12，使得計算環(huán)境可以跟蹤該骨架模型，以標識例如用戶指向哪里以及用戶正執(zhí)行什么運動。如同下面所解釋的，用戶可以通過與控制柄21進行交互并執(zhí)行特定預定義姿勢來與n 19進行交互。計算環(huán)境12還可包括用于識別這些來自用戶18的預定義姿勢的姿勢識別引擎190。下文提供了姿勢識別引擎190的進
ー步細節(jié)。圖4A示出可用來解釋用戶與控制柄21的交互并用于識別ー個或多個姿勢的計算環(huán)境的示例實施例。以上參考附圖I和3所描述的諸如計算環(huán)境12等計算環(huán)境可以是多媒體控制臺100，諸如游戲控制臺。如圖4A所示，多媒體控制臺100具有中央處理單元(CPU)101，所述CPU具有ー級高速緩存102、ニ級高速緩存104，以及閃存ROM 106。ー級高速緩存102和ニ級高速緩存104臨時存儲數(shù)據(jù)，并且因此減少存儲器訪問周期的數(shù)量，由此改進處理速度和呑吐量。CPU 101可被提供為具有一個以上的核，并且由此具有附加的ー級高速緩存102和ニ級高速緩存104。閃存ROM 106可存儲在多媒體控制臺100通電時引導過程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。將數(shù)據(jù)經(jīng)由總線從GPU 108傳送到視頻編碼器/視頻編解碼器114。視頻處理流水線向A/V (音頻/視頻)端口 140輸出數(shù)據(jù)，以便傳輸?shù)诫娨暀C或其他顯示器。存儲器控制器110連接到GPU 108，以便于處理器對各種類型的存儲器112 (諸如，但不限于RAM)的訪問。多媒體控制臺100包括優(yōu)選地在模塊118上實現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡接口控制器124、第一 USB主控制器126、第二 USB主控制器128以及前面板I/O子部件130。USB控制器126和128用作外圍控制器142 (I)-142 (2)、無線適配器148、以及外置存儲器設備146 (例如，閃存、外置⑶/DVD ROM驅動器、可移動介質等)的主機。網(wǎng)絡接口 124和/或無線適配器148提供對網(wǎng)絡(例如，因特網(wǎng)、家庭網(wǎng)絡等)的訪問，并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中的任何一種。提供系統(tǒng)存儲器143來存儲在引導過程期間加載的應用數(shù)據(jù)。提供媒體驅動器144，并且其可包括DVD/CD驅動器、硬盤驅動器，或其他可移動媒體驅動器等。媒體驅動器144可內(nèi)置或外置于多媒體控制臺100。應用數(shù)據(jù)可經(jīng)由媒體驅動器144訪問，以供多媒體 控制臺100執(zhí)行、回放等。媒體驅動器144經(jīng)由諸如串行ATA總線或其他高速連接(例如IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供與確保多媒體控制臺100的可用性相關的各種服務功能。音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 140，以供外置音頻播放器或具有音頻能力的設備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150和彈出按鈕152、以及任何LED (發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺100的組件供電。風扇138冷卻多媒體控制臺100內(nèi)的電路。多媒體控制臺100內(nèi)的CPU 101、GPU 108、存儲器控制器110、以及各種其他組件經(jīng)由一條或多條總線互連，該總線包括串行和并行總線、存儲器總線、外圍總線、以及使用各種總線體系結構中的任一種的處理器或局部總線。作為示例，這些架構可以包括外圍部件互連(PCI)總線、PCI-Express總線等。當多媒體控制臺100通電時，應用數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112和/或高速緩存102、104中，并且可在CPU 101上執(zhí)行。應用可在導航到多媒體控制臺100上可用的不同媒體類型時呈現(xiàn)提供一致的用戶體驗的圖形用戶界面。在操作中，媒體驅動器144中所包含的應用和/或其他媒體可從媒體驅動器144啟動或播放，以將附加功能提供給多媒體控制臺100。多媒體控制臺100可通過簡單地將該系統(tǒng)連接到電視機或其他顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺100允許一個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，在通過網(wǎng)絡接口 124或無線適配器148可用的寬帶連接集成的情況下，多媒體控制臺100還可作為更大網(wǎng)絡社區(qū)中的參與者來操作。當多媒體控制臺100通電時，可以保留設定量的硬件資源以供多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可以包括存儲器保留量(例如，16MB)、CPU和GPU周期保留量(例如，5%)、網(wǎng)絡帶寬保留量(例如，8kbs)等。因為這些資源是在系統(tǒng)引導時保留的，所以所保留的資源從應用的角度而言是不存在的。具體而言，存儲器保留量優(yōu)選地足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應用程序和驅動程序。CPU保留量優(yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應用使用，則空閑線程將消耗任何未使用的周期。對于GPU保留量，通過使用GPU中斷來調(diào)度代碼以將彈出窗ロ渲染為覆蓋圖，從而顯示由系統(tǒng)應用程序生成的輕量消息(例如，彈出窗ロ)。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在完整的用戶界面被并發(fā)系統(tǒng)應用使用的情況下，優(yōu)選使用獨立于應用分辨率的分辨率。定標器可用于設置該分辨率，從而無需改變頻率和引起TV重新同歩。在多媒體控制臺100引導且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內(nèi)執(zhí)行的ー組系統(tǒng)應用中。操作系統(tǒng)內(nèi)核標識出作為系統(tǒng)應用線程而非游戲應用線程的線程。系統(tǒng)應用優(yōu)選地被調(diào)度為在預定時間 并以預定時間間隔在CPU 101上運行，以便提供對應用而言一致的系統(tǒng)資源視圖。調(diào)度是為了使在控制臺上運行的游戲應用的高速緩存中斷最小化。當并發(fā)系統(tǒng)應用需要音頻時，由于時間敏感性而將音頻處理異步地調(diào)度給游戲應用。多媒體控制臺應用管理器(如下所描述的)在系統(tǒng)應用活動時控制游戲應用的音頻級別(例如，靜音、衰減)。輸入設備(例如,控制器142(1)和142(2))由游戲應用和系統(tǒng)應用共享。輸入設備不是保留資源，而是在系統(tǒng)應用和游戲應用之間切換以使其各自具有設備的焦點。應用管理器優(yōu)選控制輸入流的切換，而無需知道游戲應用的知識，并且驅動器維護關于焦點切換的狀態(tài)信息。相機26、28和捕捉設備20可為控制臺100定義附加輸入設備。圖4B示出可以是用來解釋用戶與控制柄21的交互并解釋系統(tǒng)10中的一個或多個姿勢的、圖I和3中示出的計算環(huán)境12的計算環(huán)境220的另ー示例實施例。計算系統(tǒng)環(huán)境220只是合適的計算環(huán)境的ー個示例，并且不g在對當前公開的主題的使用范圍或功能提出任何限制。也不應該將計算環(huán)境220解釋為對示例性操作環(huán)境220中示出的任ー組件或其組合有任何依賴性或要求。在一些實施例中，各個所示的計算元素可包括被配置成實例化本公開的特定方面的電路。例如，本公開中使用的術語“電路”可包括被配置成通過固件或開關來執(zhí)行功能的專用硬件組件。在其他示例實施例中，術語“電路”可包括通過體現(xiàn)可操作以執(zhí)行功能的邏輯的軟件指令來配置的通用處理單元、存儲器等。在電路包括硬件和軟件的組合的示例實施例中，實施者可以編寫體現(xiàn)邏輯的源代碼，且源代碼可以被編譯為可以由通用處理單元處理的機器可讀代碼。因為本領域技術人員可以明白現(xiàn)有技術已經(jīng)進化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地歩，因而選擇硬件或是軟件來實現(xiàn)具體功能是留給實現(xiàn)者的設計選擇。更具體地，本領域技術人員可以明白軟件進程可被變換成等價的硬件結構，而硬件結構本身可被變換成等價的軟件進程。由此，對于硬件實現(xiàn)還是軟件實現(xiàn)的選擇是設計選擇之ー并留給實現(xiàn)者。在圖4B中，計算環(huán)境220包括通常包括各種計算機可讀介質的計算機241。計算機可讀介質可以是能被計算機241訪問的任何可用介質，而且包含易失性和非易失性介質、可移動和不可移動介質。系統(tǒng)存儲器222包括諸如ROM 223和RAM 260之類的易失性和/或非易失性存儲器形式的計算機存儲介質。包含諸如在啟動期間幫助在計算機241內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)224 (BIOS)通常儲存儲在ROM 223中。RAM 260通常包含處理單元259可立即訪問和/或當前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖4B示出了操作系統(tǒng)225、應用程序226、其他程序模塊227，以及程序數(shù)據(jù)228。計算機241也可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介質。只作為示例，圖4B示出了讀寫不可移動非易失性磁性介質的硬盤驅動器238、讀寫可移動非易失性磁盤254的磁盤驅動器239、以及讀寫諸如CDROM或其他光學介質之類的可移動的非易失性光盤253的光盤驅動器240。可在示例性操作環(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算機存儲介質包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅動器238通常通過諸如接口 234之類的不可移動存儲器接口連接到系統(tǒng)總線221，并且磁盤驅動器239和光盤驅動器240通常通過諸如接口235之類的可移動存儲器接口連接到系統(tǒng)總線221。
上面所討論的并且在圖4B中所示出的驅動器以及它們的相關聯(lián)的計算機存儲介質，為計算機241提供了計算機可讀的指令、數(shù)據(jù)結構、程序模塊及其他數(shù)據(jù)的存儲。例如，在圖4B中，硬盤驅動器238被示為存儲了操作系統(tǒng)258、應用程序257，其他程序模塊256，以及程序數(shù)據(jù)255。注意，這些組件可與操作系統(tǒng)225、應用程序226、其他程序模塊227和程序數(shù)據(jù)228相同，也可與它們不同。在此操作系統(tǒng)258、應用程序257、其他程序模塊256以及程序數(shù)據(jù)255被給予了不同的編號，以說明至少它們是不同的副本。用戶可通過諸如鍵盤251和定點設備252 (通常稱為鼠標、跟蹤球或觸摸墊)之類的輸入設備將命令和信息輸入計算機241。其他輸入設備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他輸入設備通常通過耦合到系統(tǒng)總線的用戶輸入接口 236連接到處理單元259，但也可通過諸如并行端口、游戲端口或通用串行總線(USB)之類的其他接口和總線結構來連接。相機26、28和捕捉設備20可為控制臺100定義附加輸入設備。監(jiān)視器242或其他類型的顯示設備也通過諸如視頻接口 232之類的接口連接至系統(tǒng)總線221。除了監(jiān)視器以外，計算機還可包括諸如揚聲器244和打印機243之類的其他外圍輸出設備，它們可通過輸出外圍接口 233來連接。計算機241可使用到一個或多個遠程計算機(諸如，遠程計算機246)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠程計算機246可以是個人計算機、服務器、路由器、網(wǎng)絡PC、對等設備或其他公共網(wǎng)絡節(jié)點，通常包括上文參考計算機241所描述的許多或全部元件，但是圖4B中只示出了存儲器存儲設備247。圖4B中所描繪的邏輯連接包括局域網(wǎng)(LAN)245和廣域網(wǎng)(WAN) 249，但是也可以包括其他網(wǎng)絡。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計算機網(wǎng)絡、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當在LAN聯(lián)網(wǎng)環(huán)境中使用時，計算機241通過網(wǎng)絡接口或適配器237連接到LAN245。當在WAN聯(lián)網(wǎng)環(huán)境中使用時，計算機241通常包括調(diào)制解調(diào)器250或用于通過諸如因特網(wǎng)等WAN 249建立通信的其他手段。調(diào)制解調(diào)器250可以是內(nèi)置的或外置的，可經(jīng)由用戶輸入接口 236或其他適當?shù)臋C制連接到系統(tǒng)總線221。在聯(lián)網(wǎng)環(huán)境中，相對于計算機241所示的程序模塊或其部分可被存儲在遠程存儲器存儲設備中。作為示例而非限制，圖4B示出了駐留在存儲器設備247上的遠程應用程序248。應當理解，所示的網(wǎng)絡連接是示例性的，并且可使用在計算機之間建立通信鏈路的其他手段。以下將參考圖5的流程圖來描述本發(fā)明技術的ー實施例。以下步驟可由與計算環(huán)境12相關聯(lián)的處理器101 (圖4A)或299 (圖4B)來執(zhí)行。在步驟300，該系統(tǒng)跟蹤進入捕捉設備20的視野的用戶。如上所示，設備20能夠跟蹤視野中的用戶并生成他們的移動的骨架模型。在步驟304，該系統(tǒng)檢測用戶占用該系統(tǒng)。在各實施例中，這樣的占用可通過用戶將ー只手或雙手舉到在本文中被稱為物理交互區(qū)的區(qū)域中來檢測。物理交互區(qū)是用戶18的物理空間中的該用戶最可能從中與UI 19進行交互的區(qū)域。然而,在各實施例中，該系統(tǒng)在確定用戶是否占用系統(tǒng)10時可以分析各種因素。這些因素可共同造成一置信度水平，并且在該置信度水平高于某ー預定閾值時，該系統(tǒng)檢測到占用。這些因素可包括用戶的身體移動(移動全身對只移動手降低置信度)；用戶的身體定向(面對相機増加置信度)；哪一只手在物理交互區(qū)中(手在用戶面向相機的一側增加置信度)；以及用戶最后脫離(disengage)的方式和時間(増加的時間降低置信度)。這ー置信度水平可隨時間累積，并且在該置信度水平總和超過某一所設立的閾值時，該系統(tǒng)檢測 到占用。在用戶嘗試占用但置信度尚未達到這ー閾值的簡短時間中，可以提供實時反饋(例如，光標逐漸出現(xiàn))以指示該系統(tǒng)正在識別該用戶但尚未授予姿勢控制。在建立了占用之后，在步驟306,該系統(tǒng)檢測用戶跟蹤到目標UI對象。具體而目，該系統(tǒng)感測到用戶正指向一目標n対象。在各實施例中，n對象可以是控制柄21。該系統(tǒng)可依賴于用戶來實現(xiàn)正確的指向運動，以使光標25處于目標控制柄21上方中心。在其他實施例中，控制柄21實際上可具有引力。因而，基于包括光標25與控制柄21的鄰近度的各因素，計算環(huán)境可以將光標拉到控制柄21，從而提供與用戶需要有多精確地將光標25定位在控制柄21正上方有關的誤差裕量。在一另選的實施例中，該引力可能不影響光標的位置。相反，如果光標滿足了以下解釋的ー個或多個準則，光標可改為呈現(xiàn)出它好像在控制柄上方懸停的屬性。例如，控制柄和/或光標的外觀可改變，并且可以向用戶顯示視覺啟示和反饋，該啟示和反饋向該用戶示出他或她可如何與控制柄進行交互。圖6示出其中在控制柄21周圍模擬引力的實施例。在這樣的實施例中，在步驟324，該系統(tǒng)檢測用戶跟蹤到目標控制柄。在步驟326，該系統(tǒng)確定光標25是否滿足了被拉到控制柄21并處于控制柄21上方中心的準則。如果光標滿足步驟326的準則，則在步驟330中，它能處于目標對象上方的中心并輕輕保持在其上方(輕輕保持意味著需要比在光標未處于控制柄上方中心時移動光標所需的手移動更加顯著的手移動才能移動光標)。此時，控制柄和/或光標的外觀也可改變以指示控制柄的激活，并且可以向用戶顯示視覺啟示和反饋?；蛘?，如同下面解釋的，光標的位置可保持不變，但控制柄可激活，并且可以提供視覺啟示和反饋。在步驟326中應用的與光標25是否被控制柄21的引力所捕捉有關的準則可包括光標25與控制柄21的鄰近度，以使得鄰近度越近，它越可能被拉向控制柄。該準則可包括用戶的指向手相對于他或她的身體的深度的改變，以便越來越靠近捕捉設備20的移動使得光標更可能被拉到控制柄。并且該準則可包括靠近控制柄所花費的時間，其中靠近控制柄所花費的時間越長，光標越可能被拉到控制柄。在其他實施例中，可以應用其他準則。在各實施例中，光標25在被拉到控制柄時維持它的形狀。在其他實施例中，光標25可被拉到控制柄或可不被拉到控制柄，但光標可變化或改變形狀以指示它占用了控制柄。返回圖5，一旦用戶跟蹤到目標控制柄，在步驟308，該系統(tǒng)檢測用戶附連到目標控制柄。如上所示，在光標位于控制柄上方時，計算環(huán)境12隨后可感測附連到該對象，其中用戶將他或她的手沿z軸移動得更近。作為替換或補充，該用戶可以執(zhí)行附連運動(將手指從張開移動到握住位置)，該姿勢被解釋為用戶附連到光標處于其上方中心的對象。感測用戶希望占用控制柄的其他方法包括在物理活動區(qū)內(nèi)定義特定熱點，其中用戶知道將他或她的手放在該特定熱點以附連到控制柄并且簡單地在對象上方懸停預定時間段。感測用戶希望占用控制柄的其他方法可在其他實施例中中提供。一旦用戶附連到控制柄(或者另選地，在光標很近時)，在步驟310，該系統(tǒng)可以顯示該控制柄21的啟示?？刂票?1可包括各種各樣的啟示，一些啟示在圖I和圖8到9中示出。在圖I中，啟示是導軌27，該導軌示出用戶可抓住控制柄并將它向左側滑動(從圖I的視角看)。這通過用戶一旦抓住控制柄21則將他或她的手向左側移動來實現(xiàn)。一旦抓住了控制柄，則控制柄對于給定手移動所移動得長度可以是與對于在顯示畫面上移動其他對 象相同的比率、較不敏感(即，對于給定手移動，控制柄移動得更少)、或更敏感(即，對于給定手移動，控制柄移動得更多)。導軌27 —般是一旦用戶附連或幾乎附連到給定控制柄21則與該控制柄相關聯(lián)地顯示的圖形對象，它示出用戶可如何操縱該控制柄。導軌可具有箭頭，以闡明可以對控制柄實現(xiàn)的運動。在各實施例中，導軌27可以是水平和/或垂直的，以示出相關聯(lián)的控制柄可被水平地和/或垂直地操縱。在其他示例中，導軌27不必是水平或垂直的。例如，導軌可示出用戶能在對角線上移動控制柄，或一般地在x_y平面內(nèi)移動控制柄。導軌27還可示出可以在非直線方向上操縱控制柄，如圓形運動。圖8示出了圖2的屏幕圖示，但是是在用戶已經(jīng)附連到屏幕上方附近的控制柄21之后的某一時間。如此，導軌27a和27b被顯示給用戶。導軌27a示出用戶可向上或向下移動控制柄。與對控制柄21的這種操縱相關聯(lián)的動作將會是在動作區(qū)域23中向上或向下滾動文本菜單。導軌27b示出用戶可將控制柄向右移動(從圖8的視角來看)。與對控制柄21的這一操縱相關聯(lián)的動作將會是在動作區(qū)域23中滾動到菜單項的子標題處，控制柄然后將位于該處。一旦滾動到子標題，可出現(xiàn)新的水平導軌，以向用戶示出他或她可將控制柄向左移動(從圖8的視角來看)以返回到下一更高級別的菜單。圖9示出了圖2的屏幕圖示，但是是在用戶已經(jīng)附連到屏幕底部附近的控制柄21a、21b之后的某一時間。如此，導軌27c和27d被顯示給用戶?？刂票?1a、21b以及導軌27c、27d被一起顯示在槽的角落處，示出用戶能夠用雙手選擇該槽(一只手在一個控制柄上)。圖9還示出朝向n 19的任一側的控制柄21c和21d。對控制柄21c的占用并將控制柄21c向左移動(從圖9的視角來看)實現(xiàn)了將槽29向左滾動的動作。對控制柄21d的占用并將控制柄21d向右移動(從圖9的視角來看)實現(xiàn)了將槽29向右滾動的動作。返回圖5的流程圖，在用戶附連到控制柄并向用戶示出了啟示之后，用戶可在步驟311操縱控制柄或在步驟314決定釋放該對象。在步驟311，如果用戶選擇操縱對象，則在步驟312執(zhí)行該操縱。在上文參考圖8和9已經(jīng)解釋了對控制柄21的一些操縱和相關聯(lián)的動作。然而，一般而言，對控制柄21的操縱可涉及沿X軸和/或y軸滑動控制柄、沿z軸拉控制柄、以圓形運動來轉動控制柄、或使用該控制柄作為x-y平面中的操縱桿。下文解釋了用于執(zhí)行具體動作的具體控制柄?，F(xiàn)在將參考圖7更詳細地解釋對控制柄21的操縱。在步驟338，一旦用戶附連到特定控制柄，則該系統(tǒng)可尋找用戶的移動。在步驟338，如果檢測到運動，則在步驟340，該系統(tǒng)尋找與用戶所執(zhí)行的運動相匹配的預定義姿勢。如果找到該控制柄所允許的這樣的預定義姿勢，則在步驟346相對于相關聯(lián)的動作區(qū)域23來執(zhí)行該動作。使用控制柄的ー個優(yōu)點是只有某些預定義姿勢將適用于該控制柄。因而，如同下面解釋的，盡管可能存在計算環(huán)境12已知的各種各樣的姿勢，取決于所選的特定控制柄21，計算環(huán)境12需要關注的預定義姿勢的數(shù)量被縮減了。本領域技術人員將理解分析用戶位置和移動以確定用戶的位置和/或移動是否符合預定義的姿勢的各種方法。這些方法例如在以上合并的申請第12/475，308號以及題為 “Gesture-Controlled Interfaces For Self-Service Machines And OtherApplications”(用于自助機器和其他應用的姿勢控制的界面)的美國專利申請公開第2009/0074248號中有公開，該公開通過整體引用結合于此。然而，一般而言，用戶位置和移動由捕捉設備20來檢測。從該數(shù)據(jù)中，可以收集與每一身體部分的位置/移動有關的各種 參數(shù)并將其轉發(fā)給計算環(huán)境12內(nèi)的姿勢識別引擎。姿勢識別引擎190將該位置/移動參數(shù)與所存儲的姿勢的庫進行比較，以確定是否存在高于閾值置信度水平的匹配。如果是，則說用戶執(zhí)行了相匹配的姿勢并采取相關聯(lián)的動作。除了顯著減少姿勢識別引擎需要查找的所存儲的姿勢的數(shù)量之外，使用控制柄來占用對象還顯著地降低了與是否執(zhí)行了給定姿勢有關的虛假肯定和虛假否定的風險。具體而言，通過限制可針對給定控制柄21執(zhí)行的可能姿勢的集合，不檢查可能被錯誤地標識的其他姿勢。如上所示，控制柄21可被寬泛地分類成屬于定義可如何占用控制柄的幾組之一。即，控制柄可以是單手控制柄、雙手控制柄、或兩手成對控制柄。然而，控制柄21還可被分解成特定類型的動作，其中它們使得在它們相關聯(lián)的動作區(qū)域23上執(zhí)行這些動作或由它們相關聯(lián)的動作區(qū)域23執(zhí)行這些動作。即，特定一個或多個控制柄被基于動作區(qū)域可以執(zhí)行的動作和可以在動作區(qū)域上執(zhí)行的動作來分配給該特定動作區(qū)域。因而，例如，當動作區(qū)域旨在向上、向下、或向側方滾動時，該動作區(qū)域將被分配了專門識別執(zhí)行這些動作的姿勢的控制柄，即當用戶附連到該控制柄時用戶的手上移、下移、或向側方移動。下文是可處于針對給定控制柄識別的姿勢集合中的ー些姿勢。下文不g在作為可被應用于給定控制柄的所有可能姿勢的窮盡性列表。最常見地，在動作區(qū)域23上執(zhí)行動作或由動作區(qū)域23執(zhí)行動作所需的姿勢只是沿其導軌之一移動控制柄21。執(zhí)行這一點的用戶運動將僅僅是在用戶附連到控制柄時沿導軌的方向移動他或她的手。然而，可以想到，可針對給定控制柄來識別不僅僅涉及沿其導軌滑動控制柄的其他姿勢。下文描述了多個控制柄名稱，這些名稱描述了在動作項上執(zhí)行的或由動作項執(zhí)行的與該控制柄相關聯(lián)的動作。 轉動控制柄-用戶占用轉動控制柄，并且取決于它所適用的特定動作區(qū)域，能夠在三個平面(x-y、y_z以及x-z)中的任一平面中執(zhí)行圓形姿勢。這ー控制柄可被用于槽或列表導航，并且通過將對象映射到圓上的點，可被調(diào)節(jié)以用于細粒度控制或加速控制。 滑塊控制柄(單向和雙向)-可以在ー個或兩個方向上操縱的單維度控制柄，如相關聯(lián)的導軌所示。向后控制柄(如圖I所示)是單向滑塊控制柄的示例，而列表滾動條滑塊控制柄(例如圖9中所示的)是雙向滑塊控制柄的示例。 虛擬操縱桿控制柄-可以模擬控制器D-墊狀態(tài)并可被用于UI導航的多維和多向控制柄。用戶可以在從ー個狀態(tài)轉移到下一狀態(tài)之前穿過或不穿過中性中心點。 下拉菜單控制柄-在被占用時展現(xiàn)附加n的部分屏上控制柄。這例如可被用來帶出要從中選擇的各項的快速啟動面板。 上下文菜單控制柄(也被稱為標記菜單控制柄)-通過占用動作區(qū)域中的對象并在三個方向(上、左或右)之一上拉動它來帶出的控制柄。用戶可通過在向下方向上移動來脫離該控制柄，如同下面解釋的。 按鈕控制柄-附連到對象的簡單控制柄，該控制柄只需要用戶通過占用它來選中它，以使得執(zhí)行ー動作。不必需要后續(xù)導軌或用戶操縱來完成該交互。
拖放(自由形式)控制柄-其在屏上和3D空間中的位置能夠通過占用和操縱控制柄視覺表示到新位置來改變的控制柄。 剝除(后退和槽)控制柄-可作為顯示UI 19的對象或背景場景的一部分的集成控制柄。對該控制柄的直接交互和操縱可以展現(xiàn)先前場景或顯示畫面(在后退導航的情況下)，或對象的附加數(shù)據(jù)(例如槽)。 兩手拉開控制柄-需要使用兩只手的選擇機制。在用戶占用控制柄之ー時，提供反饋以告知他使用另ー只手。一旦使用了兩只手，則通過將兩手拉開直至達到兩導軌的末端來完成該姿勢。 兩手輕拍控制柄-同樣需要使用兩只手的控制柄，但通過將兩只手彼此朝對方移動來執(zhí)行該姿勢。視覺導軌和槽的模擬移動通知用戶他要多近才能完成該姿勢。 摩擦控制柄-在它被占用后允許直接操縱項目列表的控制柄。這允許對較少數(shù)量的內(nèi)容項的更細粒度的操縱。 變速控制柄-類似于虛擬操縱桿的多維、多向控制柄，但該變速控制柄g在支持多個平行的次級方向，每一次級方向垂直于主方向(如同字母“E”的形狀)。 棘輪控制柄-類似于滑塊的控制柄，但它允許沿ー軌跡重復運動而不脫離。給定以上公開內(nèi)容，本領域技術人員將明白可被用來對動作區(qū)域對象或背景執(zhí)行附加動作的附加控制柄。再次參考圖5，在用戶操縱控制柄來實現(xiàn)了給定動作之后(或者在步驟311，如果用戶決定不操縱該對象)，則在步驟314，用戶可釋放該控制柄。在各實施例中，在完成姿勢之后，控制柄可被自動釋放?；蛘撸瑢τ趯ο蟮尼尫趴闪磉x地由用戶對系統(tǒng)的某一手動動作來指示。這樣的手動動作包括用戶的手沿z軸向遠處移動、向物理交互性的區(qū)域中的特定熱點移動或移出該熱點、用戶的手移動特定距離或在不支持的方向上移動、或某一其他用戶運動。在各實施例中，所模擬的引力可使得用戶執(zhí)行比釋放不具有該模擬引力的其他對象本來所需的運動更大的運動才能脫離控制柄。如果未檢測到釋放，則在步驟312，該系統(tǒng)再一次尋找其他對象操縱。在步驟314，如果用戶釋放對象，則在步驟316，該系統(tǒng)查看用戶是否脫離交互，如通過放下他們的手。如果未檢測到這樣的脫離，則該系統(tǒng)返回步驟306以尋找跟蹤到對象(它可以與先前附連到的對象相同或不同)。在步驟316，如果用戶脫離，則在步驟320，該系統(tǒng)檢查用戶是否離開視野。如果未離開視野，則該系統(tǒng)返回步驟304以檢測其他用戶占用。另一方面，如果用戶離開視野，則該系統(tǒng)返回步驟300以跟蹤用戶何時再次進入視野。在各實施例中，取決于用戶處于圖5的流程圖中的何處，控制柄的外觀可以變化。當視野中沒有用戶時，沒有控制柄是可見的。一旦在視野中檢測到用戶，則可顯示控制柄。最初它們可以帶著光來顯示，以告知用戶n 19上的哪些位置具有控制柄21。此后，控制柄可保持中性，直至用戶接近它為止，此時，它可發(fā)光以示出識別到該接近。此后，一旦用戶懸停在控制柄上方，則控制柄的外觀可以改變，一旦用戶嘗試附連到它，它可再次改變，在用戶附連到它之后它可又一次改變，并且一旦用戶操縱它則它可又一次改變。在其他實施例中,這些改變中的一些或全部可被省略。給定以上描述，本發(fā)明技術提供了一種允許與人機界面系統(tǒng)中的屏上對象和動作區(qū)域容易地進行交互的系統(tǒng)?？刂票峁┑娘@式占用點以及對可被應用的姿勢的縮減， 提供了具有低虛假肯定和否定的高度可靠的系統(tǒng)。該系統(tǒng)還易于使用。清楚的啟示示出了什么能被附連到以及一旦附連到控制柄則可以用它怎么做和做什么。交互易于記住且易于執(zhí)行。交互也是一致的，使得對如何使用該系統(tǒng)的一部分的學習允許使用整個系統(tǒng)。本發(fā)明系統(tǒng)的前述詳細描述是出于說明和描述的目的而提供的。這并不旨在窮舉本發(fā)明系統(tǒng)或將本發(fā)明系統(tǒng)限于所公開的精確形式。鑒于上述教導，許多修改和變型都是可能的。選擇所述實施例以最好地解釋本發(fā)明系統(tǒng)的原理及其實踐應用，從而允許本領域技術人員能夠在各種實施例中并采用各種適于所構想的特定用途的修改來最好地利用本發(fā)明系統(tǒng)。本發(fā)明系統(tǒng)的范圍旨在由所附權利要求書來定義。
權利要求
1.在包括耦合到用于捕捉用戶位置并提供人機界面的捕捉設備的計算環(huán)境的系統(tǒng)中，一種便于用戶與所述人機界面的顯示畫面的區(qū)域的交互的方法，所述方法包括 (a)生成與所述界面的所述區(qū)域相關聯(lián)的控制柄； (b)經(jīng)由相機感測用戶移動來檢測所述用戶占用在所述步驟(a)生成的所述控制柄； (C)接收所述用戶的姿勢的指示；以及 (d)響應于所述步驟(C)對所述用戶界面的所述區(qū)域執(zhí)行動作。
2.如權利要求I所述的方法，其特征在于，所述步驟(a)包括在所述用戶界面的所述區(qū)域上顯示所述控制柄的步驟。
3.如權利要求I所述的方法，其特征在于，所述步驟(a)包括在所述用戶界面的所述區(qū)域附近顯示所述控制柄的步驟。
4.如權利要求I所述的方法，其特征在于，所述步驟(a)包括將所述控制柄集成為所述用戶界面的所述區(qū)域的一部分以便不顯示分開的控制柄的步驟。
5.如權利要求I所述的方法，其特征在于，檢測所述用戶占用所述控制柄的所述步驟(b)是通過模擬所述控制柄周圍的將光標拉向所述控制柄的引力來促進的，在所述光標被拉到所述控制柄后檢測到占用。
6.如權利要求I所述的方法，其特征在于，生成與所述用戶界面的所述區(qū)域相關聯(lián)的控制柄的所述步驟(a)包括在檢測到用戶在占用控制柄時所執(zhí)行的姿勢之后，基于要對所述區(qū)域執(zhí)行的動作來將所述控制柄與所述區(qū)域相關聯(lián)的步驟。
7.如權利要求I所述的方法，其特征在于，還包括顯示與所述控制柄相關聯(lián)的指示用戶可如何與在所述步驟(a)中生成的控制柄進行交互的啟示的步驟(f)。
8.一種耦合到用于捕捉用戶位置并提供人機界面的捕捉設備的計算環(huán)境的處理器可讀存儲介質，所述處理器可讀存儲介質將處理器編程成執(zhí)行ー種便于用戶與所述人機界面的顯示畫面的動作區(qū)域進行交互的方法，所述方法包括 (a)在所述顯示畫面上顯示與所述界面的所述區(qū)域相關聯(lián)的圖形控制柄，所述圖形控制柄提供用于占用所述動作區(qū)域的顯式占用點，并且所述圖形控制柄定義在接收到用戶執(zhí)行的預定義的姿勢之后用戶可如何與所述動作區(qū)域進行交互； (b)作為檢測到所述用戶的位置的結果，接收所述用戶正跟蹤所述控制柄的指示； (C)在用戶跟蹤到所述控制柄時，建立對所述控制柄的占用； (d)接收所述用戶的姿勢的指示； (e)當在所述步驟(d)中接收到的所述姿勢指示與所述步驟(a)的所述預定義姿勢相匹配時，相對于所述顯示畫面的所述動作區(qū)域執(zhí)行所述圖形控制柄所定義的動作。
9.如權利要求8所述的處理器可讀存儲介質，其特征在干，所述方法還包括顯示定義在建立對所述控制柄的占用的所述步驟(b)之后用戶可如何與所述控制柄進行交互的啟示的步驟(f)。
10.如權利要求9所述的處理器可讀存儲介質，其特征在于，所述步驟(f)包括顯示示出所述控制柄可被移動的方向的導軌的步驟。
11.如權利要求10所述的處理器可讀存儲介質，其特征在干，接收所述用戶的姿勢的指示的所述步驟(d)包括接收在由所述步驟(f)中的導軌所定義的方向上移動所述控制柄的姿勢的步驟。
12.如權利要求11所述的處理器可讀存儲介質，其特征在于，所述步驟(e)包括在接收到向上、向下、向左、或向右移動所述控制柄的所述指示的所述步驟⑷之后導航通過對象的菜單的步驟。
13.ー種在具有耦合到用于捕捉用戶位置的捕捉設備并耦合到顯示畫面的計算環(huán)境的計算機系統(tǒng)中的人機界面，包括 所述顯示畫面上的動作區(qū)域，所述動作區(qū)域能夠進行以下操作中的至少ー個執(zhí)行動作和使得對它執(zhí)行動作； 顯示在所述顯示畫面上并與所述動作區(qū)域相關聯(lián)的控制柄，所述控制柄提供動作區(qū)域的顯式占用點并定義用戶如何與所述動作區(qū)域進行交互；以及 顯示在所述顯示畫面上的、與所述控制柄相關聯(lián)的、用于定義用戶如何操縱所述控制柄的導軌。
14.如權利要求13所述的人機界面，其特征在于，所述動作區(qū)域是導航菜單，并且所述控制柄定義穿過所述導航菜單的導航路徑。
15.如權利要求13所述的人機界面，其特征在于，在所述控制柄周圍生成模擬的力，以使得用戶對所述控制柄的占用更易于建立。
全文摘要
公開了一種用于提供屏上圖形控制柄以控制用戶與屏上對象之間的交互的系統(tǒng)?？刂票x用戶可對對象執(zhí)行什么動作，如滾動文本或圖形導航菜單。提供啟示來引導用戶通過與控制柄進行交互的過程。
文檔編號G06F3/048GK102770828SQ201180008874
公開日2012年11月7日 申請日期2011年2月8日 優(yōu)先權日2010年2月9日
發(fā)明者A·基普曼, A·普洛斯, A·瓦賽爾, A·達亞爾, A·馬汀格利, B·克蘭普, C·克萊因, J·希爾, J·馬戈利斯 申請人:微軟公司