專利名稱:用于演示的相機(jī)導(dǎo)航的制作方法
用于演示的相機(jī)導(dǎo)航背景諸如計算機(jī)游戲、多媒體應(yīng)用、辦公應(yīng)用等許多計算應(yīng)用使用控制來允許用戶操縱游戲角色或應(yīng)用的其他方面。通常使用例如控制器、遙控器、鍵盤、鼠標(biāo)等等來輸入這樣的控制。例如,演示管理通常涉及用于與控制器/點擊器交互和/或直接與正在演示的計算設(shè)備的用戶交互。這些控制方法具有各種缺點。例如,這些控制可能是難以學(xué)習(xí)的,由此造成了用戶和這些游戲及應(yīng)用之間的障礙??刂破魍ǔ>哂杏邢迶?shù)量的按鈕,因此可用的導(dǎo)航是有限的,并且各種類型的命令在點擊器的不同類型和能力之間可以是廣泛不同的。在演示的同時使用控制器可能分散觀看者的注意力。并且,為了在多個用戶之間共享對演示的控制,用戶必須各自具有對控制器的訪問權(quán)和/或分發(fā)控制器。概述 此處公開了用于管理基于姿勢的系統(tǒng)中的信息演示的技術(shù),其中姿勢是從用戶身體在物理空間中的姿態(tài)或運動導(dǎo)出的。用戶可使用姿勢來控制演示信息的方式或以其他方式與基于姿勢的系統(tǒng)交互。例如,捕捉設(shè)備可捕捉表示用戶姿勢的數(shù)據(jù),并且可采用姿勢識別技術(shù)來識別可適用于控制基于姿勢的系統(tǒng)的各方面的姿勢。信息的演示者可經(jīng)由化身或其他視覺表示來結(jié)合到演示中。由此,用戶以能夠與信息演示交互的視覺表示的形式沉靜于系統(tǒng)中。演示的觀眾可以類似地沉浸于系統(tǒng)中。由此,包括演示者和觀察者兩者的用戶在系統(tǒng)中的沉浸提供了用戶之間的虛擬關(guān)系,這比信息的簡單顯示更具交互性。用戶可使用控制該系統(tǒng)的各方面的姿勢來向觀眾演示信息,或者多個用戶可使用姿勢來一起工作以共享對系統(tǒng)的控制。由此,在一示例實施例中,單個用戶能夠經(jīng)由姿勢來控制對觀眾的信息演示。在另ー示例實施例中,多個參與者能夠經(jīng)由捕捉設(shè)備所捕捉到的姿勢來共享對演示的控制,或以其他方式與系統(tǒng)交互以控制演示的各方面。姿勢可以適用于各種演示格式。在一示例實施例中,姿勢控制包括非順序信息格式的演示應(yīng)用的各方面。提供本概述以便以簡化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的ー些概念。本概述并不g在標(biāo)識所要求保護(hù)主題的關(guān)鍵特征或必要特征,也不g在用于限制所要求保護(hù)主題的范圍。附圖簡述當(dāng)結(jié)合附圖進(jìn)行閱讀時,可以更好地理解以上概述以及以下對說明性實施例的詳細(xì)說明。出于說明各實施例的目的,在附圖中示出各實施例的示例性構(gòu)造;然而,各實施例不局限于所公開的具體方法和手段。在附圖中圖I示出目標(biāo)識別、分析、及跟蹤系統(tǒng)以及正在玩游戲的用戶的示例實施例。圖2A和2B各自示出了共享的演示體驗的示例實施例。圖2C描繪了示例目標(biāo)識別、分析和跟蹤系統(tǒng)以及物理空間中的多個用戶和每ー個用戶的視覺表示的顯示的示例實施例。圖2D和2E分別從側(cè)視圖和俯視圖描繪了示例目標(biāo)識別、分析和跟蹤系統(tǒng),以及用戶經(jīng)由定點聚焦功能進(jìn)行交互的示例實施例。圖3是通過網(wǎng)絡(luò)的對演示的共享控制的圖示。
圖4示出了可在目標(biāo)識別、分析和跟蹤系統(tǒng)中使用的捕捉設(shè)備的示例實施例。圖5A示出了從諸如圖3所示的目標(biāo)識別、分析和跟蹤系統(tǒng)生成的用戶的骨架映射。圖5B示出了諸如圖4所 示的姿勢識別器架構(gòu)的附加細(xì)節(jié)。圖6描繪了建立共享演示體驗并且生成視覺表示以便在物理空間中表示多個用戶的方法的示例流程圖。圖7示出了其中可實現(xiàn)本文描述的技術(shù)的計算環(huán)境的示例實施例。圖8示出了其中可實現(xiàn)本文描述的技術(shù)的計算環(huán)境的另ー示例實施例。說明性實施例的詳細(xì)描述此處公開了用于經(jīng)由姿勢來管理對觀眾的信息演示的技木。所公開的實施例的主題用細(xì)節(jié)來描述以滿足法定的要求。然而,該描述本身并非_在限制本專利的范圍。相反,所要求保護(hù)的主題可結(jié)合其它當(dāng)前或未來技術(shù)按照其它方式來具體化,以包括與本文中所描述的元素相類似的元素。姿勢可以從用戶在物理空間中的位置或運動中導(dǎo)出,并且可包括任何動態(tài)或靜態(tài)的用戶運動,諸如跑步、移動手指或靜態(tài)姿態(tài)。根據(jù)ー示例實施例,諸如相機(jī)等捕捉設(shè)備可捕捉用戶圖像數(shù)據(jù),包括表示用戶的姿勢的數(shù)據(jù)。計算機(jī)環(huán)境可用于識別和分析用戶在該用戶的三維物理空間中作出的姿勢,以使得該用戶的姿勢可被解釋成控制系統(tǒng)或應(yīng)用空間的各方面。計算機(jī)環(huán)境可通過將用戶的姿勢映射到屏幕上的化身來顯示用戶反饋。基于姿勢的系統(tǒng)可采用使用姿勢來管理或控制信息演示的技術(shù)。用戶可使用姿勢來控制演示信息的方式或以其他方式與基于姿勢的系統(tǒng)交互。在一示例實施例中,單個用戶能夠經(jīng)由姿勢來控制對觀眾的信息演示。在另ー示例實施例中,多個參與者能夠經(jīng)由捕捉設(shè)備所捕捉到的姿勢來共享對演示的控制,或以其他方式與系統(tǒng)交互以控制演示的各方面。演示管理的系統(tǒng)、方法、技術(shù)和組件可以被實現(xiàn)在諸如游戲控制臺之類的多媒體控制臺或者期望顯示目標(biāo)的視覺表示的任何其他計算環(huán)境中,作為示例但非限制,這些其他計算環(huán)境包括衛(wèi)星接收機(jī)、機(jī)頂盒、電子游戲機(jī)、個人計算機(jī)(PC)、便攜式電話、個人數(shù)字助理(PDA)、以及其他手持式設(shè)備。圖I示出了目標(biāo)識別、分析和跟蹤系統(tǒng)10的配置的示例實施例,該目標(biāo)識別、分析和跟蹤系統(tǒng)10可以采用所公開的用于使用戶沉浸于允許經(jīng)由姿勢來進(jìn)行交互的基于姿勢的系統(tǒng)中的技術(shù)。在該示例實施例中,用戶18正在玩保齡球游戲。在示例性實施例中,系統(tǒng)10可以識別、分析和/或跟蹤諸如用戶18之類的人類目標(biāo)。系統(tǒng)10可以收集與物理空間中用戶的運動、面部表情、身體語言、情緒等相關(guān)的信息。例如,系統(tǒng)可以標(biāo)識并掃描人類目標(biāo)18。系統(tǒng)10可以使用身體姿態(tài)識別技術(shù)來標(biāo)識人類目標(biāo)18的體型。系統(tǒng)10可標(biāo)識用戶18的身體部位以及它們?nèi)绾我苿?。如圖I所示,目標(biāo)識別、分析和跟蹤系統(tǒng)10可包括計算環(huán)境212。計算環(huán)境212可以是多媒體控制臺、個人計算機(jī)(PO、游戲系統(tǒng)或控制臺、手持式計算設(shè)備、PDA、移動電話、云計算機(jī)、捕捉設(shè)備等。根據(jù)ー示例實施例,計算環(huán)境212可包括硬件組件和/或軟件組件以使得計算環(huán)境212可用于執(zhí)行應(yīng)用。應(yīng)用可以是操作或由計算環(huán)境執(zhí)行的任何程序,包括游戲和非游戲應(yīng)用,諸如文字處理程序、電子表格、媒體播放器、數(shù)據(jù)庫應(yīng)用、計算機(jī)游戲、視頻游戲、聊天、論壇、社區(qū)、即時消息收發(fā),等等。如圖I所示,目標(biāo)識別、分析和跟蹤系統(tǒng)10還可包括捕捉設(shè)備202。捕捉設(shè)備202可以是例如相機(jī),該相機(jī)可用于在視覺上監(jiān)視諸如用戶18等一個或多個用戶,以使得可以捕捉、分析并跟蹤一個或多個用戶所執(zhí)行的姿勢,以執(zhí)行應(yīng)用中的ー個或多個控制或動作。在圖I所示的示例實施例中,虛擬物體是保齡球且用戶在三維物理空間中移動,就好像實際握有保齡球。物理空間中用戶的姿勢可控制屏幕14上顯示的保齡球17。在各示例實施例中,諸如用戶18等人類目標(biāo)可實際持有一物理物體。在這些實施例中,基于姿勢的系統(tǒng)的用戶可手持物體,使得可使用玩家和物體的運動來調(diào)整和/或控制游戲的參數(shù)。例如,可以跟蹤并利用手持球拍的玩家的運動來控制電子體育游戲中的屏幕上球拍。在另一示例實施例中,可以跟蹤并利用玩家手持物體的運動來控制電子格斗游戲中的屏幕上武器。根據(jù)ー個實施例,目標(biāo)識別、分析和跟蹤系統(tǒng)10可連接到可向諸如用戶18等用戶提供游戲或應(yīng)用視覺和/或音頻的視聽設(shè)備16,如電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。例如,計算環(huán)境212可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器,這些適 配器可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽信號。視聽設(shè)備16可從計算環(huán)境212接收視聽信號,然后可向用戶18輸出與該視聽信號相關(guān)聯(lián)的游戲或應(yīng)用視覺和/或音頻。根據(jù)ー個實施例,視聽設(shè)備16可經(jīng)由例如,S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜等連接到計算環(huán)境212。如此處所使用的,計算環(huán)境可以指的是單個計算設(shè)備或計算系統(tǒng)。計算環(huán)境可包括非計算組件。如此處所使用的,計算系統(tǒng)、計算設(shè)備、計算環(huán)境、計算機(jī)、處理器或其他計算組件可被互換地使用。例如,計算環(huán)境可包括圖I所示的整個目標(biāo)識別、分析和跟蹤系統(tǒng)
10。計算環(huán)境可包括視聽設(shè)備16和/或捕捉設(shè)備202。示例性的視聽設(shè)備16或捕捉設(shè)備202中的任一個或兩者可以是單獨的、但耦合到計算環(huán)境的實體,或者可以是例如進(jìn)行處理和顯示的計算設(shè)備的一部分。由此,計算環(huán)境可以是包括可處理捕捉到的數(shù)據(jù)的處理器的獨立捕捉設(shè)備。由此,捕捉設(shè)備202可被配備成不僅處理捕捉到的數(shù)據(jù),而且分析并存儲數(shù)據(jù),將數(shù)據(jù)輸出到屏幕,等等。如圖I所示,目標(biāo)識別、分析和跟蹤系統(tǒng)10可用于識別、分析和/或跟蹤諸如用戶18之類的人類目標(biāo)。例如,可使用捕捉設(shè)備202來跟蹤用戶18,使得可將用戶18的姿勢解釋為可用于影響由計算機(jī)環(huán)境212執(zhí)行的應(yīng)用的控制。因而,根據(jù)一個實施例,用戶18可移動他或她的身體來控制應(yīng)用。系統(tǒng)10可以跟蹤用戶的身體以及用戶的身體所作的運動,包括控制諸如應(yīng)用、操作系統(tǒng)等系統(tǒng)的各方面的姿勢。系統(tǒng)10可以將到捕捉設(shè)備202的輸入轉(zhuǎn)化成動畫,該輸入表示用戶的運動,使得該動畫由該輸入來驅(qū)動。從而,用戶的運動可映射到諸如化身等視覺表示,使得物理空間中的用戶運動由該化身來模擬。捕捉并顯示圖像數(shù)據(jù)幀的速率可確定視覺表示的所顯示的運動的連續(xù)性水平。圖I描繪了在計算環(huán)境212上執(zhí)行的、可以是用戶18可能正在玩的保齡球游戲的應(yīng)用的示例實施例。在該示例中,計算環(huán)境212可使用視聽設(shè)備16來向用戶18提供保齡球館和保齡球道的視覺表示。計算環(huán)境212還可使用視聽設(shè)備16來提供用戶18可通過他的或她的移動來控制的玩家化身19的視覺表示。目標(biāo)識別、分析和跟蹤系統(tǒng)10的計算機(jī)環(huán)境212和捕捉設(shè)備202可用于識別和分析用戶18在其三維物理空間中做出的姿勢,使得該用戶的姿勢可被解釋為對游戲空間中的玩家化身19的控制。例如,如圖I所示,用戶18可在物理空間中做出打保齡球運動來使得玩家化身19在游戲空間中做出打保齡球運動。用戶18的其他移動也可被解釋為控制或動作,例如對行走、選擇球、將化身定位在保齡球道上、扔球等的控制。多個用戶可以從遠(yuǎn)程位置彼此交互。計算環(huán)境212可以使用視聽設(shè)備16來提供另ー用戶可以用他或她的移動來控制的玩家化身的視覺表示。例如,視聽設(shè)備16上的另ー保齡球手的視覺表示可以表示另ー用戶,諸如物理空間中的與該用戶在一起的第二用戶或第二物理空間中的聯(lián)網(wǎng)用戶。對于參與該系統(tǒng)的多個用戶而言,各自佩戴沉浸式顯示器或通過捕捉真實世界環(huán)境的顯示來觀看可能是有益的。例如,用戶能夠查看廣闊的環(huán)境區(qū)域或者能夠通過調(diào)整個人沉浸式顯示器來聚焦于環(huán)境中的感興趣的物體或事件。示例沉浸式顯示器是包括捕捉設(shè)備和顯示組件的頭戴式部件(wearable head piece)。姿勢可以在諸如圖I所示的保齡球游戲示例等視頻游戲?qū)S蒙舷挛闹惺褂?。在諸 如駕駛游戲等另一游戲示例中,手和腳的各種運動可對應(yīng)于在一方向上操控車輛、換擋、カロ速和剎車。玩家的姿勢可被解釋為對應(yīng)于除了控制化身19之外的動作的控制,諸如用于在通用計算上下文中進(jìn)行輸入的姿勢。例如,用戶18的手或其他身體部位的各種運動可用于結(jié)束、暫停或保存游戲、選擇級別、查看高分、與朋友交流等。雖然圖I在視頻游戲?qū)S蒙舷挛闹忻枥L用戶,但可以構(gòu)想目標(biāo)識別、分析和跟蹤系統(tǒng)10可解釋用于控制游戲范圍之外的操作系統(tǒng)和/或應(yīng)用的各方面的目標(biāo)移動。操作系統(tǒng)和/或應(yīng)用的基本上任何可控方面都可以通過諸如用戶18之類的目標(biāo)的移動來控制。例如,用戶姿勢可對應(yīng)于常見的系統(tǒng)級任務(wù),如在分層列表中向上或向下導(dǎo)航、打開文件、關(guān)閉文件和保存文件。用戶的姿勢可以是適用于操作系統(tǒng)、游戲的非游戲方面、或非游戲應(yīng)用的控制。例如,用戶的姿勢可被解釋為對象操縱,例如控制用戶界面。例如,考慮具有從左向右垂直排列的葉片(blades)或選項卡式界面的用戶界面,其中對每個葉片或選項卡的選中將打開應(yīng)用或系統(tǒng)內(nèi)的各種控制的選項。該系統(tǒng)可以標(biāo)識出用戶的移動選項卡的手姿勢,其中物理空間中的用戶的手實際上與應(yīng)用空間中的選項卡對齊。包括暫停、抓取運動以及然后的手向左掃動在內(nèi)的姿勢可被解釋成對選項卡的選中、以及然后將其移開以打開下ー選項卡。圖2A和2B示出了可捕捉物理空間201中所示的一個用戶或多個用戶的基于姿勢的系統(tǒng)200的示例實施例。系統(tǒng)200可以從對應(yīng)于對系統(tǒng)200的控制的捕捉到的數(shù)據(jù)中識別姿勢。用戶可使用姿勢來管理信息的演示,或者多個用戶可經(jīng)由姿勢來一起工作以便與所演示的信息協(xié)作。系統(tǒng)200可包括任何數(shù)量的計算環(huán)境、捕捉設(shè)備、顯示器或其任意組合。圖2A所示的系統(tǒng)200包括捕捉設(shè)備202、計算環(huán)境212和顯示設(shè)備222。圖2B所示的系統(tǒng)200表示具有多個計算環(huán)境212、213、214、捕捉設(shè)備202、203、204和顯示器222、223、224的基于姿勢的系統(tǒng)200。計算環(huán)境可以是多媒體控制臺、個人計算機(jī)(PC)、游戲系統(tǒng)或控制臺、手持式計算設(shè)備、PDA、移動電話、云計算機(jī)等,并且可包括或以其他方式連接到捕捉設(shè)備或顯示器。捕捉設(shè)備、計算設(shè)備和顯示設(shè)備可以包括執(zhí)行所需功能的任何合適的設(shè)備,諸如參考上述圖I或下述圖3-8所描述的設(shè)備。圖2A和2B兩者都描繪了可涉及物理空間中的諸如用戶260、261、262、263等多個用戶的用于計算機(jī)管理的生產(chǎn)カ場景的示例。例如,物理空間可以是會議室,并且用戶260、261、262、263可能參加會議或協(xié)調(diào)意見。還可構(gòu)想遠(yuǎn)程用戶可以從諸如沿著大廳的另ー個房間等第二位置,或者從諸如位于另一州的用戶的家或辦公室等甚至更遠(yuǎn)的遠(yuǎn)程位置與系統(tǒng)200交互。以下描述的圖3描繪了允許本地和遠(yuǎn)程用戶兩者都經(jīng)由基于姿勢的系統(tǒng)來進(jìn)行交互以便進(jìn)行這ー場景中的計算機(jī)管理的聯(lián)網(wǎng)環(huán)境的示例。
該上下文中的生產(chǎn)カ場景可以是可經(jīng)由諸如圖2A和2B所示的示例系統(tǒng)等基于姿勢的系統(tǒng)200來管理的任何信息演示的形式。在一示例場景中,用戶260、261、262、263可能正在開會,其中向顯示器222顯示演示應(yīng)用的輸出。信息演示可包括動畫、圖形、文本等,并且在文字處理格式、視頻和/或音頻演示、幻燈片放映、數(shù)據(jù)庫應(yīng)用、媒體播放器、圖表(例如,流程圖、餅圖)、聊天、論壇、社區(qū)、即時消息收發(fā)、或任何其他形式的工作產(chǎn)品中演示。捕捉設(shè)備202可捕捉表示諸如用戶260、261、262、263中的每ー個的姿勢等用戶姿勢的數(shù)據(jù)。如圖2A和2B所示,用戶與系統(tǒng)200或該系統(tǒng)中的特定組件的距離可以是不同的,并且仍舊具有對該系統(tǒng)的各方面的控制。姿勢可被識別為對信息演示的控制。姿勢可控制基于姿勢的系統(tǒng)的各方面。姿勢可控制顯示在屏幕上的任何東西,諸如向文檔添加單詞、向下滾動或在文檔中翻頁、跨越電子表格中的列、對三維圖進(jìn)行樞轉(zhuǎn)或旋轉(zhuǎn)、放大或縮小,等等。例如,考慮顯示器222顯示虛擬粉筆板或干式擦除板,用戶的姿勢可被識別成向屏幕繪制或?qū)懽帜?、在幻燈片放映中的幻燈片之間進(jìn)行切換、暫?;脽羝庞车取S脩艨勺鞒鲎藙菀员阆騱ord文檔添加著重號。姿勢可結(jié)合音頻命令或者音頻命令可補充用戶姿勢。例如,用戶可作出姿勢以便向文檔添加著重號,然后說出隨后被添加到文檔的、在著重號點之后的單詞。系統(tǒng)可將添加著重號和音頻的姿勢的組合識別為添加著重號并且然后將說出的單詞寫到著重號之后的控制。因為用戶可作出姿勢以控制演示,所以用戶在房間中來回走動具有很多靈活性。用戶不被限于使用控制器或必須在計算環(huán)境上直接按下按鈕。然而,可以構(gòu)想對姿勢的使用可以與對控制器/按鈕的使用相結(jié)合以適應(yīng)這兩種類型的控制。除了包括例如身體運動的用戶姿勢之外,一些姿勢可使用經(jīng)由控制器輸入的信息。出于示例性目的,圖2A所示的示例信息演示的快照包括顯示在屏幕上的圖225。考慮諸如用戶261等用戶正向房間中的其他用戶260、262、263和/或遠(yuǎn)程用戶(未示出)演示信息。姿勢可替換或補充對控制器的需求或?qū)芾硌菔镜念愃菩枨?。能夠?jīng)由鼠標(biāo)或點擊器或激光器或話筒或其他外圍設(shè)備完成的應(yīng)用的一方面能夠由姿勢來完成。姿勢可控制先前可能要求用戶具有控制器的基于姿勢的系統(tǒng)的任一方面。例如,姿勢可控制在屏幕上顯示光的虛擬激光器。用戶可以用手指來作出姿勢,而不是使用激光指示器通過將小的亮光點投影在顯示器上來突出顯示感興趣的某ー東西。用戶手指的移動可模擬激光指示器的移動,并且該系統(tǒng)可識別姿勢并且在屏幕上顯示對應(yīng)于手指移動的光點;實際上不需要控制器。姿勢還可控制不同的、或由于其他原因無法用控制器來控制的系統(tǒng)的各方面。例如,控制視覺表示的運動以直接對應(yīng)于用戶在物理空間中的運動是經(jīng)由姿勢可用的,而視覺表示的動畫在需要控制器來進(jìn)行輸入時并不是用戶姿勢的直接轉(zhuǎn)化。圖2B示出了系統(tǒng)200的另ー示例實施例,該系統(tǒng)200可捕捉物理空間201中的用戶并且將捕捉到的數(shù)據(jù)映射到虛擬環(huán)境中的視覺表示。類似于圖2A,系統(tǒng)200包括捕捉設(shè)備202、計算環(huán)境212和顯示設(shè)備222。然而,在該示例中,系統(tǒng)200還包括附加計算環(huán)境,諸如另一捕捉設(shè)備205以及分別與用戶260、263相關(guān)聯(lián)并位于離用戶260、263的近距離內(nèi)的計算環(huán)境213、214,以及分別與計算環(huán)境213,214相關(guān)聯(lián)的捕捉設(shè)備203和204?;谧藙莸南到y(tǒng)中的各種設(shè)備或組件可以經(jīng)由網(wǎng)絡(luò)彼此進(jìn)行信息交換,并且進(jìn)行通信以共享信息。例如,捕捉設(shè)備202、203、204、205以及每ー個計算環(huán)境212、213、214可通過有線或無線連接來進(jìn)行通信,諸如經(jīng)由電纜連接、Wi-Fi連接或家庭無線網(wǎng)絡(luò)。各個捕捉設(shè)備202、203、204、205可以彼此共享捕捉到的數(shù)據(jù),或者中央計算環(huán)境可以聚集數(shù)據(jù)以便處理和解釋數(shù)據(jù)。例如,計算環(huán)境212可以是存儲和執(zhí)行對物理空間中的多個用戶260、261、262、263可見的演示應(yīng)用的計算環(huán)境。計算環(huán)境212可以從系統(tǒng)中的其他組件接收捕捉到的數(shù)據(jù),諸如直接從例如捕捉設(shè)備204或者從例如計算環(huán)境214接收數(shù)據(jù)。顯示器222可以是在房間前部的主顯示器,被選擇成對即使不是房間中的所有用戶,也是對大多數(shù)用戶可見的大小。該顯示器可以是諸如沉浸式設(shè)備等頭戴式顯示器。例如,頭戴式顯示器可以用人造可視環(huán)境來替換用戶的視野。在另ー示例中,用戶視野的僅僅一部分被人造環(huán)境替換。例如,頭戴式顯示器能夠進(jìn)行頭部跟蹤以便在用戶視野的顯示畫 面上疊加信息。該顯示器可取決于用戶頭部對準(zhǔn)的方向來調(diào)整所顯示的圖像。例如,如果用戶正在顯示器上查看地圖,則每一個用戶的頭戴式顯示器都可包括表示用戶正在查看哪里的放大部分。或者,用戶可通過與他或她的個人顯示器進(jìn)行交互來不同于房間中的其他用戶地在演示中導(dǎo)航。由此,虛擬環(huán)境的真實性可使得模擬的環(huán)境更吸引人,其中用戶具有與虛擬現(xiàn)實的更真實和個性化的交互。附連到主顯示器222的計算環(huán)境212可聚集來自捕捉設(shè)備202,203,204,205和計算環(huán)境213、214的數(shù)據(jù),以分析在物理空間中捕捉到的數(shù)據(jù)的匯編。姿勢可以從聚集的數(shù)據(jù)中識別并導(dǎo)致對基于姿勢的系統(tǒng)的一方面的控制。提供基于姿勢的系統(tǒng)中的組件之間的這ー通信的示例網(wǎng)絡(luò)設(shè)置在以下參考圖3更詳細(xì)地描述。如圖2B所示的示例所反映的,可以構(gòu)想多個用戶260、261、262、263可以經(jīng)由聯(lián)網(wǎng)的系統(tǒng)組件來進(jìn)行交互。該系統(tǒng)使得多個組件能夠組合其輸入以應(yīng)用姿勢。由此,多個用戶260、261、262、263可控制該系統(tǒng)的各方面。例如,具有用于捕捉觸摸、深度、音頻、視頻等的不同能力的多個捕捉設(shè)備可以捕捉關(guān)于來自物理空間的多個用戶260、261、262、263的數(shù)據(jù)??删奂吞幚聿蹲降綌?shù)據(jù)以代表多個用戶控制系統(tǒng)的各方面。這使得多個用戶能夠經(jīng)由姿勢并經(jīng)由系統(tǒng)來彼此交互,從而經(jīng)由姿勢來增強生產(chǎn)カ環(huán)境中的協(xié)作特性。參考圖2B,考慮用戶260、261、262和263正在開會并被捕捉設(shè)備205捕捉,其中用戶260與另ー捕捉設(shè)備203相關(guān)聯(lián),而用戶263與另ー捕捉設(shè)備204相關(guān)聯(lián)。物理空間可以是諸如大型會議室等大空間,并且諸如用戶263之類的用戶可以遠(yuǎn)離捕捉設(shè)備205就座。然而,用戶可以更靠近物理空間中的捕捉設(shè)備204,并且還可經(jīng)由諸如顯示器224或蜂窩設(shè)備(未示出)在更靠近的、更小的屏幕上查看共享的演示。計算環(huán)境212可執(zhí)行演示應(yīng)用并輸出到多個顯示器,諸如顯示器222、223和224??梢苑治鰜碜匀我徊蹲皆O(shè)備的捕捉到的數(shù)據(jù)以便進(jìn)行姿勢識別,并因此聯(lián)網(wǎng)的捕捉設(shè)備的視野內(nèi)的任一用戶都可經(jīng)由姿勢來控制顯示在主顯示器222上的演示。用戶可通過對物理空間中的第二計算環(huán)境或捕捉設(shè)備作出姿勢來控制共享演示的各方面。例如,用戶可以對更靠近用戶263的計算環(huán)境214作出小規(guī)模姿勢。如果房間中的其他用戶或諸如顯示器224等物體遮擋例如捕捉設(shè)備205的視野,則該小規(guī)模姿勢可能不由該捕捉設(shè)備捕捉。用戶263的姿勢可由捕捉設(shè)備204捕捉并由本地計算環(huán)境214處理或例如經(jīng)由網(wǎng)絡(luò)與計算環(huán)境212、213共享。在同一基于姿勢的系統(tǒng)中聯(lián)網(wǎng)的任何計算環(huán)境因此可以處理來自也在該基于姿勢的系統(tǒng)中聯(lián)網(wǎng)的任何數(shù)量的捕捉設(shè)備的捕捉到的數(shù)據(jù)。用戶263的姿勢可被識別為對在計算環(huán)境之間共享的演示的控制。由此,與第一捕捉設(shè)備/計算環(huán)境相關(guān)聯(lián)的第一用戶的姿勢可控制第二計算環(huán)境的各方面。例如,用戶260、263可經(jīng)由姿勢分別與近距離的計算環(huán)境213、214交互,并且相應(yīng)的控制可以轉(zhuǎn)換到系統(tǒng)中的其他計算環(huán)境,諸如主計算環(huán)境212或與該系統(tǒng)聯(lián)網(wǎng)的其他個人計算環(huán)境。該用戶的姿勢可控制會話中的其他計算環(huán)境和/或姿勢的結(jié)果可被呈現(xiàn)或以其他方式指示在其他每ー個人的顯示器上。例如,用戶263可以在與計算環(huán)境214的近距離處作出姿勢。用戶263的姿勢可以有助于管理顯示在主顯示器222上的演示。近距離捕捉設(shè)備204可捕捉表示用戶263的姿勢的數(shù)據(jù),并且計算環(huán)境214可采用姿勢識別技術(shù)來從捕捉數(shù)據(jù)中標(biāo)識姿勢。姿勢可控制與用戶263相關(guān)聯(lián)的計算環(huán)境214的各特定方面。姿勢可以轉(zhuǎn)化成對主計算環(huán)境212的控制。由此,用戶能夠相對于近距離設(shè)備和/或捕捉設(shè) 備作出姿勢,并且具有就像他們相對于主計算系統(tǒng)作出姿勢那樣的相同效果。對附加捕捉設(shè)備和/或計算環(huán)境的使用可提供用于控制系統(tǒng)200的附加靈活性。例如,考慮其中用戶坐在房間后部的大型會議室。在某些情況下,在房間前部的捕捉設(shè)備可能無法捕捉到坐在房間后部的用戶。例如,在用戶和捕捉設(shè)備之間可能存在視野遮擋,捕捉設(shè)備可能無法注冊該用戶,或者捕捉設(shè)備可能不具有標(biāo)識用戶或標(biāo)識例如用戶的訪問級別的分辨率。用戶能夠?qū)ξ锢砜臻g中的與系統(tǒng)聯(lián)網(wǎng)的第二捕捉設(shè)備作出姿勢,諸如更靠近用戶的捕捉設(shè)備或與用戶的個人計算環(huán)境相關(guān)聯(lián)的捕捉設(shè)備。由此,基于姿勢的系統(tǒng)能夠以各種方式將多個用戶集成到系統(tǒng)中以管理演示的各方面。在一示例實施例中,諸如在圖2A和2B所示的示例場景中,可以存在管理信息演示的單個用戶或主要用戶。協(xié)作系統(tǒng)允許并鼓勵經(jīng)由姿勢的觀眾參與以使得觀眾成員可控制該系統(tǒng)的各方面。諸如附連到顯示器222的頂部的捕捉設(shè)備202或懸掛在墻上的捕捉設(shè)備205的單個捕捉設(shè)備或捕捉設(shè)備的組合可捕捉表示物理空間中的多個人的數(shù)據(jù)。多個人可作出姿勢以控制單個應(yīng)用,諸如在計算環(huán)境212上執(zhí)行的應(yīng)用。例如,如果應(yīng)用是地圖繪制程序并且各用戶在一起工作以生成旅行計劃,則各用戶能夠與該單個地圖繪制程序交互以放大、攝全景等。因為多個用戶能夠經(jīng)由姿勢來提供控制該應(yīng)用的各方面的輸入,所以不必在房間中傳遞多個控制器。其他用戶可加入房間并且他們也可使用姿勢,而不必找到例如額外的控制器。該系統(tǒng)能夠出于控制系統(tǒng)之外的其他目的被動地評估表示多個用戶及其姿勢的捕捉到的數(shù)據(jù)。例如,用戶的姿勢可能并非是用戶為了控制系統(tǒng)的一方面而故意執(zhí)行的,但仍然可以出于數(shù)據(jù)收集的目的而被標(biāo)識。由此,可收集并記錄姿勢或關(guān)于姿勢的信息??紤]物理空間中的多個用戶260、261、262和263。該系統(tǒng)可以在顯示器222上提出一個問題,或經(jīng)由例如揚聲器系統(tǒng)可聽地傳送該問題。該問題可由諸如用戶261等可以向其他用戶演示信息的用戶來提示。該系統(tǒng)可標(biāo)識多個用戶響應(yīng)于該問題而作出的運動,包括對應(yīng)于姿勢的那些運動??墒占撔畔⒉崟r地提供給諸如存儲在存儲器中的文件或顯示器等輸出。例如,系統(tǒng)可由于用戶或系統(tǒng)提出的問題而輪詢觀眾。問題可通過簡單的是或否來回答,或者問題可包括多個可能的回答并且每ー個回答都可對應(yīng)于一姿勢。例如,問題可以是“多少人投票同意選項A”,并且“是”回答可由包括用戶在空中筆直向上舉手的姿勢來表示。該系統(tǒng)可以從捕捉到的數(shù)據(jù)中檢測舉起他或她的手的每ー個用戶以及沒有舉手的每ー個用戶。該系統(tǒng)因此可以基于為每一個用戶標(biāo)識的姿勢來對“是”響應(yīng)的數(shù)量進(jìn)行計數(shù)。由此,系統(tǒng)可提供即時輪詢結(jié)果。
系統(tǒng)在演示期間識別出的姿勢可觸發(fā)該系統(tǒng)的后續(xù)動作。例如,系統(tǒng)可識別出兩個用戶之間的握手,并且該握手可被識別為房間中的兩個用戶之間的“介紹”姿勢,其中該“介紹”姿勢包括兩個人握手。系統(tǒng)可標(biāo)識每ー個用戶,標(biāo)識“介紹”姿勢,并且自動將關(guān)于每ー個用戶的聯(lián)系信息記錄在日志中,該日志在會議結(jié)束時被提供給每ー個用戶。由此,通過對聯(lián)系信息的匯編列表的訪問,用戶可具有關(guān)于該用戶與其握手的每ー個人的聯(lián)系信息。在會議期間記錄的信息的另ー示例可以是對顯示畫面中的用戶感興趣的點的標(biāo)識,其中對該信息的記錄可通過姿勢觸發(fā)。例如,在會議期間,用戶可作出姿勢以指示該用戶對演示中的特定屏幕截圖或點感興趣,并且系統(tǒng)可包括標(biāo)識日志中的信息以使得用戶能夠在稍后容易地找到要查閱的信息。姿勢可包括次要姿勢,諸如手指輕擊桌子或抬起手指。由此,在不中斷演示流程的情況下,系統(tǒng)可基于每ー個用戶的各種姿勢來記錄關(guān)于每ー個用戶的數(shù)據(jù)。每ー個用戶然后可訪問特定于該用戶的信息日志。其他動作可以在系統(tǒng)識別出姿勢的情況下觸發(fā)。例如,除了上述討論的事件之外,考慮在會議期間發(fā)生的其他常見事件,諸如向會議參與者委派職責(zé)、撥打給遠(yuǎn)程用戶、指示想要特定文檔的副本的用戶,等等。會議的一部分可包括向各個用戶委派職責(zé)。系統(tǒng)或用戶可請求或指定志愿者,并且識別出的用于指定用戶的姿勢可包括演示者指向志愿者或者志愿者舉起他或她的手。系統(tǒng)可將該姿勢識別為接受動作項,并且諸如在項目化列表或電子表格中將該用戶與該動作項相關(guān)聯(lián)。在另ー示例中,可以向用戶提出諸如“你想要該文檔的副本嗎?”等問題,并且取決于房間中的“是”姿勢的,系統(tǒng)可以自動生成電子郵件,包括與作出“是”姿勢的每一個用戶相關(guān)聯(lián)的電子郵件地址,并將附加文檔的電子郵件發(fā)送到每一個用戶。動作能夠?qū)崟r發(fā)生,以使得用戶可以在仍然在開會的同時獲得對文檔的訪問權(quán),或者可將動作放置在隊列中以便系統(tǒng)在會議結(jié)束時采取動作。動作可觸發(fā)系統(tǒng)中的硬件組件的動作。例如,如果用戶舉起他或她的手,則第一捕捉設(shè)備可接收并處理捕捉到的數(shù)據(jù)并將舉起的手識別為指示該用戶期望與系統(tǒng)交互的姿勢。該第一捕捉設(shè)備可將指令提供給第二捕捉設(shè)備以便轉(zhuǎn)向用戶,以使得該用戶在第二捕捉設(shè)備的視野內(nèi)或者更好地聚焦于該用戶。另ー姿勢可以是將所演示的信息的一部分保存到存儲器或諸如個人計算設(shè)備中的本地存儲器等用戶的本地存儲器的指示,該個人計算設(shè)備是諸如與用戶263相關(guān)聯(lián)的計算環(huán)境214等計算設(shè)備。用戶姿勢可以是開燈、降低屏幕、打開顯示設(shè)備等的指示。由于姿勢而被觸發(fā)的動作可由用諸如宏等簡寫格式表示的指令集來確定。由此,系統(tǒng)將由于特定姿勢而采取的動作可以提前定義,諸如在會議開始之前。系統(tǒng)可具有由于特定姿勢而實現(xiàn)的任何數(shù)量的宏,從而產(chǎn)生對用戶可以是無縫的動作,諸如向日志添加信息或向演示者提供結(jié)果,或者這些動作對用戶可以是已知的,諸如在接收到具有經(jīng)由用戶的姿勢來請求的信息的電子郵件吋。宏可以與系統(tǒng)或應(yīng)用預(yù)先打包在一起,或者這些宏可由用戶定義。系統(tǒng)還可以按動態(tài)方式采取由于姿勢而產(chǎn)生的動作。例如,用戶可使用姿勢和/或陳述的命令的組合并請求對通過電子郵件接收文檔感興趣的用戶將手舉在空中,并且然后陳述用于向所選用戶發(fā)送電子郵件的命令。系統(tǒng)可響應(yīng)命令和姿勢的組合并將主題文檔通過電子郵件發(fā)送到舉手的每ー個用戶。在另ー示例中,系統(tǒng)可收集關(guān)于用戶在物理空間中的行為的數(shù)據(jù)。例如,演示者可能期望具有關(guān)于他或她的演示方法的有效性的反饋。例如,在演示期間,系統(tǒng)可采用臉部或身體識別技術(shù)來識別存在于物理空間中的各個用戶的臉部特征/移動或身體姿態(tài)/移動。臉部特征/移動、身體姿態(tài)/移動或其組合可對應(yīng)于指示用戶的特定表情或情緒的姿勢。系統(tǒng)可以向演示者提供信息以指示觀 眾成員的關(guān)注、留心或相關(guān)行為的級別。用戶可使用該信息來標(biāo)識在整個演示期間使用的有效演示方法。例如,如果系統(tǒng)收集到關(guān)于用戶的指示一定比例的用戶表現(xiàn)出無聊或不感興趣的姿勢并將該數(shù)據(jù)相關(guān)到用戶在顯示器上顯示大量單詞的時間,則該用戶可使用該信息來指示顯示大量單詞對于這組用戶而言不是有效的。然而,對于不同的觀眾,單詞可能是適當(dāng)?shù)?,諸如在觀眾成員正在評估文檔中的單詞吋。在另ー示例中,用戶可使用動畫和交互式技術(shù)并且系統(tǒng)可識別興奮或積極的用戶參與。由此,演示者可基于實時提供給用戶的信息來在演示中針對用戶定制演示,或者基于先前收集的數(shù)據(jù)來準(zhǔn)備會議。系統(tǒng)可基于其對與演示情況相關(guān)的觀眾行為的檢測來在演示期間向用戶提供動態(tài)建議。例如,在演示期間,系統(tǒng)可以在多文本幻燈片期間標(biāo)識無聊的姿勢并建議用戶跳過多文本幻燈片。系統(tǒng)可標(biāo)識當(dāng)用戶在房間前部來回走動而不是坐在ー邊時,用戶獲得更好的觀眾參與。系統(tǒng)可以在演示期間向用戶提供這一信息,或者系統(tǒng)可隨時間監(jiān)視觀眾參與并生成向用戶提供結(jié)果的報告。每ー用戶參與,無論是演示信息、經(jīng)由姿勢與系統(tǒng)交互、觀看演示、還是僅僅在捕捉設(shè)備的視野內(nèi)演示,都可由視覺表示來表示。圖2C描繪了可包括捕捉設(shè)備292、計算設(shè)備294和顯示設(shè)備291的另ー示例基于姿勢的系統(tǒng)200。例如,捕捉設(shè)備292、計算設(shè)備294和顯示設(shè)備291各自可包括執(zhí)行所需功能的任何合適的設(shè)備,諸如此處所描述的設(shè)備。在此示例中,深度相機(jī)292捕捉在其中存在多個用戶260、262、263的物理空間293中的場景。深度相機(jī)292處理深度信息,和/或向諸如計算機(jī)294等計算機(jī)提供深度信息。深度信息可被解釋以供顯示用戶260、262、263的視覺表示。例如,深度相機(jī)292或如所示的其所耦合到的計算設(shè)備294可向顯示器291輸出。視覺表示是通常采取ニ維(2D)或三維(3D)模型形式的計算機(jī)表示。物理空間293中的用戶的視覺表示可以采取任何形式,諸如動畫、角色、化身等。例如,視覺表示可以是化身,諸如圖2C所示的分別表示用戶260和263的化身295或296。視覺表示可以是指針、箭頭或其他符號,諸如表示用戶262的手符號297。在該示例中,猴子角色295表示用戶260并顯示類似于捕捉設(shè)備292捕捉到的用戶260的身體姿態(tài)的身體姿態(tài)。表示用戶263的化身296具有與用戶263類似的身體特性,捕捉設(shè)備甚至分析用戶263的衣服并應(yīng)用于用戶的視覺表示296。將視覺表示引入共享演示體驗可通過給予用戶在虛擬空間內(nèi)的身份感來將另ー維度添加到體驗。用戶的視覺表示可被呈現(xiàn)在顯示器上,并且會話中的其他用戶的化身可被呈現(xiàn)在其他每ー個人的顯示器上,從而產(chǎn)生同一虛擬空間中的ー組化身,即使各個用戶可能在不同的物理空間中。可將會話中每個人的化身各自呈現(xiàn)在其他每個人的電視機(jī)、監(jiān)視器上,從而得到看上去正在虛擬環(huán)境中交互的ー組化身。因為會話中的用戶可包括遠(yuǎn)程和本地用戶兩者,所以顯示器可呈現(xiàn)遠(yuǎn)程和本地用戶兩者的視覺表示,以使得所有用戶都可基于每ー視覺表示的在場來標(biāo)識其他參與者。每ー個用戶都可由其自己的定制視覺表示來表示,諸如定制的化身或角色。用戶的視覺表示可反映如由捕捉設(shè)備捕捉到的用戶的特性。例如,捕捉設(shè)備可采用身體/臉部識別技術(shù)并將捕捉到的數(shù)據(jù)變換成像用戶的視覺表示。由此,屏幕上的化身可以看上去像且行動上也像用戶。物理空間293中檢測到的用戶的視覺表示還可以采取替換形式,諸如動畫、角色、化身等。用戶可以為了該用戶的屏幕上表示從系統(tǒng)或應(yīng)用提供的各種庫存模型中進(jìn)行選擇。例如,用于可視地表示用戶的庫存模型可包括任何角色表示,諸如著名人物的表示、一塊太妃糖或ー只大象。庫存模型可以是虛幻角色(例如,龍、怪獸)或符號(例如,指針或手符號)。視覺表示可包括用戶特征和動畫的組合。例如,用戶的視覺表示可以是諸如角色295等猴子角色,但穿著如在物理空間中捕捉到的用戶的衣服或戴著像物理空間中檢測到 的用戶的眼鏡。用戶的臉部表情、身體姿態(tài)、所說的話語、或任何其他可檢測的特性可被應(yīng)用到視覺表示。庫存模型可以是應(yīng)用專用的,諸如與程序打包在一起,或者庫存模型可以是跨應(yīng)用可用的或在系統(tǒng)范圍內(nèi)可用的。用戶姿勢可導(dǎo)致對應(yīng)于同該姿勢相關(guān)聯(lián)的控制的多媒體響應(yīng)。例如,用戶的視覺表示的動畫可由于ー姿勢而被呈現(xiàn)在顯示器上。多媒體響應(yīng)可以是諸如視覺表示的移動等動畫、出現(xiàn)在屏幕上的文本消息、音頻、靜止圖像、視頻等中的任一個或組合。例如,如果執(zhí)行文字處理應(yīng)用的系統(tǒng)識別出的用戶姿勢包括下一頁姿勢,則對文字處理文檔的控制可以是翻到文檔中的下ー頁。與執(zhí)行姿勢的用戶相關(guān)聯(lián)的視覺表示可以是例如具有與物理空間中的如由基于姿勢的系統(tǒng)捕捉到和標(biāo)識的用戶眼鏡類似的眼鏡的大型卡通手。響應(yīng)于用戶的下一頁姿勢,大型卡通手可移動穿過屏幕并且看上去抓取文檔一角,然后下拉以掲示文檔中的下ー頁。由此,不僅其他用戶可基于觀察對特定用戶唯一的視覺表示的動畫來知曉該用戶已執(zhí)行該姿勢,而且動畫增加了經(jīng)由姿勢控制系統(tǒng)的體驗。用戶能夠可視化他或她的姿勢的結(jié)果,并且其他用戶能夠可視化結(jié)果。用戶可以更容易地確認(rèn)姿勢被系統(tǒng)適當(dāng)?shù)刈R別出并應(yīng)用。多媒體響應(yīng)可以是系統(tǒng)范圍的,諸如顯示出現(xiàn)在每一個其他用戶的電視機(jī)或監(jiān)視器上的動畫。當(dāng)用戶使得他或她的化身用姿勢表達(dá)時,姿勢可被同時呈現(xiàn)在所有客戶機(jī)位置處。類似地,當(dāng)用戶講話或以其他方式產(chǎn)生音頻事件(例如通過語音聊天)或文本事件(例如通過文本聊天)時,音頻或文本可被同時呈現(xiàn)在所有客戶機(jī)位置處。特定視覺表示可以與特定用戶相關(guān)聯(lián)。由此,每ー個用戶可具有作為他或她自身的視覺表示的、可以將相關(guān)到該用戶執(zhí)行的姿勢的動畫付諸行動的化身。當(dāng)系統(tǒng)顯示特定視覺表示的動畫時,用戶和其他用戶可辨別與特定視覺表示相關(guān)聯(lián)的用戶。由此,當(dāng)用戶姿勢和視覺表示動畫化以對應(yīng)于同該姿勢相關(guān)聯(lián)的控制時,基于哪ー個視覺表示動畫化來辨別哪ー個用戶執(zhí)行了姿勢是可能的。在另ー示例實施例中,用戶的視覺表示在用戶之間可以是通用或共同的,而不具有區(qū)別特征。由此,從所顯示的動畫中得知哪ー個用戶對應(yīng)于特定視覺表示可能并非是始終可能的。在一示例實施例中,系統(tǒng)可存儲表示所跟蹤的用戶的運動的信息,存儲在運動捕捉文件中。系統(tǒng)可將來自特定運動捕捉文件的用戶專用的運動應(yīng)用于化身或游戲角色,以使得化身或游戲角色可以動畫化以便以類似于用戶運動的方式模擬運動。例如,運動捕捉文件可包括用戶跳躍的方式的指示。當(dāng)跳躍動畫被應(yīng)用于用戶的視覺表示時,系統(tǒng)可以應(yīng)用來自運動捕捉文件的跳躍以使得視覺表示模擬由系統(tǒng)捕捉到的用戶的實際運動。在另一示例實施例中,捕捉文件包括在用戶中是共同的通用運動。例如,來自運動捕捉文件的跳躍可以是通用的或與系統(tǒng)預(yù)先打包在一起的,以使得在由系統(tǒng)應(yīng)用時視覺表示執(zhí)行通用跳躍。多媒體響應(yīng)可以是預(yù)定響應(yīng),諸如響應(yīng)于特定姿勢的身份實現(xiàn)的存儲的動畫或音頻剪輯。多媒體響應(yīng)庫可包括表示如由系統(tǒng)識別出的用戶姿勢的選項。例如,多媒體響應(yīng)庫可包括預(yù)定或預(yù)先記錄的且與特定姿勢相關(guān)聯(lián)的動畫數(shù)據(jù)。或者,多媒體響應(yīng)庫可包括在識別出特定姿勢時實現(xiàn)的各種選項,并且可基于各種情況來進(jìn)行選擇。例如,可以選擇特定動畫,因為該動畫可應(yīng)用于特定應(yīng)用、特定用戶、特定姿勢、特定運動、技巧等級,等等。
在一示例性實施例中,應(yīng)用于化身的動畫例如可以是選自預(yù)先打包的動畫庫的動畫,比如伴隨著程序、應(yīng)用或系統(tǒng)的動畫。所選動畫可以是與系統(tǒng)學(xué)習(xí)到的用戶輸入相對應(yīng)的動畫。在另ー示例性實施例中,庫中的動畫可以是由用戶輸入和記錄到化身的動畫詞匯表中的動畫?!﹦赢嬁梢詰?yīng)用于用戶的視覺表示,盡管該用戶未執(zhí)行ー姿勢。例如,在推斷出用戶的身體語言之后,系統(tǒng)可以確定要應(yīng)用到該用戶的視覺表示以反映該用戶性情的適當(dāng)?shù)膭赢?。在另ー示例中,系統(tǒng)可檢測在ー特定時間段內(nèi)特定用戶是空閑的或者未作出姿勢。系統(tǒng)可動畫化用戶的視覺表示以反映該用戶的空閑。例如,如果用戶的視覺表示是猴子角色,則系統(tǒng)可應(yīng)用動畫,該動畫包括該猴子角色抓取虛擬枕頭并在該猴子附近顯示“ZZZZZ”以暗示該猴子正在睡覺。在一示例實施例中,多媒體響應(yīng)可包括與聲音組合顯示的預(yù)定化身動畫。例如,當(dāng)導(dǎo)致化身行走時,可以播放輕微的腳步聲。在另ー示例中,當(dāng)導(dǎo)致化身跑動時,可以播放沉重的腳步聲。在另ー示例中,當(dāng)導(dǎo)致化身側(cè)移時,可以播放刮擦或滑動腳步聲。在另ー示例中,當(dāng)導(dǎo)致化身碰撞某一物體時,可以播放碰撞聲。在另ー示例中,當(dāng)化身導(dǎo)致某一物體落下或與另一物體相撞時,可以播放重的碰撞聲。動畫級別或動畫量可取決于例如應(yīng)用當(dāng)前正在執(zhí)行或觀眾的人ロ統(tǒng)計數(shù)據(jù)而變化。例如,正在庭審期間演示法律文檔的應(yīng)用可以不包括比用于教導(dǎo)關(guān)于操場上的安全性的對孩子的演示更多的動畫。由此,可以存在由系統(tǒng)定義和/或由用戶改變以對應(yīng)于用戶偏好的各種動畫和級別。在一示例中,演示范例可以是其中存在以預(yù)定次序演示的ー組幻燈片的順序幻燈片演示。在另ー示例中,應(yīng)用可以按非順序方式演示信息。例如,演示可包括幻燈片、圖片、圖像、文本等的匯編,并且演示可被組織成各章節(jié)。在演示期間,演示者可放大或縮小幻燈片放映中的各個幻燈片和幻燈片章節(jié)??梢圆欢x預(yù)定義次序。這ー非順序演示的演示材料的顯示可采取許多形式。例如,主屏幕可包括地圖或大型流程圖。用戶可放大地圖或流程圖的不同部分,并且可以在屏幕上擴(kuò)大對應(yīng)于該部分的ー個或多個幻燈片。用戶可以在地圖或流程圖上來回移動,而不必遵循任何預(yù)定義次序。考慮包括具有顯示在屏幕上的許多門的走廊或房屋的演示格式。用戶可以漸進(jìn)地在門和門之間來回跳躍,進(jìn)門等。用戶可使用可縮放畫布來演示幻燈片,該畫布允許用戶或來自觀眾的參與者從演示的一部分跳躍到另一部分,放大和縮小以及定義各章節(jié)。觀眾成員可經(jīng)由姿勢導(dǎo)航到演示的不同部分,并且如上所述,視覺表示可以與各種形式的演示風(fēng)格交互。由此,演示可以是內(nèi)容匯編,而不要求特定演示次序。用戶能夠經(jīng)由視覺表示本質(zhì)上進(jìn)入虛擬世界并且經(jīng)由姿勢控制演示的各方面。由此,基于姿勢的系統(tǒng)可顯示資產(chǎn)畫布以供討論,并且用戶可以實時地在該信息中導(dǎo)航。畫布可包括大量信息,并且演示者可取決于觀眾來選擇畫布的各部分。畫布或演示可包括比所演示的信息更多的信息,但因為靈活的格式,用戶和/或演示者可選擇可適用于討論的信息章節(jié)。在一示例實施例中,諸如在圖2A和2B所示的示例場景中,可以存在管理信息演示的單個用戶或主要用戶。例如,可能期望單個用戶正在管理演示,而不具有來自觀眾成員的交互式控制??紤]如果用戶260正在開會或教導(dǎo)ー個班級的學(xué)生一他或她可能想要單獨控制演示。由此,單個用戶可主持信息演示并且經(jīng)由姿勢控制信息演示,但房間中的其他用戶的姿勢可能無法控制信息演示。在另ー示例實施例中,多個用戶能夠控制系統(tǒng)的各方面。例如,可能期望多個演示者可控制系統(tǒng)的各方面,或者可能期望給予至少ー個觀眾成員控制 權(quán)。由此,ー隊用戶可經(jīng)由單個或多個捕捉設(shè)備來共享對演示的控制以更好地啟用協(xié)作。用戶可共享控制演示的各方面的訪問,具有有限的訪問或不具有訪問。例如,用戶可以是例如主要用戶,次要用戶或觀察用戶。主要用戶是具有控制系統(tǒng)的各方面的選項的任一用戶。主要用戶可具有向其他用戶分發(fā)控制的選項。例如,主要用戶可將房間中的第ニ用戶指定為另ー主要用戶、次要用戶或觀察用戶。觀察用戶可以是能夠與其他用戶交互但不經(jīng)由姿勢控制系統(tǒng)的用戶。次要用戶可被授予控制系統(tǒng)的各方面的選項。次要用戶可被給予臨時控制,該控制一旦被授予就可以無限持續(xù),或者該控制可以持續(xù)直到被取走。例如,主要用戶可能正在演示信息,但最初不想要來自觀眾的交互。然而,在用戶的演示結(jié)束吋,主要用戶可以向觀眾成員請求評論和反饋。在一示例中,主要用戶可選擇特定用戶并給予該用戶臨時訪問以便在次要用戶正在提供反饋時控制系統(tǒng)。次要用戶可作出姿勢以控制所顯示的信息,諸如通過返回到文字處理文檔中的前ー頁、突出顯示一章節(jié)或者在顯示器上繪制虛擬線條(例如,圓圈和箭頭)。由此,次要用戶能夠容易地經(jīng)由姿勢來與信息交互,這可提供對用戶反饋的更高效且更好的理解。當(dāng)完成時,主要用戶可移除次要用戶對控制的訪問或者次要用戶可放棄控制。對系統(tǒng)的控制可以在用戶之間轉(zhuǎn)移或者在多個用戶之間共享。例如,經(jīng)由姿勢的控制的轉(zhuǎn)移或共享提供了供用戶管理信息的更容易的方式,而不需要傳遞控制器或不必靠近計算環(huán)境來控制演示的各方面。用戶可以從他們的座位經(jīng)由姿勢與系統(tǒng)交互。不止ー個用戶可以是主要用戶,諸如存在多個演示者的情況。每ー個演示者都可控制演示的特定方面,以使得在他們可能共存時,所演示的內(nèi)容可以是專用的并可由特定用戶訪問。在另ー示例中,主要用戶可開放發(fā)言權(quán)以獲得來自任何用戶的反饋,由此向次要用戶提供對房間中的任何用戶的訪問。主要用戶可經(jīng)由諸如參與的任何用戶等任何參與者的姿勢來促進(jìn)對信息控制的訪問。例如,在演示結(jié)束時,主要用戶可以向系統(tǒng)發(fā)出命令以使得該系統(tǒng)處理并識別房間中的任何用戶的姿勢并將該姿勢轉(zhuǎn)化成控制。在另ー示例中,系統(tǒng)可識別對控制的請求,并確定是否同意該請求。例如,請求控制的姿勢可包括用戶將手臂筆直向上舉在空中。系統(tǒng)可識別觀眾成員執(zhí)行的姿勢。系統(tǒng)可指示用戶已經(jīng)經(jīng)由姿勢請求控制。系統(tǒng)可以在識別出請求控制的姿勢時向用戶提供對控制該系統(tǒng)的各方面的訪問,或者系統(tǒng)可以等待直到主要用戶授權(quán)給予次要用戶控制。
在另ー示例中,系統(tǒng)可以諸如經(jīng)由演示者設(shè)置的設(shè)置來被指示為等待直到演示中的特定時刻以便向次要用戶提供任何訪問。例如,在允許其他用戶具有控制之前,系統(tǒng)可被指示為等待主要用戶請求反饋,這可由供系統(tǒng)識別的姿勢來指示。然而,與此同時,系統(tǒng)可通過標(biāo)識作出請求控制的姿勢的每一個用戶來生成用戶請求的隊列。然后,當(dāng)主要用戶準(zhǔn)備好來自觀眾的反饋時,系統(tǒng)可顯示隊列以指示用戶請求控制的次序。系統(tǒng)可標(biāo)識作出請求的用戶的姿勢的其他情況,諸如當(dāng)前信息演示。例如,在主要用戶正在演示時,觀眾成員可作出請求控制的姿勢,以指示該用戶期望給予反饋和/或具有對系統(tǒng)的控制權(quán)。如上所述,系統(tǒng)可識別該用戶的姿勢并在隊列中標(biāo)識該用戶,而不是此時給予該觀眾成員控制權(quán)。當(dāng)主要用戶請求反饋時,系統(tǒng)可以不僅指示該用戶的請求,而且可以返回到演示中該用戶作出姿勢的時間點。由此,系統(tǒng)可以自動返回到用戶作出姿勢時的顯示畫面。注意,數(shù)據(jù)可由用戶在其視野內(nèi)的任何捕捉設(shè)備捕捉,并且與該捕捉設(shè)備聯(lián)網(wǎng)的任何計算環(huán)境可以對捕捉到的數(shù)據(jù)采用姿勢識別技木。例如,主計算環(huán)境210可以對捕捉設(shè)備205捕捉到的數(shù)據(jù)采用姿勢識別。在另ー示例中,與特定用戶相關(guān)聯(lián)的計算環(huán)境可識別姿勢。例如,用戶263可以與計算環(huán)境214交互并且捕捉設(shè)備204可捕捉表示用戶263的姿勢的數(shù)據(jù)。用于對系統(tǒng)進(jìn)行相同控制的姿勢可以變化。在上述示例中,用戶可通過經(jīng)由完全伸展手臂舉手來作出請求控制的姿勢。然而,用于請求控制的姿勢可以是小規(guī)模姿勢,諸如手指或手運動??啥x姿勢以限制演示流程中的中斷。姿勢可取決于用戶與其交互的計算環(huán)境而變化。例如,圖2B中的用戶263可以與計算環(huán)境214進(jìn)行小規(guī)模交互,并且可應(yīng)用用戶或計算環(huán)境專用的姿勢。用戶可具有在例如該用戶的個人計算環(huán)境或蜂窩電話上可用的一組定義的姿勢數(shù)據(jù)。用戶由此可以取決于該用戶的個人偏好來以獨特的方式作出姿勢。對用戶的訪問級別的指定可經(jīng)由多個可用源來授予,諸如由物理空間中的另ー用戶或應(yīng)用的管理員、系統(tǒng)本身,等等。例如,系統(tǒng)可捕捉物理空間中的數(shù)據(jù)。系統(tǒng)可以從捕捉數(shù)據(jù)中標(biāo)識物理空間中的所有四個用戶260、261、262、263。系統(tǒng)可以簡單地標(biāo)識人類目標(biāo)在物理空間中,或者系統(tǒng)能夠基于例如身體/臉部識別技術(shù)來標(biāo)識特定用戶。系統(tǒng)可以為每ー個用戶指定特定訪問級別。系統(tǒng)可單獨基于在場或基于用戶在物理空間中的位置來指定用戶的訪問級別。例如,系統(tǒng)可分析圖2A和2B所示的捕捉設(shè)備202捕捉到的數(shù)據(jù),并從捕捉到的數(shù)據(jù)中標(biāo)識人類。物理空間中檢測到的每ー個用戶都可以被默認(rèn)指定為具有特定訪問級別。例如,僅基于在場的用戶訪問級別可被默認(rèn)設(shè)置成次要用戶訪問。系統(tǒng)可基于用戶在房間中的位置來標(biāo)識用戶的訪問級別。例如,房間的特定部分中的就座的一個或多個用戶或例如孩子可被默認(rèn)指定為觀察用戶??尚薷膶τ脩粼L問級別的指定。用戶的指定可以是動態(tài)的,改變的以反映用戶的活動。例如,當(dāng)用戶正在說話時,系統(tǒng)可聚焦于正在說話的用戶以便進(jìn)行姿勢控制。具有多個參與者的各種場景可以各自具有不同的需求,并由此此處描述的各種特征對ー場景可以是唯一的并且包括任何變化的特征組合。例如,來自此處描述的示例方法的第一方法或用于標(biāo)識物理空間中的主要用戶的這樣的類似方法可能對于第一場景更加適合,但用于選擇主要用戶的第二方法可能在另ー場景中更加適合。類似地,訪問級別可取決于任何數(shù)量的特性而變化,諸如應(yīng)用、會議類型、用戶類型、所演示的信息的類型、甚至ー天中的時間或房間中的光照。在另ー示例中,用戶可以登錄到系統(tǒng)并且該用戶的身份可以與特定訪問級別相關(guān)聯(lián)。例如,信息演示的創(chuàng)建者可被 關(guān)聯(lián)為主要用戶,并且在標(biāo)識出物理空間中的創(chuàng)建者吋,系統(tǒng)可將目標(biāo)指定為主要用戶。系統(tǒng)檢測到的其他用戶可被給予次要用戶指定。或者,將成為主要用戶的演示的觀眾的用戶可以登錄到系統(tǒng)并在登錄時被給予指定?;蛘?,主要用戶可以為會議的參與者定義訪問級別。用戶簡檔可指示該特定用戶的適當(dāng)訪問級別。例如,系統(tǒng)可具有用戶簡檔信息的數(shù)據(jù)庫(例如,身體或臉部特征數(shù)據(jù)),并且可將用戶相關(guān)到用戶簡檔。系統(tǒng)可基于用戶簡檔或基于如從捕捉到的數(shù)據(jù)中標(biāo)識的身體特性來標(biāo)識特定用戶。例如,系統(tǒng)可分析捕捉設(shè)備202捕捉到的數(shù)據(jù)并采用身體/臉部識別技術(shù)來標(biāo)識特定用戶。如果ー用戶的用戶簡檔不存在,則系統(tǒng)可創(chuàng)建ー個用戶簡檔。用戶簡檔可提供對系統(tǒng)將要采用的該用戶的訪問級別的指示。作為主要用戶、次要用戶或觀察用戶的用戶指定可以是永久指定。或者,指定可以改變或被改變。此外,可修改每ー訪問級別的設(shè)置/限制/約束。例如,次要用戶可具有控制系統(tǒng)的各方面的訪問,但可以不具有向其他用戶授予控制權(quán)的授權(quán)。然而,設(shè)置可被修改以使得次要用戶可向其他用戶授予訪問。系統(tǒng)或應(yīng)用可基于默認(rèn)信息來設(shè)置訪問級別,或者可以為ー場景專門定義級別。如上所述,用戶可執(zhí)行一姿勢以指定另ー用戶的訪問級別。姿勢還可適用于控制或管理信息演示的各方面。例如,如果演示以文字處理應(yīng)用的形式執(zhí)行,則用戶可作出姿勢以便在文檔中前進(jìn)或后退ー頁。姿勢可以適用于突出顯示文檔的一方面和/或在屏幕上放大該方面以供具有對所顯示的演示的訪問的用戶進(jìn)行更靠近的分析。視覺表示可對應(yīng)于共享對系統(tǒng)的控制的方法。例如,如果對系統(tǒng)的控制從ー個用戶轉(zhuǎn)移到下ー個用戶,則視覺表示可保持不變,但轉(zhuǎn)換與其相關(guān)聯(lián)的用戶以對應(yīng)于獲得控制權(quán)的用戶。在另ー示例中,每ー個用戶都可具有與他或她相關(guān)聯(lián)的視覺表示,如上所述。系統(tǒng)可通過與用戶的視覺表示相關(guān)的某一指示來指示哪些用戶當(dāng)前具有控制權(quán)。例如,不具有控制權(quán)的用戶的視覺表示可以從顯示畫面中變灰或淡出。在另ー示例實施例中,只有當(dāng)前正在作出姿勢的用戶的視覺表示才被顯示和/或動畫化。對控制權(quán)的指定可經(jīng)由姿勢完成。例如,主要用戶可以按特定方式作出姿勢以給予次要用戶控制系統(tǒng)的各方面的選項??紤]諸如圖2B中的用戶260等主要用戶向諸如用戶261、262、263等一組用戶進(jìn)行演示。主要用戶可使用姿勢來管理信息演示,諸如改變顯示畫面、在屏幕上來回移動物體、虛擬地在屏幕上繪圖、突出顯示文檔的章節(jié),等等。系統(tǒng)可訪問或以其他方式存儲不需要是用戶專用的簡檔,但這些簡檔可能包括關(guān)于不同風(fēng)格的信息。例如,風(fēng)格簡檔可包括適用于演示類型、演示者類型、觀眾類型等的姿勢信息。可以設(shè)置偏好或者可以包括定義應(yīng)用于每ー風(fēng)格的姿勢的默認(rèn)信息。用戶可選擇要為特定演示實現(xiàn)的風(fēng)格簡檔的類型。例如,如果演示者是為ー個班級學(xué)生教音樂的作曲家,則姿勢可以是張大的、大幅度姿勢。然而,如果演示者是具有矜持姿勢的圖書資料員,則演示者可選擇包括較小規(guī)模的運動的姿勢??紤]可能存在于向ー組潛在客戶演示游戲信息的銷售人員和在庭審期間向陪審團(tuán)演示信息的律師之間的差異。銷售人員可能希望以可具有有趣語調(diào)的娛樂方式進(jìn)行演示。由此,適用于該演示的風(fēng)格簡檔可以是具有較大的大幅度運動的簡檔,而風(fēng)格簡檔可指示應(yīng)顯示具有高動畫水平的視覺表示。然而,在庭審的示例中,風(fēng)格簡檔可包括較小的姿勢和最少的動畫。
如上所述,遠(yuǎn)程計算環(huán)境可通過網(wǎng)絡(luò)共享資源,包括應(yīng)用以及經(jīng)由來自各自物理空間中的用戶的輸入的對系統(tǒng)的控制。由此,遠(yuǎn)離圖2A和2B所示的物理空間201的用戶可通過在該用戶的本地物理空間中作出姿勢來控制系統(tǒng)200的一方面。經(jīng)由網(wǎng)絡(luò),對于遠(yuǎn)程用戶是本地的計算環(huán)境可以經(jīng)由網(wǎng)絡(luò)與其他遠(yuǎn)程或本地計算環(huán)境共享信息,從而使得遠(yuǎn)程用戶能夠經(jīng)由姿勢控制與系統(tǒng)聯(lián)網(wǎng)的其他計算環(huán)境的一方面。由此,如果例如應(yīng)用正在遠(yuǎn)程系統(tǒng)上執(zhí)行,則可處理和分析用戶姿勢以控制遠(yuǎn)程系統(tǒng)的各方面。圖2D和2E描繪了可包括捕捉設(shè)備202、計算設(shè)備212和顯示設(shè)備222的系統(tǒng)200。例如,捕捉設(shè)備202、計算設(shè)備212和顯示設(shè)備222各自可包括執(zhí)行所需功能的任何合適的設(shè)備,諸如此處所描述的設(shè)備。圖2D和2E分別從側(cè)視圖和俯視圖描繪了示例目標(biāo)識別、分析和跟蹤系統(tǒng),以及用戶265經(jīng)由定點聚焦功能進(jìn)行交互的示例實施例。該示例將控制示例描繪成與用戶的視角相關(guān)。用戶可以經(jīng)由定點姿勢與系統(tǒng)交互,其中該系統(tǒng)具備定點和聚焦功能兩者的能力。換言之,該系統(tǒng)對用戶定點姿勢的分析可以是多維的,考慮用戶的視線和手運動以確定該用戶在屏幕上的焦點。捕捉設(shè)備202例如可以跟蹤用戶的手位置以確定用戶的頭對準(zhǔn)的方向。捕捉設(shè)備可具有跟蹤用戶的實際眼睛運動的保真度,以檢測用戶眼睛的對應(yīng)于屏幕上的位置的視線。系統(tǒng)還可跟蹤用戶的手、手臂和手指運動,諸如跟蹤用戶的手、手臂或手指在物理空間中的位置變化。系統(tǒng)可分析該運動并確定用戶的身體部位與屏幕上的預(yù)期興趣點之間的視線。通過用手/手臂/手指坐標(biāo)來跟蹤頭/眼睛視線,系統(tǒng)允許用戶用更自然和本能的運動來作出運動或姿勢,其中用戶指向屏幕上的特定位置,系統(tǒng)可使用來自捕捉設(shè)備的關(guān)于該用戶的附加輸入來確定屏幕上的感興趣的位置。系統(tǒng)可以在屏幕上顯示表示該系統(tǒng)對用戶指向哪里的解釋的指針或某一其他符號。圖3是可結(jié)合所公開的用于增強生產(chǎn)カ場景的技術(shù)的示例性聯(lián)網(wǎng)或分布式系統(tǒng)300的示例。當(dāng)然,實際網(wǎng)絡(luò)和數(shù)據(jù)庫環(huán)境可以按各種配置來安排;然而,這里示出的示例環(huán)境提供用于理解在其中實施例可以操作的環(huán)境類型的框架。系統(tǒng)300可包括計算環(huán)境302、304、306、308和捕捉設(shè)備312、314、316的網(wǎng)絡(luò)。這些實體302、304、306、308、312、314和316中的每ー個都可以包括或利用程序、方法、數(shù)據(jù)存儲、可編程邏輯等。用戶322、324、326和328被示為本地地分別與計算環(huán)境302、306、304相關(guān)聯(lián)。在此處公開的各實施例中,一組用戶可復(fù)制與其他用戶開會的真實世界體驗以便在會議類型的設(shè)置中進(jìn)行協(xié)作。體驗可在其中用戶處于不同物理位置且經(jīng)由網(wǎng)絡(luò)進(jìn)行通信的虛擬世界中被復(fù)制。用戶位置處的顯示器可呈現(xiàn)表示該組用戶的化身。計算環(huán)境302、304、306和308以及捕捉設(shè)備312、314和316可通過網(wǎng)絡(luò)250通信。網(wǎng)絡(luò)250可表示任何數(shù)量或類型的網(wǎng)絡(luò),以使得在相同或不同位置的計算環(huán)境302、304、306,308可經(jīng)由任何類型、數(shù)量的網(wǎng)絡(luò)或其組合來聯(lián)網(wǎng)。網(wǎng)絡(luò)250可以是被安排成消息可以通過任何數(shù)量的鏈接或節(jié)點從網(wǎng)絡(luò)的ー個部分傳遞至另ー個部分的任何網(wǎng)絡(luò)。例如,根據(jù)當(dāng)前所公開的主題的一方面,每ー實體計算環(huán)境、捕捉設(shè)備和顯示設(shè)備都可以包含可使用API或其它對象、軟件、固件和/或硬件來請求其它計算環(huán)境、捕捉設(shè)備和顯示設(shè)備中的一個或多個的服務(wù)的離散的功能程序模塊。與任何數(shù)量的相應(yīng)的本地計算環(huán)境相關(guān)聯(lián)的任何數(shù)量的用戶都可經(jīng)由網(wǎng)絡(luò)250訪問同一應(yīng)用。由此,通過經(jīng)由網(wǎng)絡(luò)250來進(jìn)行通信,任何數(shù)量的用戶可以經(jīng)由姿勢與多個其他用戶交互。例如,在第一位置執(zhí)行的姿勢可被轉(zhuǎn)化并映射到包括第一位置的多個位置處的顯示器。該網(wǎng)絡(luò)250本身可以包括向此處描述的基于姿勢的系統(tǒng)提供服務(wù)的其它計算實體,且其本身可以表示多個互連的網(wǎng)絡(luò)。網(wǎng)絡(luò)250可包括例如內(nèi)聯(lián)網(wǎng)、互連網(wǎng)絡(luò)、因特網(wǎng)、個人區(qū)域網(wǎng)(PAN)、校園網(wǎng)(CAN)、局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、計算機(jī)網(wǎng)絡(luò)、游戲網(wǎng)絡(luò)等。網(wǎng)絡(luò)250還可表示連接網(wǎng)絡(luò)中的各個設(shè)備的技術(shù),諸如光纖、公共交換電話網(wǎng)絡(luò)(PSTN)、蜂窩電話網(wǎng)絡(luò)、全球Telex網(wǎng)絡(luò)、無線LAN、以太網(wǎng)、電源線通信等。計算環(huán)境可以通過有線或無線系統(tǒng)、本地網(wǎng)絡(luò)或廣泛分布的網(wǎng)絡(luò)連接在一起。任何合適的無線接ロ都可用于網(wǎng)絡(luò)通信。例如,無線鏈接可以根據(jù)以下協(xié)議GSM、CDMA、UMTS、LTE、WIMAX、WIFI、ZIGBEE或其組合。網(wǎng) 絡(luò)可包括云或云計算。例如,云基礎(chǔ)結(jié)構(gòu)可包括通過數(shù)據(jù)中心傳遞并構(gòu)建在服務(wù)器上的多個服務(wù)。這些服務(wù)可以在提供對聯(lián)網(wǎng)基礎(chǔ)結(jié)構(gòu)的訪問的任何地方訪問。云對于用戶可以看上去是單個接入點,而基礎(chǔ)結(jié)構(gòu)對客戶機(jī)可以不是可見的。如上所述,計算環(huán)境可以是用于處理捕捉設(shè)備接收到的數(shù)據(jù)的任何合適的設(shè)備,諸如專用視頻游戲控制臺或更一般的計算設(shè)備,諸如蜂窩電話或個人計算機(jī)。出于示例性目的,計算環(huán)境308是服務(wù)器,計算環(huán)境306是移動手持式計算設(shè)備,而計算環(huán)境302和306表示任何類型的計算環(huán)境。在這些示例中,諸如捕捉設(shè)備312、314和316等捕捉設(shè)備可捕捉用戶存在于其中的物理空間中的場景。諸如用戶322、324、326和328等用戶可以分別在位置#1、#3和#4的捕捉設(shè)備312、314和316的捕捉視野內(nèi)。每ー捕捉設(shè)備都可捕捉表示用戶在該位置的姿勢的數(shù)據(jù)。每ー個位置的捕捉設(shè)備都可以經(jīng)由有線連接、無線連接和/或經(jīng)由網(wǎng)絡(luò)連接來連接到本地計算環(huán)境。例如,在位置#1,捕捉設(shè)備312被示為經(jīng)由線纜304連接到計算環(huán)境302。有線連接可包括將捕捉設(shè)備耦合到計算環(huán)境的電纜,諸如S視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜等。捕捉設(shè)備可以適用于直接插到計算環(huán)境中,或者可以按其他方式結(jié)合到能夠處理捕捉數(shù)據(jù)的計算環(huán)境中。捕捉設(shè)備可將捕捉到的數(shù)據(jù)提供給計算環(huán)境以供處理。計算環(huán)境可以對數(shù)據(jù)采用姿勢識別技術(shù),其中用戶可作出姿勢以控制基于姿勢的系統(tǒng)的各方面,包括計算環(huán)境或應(yīng)用的各方面。在一示例實施例中,捕捉設(shè)備本身可以是能夠處理捕捉到的數(shù)據(jù)的計算環(huán)境。例如,任何捕捉設(shè)備312、314、316都可具有諸如處理器等用于處理捕捉數(shù)據(jù)并采用姿勢識別技術(shù)的能力。例如,在位置#2,捕捉設(shè)備314被示為結(jié)合到手持式計算設(shè)備304中。每ー個計算環(huán)境302、304、306、308和對應(yīng)的捕捉設(shè)備被示為在各個位置,即位置#1、位置#2、位置#3和位置#4。如此處所使用的,位置是包括系統(tǒng)的各個部分可位于其中的任何位置的寬泛術(shù)語。例如,位置#1,#2,#3, and#4可以是彼此非??拷?,諸如在房屋中的不同房間,彼此非常遠(yuǎn)離,諸如在不同的州,或其任何組合。各個位置可以指相同、一般、本地位置中的特定位置。例如,每ー個位置#1、#2、#3和M可以指系統(tǒng)的組件在諸如會議室等一般位置中的特定位置。系統(tǒng)300的各個部分可以諸如經(jīng)由網(wǎng)絡(luò)250來進(jìn)行本地或遠(yuǎn)程通信。例如,考慮可被發(fā)現(xiàn)為適應(yīng)工作環(huán)境的聯(lián)網(wǎng)系統(tǒng)。例如,位置#1和位置#3可表示相同的會議室,以使得計算環(huán)境302、306和捕捉設(shè)備312、314在相同的房間中。本地設(shè)備可經(jīng)由本地連接,諸如經(jīng)由網(wǎng)絡(luò)250,來連接。位置#2可以是遠(yuǎn)程位置,以使得遠(yuǎn)程服務(wù)器308可以在遠(yuǎn)程位置維護(hù)。并且計算環(huán)境304可以是用戶在家工作的居所并且經(jīng)由家庭網(wǎng)絡(luò)連接登錄到網(wǎng)絡(luò)250。由此,可以構(gòu)想位置指的是用于捕捉或處理姿勢數(shù)據(jù)的設(shè)備可位于其中的任何位置。在另ー示例中,考慮其中遠(yuǎn)程用戶連接到在服務(wù)器308處主存的游戲服務(wù)的游戲網(wǎng)絡(luò)。 每ー個位置#1、#3和M的遠(yuǎn)程用戶可經(jīng)由網(wǎng)絡(luò)250連接并且可以彼此玩同一個游戲。在另ー示例中,位置可以是本地的,其中本地用戶可以在同一房間中的各自計算環(huán)境上工作并且通過局域網(wǎng)250來彼此交互。捕捉設(shè)備可將捕捉到的數(shù)據(jù)提供給計算環(huán)境以供處理。計算環(huán)境可以對數(shù)據(jù)采用姿勢識別技術(shù),其中用戶可作出姿勢以控制基于姿勢的系統(tǒng)的各方面,包括計算環(huán)境或應(yīng)用的各方面。在一示例實施例中,捕捉設(shè)備本身可以是能夠處理捕捉到的數(shù)據(jù)的計算環(huán)境。例如,任何捕捉設(shè)備312、314、316都可具有諸如處理器等用于處理捕捉數(shù)據(jù)并采用姿勢識別技術(shù)的能力。例如,在位置#2,捕捉設(shè)備314被示為結(jié)合到手持式計算設(shè)備304中。在位置#1,捕捉設(shè)備312被示為經(jīng)由線纜305連接到計算環(huán)境302,但還可經(jīng)由與網(wǎng)絡(luò)250的連接251來與本地計算環(huán)境通信。例如,在相同的位置#1的捕捉設(shè)備312和計算環(huán)境302可以是家庭無線網(wǎng)絡(luò)250的一部分。捕捉設(shè)備312可捕捉表示用戶322的姿勢的數(shù)據(jù)并通過家庭無線網(wǎng)絡(luò)250將該數(shù)據(jù)提供給計算環(huán)境302。由此,捕捉設(shè)備312和計算環(huán)境302可以是在不同的房間,例如在更一般的位置,即位置#1。例如,計算環(huán)境302可以是家庭無線網(wǎng)絡(luò)250中的中央計算環(huán)境302,并且可位于諸如辦公室等一個房間中。捕捉設(shè)備312和顯示器303可位于另一房間中,諸如家里的媒體或游戲房。捕捉設(shè)備312可以與計算環(huán)境302聯(lián)網(wǎng)以使其能夠捕捉用戶322的數(shù)據(jù),將該數(shù)據(jù)提供給計算環(huán)境302以供處理,并接收從計算環(huán)境到顯示器303的輸出。類似地,計算機(jī)環(huán)境或捕捉設(shè)備可以輸出到對于計算環(huán)境或捕捉設(shè)備中的任ー個或兩者是本地或遠(yuǎn)程的顯示器。例如,在位置#1,計算環(huán)境302被示為具有顯示組件303。然而,可以構(gòu)想,類似于捕捉設(shè)備304,顯示器303可經(jīng)由有線連接、無線連接和/或經(jīng)由網(wǎng)絡(luò)連接來連接到計算環(huán)境302。由此,顯示組件303可以是例如家庭無線網(wǎng)絡(luò)250的一部分,并且經(jīng)由線纜或經(jīng)由網(wǎng)絡(luò)250從捕捉設(shè)備304接收供顯示的輸出。聯(lián)網(wǎng)系統(tǒng)的組件可以在一位置內(nèi)本地地共享信息或跨位置遠(yuǎn)程地共享信息。在一示例實施例中,本地計算環(huán)境302從捕捉設(shè)備312接收表示用戶322的數(shù)據(jù)。計算環(huán)境302可輸出到本地顯示器,諸如計算環(huán)境302的顯示組件303或以其他方式連接到計算環(huán)境302的另ー顯示設(shè)備。計算環(huán)境302可以另選地或者也將數(shù)據(jù)提供給遠(yuǎn)程計算環(huán)境或遠(yuǎn)程顯示組件以供顯示。例如,計算環(huán)境302可以通過網(wǎng)絡(luò)250與計算環(huán)境316通信。計算環(huán)境306可以從計算環(huán)境302接收數(shù)據(jù)并將用戶322的姿勢映射到對計算環(huán)境306是本地的顯示組件 307。在另ー示例實施例中,捕捉設(shè)備312可通過網(wǎng)絡(luò)250提供數(shù)據(jù)以供諸如計算環(huán)境304、306或308等遠(yuǎn)程計算環(huán)境來分析或顯示。由此,對用戶是遠(yuǎn)程的計算環(huán)境可處理由對用戶322是本地的捕捉設(shè)備312捕捉的數(shù)據(jù),但在遠(yuǎn)程計算環(huán)境處顯示該用戶的視覺表示。存在支持分布式計算環(huán)境的各種系統(tǒng)、組件和網(wǎng)絡(luò)配置。例如,計算系統(tǒng)可以通過有線或無線系統(tǒng)、本地網(wǎng)絡(luò)或廣泛分布的網(wǎng)絡(luò)連接在一起。目前,許多網(wǎng)絡(luò)被耦合至因特網(wǎng),后者從而為廣泛分布的計算提供基礎(chǔ)架構(gòu)并涵蓋多個不同的網(wǎng)絡(luò)。無論是否被耦合至因特網(wǎng),任何這樣的基礎(chǔ)架構(gòu)都可以用于所提供的系統(tǒng)和方法。網(wǎng)絡(luò)基礎(chǔ)架構(gòu)可以允許諸如 客戶機(jī)/服務(wù)器、對等或混合體系結(jié)構(gòu)等各種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的主機(jī)?!翱蛻舳恕笔鞘褂门c其無關(guān)的另ー類或組的服務(wù)的ー類或組中的成員。在計算中,客戶端是進(jìn)程,即大致上是請求由另ー程序提供的服務(wù)的ー組指令或任務(wù)??蛻舳诉M(jìn)程使用所請求的服務(wù),而無需關(guān)于其他程序或服務(wù)本身的任何工作細(xì)節(jié)。在客戶端/服務(wù)器體系結(jié)構(gòu)中,尤其在聯(lián)網(wǎng)系統(tǒng)中,客戶端通常是訪問另ー計算機(jī)(例如,服務(wù)器)所提供的共享網(wǎng)絡(luò)資源的計算機(jī)。取決于環(huán)境,任何實體302、304、306、308、312、314和316可被認(rèn)為是客戶機(jī)、服務(wù)器或兩者。并且,此外,關(guān)于娛樂控制臺,它可以是對于服務(wù)器的客戶機(jī)。服務(wù)器通常,但不必須是可通過諸如因特網(wǎng)等遠(yuǎn)程或本地網(wǎng)絡(luò)訪問的遠(yuǎn)程計算機(jī)系統(tǒng)??蛻舳诉M(jìn)程可在第一計算機(jī)系統(tǒng)中活動,而服務(wù)器進(jìn)程可在第二計算機(jī)系統(tǒng)中活動,它們通過通信介質(zhì)相互通信,由此提供分布式功能并允許多個客戶端利用服務(wù)器的信息收集能力。任何軟件對象可以跨多個計算設(shè)備或?qū)ο蠓植???蛻魴C(jī)和服務(wù)器利用由協(xié)議層提供的功能來彼此通信。例如,超文本傳輸協(xié)議(HTTP)是結(jié)合萬維網(wǎng)(WWW),Srweb”使用的常見協(xié)議。通常,諸如網(wǎng)際協(xié)議(IP)地址等計算機(jī)網(wǎng)絡(luò)地址或諸如統(tǒng)ー資源定位器(URL)等其它引用可以用于彼此標(biāo)識服務(wù)器或客戶計算機(jī)。網(wǎng)絡(luò)地址可以被稱為URL地址。可以通過通信介質(zhì)來提供通信,例如客戶機(jī)和服務(wù)器可以通過TCP/IP連接來彼此耦合以進(jìn)行大容量通信。由此,可以構(gòu)想位置指的是用于處理或捕捉姿勢數(shù)據(jù)的設(shè)備可位于其中的任何位置。在另ー示例中,考慮其中遠(yuǎn)程用戶連接到在服務(wù)器308處主存的游戲服務(wù)的游戲網(wǎng)絡(luò)。每ー個位置#1、#3和M的遠(yuǎn)程用戶可經(jīng)由網(wǎng)絡(luò)250連接并且可以彼此玩同一個游戲。在另ー示例中,位置可以是本地的,其中本地用戶可以在同一房間中的各自計算環(huán)境上工作并且通過相同的系統(tǒng)組件或通過局域網(wǎng)來彼此交互。如此處所使用的,對系統(tǒng)的引用可以是對圖2A-3所示的系統(tǒng)200中的任ー單個部分、其任何組合或能夠執(zhí)行類似功能的任何附加組件或計算環(huán)境的應(yīng)用。例如,計算設(shè)備302可以提供參考圖I所示的計算設(shè)備212或以下參考圖8描述的計算機(jī)的功能。可以構(gòu)想諸如來自
圖1-2C的210、212、213、214等此處描述的計算環(huán)境或來自圖3的計算環(huán)境302、304、306、308中的任一個可被配置為諸如參考圖I描述的目標(biāo)識別、分析和跟蹤系統(tǒng)10的目標(biāo)識別、分析和跟蹤系統(tǒng),并且計算環(huán)境中的任一個可采用用于姿勢識別、縮放或轉(zhuǎn)化的技木。如圖1、2A-2E和3所示,計算環(huán)境210,212,213,214可包括顯示設(shè)備或可以按其他方式連接到顯示設(shè)備。計算環(huán)境可包括其自己的相機(jī)組件,連接到獨立捕捉設(shè)備,或者可以連接到具有諸如捕捉設(shè)備202等相機(jī)組件的設(shè)備。例如,計算環(huán)境212可以耦合到可以從物理空間捕捉數(shù)據(jù)的捕捉設(shè)備202或以其他方式從捕捉設(shè)備202接收用戶204的姿勢信息。考慮到可以根據(jù)此處提供的通用架構(gòu)構(gòu)建的各種計算環(huán)境,以及在諸如圖3的網(wǎng)絡(luò)環(huán)境中的計算中可能發(fā)生的進(jìn)ー步變化,此處提供的系統(tǒng)和方法不能被解釋為以任何方式限于某ー特定的計算體系結(jié)構(gòu)或操作系統(tǒng)。相反,當(dāng)前所公開的主題不應(yīng)限于任何單個實施例,而是應(yīng)該根據(jù)所附權(quán)利要求書的廣度和范圍來解釋。最后,應(yīng)當(dāng)注意,此處描述的各種技術(shù)可以結(jié)合硬件或軟件,或在適當(dāng)時以兩者的組合來實現(xiàn)。因此,當(dāng)前所公開的主題的方法、計算機(jī)可讀介質(zhì)、以及系統(tǒng)或其特定方面或部分可采取包含在諸如軟盤、⑶-ROM、硬盤驅(qū)動器或任何其它機(jī)器可讀存儲介質(zhì)等有形介質(zhì)中的程序代碼(即,指令)的形式,其中當(dāng)程序代碼被加載到諸如計算機(jī)等機(jī)器內(nèi)并由其執(zhí)行時,該機(jī)器成為用于實現(xiàn)本主題的裝置。在程序代碼在可編程計算機(jī)上執(zhí)行的情況下,計算環(huán)境通??梢园ㄌ幚砥鳌⒃撎幚砥骺勺x的存儲介質(zhì)(包括易失性和非易失性的存儲器和/或存儲元件)、至少ー個輸入設(shè)備、以及至少ー個輸出設(shè)備??衫缤ㄟ^使用數(shù)據(jù)處理API等來利用本發(fā)明的域?qū)S镁?程模型的創(chuàng)建和/或?qū)崿F(xiàn)的各方面的一個或多個程序較佳地用高級過程語言或面向?qū)ο蟮木幊陶Z言來實現(xiàn)以與計算機(jī)系統(tǒng)通信。然而,如果需要,該程序可以用匯編語言或機(jī)器語言來實現(xiàn)。在任何情形中,語言可以是編譯語言或解釋語言,且與硬件實現(xiàn)相結(jié)合。圖4示出了可用于目標(biāo)識別、分析和跟蹤的捕捉設(shè)備202的示例性實施例,其中該目標(biāo)可以是用戶或物體。根據(jù)ー示例實施例,捕捉設(shè)備202可被配置成經(jīng)由任何合適的技術(shù),包括例如飛行時間、結(jié)構(gòu)化光、立體圖像等來捕捉帶有包括深度圖像的深度信息的視頻,該深度信息可包括深度值。根據(jù)ー個實施例,捕捉設(shè)備202可以將所計算的深度信息組織成“Z層”,或與從深度相機(jī)沿其視線延伸的Z軸垂直的層。如圖4所示,捕捉設(shè)備202可包括圖像相機(jī)組件22。根據(jù)ー個示例性實施例,圖像相機(jī)組件22可以是可捕捉場景的深度圖像的深度相機(jī)。深度圖像可以包括所捕捉場景的ニ維(2-D)像素區(qū)域,其中2-D像素區(qū)域中的每個像素都可表示深度值,比如例如所捕捉場景中的對象距相機(jī)的以厘米、毫米等為單位的長度或距離。如圖4所示,根據(jù)ー示例性實施例,圖像相機(jī)組件22可以包括可用于捕捉場景的深度圖像的IR光組件24、三維(3-D)相機(jī)26、和RGB相機(jī)28。例如,在飛行時間分析中,捕捉設(shè)備202的IR光組件24可將紅外光發(fā)射到場景上,并且隨后可使用傳感器(未示出)、用例如3-D相機(jī)26和/或RGB相機(jī)28來檢測從場景中的一個或多個目標(biāo)和物體的表面反向散射的光。在一些實施例中,可以使用脈沖紅外光,使得可以測量出射光脈沖與相應(yīng)入射光脈沖之間的時間,并且將其用于確定從捕捉設(shè)備202到場景中的目標(biāo)或物體上的特定位置的物理距離。附加地,在其他示例性實施例中,可以將出射光波的相位與入射光波的相位相比較來確定相移。該相移然后可以用于確定從捕獲設(shè)備202到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另ー示例性實施例,可以使用飛行時間分析來通過經(jīng)由包括例如快門式光脈沖成像在內(nèi)的各種技術(shù)分析反射光束隨時間的強度來間接地確定從捕捉設(shè)備202到目標(biāo)或物體上的特定位置的物理距離。在另ー示例性實施例中,捕捉設(shè)備202可以使用結(jié)構(gòu)化光來捕捉深度信息。在這樣的分析中,圖案化光(即被顯示為諸如網(wǎng)格圖案或條紋圖案之類的已知圖案的光)可以經(jīng)由例如IR光組件24被投影到場景上。在落到場景中的一個或多個目標(biāo)或物體的表面上以后,作為響應(yīng),圖案可以變?yōu)樽冃蔚?。圖案的這樣的變形可以被例如3-D相機(jī)26和/或RGB相機(jī)28捕捉,并且隨后可被分析以確定從捕捉設(shè)備202到目標(biāo)或物體上的特定位置的物理距離。
根據(jù)另ー實施例,捕捉設(shè)備202可包括可以從不同的角度觀察場景的兩個或更多個在物理上分開的相機(jī),以獲取可以被解析以生成深度信息的視覺立體數(shù)據(jù)。在另ー示例實施例中,捕捉設(shè)備202可使用點云數(shù)據(jù)(point cloud data)和目標(biāo)數(shù)字化技術(shù)來檢測用戶的特征。捕捉設(shè)備202還可以包括話筒30或話筒陣列。話筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號的變換器或傳感器。根據(jù)ー個實施例,麥克風(fēng)30可以被用來減少目標(biāo)識別、分析,及跟蹤系統(tǒng)10中的捕捉設(shè)備202和計算環(huán)境212之間的反饋。附加地,話筒30可用于接收也可由用戶提供的音頻信號,以控制可由計算環(huán)境212執(zhí)行的諸如游戲應(yīng)用、非游戲應(yīng)用等之類的應(yīng)用。在一示例性實施例中,捕捉設(shè)備202還可包括可與圖像相機(jī)組件22可操作地通信的處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等,這些指令可包括用于接收深度圖像的指令、用于確定合適的目標(biāo)是否可包括在深度圖像中的指令、用于將合適的目標(biāo)轉(zhuǎn)換成該目標(biāo)的骨架表示或模型的指令、或任何其他合適的指令。例如,計算機(jī)可讀介質(zhì)可包括用于接收場景數(shù)據(jù)的計算機(jī)可執(zhí)行指令,其中該數(shù)據(jù)包括表示物理空間中的目標(biāo)的數(shù)據(jù)。指令包括用于如此處所描述的姿勢簡檔個性化和姿勢簡檔漫游的指令。捕捉設(shè)備202還可包括存儲器組件34,存儲器組件34可存儲可由處理器32執(zhí)行的指令、3-D相機(jī)26或RGB相機(jī)28所捕捉的圖像或圖像的幀、或任何其他合適的信息、圖像等等。根據(jù)ー示例性實施例,存儲器組件34可包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤、或任何其他合適的存儲組件。如圖4所示,在一個實施例中,存儲器組件34可以是與圖像捕捉組件22和處理器32進(jìn)行通信的単獨的組件。根據(jù)另ー實施例,存儲器組件34可被集成到處理器32和/或圖像捕捉組件22中。如圖4所示,捕捉設(shè)備202可經(jīng)由通信鏈路36與計算環(huán)境212進(jìn)行通信。通信鏈路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線802. Ilb,802. llg、802. Ila或802. Iln連接等的無線連接。根據(jù)ー個實施例,計算環(huán)境212可以經(jīng)由通信鏈路36向捕捉設(shè)備202提供時鐘,該時鐘可用于確定何時捕捉例如場景。附加地,捕捉設(shè)備202可以通過通信鏈路36向計算環(huán)境212提供由例如3_D相機(jī)26和/或RGB相機(jī)28捕捉到的深度信息和圖像、以及可以由捕捉設(shè)備202生成的骨架模型。計算環(huán)境212然后可使用該骨架模型、深度信息和捕捉的圖像來例如控制諸如游戲或文字處理程序之類的應(yīng)用。例如,如圖4所示,計算環(huán)境212可包括姿勢庫192。如圖所示,在圖4中,計算環(huán)境212可包括姿勢庫192和姿勢識別引擎190。姿勢識別引擎190可包括姿勢過濾器191的集合。過濾器可包括可識別姿勢或以其他方式處理深度、RGB或骨架數(shù)據(jù)的代碼和相關(guān)聯(lián)的數(shù)據(jù)。每個過濾器191都可包括一并定義姿勢和該姿勢的參數(shù)或元數(shù)據(jù)的信息。例如,包括一只手從身體背后到經(jīng)過身體前方的運動可被實現(xiàn)為包括表示用戶的ー只手從身體背后到經(jīng)過身體前方的移動的信息的姿勢過濾器191,該移動將由深度相機(jī)來捕捉。然后可以為該姿勢設(shè)置參數(shù)。在姿勢是投擲的情況下,參數(shù)可以是該手必須達(dá)到的閾值速度、該手必須行進(jìn)的距離(要么為絕對的、要么相對于用戶的整體大小而言)、以及識別器引擎對發(fā)生了該姿勢的置信度評級。用于姿勢的這些參數(shù)可以因應(yīng)用而異、因單個應(yīng)用的各上下文而異、或者在一個應(yīng)用的ー個上下文內(nèi)隨時間變化。盡管構(gòu)想了姿勢識別引擎190可包括姿勢過濾器的集合,其中過濾器可包括表示用于處理深度、RGB或骨架數(shù)據(jù)的代碼或以其他方式表示用于進(jìn)行這樣的處理的組件,但對過濾器的使用不g在將分析限于過濾器。過濾器是分析系統(tǒng)所接收的場景的數(shù)據(jù),并將該數(shù)據(jù)與表示姿勢的基本信息進(jìn)行比較的示例組件或代碼部分的表示。作為分析的結(jié)果,系統(tǒng)可產(chǎn)生對應(yīng)于輸入數(shù)據(jù)是否對應(yīng)于姿勢的輸出。表示姿勢的基本信息可被調(diào)整為對應(yīng)于代表用戶的捕捉運動的數(shù)據(jù)歷史中重復(fù)出現(xiàn)的特征。例如,基本信息可以是如上所述的姿勢過濾器的一部分。但是,構(gòu)想了任何合適的用于分析輸入數(shù)據(jù)和姿勢數(shù)據(jù)的方式。在一示例實施例中,姿勢可被識別為進(jìn)入修改模式的觸發(fā),在修改模式中,用戶可修改該用戶的姿勢簡檔中的姿勢參數(shù)。例如,姿勢過濾器191可包括用于識別修改觸發(fā)姿 勢的信息。如果識別到修改觸發(fā)姿勢,則應(yīng)用可進(jìn)入修改模式。修改觸發(fā)姿勢可在應(yīng)用之間、在系統(tǒng)之間、在用戶之間等變化。例如,網(wǎng)球游戲應(yīng)用中相同的姿勢可能不是保齡球游戲應(yīng)用中相同的修改觸發(fā)姿勢??蓪⒂上鄼C(jī)26、28和設(shè)備202捕捉的骨架模型以及與其相關(guān)聯(lián)的移動的形式的數(shù)據(jù)與姿勢庫192中的姿勢過濾器191進(jìn)行比較來標(biāo)識用戶(如骨架模型所表示的)何時執(zhí)行了ー個或多個姿勢。由此,到諸如過濾器191之類的過濾器的輸入可以包括諸如關(guān)于用戶的關(guān)節(jié)位置的關(guān)節(jié)數(shù)據(jù),如關(guān)節(jié)處相交的骨骼所形成的角度、來自場景的RGB色彩數(shù)據(jù)、以及用戶的某一方面的變化速率等內(nèi)容。如所提到的那樣,可以為姿勢設(shè)置參數(shù)。來自過濾器191的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運動的速度、以及姿勢發(fā)生的時間之類的內(nèi)容。計算環(huán)境212可以包括處理器195,處理器195可處理深度圖像來確定場景中有什么目標(biāo),如房間中的用戶18或物體。這例如可以通過將深度圖像的共享相似距離值的像素編組在一起來實現(xiàn)。該圖像也可被解析以產(chǎn)生用戶的骨架表示,其中標(biāo)識出諸如關(guān)節(jié)以及關(guān)節(jié)間流動的組織之類的特征。存在骨架映射技術(shù),其使用深度相機(jī)來捕捉個人,并從中確定如下各項該用戶骨架上的多個點,手、腕、肘、膝、鼻、踝、肩的關(guān)節(jié),以及骨盆與脊椎相交之處。其他技術(shù)包括將圖像變換成人的人體模型表示以及將圖像變換成人的網(wǎng)格模型表
/Jn o在實施例中,處理是在捕捉設(shè)備202本身上執(zhí)行的,并且深度和色彩(其中捕捉設(shè)備202包括3D相機(jī)26)值的原始圖像數(shù)據(jù)經(jīng)由鏈路36被傳送給計算環(huán)境212。在另ー實施例中,處理由耦合到相機(jī)402的處理器32來執(zhí)行,并且然后經(jīng)解析的圖像數(shù)據(jù)被發(fā)送給計算環(huán)境212。在又一實施例中,原始圖像數(shù)據(jù)和經(jīng)解析的圖像數(shù)據(jù)二者都被發(fā)送給計算環(huán)境212。計算環(huán)境212可以接收經(jīng)解析的圖像數(shù)據(jù),但是它仍然可以接收原始數(shù)據(jù)以用于執(zhí)行當(dāng)前過程或應(yīng)用。例如,如果場景的圖像經(jīng)過計算機(jī)網(wǎng)絡(luò)被傳送給另ー用戶,則計算環(huán)境212可以傳送原始數(shù)據(jù)以供另ー計算環(huán)境處理。計算環(huán)境212可使用諸如圖4所示的姿勢庫192和姿勢簡檔205來解釋骨架模型的移動并基于移動來控制應(yīng)用。計算環(huán)境212可以例如以諸如顯示設(shè)備193之類的顯示器上的化身或指針的形式來對用戶的表示進(jìn)行建模和顯示。顯示設(shè)備193可包括計算機(jī)監(jiān)視器、電視機(jī)屏幕、或任何合適的顯示設(shè)備。例如,相機(jī)控制的計算機(jī)系統(tǒng)可捕捉用戶圖像數(shù)據(jù),并在電視機(jī)屏幕上顯示映射到用戶的姿勢的用戶反饋。用戶反饋可以如圖I中所示那樣被顯示為屏幕上的化身?;淼倪\動可直接通過將化身的移動映射到用戶的移動來控制。用戶的姿勢可以被解釋來控制應(yīng)用的某些方面。根據(jù)ー示例性實施例,目標(biāo)可以是處于諸如站著或坐著等任何姿勢的人類目標(biāo)、具有物體的人類目標(biāo)、兩個或更多人類目標(biāo)、一個或多個人類目標(biāo)的ー個或多個附加物等,所述目標(biāo)可被掃描、跟蹤、建模和/或評估以實現(xiàn)如下各項生成虛擬屏幕、將用戶與ー個或多個所存儲的簡檔進(jìn)行比較、和/或在諸如計算環(huán)境212等計算環(huán)境中存儲與用戶相關(guān)聯(lián)的姿勢簡檔205。姿勢簡檔205可 以是用戶、應(yīng)用或系統(tǒng)專用的。姿勢簡檔205例如可以經(jīng)由應(yīng)用來訪問,或者可以是在系統(tǒng)范圍內(nèi)可用的。姿勢簡檔205可以包括用于加載特定用戶簡檔信息的查找表。虛擬屏幕可以與可由上面參照圖I所述的計算環(huán)境212執(zhí)行的應(yīng)用進(jìn)行交互。姿勢簡檔205可以包括用戶標(biāo)識數(shù)據(jù),諸如目標(biāo)的所掃描的或所估計的身體大小、骨架模型、身體模型、語音樣本或ロ令、目標(biāo)性別、目標(biāo)年齡、先前的姿勢、目標(biāo)限制、以及目標(biāo)對系統(tǒng)的標(biāo)準(zhǔn)使用,比如例如坐、慣用左手或慣用右手的傾向性,或站在非??拷蹲皆O(shè)備之處的傾向性。該信息可用于確定捕捉場景中的目標(biāo)與ー個或多個用戶之間是否存在匹配。如果存在匹配,則用戶的姿勢簡檔205可被加載,并在一個實施例中可允許系統(tǒng)使得姿勢識別技術(shù)對用戶進(jìn)行自適應(yīng),或者根據(jù)姿勢簡檔205來使得計算或游戲體驗的其他元素進(jìn)行自適應(yīng)。ー個或多個姿勢簡檔205可被存儲在計算機(jī)環(huán)境212中,并在多個用戶會話中使用,或者一個或多個個人簡檔可以是僅為單個會話而創(chuàng)建的。用戶可以具有建立簡檔的選項,其中他們可向系統(tǒng)提供信息,比如語音或身體掃描、年齡、個人偏好、慣用右手或左手、化身、姓名等。還可以為除進(jìn)入捕捉空間以外不向系統(tǒng)提供任何信息的“訪客”生成或提供姿勢簡檔??梢詾椹`個或多個訪客建立臨時的個人簡檔。在訪客會話的結(jié)束時,可以存儲或刪除訪客姿勢簡檔。姿勢庫192、姿勢識別引擎190、以及姿勢簡檔205可以用硬件、軟件或兩者的組合來實現(xiàn)。例如,姿勢庫192和姿勢識別引擎190可被實現(xiàn)為在圖4所示的計算環(huán)境212的諸如處理器195等處理器上執(zhí)行的,或在圖7的處理單元101或圖8的處理單元259上執(zhí)行的軟件。要強調(diào)的是,以下描述的圖4以及圖7和8中描繪的框圖是示例性的,且不g在暗示一具體實現(xiàn)。由此,圖4的處理器195或32、圖7的處理單元101、和圖8的處理單元259可被實現(xiàn)為單個處理器或多個處理器。多個處理器可以分布式或集中式地定位。例如,姿勢庫192可被實現(xiàn)為在捕捉設(shè)備的處理器32上執(zhí)行的軟件,或者它可被實現(xiàn)為在計算環(huán)境212中的處理器195上執(zhí)行的軟件。構(gòu)想了適用于執(zhí)行此處公開的技術(shù)的處理器的任意組合。多個處理器可無線地、經(jīng)由硬連線、或以其組合來通信。姿勢庫和過濾器參數(shù)可由姿勢工具為應(yīng)用或應(yīng)用的上下文微調(diào)。上下文可以是文化上下文,并且可以是環(huán)境上下文。文化上下文指的是使用系統(tǒng)的用戶的文化。不同的文化可使用相似的姿勢來傳遞明顯不同的含義。例如,希望向另ー個用戶告知“看”或“使用他的眼睛”的美國用戶可將他的食指放在他頭上靠近他的眼睛的末端處。然而,對意大利用戶而言,該姿勢可被解釋為對黑手黨的指代。
類似地,在單個應(yīng)用的不同環(huán)境之中可能存在不同的上下文。以涉及操作摩托車的第一用戶射擊游戲為例。當(dāng)用戶在步行時,將手指朝向地面握拳井向前且從身體向外伸出拳頭可表示出拳姿勢。當(dāng)用戶在駕駛上下文中時,相同的運動可表示“換擋”姿勢。姿勢可以被一起編組到互補姿勢的風(fēng)格包中,這些互補姿勢可能以該風(fēng)格被應(yīng)用使用?;パa姿勢一要么如通常一起使用的那些姿勢中那樣是互補的,要么如ー個姿勢的參數(shù)的改變將改變另一姿勢的參數(shù)中那樣是互補的一可被一起分組到風(fēng)格包中。這些包可被提供給應(yīng)用,該應(yīng)用可選擇至少其中ー個。應(yīng)用可微調(diào)或修改姿勢或姿勢過濾器191的參數(shù)來最佳地適合應(yīng)用的獨特方面。當(dāng)微調(diào)該參數(shù)時,也微調(diào)該姿勢或第二姿勢的第二互補參數(shù)(在相互依賴的意義上)使得這些參數(shù)保持互補。用于視頻游戲的風(fēng)格包可包括諸如第一用戶射擊、動作、駕駛和體育等風(fēng)格。圖5A描繪了可從捕捉設(shè)備202生成的用戶的示例骨架映射。在該實施例中,標(biāo)識出各個關(guān)節(jié)和骨骼每一手502、每一前臂504、每ー肘506、每一二頭肌508、每ー肩510、每一髖512、姆一大腿514、姆一膝516、姆一小腿518、姆一足520、頭522、軀干524、脊椎的頂部526和底部528,以及腰530。在跟蹤更多點的情況下,可標(biāo)識出附加的特征,比如手指或 腳趾的骨骼和關(guān)節(jié),或面部的各個特征,如鼻和眼。用戶可通過移動他的身體創(chuàng)建姿勢。姿勢包括用戶的運動或姿態(tài),其可被捕捉為圖像數(shù)據(jù)并解析其意義。姿勢可以是動態(tài)的,包括運動,如模仿投球。姿勢可以是靜態(tài)姿態(tài),如在ー個人的軀干524前面交叉握住他的前臂504。姿勢可以是單個移動(例如,跳躍)或連續(xù)的姿勢(例如,駕駛),并且在持續(xù)時間上可短可長(例如,駕駛202分鐘)。姿勢也可結(jié)合道具,如通過揮動仿制的劍。姿勢可包括多于ー個身體部位,如拍雙手502,或是較微小的運動,如撅起ー個人的嘴唇。用戶的姿勢可用作一般計算上下文中的輸入。例如,手502或其他身體部位的各種運動可對應(yīng)于常見的系統(tǒng)級任務(wù),如在分層列表中向上或向下導(dǎo)航、打開文件、關(guān)閉文件和保存文件。例如,用戶能以手指向上指且掌心面向捕捉設(shè)備202來使他的手保持不動。他然后可以將手指朝向手掌收攏來形成拳頭,并且這可以是指示基于窗ロ的用戶界面計算環(huán)境中的焦點窗ロ應(yīng)被關(guān)閉的姿勢。姿勢也可在視頻游戲?qū)S蒙舷挛闹腥Q于游戲來使用。例如,對于駕駛游戲,手502和腳520的各種運動可對應(yīng)于在一方向上操控車輛、換擋、加速和剎車。由此,姿勢可指示映射到所顯示的用戶表示的、在諸如視頻游戲、文本編輯器、文字處理、數(shù)據(jù)管理等各種各樣應(yīng)用中的各種各樣的運動。用戶可通過自己在原地行走或奔跑來生成對應(yīng)于行走或奔跑的姿勢。例如,用戶可另選地提起并放下每ー腿512-520來在不移動的情況下模擬行走。系統(tǒng)可通過分析每ー髖512和每一大腿514來解析該姿勢。當(dāng)一個髖部-大腿角(如相對于垂直線測量的,其中站立的腿具有0°的髖部-大腿角,而向前水平伸展的腿具有90°的髖部-大腿角)超過相對于另一大腿的特定閾值時,可識別一歩。行走或奔跑可在交替腿的某一數(shù)量的連續(xù)步之后被識別。兩個最近的步之間的時間可被認(rèn)為是一周期。在不滿足閾值角度達(dá)某ー數(shù)量的周期之后,系統(tǒng)可確定行走或奔跑姿勢已停止。給定“行走或奔跑”姿勢,應(yīng)用可為與該姿勢相關(guān)聯(lián)的參數(shù)設(shè)定值。這些參數(shù)可包括上述閾值角度、發(fā)起行走或奔跑姿勢所需的歩數(shù)、結(jié)束姿勢的沒有發(fā)生步的周期數(shù)、以及確定姿勢是行走還是奔跑的閾值周期??熘芷诳蓪?yīng)于奔跑,因為用戶將快速地移動他的腿,而較慢的周期可對應(yīng)于行走。姿勢最初可以與ー組默認(rèn)參數(shù)相關(guān)聯(lián),應(yīng)用可用其自己的參數(shù)來覆蓋該組默認(rèn)參數(shù)。在這ー場景中,不迫使應(yīng)用提供參數(shù),而是應(yīng)用可改為使用一組允許在沒有應(yīng)用定義的參數(shù)的情況下識別姿勢的默認(rèn)參數(shù)。與姿勢有關(guān)的信息可被存儲用于預(yù)錄制的姿勢動畫的目的。存在可以與姿勢相關(guān)聯(lián)的各種輸出??梢源嬖陉P(guān)于姿勢是否正在發(fā)生的基線“是或否”。還可以有置信度水平,其對應(yīng)于用戶跟蹤的移動對應(yīng)于姿勢的可能性。這可以是范圍為0和I之間(包括端點)的浮點數(shù)的線性標(biāo)度。在接收該姿勢信息的應(yīng)用不能接受假肯定作為輸入的應(yīng)用中,它可僅使用具有高置信度水平,如至少0. 95的已識別的姿勢。在應(yīng)用必須識別姿勢的每ー實例的情況下,即使以假肯定為代價,它可使用至少具有低得多的置信度水平的姿勢,如僅僅大于0. 2的那些姿勢。姿勢可具有在兩個最近步之間的時間的輸出,并且在僅注冊了第一歩的情況下,這可被設(shè)為保留值,如-1 (因為任何兩步之間的時 間必須為正)。姿勢也可具有關(guān)于在最近一歩期間達(dá)到的最高大腿角的輸出。另ー示例性姿勢是“腳跟提起跳”。在該姿勢中,用戶可通過將他的腳跟提離地面,但保持他的腳趾著地來創(chuàng)建該姿勢。另選地,用戶可跳向空中,其中他的腳520完全離開地面。該系統(tǒng)可通過分析肩510、髖512和膝516的角度關(guān)系來解析該姿勢的骨架,以查看它們是否是等于直立的對齊位置。然后,可監(jiān)視這些點和較高526和較低528脊椎點來發(fā)現(xiàn)任何向上加速。足夠的加速度組合可觸發(fā)跳躍姿勢。加速度與某一姿勢的足夠的組合可滿足轉(zhuǎn)變點的參數(shù)。給定該“腳跟提起跳”姿勢,應(yīng)用可為與該姿勢相關(guān)聯(lián)的參數(shù)設(shè)定值。參數(shù)可包括上述加速度閾值,其確定用戶的肩510、髖512和膝516的某種組合必須向上移動多快來觸發(fā)該姿勢;以及包括肩510、髖512和膝516之間仍可觸發(fā)跳躍的最大對齊角。輸出可包括置信度水平,以及用戶在跳躍時的身體角度?;趯⒔邮兆藙莸膽?yīng)用的細(xì)節(jié)來為姿勢設(shè)定參數(shù)對于準(zhǔn)確地標(biāo)識姿勢而言是重要的。正確地標(biāo)識姿勢以及用戶的意圖極大地有助于創(chuàng)建積極的用戶體驗。應(yīng)用可以為與各種轉(zhuǎn)變點相關(guān)聯(lián)的參數(shù)設(shè)置值來標(biāo)識出使用預(yù)先錄制的動畫的點。轉(zhuǎn)變點可由各種參數(shù)來定義,如特定姿勢的標(biāo)識、速度、目標(biāo)或物體的角度、或其任何組合。如果轉(zhuǎn)變點至少部分地由特定姿勢的標(biāo)識來定義,則正確地標(biāo)識姿勢有助于提高轉(zhuǎn)變點的參數(shù)已被滿足的置信水平。對于姿勢的另ー參數(shù)可以是移動的距離。在用戶的姿勢控制虛擬環(huán)境中的化身的動作的情況下,該化身可以是手臂離球的長度。如果用戶希望與該球交互并抓住它,則這可要求用戶伸展他的手臂502-510到全長同時作出抓握姿勢。在這ー情形中,用戶僅部分地伸展他的手臂502-510的類似的抓握姿勢可能無法達(dá)到與球交互的結(jié)果。類似地,轉(zhuǎn)變點的參數(shù)可以是對抓握姿勢的標(biāo)識,其中如果用戶僅部分地伸展他的手臂502-510,從而沒有實現(xiàn)與球交互的結(jié)果,則用戶的姿勢將不滿足轉(zhuǎn)變點的參數(shù)。姿勢或其一部分可將它必須在其中發(fā)生的空間體作為參數(shù)。在姿勢包括身體移動的情況下,該空間體通??上鄬τ谏眢w來表達(dá)。例如,對于慣用右手的用戶的美式足球投擲姿勢可僅在不低于右肩510a、且與投擲手臂502a-310a在頭522的相同側(cè)的空間體中識另IJ??赡懿槐匾x空間體的所有邊界,如對于該投擲姿勢,其中從身體向外的邊界留著不被定義,并且該空間體無限地向外延伸,或者延伸到正被監(jiān)視的場景的邊緣。圖5B提供了圖4的姿勢識別器引擎190的一個示例性實施例的進(jìn)ー步細(xì)節(jié)。如圖所示,姿勢識別器引擎190可包括用于確定一個或多個姿勢的至少ー個過濾器519。過濾器519包括定義姿勢526 (以下稱為“姿勢”)的信息,并可包括例如用于該姿勢526的至少一個參數(shù)528或元數(shù)據(jù)。例如,包括一只手從身體背后越過身體前方的運動可被實現(xiàn)為包括表示用戶的ー只手從身體背后越過身體前方的移動的信息的姿勢526,該移動將由深度相機(jī)來捕捉。然后可設(shè)定該姿勢526的參數(shù)528。在姿勢526是投擲的情況下,參數(shù)528可以是該手必須達(dá)到的閾值速度、該手必須行進(jìn)的距離(絕對的,或相對于用戶的整體大小)、以及由識別器引擎190進(jìn)行評級的姿勢526發(fā)生的置信度。姿勢526的這些參數(shù)528可以因應(yīng)用而異、因單個應(yīng)用的上下文而異、或在一個應(yīng)用的ー個上下文內(nèi)隨著時間而變化。過濾器可以是模塊化的或是可互換的。在一實施例中,過濾器具有多個輸入和多個輸出,這些輸入中的每個都具有ー類型,這些輸出中的每個都具有ー類型。在這ー情形中,第一過濾器可用與第一過濾器具有相同數(shù)量和類型的輸入和輸出的第二過濾器來替 換,而不必更改識別器引擎190體系結(jié)構(gòu)的其他方面。例如,可能具有用于驅(qū)動的第一過濾器,該第一過濾器將骨架數(shù)據(jù)作為輸入并輸出與該過濾器相關(guān)聯(lián)的姿勢526正在發(fā)生的置信度和轉(zhuǎn)向角。在希望用第二驅(qū)動過濾器來替換該第一驅(qū)動過濾器的情況下(這可能是因為第二驅(qū)動過濾器更高效且需要更少的處理資源),可以通過簡單地用第二過濾器替換第一過濾器來這樣做,只要第二過濾器具有同樣的輸入和輸出——骨架數(shù)據(jù)類型的ー個輸入、以及置信度類型和角度類型的兩個輸出。過濾器不需要具有參數(shù)528。例如,返回用戶的高度的“用戶高度”過濾器可能不允許可被微調(diào)的任何參數(shù)。備選的“用戶高度”過濾器可具有可微調(diào)參數(shù),比如在確定用戶的高度時是否考慮用戶的鞋、發(fā)型、頭飾以及體態(tài)。對過濾器的輸入可包括諸如關(guān)于用戶的關(guān)節(jié)位置的關(guān)節(jié)數(shù)據(jù),像在關(guān)節(jié)處相交的骨所形成的角度、來自場景的RGB色彩數(shù)據(jù)、以及用戶的某一方面的變化速率等內(nèi)容。來自過濾器的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運動的速度、以及作出姿勢運動的時間等內(nèi)容。姿勢識別器引擎190可具有向姿勢過濾器519提供功能的基礎(chǔ)識別器引擎517。在一實施例中,識別器引擎517實現(xiàn)的功能包括跟蹤已識別的姿勢和其他輸入的隨時間輸入(input-over-time)存檔、隱馬爾可夫模型實現(xiàn)(其中模型化系統(tǒng)被假定為具有未知參數(shù)的馬爾可夫過程ー其中當(dāng)前狀態(tài)封裝了確定將來狀態(tài)所需的任何過去狀態(tài)信息,因此不必為此目的而維護(hù)任何其它過去狀態(tài)信息的過程,并且隱藏參數(shù)從可觀察數(shù)據(jù)來確定)、以及求解姿勢識別的特定實例所需的其他功能?;A(chǔ)識別器弓丨擎517可包括姿勢簡檔520。例如,基礎(chǔ)識別器弓丨擎517可以為用戶將姿勢簡檔520臨時加載到姿勢識別引擎中,將姿勢簡檔520與姿勢過濾器信息存儲在一起,或以其他方式從遠(yuǎn)程位置訪問姿勢簡檔520。姿勢簡檔520可提供是過濾器519中的信息自適應(yīng)以對應(yīng)于特定用戶的參數(shù)。例如,如上所述,姿勢526可以是具有手必須行進(jìn)的閾值速度或距離的參數(shù)的投擲。姿勢簡檔520可以為投擲姿勢526重新定義手必須行進(jìn)的閾值速度或距離。因此,基礎(chǔ)識別器引擎517可以用來自姿勢簡檔520的參數(shù)來補充或替換過濾器519中的參數(shù)。過濾器519可以是默認(rèn)姿勢信息并且姿勢簡檔520可以專門為特定用戶加載。過濾器519在基礎(chǔ)識別器引擎517之上加載并實現(xiàn),并且可利用引擎517提供給所有過濾器519的服務(wù)。在一實施例中,基礎(chǔ)識別器引擎517處理所接收到的數(shù)據(jù)來確定它是否滿足任何過濾器519的要求。由于這些諸如解析輸入等所提供的服務(wù)是由基礎(chǔ)識別器引擎517 —次性提供而非由每ー過濾器519提供的,因此這一服務(wù)在一段時間內(nèi)只需被處理一次而不是在該時間段對每ー過濾器519處理一次,由此減少了確定姿勢所需的處理。應(yīng)用程序可使用識別器引擎190所提供的過濾器519,或者它可提供其自己的過濾器519,該過濾器被插入到基礎(chǔ)識別器引擎517中。類似地,姿勢簡檔可以插入到基礎(chǔ)識別器引擎517中。在一實施例中,所有過濾器519具有啟用該插入特性的通用接ロ。此外,所有過濾器519可利用參數(shù)528,因此可使用如下所述的單個姿勢工具來調(diào)試并微調(diào)整個過濾器系統(tǒng)519。這些參數(shù)528可由姿勢工具521為應(yīng)用或應(yīng)用的上下文來調(diào)節(jié)。在一實施例中, 姿勢工具521包括多個滑塊523以及身體524的圖表示,每ー滑塊523對應(yīng)于ー參數(shù)528。當(dāng)用相應(yīng)的滑塊523來調(diào)整參數(shù)528時,身體524可展示將被識別為具有這些參數(shù)528的姿勢的動作以及將不被識別為具有這些參數(shù)528的姿勢的動作,如所標(biāo)識的。姿勢的參數(shù)528的這一可視化提供了調(diào)試并細(xì)調(diào)姿勢的有效手段。圖6描繪了為多個用戶建立共享的演示體驗的方法的示例流程圖。例如,諸如圖1-3所示的系統(tǒng)200、300可執(zhí)行此處示出的操作。在602,系統(tǒng)可呈現(xiàn)信息演示。如上所述,信息演示可包括其中演示信息的任何生產(chǎn)カ場景,其中該演示可采取各種格式。在604,系統(tǒng)從包括諸如用戶或非人類對象等目標(biāo)的物理空間捕捉數(shù)據(jù)。如上所述,捕捉設(shè)備可捕捉場景的數(shù)據(jù),諸如場景的深度圖像,并掃描場景中的目標(biāo)。捕捉設(shè)備可以確定場景中的一個或多個目標(biāo)是否對應(yīng)于諸如用戶等人類目標(biāo)。例如,為了確定場景中的目標(biāo)或?qū)ο笫欠駥?yīng)于人類目標(biāo),可對每個目標(biāo)進(jìn)行泛色填充并將其與人體模型的圖案作比較。然后可掃描匹配人體模型的每個目標(biāo)或物體來生成與其相關(guān)聯(lián)的骨架模型。例如,可掃描被標(biāo)識為人類的目標(biāo)來生成與其相關(guān)聯(lián)的骨架模型。然后可將該骨架模型提供給計算環(huán)境來跟蹤該骨架模型并呈現(xiàn)與該骨架模型相關(guān)聯(lián)的視覺表不??墒褂锰峁呙枰阎?未知對象、掃描人類、以及掃描場景中的背景方面(例如,地板、墻)的能力的任何已知技術(shù)或此處公開的技術(shù)來檢測物理空間中的目標(biāo)的特征??墒褂妹咯`對象的所掃描的數(shù)據(jù),包括深度和RGB數(shù)據(jù)的組合,來創(chuàng)建該對象的三維模型。該RGB數(shù)據(jù)被應(yīng)用于該模型的對應(yīng)區(qū)域。各幀之間的時間跟蹤可以提高置信度并實時地自適應(yīng)對象數(shù)據(jù)。由此,可使用對象特性以及隨時間對對象特性中的變化的跟蹤來可靠地跟蹤其位置和定向?qū)崟r地在各幀之間變化的對象。捕捉設(shè)備以交互式速率來捕捉數(shù)據(jù),從而提高了數(shù)據(jù)的保真度,并允許所公開的技術(shù)處理原始深度數(shù)據(jù),數(shù)字化場景中的對象,提取對象的表面和紋理,以及實時地執(zhí)行這些技術(shù)中的任ー種,以使得顯示畫面可以提供該場景的實時描繪。此外,多個捕捉設(shè)備可捕捉物理空間的數(shù)據(jù)。可以合并數(shù)據(jù)以使得姿勢識別的保真度増加,其中識別基于附加數(shù)據(jù)。捕捉設(shè)備可以聚焦于單個用戶或可以捕捉關(guān)于許多用戶的數(shù)據(jù)。如果存在可共享數(shù)據(jù)的多個捕捉設(shè)備,則如果第一捕捉設(shè)備不具有視圖或不具有用戶的良好視圖,則物理空間中的第二捕捉設(shè)備可捕捉該用戶的數(shù)據(jù)。
在606,系統(tǒng)可標(biāo)識物理空間中的姆一個用戶并在614將姆一個用戶與視覺表不相關(guān)聯(lián)。在608,系統(tǒng)可以為每ー個用戶指定控制級別,其中控制經(jīng)由物理空間中的姿勢來完成。例如,用戶可以是主要用戶,次要用戶或觀察用戶。取決于姿勢和執(zhí)行姿勢的用戶,姿勢可控制信息演示的各方面。在610,系統(tǒng)可確定用戶是否執(zhí)行姿勢并在612使用該姿勢來控制程序。例如,姿勢包括用戶的姿態(tài)或運動,其可被捕捉為圖像數(shù)據(jù)并解析其含義。在610,可由例如姿勢識別引擎來過濾經(jīng)解析的圖像數(shù)據(jù)以確定是否執(zhí)行姿勢。由此,經(jīng)由基于姿勢的系統(tǒng),信息演示可由多個用戶控制。對于演示的各個參與者,控制可以被共享、轉(zhuǎn)移等。在614,可將視覺表示與每ー個用戶相關(guān)聯(lián)并且在616,系統(tǒng)可動畫化視覺表示以對應(yīng)于姿勢或從該姿勢得出的控制。視覺表示可以與不止一個用戶相關(guān)聯(lián),或者每ー個用戶可具有唯一的視覺表示。例如,如果多個用戶與同一視覺表示相關(guān)聯(lián),則系統(tǒng)可以在用戶之間轉(zhuǎn)移控制。在618,如果信息演示是非順序的,如上所述,則姿勢可控制該非順序信息的一方面。由此,姿勢可應(yīng)用于用戶對非順序信息的所需部分的選擇。所選部分的顯示可提供非 順序信息的畫布到這一畫布的聚焦部分的轉(zhuǎn)換。用戶可以在畫布中導(dǎo)航以改變演示中可用的資產(chǎn)的聚焦部分。計算機(jī)可執(zhí)行指令可包括用于建立共享的演示體驗并在用戶之間轉(zhuǎn)移控制的指令,如此處所描述的。此處描述的用于經(jīng)由姿勢來共享演示體驗的任ー種方法都可被實現(xiàn)為計算機(jī)可執(zhí)行指令。圖7示出可用于解釋目標(biāo)識別、分析和跟蹤系統(tǒng)中的一個或多個姿勢的計算環(huán)境的示例實施例。以上參考附圖I所描述的諸如計算環(huán)境212的計算環(huán)境可以是多媒體控制臺100,諸如游戲控制臺。如圖7所示,多媒體控制臺100具有含有ー級高速緩存102、ニ級高速緩存104和閃存ROM (只讀存儲器)106的中央處理單元(CPU) 101。ー級高速緩存102和ニ級高速緩存104臨時存儲數(shù)據(jù),并且因此減少存儲器訪問周期的數(shù)量,由此改進(jìn)處理速度和呑吐量。CPU 101可被提供為具有一個以上的核,并且由此具有附加的ー級高速緩存102和ニ級高速緩存104。閃存ROM 106可存儲在多媒體控制臺100通電時引導(dǎo)過程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元108向視頻編碼器/視頻編解碼器114運送數(shù)據(jù)。視頻處理流水線向A/V (音頻/視頻)端ロ 140輸出數(shù)據(jù),用于傳輸至電視或其他顯示器。存儲器控制器110連接到GPU 108以方便處理器訪問各種類型的存儲器112,諸如但不局限于RAM (隨機(jī)存取存儲器)。多媒體控制臺100包括較佳地在模塊118上實現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡(luò)接ロ控制器124、第一 USB主控制器126、第二 USB控制器128和前面板I/O子部件130。USB控制器126和128用作外圍控制器142 (I)-142 (2)、無線適配器148、以及外置存儲器設(shè)備146 (例如,閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等)的主機(jī)。網(wǎng)絡(luò)接ロ 124和/或無線適配器148提供對網(wǎng)絡(luò)(例如,因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問,并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中的任何ー種。
提供系統(tǒng)存儲器143來存儲在引導(dǎo)過程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動器144,且其可包括DVD/⑶驅(qū)動器、硬盤驅(qū)動器、或其他可移動媒體驅(qū)動器等。媒體驅(qū)動器144可以是對多媒體控制臺100內(nèi)置的或外置的。應(yīng)用數(shù)據(jù)可經(jīng)由介質(zhì)驅(qū)動器144訪問,供多媒體控制臺100執(zhí)行、回放等。媒體驅(qū)動器144經(jīng)由諸如串行ATA總線或其他高速連接(例如IEEE 1394)等總線連接到I/O控制器2120。系統(tǒng)管理控制器122提供與確保多媒體控制臺100的可用性相關(guān)的各種服務(wù)功能。音頻處理単元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應(yīng)音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理単元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端ロ 140,以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150和彈出按鈕152、以及任何LED (發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺100的組件供電。風(fēng)扇138冷卻多媒體控制臺100內(nèi)的電路。 多媒體控制臺100內(nèi)的CPU 101、GPU 108、存儲器控制器110、以及各種其他組件經(jīng)由一條或多條總線互連,該總線包括串行和并行總線、存儲器總線、外圍總線、以及使用各種總線體系結(jié)構(gòu)中的任一種的處理器或局部總線。作為示例,這些架構(gòu)可以包括外圍部件互連(PCI)總線、PCI-Express總線等。當(dāng)多媒體控制臺100通電時,應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112和/或高速緩存102、104中,并且可在CPU 101上執(zhí)行。應(yīng)用可在導(dǎo)航到多媒體控制臺100上可用的不同媒體類型時呈現(xiàn)提供一致的用戶體驗的圖形用戶界面。在操作中,媒體驅(qū)動器144中所包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動器144啟動或播放,以將附加功能提供給多媒體控制臺100。多媒體控制臺100可通過簡單地將該系統(tǒng)連接到電視機(jī)或其他顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中,多媒體控制臺100允許ー個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而,在通過網(wǎng)絡(luò)接ロ 2124或無線適配器148可用的寬帶連接集成的情況下,多媒體控制臺100還可作為更大網(wǎng)絡(luò)社區(qū)中的參與者來操作。當(dāng)多媒體控制臺100通電時,可以保留設(shè)定量的硬件資源以供多媒體控制臺操作系統(tǒng)用作系統(tǒng)使用。這些資源可包括存儲器的保留量(諸如,16MB)、CPU和GPU周期的保留量(諸如,5%)、網(wǎng)絡(luò)帶寬的保留量(諸如,8kbs),等等。因為這些資源是在系統(tǒng)引導(dǎo)時間保留的,所保留的資源對于應(yīng)用視角而言是不存在的。具體而言,存儲器保留量優(yōu)選地足夠大,以包含啟動內(nèi)核、并發(fā)系統(tǒng)應(yīng)用程序和驅(qū)動程序。CPU保留量優(yōu)選地為恒定,使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用,則空閑線程將消耗任何未使用的周期。對于GPU保留量,通過使用調(diào)度代碼來將彈出窗ロ呈現(xiàn)為覆蓋圖的GPU中斷來顯示由系統(tǒng)應(yīng)用程序生成的輕量消息(例如,彈出窗ロ)。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小,并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情況下,優(yōu)選使用獨立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率,從而無需改變頻率和引起TV重新同歩。在多媒體控制臺100引導(dǎo)且系統(tǒng)資源被保留之后,執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內(nèi)執(zhí)行的ー組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識出與游戲應(yīng)用線程的線程相対的作為系統(tǒng)應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時間并以預(yù)定時間間隔在CPU 101上運行,以便提供對應(yīng)用而言一致的系統(tǒng)資源視圖。調(diào)度是為了使在控制臺上運行的游戲應(yīng)用的高速緩存分裂最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時,由于時間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺應(yīng)用管理器(如下所描述的)在系統(tǒng)應(yīng)用活動時控制游戲應(yīng)用的音頻級別(例如,靜音、衰減)。輸入設(shè)備(例如,控制器142(1)和142(2))由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是保留資源,而是在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點。應(yīng)用管理器較佳地控制輸入流的切換,而無需知曉游戲應(yīng)用的知識,并且驅(qū)動程序維護(hù)有關(guān)焦點切換的狀態(tài)信息。相機(jī)26、28和捕捉設(shè)備202可為控制臺100定義附加輸入設(shè)備。圖8示出了可用于在目標(biāo)識別、分析和跟蹤系統(tǒng)中解釋ー個或多個姿勢的計算環(huán)境220的另ー示例實施例,該計算環(huán)境可以是圖I所示的計算環(huán)境212。計算系統(tǒng)環(huán)境220 只是合適的計算環(huán)境的ー個示例,并且不g在對當(dāng)前公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計算環(huán)境220解釋為對示例性操作環(huán)境220中示出的任ー組件或其組合有任何依賴性或要求。在某些實施例中,所描繪的各種計算元素可包括被配置成實例化本發(fā)明的各具體方面的電路。例如,本公開中使用的術(shù)語“電路”可包括被配置成通過固件或開關(guān)來執(zhí)行功能的專用硬件組件。其他示例中,術(shù)語電路可包括由實施可用于執(zhí)行功能的邏輯的軟件指令配置的通用處理單元、存儲器等。在電路包括硬件和軟件的組合的示例實施例中,實施者可以編寫體現(xiàn)邏輯的源代碼,且源代碼可以被編譯為可以由通用處理單元處理的機(jī)器可讀代碼。因為本領(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地歩,因而選擇硬件或是軟件來實現(xiàn)具體功能是留給實現(xiàn)者的設(shè)計選擇。更具體地,本領(lǐng)域技術(shù)人員可以明白軟件進(jìn)程可被變換成等價的硬件結(jié)構(gòu),而硬件結(jié)構(gòu)本身可被變換成等價的軟件進(jìn)程。由此,對于硬件實現(xiàn)還是軟件實現(xiàn)的選擇是設(shè)計選擇之ー并留給實現(xiàn)者。在圖8中,計算環(huán)境220包括計算機(jī)241,計算機(jī)241通常包括各種計算機(jī)可讀介質(zhì)。計算機(jī)可讀介質(zhì)可以是能被計算機(jī)241訪問的任何可用介質(zhì),而且包含易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)。系統(tǒng)存儲器222包括易失性和/或非易失性存儲器形式的計算機(jī)存儲介質(zhì),如只讀存儲器(ROM) 223和隨機(jī)存取存儲器(RAM) 261。包含諸如在啟動期間幫助在計算機(jī)241內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)224(BIOS)通常儲存儲在ROM 223中。RAM 261通常包含處理單元259可立即訪問和/或當(dāng)前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制,圖8示出了操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228。計算機(jī)241也可以包括其他可移動/不可移動、易失性/非易失性計算機(jī)存儲介質(zhì)。僅作為示例,圖8示出了從不可移動、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動器238,從可移動、非易失性磁盤254中讀取或向其寫入的磁盤驅(qū)動器239,以及從諸如⑶ROM或其他光學(xué)介質(zhì)等可移動、非易失性光盤253中讀取或向其寫入的光盤驅(qū)動器240??稍谑纠圆僮鳝h(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算機(jī)存儲介質(zhì)包括但不限干,磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動器238通常由例如接ロ 234等不可移動存儲器接ロ連接至系統(tǒng)總線221,而磁盤驅(qū)動器239和光盤驅(qū)動器240通常由例如接ロ 235等可移動存儲器接ロ連接至系統(tǒng)總線221。以上討論并在圖8中示出的驅(qū)動器及其相關(guān)聯(lián)的計算機(jī)存儲介質(zhì)為計算機(jī)241提供了對計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲。在圖8中,例如,硬盤驅(qū)動器238被示為存儲操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255。注意,這些組件可與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228相同,也可與它們不同。在此操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256以及程序數(shù)據(jù)255被給予了不同的編號,以說明至少它們是不同的副本。用戶可以通過輸入設(shè)備,例如鍵盤251和定點設(shè)備252——通常是指鼠標(biāo)、跟蹤球或觸摸墊——向計算機(jī)241輸入命令和信息。其他輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他 輸入設(shè)備通常通過耦合到系統(tǒng)總線的用戶輸入接ロ 236連接到處理單元259,但也可通過諸如并行端ロ、游戲端ロ或通用串行總線(USB)之類的其他接口和總線結(jié)構(gòu)來連接。相機(jī)
26、28和捕捉設(shè)備202可為控制臺100定義附加輸入設(shè)備。監(jiān)視器242或其他類型的顯示設(shè)備也通過諸如視頻接ロ 232之類的接ロ連接至系統(tǒng)總線221。除監(jiān)視器之外,計算機(jī)還可以包括可以通過輸出外圍接ロ 233連接的諸如揚聲器244和打印機(jī)243之類的其他外圍輸出設(shè)備。計算機(jī)241可使用到一個或多個遠(yuǎn)程計算機(jī)(諸如,遠(yuǎn)程計算機(jī)246)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計算機(jī)246可以是個人計算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其他常見網(wǎng)絡(luò)節(jié)點,并且通常包括許多或所有以上相對計算機(jī)241所描述的元件,但在圖8中僅示出了存儲器存儲設(shè)備247。圖8中所描繪的邏輯連接包括局域網(wǎng)(LAN)245和廣域網(wǎng)(WAN) 249,但還可包括其他網(wǎng)絡(luò)。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時,計算機(jī)241通過網(wǎng)絡(luò)接ロ或適配器237連接到LAN245。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時,計算機(jī)241通常包括調(diào)制解調(diào)器250或用于通過諸如因特網(wǎng)等WAN 249建立通信的其他手段。調(diào)制解調(diào)器250可以是內(nèi)置的或外置的,可經(jīng)由用戶輸入接ロ 236或其他適當(dāng)?shù)臋C(jī)制連接到系統(tǒng)總線221。在聯(lián)網(wǎng)環(huán)境中,相對于計算機(jī)241所示的程序模塊或其部分可被存儲在遠(yuǎn)程存儲器存儲設(shè)備中。作為示例而非限制,圖8示出了遠(yuǎn)程應(yīng)用程序248駐留在存儲器設(shè)備247上。應(yīng)當(dāng)理解,所示的網(wǎng)絡(luò)連接是示例性的,并且可使用在計算機(jī)之間建立通信鏈路的其他手段。應(yīng)該理解,此處所述的配置和/或方法在本質(zhì)上是示例性的,且這些具體實施例或示例不被認(rèn)為是限制性的。此處所述的具體例程或方法可表示任何數(shù)量的處理策略中的ー個或多個。由此,所示出的各個動作可以按所示順序執(zhí)行、按其他順序執(zhí)行、并行地執(zhí)行等等。同樣,可以改變上述過程的次序。此外,盡管已經(jīng)結(jié)合某些方面按各附圖所示描述了本發(fā)明,但要理解,可使用其它相似方面或者可對所述方面進(jìn)行修改或添加來執(zhí)行本發(fā)明的相同功能而不脫離本發(fā)明。本公開的主題包括各種過程、系統(tǒng)和配置的所有新穎和非顯而易見的組合和子組合、和此處所公開的其它特征、功能、動作、和/或特性、以及其任何和全部等效物。因此,所公開的各實施例的方法和裝置或其某些方面或部分可采用包含在諸如軟盤、CD-ROM、硬盤驅(qū)動器或任何其他機(jī)器可讀存儲介質(zhì)等有形介質(zhì)中的程序代碼(即,指令)的形式。當(dāng)程序代碼被加載到諸如計算機(jī)等機(jī)器并由其執(zhí)行時,該機(jī)器變?yōu)楸慌渲贸蓪嵤┧_的各實施例的裝置。除了此處明確闡述的具體實現(xiàn)之外,考慮此處所公開的說明書,其它方面和實現(xiàn)將對本領(lǐng)域的技術(shù)人員是顯而易見的。因此,本發(fā)明不應(yīng)該僅限于任何單個方面,而是應(yīng)該在根據(jù)所附權(quán)利要求書的廣度和范圍內(nèi)解釋。例如,本文描述的各種過程可用硬件或軟件、 或兩者的組合來實現(xiàn)。
權(quán)利要求
1.一種用于建立共享的演示體驗的方法,所述方法包括 呈現(xiàn)信息的演示; 捕捉物理空間的數(shù)據(jù),其中捕捉到的數(shù)據(jù)表示多個用戶的姿勢;以及從所述捕捉到的數(shù)據(jù)中識別所述姿勢,其中每ー個姿勢都適于控制所述演示的一方面,以使得所述多個用戶經(jīng)由所述姿勢共享對所述演示的控制。
2.如權(quán)利要求I所述的方法,其特征在于,所述多個用戶中的至少ー個被指定為主要用戶、次要用戶或觀察用戶中的至少ー個。
3.如權(quán)利要求I所述的方法,其特征在于,所述捕捉到的數(shù)據(jù)是多個捕捉設(shè)備捕捉到的所述物理空間中的數(shù)據(jù)的合并。
4.如權(quán)利要求I所述的方法,其特征在于,所述姿勢中的至少ー個是用于關(guān)于所述姿勢的信息收集的觸發(fā),其中所述信息收集包括關(guān)于所述姿勢的信息的被動收集以及記錄所述信息以供后續(xù)訪問。
5.如權(quán)利要求4所述的方法,其特征在干,所收集的信息被實時提供給所述多個用戶中的至少ー個或作為輸出提供給顯示器。
6.如權(quán)利要求I所述的方法,其特征在于,對所述演示的主要控制可以在所述多個用戶之間轉(zhuǎn)移。
7.一種用于在共享的演示體驗中呈現(xiàn)視覺表示的方法,所述方法包括 呈現(xiàn)信息的演示; 捕捉物理空間的數(shù)據(jù),其中捕捉到的數(shù)據(jù)表示所述物理空間中的多個用戶;以及呈現(xiàn)對應(yīng)于所述多個用戶中的每ー個的至少ー個視覺表示,其中所述至少一個視覺表示適于與所呈現(xiàn)的信息演示交互。
8.如權(quán)利要求7所述的方法,其特征在于,所述至少一個視覺表示適于經(jīng)由與所述演示的一部分交互的動畫來與所呈現(xiàn)的信息演示交互。
9.如權(quán)利要求8所述的方法,其特征在于,所述至少一個視覺表示的動畫對應(yīng)于所述多個用戶中的至少ー個用戶的姿勢。
10.如權(quán)利要求7所述的方法,其特征在于,所述多個用戶中的至少ー個對應(yīng)于 不同的視覺表示,或者 相同的視覺表示。
11.如權(quán)利要求7所述的方法,其特征在于,所述至少一個視覺表示對應(yīng)于捕捉設(shè)備檢測到的用戶的特征。
12.如權(quán)利要求7所述的方法,其特征在于,所述多個用戶中的至少ー個對所述演示的控制可由對應(yīng)于所述多個用戶中的至少ー個的視覺表示的特征來指示。
13.一種用于建立非順序演示體驗的方法,所述方法包括 匯編多個信息以供演示; 呈現(xiàn)所述信息的非順序演示,其中所述演示包括適于所述信息的漸進(jìn)式導(dǎo)航的信息格式; 捕捉物理空間的數(shù)據(jù),其中捕捉到的數(shù)據(jù)表示多個用戶的姿勢;以及 識別控制所述非順序演示的一方面的姿勢。
14.如權(quán)利要求13所述的方法,其特征在于,多個用戶經(jīng)由姿勢共享對所述非順序演示的控制。
15.如權(quán)利要求13所述的方法,其特征在于,所述非順序演示的顯示適于從資產(chǎn)畫布中選擇所述非順序演示的至少一部分。
全文摘要
用于管理基于姿勢的系統(tǒng)中的信息演示的技術(shù)可使得用戶能夠使用姿勢來控制演示信息的方式或者能夠以其他方式與基于姿勢的系統(tǒng)交互,其中姿勢是從用戶身體在物理空間中的姿態(tài)和運動導(dǎo)出的。用戶可使用控制該系統(tǒng)的各方面的姿勢來向觀眾演示信息,或者多個用戶可使用姿勢來一起工作以控制該系統(tǒng)的各方面。由此,在一示例實施例中,單個用戶能夠經(jīng)由姿勢來控制對觀眾的信息演示。在另一示例實施例中,多個參與者能夠經(jīng)由捕捉設(shè)備所捕捉到的姿勢來共享對演示的控制,或以其他方式與系統(tǒng)交互以控制演示的各方面。
文檔編號G06F3/01GK102656542SQ201080057583
公開日2012年9月5日 申請日期2010年11月18日 優(yōu)先權(quán)日2009年12月17日
發(fā)明者A·庫普薩米, C·H·普拉特里, J·F·弗蘭德, R·S·迪茨, S·巴斯徹 申請人:微軟公司