利用熱區(qū)識(shí)別交互的制作方法
【專利說明】利用熱區(qū)識(shí)別交互
[0001 ]優(yōu)先權(quán)申明
本申請(qǐng)要求享有2013年6月26日提交的題為RE⑶GNIZING INTERACT1NS WITH REALWORLD OBJECTS的美國(guó)臨時(shí)申請(qǐng)序列號(hào)61/839，532的權(quán)益。
【背景技術(shù)】
[0002]在過去，諸如計(jì)算機(jī)游戲和多媒體應(yīng)用之類的計(jì)算應(yīng)用已經(jīng)使用了控制器、遙控、鍵盤、鼠標(biāo)等來允許用戶操縱游戲角色或應(yīng)用的其它方面。最近，計(jì)算機(jī)游戲和多媒體應(yīng)用已經(jīng)開始采用相機(jī)和運(yùn)動(dòng)識(shí)別來提供自然用戶接口(“NUI”)。利用NUI，用戶手勢(shì)被檢測(cè)、解譯和使用以控制游戲角色或應(yīng)用的其它方面。
[0003]—般地在物理與數(shù)字世界之間存在強(qiáng)烈的界線。構(gòu)建豐富的數(shù)字體驗(yàn)是可能的，但是一般不存在對(duì)體驗(yàn)所關(guān)于的物理對(duì)象的回綁(tie back)。存在眾多與真實(shí)世界對(duì)象的應(yīng)用用戶交互將增強(qiáng)應(yīng)用體驗(yàn)。

【發(fā)明內(nèi)容】

[0004]描述了用于限定三維(3D)區(qū)的技術(shù)，所述三維區(qū)在由深度捕獲系統(tǒng)檢測(cè)到的元素激活時(shí)將引起數(shù)字事件。每一個(gè)區(qū)(zone)包括包含經(jīng)限定的區(qū)塊(area)的三維空間中的區(qū)域(reg1n)，與其的交互通過由捕獲設(shè)備檢測(cè)到的時(shí)間段內(nèi)的閾值數(shù)目的像素的激活來檢測(cè)?？梢韵驊?yīng)用提供該事件以執(zhí)行基于事件的程序任務(wù)。閾值可以根據(jù)像素的絕對(duì)數(shù)目或必須激活以便觸發(fā)事件的三維捕獲數(shù)據(jù)中的像素的百分比來限定。事件的生成可以限于具體人員、身體部分或?qū)ο蟮倪M(jìn)入或退出。通過使用數(shù)字事件，與真實(shí)世界對(duì)象的交互可以綁定到數(shù)字事件。區(qū)可以通過獲悉具體像素是否總是“接通”而隨時(shí)間適配以便從持續(xù)信號(hào)過濾它們并且可以做出捕獲設(shè)備到之前記錄的場(chǎng)景的自動(dòng)對(duì)準(zhǔn)以便自動(dòng)校準(zhǔn)相機(jī)和區(qū)。
[0005]提供本
【發(fā)明內(nèi)容】
來以簡(jiǎn)化的形式引入以下在【具體實(shí)施方式】中進(jìn)一步描述的概念的選擇。本
【發(fā)明內(nèi)容】
不意圖標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不意圖用作幫助確定所要求保護(hù)的主題的范圍。
【附圖說明】
[0006]圖1圖示了其中技術(shù)的實(shí)施例可以操作的目標(biāo)識(shí)別、分析和追蹤系統(tǒng)的示例實(shí)施例。
[0007]圖2圖示了包括用于自動(dòng)生成具有經(jīng)限定的藝術(shù)風(fēng)格的用戶的面部化身的硬件和軟件組件的系統(tǒng)的實(shí)施例。
[0008]圖3圖示了可以用于體現(xiàn)和實(shí)現(xiàn)技術(shù)的系統(tǒng)和方法實(shí)施例的計(jì)算機(jī)系統(tǒng)的示例實(shí)施例。
[0009]圖4A圖示了示例性深度圖像。
[0010]圖4B描繪了示例性深度圖像中的示例性數(shù)據(jù)。
[0011]圖5示出由骨骼識(shí)別引擎生成的示例身體模型的非限制性視覺表示。
[0012]圖6示出如從正面查看的骨骼模型。
[0013]圖7示出如從傾斜視圖查看的骨骼模型。
[0014]圖8和9圖示了用戶與3-D熱區(qū)交互的示例實(shí)施例。
[0015]圖1OA是圖示了依照本技術(shù)的方法的流程圖。
[0016]圖1OB是圖示了依照本技術(shù)的追蹤與熱區(qū)的用戶交互的方法的流程圖。
[0017]圖11是圖示了渲染數(shù)字事件的引發(fā)事件的使用的流程圖。
[0018]圖12是圖示了與熱區(qū)的交互的檢測(cè)的方法。
[0019]圖13和14是圖示了用于配置熱區(qū)的方法的流程圖。
[0020]圖15是圖示了用于修正與熱區(qū)或相機(jī)有關(guān)的問題的方法的流程圖。
[0021]圖16是熱區(qū)的示例性XML限定。
[0022]圖17圖示了熱區(qū)與具體捕獲設(shè)備的關(guān)聯(lián)。
【具體實(shí)施方式】
[0023]描述了用于限定三維(3D)區(qū)的技術(shù)，所述三維區(qū)在深度捕獲系統(tǒng)檢測(cè)到的元素的進(jìn)入或退出時(shí)將引起數(shù)字事件。區(qū)域的激活通過區(qū)域中的閾值數(shù)目的像素的數(shù)據(jù)在閾值時(shí)間段內(nèi)的改變來確定。因而，區(qū)域可以由生物和無生命對(duì)象激活。可以向應(yīng)用提供該事件以執(zhí)行基于事件的程序任務(wù)。用于生成區(qū)中的事件的閾值可以根據(jù)像素的絕對(duì)數(shù)目或必須激活以便觸發(fā)事件的三維捕獲數(shù)據(jù)中的像素的百分比來限定。事件的生成可以限于具體人員、身體部分或?qū)ο蠡蜻@些的組合的進(jìn)入或退出。通過使用數(shù)字事件，與真實(shí)世界對(duì)象的交互可以綁定到數(shù)字事件。區(qū)可以通過獲悉具體像素是否總是“接通”而隨時(shí)間適配以便從持續(xù)信號(hào)過濾它們并且可以做出捕獲設(shè)備到之前記錄的場(chǎng)景的自動(dòng)對(duì)準(zhǔn)以便自動(dòng)校準(zhǔn)相機(jī)和區(qū)。
[0024]圖1圖示了其中技術(shù)的實(shí)施例可以操作的目標(biāo)識(shí)別、分析和追蹤系統(tǒng)的示例實(shí)施例。在該上下文示例中，用戶18在他的起居室中，如椅子和植物的圖示性靜態(tài)、背景對(duì)象23所指示的那樣。用戶18與自然用戶接口(NUI)交互，自然用戶接口(NUI)將手勢(shì)識(shí)別為控制動(dòng)作。NUI利用在其視場(chǎng)中用戶18站立的3D圖像捕獲設(shè)備20以及計(jì)算機(jī)系統(tǒng)12實(shí)現(xiàn)，以在顯示監(jiān)視器16的顯示器14上的計(jì)算機(jī)系統(tǒng)12上執(zhí)行的軟件的控制之下從所顯示的菜單選擇多媒體應(yīng)用，在該示例中高清晰度電視也在起居室中。該示例中的計(jì)算機(jī)系統(tǒng)12是游戲控制臺(tái)，例如來自控制臺(tái)的XBOXe家族的一個(gè)。3D圖像捕獲設(shè)備20可以包括提供深度數(shù)據(jù)的深度傳感器，該深度數(shù)據(jù)也可以與所捕獲的圖像數(shù)據(jù)相關(guān)。這樣的圖像捕獲設(shè)備的示例是相機(jī)的Kinect?家族的深度敏感相機(jī)。也可以經(jīng)由麥克風(fēng)捕獲音頻數(shù)據(jù)的捕獲設(shè)備20與計(jì)算機(jī)系統(tǒng)12—起可以實(shí)現(xiàn)目標(biāo)識(shí)別、分析和追蹤系統(tǒng)10，其可以用于識(shí)別、分析和/或追蹤諸如用戶18之類的人類目標(biāo)，包括用戶的頭部特征，包括面部特征。
[0025]其它系統(tǒng)實(shí)施例可以使用其它類型的計(jì)算機(jī)系統(tǒng)，諸如臺(tái)式計(jì)算機(jī)和移動(dòng)設(shè)備，比如膝上型電腦、智能電話和平板電腦，包括用于捕獲用戶的頭部特征的深度敏感相機(jī)和用于示出作為結(jié)果的個(gè)性化化身的顯示器或與其通信耦合。在任何事件中，無論哪一個(gè)或哪些類型的計(jì)算機(jī)系統(tǒng)用于生成面部個(gè)性化化身，生成面部化身的一個(gè)或多個(gè)處理器將最可能包括至少一個(gè)圖形處理單元(GPU)。
[0026]系統(tǒng)10及其組件的合適示例在以下共同未決的專利申請(qǐng)中找到:2009年5月29日提交的題為“Environment And/Or Target Segmentat1n”的美國(guó)專利申請(qǐng)序列號(hào)12/475，094; 2009年7月29 日提交的題為 “Auto Generating a Visual Representat1n” 的美國(guó)專利申請(qǐng)序列號(hào)12/511,850; 2009年5月29日提交的題為“Gesture Tool”的美國(guó)專利申請(qǐng)序列號(hào)12/474，655;2009年10月21日提交的題為“Pose Tracking Pipeline”的美國(guó)專利申請(qǐng)序列號(hào) 12/603，437;2009年5月29日提交的題為“Device for Identifying and TrackingMultiple Humans Over Time”的美國(guó)專利申請(qǐng)序列號(hào)12/475，308; 2009年10月7日提交的題為“Human Tracking System”的美國(guó)專利申請(qǐng)序列號(hào)12/575，388 ； 2009年4月13日提交的題為“Gesture Recognizer System Architecture” 的美國(guó)專利申請(qǐng)序列號(hào) 12/422,661;2009年2月23日提交的題為“Standard Gestures”的美國(guó)專利申請(qǐng)序列號(hào)12/391，150;以及2009年5月29日提交的題為“Gesture Too I”的美國(guó)專利申請(qǐng)序列號(hào)12/474，655。
[0027]圖2圖示了包括用于檢測(cè)相對(duì)于三維熱區(qū)的用戶移動(dòng)和觸發(fā)數(shù)字事件的硬件和軟件組件的系統(tǒng)的實(shí)施例。捕獲設(shè)備20的示例實(shí)施例被配置成經(jīng)由任何合適的技術(shù)捕獲具有可以包括深度值的深度圖像的視頻，任何合適的技術(shù)包括例如飛行時(shí)間、結(jié)構(gòu)光、立體相機(jī)等等。根據(jù)一個(gè)實(shí)施例，捕獲設(shè)備20可以將所計(jì)算的深度信息組織到“Z層”或可以垂直于從深度相機(jī)沿其視線延伸的Z軸的層中。X和Y軸可以限定為垂直于Z軸，或者可以限定在從基于相機(jī)本征值的相機(jī)原點(diǎn)擴(kuò)展開的投影空間中。Y軸可以是豎直的并且X軸可以是水平的。在一起，X、Y和Z軸限定由捕獲設(shè)備20捕獲的3D真實(shí)世界空間。
[0028]在該公開內(nèi)容的上下文中，對(duì)三維笛卡爾坐標(biāo)系統(tǒng)做出參考。然而，應(yīng)當(dāng)理解的是，依照本技術(shù)可以使用眾多各種類型的坐標(biāo)系統(tǒng)中的任一個(gè)。
[0029]如圖2中所示，該示例性捕獲設(shè)備20可以包括圖像和深度相機(jī)組件22，其捕獲像素化傳感器陣列26的深度圖像。深度值可以與每一個(gè)所捕獲的像素相關(guān)聯(lián)。深度值的一些示例是所捕獲的場(chǎng)景中的對(duì)象距相機(jī)的以例如厘米、毫米等為單位的長(zhǎng)度或距離。傳感器陣列像素28是利用對(duì)RGB可見光敏感的子像素傳感器加上用于確定針對(duì)像素28的深度值的IR傳感器的像素的代表性示例?？梢允褂蒙疃让舾泻涂梢姽鈧鞲衅鞯钠渌贾?。紅外(IR)光照組件24可以將紅外光發(fā)射到場(chǎng)景上，并且IR傳感器檢測(cè)從傳感器陣列26的視場(chǎng)中的場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)和對(duì)象的表面反向散射的光，可以從所述光創(chuàng)建場(chǎng)景的深度圖。在一些示例中，基于在傳感器處接收到的IR光的強(qiáng)度或相位的飛行時(shí)間分析可以用于做出深度確定。
[0030]根據(jù)另一實(shí)施例，捕獲設(shè)備20可以包括兩個(gè)或更多物理分離的相機(jī)，其可以從不同角度查看場(chǎng)景以獲取可以被分解以生成深度信息的視覺立體數(shù)據(jù)。
[0031]捕獲設(shè)備20還可以包括麥克風(fēng)30，所述麥克風(fēng)接收由用戶提供的音頻信號(hào)，以便控制可以在作為自然用戶接口的部分的計(jì)算環(huán)境12上執(zhí)行的應(yīng)用。
[0032]在示例實(shí)施例中，捕獲設(shè)備20可以包括與圖像和深度相機(jī)組件22通信并且能夠訪問可以存儲(chǔ)用于供處理器32執(zhí)行的指令以及由3D相機(jī)捕獲和可能處理的圖像或圖像幀的存儲(chǔ)器組件34的處理器32。存儲(chǔ)器組件34可以包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(R0M)、緩存、閃存、硬盤或任何其它合適的存儲(chǔ)組件。處理器32還可以執(zhí)行圖像處理，包括一些對(duì)象識(shí)別步驟以及