用于開(kāi)發(fā)和播放自然用戶接口應(yīng)用的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本公開(kāi)設(shè)及通常用于計(jì)算機(jī)化系統(tǒng)的自然用戶界面（NUI)，并且尤其是設(shè)及用于 不用編程而開(kāi)發(fā)NUI應(yīng)用的平臺(tái)W及用于播放該應(yīng)用的播放器。
【背景技術(shù)】
[0002] 諸如觸摸屏、深度照相機(jī)或者S維照相機(jī)的自然用戶接口（NUI)設(shè)備由于他們的 高效率、有吸引力的特征W及持續(xù)下降的價(jià)格，變得越來(lái)越流行。
[0003]NUI系統(tǒng)包括先進(jìn)的傳感器并且利用先進(jìn)的算法用于識(shí)別用戶、辨別語(yǔ)音和姿態(tài)， 并且提供反饋。該些能力為用戶提供了使用自然姿態(tài)與計(jì)算機(jī)化系統(tǒng)通信或者操作計(jì)算機(jī) 化系統(tǒng)的選擇，并且能夠提供流暢的、自然的并且直觀的交互。在一些具體實(shí)施例中，諸如 微軟公司Kinect?中，NUI設(shè)備可能被使用在沉浸式（immersive)環(huán)境中，即用戶覺(jué)得他是 該系統(tǒng)中發(fā)生的事件的一部分的一種環(huán)境，無(wú)論該個(gè)事件是用戶的圖像、語(yǔ)音、移動(dòng)或者是 正在被使用的另一個(gè)輸入。該種環(huán)境可W從將人增加到系統(tǒng)中而收益很多。
[0004] 然而，開(kāi)發(fā)使用NUI設(shè)備的應(yīng)用是勞動(dòng)密集型的，并且需要復(fù)雜的編程。例如，公 共關(guān)系（PR)代理人可能希望向作為太陽(yáng)眼鏡零售商的客戶提供一種使有興趣購(gòu)買太陽(yáng)眼 鏡的客戶能夠從目錄中選擇一副太陽(yáng)眼鏡，并且使用捕捉客戶面部的照相機(jī)來(lái)顯示戴上選 定眼鏡的顧客的面部，而不需要顧客真正地試戴太陽(yáng)眼鏡甚至不需要他們自身到場(chǎng)。該應(yīng) 用還可動(dòng)態(tài)的方式顯示客戶，例如在移動(dòng)時(shí)從不同的角度等等。
[0005]PR代理人可W額外地或者替選地希望向作為電影制作者的另一個(gè)客戶提供在主 題環(huán)境中并且穿著定做的服裝，將用戶浸入電影場(chǎng)景中、與演員們交互、并且變成片尾演員 表中的一部分。
[0006] 用現(xiàn)有技術(shù)JR代理人、出售商或者其他媒體創(chuàng)作者不得不開(kāi)始漫長(zhǎng)、復(fù)雜W及昂 貴的編程努力，用于生成該種應(yīng)用，該可能需要許多編程資源，還需要?？趦?nèi)容的知識(shí)，并 且可能產(chǎn)生費(fèi)用并且產(chǎn)生瓶頸，該增加了上市銷售需要的時(shí)間。媒體創(chuàng)作者因此處于挫折 的位置，他們?nèi)狈ぞ邅?lái)充分利用最新可用的激動(dòng)人屯、的技術(shù)。
[0007] 現(xiàn)有的NUI技術(shù)包括深度照相機(jī)，諸如美國(guó)華盛頓的Redmond或者微軟公司制 造的Kinecr%其使用戶能夠使用身體姿勢(shì)而不需要外部物體來(lái)玩游戲。開(kāi)發(fā)者可W使用 Kinect系統(tǒng)開(kāi)發(fā)工具箱化inectSystemDevelopmentKit,SDK)用于開(kāi)發(fā)基于Kinect的 應(yīng)用。其他技術(shù)包括諸如美國(guó)加州舊金山市的LeapMotion"制造的照相機(jī)，其可W容易 聯(lián)接于任何計(jì)算機(jī)并且識(shí)別手勢(shì)；諸如W色列荷茲利亞的XTR建議的從2D照相機(jī)提取深 度信息的軟件解決方案；臺(tái)灣臺(tái)北市北投區(qū)的ASUS制造的XTI0N，開(kāi)發(fā)者可W用它來(lái)使用 化enNIN口ESDK用于開(kāi)發(fā)基于XTI0N或者Kinect的應(yīng)用；傳感器和微控制器，諸如來(lái)自 意大利伊夫雷亞的Aixluino,開(kāi)發(fā)者可W用它在開(kāi)放源Aixluino環(huán)境等等下進(jìn)行開(kāi)發(fā)。
[0008] 該種照相機(jī)正在被集成并且使用在諸如智能電話、膝上型電腦、智能TV或者任何 其他計(jì)算平臺(tái)的平臺(tái)上。
[0009] 其他NUI設(shè)備可W包括NUI眼鏡、手跟蹤設(shè)備和觸摸顯示器，諸如微軟公司的 Digits(數(shù)字）、W色列Ringbow(彩虹）制造的腕傳感器、位于美國(guó)加利福巧亞Menlo Park的Google制造的谷歌眼鏡、南韓首爾的S星制成的、使顯示器能夠識(shí)別放在屏幕上的 手指、手和物體的MicrosoftPixelSense、美國(guó)加利福巧亞制造的包含透明觸摸屏 LCD、數(shù)字標(biāo)牌帽的智能窗口等等。借助于NUI應(yīng)用還可W顯著地增強(qiáng)諸如平面投影、窗口 投影、3D投影等的投影解決方案。除硬件設(shè)備之外，還有先進(jìn)的跟蹤和識(shí)別算法執(zhí)行特征， 諸如但是不限于；面部檢測(cè)和識(shí)別；面部跟蹤；眼睛跟蹤；身體跟蹤；手的姿態(tài)識(shí)別；面部 的或者身體姿勢(shì)；聲音識(shí)別等。
[0010] 上述的設(shè)備和算法是適宜的并且可W被集成到NUI應(yīng)用中，但是雖然如此，該種 應(yīng)用的開(kāi)發(fā)仍需要編程，因此應(yīng)用開(kāi)發(fā)不能夠容易地并且很快地進(jìn)行。
【發(fā)明內(nèi)容】

[0011] 本公開(kāi)主題的一個(gè)示例性實(shí)施例是一種裝置，其具有處理單元和存儲(chǔ)設(shè)備，該裝 置包括；自然用戶界面（NUI)開(kāi)發(fā)平臺(tái)，用于開(kāi)發(fā)NUI應(yīng)用，該開(kāi)發(fā)平臺(tái)包括；設(shè)計(jì)管理器， 用于指示NUI對(duì)象和圖形對(duì)象，使得在執(zhí)行NUI應(yīng)用時(shí)，圖形對(duì)象被設(shè)計(jì)成能基于NUI設(shè) 備所捕捉的并且與NUI對(duì)象關(guān)聯(lián)的對(duì)象的移動(dòng)而跟蹤NUI對(duì)象的移動(dòng)；交互管理器，用于 管理NUI對(duì)象和圖形對(duì)象之間的交互動(dòng)作；W及NUI管理器，用于定義NUI設(shè)備，使得通過(guò) 執(zhí)行NUI應(yīng)用的計(jì)算平臺(tái)支持NUI設(shè)備，其中W圖形方式開(kāi)發(fā)NUI應(yīng)用。在該裝置內(nèi)部， 圖形對(duì)象可W被設(shè)計(jì)成能在NUI對(duì)象上定義的跟蹤點(diǎn)、或者包括S個(gè)或者更多跟蹤點(diǎn)的跟 蹤區(qū)域上跟蹤NUI對(duì)象。在裝置內(nèi)部，設(shè)計(jì)管理器可W被提供用于在NUI對(duì)象上指示參考 點(diǎn)。在該裝置內(nèi)部，圖形對(duì)象可W與與物理特性有關(guān)的釘住點(diǎn)相關(guān)聯(lián)，該樣使得當(dāng)執(zhí)行NUI 應(yīng)用時(shí)，圖形對(duì)象或者它的一部分根據(jù)物理特性而跟蹤NUI對(duì)象。在該裝置內(nèi)部，可W從由 物理對(duì)象的=維表示、物理對(duì)象的二維表示、圖像、視頻信號(hào)、音頻信號(hào)、繪畫(huà)、圖解W及記 錄的對(duì)象組成的組中選出圖形對(duì)象。在該裝置內(nèi)部，NUI設(shè)備可W是從由網(wǎng)頁(yè)照相機(jī)、深度 照相機(jī)、Kinect?設(shè)備、WII?遙控器、黑替leap手機(jī)（leap)、觸控戒指（；Ringbow)、EEG頭 盎巧EG helmet)、PS3"設(shè)備、智能電話、平板電腦、XTI0N、微軟公司的Digits(數(shù)字）、微軟 公司PixelSense(像素感知）、智能窗口（Smart Window)、谷歌眼鏡（Google glass)、摩托 羅拉肥l、PMD[vision]⑥（視覺(jué)）照相機(jī)、化及裝備有觸控傳感器的計(jì)算平臺(tái)組成的組 中選出。該裝置可W進(jìn)一步包括姿態(tài)管理器，用于定義NUI設(shè)備的系統(tǒng)中可用的姿態(tài)。該 裝置可W進(jìn)一步包括無(wú)源媒體管理器，用于處理無(wú)源的媒體，該無(wú)源媒體管理器包括媒體 編碼器，用于將識(shí)別符與視頻信號(hào)關(guān)聯(lián)。在該裝置內(nèi)部，可W通過(guò)一個(gè)或者多個(gè)交互對(duì)象提 供交互動(dòng)作。在該裝置內(nèi)部，當(dāng)執(zhí)行NUI應(yīng)用時(shí)，交互對(duì)象可W與編程命令關(guān)聯(lián)。在該裝置 內(nèi)部，NUI對(duì)象可W與預(yù)定的姿態(tài)關(guān)聯(lián)，并且可W用類似流程圖的可視編程、通過(guò)連接器將 NUI對(duì)象連接到至少一個(gè)交互對(duì)象。在該裝置內(nèi)部，交互管理器可W被提供為一個(gè)或者多個(gè) 連接器類型，每個(gè)連接器類型與條件語(yǔ)句關(guān)聯(lián)。在該裝置內(nèi)部，開(kāi)發(fā)平臺(tái)可W為開(kāi)發(fā)者提供 人體或者人體多個(gè)部分的視覺(jué)表示，并且提供工具來(lái)在視覺(jué)環(huán)境中編輯實(shí)時(shí)視頻。在該裝 置內(nèi)部，開(kāi)發(fā)平臺(tái)可W被提供對(duì)象記錄，如此使得對(duì)象一旦被NUI設(shè)備捕捉到就可W識(shí)別 出該對(duì)象。
[0012] 本公開(kāi)的另一個(gè)方面設(shè)及一種具有處理單元和存儲(chǔ)設(shè)備的裝置，該裝置包括：用 于執(zhí)行NUI應(yīng)用的播放器，該播放器包括；用于從NUI設(shè)備接收輸入的NUI控制器；解碼 器，用于識(shí)別從NUI設(shè)備接收到的輸入中的姿態(tài)；本地交互媒體存儲(chǔ)器，用于存儲(chǔ)圖形對(duì) 象；W及交互媒體執(zhí)行器，用于將圖形對(duì)象與輸入集成在一起，使得圖形對(duì)象根據(jù)NUI對(duì)象 的姿態(tài)來(lái)跟蹤輸入中識(shí)別出的NUI對(duì)象。在該裝置內(nèi)部，播放器可W進(jìn)一步包括物理引擎， 用于在對(duì)NUI對(duì)象起作用時(shí)，執(zhí)行在圖形對(duì)象上限定的物理特性和動(dòng)作。在該裝置內(nèi)部， NUI設(shè)備可W是從由網(wǎng)頁(yè)照相機(jī)、深度照相機(jī)、Kinect?設(shè)備、Wir遙控器、黑替leap手機(jī) (leap)、觸控戒指化ingbow)、EEG頭盎巧EGhelmet)、PS3⑧設(shè)備、智能電話、平板電腦、 XTION、微軟公司的Digits(數(shù)字）、微軟公司PixelSense(像素感知）、智能窗口（Smart Window)、谷歌眼鏡佑oogleglass)、摩托羅拉肥l、PMD[visi0n]⑧（視覺(jué)）照相機(jī)、W 及裝備有觸控傳感器的計(jì)算平臺(tái)組成的組中選出。在該裝置內(nèi)部，NUI設(shè)備可W被選為連 接到該裝置的、最適宜的設(shè)備。
[0013] 本公開(kāi)的再一個(gè)方面設(shè)及一種具有處理單元和存儲(chǔ)設(shè)備的裝置，該裝置包括：用 于執(zhí)行NUI應(yīng)用的播放器，該播放器包括；用于從NUI設(shè)備接收輸入的NUI控制器；解碼器， 用于識(shí)別從NUI設(shè)備接收到的輸入中的NUI對(duì)象；交互媒體加載器，用于加載NUI應(yīng)用；無(wú) 源媒體接收器，用于接收無(wú)源媒體；和交互媒體執(zhí)行器，用于將來(lái)自NUI應(yīng)用的、包括來(lái)自 NUI設(shè)備的輸入的輸出與無(wú)源媒體集成在一起。在該裝置內(nèi)部，無(wú)源媒體可選的是電視廣 播。該裝置可W進(jìn)一步包括信號(hào)解碼器，用于識(shí)別無(wú)源媒體中的信號(hào)，并且將與NUI設(shè)備關(guān) 聯(lián)的NUI對(duì)象集成到無(wú)源媒體中。在該裝置內(nèi)部，可W根據(jù)一個(gè)或者多個(gè)參數(shù)從云服務(wù)將 NUI應(yīng)用接收到電視、機(jī)頂盒或者計(jì)算平臺(tái)。
[0014] 本公開(kāi)的又一個(gè)的方面設(shè)及計(jì)算機(jī)化設(shè)備執(zhí)行的計(jì)算機(jī)實(shí)施的方法，包括：接收 NUI應(yīng)用，包括：接收NUI對(duì)象和圖形對(duì)象，使得在執(zhí)行NUI應(yīng)用時(shí)，圖形對(duì)象被設(shè)計(jì)成能基 于NUI設(shè)備所捕捉的并且與NUI對(duì)象相關(guān)聯(lián)的對(duì)象的移動(dòng)而跟蹤NUI對(duì)象的移動(dòng)；并且接 收NUI對(duì)象和圖形對(duì)象之間的交互動(dòng)作；用于將指示接收到在執(zhí)行NUI應(yīng)用時(shí)，由計(jì)算平臺(tái) 支持的NUI設(shè)備；并且在存儲(chǔ)設(shè)備上存儲(chǔ)NUI應(yīng)用，其中NUI應(yīng)用被圖形地開(kāi)發(fā)。在計(jì)算機(jī) 實(shí)施的方法內(nèi)，NUI應(yīng)用可W從由與對(duì)象交互的用戶；W及與投影表面交互的用戶組成的 組中挑選出來(lái)。
[0015] 本公開(kāi)的又一個(gè)的方面設(shè)及計(jì)算機(jī)化設(shè)備執(zhí)行的計(jì)算機(jī)實(shí)施的方法，包括：接收 流數(shù)據(jù)；監(jiān)測(cè)流數(shù)據(jù)中的信號(hào)；響應(yīng)于在流數(shù)據(jù)中識(shí)別出信號(hào)，捜索對(duì)應(yīng)的下載的媒體；響 應(yīng)于定位下載的媒體，在與識(shí)別到信號(hào)的位置相關(guān)聯(lián)的位置處將流數(shù)據(jù)與下載的媒體集成 在一起。
[0016] 本公開(kāi)的又一個(gè)方面設(shè)及一種計(jì)算機(jī)程序產(chǎn)品，包括：非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)； 用于接收NUI應(yīng)用的第一程序指令，包括：用于接收NUI對(duì)象和圖形對(duì)象的指令，使得在執(zhí) 行NUI應(yīng)用時(shí)，圖形對(duì)象被設(shè)計(jì)成能基于NUI設(shè)備所捕捉的并且與NUI對(duì)象關(guān)聯(lián)的對(duì)象的 移動(dòng)而跟蹤NUI對(duì)象的移動(dòng)；W及用于接收NUI對(duì)象和圖形對(duì)象之間的交互動(dòng)作的指令； 第二程序指令，用于將指示接收到在執(zhí)行NUI應(yīng)用時(shí)，將由平臺(tái)支持的NUI設(shè)備；W及第S 程序指令，用于將NUI應(yīng)用存儲(chǔ)在存儲(chǔ)設(shè)備上，其中該NUI應(yīng)用被圖形方式地開(kāi)發(fā)，并且其 中所述第一、第二W及第=程序指令被存儲(chǔ)在所述非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)上。
[0017] 本公開(kāi)的又一個(gè)方面設(shè)及一種計(jì)算機(jī)程序產(chǎn)品，包括：非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)； 第一程序指令，用于接收流數(shù)據(jù)；第二程序指令，用于監(jiān)測(cè)流數(shù)據(jù)中的信號(hào)；第=程序指 令，用于對(duì)在流數(shù)據(jù)中識(shí)別出信號(hào)做出響應(yīng)，捜索對(duì)應(yīng)的下載的媒體；W及第四程序指令， 用于響應(yīng)于定位下載的媒體，在與識(shí)別到信號(hào)的位置相關(guān)聯(lián)的位置處將流數(shù)據(jù)與下載的媒 體集成在一起，并且其中所述第一、第二、第及第四程序指令被存儲(chǔ)在所述非瞬態(tài)計(jì)算 機(jī)可讀介質(zhì)上。
[0018] 附圖的若干視圖的說(shuō)明
[0019] 從W下結(jié)合附圖進(jìn)行的詳細(xì)說(shuō)明中將更充分地理解并且領(lǐng)會(huì)本公開(kāi)的主題，在所 述附圖中，對(duì)應(yīng)或者類似的數(shù)字或者字符指示對(duì)應(yīng)或者類似的元素。除非做出相反指示，附 圖提供本公開(kāi)的示例性實(shí)施例或者方面，并不限制本公開(kāi)的范圍。在附圖中：
[0020] 圖1是根據(jù)公開(kāi)主題的一些示例性實(shí)施例，在提供和使用用于開(kāi)發(fā)NUI應(yīng)用的平 臺(tái)中的主要元素和活動(dòng)的方框圖；
[0021] 圖2是根據(jù)公開(kāi)主題的一些示例性實(shí)施例，使用播放器播放通過(guò)該平臺(tái)開(kāi)發(fā)的應(yīng) 用的用戶的示例性圖解；
[002引圖3A-3C是根據(jù)公開(kāi)主題的一些示例性實(shí)施例，舉例說(shuō)明使用跟蹤點(diǎn)和跟蹤區(qū)域 的圖解；
[0023] 圖4A是根據(jù)公開(kāi)主題的一些示例性實(shí)施例，用于W設(shè)計(jì)模式開(kāi)發(fā)NUI應(yīng)用的平臺(tái) 的示例性屏幕截屏；
[0024] 圖4B是根據(jù)公開(kāi)主題的一些示例性實(shí)施例，用于W交互模式開(kāi)發(fā)NUI應(yīng)用的平臺(tái) 的示例性屏幕截屏；
[00巧]圖4C-4E是舉例說(shuō)明根據(jù)公開(kāi)主題的一些示例性實(shí)施例，使用交互模式開(kāi)發(fā)NUI應(yīng)用的示例性圖解；
[0026] 圖5是顯示根據(jù)公開(kāi)主題的一些示例性實(shí)施例，用于開(kāi)發(fā)NUI應(yīng)用的平臺(tái)的元素 的方框圖；
[0027] 圖6是顯示根據(jù)公開(kāi)主題的一些示例性實(shí)施例，用于播放NUI應(yīng)用的播放器的元 素的方框圖；W及
[0028] 圖7是根據(jù)公開(kāi)主題的一些示例性實(shí)施例，顯示在播放器接收流媒體的運(yùn)行中的 步驟的流程圖。
【具體實(shí)施方式】
[0029] 定義；
[0030] NUI;自然用戶界面是人類和計(jì)算平臺(tái)之間的接口，其使得人類能夠W對(duì)于用戶來(lái) 說(shuō)是自然（化化raU的、并且不需要額外的輸入設(shè)備（諸如鼠標(biāo)、鍵盤等等）的方式將數(shù)據(jù) 輸入到計(jì)算機(jī)中，因此顯著地減少學(xué)習(xí)曲線和適應(yīng)周期；
[0031] 平臺(tái)；平臺(tái)或者開(kāi)發(fā)平臺(tái)是提供開(kāi)發(fā)環(huán)境，用于生成應(yīng)用、項(xiàng)目、內(nèi)容等等的軟件 產(chǎn)品或單元，其中應(yīng)用或者項(xiàng)目可W被最終用戶或者客戶使用；
[0032] 播放器/NUI播放器；適合顯示或者執(zhí)行一種或者多種特定類型的應(yīng)用、項(xiàng)目或者 內(nèi)容的軟件產(chǎn)品，該種應(yīng)用或者項(xiàng)目通過(guò)平臺(tái)開(kāi)發(fā)。NUI播放器適合于與NUI設(shè)備（見(jiàn)下 文）通信，可選地使用設(shè)備驅(qū)動(dòng)器，并且經(jīng)由NUI設(shè)備或者其他通道從用戶接收數(shù)據(jù)。NUI 播放器可W將NUI設(shè)備捕捉的數(shù)據(jù)與圖形對(duì)象、流媒體或者其他元素結(jié)合在一起；
[0033] NUI設(shè)備；W對(duì)于用戶來(lái)說(shuō)是自然的方式，從用戶接收輸入并且將輸入通信到計(jì) 算裝置的硬件設(shè)備，諸如通過(guò)用戶捕捉姿態(tài)的照相機(jī)、觸摸屏、語(yǔ)音捕捉設(shè)備等等；
[0034] NUI對(duì)象；通過(guò)描述由NUI設(shè)備捕捉的對(duì)象的特性、特點(diǎn)及其他特征，并且使得能 夠在描述上執(zhí)行動(dòng)作的軟件成分實(shí)現(xiàn)的數(shù)據(jù)結(jié)構(gòu)。每個(gè)該種數(shù)據(jù)結(jié)構(gòu)可W代表整體的人體 或者人體的一部分，諸如臉部、手、身體、聲音、觸摸、眼睛等等；
[00巧]記錄對(duì)象；被分析并且被轉(zhuǎn)換為數(shù)據(jù)結(jié)構(gòu)、用于稍后通過(guò)NUI設(shè)備捕捉時(shí)進(jìn)行識(shí) 別的對(duì)象。記錄對(duì)象可W是諸如椅子的物理對(duì)象，諸如任何椅子的類屬對(duì)象，可辨認(rèn)的環(huán)境 Afr Afr寸寸；
[0036] 圖形對(duì)象：通過(guò)描述可能具有圖形顯示器的實(shí)體的軟件成分實(shí)現(xiàn)的數(shù)據(jù)結(jié)構(gòu)，諸 如物理對(duì)象的二維或者=維表示；圖像、畫(huà)、視頻、聲音、一部分圖像等等；
[0037] 交互對(duì)象；與一組預(yù)先編程的命令關(guān)聯(lián)并且使一個(gè)或者多個(gè)對(duì)象能夠進(jìn)行交互動(dòng) 作的實(shí)體；
[003引需要注意的是；如果生成了開(kāi)發(fā)平臺(tái)，例如，W面向?qū)ο蟮姆妒竭M(jìn)行了編程，可W使用類級(jí)別中的類實(shí)現(xiàn)上述限定的對(duì)象的類型，
[0039] 跟蹤點(diǎn)；相對(duì)于NUI對(duì)象或者NUI對(duì)象的一部分限定的位置，其中跟蹤點(diǎn)可W產(chǎn)生 自NUI對(duì)象或者由用戶限定。如果移動(dòng)了NUI對(duì)象，在其上限定的跟蹤點(diǎn)在空間中移動(dòng)但 是相對(duì)于對(duì)象或者對(duì)象的一部分維持相同的位置；
[0040] 釘住點(diǎn)；在圖形對(duì)象或者圖形對(duì)象的一部分上限定的位置，其可W被釘住或者附 著在NUI對(duì)象的跟蹤點(diǎn)或者跟蹤區(qū)域（見(jiàn)下文）上，圖形對(duì)象將被顯示為與物理法則相一 致，諸如重力、基本力、粒子物理學(xué)等；
[0041] 跟蹤區(qū)域或者跟蹤罩（trackingmask);-個(gè)或者聚合在一起的多個(gè)跟蹤點(diǎn)。跟 蹤區(qū)域可W與圖形對(duì)象上的釘住點(diǎn)關(guān)聯(lián)，使得當(dāng)NUI對(duì)象移動(dòng)時(shí)，圖形對(duì)象跟蹤跟蹤區(qū)域；
[0042] 參考點(diǎn)：在工作區(qū)中能夠在NUI對(duì)象上的跟蹤點(diǎn)、圖形對(duì)象上的位置及其他空間 中的位置之間相對(duì)定位的位置；
[0043] 物理點(diǎn)：擴(kuò)展分配給圖形對(duì)象的物理特性的點(diǎn)。物理點(diǎn)可W位于圖形對(duì)象的特 定部分，并且可W生成物理點(diǎn)的序列或者區(qū)域，使得在圖形對(duì)象的一部分或者區(qū)域上蘊(yùn)含 點(diǎn)的物理特性。例如使用物理點(diǎn)，袋子的手柄可W被分配為與袋子本身特性不同的彈性特 性；
[0044] 層；層是臺(tái)上對(duì)象的直觀表示，諸如NUI對(duì)象、2-D圖像、視頻文件、聲音文件、3D對(duì) 象、跟蹤區(qū)域、效果等等；可時(shí)間線表示層（見(jiàn)下文）
[0045] 時(shí)間線：時(shí)間線是開(kāi)發(fā)平臺(tái)的主要工作區(qū)域的輸出產(chǎn)品，其中不同的層可W被定 位并且布置在特定時(shí)間區(qū)域的級(jí)別中，并且其中可W限定對(duì)象之間的相互關(guān)系。
[0046]W