專利名稱：使用3d深度相機(jī)和3d投影儀來提供交互式體驗(yàn)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及3D投影技木。
背景技術(shù)：
研究界已探尋了各種各樣的用于創(chuàng)建并與諸如交互式桌面顯示器和墻式顯示器之類的對(duì)象進(jìn)行交互的替代技木。然而，已知的技術(shù)無法在期望的程度上提供富有表現(xiàn)力、真實(shí)的以及身臨其境感而同時(shí)又易于學(xué)習(xí)和使用的接ロ。

發(fā)明內(nèi)容
在此描述了一種允許用戶創(chuàng)建并與3D虛擬對(duì)象交互的交互系統(tǒng)。在一個(gè)實(shí)施方 式中，交互系統(tǒng)通過捕捉被置于表面上或靠近表面的物理對(duì)象的深度圖像來操作。例如，物理對(duì)象可包括無生命対象、身體部分、或其組合。交互系統(tǒng)同時(shí)捕捉物理對(duì)象的視頻圖像。交互系統(tǒng)隨后基于深度圖像和視頻圖像來生成3D虛擬對(duì)象。3D虛擬對(duì)象是物理對(duì)象的虛擬對(duì)應(yīng)物。交互系統(tǒng)隨后使用3D投影儀(諸如用于生成立體圖像的投影儀)來將3D虛擬對(duì)象投影在表面上或靠近表面。根據(jù)另ー說明性特征，交互系統(tǒng)可提供包括例如3D虛擬對(duì)象的虛擬場(chǎng)景的實(shí)時(shí)且動(dòng)態(tài)的呈現(xiàn)。在任何時(shí)刻，用戶可指示交互系統(tǒng)來捕捉物理對(duì)象的實(shí)例，包括例如無生命對(duì)象、身體部分、或其組合。這提供了捕捉的3D虛擬對(duì)象。根據(jù)另ー說明性特征，用戶可隨后指示交互系統(tǒng)來以任何方式操縱虛擬場(chǎng)景的任何部分，例如通過在任意方向上偏移所捕捉的3D虛擬對(duì)象、對(duì)其進(jìn)行縮放、和/或?qū)ζ溥M(jìn)行旋轉(zhuǎn)等來操縱所捕捉的3D虛擬對(duì)象。根據(jù)另ー說明性特征，交互系統(tǒng)可通過基于與深度圖像相關(guān)聯(lián)的點(diǎn)來標(biāo)識(shí)幾何形狀來生成3D虛擬對(duì)象。交互系統(tǒng)隨后將從視頻圖像中獲取的紋理應(yīng)用到該幾何形狀。這為該幾何形狀添加了外觀。根據(jù)另ー說明性特征，交互系統(tǒng)可使用投影紋理技術(shù)來應(yīng)用紋理。這ー方法可至少考慮以下內(nèi)容用戶注意的方向；3D投影儀的位置；以及3D虛擬對(duì)象將要投影在其上的(如深度圖像上所表示的)場(chǎng)景的幾何結(jié)構(gòu)。憑借這ー技術(shù)，交互系統(tǒng)可提供(從用戶的視角)看上去自然的3D虛擬對(duì)象，即使是在諸如用戶杯狀的手之類的不規(guī)則的實(shí)際表面上。根據(jù)另ー說明性特征，交互系統(tǒng)可以與3D虛擬對(duì)象的對(duì)應(yīng)的物理對(duì)象的鏡像關(guān)系在表面上或靠近表面呈現(xiàn)3D虛擬對(duì)象。這允許用戶獲取物理對(duì)象及其虛擬對(duì)應(yīng)物之間的相關(guān)性的理解，而不會(huì)干擾物理対象。根據(jù)另ー說明性特征，用戶可應(yīng)用交互系統(tǒng)來基于3D虛擬對(duì)象構(gòu)建塊持續(xù)地構(gòu)造復(fù)合模型，而3D虛擬對(duì)象構(gòu)建塊最終從ー個(gè)或多個(gè)物理對(duì)象導(dǎo)出。根據(jù)另ー說明性特征，本地和遠(yuǎn)程用戶可使用各自的交互系統(tǒng)來生成并共享3D虛擬對(duì)象。在一個(gè)實(shí)施方式中，在本地位置呈現(xiàn)的物理對(duì)象表現(xiàn)為遠(yuǎn)程位置處的虛擬對(duì)象，反之亦然。根據(jù)另ー說明性特征，交互系統(tǒng)可包含物理模擬器。當(dāng)觸發(fā)事件發(fā)生時(shí)，物理模擬器生成模擬效果并將該模擬效果應(yīng)用于3D虛擬對(duì)象。觸發(fā)事件對(duì)應(yīng)于用戶對(duì)3D虛擬對(duì)象執(zhí)行的指示性動(dòng)作(telltale action)。模擬效果定義了 3D虛擬對(duì)象響應(yīng)于觸發(fā)動(dòng)作的行為。上面的方法可以顯現(xiàn)在各種類型的系統(tǒng)、組件，方法、計(jì)算機(jī)可讀介質(zhì)、數(shù)據(jù)結(jié)構(gòu)、廣品等等中O提供本發(fā)明內(nèi)容是為了以簡(jiǎn)化的形式介紹ー些概念，這些概念將在以下具體實(shí)施方式
中進(jìn)ー步描述。本發(fā)明內(nèi)容并不g在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。


圖I顯示了說明性交互系統(tǒng)的圖示，說明性交互系統(tǒng)響應(yīng)于放置在交互式表面上 的對(duì)應(yīng)物理對(duì)象，在交互式表面上呈現(xiàn)3D虛擬對(duì)象。圖2是圖I的交互系統(tǒng)的ー個(gè)實(shí)施方式的圖示。圖3示出了ー種使用圖I的交互系統(tǒng)的方式。圖4-7顯示了使用圖I的交互系統(tǒng)以各種方式已經(jīng)創(chuàng)建的3D虛擬對(duì)象(其中使用實(shí)線來圖示物理對(duì)象，而采用虛線來圖示3D虛擬對(duì)象)。圖8和9演示了圖I的交互系統(tǒng)可被用于將3D虛擬對(duì)象投影到諸如用戶杯狀的手之類的不規(guī)則的實(shí)際表面上的方式。圖10是可被投影到交互式表面上以實(shí)現(xiàn)圖9的3D虛擬對(duì)象的視角經(jīng)調(diào)整的圖像的圖示(圖9中是從用戶的立場(chǎng)所觀看的)。圖11顯示了包含兩個(gè)交互系統(tǒng)的說明性環(huán)境，第一個(gè)交互系統(tǒng)由本地用戶使用，而第二個(gè)交互系統(tǒng)由遠(yuǎn)程用戶使用。圖12和13示出了圖11中所示的環(huán)境的操作的兩個(gè)說明性模式。圖14顯示了用于從用戶的角度使用圖I的交互系統(tǒng)的說明性過程。圖15示出用于設(shè)置圖I的交互系統(tǒng)的說明性過程。圖16示出了用于使用圖I的交互系統(tǒng)生成3D虛擬對(duì)象的說明性過程。圖17示出了正與交互式表面交互的用戶的圖示。該圖是用來說明交互系統(tǒng)可確定用戶的注意方向的方式的載體。圖18顯示了用于響應(yīng)于用戶的指令來捕捉并操縱所捕捉的3D虛擬對(duì)象的說明性過程。圖19示出了用于應(yīng)用投影紋理技術(shù)的說明性過程。圖20示出了用于生成3D虛擬對(duì)象并在本地用戶與遠(yuǎn)程用戶之間共享3D虛擬對(duì)象的說明性過程。圖21示出了用于響應(yīng)于用戶對(duì)3D虛擬對(duì)象所執(zhí)行的觸發(fā)事件來生成模擬效果的說明性過程。圖22是模擬的變形效果的演示。圖23示出了可以用來實(shí)現(xiàn)前面的附圖中所示出的特征的任何方面的說明性處理功能。貫穿本公開和附圖使用相同的附圖標(biāo)記來引用相同的組件和特征。100系列標(biāo)號(hào)指的是最初在圖I中找到的特征，200系列標(biāo)號(hào)指的是最初在圖2中找到的特征，300系列標(biāo)號(hào)指的是最初在圖3中找到的特征，以此類推。
具體實(shí)施例方式本發(fā)明是按如下方式來組織的。章節(jié)A描述了用于允許用戶生成3D虛擬對(duì)象并與之交互的說明性交互系統(tǒng)。章節(jié)B描述了解釋章節(jié)A的交互系統(tǒng)的操作的說明性方法。章節(jié)C描述了可以被用來實(shí)現(xiàn)章節(jié)A和B中所描述的特征的任何方面的說明性處理功能。作為正文前的圖文，ー些附圖是在ー個(gè)或多個(gè)結(jié)構(gòu)組件(不同地稱為功能、模塊、特征、元件等等)的上下文中來描述概念的。附圖所示出的各種組件可以通過任何物理的并且有形的機(jī)制以任何方式來實(shí)現(xiàn)(例如，通過軟件、硬件、固件等等，和/或其任何組合)。在一種情況下，附圖中所示出的將各種組件分離為不同的単元可以反映在實(shí)際實(shí)現(xiàn)中使用對(duì)應(yīng)的不同的物理和有形的組件。可另選地，或者另外，附圖中所示出的任何單個(gè)組件都可以通過多個(gè)實(shí)際物理組件來實(shí)現(xiàn)。另選地或另外地，附圖中的任何兩個(gè)或更多分開組件的描繪可以反映單個(gè)實(shí)際物理組件所執(zhí)行的不同功能。進(jìn)而要討論的圖23提供了關(guān)于附圖 中示出的功能的一個(gè)說明性物理實(shí)現(xiàn)的附加細(xì)節(jié)。其他附圖以流程圖形式描述了概念。以此形式，某些操作被描述為構(gòu)成以某ー順序執(zhí)行的不同的框。這樣的實(shí)現(xiàn)是說明性的而非限制性的。此處描述的某些框可被分組在一起并在單個(gè)操作中執(zhí)行，某些框可被分成多個(gè)組成框，并且某些框可以按與此處所示出的不同的次序來執(zhí)行(包括以并行方式執(zhí)行這些框)。流程圖所示出的框可以通過任何物理和有形的機(jī)制以任何方式來實(shí)現(xiàn)(例如，通過軟件、硬件、固件等等，和/或其任何組合)。至于術(shù)語，短語“被配置成”包含任何類型的物理和有形的功能可以被構(gòu)建來執(zhí)行已標(biāo)識(shí)的操作的任何方式。功能可以被配置成使用，例如，軟件、硬件、固件、等等和/或其任何組合來執(zhí)行操作。術(shù)語“邏輯”包含用于執(zhí)行任務(wù)的任何物理和有形的功能。例如，流程圖中示出的每ー個(gè)操作都對(duì)應(yīng)于用于執(zhí)行該操作的邏輯組件。操作可以使用，例如，軟件、硬件、固件、等等和/或其任何組合來執(zhí)行。在由計(jì)算系統(tǒng)實(shí)現(xiàn)吋，邏輯組件表示作為計(jì)算系統(tǒng)的物理部分的、無論如何實(shí)現(xiàn)的電子組件。下列的說明可以將ー個(gè)或多個(gè)特征標(biāo)識(shí)為“可選”。這種陳述不應(yīng)該被解釋為可以被視為可選的特征的窮盡的說明；也就是說，其他特征也可以被視為可選，雖然在文本中沒有顯式地標(biāo)識(shí)。類似地，說明可以指出一個(gè)或多個(gè)特征可以以復(fù)數(shù)實(shí)現(xiàn)(即，通過提供ー個(gè)以上的特征)。這種陳述不應(yīng)該被解釋為可以重復(fù)的特征的詳盡的說明。最后，術(shù)語“示例性”或“說明性”指的是可能多個(gè)實(shí)現(xiàn)中的ー個(gè)實(shí)現(xiàn)。A.說明性交換系統(tǒng)圖I顯示了用于將3D虛擬對(duì)象投影到交互式表面102上的說明性交互系統(tǒng)100。交互系統(tǒng)100基于ー個(gè)或多個(gè)物理對(duì)象生成3D虛擬對(duì)象，物理對(duì)象還被放置在交互式表面102上，物理對(duì)象包括任何無生命對(duì)象和/或任何身體部分。本章節(jié)呈現(xiàn)可實(shí)現(xiàn)上述操作的說明性組件的解釋。在一個(gè)示例中，交互式表面102包括任何尺寸和形狀的桌面。在其它示例中，交互式表面102包括地板表面、墻表面等。在一個(gè)示例中，交互式表面102具有平整表面。而在其它示例中，交互式表面102可具有諸如球面之類的非平坦表面。另外，如在以下將詳細(xì)闡明的，交互系統(tǒng)100可將3D對(duì)象投影在被呈現(xiàn)在任何表面之上的不規(guī)則形狀的對(duì)象上。用戶可將物理對(duì)象放置在交互式表面102上。此外，交互系統(tǒng)100可將3D虛擬對(duì)象投影在交互式表面102上。術(shù)語“在……上”在本說明書中可以自由地理解為包括用戶僅將物理對(duì)象放置在靠近交互式表面102的情況，以及交互系統(tǒng)100將3D虛擬對(duì)象放置在靠近交互式表面102的情況。更一般來說，交互式表面102(或簡(jiǎn)稱“表面”)指的是用戶可在其上(或其周圍)放置物理對(duì)象和/或執(zhí)行其它工作的任何表面。交互式表面102還指交互系統(tǒng)100在其上(或其周圍)投影3D虛擬對(duì)象和/或其它信息的任何表面。交互式表面102可包括多個(gè)組件表面，多個(gè)組件表面可隨環(huán)境而改變；而且不同的用戶場(chǎng)景和應(yīng)用可致 使交互系統(tǒng)100在不同組件表面上顯示內(nèi)容。為了舉出一個(gè)示例(在下文中將更詳細(xì)地描述)，交互系統(tǒng)100可將3D虛擬對(duì)象投影在用戶的手上。雖然用戶可感知3D虛擬對(duì)象就像停留在他或她手中的單個(gè)實(shí)體一祥，然而為了創(chuàng)造這一幻想，交互系統(tǒng)100可實(shí)際上將各圖像部分投影在用戶的手上、手下的桌面上、以及甚至是房間的其它部分上，諸如地板或墻上。-{}_在這ー場(chǎng)合，所有這些表面組件包括交互式表面102的一部分。然而，為了便于引用，以下的描述將最常假設(shè)交互式表面102包括從表面延伸的經(jīng)定義的工作空間。交互系統(tǒng)100包括與交互式表面102交互的設(shè)備的集合。例如，交互系統(tǒng)100包括照明源104，該照明源104將任何波長(zhǎng)的輻射(諸如紅外輻射或近紅外輻射)投影到交互式表面102的表面。例如，照明源104可將規(guī)則或隨機(jī)的點(diǎn)陣列或其它圖案投影到交互式表面102上。雖然圖I中只示出了ー個(gè)照明源104，但是交互系統(tǒng)100可包括兩個(gè)或更多這樣的源。深度相機(jī)106接收(由照明源104發(fā)射的)從交互式表面102反射的或以其它方式照亮交互式表面102的輻射。深度相機(jī)106處理所接收到的輻射來提供深度圖像。深度圖像反映了交互式表面102的不同部分(以及交互式表面102上放置的對(duì)象)離深度相機(jī)106的距離。這些距離進(jìn)而可隨后被用于推斷放置在交互式表面102上的物理對(duì)象的形狀。深度相機(jī)106可使用任何技術(shù)來生成深度圖像，諸如眾所周知的飛行時(shí)間技術(shù)、結(jié)構(gòu)化光技術(shù)(structured light technique)等。在結(jié)構(gòu)化光技術(shù)中，照明源104將點(diǎn)陣列或其它形狀投影到表面上；這些形狀撞擊表面的方式掲示了有關(guān)該表面(及其上放置的對(duì)象)的深度信息。雖然圖I中只示出了ー個(gè)深度相機(jī)106，但是交互系統(tǒng)100可包括兩個(gè)或更多這樣的相機(jī)。使用額外的深度相機(jī)允許交互系統(tǒng)100生成放置在交互式表面102上的物理對(duì)象的幾何結(jié)構(gòu)更完整的表示。使用單個(gè)照明源104和相關(guān)聯(lián)的單個(gè)深度相機(jī)106，交互系統(tǒng)100可形成僅對(duì)物理對(duì)象中面向單個(gè)深度相機(jī)106的部分的表示。視頻相機(jī)108捕捉交互式表面102 (及其上放置的對(duì)象)的視頻圖像。例如，視頻相機(jī)108可形成放置在交互式表面102上的對(duì)象的紅-綠-藍(lán)(RGB)表示。雖然圖I中只示出了一個(gè)視頻相機(jī)108，但是交互系統(tǒng)100可包括兩個(gè)或更多這樣的相機(jī)。在一個(gè)示例中，交互系統(tǒng)100可提供不同的且分開的組件來實(shí)現(xiàn)照明源104、深度相機(jī)106、以及視頻相機(jī)108。在另ー示例中，可采用整合成像単元110來提供全部的這三個(gè)組件。在一個(gè)示例中，交互系統(tǒng)100可使用Kinect 控制器來實(shí)現(xiàn)整合成像単元110。Kinect 控制器是由華盛頓州雷蒙德市的微軟公司所制造的。
3D投影儀(以下僅稱為“投影儀”)112將3D虛擬對(duì)象投影在交互式表面102上。投影儀112可使用任何合適的技術(shù)來實(shí)現(xiàn)，諸如但不限于得克薩斯州圓石市的戴爾公司制造的戴爾1610HD投影儀。在一個(gè)實(shí)施方式中，投影儀112被配置成投影3D虛擬對(duì)象的立體表示。這涉及生成和投影用于左眼的左圖像和用于右眼的右圖像，例如，以由幀率限定的快速交替模式。左圖像被相對(duì)于右圖像輕微地偏移。雖然圖I中只示出了ー個(gè)投影儀112，但是交互系統(tǒng)100可包括兩個(gè)或更多這樣的投影儀。在另ー示例中，3D投影儀112可包括將3D虛擬對(duì)象的全息表示投影到例如全息屏幕上的投影儀。但是為了方便說明，在剰余的說明書中，將假設(shè)3D投影儀112提供3D虛擬對(duì)象的立體表示。如以下將更詳細(xì)闡述的，投影儀112可以與3D虛擬對(duì)象的對(duì)應(yīng)的物理對(duì)象的鏡像關(guān)系來將3D虛擬對(duì)象呈現(xiàn)在交互式表面102上，而物理對(duì)象仍可留在交互式表面102上。出于以下將闡述的理由，3D虛擬對(duì)象的這ー放置是有益的。3D查看設(shè)備114允許用戶查看由投影儀112投影在交互式表面102上的立體圖像。例如，在一個(gè)實(shí)施方式中，3D查看設(shè)備114可被實(shí)現(xiàn)為立體快門眼鏡、偏振眼鏡、立體 (例如，紅-藍(lán))眼鏡等等。在某些示例中，3D查看設(shè)備114可與投影儀112的幀率同步(如圖I中連接3D查看設(shè)備114和投影儀112的虛線所指示的)，例如使用數(shù)字光處理(DLP)鏈接技術(shù)等。控制輸入設(shè)備116允許用戶指示交互系統(tǒng)100對(duì)3D虛擬對(duì)象執(zhí)行各種動(dòng)作。例如，假設(shè)交互式表面102顯示單個(gè)物理對(duì)象和對(duì)應(yīng)的3D虛擬對(duì)象。在動(dòng)態(tài)操作模式中，交互系統(tǒng)100在交互式表面102上提供實(shí)時(shí)且動(dòng)態(tài)的3D虛擬對(duì)象表示。這意味著，當(dāng)用戶移動(dòng)物理對(duì)象，其鏡像的3D虛擬對(duì)象將以對(duì)應(yīng)的方式改變。假設(shè)現(xiàn)在用戶想要形成物理對(duì)象在特定時(shí)間點(diǎn)的靜態(tài)快照，這產(chǎn)生捕捉的3D虛擬對(duì)象。為此，用戶可使用控制輸入設(shè)備116來啟動(dòng)捕捉命令。順著靜態(tài)的捕捉的3D虛擬對(duì)象，交互系統(tǒng)100可繼續(xù)投影3D虛擬對(duì)象的實(shí)時(shí)且動(dòng)態(tài)的表示。控制輸入設(shè)備116還可包括“撤銷”命令，這允許用戶有效地移除(例如，刪除)在緊靠的前一捕捉操作中所捕捉的任何3D虛擬對(duì)象。在一個(gè)示例中，當(dāng)用戶啟動(dòng)捕捉命令吋，交互系統(tǒng)100可指示投影儀112瞬間停止投影圖像。這使得交互系統(tǒng)100能夠在不受投影儀112所投影的圖像干擾的情況下捕捉物理對(duì)象的快照。控制輸入設(shè)備116還允許用戶輸入各種命令來移除任何所捕捉的3D虛擬對(duì)象。例如，用戶可與控制輸入設(shè)備116交互以在X、Y和Z軸中的任意一個(gè)上平移3D虛擬對(duì)象，和/或繞著任何指定的軸旋轉(zhuǎn)3D虛擬對(duì)象。另外，用戶可與控制輸入設(shè)備116交互來改變3D虛擬對(duì)象的尺寸(比例)或3D虛擬對(duì)象的任何其它屬性(諸如，其顔色、透明程度等)。以上標(biāo)識(shí)的命令是代表性的，而不是窮盡性的。控制輸入設(shè)備116可提供用于以任何其它方式操縱3D虛擬對(duì)象的指令。例如，用戶可使用控制輸入設(shè)備116來指示交互系統(tǒng)100裁剪所捕捉的3D場(chǎng)景以分離出3D場(chǎng)景中的組件對(duì)象、復(fù)制所捕捉的3D虛擬對(duì)象等。用戶還可將任何3D虛擬對(duì)象(包括復(fù)合3D虛擬對(duì)象)存儲(chǔ)在長(zhǎng)期檔案庫(kù)中。這允許用戶在以后的交互式會(huì)話中檢索這些對(duì)象供投影。在ー個(gè)不例中,控制輸入設(shè)備116可被實(shí)施為鍵輸入設(shè)備。在這ー不例中,控制輸入設(shè)備116可將不同命令映射到不同的各個(gè)鍵?？蛇x地，或另外地，控制輸入設(shè)備116可被實(shí)施為任何圖形用戶界面呈現(xiàn)。例如，圖形用戶界面呈現(xiàn)可呈現(xiàn)3D虛擬對(duì)象的骨架圖示。用戶可使用鼠標(biāo)設(shè)備來拖曳3D虛擬對(duì)象的骨架圖示，例如通過平移以及旋轉(zhuǎn)它，以導(dǎo)致投影在交互式表面102上的3D虛擬對(duì)象的相應(yīng)移動(dòng)?？蛇x地，或另外地，控制輸入設(shè)備116可用感測(cè)交互式表面102上或附近的觸摸接觸或姿勢(shì)的功能來實(shí)現(xiàn)。例如，該功能可檢測(cè)用一根或多根手指在交互式表面102上做出的接觸、用手做出的可表達(dá)手勢(shì)等。功能可將這些感測(cè)到的接觸和姿勢(shì)映射到控制3D虛擬對(duì)象和/或交互式系統(tǒng)100的其它部分(諸如交互系統(tǒng)100所使用的相機(jī)中的任何ー個(gè))的各種命令。處理模塊118與以上提到的所有外圍設(shè)備交互并執(zhí)行各種類型的處理。處理模塊118可由在單個(gè)位置提供或分布在多個(gè)位置的、一個(gè)或多個(gè)計(jì)算機(jī)設(shè)備以及相關(guān)聯(lián)的數(shù)據(jù)存儲(chǔ)來實(shí)現(xiàn)。處理模塊118的主處理引擎是場(chǎng)景生成模塊120 (為了便于引用，以下簡(jiǎn)稱為“生成模塊”)。在每個(gè)示例中，生成模塊120接收來自深度相機(jī)106 的深度圖像和來自視頻相機(jī)108的視頻圖像?；谶@一信息，生成模塊120生成3D虛擬對(duì)象。章節(jié)B提供了關(guān)于生成模塊120執(zhí)行這一功能的方式的額外信息。生成模塊120隨后指示投影儀112投影3D虛擬對(duì)象。生成模塊120還接收并響應(yīng)于來自控制輸入設(shè)備116的指令，例如通過捕捉3D虛擬對(duì)象、釋放之前捕捉的3D虛擬對(duì)象、移動(dòng)3D虛擬對(duì)象等等。校準(zhǔn)模塊122執(zhí)行各種用來配置交互系統(tǒng)100的設(shè)置任務(wù)。例如，用戶可與校準(zhǔn)模塊122交互來將深度相機(jī)106和視頻相機(jī)108校準(zhǔn)到ー個(gè)公共的參考幀。參考幀可對(duì)應(yīng)干與交互式表面102相關(guān)聯(lián)的真實(shí)世界坐標(biāo)系統(tǒng)。相應(yīng)地，例如，一旦校準(zhǔn)后，深度圖像所傳遞的距離對(duì)應(yīng)于真實(shí)世界的實(shí)際距離。校準(zhǔn)模塊122可隨后將投影儀112校準(zhǔn)到相同的公共參考幀。章節(jié)B提供關(guān)于校準(zhǔn)模塊122的操作的額外信息。最后，交互系統(tǒng)100可包括可選的物理模擬器124。物理模擬器124存儲(chǔ)描述用戶可對(duì)3D虛擬對(duì)象執(zhí)行的各種指示性動(dòng)作(即姿勢(shì))的特征的模式(諸如撕扯動(dòng)作、擊打動(dòng)作、擠壓動(dòng)作、抓取和移動(dòng)動(dòng)作等等)。物理模擬器124還將這些動(dòng)作映射到各個(gè)模擬效果。在運(yùn)作中，物理模擬器124可分析用戶在任何給定時(shí)間正對(duì)3D虛擬對(duì)象執(zhí)行的移動(dòng)。如果確定用戶正執(zhí)行指示性動(dòng)作中的ー個(gè)，則物理模擬器可與生成模塊120交互以將對(duì)應(yīng)的模擬效果應(yīng)用于3D虛擬對(duì)象。模擬效果定義了 3D虛擬對(duì)象響應(yīng)于用戶的觸發(fā)動(dòng)作的行為。用戶隨后觀察被投影在交互式表面102上的所得到的經(jīng)修改的3D虛擬對(duì)象中的模擬效果。在一些示例中，物理模擬器124可應(yīng)用根據(jù)物理定律來建模的模擬效果。這些效果使得3D虛擬對(duì)象以與物理對(duì)象相同的方式來表現(xiàn)。另外地，或另選地，物理模擬器124可應(yīng)用采用非現(xiàn)實(shí)動(dòng)力學(xué)的模擬效果，以提供例如可能對(duì)于游戲環(huán)境而言合適的夸張或幻想的效果。物理模擬器124可至少部分依賴于已知的模擬算法來以現(xiàn)實(shí)或非現(xiàn)實(shí)的方式操縱3D虛擬對(duì)象，已知的模擬算法包括考慮剛體動(dòng)力學(xué)、柔體動(dòng)力學(xué)等的模型。關(guān)于物理模擬的背景技術(shù)信息可在例如以下內(nèi)容中找到=PALMER Grant所著的《游戲程序員的物理學(xué)》(Physics for Game Programmers),第一版，Apress 出版社，2005 年；EBERLY David H.所著的《游戲物理學(xué)》(Game Physics), Morgan Kaufmann 出版社，2010 年；VAN DEN BERGENGino所著的《游戲物理寶典》(Game Physics Pearls), A. K. Peters公司出版,2010年；ERICSON Christer 所著的《實(shí)時(shí)碰撞檢測(cè)》(Real-Time Collision Detection), MorganKaufmann出版社,2005年；WILSON等所著的《將物理學(xué)帶到表面》(Bringing Physicsto the Surface),刊載在《關(guān)于用戶界面軟件和技術(shù)的第21屆年度ACM研討會(huì)論文集》(Proceedings of the 21st Annual ACM Symposium on User Interface Software andTechnology), 2008年,第67-76頁(yè)；WILS0N Andrew A所著的《在成像交互式表面上模擬抓取 T為》(Simulating Grasping Behavior on an Imaging Interactive Surface),干丨J載在《關(guān)于交互式桌面和表面的ACM國(guó)際會(huì)議論文集》(Proceedings of the ACM InternationalConference on Interactive Tabletops and Surfaces), 2009年，第 125-132 頁(yè)；HILLIGES等所著的《無線交互向交互式桌面添加進(jìn)ー步的深度》(Interactions in the Air Adding Further Depth to Interactive Tabletops),刊載在《關(guān)于用戶界面軟件和技術(shù)的第 22 屆年度 ACM 研討會(huì)論文集》(Proceedings of the 22nd Annual ACM Symposium onUser interface Software and Technology), 2009 年，第 139-148 頁(yè)，等等。已知的物理模擬器包括加利福尼亞州的圣克拉拉市的Nvidia公司提供的PhysX ;愛爾蘭都柏林的Havok提供的Havok物理學(xué)；Julio Jerez和Alain Suero制作的牛頓游戲動(dòng)力學(xué)(Newton GameDynamics),等等。例如，物理模擬器124可確定用戶已用他或她的手指以一定的所感知的カ戳向3D 虛擬對(duì)象(例如，基于用戶將他或她的手指施加于3D虛擬對(duì)象的速度)。基于牛頓力學(xué)原理，物理模擬器124可將與這一力成比例的移動(dòng)應(yīng)用到3D虛擬對(duì)象。如果用戶將該カ施加到3D虛擬對(duì)象的角落，則物理模擬器124可將旋轉(zhuǎn)運(yùn)動(dòng)施加到3D虛擬對(duì)象。經(jīng)建模的摩擦力的量將最終使3D虛擬對(duì)象靜止。如果3D虛擬對(duì)象是柔體而不是硬體，物理模擬器124可將形變施加到3D虛擬對(duì)象，該形變與施加于其上的力的量成比例。如果用戶用拇指和手指向3D虛擬對(duì)象施加捏合手勢(shì)，物理模擬器124將假設(shè)用戶想要抓取該3D虛擬對(duì)象，等等。章節(jié)B提供關(guān)于物理模擬器124的操作的額外信息。雖然沒有示出，但除了使用投影儀112或取而代之地，交互系統(tǒng)100可將3D虛擬對(duì)象以圖形形式呈現(xiàn)在諸如計(jì)算機(jī)監(jiān)視器之類的顯示設(shè)備上。顯示設(shè)備可位于交互式表面102之上或靠近交互式表面102以模擬3D虛擬對(duì)象在交互式表面102自身上投影的效果。用戶可使用3D查看設(shè)備114來查看顯示設(shè)備上的立體內(nèi)容，例如使用快門式眼鏡或諸如此類?；蛘?，顯示設(shè)備可包括全息屏幕或諸如此類。前進(jìn)到圖2，該圖顯示了圖I的交互系統(tǒng)的ー個(gè)特定實(shí)現(xiàn)。在一個(gè)示例中，交互式表面102具有包括桌面式表面。此處所示出的表面是平整的，然而如上所述，平面可以具有任何輪廓。圖2還示出了交互式表面102上方通常延伸出一定距離的工作空間202。工作空間202定義了ー個(gè)區(qū)域，在該區(qū)域中，用戶可將物理對(duì)象放置在交互式表面102上或在其附近，并且投影儀112可在該區(qū)域上呈現(xiàn)對(duì)應(yīng)的3D虛擬對(duì)象。然而，如上所述，對(duì)于ー些應(yīng)用和場(chǎng)合，工作空間202可被延伸以包括房間或其它環(huán)境內(nèi)的其它表面部分。更具體地，在圖2的示例中，分界線204劃分出交互式表面102的第一部分和第二部分。第一部分是一般專用于接收由用戶放置在其中的物理對(duì)象的區(qū)域，諸如說明性的物理立方體206。第二部分是一般致力于接收由投影儀112投影在其中的3D虛擬對(duì)象(諸如說明性的3D虛擬對(duì)象208)的區(qū)域。說明性的3D虛擬對(duì)象208是物理立方體206的虛擬對(duì)應(yīng)物。注意3D虛擬對(duì)象208具有兩個(gè)分量圖像(210、212)，分別對(duì)應(yīng)于用于左眼和右眼的左圖像和右圖像。
在一個(gè)實(shí)現(xiàn)中，交互系統(tǒng)100投影出3D虛擬對(duì)象使得它們與它們對(duì)應(yīng)的物理對(duì)象的放置成鏡像。例如,3D虛擬對(duì)象208被放置在交互式表面102上鄰近物理立方體206，其中分界線204在兩者之間。這ー放置方法是有利的，因?yàn)檫@防止了 3D虛擬對(duì)象干擾用戶與物理對(duì)象的交互。此外,這ー方法容易地將物理對(duì)象和它們的虛擬對(duì)應(yīng)物之間的關(guān)系傳達(dá)出來。然而,交互系統(tǒng)100可適應(yīng)其它放置策略。在另ー種方法中，交互系統(tǒng)100可允許用戶將物理對(duì)象放置在分界線204上方的區(qū)域中，在該區(qū)域中，交互系統(tǒng)100也放置3D虛擬對(duì)象。另外地，或另選地，交互系統(tǒng)100可將3D虛擬對(duì)象呈現(xiàn)在分界線204的下方的區(qū)域中，用戶通常在該區(qū)域中執(zhí)行他或她的工作。

在圖2的實(shí)現(xiàn)中，交互系統(tǒng)100將投影儀112直接放在交互式表面102上方。此夕卜，交互系統(tǒng)100將整合成像単元110放置成與交互式表面102成約45度角。如上所述的，整合成像単元110可通過Kinect 控制器來實(shí)現(xiàn)，并且包括照明源104、深度相機(jī)106和視頻相機(jī)108。如果交互系統(tǒng)100合并兩個(gè)或更多整合成像単元(未示出)，處理模塊118可執(zhí)行適當(dāng)?shù)奶幚韥砗铣蛇@些單元所產(chǎn)生的圖像以產(chǎn)生整合的圖像。這些整合的圖像能夠可能地捕捉放置在交互式表面102上的物理對(duì)象的全部可見側(cè)面。用戶坐在交互式表面102的ー側(cè)，從ー個(gè)角度向下看著交互式表面102。用戶佩戴著3D查看設(shè)備114，諸如快門式眼鏡，以查看由投影儀112投影在交互式表面102上的立體內(nèi)容。圖3顯示了圖2中所示的交互系統(tǒng)100的使用方式的又一種更現(xiàn)實(shí)的圖示。如所提到的，用戶坐在交互式表面102的ー側(cè)，佩戴著3D查看設(shè)備114。用戶正在使用他的左手302將物理立方體206放置在分界線204以下的想要的位置和定向的過程中。交互系統(tǒng)100以與物理立方體206呈鏡像關(guān)系在分界線204的相對(duì)側(cè)顯示3D虛擬對(duì)象208。在這ー示例中，3D虛擬對(duì)象208的一部分對(duì)應(yīng)于用戶的左手302，因?yàn)橛脩暨€沒有放開物理立方體206。在此時(shí)，交互系統(tǒng)100可呈現(xiàn)對(duì)應(yīng)于用戶的右手306的另ー 3D虛擬對(duì)象304。圖3從與用戶自身的視角不同的有利位置圖示了 3D虛擬對(duì)象(208、304)。從這ー非用戶視角，可能難以明了的搞清楚3D虛擬對(duì)象(208、304)。與之相反，從用戶自身角度，3D虛擬對(duì)象看上去是放置在交互式表面102上的物理對(duì)象的可靠副本。雖然沒有示出，交互系統(tǒng)100還可將其它類型的虛擬對(duì)象投影在交互式表面102上，諸如任何類型的計(jì)算機(jī)生成的模型。也就是說，這些虛擬對(duì)象可能不是起源自由用戶放置在交互式表面102上的物理對(duì)象，至少在當(dāng)前的交互式會(huì)話中不是這樣。在某ー時(shí)刻，用戶可決定從物理立方體205放開他的右手302，并且將全部的身體部分(以及其它的無關(guān)對(duì)象)從相機(jī)(106，108)的捕捉視野中移開。隨后用戶可激活控制輸入設(shè)備116上的捕捉命令。這導(dǎo)致交互系統(tǒng)100捕捉物理立方體206的對(duì)應(yīng)3D虛擬對(duì)象，而不存在用戶的右手302和其它不想要的對(duì)象。更具體地，圖4從用戶的視角顯示了物理立方體206及其對(duì)應(yīng)的3D虛擬對(duì)象402的圖示。在捕捉之后，用戶可與控制輸入設(shè)備116交互以便以任何方式操縱3D虛擬對(duì)象402。假設(shè)用戶輸入命令來將3D虛擬對(duì)象402旋轉(zhuǎn)90度。這產(chǎn)生了圖5中所示的3D虛擬對(duì)像402’。用戶可實(shí)現(xiàn)相同效果的另ー種方法是通過將物理立方體206旋轉(zhuǎn)90度，隨后再一次啟動(dòng)捕捉命令。這再一次產(chǎn)生了圖6中所示的3D虛擬對(duì)象402’。
用戶還可使用控制輸入設(shè)備116來構(gòu)成聚合各組件3D虛擬對(duì)象的復(fù)合模型，本質(zhì)上將各組件3D虛擬對(duì)象當(dāng)成構(gòu)建塊。例如，假設(shè)用戶想要將圖5或圖6中創(chuàng)建的水平的3D虛擬對(duì)象402’放置在圖4中創(chuàng)建的垂直的3D虛擬對(duì)象402之上。為了這么做，用戶可使用控制輸入設(shè)備116來將水平的3D虛擬對(duì)象402’提起并將其放在虛擬3D對(duì)象402之上。這ー效果在圖7中示出。這ー類型的連續(xù)捕捉和操縱可被用于創(chuàng)建任何復(fù)雜度的復(fù)合模型。以上所描述的交互式體驗(yàn)在對(duì)用戶來說容易理解和使用的范圍內(nèi)是用戶友好的。這是因?yàn)榻换ナ较到y(tǒng)100為用戶提供了一種將新的“構(gòu)建塊”引入虛擬領(lǐng)域的便捷的手段。此外，一經(jīng)被創(chuàng)建，交互系統(tǒng)100提供易于理解且直接的用于操縱這些構(gòu)建塊圖元來構(gòu)造任何復(fù)雜度的復(fù)合模型的技術(shù)。在以上的示例中，用戶應(yīng)用控制輸入設(shè)備116來操縱3D虛擬對(duì)象。另外地，或另選地，用戶可使用他或她的手(和/或任何類型的工具)來直接操縱3D虛擬對(duì)象，就像它們是真實(shí)的物理對(duì)象一祥。例如，用戶可物理地“抓取” ー個(gè)3D虛擬對(duì)象并將其放在另ー3D虛擬對(duì)象上。在章節(jié)B中給出更多關(guān)于這一操作模式的信息。
在以上的全部示例中，交互系統(tǒng)100已將3D虛擬對(duì)象顯示在平整的交互式表面102、或其它3D虛擬對(duì)象之上(如圖7所示)。另外，交互系統(tǒng)100可在非規(guī)則表面上顯示3D虛擬對(duì)象。例如，考慮圖8和9中顯示的情景。在此，用戶指示交互系統(tǒng)100在他或她的杯狀的手802中顯示3D虛擬對(duì)象902。交互系統(tǒng)100通過如章節(jié)B中給出的投影紋理技術(shù)來實(shí)現(xiàn)這ー效果。作為這ー技術(shù)的結(jié)果，用戶將感知到3D虛擬對(duì)象902，就像它實(shí)際位于他或她張開的手中一祥。但為了產(chǎn)生這一光學(xué)幻像，交互系統(tǒng)100可實(shí)際產(chǎn)生并投影圖像，該圖像與物理對(duì)象幾乎不具有可辨別的相似性(當(dāng)從用戶視角以外的任何視角來考慮時(shí))。例如，圖像可能具有不接合的部分。例如，如圖10中所示，交互系統(tǒng)100可在用戶的手上顯示3D虛擬對(duì)象902的底部1002，而在任何其它表面上顯示3D虛擬對(duì)象902的頂部1004。前進(jìn)至圖11，此圖顯示了環(huán)境1100，其中本地用戶(用戶X)運(yùn)行本地交互系統(tǒng)1102,而遠(yuǎn)程用戶(用戶Y)運(yùn)行遠(yuǎn)程交互系統(tǒng)1104。姆個(gè)交互系統(tǒng)(1102,1104)可包括圖I中所示的整套功能。例如，本地交互系統(tǒng)1102包括本地處理模塊1106,而遠(yuǎn)程交互系統(tǒng)1104包括遠(yuǎn)程處理模塊1108。通信管道1110連接本地交互系統(tǒng)1102和遠(yuǎn)程交互系統(tǒng)1104。通信管道1110可包括任何用于在兩個(gè)交互系統(tǒng)(1102,1104)之間交換信息的機(jī)制，諸如局域網(wǎng)、廣域網(wǎng)(例如因特網(wǎng))、點(diǎn)對(duì)點(diǎn)連接等等，并通過任何協(xié)議或協(xié)議的組合來監(jiān)管。盡管未示出，環(huán)境1100可容納與更多交互系統(tǒng)交互的更多用戶。此外，圖11的環(huán)境1100可包括標(biāo)準(zhǔn)視頻會(huì)議技術(shù)，諸如允許用戶彼此交互的視聽設(shè)備。圖11中所示的環(huán)境1100可允許本地用戶和遠(yuǎn)程用戶出于任何目的生成并共享3D虛擬對(duì)象，諸如以協(xié)作的方式執(zhí)行共享任務(wù)。環(huán)境1100可以不同模式來操作。圖12顯示了第一操作模式。在該模式中，用戶X放置在他的交互式表面1202上的任何物理對(duì)象看上去像是用戶Y的交互式表面1204上的3D虛擬對(duì)象，而用戶Y放置在他的交互式表面1204上的任何物理對(duì)象看上去像是用戶X的交互式表面1202上的3D虛擬對(duì)象。例如，用戶X已將物理對(duì)象1206和1208放置在交互式表面1202上；這些對(duì)象看上去像是用戶Y的交互式表面1204上的3D虛擬對(duì)象1206’和1208’。用戶Y已將物理對(duì)象1210和1212放置在交互式表面1204上；這些對(duì)象看上去像是用戶Y的交互式表面1202上的3D虛擬對(duì)象1210’和 1212，。圖13顯示了第二操作模式。在這ー模式中，已經(jīng)由任何用戶創(chuàng)建的所有3D虛擬對(duì)象向所有用戶表現(xiàn)。例如，用戶X已將單個(gè)物理對(duì)象1302放置在他的交互式表面1304上，而用戶Y已將單個(gè)物理對(duì)象1306放置在他的交互式表面1308上。對(duì)應(yīng)的虛擬對(duì)象1302’和1306’在兩個(gè)交互式表面(1304,1308)上都出現(xiàn)。圖12和13中所描述的方法提供了ー種方便的機(jī)制，通過這ー機(jī)制，本地用戶可將物理對(duì)象的形狀傳送給相距一定距離的遠(yuǎn)程用戶，反之亦然。另外，任何用戶可以任何方式操縱3D虛擬對(duì)象(例如，通過旋轉(zhuǎn)它)，從而產(chǎn)生可被其它用戶所觀察到的適當(dāng)?shù)囊苿?dòng)。在另ー種操作方式中，任何用戶可生成身體部分(諸如手或臉)的3D虛擬表示，并且隨后將該虛擬表示傳送給其它用戶。例如，用戶可生成對(duì)應(yīng)于指向物理對(duì)象的手的3D虛擬對(duì)象，井隨后將該對(duì)象傳送給其它用戶。這具有虛擬的“伸出”以及向其它用戶作出可表達(dá)姿勢(shì)的效果。確實(shí)，在一個(gè)實(shí)現(xiàn)中，每個(gè)交互系統(tǒng)(1102、1104)處的深度相機(jī)可形成每個(gè)用戶的表示，諸如每個(gè)用戶的上部軀干。環(huán)境1100可隨后將每個(gè)表示傳輸給其它用戶，例如，使得用戶X看到用戶Y的栩栩如生的表示，反之亦然。 以上所描述的各實(shí)現(xiàn)和各應(yīng)用是代表性的，而不是窮盡性的。交互系統(tǒng)100可以其它方式來實(shí)現(xiàn)和使用。B.說明性過程圖14-22示出了進(jìn)ー步解釋圖I的交互系統(tǒng)100的ー種操作方式的過程及相應(yīng)示例。由于在章節(jié)A已經(jīng)描述了構(gòu)成交互系統(tǒng)100的ー些部分的操作的基礎(chǔ)的原理，在此章節(jié)以概述的方式說明某些操作。從圖14開始，該圖是從用戶的視角表示圖I的交互系統(tǒng)100的ー種操作方式的概述的過程1400。在框1402，用戶將物理對(duì)象放置在交互式表面102上，諸如無生命對(duì)象、身體部分、或其組合。這使得交互系統(tǒng)100生成并投影對(duì)應(yīng)的3D虛擬對(duì)象的實(shí)時(shí)呈現(xiàn)。在框1404，假定用戶在某ー時(shí)刻指示交互系統(tǒng)100捕捉物理対象。這使得交互系統(tǒng)100產(chǎn)生捕捉的3D虛擬對(duì)象，該虛擬對(duì)象與進(jìn)行中的動(dòng)態(tài)呈現(xiàn)一起出現(xiàn)在交互式表面102上。在框1406，假設(shè)用戶接下來決定操縱被呈現(xiàn)在交互式表面上的任何經(jīng)捕捉的3D虛擬對(duì)象，包括剛剛被捕捉的3D虛擬對(duì)象。交互系統(tǒng)100通過以想要的方式操縱3D虛擬對(duì)象來作出響應(yīng)。圖14中的循環(huán)指示用戶可重復(fù)框1402-1406中的操作任意次數(shù)，以從各個(gè)3D虛擬對(duì)象構(gòu)建塊中構(gòu)造復(fù)合模型。圖15顯示用于設(shè)置交互式系統(tǒng)100的ー種可能的過程1500。為了開始，在框1504和1506中，用戶使用任何校準(zhǔn)技術(shù)來校準(zhǔn)圖I的深度相機(jī)106、視頻相機(jī)108、以及投影儀112，諸如發(fā)明人在不同上下文中描述的技術(shù)，即Andrew Wilson等所著的“組合多個(gè)深度相機(jī)和投影儀用于表面上、上方以及之間的交互”(Combining Multiple Depth Cameras and Projectors for Interactions On, Above and Between Surfaces),刊載在《關(guān)于用戶界面軟件和技術(shù)的第22屆年度ACM研討會(huì)論文集》(Proceedings of the 23nd Annual ACMSymposium on User interface Software and Technology),第 273-282 頁(yè)。g卩，在框1502，用戶首先與校準(zhǔn)模塊122交互以校準(zhǔn)深度相機(jī)106 (或多個(gè)深度相機(jī)，如果采用了)。在ー種方法中，用戶可通過將具有已知的真實(shí)世界位置的反射性參考點(diǎn)放置在交互式表面102上的各種位置來執(zhí)行這一任務(wù)。用戶可隨后使用交互系統(tǒng)100來創(chuàng)建交互式表面102的深度圖像。深度圖像將包括參考點(diǎn)的表示。隨后校準(zhǔn)模塊122可確定深度相機(jī)106和每個(gè)參考點(diǎn)之間的距離。進(jìn)而，校準(zhǔn)可使用這ー距離信息來導(dǎo)出深度相機(jī)106的位置和定向。這進(jìn)而允許交互系統(tǒng)100隨后將深度圖像中的位置信息轉(zhuǎn)換成交互式表面102的真實(shí)世界參考幀?？梢灶愃朴诮换ナ奖砻?02的相同的真實(shí)世界坐標(biāo)系的方式來校準(zhǔn)視頻相機(jī)108。在框1504，用戶與校準(zhǔn)模塊122交互來校準(zhǔn)投影儀112。在ー個(gè)方法中，用戶可通過在位于深度相機(jī)106和視頻相機(jī)108的視野內(nèi)、并且在投影儀112的投影視野內(nèi)的對(duì)應(yīng)的非共面校準(zhǔn)位置處添加反射性參考點(diǎn)來執(zhí)行這一任務(wù)。校準(zhǔn)模塊122可使用對(duì)這ー場(chǎng)景所拍攝的圖像(包含參考點(diǎn))以及所得到的該場(chǎng)景在交互式表面102上的投影來確定投影儀112的位置和定向?？?502和1504中所執(zhí)行的校準(zhǔn)的最終結(jié)果是深度相機(jī)106、視頻相機(jī)108以及投影儀112將被校準(zhǔn)到同一真實(shí)世界參考幀。在框1506，交互系統(tǒng)100捕捉交互式表面102的背景深度圖像，在交互式表面102上或附近沒有放置任何對(duì)象(或用戶身體部分)，使得這類對(duì)象不會(huì)出現(xiàn)在相機(jī)(106，108) 的捕捉視野內(nèi)。交互系統(tǒng)100稍后使用背景圖像來減去交互式表面102的靜態(tài)背景部分，剩下用戶已放置在交互式表面102上的物理對(duì)象的表示。圖16顯示(圖I)的生成模塊120根據(jù)深度圖像和視頻圖像生成3D虛擬對(duì)象的過程1600。為了便于解釋，將假設(shè)用戶已將單個(gè)物理對(duì)象放置在交互式表面102上，這將提示生成模塊120生成單個(gè)3D虛擬對(duì)象。在框1602中，生成模塊120捕捉物理對(duì)象的深度圖像，并任選地(基于圖15中所執(zhí)行的校準(zhǔn))將包含在其中的位置信息轉(zhuǎn)換成交互式表面102的真實(shí)世界坐標(biāo)系。在框1604中，生成模塊120捕捉物理對(duì)象的視頻圖像，并任選地將包含在其中的位置信息轉(zhuǎn)換成交互式表面102的真實(shí)世界坐標(biāo)系。盡管圖16顯示框1602和1604是按順序執(zhí)行的，但這些操作可同時(shí)執(zhí)行。在框1606-1610中，生成模塊120開始對(duì)深度圖進(jìn)行操作。作為開始，在框1606，生成模塊120從深度圖像中減去(圖15的框1506中生成的)背景圖像。這具有從深度圖像中去除無關(guān)背景內(nèi)容的效果，由此在交互式表面102上強(qiáng)調(diào)物理対象。生成模塊120還可去除圖2中所示的位于工作空間202以外的任何內(nèi)容，因?yàn)檫@ー內(nèi)容是無意義的。在框1608，生成模塊120將去除了背景的深度圖像劃分成頭部區(qū)域和對(duì)象區(qū)域。這ー操作的最終目的是標(biāo)識(shí)(頭部區(qū)域中)深度圖像的可能對(duì)應(yīng)于用戶的頭部的部分。例如，圖17顯示了ー個(gè)示例，其中頭部區(qū)域?qū)?yīng)于區(qū)域1702，而對(duì)象區(qū)域?qū)?yīng)于區(qū)域1704。頭部區(qū)域包括用戶的手。對(duì)象區(qū)域包含交互式表面102和放置在交互式表面102上的對(duì)象(1706，1708，1710)。在框1610，生成模塊120根據(jù)頭部區(qū)域中的深度信息來評(píng)估用戶的注意方向?？刹捎貌煌夹g(shù)來實(shí)現(xiàn)這ー目的。在ー個(gè)例示中，生成模塊120可對(duì)頭部區(qū)域的不同快照求平均，以導(dǎo)出出現(xiàn)在頭部區(qū)域的質(zhì)心的大致估計(jì)，該質(zhì)心被假定為對(duì)應(yīng)于用戶的頭部的中心。在另一例示中，生成模塊120可執(zhí)行模式識(shí)別以在深度圖像和/或視頻圖像中檢測(cè)用戶的頭部。在另一例示中，生成模塊120可基于深度圖像和/或視頻圖像來執(zhí)行模式識(shí)別以確定各個(gè)單獨(dú)的眼睛所注視的方向。用戶注意的方向?qū)⒃谕队凹y理技術(shù)的應(yīng)用中發(fā)揮作用，如以下將描述的。操作1612基于深度圖像的對(duì)象區(qū)域中所標(biāo)識(shí)的對(duì)象(諸如圖17中示出的物理對(duì)象1708)來構(gòu)造至少ー個(gè)3D虛擬對(duì)象。一般來說，這ー操作需要估計(jì)3D虛擬對(duì)象的結(jié)構(gòu)。例如，在一個(gè)實(shí)現(xiàn)中，在框1614中，生成模塊120對(duì)深度圖像中與物理對(duì)象相關(guān)聯(lián)的點(diǎn)應(yīng)用ー個(gè)網(wǎng)格。從高級(jí)別的視角來看，這具有連接深度圖像中的點(diǎn)以創(chuàng)建多個(gè)三角形的效果。這產(chǎn)生ー個(gè)網(wǎng)格化的對(duì)象。在框1616，生成模塊120將從視頻圖像中獲取的紋理應(yīng)用到所述網(wǎng)格化的對(duì)象。這可大致被認(rèn)為是將視頻圖像“粘貼”到網(wǎng)格化對(duì)象的表面上。圖18將提供與可執(zhí)行這一操作的方式有關(guān)的更多細(xì)節(jié)。但總的來說，這ー操作涉及將(與視頻紋理相關(guān)聯(lián)的)紋理坐標(biāo)分配給網(wǎng)格化對(duì)象的頂點(diǎn)?？梢云渌绞叫纬?D虛擬對(duì)象。例如，在另ー技術(shù)中，生成模塊120可在深度圖像中標(biāo)識(shí)幾何形狀(例如幾何結(jié)構(gòu))，而無需首先形成網(wǎng)格化的對(duì)象。例如，幾何形狀可被表示為深度圖像中的點(diǎn)的云。生成模塊120可隨后將紋理應(yīng)用到該幾何形狀。在另ー技術(shù)中，生成模塊120 (或某個(gè)其它模塊)可基于從深度圖像和/或視頻圖像中獲取的信息來識(shí)別物理對(duì)象。例如，用戶可能正使用ー組已知的可能的物理對(duì)象來構(gòu)建復(fù)合模型。在此，生成模塊120可被配置成通過將對(duì)象的形狀與可能的ー組物理對(duì)象的形狀輪廓作比較來識(shí)別用戶已放置在交互式表面102上的特定物理対象。在另一例示中， 用戶可將具有規(guī)范形狀(諸如立方體、角錐體、球體等)的物理對(duì)象放置在交互式表面102上。在此，生成模塊120可通過其檢測(cè)到的規(guī)范形狀來識(shí)別物理對(duì)象的性質(zhì)。另ー些其它的技術(shù)可被用來檢測(cè)放置在交互式表面102上的物理對(duì)象的性質(zhì)。在這些例示中的任何一個(gè)中，生成模塊120可構(gòu)建物理對(duì)象的模型(或檢索之前構(gòu)建的模型)，而不依賴于深度圖像中的潛在的噪聲深度數(shù)據(jù)?；蛘撸膳c深度數(shù)據(jù)相結(jié)合地使用模型信息。然而，為了繼續(xù)上述的具體示例，本說明書的余下部分將假設(shè)生成模塊120形成網(wǎng)格化的對(duì)象。最后，在框1618，交互系統(tǒng)100將在之前的框中產(chǎn)生的3D虛擬對(duì)象投影在交互式表面102上的與對(duì)應(yīng)的物理對(duì)象相對(duì)的鏡像位置。在一個(gè)實(shí)現(xiàn)中，為了執(zhí)行這ー操作，生成模塊120可為每個(gè)投影例示生成兩個(gè)圖像，第一個(gè)圖像對(duì)應(yīng)于左眼，而第二個(gè)圖像對(duì)應(yīng)于右眼。在實(shí)際中，圖像的兩個(gè)版本是相同的，但是被偏移分開了ー個(gè)細(xì)小的量。在一個(gè)示例中，生成模塊120基于放置在交互式表面102上的所有物理對(duì)象來形成3D虛擬對(duì)象。如所描述的，物理對(duì)象可對(duì)應(yīng)于無生命對(duì)象(例如，立方體)、用戶的身體部分(例如手)、或它們的組合。在一個(gè)實(shí)現(xiàn)中，這意味著生成模塊120將為放置在交互式表面102上的身體部分生成網(wǎng)格化的對(duì)象。在一些情形中，交互系統(tǒng)100投影所有已被生成的3D虛擬對(duì)象供用戶查看，包括對(duì)應(yīng)于身體部分的3D虛擬對(duì)象。但在其它任選的情形中，生成模塊120可移除虛擬場(chǎng)景中對(duì)應(yīng)于身體部分的任何3D虛擬對(duì)象(和/或已被評(píng)估為無關(guān)的任何其它3D虛擬對(duì)象)。生成模塊120可執(zhí)行這一操作，例如通過識(shí)別虛擬場(chǎng)景中手狀的3D虛擬對(duì)象的指示性形狀并移除該3D虛擬對(duì)象。在另一例示中，生成模塊120例如基于上述類型的形狀識(shí)別來分析原始深度圖像以檢測(cè)可能對(duì)應(yīng)于身體部分的部分。生成模塊120可隨后放棄對(duì)身體部分的3D虛擬對(duì)象的創(chuàng)建。換言之，生成模塊120可放棄對(duì)身體部分的網(wǎng)格化對(duì)象的創(chuàng)建。圖18是示出描述生成模塊120對(duì)經(jīng)由控制輸入設(shè)備116所提供的命令作出反應(yīng)的ー種方式的過程1800。在框1802中，生成模塊120接收捕捉物理對(duì)象的快照的命令。在框1804，生成模塊120通過產(chǎn)生所捕捉的3D虛擬對(duì)象來響應(yīng)于該指令。在框1806中，生成模塊120接收操縱所捕捉的3D虛擬對(duì)象的命令。在框1804，生成模塊120通過以所指示的方式(例如，通過對(duì)其偏移、旋轉(zhuǎn)等)修改所捕捉的3D虛擬對(duì)象來響應(yīng)于該指令。圖19示出了用于使用投影紋理技術(shù)來將視頻紋理施加到場(chǎng)景的過程。如施加到常規(guī)的圖像應(yīng)用(諸如計(jì)算機(jī)游戲)一祥，關(guān)于投影紋理的背景信息在若干個(gè)源中可用。例如，該技術(shù)被描述在由Mark Segal等所著的《使用紋理映射的快速陰影和光照效果》(FastShadows and Lighting Effects Using Texture Mapping),刊載在《計(jì)算機(jī)圖像和交互技術(shù)的第 19 屆年會(huì)論文集》(Proceedings of the 19th Annual Conference on ComputerGraphics and Interactive Techniques), 1992年，第 249-252 頁(yè)·還注意到在Frank Luna所著的《用Direct X 9. Oc的3D游戲編程介紹ー種著色器方法》(Introduction to 3DGame Programming with Direct X 9. Oc A Shader Approach), Jones 和 Bartlett 出版社，馬塞諸塞州薩德伯里市，2006年，第562-564頁(yè)，以及Marcus A. Magnor所著的《基于視頻的渲染》(Video-based Rendering)，A. K. Peters有限公司，馬塞諸塞州韋爾斯利市，2005年，第56-57頁(yè)?？?902指示生成模塊120獲取它用來執(zhí)行投影紋理技術(shù)(例如，按照?qǐng)D16中提出的處理)的信息。這一信息包括從深度圖像中獲取的、3D虛擬對(duì)象將要投影在其上的真 實(shí)場(chǎng)景的幾何結(jié)構(gòu)。在一些示例中，這ー場(chǎng)景是平整表面。在其它示例中，這ー場(chǎng)景具有不規(guī)則幾何結(jié)構(gòu)，諸如圖8中示出的用戶的杯狀的手802。另ー項(xiàng)信息是將要被投影到該場(chǎng)景上的3D虛擬對(duì)象的幾何結(jié)構(gòu)，諸如將要呈現(xiàn)在圖9中的用戶的杯狀的手802中的3D虛擬對(duì)象902。另ー項(xiàng)信息對(duì)應(yīng)于用戶注意的方向。這ー注意信息以圖16和17的上下文中描述的方式已從深度圖像的頭部區(qū)域中提取出。另ー項(xiàng)信息對(duì)應(yīng)于投影儀112的位置和定向。在框1904中，生成模塊120從用戶的視角創(chuàng)建紋理圖像。這ー紋理圖像包含從用戶的視角看到的對(duì)象，例如部分基于用戶的頭部位置。在框1906，生成模塊從投影儀112的視角重新渲染(框1904中所提供的)紋理圖像，例如，通過將在框1904中獲取的用戶視角的紋理圖像看作投影儀112在真實(shí)場(chǎng)景中將要投影的圖像。這產(chǎn)生視角經(jīng)調(diào)整的圖像形式的3D虛擬對(duì)象的表示。圖10示出了呈現(xiàn)在用戶的手上(對(duì)于ー些部分)以及交互式表面102上(對(duì)于其它部分)的這ー視角經(jīng)調(diào)整的圖像。從用戶之外的任何人的視角，該視角經(jīng)調(diào)整的圖像可能不是有意義的。但從用戶的視角，該視角經(jīng)調(diào)整的圖像創(chuàng)建了圖9中所示的3D虛擬對(duì)象902的外觀。以上述方法，生成模塊120以ー種新穎的方式將投影紋理技術(shù)應(yīng)用于混合環(huán)境，其中至少ー些3D虛擬對(duì)象是從物理對(duì)象導(dǎo)出的，并且其中3D虛擬對(duì)象被投影到物理環(huán)境中。圖19中示出的過程在動(dòng)態(tài)的基礎(chǔ)上進(jìn)行重復(fù)。這使得生成模塊120能夠動(dòng)態(tài)地響應(yīng)于用戶頭部位置的改變、用于接收3D虛擬對(duì)象的場(chǎng)景的改變、物理對(duì)象的改變、和/或其它改變。從用戶的視角，3D虛擬對(duì)象在所有這些改變中保持其視覺完整性。圖20示出兩個(gè)或更多參與者(本地用戶和遠(yuǎn)程用戶)可使用圖I的技術(shù)來在協(xié)作式環(huán)境中在一定距離上共享3D虛擬對(duì)象的過程2000。在框2002，本地交互系統(tǒng)(系統(tǒng)X)基于呈現(xiàn)在本地位置處的至少ー個(gè)物理對(duì)象(任選地包括身體部分)來生成至少ー個(gè)虛擬對(duì)象。在框2004，遠(yuǎn)程交互系統(tǒng)(系統(tǒng)Y)基于呈現(xiàn)在遠(yuǎn)程位置處的至少ー個(gè)物理對(duì)象(任選地包括身體部分)來生成至少ー個(gè)虛擬對(duì)象。在框2006，環(huán)境可將對(duì)應(yīng)的3D虛擬對(duì)象呈現(xiàn)給本地用戶和遠(yuǎn)程用戶。對(duì)于不同操作模式，這一功能可以不同方式來實(shí)現(xiàn)。在第一模式，表現(xiàn)給本地用戶的3D虛擬對(duì)象對(duì)應(yīng)于呈現(xiàn)在遠(yuǎn)程位置處的物理對(duì)象，反之亦然。在第二模式中，表現(xiàn)給每個(gè)用戶的虛擬對(duì)象對(duì)應(yīng)于同時(shí)呈現(xiàn)在本地和遠(yuǎn)程位置處的物理對(duì)象。圖21示出描述將模擬效果應(yīng)用于3D虛擬對(duì)象的ー種方式的過程2100。在框2102，生成模塊120可以上述方式(例如，參考圖16)生成虛擬場(chǎng)景。該虛擬場(chǎng)景可包括引起ー個(gè)或多個(gè)其它對(duì)象(“目標(biāo)對(duì)象”)中的改變的一個(gè)或多個(gè)對(duì)象(“操縱對(duì)象”)。在下文中，假設(shè)只有一個(gè)操縱對(duì)象對(duì)單個(gè)目標(biāo)對(duì)象起作用。例如，操縱對(duì)象可對(duì)應(yīng)于用戶的手(或其它身體部分)和/或由用戶操縱的工具等等。操縱對(duì)象可被表示為3D虛擬對(duì)象、原始深度信息、或其它信息。目標(biāo)對(duì)象可對(duì)應(yīng)于3D虛擬對(duì)象。目標(biāo)對(duì)象可源于之前捕捉的物理對(duì)象。另外地，或另選地，目標(biāo)對(duì)象可不具有物理對(duì)應(yīng)物；例如，生成 模塊120可基于所存儲(chǔ)的模塊來生成目標(biāo)對(duì)象。在框2104中，物理模擬器124檢查操縱對(duì)象(如用戶所控制的)與目標(biāo)對(duì)象交互的方式?；谶@ー分析，物理模擬器124確定用戶是否執(zhí)行了(或正執(zhí)行)對(duì)應(yīng)于指示性誘導(dǎo)效果動(dòng)作。即，這ー動(dòng)作是將調(diào)用對(duì)應(yīng)的模擬效果的生成和應(yīng)用的動(dòng)作。在一個(gè)示例中，物理模擬器124可通過將關(guān)于用戶動(dòng)作的信息與描述數(shù)據(jù)存儲(chǔ)2106中所提供的指示性動(dòng)作的模式庫(kù)進(jìn)行比較來執(zhí)行這ー操作。代表性的指示性動(dòng)作可包括抓取和移動(dòng)動(dòng)作、擊打或戳的動(dòng)作、扭轉(zhuǎn)動(dòng)作、彎曲動(dòng)作、擠壓動(dòng)作、剪切動(dòng)作、投擲動(dòng)作、輕拂動(dòng)作、撕扯動(dòng)作等等。另外，或另選地，用戶還可明確告知物理模擬器他或她將要執(zhí)行什么類型的動(dòng)作。在框2108，如果檢測(cè)到了這一指示性動(dòng)作，物理模擬器124生成合適的模擬效果，并將該效果應(yīng)用于目標(biāo)對(duì)象。再者，模擬效果可取決于已被執(zhí)行的相應(yīng)動(dòng)作而變化。對(duì)于擊打動(dòng)作，物理模擬器124使目標(biāo)對(duì)象發(fā)生形變(例如，為了模擬在對(duì)應(yīng)的物理對(duì)象中的凹陷)。對(duì)于剪切動(dòng)作，物理模擬器124可將目標(biāo)對(duì)象分割成兩部分。對(duì)于抓取和移動(dòng)動(dòng)作，物理模擬器124以合適的方式移動(dòng)目標(biāo)對(duì)象。如章節(jié)A中所述，在框2108中，物理模擬器124可依靠任何模擬算法來執(zhí)行操作。當(dāng)效果被應(yīng)用后，生成模塊120指示投影儀112將所得到的經(jīng)修改的目標(biāo)對(duì)象投影在交互式表面102上，其中使效果對(duì)用戶可見。圖22顯示交互系統(tǒng)100可應(yīng)用的模擬效果的ー個(gè)示例。在這ー示例中，用戶通過擠壓虛擬變形的瓶子來執(zhí)行指示性姿勢(shì)。在此，對(duì)應(yīng)于用戶的手的3D虛擬對(duì)象構(gòu)成了操縱對(duì)象；對(duì)應(yīng)于瓶子的3D虛擬對(duì)象代表了目標(biāo)對(duì)象。響應(yīng)于檢測(cè)這一指示性動(dòng)作，物理模擬器124可以圖22所指示的方式使虛擬瓶子的側(cè)面發(fā)生形變。這是與用戶可預(yù)期的當(dāng)擠壓真實(shí)的可變形的瓶子時(shí)將實(shí)現(xiàn)的物理反應(yīng)成鏡像的物理效果。但物理模擬器124還可應(yīng)用非真實(shí)的、幻想的效果。C.代表性處理功能圖23闡明可被用于實(shí)現(xiàn)上述功能的任何方面的說明性電子數(shù)據(jù)處理功能2300(在此也稱為計(jì)算功能)。例如，處理功能2300可被用于實(shí)現(xiàn)圖I的交互系統(tǒng)100的任何方面，諸如處理模塊118。在一種情況下，處理功能2300可對(duì)應(yīng)于包括一個(gè)或多個(gè)處理設(shè)備的任何類型的計(jì)算設(shè)備。在任何情況下，電子數(shù)據(jù)處理功能2300都表示ー個(gè)或多個(gè)物理和有形的處理機(jī)制。處理功能2300可包括諸如RAM 2302和ROM 2304之類的易失性和非易失性存儲(chǔ)器，以及ー個(gè)或多個(gè)處理設(shè)備2306 (例如，ー個(gè)或多個(gè)CPU，和/或ー個(gè)或多個(gè)GPU等等)。處理功能2300還可任選地包括各種媒體設(shè)備2308，諸如硬盤模塊、光盤模塊等。處理功能2300可在處理設(shè)備2306執(zhí)行由存儲(chǔ)器(例如RAM 2302,ROM 2304或其它)維護(hù)的指令時(shí)執(zhí)行以上所標(biāo)識(shí)的各種操作。更一般地，指令和其它信息可以存儲(chǔ)在任何計(jì)算機(jī)可讀介質(zhì)2310上，計(jì)算機(jī)可讀介質(zhì)包括但不限于靜態(tài)存儲(chǔ)器存儲(chǔ)設(shè)備、磁存儲(chǔ)設(shè)備、光存儲(chǔ)設(shè)備等。術(shù)語計(jì)算機(jī)可讀介質(zhì)還涵蓋多個(gè)存儲(chǔ)設(shè)備。在任何情況下，計(jì)算機(jī)可讀介質(zhì)2310都表示某種形式的物理和有形的實(shí)體。處理功能2300還包括用于接收各種輸入(通過輸入模塊2314)，以及用于提供各種輸出(通過輸出模塊)的輸入/輸出模塊2312。ー個(gè)特定輸出機(jī)制可包括呈現(xiàn)模塊2316及相關(guān)聯(lián)的圖形用戶界面(⑶I) 2318。處理功能2300還可包括用于經(jīng)由ー個(gè)或多個(gè)通信管道2322與其它設(shè)備交換數(shù)據(jù)的一個(gè)或多個(gè)網(wǎng)絡(luò)接ロ 2320。一條或多條通信總線2324將上述組件通信地耦合在一起。通信管道2322可以以任何方式來實(shí)現(xiàn)，例如，通過局域網(wǎng)、廣域網(wǎng)(例如，因特網(wǎng))等等，或其任何組合。通信管道2322可包括可由任何協(xié)議或協(xié)議的組合管理的硬連線的鏈路、無線鏈路、路由器、網(wǎng)關(guān)功能、名稱服務(wù)器等等的任何組合。盡管用結(jié)構(gòu)特征和/或方法動(dòng)作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動(dòng)作。相反，上述具體特征和動(dòng)作是作為實(shí)現(xiàn)權(quán)利要求的示例形式公開的。權(quán)利要求
1.一種用于使用交互系統(tǒng)(100)向用戶提供交互式體驗(yàn)的方法(1600)，包括 捕捉(1602)放置在表面(102)上或附近的物理對(duì)象的深度圖像； 捕捉(1604)所述物理對(duì)象的視頻圖像； 基于所述深度圖像和所述視頻圖像生成(1612)作為所述物理對(duì)象的對(duì)應(yīng)物的3D虛擬對(duì)象；以及 使用3D投影儀將所述3D虛擬對(duì)象投影(618)在所述表面(102)上或附近。
2.如權(quán)利要求I所述的方法，其特征在于，還包括，在生成所述3D虛擬對(duì)象之前 將所述深度圖像劃分成頭部區(qū)域和對(duì)象區(qū)域；以及 基于所述頭部區(qū)域估計(jì)所述用戶的注意方向。
3.如權(quán)利要求I所述的方法，其特征在于，所述3D虛擬對(duì)象的生成涉及 基干與所述深度圖像相關(guān)聯(lián)的點(diǎn)來標(biāo)識(shí)幾何形狀；以及 將從視頻圖像中獲取的紋理應(yīng)用于幾何形狀以將外觀添加到所述幾何形狀。
4.如權(quán)利要求I所述的方法，其特征在于，所述3D虛擬對(duì)象的生成涉及 從用戶的視角創(chuàng)建紋理圖像；以及 從所述3D投影儀的視角重新渲染所述紋理圖像以提供視角經(jīng)調(diào)整的圖像形式的3D虛擬對(duì)象的表示， 所述創(chuàng)建和重新渲染至少考慮了如所述深度圖像中所表示的、所述3D虛擬對(duì)象將要投影于其上的場(chǎng)景的幾何結(jié)構(gòu)。
5.如權(quán)利要求I所述的方法，其特征在于，所述3D虛擬對(duì)象的生成涉及使用投影紋理技術(shù)來基于對(duì)用戶的注意方向以及3D投影儀的位置的考慮生成視角經(jīng)調(diào)整的的圖像。
6.如權(quán)利要求5所述的方法，其特征在于，所述投影紋理技術(shù)還考慮如所述深度圖像中所表示的、所述3D虛擬對(duì)象將要投影于其上的場(chǎng)景的幾何結(jié)構(gòu)。
7.如權(quán)利要求6所述的方法，其特征在于，所述幾何結(jié)構(gòu)是非規(guī)則的。
8.—種交互系統(tǒng)(100),包括 用于將輻射投影在表面(102)上的照明源(104)； 用于接收由所述照明源(104)發(fā)射的輻射的深度相機(jī)(106)以捕捉深度圖像，所述照明源照射所述表面(102)上或附近的至少ー個(gè)物理對(duì)象； 用于捕捉所述至少ー個(gè)物理對(duì)象的視頻圖像的視頻相機(jī)(108)； 用于基于所述深度圖像和所述視頻圖像生成至少ー個(gè)3D虛擬對(duì)象的虛擬場(chǎng)景生成模塊(120);以及 用于將所述至少ー個(gè)3D虛擬對(duì)象投影在所述表面(102)上或附近的立體投影儀(112)。
9.如權(quán)利要求8所述的交互系統(tǒng)，其特征在于，還包括用于操縱已被投影在所述表面上或附近的所述至少ー個(gè)3D虛擬對(duì)象的控制設(shè)備。
10.ー種用于存儲(chǔ)計(jì)算機(jī)可讀指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(2310)，所述計(jì)算機(jī)可讀指令在由ー個(gè)或多個(gè)處理設(shè)備(2306)執(zhí)行時(shí)提供ー種虛擬場(chǎng)景生成模塊(120)，所述計(jì)算機(jī)可讀指令包括 被配置成接收放置在表面(102)上或附近的物理對(duì)象的深度圖像的邏輯(1602)； 被配置成接收所述物理對(duì)象的視頻圖像的邏輯(1604);以及被配置成將從所述視頻圖像中獲取的紋理應(yīng)用于所述深度圖像中標(biāo)識(shí)的幾何形狀以提供視角經(jīng)調(diào)整的圖像形式的3D虛擬對(duì)象的邏輯(1616)， 3D 投影儀(112)將所述視角經(jīng)調(diào)整的圖像投影到表面(102)上或附近的一位置上。
全文摘要
描述了使用深度相機(jī)來捕捉放置在交互式表面上或附近的物理對(duì)象的深度圖像的交互系統(tǒng)。交互系統(tǒng)還使用視頻相機(jī)來捕捉物理對(duì)象的視頻圖像。交互系統(tǒng)隨后可基于深度圖像和視頻圖像來生成3D虛擬對(duì)象。交互系統(tǒng)隨后使用3D投影儀來將3D虛擬對(duì)象以例如與物理對(duì)象呈鏡像的關(guān)系投射回在交互式表面上。用戶可隨后以任何方式捕捉并操縱3D虛擬對(duì)象。此外，用戶可基于較小的組件3D虛擬對(duì)象來構(gòu)造復(fù)合模型。交互系統(tǒng)使用投影紋理技術(shù)來將看上去真實(shí)的3D虛擬對(duì)象呈現(xiàn)在具有任何幾何結(jié)構(gòu)的表面上。
文檔編號(hào)G03B35/00GK102693005SQ20121003766
公開日2012年9月26日 申請(qǐng)日期2012年2月17日 優(yōu)先權(quán)日2011年2月17日
發(fā)明者A·D·威爾遜, H·本克, R·J·J·科斯塔 申請(qǐng)人:微軟公司