移動設備上的全3d交互的制作方法
【專利摘要】系統(tǒng)和方法可以提供在移動設備的屏幕上顯示三維(3D)環(huán)境，并識別用戶與所述移動設備后面的區(qū)域的交互。另外，可以至少部分地基于第一用戶交互來修改3D環(huán)境。此外，可以基于移動設備的移動以及用戶與移動設備的交互來修改3D環(huán)境，從而允許用戶通過移動所述移動/手持設備在虛擬三維環(huán)境中導航。
【專利說明】移動設備上的全3D交互

【技術領域】
[0001] 實施例一般涉及移動設備的交互性。更具體地說，實施例涉及使用三維（3D)環(huán)境 來增強移動設備的交互性。
[0002] 過論
[0003] 常規(guī)的智能手機可以具有這樣的屏幕（例如，顯示器）：它們相對于顯示在屏幕上 的內(nèi)容較小。例如，典型的臺式機環(huán)境可以包括多個窗口，在典型的智能手機上可能難以查 看到這多個窗口。雖然可能已經(jīng)開發(fā)了一些解決方案來適應于相對小的屏幕尺寸，但仍然 存在相當大的改進空間。例如，在所顯示的圖像上平移（panning)的常規(guī)技術可能需要在 用戶這邊"滑動"（swipe)手指，其中，用戶的手指可能遮擋屏幕上的內(nèi)容。類似地，放大以 及縮小圖像可能需要手指"捏"，這也妨礙了用戶觀看所述內(nèi)容的至少一部分。

【專利附圖】

【附圖說明】
[0004] 對于本領域技術人員而言，通過閱讀下面的說明書和所附的權利要求書，并通過 參考以下附圖，本發(fā)明的實施例的各種優(yōu)點將變得顯而易見，其中：
[0005] 圖1是根據(jù)一個實施例的經(jīng)由移動設備的屏幕顯示的三維（3D)虛擬臺式機環(huán)境 的示例的透視圖；
[0006] 圖2是根據(jù)一個實施例的經(jīng)由移動設備的屏幕顯示的可替換的3D虛擬環(huán)境的示 例的透視圖；
[0007] 圖3是根據(jù)一個實施例的使用3D虛擬環(huán)境來使用戶能夠與移動設備進行交互的 方法的示例的流程圖；以及
[0008] 圖4是根據(jù)一個實施例的移動設備的示例的框圖。

【具體實施方式】
[0009] 實施例可以包括具有屏幕和用于通過屏幕來顯示三維（3D)環(huán)境的邏輯的移動設 備。所述邏輯還可以識別與移動設備后面的區(qū)域進行的第一用戶交互，并且至少部分地基 于所述第一用戶交互來修改所述3D環(huán)境。
[0010] 實施例還可以包括具有一邏輯的裝置，所述邏輯用于經(jīng)由移動設備的屏幕顯示3D 環(huán)境并識別與所述移動設備后面的區(qū)域進行的第一用戶交互。所述邏輯還可以被配置為至 少部分地基于所述第一用戶交互來修改所述3D環(huán)境。
[0011] 此外，實施例可以包括具有一組指令的非臨時性計算機可讀存儲介質，所述一組 指令如果被處理器執(zhí)行則使得移動設備經(jīng)由移動設備的屏幕顯示3D環(huán)境，并識別與移動 設備后面的區(qū)域進行的第一用戶交互。所述指令還可以使得移動設備至少部分地基于所述 第一用戶交互來修改所述3D環(huán)境。
[0012] 其他實施例可以涉及一種計算機實現(xiàn)的方法，其中，經(jīng)由移動設備的屏幕顯示3D 環(huán)境。該方法還可以提供：識別與移動設備后面的區(qū)域進行的第一用戶交互，并且至少部分 地基于所述第一用戶交互來修改所述3D環(huán)境。
[0013] 現(xiàn)在轉到圖1，示出了移動設備10,其中，所述移動設備10具有用戶14可見的屏 幕12 (例如，液晶顯示器/LCD、觸摸屏、立體顯示器等）。移動設備10可以例如是智能電 話、移動因特網(wǎng)設備（MID)、筆記本電腦、或其他類似的設備，其中，屏幕12的大小是相對小 的。在圖示的示例中，3D環(huán)境16顯示在屏幕12上，使得當從移動設備10前面觀看時，它看 起來像是位于移動設備10后面的一距離處。3D環(huán)境16可以例如包括虛擬臺式機環(huán)境，其 中，多個窗口 18(18a，18b)看起來比屏幕12大很多。窗口 18的位置可以是在"空中"（例 如，浮動）或"固定"（pin)到移動設備10后面的某個外表面，諸如物理桌面、墻壁等。
[0014] 一般情況下，用戶14可以一只手持有移動設備10,而使用另一只"空閑的手"20與 3D環(huán)境16進行交互。用戶與3D環(huán)境16的交互可以涉及例如與光標移動操作、點擊操作、 拖放操作、捏操作、選擇操作、對象旋轉操作等有關的活動，其中，執(zhí)行操作的模式可以根據(jù) 情況而改變。例如，如果3D環(huán)境16被固定到諸如物理桌面之類的外表面，那么用戶14可 以通過用空閑手20的食指（或其它手指）輕敲外表面來選擇窗口 18。在這種情況下，移動 設備10可以包括后部圖像傳感器和/或麥克風（未示出），用以檢測輕敲（例如，用戶交 互）并在3D環(huán)境16中執(zhí)行適當?shù)狞c擊和/或選擇操作。例如，后部圖像傳感器可以使用 模式/對象識別技術來識別與輕敲交互相對應的各種手形狀和/或移動。類似地，麥克風 可以能夠識別與輕敲交互相對應的聲頻內(nèi)容。使用后部圖像傳感器和/或麥克風也可以識 別其他用戶交互，例如拖放動作和捏動作。
[0015] 因此，如果圖示的窗口 18b當前是活動窗口（例如，在環(huán)境的前沿），并且空閑手 20的食指在與其他窗口 18a相對應的位置處輕敲外表面，則移動設備10可以通過使其他 窗口 18a成為活動窗口（例如，將其移動到環(huán)境中的前沿）來進行響應。特別值得注意的 是，這種方法可以使外表面能夠向用戶14提供觸覺反饋。如將更加詳細地討論的，如果3D 環(huán)境16是空中環(huán)境（例如，不固定到外表面），那么觸覺反饋可以通過設備上的另一個組件 (例如空氣噴嘴）來提供，所述另一組件被配置為響應于檢測到用戶交互，在空閑手20處吹 出一股氣流。
[0016] 用戶14也可以將空閑手20的食指移動到所希望的位置，然后使用握住移動設備 10的手來與移動設備10的用戶界面（UI)(諸如按鈕22)進行交互，以在3D環(huán)境16中觸發(fā) 一個或更多操作。按鈕22因此可以有效地作為鼠標的左和/或右點擊按鈕，而用戶14的 空閑手20用作鼠標的坐標位置機構。例如，按鈕22可以被用作輕敲外表面以便點擊或以 其他方式選擇窗口 18的一種替代。因此，用戶14可以簡單地移動空閑手20來指向3D環(huán) 境16中的所希望的位置，而使用另一只手按下按鈕22并啟動點擊/選擇操作。此外，可以 使用按鈕22來執(zhí)行更復雜的操作，例如拖放或捏操作。
[0017] 正如已經(jīng)指出的，3D環(huán)境16可以替換地被實現(xiàn)為空中環(huán)境，其不固定到特定的外 表面。在這種情況下，可以相對于與3D環(huán)境16中的窗口 18和其他對象相對應的空中位置 來進行空閑手20的運動。移動設備10還可以配備有空氣噴嘴（未示出），其響應于用戶與 3D環(huán)境16的交互而提供觸覺反饋。
[0018] 圖示的移動設備10還可以使得能夠實現(xiàn)一種進行平移和縮放操作的獨特的方 法。具體地，用戶14可以通過在期望的方向上將空閑手20簡單地移動到場景的邊緣，來在 3D環(huán)境上平移（例如，向左、向右、向上或向下滾動），其中，所述后部圖像傳感器可以檢測 空閑手20的運動。另一種進行平移的方法可以是：用戶14在感興趣的方向上傾斜/移動 所述移動設備10,其中，所述移動設備10還可以配備有運動傳感器和/或前部圖像傳感器 (未示出），其可以與后部圖像傳感器一起工作，以便將移動設備10的動作轉換成平移操 作。任何一種方法都可以使經(jīng)由屏幕12顯示的虛擬環(huán)境能夠看起來比屏幕12大很多。
[0019] 另外，運動傳感器和/或前部圖像傳感器可以與后部圖像傳感器一起工作，以便 將移動設備10的動作轉換成縮放操作。具體地，前部圖像傳感器可以確定移動設備10和 用戶14的面部之間的距離，而后部圖像傳感器可以確定移動設備10和用戶14的空閑手20 和/或外表面之間的距離，其中，這些距離的改變可以被轉換成縮放操作。因此，用戶14可 以通過遠離用戶14的面部并朝向3D環(huán)境中的感興趣區(qū)域來對移動設備10進行移動，來放 大3D環(huán)境16的特定區(qū)域（例如，就像用放大鏡一樣）。類似地，用戶14可以通過朝向用戶 14的面部并遠離所考慮的區(qū)域來對移動設備進行移動，來縮小3D環(huán)境16的特定區(qū)域。這 樣的用于執(zhí)行縮放操作的方法還可以使相對大的虛擬環(huán)境能夠經(jīng)由屏幕12進行顯示。此 夕卜，通過使3D環(huán)境修改基于移動設備10后面出現(xiàn)的用戶交互，圖示的方法排除了在用戶交 互期間對空閑手20的手指遮擋所顯示的內(nèi)容的任何擔心。
[0020] 圖2示出了另一種3D環(huán)境24,其中，經(jīng)由移動設備10的屏幕12顯示一個或多個 3D對象26 (26a-26f)。在圖示的示例中，通過與移動設備10后面的區(qū)域進行交互，用戶的 空閑手20能夠選擇、旋轉和以其他方式操縱對象26?？梢砸运镜姆绞戒秩竞托薷母鞣N各 樣的虛擬環(huán)境，例如游戲環(huán)境、工作流程環(huán)境等。
[0021] 現(xiàn)在轉向圖3,示出了一種采用3D環(huán)境來使用戶能夠與移動設備進行交互的方法 30?？梢栽谝苿釉O備（諸如移動平臺10(圖1和圖2))中用可配置邏輯將所述方法30實 現(xiàn)為一組邏輯指令，其存儲在機器或計算機可讀存儲介質中，例如隨機存取存儲器（RAM)、 只讀存儲器（ROM)、可編程ROM (PROM)、固件、閃存等，所述可配置邏輯諸如例如為可編程邏 輯陣列（PLA)、現(xiàn)場可編程門陣列（FPGA)、復雜可編程邏輯器件（CPLD)、使用電路技術的固 定功能邏輯硬件或者它們的組合，所述電路技術諸如例如為專用集成電路（ASIC)、互補金 屬氧化物半導體（CMOS)或晶體管-晶體管邏輯（TTL)技術。例如，用于執(zhí)行方法30中所 示的操作的計算機程序代碼可以用一種或多種編程語言的任何組合來編寫，所述一種或多 種編程語言包括面向對象編程語言（例如Java、Smalltalk、C++等）以及常規(guī)過程編程語 言（例如作為"C"編程語言或類似的編程語言）。
[0022] 在一般情況下，方法30的設備部分32可以涉及基于設備的運動來渲染和修改3D 環(huán)境，并且所述方法30的交互部分34可以涉及基于用戶交互來渲染和修改3D環(huán)境。圖示 的處理塊36提供了獲取幀緩沖區(qū)數(shù)據(jù)，其中，所述幀緩沖區(qū)數(shù)據(jù)可以與用于經(jīng)由移動設備 10的屏幕來渲染3D環(huán)境的一個或多個圖像/視頻幀的像素數(shù)據(jù)相關聯(lián)?？梢栽趬K38確定 外表面的位置和方向?？商鎿Q地，可以在空中位置渲染虛擬環(huán)境，其中，可以忽略塊38處的 確定。
[0023] 塊40可以提供調(diào)整幀緩沖區(qū)數(shù)據(jù)的視角（perspective)和位置，使得它與外表面 的方向一致。因此，例如，如果外表面是被定位在與用戶成一定角度（例如，45° )處的物 理桌面，則幀緩沖區(qū)數(shù)據(jù)也可以以相同的/類似的角度傾斜。在塊42可以檢測移動設備的 移動和/或重新定向，其中，正如已經(jīng)討論的，移動的檢測可以通過使用來自所述移動設備 的運動傳感器、后部圖像傳感器、前部圖像傳感器等的一個或多個信號來實現(xiàn)。圖示的塊44 基于設備的移動/重新定向來更新幀緩沖區(qū)。因此，該更新可以涉及左/右平移、放大/縮 小、相對于外表面方向保持適當?shù)囊暯堑取?br> [0024] 在方法10的交互部分34中，塊46可以提供檢測手/手指的位置（例如，空中、設 備上、外表面上），其中，在塊48可以基于手/手指的位置執(zhí)行光標移動操作。另外，在塊 50,可以使用來自后部圖像傳感器、麥克風和/或移動設備（例如，UI、按鈕等）的一個或多 個信號，來識別用戶這方面的一個或多個手指手勢。如果在塊52確定已經(jīng)檢測到手勢，則 圖示的塊54在3D環(huán)境中執(zhí)行適當?shù)膭幼?。因此，塊54可以涉及執(zhí)行點擊操作、拖放操作、 捏操作、選擇操作、對象旋轉操作等。塊56提供了確定是否已請求從虛擬環(huán)境交互過程中 退出。如果未請求退出或未檢測到手勢，則重復圖示的方法30,以便跟蹤設備的移動和手的 移動，并相應地更新3D環(huán)境。
[0025] 圖4示出了移動設備60。所述移動設備60可以是具有計算功能（例如，個人數(shù) 字助理/PDA、膝上型電腦、智能平板電腦）、通信功能（例如，無線智能電話）、成像功能、媒 體播放功能（例如，智能電視/TV)或它們的任意組合（例如，移動互聯(lián)網(wǎng)設備/MID)的平 臺的一部分。所述移動設備60可以容易地替代已經(jīng)討論的移動設備10(圖1和2)。在圖 示的示例中，所述設備60包括具有集成的存儲器控制器（頂〇64的處理器62, MC 64可 以與系統(tǒng)存儲器66通信。所述系統(tǒng)存儲器66可以包括例如配置成動態(tài)隨機存取存儲器 (DRAM)，其被配置作為一個或多個內(nèi)存模塊，諸如例如雙列直插內(nèi)存模塊（DIMM)、小外形的 DIMM (SODIMM)等。
[0026] 圖示的設備60還包括平臺控制器中心（PCH)68,有時被稱為芯片組的南橋，其作 為主機設備，并且可以與例如前部圖像傳感器70、后部圖像傳感器72、空氣噴嘴74、麥克風 76、屏幕78、運動傳感器79和大容量存儲器80 (例如，硬盤驅動器/HDD、光盤、閃存等）進 行通信。圖示的處理器62可以執(zhí)行邏輯82,其被配置為經(jīng)由屏幕78顯示3D環(huán)境、識別與 移動設備60后面的區(qū)域進行的用戶交互、并至少部分地基于用戶交互修改3D環(huán)境。也可 以基于移動設備60的移動修改所述3D環(huán)境，其中，來自前部圖像傳感器70、后部圖像傳感 器72、麥克風76和/或運動傳感器79的一個或多個信號可以用來識別用戶交互和/或移 動設備的移動。另外，如已經(jīng)討論的，可以基于來自經(jīng)由屏幕78(例如，觸摸屏）實現(xiàn)的Π 或諸如按鈕22 (圖1)之類的其它合適的接口的一個或多個信號來識別與移動設備60的用 戶交互。此外，響應于用戶交互，邏輯82可以使用噴嘴74來向用戶提供觸覺反饋。
[0027] 因此，本文描述的技術可以使用小形移動設備（例如智能電話）來實現(xiàn)完整的臺 式計算機體驗。通過使用3D顯示技術和/或3D渲染機制，可以使得用戶能夠通過移動設備 進行交互，看著移動設備的屏幕同時與設備屏幕上面、后面、下面和旁邊的空間進行交互。 此外，屏幕可以僅僅對直視它的個人是可見的，因而對于用戶交互提高了隱私（例如，類似 于可以被設計用于膝上型計算機的顯示器的隱私過濾器）。
[0028] 本發(fā)明的實施例可適用于與所有類型的半導體集成電路（"1C"）芯片一起使用。 這些1C芯片的示例包括但不限于處理器、控制器、芯片組組件、可編程邏輯陣列（PLA)、存 儲器芯片、網(wǎng)絡芯片、片上系統(tǒng)（S 〇C)、SSD/NAND控制器ASIC等。此外，在一些圖中，以線表 示信號導線。一些可能是不同的以指示多個構成的信號路徑，具有數(shù)字標記以指示多個構 成的信號路徑，和/或在一個或多個端部具有箭頭以指示主信息流的方向。然而，這不應當 被以限制性的方式進行解釋。相反，這種附加的細節(jié)可以與一個或多個示例性實施例結合 使用，以便于更容易地理解電路。任何所表示的信號線，無論是否有額外的信息，實際上都 可以包括可在多個方向上行進的一個或多個信號，并且可以用任何適當類型的信號方案來 實現(xiàn)，例如，用差分對、光纖線路和/或單端線路實現(xiàn)的數(shù)字或模擬線路。
[0029] 可能已經(jīng)給出了示例性大小/模型/值/范圍，盡管本發(fā)明的實施例并不局限于 此。隨著制造工藝（例如，光刻）日益成熟，預期可以制造更小尺寸的設備。此外，為了說明 和討論的簡單起見，并為了避免混淆本發(fā)明的實施例的某些方面，在附圖中可以示出或未 示出到1C芯片和其它部件的公知的電源/接地連接。而且，為了避免混淆本發(fā)明的實施例， 并且也鑒于以下事實可以以框圖的形式示出布置：與實現(xiàn)此類框圖布置有關的細節(jié)高度地 依賴于將實現(xiàn)所述實施例的平臺，即，這樣的細節(jié)應當很好地在本領域技術人員的視界內(nèi)。 在給出具體細節(jié)（例如，電路）以便描述本發(fā)明的示例實施例的情況下，對于本領域技術人 員而言應當明白的是，本發(fā)明的實施例可以在沒有這些具體細節(jié)的情況下或者在具有這些 具體細節(jié)的變形的情況下被實施。因此，說明書將被視為說明性的而不是限制性的。
[0030] 在本文中可以使用術語"耦合的"來指代所關注的部件之間的任何類型的關系，直 接的或間接的，并且可以適用于電氣、機械、流體、光、電磁、機電或其他連接。此外，本文中 使用術語"第一"、"第二"等僅用于便于討論，并且不承載任何特定的時間或時序意義，除非 另有指不。
[0031] 從上面的描述中，本領域技術人員將會理解，可以各種形式實現(xiàn)本發(fā)明實施例的 寬泛技術。因此，盡管已經(jīng)結合本發(fā)明的特定示例描述了本發(fā)明的實施例，但本發(fā)明的實施 例的真正范圍不應當被如此限制，這是因為在研究了附圖、說明書和下面的權利要求書之 后，其他的修改對于熟練技術人員將變得顯而易見。
【權利要求】
1. 一種移動設備，包括： 屏幕；以及 用于以下的邏輯： 經(jīng)由所述屏幕顯示三維（3D)環(huán)境， 識別與所述移動設備后面的區(qū)域進行的第一用戶交互，以及 至少部分地基于所述第一用戶交互來修改所述3D環(huán)境。
2. 根據(jù)權利要求1所述的移動設備，其中，所述第一用戶交互包括手部相對于以下中 的至少一個的移動：與所述3D環(huán)境中的虛擬對象相關聯(lián)的空中位置和外表面。
3. 根據(jù)權利要求1所述的移動設備，還包括空氣噴嘴，其中，如果所述第一用戶交互是 手部相對于空中位置的移動，則所述邏輯使用所述空氣噴嘴來提供觸覺反饋。
4. 根據(jù)權利要求1所述的移動設備，還包括后部圖像傳感器，其中，所述邏輯使用來自 所述后部圖像傳感器的一個或多個信號來識別所述第一用戶交互。
5. 根據(jù)權利要求1所述的移動設備，還包括麥克風，其中，所述邏輯使用來自所述麥克 風的一個或多個信號來識別所述第一用戶交互。
6. 根據(jù)權利要求1所述的移動設備，其中，所述邏輯至少部分地基于所述第一用戶交 互來執(zhí)行光標移動操作、點擊操作、拖放操作、捏操作、選擇操作和對象旋轉操作中的一個 或多個，以修改所述3D環(huán)境。
7. 根據(jù)權利要求1所述的移動設備，還包括運動傳感器，其中，所述邏輯使用來自所述 運動傳感器的一個或多個信號來識別所述移動設備的移動。
8. 根據(jù)權利要求1所述的移動設備，還包括運動傳感器，其中，所述邏輯使用來自前部 圖像傳感器的一個或多個信號來識別所述移動設備的移動。
9. 根據(jù)權利要求1所述的移動設備，其中，所述3D環(huán)境包括虛擬臺式計算機環(huán)境，所述 虛擬臺式計算機環(huán)境實質上大于所述移動設備的屏幕。
10. 根據(jù)權利要求1所述的移動設備，其中，所述邏輯： 使用來自所述移動設備的用戶接口的一個或多個信號，來識別與所述移動設備進行的 第二用戶交互，以及 至少部分地基于所述第二用戶交互，使用點擊操作、拖放操作和捏操作中的至少一個 來修改所述3D環(huán)境。
11. 一種裝置，包括： 用于以下的邏輯： 經(jīng)由移動設備的屏幕顯示三維（3D)環(huán)境， 識別與所述移動設備后面的區(qū)域進行的第一用戶交互，以及 至少部分地基于所述第一用戶交互來修改所述3D環(huán)境。
12. 根據(jù)權利要求11所述的裝置，其中，所述第一用戶交互包括手部相對于以下中的 至少一個的移動：與所述3D環(huán)境中的虛擬對象相關聯(lián)的空中位置和外表面。
13. 根據(jù)權利要求11所述的裝置，其中，所述邏輯使用來自所述移動設備的后部圖像 傳感器和麥克風中的至少一個的一個或多個信號，來識別所述第一用戶交互。
14. 根據(jù)權利要求11所述的裝置，其中，如果所述第一用戶交互是手部相對于空中位 置的移動，則所述邏輯使用所述移動設備的空氣噴嘴來提供觸覺反饋。
15. 根據(jù)權利要求11所述的裝置，其中，所述邏輯至少部分地基于所述第一用戶交互 來執(zhí)行光標移動操作、點擊操作、拖放操作、捏操作、選擇操作和對象旋轉操作中的一個或 多個，以修改所述3D環(huán)境。
16. 根據(jù)權利要求11所述的裝置，其中，所述邏輯： 使用來自所述移動設備的運動傳感器和前部圖像傳感器中的至少一個的一個或多個 信號，來識別所述移動設備的移動，以及 至少部分地基于所述移動設備的移動，使用平移操作和縮放操作中的至少一個來修改 所述3D環(huán)境。
17. 根據(jù)權利要求11所述的裝置，其中，所述3D環(huán)境包括虛擬臺式計算機環(huán)境，所述虛 擬臺式計算機環(huán)境實質上大于所述移動設備的屏幕。
18. 根據(jù)權利要求11所述的裝置，其中，所述邏輯： 使用來自所述移動設備的用戶接口的一個或多個信號，來識別與所述移動設備進行的 第二用戶交互，以及 至少部分地基于所述第二用戶交互，使用點擊操作、拖放操作和捏操作中的至少一個 來修改所述3D環(huán)境。
19. 根據(jù)權利要求18所述的裝置，其中，所述點擊操作包括計算機鼠標點擊操作。
20. -種包括一組指令的非臨時性計算機可讀存儲介質，所述一組指令如果被處理器 執(zhí)行則使移動設備： 經(jīng)由所述移動設備的屏幕顯示三維（3D)環(huán)境； 識別與所述移動設備后面的區(qū)域進行的第一用戶交互；以及 至少部分地基于所述第一用戶交互來修改所述3D環(huán)境。
21. 根據(jù)權利要求20所述的介質，其中，所述第一用戶交互包括手部相對于以下中的 至少一個的移動：與所述3D環(huán)境中的虛擬對象相關聯(lián)的空中位置和外表面。
22. 根據(jù)權利要求20所述的介質，其中，所述指令如果被執(zhí)行，則使所述移動設備使用 來自所述移動設備的后部圖像傳感器和麥克風中的至少一個的一個或多個信號，來識別所 述第一用戶交互。
23. 根據(jù)權利要求20所述的介質，其中，所述指令如果被執(zhí)行，則使所述移動設備進行 以下操作：如果所述第一用戶交互是手部相對于空中位置的移動，則使用所述移動設備的 空氣噴嘴來提供觸覺反饋。
24. 根據(jù)權利要求20所述的介質，其中，所述指令如果被執(zhí)行，則使所述移動設備至少 部分地基于所述第一用戶交互來執(zhí)行光標移動操作、點擊操作、拖放操作、捏操作、選擇操 作和對象旋轉操作中的一個或多個，以修改所述3D環(huán)境。
25. 根據(jù)權利要求20所述的介質，其中，所述指令如果被執(zhí)行，則使所述移動設備進行 以下操作： 使用來自所述移動設備的運動傳感器和前部圖像傳感器中的至少一個的一個或多個 信號，來識別所述移動設備的移動；以及 至少部分地基于所述移動設備的移動，使用平移操作和縮放操作中的至少一個來修改 所述3D環(huán)境。
26. 根據(jù)權利要求20所述的介質，其中，所述3D環(huán)境包括虛擬臺式計算機環(huán)境，所述虛 擬臺式計算機環(huán)境實質上大于所述移動設備的屏幕。
27. 根據(jù)權利要求20所述的介質，其中，所述指令如果被執(zhí)行，則使所述移動設備進行 以下操作： 使用來自所述移動設備的用戶接口的一個或多個信號，來識別與所述移動設備進行的 第二用戶交互；以及 至少部分地基于所述第二用戶交互，使用點擊操作、拖放操作和捏操作中的至少一個 來修改所述3D環(huán)境。
28. -種計算機實現(xiàn)的方法，包括： 經(jīng)由移動設備的屏幕顯示三維（3D)環(huán)境； 識別與所述移動設備后面的區(qū)域進行的第一用戶交互；以及 至少部分地基于所述第一用戶交互來修改所述3D環(huán)境。
29. 根據(jù)權利要求28所述的方法，其中，所述第一用戶交互包括手部相對于以下中的 至少一個的移動：與所述3D環(huán)境中的虛擬對象相關聯(lián)的空中位置和外表面。
30. 根據(jù)權利要求28所述的方法，還包括： 使用來自所述移動設備的后部圖像傳感器和麥克風中的至少一個的一個或多個信號， 來識別所述第一用戶交互；以及 如果所述第一用戶交互是手部相對于空中位置的移動，則使用所述移動設備的空氣噴 嘴來提供觸覺反饋。
31. 根據(jù)權利要求28所述的方法，還包括： 使用來自所述移動設備的后部圖像傳感器和麥克風中的至少一個的一個或多個信號， 來識別所述第一用戶交互；以及 如果所述第一用戶交互是手部相對于空中位置的移動，則使用所述移動設備的空氣噴 嘴來提供觸覺反饋。
32. 根據(jù)權利要求28所述的方法，其中，修改所述3D環(huán)境包括執(zhí)行光標移動操作、點擊 操作、拖放操作、捏操作、選擇操作和對象旋轉操作中的一個或多個。
33. 根據(jù)權利要求28所述的方法，還包括： 使用來自所述移動設備的運動傳感器和前部圖像傳感器中的至少一個的一個或多個 信號，來識別所述移動設備的移動；以及 至少部分地基于所述移動設備的移動，使用平移操作和縮放操作中的至少一個來修改 所述3D環(huán)境。
34. 根據(jù)權利要求28所述的方法，其中，所述3D環(huán)境包括虛擬臺式計算機環(huán)境，所述虛 擬臺式計算機環(huán)境實質上大于所述移動設備的屏幕。
35. 根據(jù)權利要求28所述的方法，還包括： 使用來自所述移動設備的用戶接口的一個或多個信號，來識別與所述移動設備進行的 第二用戶交互；以及 至少部分地基于所述第二用戶交互，使用點擊操作、拖放操作和捏操作中的至少一個 來修改所述3D環(huán)境。
【文檔編號】G06F3/042GK104094193SQ201180075884
【公開日】2014年10月8日 申請日期:2011年12月27日 優(yōu)先權日:2011年12月27日
【發(fā)明者】L·M·德拉姆, D·德拉姆, S·夏瑪 申請人:英特爾公司