專利名稱：用于增強現(xiàn)實角色維持并體現(xiàn)觀察者的認知的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于使得增強現(xiàn)實角色能夠維持并體現(xiàn)觀察者的認知的方法。
背景技術(shù)：
視頻游戲產(chǎn)業(yè)的新增部分包括便攜式手持設(shè)備的使用。這樣的便攜式設(shè)備的示例包括專用游戲設(shè)備，諸如索尼電腦娛樂公司等制造的設(shè)備，以及諸如智能機、PDA、數(shù)字多媒體播放器之類的其他類型的便攜式設(shè)備。因為這樣的便攜式設(shè)備的計算能力已經(jīng)增大，所以便攜式設(shè)備處理越發(fā)復(fù)雜的程序和任務(wù)的能力也增大了。例如，如今的便攜式設(shè)備可以包括集成于單一設(shè)備的幾個不同類型的硬件。很多這樣的設(shè)備可以包括彩色顯示器、相機、揚聲器和諸如按鈕、觸摸屏或手寫筆(stylus)之類的輸入機構(gòu)。在此背景下，提出發(fā)明的實施例。

發(fā)明內(nèi)容
本發(fā)明的實施例提供用于增強現(xiàn)實角色維持并體現(xiàn)觀察者的認知的方法和系統(tǒng)。應(yīng)當明白，本發(fā)明可以以諸如處理、裝置、系統(tǒng)、設(shè)備或計算機可讀介質(zhì)上的方法之類的多種方式來實現(xiàn)。以下描述本發(fā)明的幾個有創(chuàng)造性的實施例。在一個實施例中，提供使得虛擬角色展示用戶的位置或活動的認知的方法。根據(jù)該方法，通過檢測便攜式設(shè)備的位置來檢測用戶的位置。該便攜式設(shè)備與用戶基本上在同一位置(colocational)，并且由用戶控制該便攜式設(shè)備的位置和移動。該便攜式設(shè)備包括相機和顯示器。在該相機中捕獲真實世界場景的第一圖像流?；谠摰谝粓D像流生成第二圖像流，該第二圖像流包括增強現(xiàn)實場景，其通過將虛擬角色插入到在第一圖像流中捕獲的真實世界場景中來形成。虛擬角色配置以進行指示用戶的位置或活動的認知的動作。第二圖像流顯示在便攜式設(shè)備的顯示器上。在一個實施例中，虛擬角色到真實世界場景的插入包括在虛擬角色到在真實世界場景內(nèi)識別出的表面上的放置。根據(jù)另一實施例，便攜式設(shè)備的位置的檢測包括第一圖像流內(nèi)的定位器(anchor)的識別，該定位器在便攜式設(shè)備的移動期間被跟蹤。在各種實施例中，定位器可以包括真實世界場景內(nèi)的增強現(xiàn)實標簽或特征。在一個實施例中，指示認知的動作的表演自動發(fā)生，而不要求來自用戶的命令。在一個實施例中，指示認知的動作包括調(diào)整虛擬角色的觀看方向。在一個實施例中，觀看方向的調(diào)整是在便攜式設(shè)備的位置的方向上，并且該方法進一步包括隨著便攜式設(shè)備在三維空間中移動而持續(xù)地更新觀看方向的調(diào)整的方法操作。在一個實施例中，虛擬角色的觀看方向的調(diào)整包括虛擬角色的頭部或眼睛的調(diào)整，以注視在便攜式設(shè)備的方向上。在另一實施例中，觀看方向的調(diào)整是在便攜式設(shè)備的相機所指向的位置的方向上。在發(fā)明的替代實施例中，提供用于使得虛擬角色展示用戶的位置或活動的認知的方法。根據(jù)該方法，在便攜式設(shè)備的相機中捕獲真實世界場景的第一圖像流。該便攜式設(shè)備與用戶基本上在同一位置，并且由用戶控制該便攜式設(shè)備的位置和移動。識別和跟蹤在第一圖像流中的一個或多個標記，并且基于一個或多個標記的跟蹤來跟蹤便攜式設(shè)備的位置和朝向?；诘谝粓D像流生成第二圖像流，第二圖像流描繪參考第一圖像流中的標記定位的虛擬現(xiàn)實場景。該虛擬現(xiàn)實場景包括虛擬角色，配置以進行指示用戶的位置或活動的認知的動作。第二圖像流顯示在便攜式設(shè)備的顯示器上。在發(fā)明的另一實施例中，提供用于提供與虛擬角色的用戶互動性的方法。根據(jù)該方法，初始化與計算機程序的用戶互動性。確定與計算機程序的虛擬角色的用戶互動。在用戶與虛擬角色互動期間檢測來自用戶的傳感器數(shù)據(jù)。使用該傳感器數(shù)據(jù)跟蹤用戶的位置。進一步根據(jù)該方法，在用戶與虛擬角色互動期間檢測虛擬角色的位置。并且，在用戶與虛擬角色互動期間識別用戶的位置與虛擬角色的位置之間的相對定位。識別用戶與虛擬角色的互動的背景(context)。并且，也識別用于用戶與虛擬角色的互動的背景的信令(signaling)屬性。將信令屬性施加到虛擬角色以通過虛擬角色傳遞用戶的認知。在一個實施例中，計算機程序提供虛擬現(xiàn)實環(huán)境，該虛擬現(xiàn)實環(huán)境包括虛擬角色。并且，與計算機程序的用戶互動性包括與虛擬環(huán)境的互動性。在另一實施例中，計算機程序提供增強現(xiàn)實環(huán)境，該增強現(xiàn)實環(huán)境包括虛擬角色。并且，與計算機程序的用戶互動性包括與增強現(xiàn)實環(huán)境的互動性。在一個實施例中，傳感器數(shù)據(jù)包括由用戶控制的便攜式設(shè)備所捕獲的圖像流。并且，用戶的位置的跟蹤包括圖像流內(nèi)的標記的識別和跟蹤以使能便攜式設(shè)備的位置的確定。在一個實施例中，用戶與虛擬角色的互動的背景可以包括現(xiàn)實世界環(huán)境內(nèi)的地點、虛擬環(huán)境內(nèi)的地點或計算機程序內(nèi)的平臺。在一個實施例中，信令屬性可以包括虛擬角色的觀看方向的調(diào)整、虛擬角色的移動或虛擬角色的手勢。從結(jié)合借助示例圖示本發(fā)明的原理的附圖采用的后續(xù)詳細描述，本發(fā)明的其他方面將變得清晰。


通過參考結(jié)合附圖的后續(xù)描述可以最好地理解本發(fā)明，在附圖中圖1A圖示依據(jù)發(fā)明的實施例的示例性便攜式設(shè)備的前視圖；圖1B圖示依據(jù)發(fā)明的實施例的示例性便攜式設(shè)備的后視圖；圖2圖示依據(jù)發(fā)明的實施例的、使用便攜式設(shè)備觀看增強現(xiàn)實場景的用戶；圖3A圖示依據(jù)發(fā)明的實施例的、與虛擬角色互動的用戶的俯視圖；圖3B圖示依據(jù)發(fā)明的實施例的、與虛擬角色互動的用戶的俯視圖；圖4A圖示依據(jù)發(fā)明的實施例的、當被用來觀看增強現(xiàn)實場景時的便攜式設(shè)備的特寫視圖；圖4B圖示依據(jù)發(fā)明的實施例的、當被用來觀看增強現(xiàn)實場景時的便攜式設(shè)備的特寫視圖；圖5A圖示依據(jù)發(fā)明的實施例的、被操作以指向不同方向的便攜式設(shè)備的俯視圖；圖5B和圖5C圖示依據(jù)發(fā)明的實施例的、與虛擬角色互動的用戶和真實人的俯視圖；圖6圖示依據(jù)發(fā)明的實施例的、從用戶角度看正被用來顯示增強現(xiàn)實圖像流的便攜式設(shè)備的特寫視圖；圖7圖示依據(jù)發(fā)明的實施例的、利用便攜式設(shè)備觀看增強現(xiàn)實場景的用戶；圖8圖示依據(jù)發(fā)明的實施例的、利用利用便攜式設(shè)備觀看增強現(xiàn)實場景的兩個用戶；圖9圖示依據(jù)發(fā)明的實施例的、利用便攜式設(shè)備觀看增強現(xiàn)實場景的一組用戶的俯視圖；圖10圖示依據(jù)發(fā)明的實施例的、用戶在其中使用便攜式設(shè)備觀看增強現(xiàn)實場景的房間的視圖；圖11圖示依據(jù)發(fā)明的實施例的、從與虛擬角色互動的用戶的角度觀看的便攜式設(shè)備的特寫視圖；圖12A圖示依據(jù)發(fā)明的實施例的、認知對時間的曲線圖；圖12B圖示依據(jù)發(fā)明的實施例的、認知對時間的曲線圖；圖12C圖示依據(jù)發(fā)明的實施例的、認知對時間的曲線圖；圖13A圖示依據(jù)發(fā)明的實施例的、用于使得虛擬角色傳遞用戶的認知的方法；圖13B圖示依據(jù)發(fā)明的實施例的、用于虛擬角色展示虛擬角色知道人類在其世界中的地點的方法的流程圖；以及圖14圖示示出依據(jù)發(fā)明的實施例的便攜式設(shè)備的組件的示圖。
具體實施例方式下列實施例描述用于使能與增強現(xiàn)實角色的互動性的系統(tǒng)的方法和裝置。在互動性期間，增強現(xiàn)實角色能夠維持或體現(xiàn)觀察者的認知。在一個實施例中，觀察者是便攜式設(shè)備的用戶，其可以通過便攜式設(shè)備的屏幕觀看增強現(xiàn)實角色。隨著用戶在三維空間中四處移動便攜式設(shè)備，增強現(xiàn)實角色可能回看用戶。在一個實施例中，在三維空間中移動時，增強現(xiàn)實角色通過跟蹤便攜式設(shè)備的地點回看用戶。增強現(xiàn)實角色回看用戶的時間或次數(shù)取決于程序或用戶與增強現(xiàn)實角色的互動性的接觸。如果用戶正在與增強現(xiàn)實角色互動，則通過將增強現(xiàn)實角色視作化身，該化身取決于互動性的背景和本性，可能僅在時間的特定點上體現(xiàn)認知。因此，現(xiàn)在將描述各種示例，其圖示用于使得增強現(xiàn)實角色或?qū)ο笳故净蝮w現(xiàn)(或?qū)?三維空間的某點的認知。但是，對本領(lǐng)域技術(shù)人員來說，顯而易見，可以不用這些具體細節(jié)的某一些或全部而實踐本發(fā)明。在其他例子中，沒有詳細描述熟知的處理操作以便不會不必需地模糊本發(fā)明。參考圖1A，示出依據(jù)發(fā)明的實施例的示例性便攜式設(shè)備10的前視圖。該便攜式設(shè)備10包括用于顯示圖形的顯示器12。在發(fā)明的實施例中，利用顯示器12以實時示出增強現(xiàn)實角色。在發(fā)明的各種實施例中，顯示器12可以合并諸如觸摸敏感性之類的各種顯示技術(shù)中的任何一種。便攜式設(shè)備10包括用于方便音頻輸出的揚聲器14。來自揚聲器14的音頻輸出可以包括有關(guān)增強現(xiàn)實角色的任何聲音，諸如增強現(xiàn)實角色的聲音、其他游戲聲音、背景音樂(soundtrack)、來自遠程玩家的聲音或任何其他類型的聲音。便攜式設(shè)備10包括按鈕16和方向鍵盤18，其用作從便攜式設(shè)備的用戶接收輸入的輸入機構(gòu)。在發(fā)明的實施例中，考慮任何各種其他輸入機構(gòu)可以包括在便攜式設(shè)備10中。輸入機構(gòu)的其他示例可以包括手寫筆、觸摸屏、鍵盤、小鍵盤、觸摸板、軌跡球、搖桿、觸發(fā)器或可以用于接收用戶輸入的任何其他類型的輸入機構(gòu)。提供正面相機20以捕獲便攜式設(shè)備10的用戶或其他對象或場景(它們在便攜式設(shè)備10的前方)的圖像和視頻。此外，包括麥克風22以從周圍區(qū)域捕獲音頻，諸如便攜式設(shè)備10的用戶產(chǎn)生的聲音或語音。參考圖1B，示出依據(jù)發(fā)明的實施例的便攜式設(shè)備10的后視圖。提供背面相機24用于捕獲位于便攜式設(shè)備10背面的對象或場景的圖像和視頻。可以實時地在顯示器12上顯示來自相機24的捕獲視頻，并且可以用虛擬對象增強，以提供顯示給用戶的增強現(xiàn)實場此外，便攜式設(shè)備10可以包括用于檢測便攜式設(shè)備10的位置和運動的各種傳感器中的任何一種。在某些實施例中，便攜式設(shè)備10可以包括陀螺儀、磁力計和加速度計中的一個或多個，以方便便攜式設(shè)備10的位置和移動的檢測。已經(jīng)以某種詳細程度描述了前述示例性便攜式設(shè)備，以便圖示依據(jù)發(fā)明的實施例的便攜式設(shè)備的一個可能實施例。但是，貫穿此說明書，對前面描述的示例僅是其一個示例的各種便攜式設(shè)備做出參考。本發(fā)明的范圍不打算以任何方式限制于任何具體便攜式設(shè)備，而可以輕易地擴展到各種類型的便攜式設(shè)備中的任何一種。便攜式設(shè)備的示例包括便攜式游戲設(shè)備、個人數(shù)字助理(PDA)、智能機、平板個人計算機、數(shù)碼相機等。出于本公開的目的，便攜式設(shè)備理解為能夠由用戶操作并能夠向用戶顯示增強現(xiàn)實角色的任何設(shè)備。參考圖2，示出依據(jù)發(fā)明的實施例、使用便攜式設(shè)備10觀看增強現(xiàn)實場景的用戶30。如所示，用戶30手持便攜式設(shè)備10以使背面相機24朝向桌子32。相機24捕獲桌子32的圖像流。此所捕獲圖像流用虛擬角色34實時增強以生成增強現(xiàn)實圖像流。在用戶30觀看的便攜式設(shè)備10的顯示器上實時地顯示增強現(xiàn)實圖像流。僅僅為了圖示的目的，在圖2中在桌子32上示出虛擬角色34。顯然，虛擬角色34并不真實地存在于桌子32上，而是出現(xiàn)在用戶30正在觀看的增強現(xiàn)實圖像流中，因此看似用戶30位于桌子30上，如圖2中所示。貫穿此說明書，將對配置以進行各種動作或體現(xiàn)特定特性的虛擬角色和虛擬對象做出參考。本領(lǐng)域技術(shù)人員將理解，這意味著虛擬角色或?qū)ο髮⑾癞斢捎^察者在恰當?shù)挠^看設(shè)備上觀看時那樣出現(xiàn)，該恰當?shù)挠^看設(shè)備使得觀察者能夠觀看增強現(xiàn)實圖像流中的虛擬角色或?qū)ο?。在一個實施例中，虛擬角色34配置以展示便攜式設(shè)備10的位置的認知。虛擬角色34可以配置以采用展示便攜式設(shè)備10的位置的認知的各種動作中的任何一種。例如，虛擬角色34可以配置以注視在便攜式設(shè)備10的方向上，從而看似虛擬角色34正在看用戶30?；蛘撸摂M角色34可以配置以在便攜式設(shè)備10的方向上移動，從而看似虛擬角色34正在朝向用戶30移動。在大量的其他實施例中，虛擬角色34可以配置以采取任何展示便攜式設(shè)備10的位置的認知的動作(或無動作，如果適當)。
可以應(yīng)用用于生成增強現(xiàn)實圖像流的各種技術(shù)中的任何一種，而不脫離本發(fā)明的范圍。例如，在一個實施例中，增強現(xiàn)實(AR)標簽可以放置在桌子32上，并且用作生成增強現(xiàn)實圖像流的基準標記(fiduciary marker)。AR標簽可以是在看似在真實環(huán)境的所捕獲圖像流中時被識別的對象或圖形。AR標簽用作使能真實環(huán)境內(nèi)的地點的確定的基準標記。另外，所捕獲圖像流中的AR標簽的視角失真(perspective distortion)指示AR標簽的朝向?？梢曰贏R標簽的識別地點和朝向，通過疊加具有有關(guān)AR標簽的地點和朝向的虛擬對象或角色，來生成增強現(xiàn)實圖像流。例如，在一個實施例中，虛擬角色34可以定位在AR標簽的頂部(例如，“站在”AR標簽上)或與AR標簽基本上在同一位置。在其他實施例中，虛擬角色34可以定位于靠近AR標簽或遠離AR標簽。AR標簽可以顯示在增強現(xiàn)實圖像流內(nèi)，或從增強現(xiàn)實圖像流中選擇性地移除。在一些實施例中,可以在同一環(huán)境下利用一個或多個AR標簽。多個AR標簽的使用提供由AR標簽定義的多個參考點。在整個真實環(huán)境中散布的多個AR標簽可以使能地點和朝向的更魯棒的確定。這可以改進將虛擬對象放置在增強現(xiàn)實圖像流中的精度，和/或可以提供更寬的操作范圍，因為多個AR標簽增大了在其上可以控制便攜式設(shè)備10而仍然維持至少一個AR標簽在便攜式設(shè)備的相機24的視場內(nèi)的有效區(qū)域。在其他實施例中，可以出于基于所捕獲圖像流生成增強現(xiàn)實圖像流的目的而應(yīng)用各種圖像分析和識別方法中的任何一種。例如，自然特征跟蹤法或同時定位與映射(Simultaneous Location and Mapping ;SLAM)方法可以應(yīng)用于所捕獲圖像流以便生成增強現(xiàn)實圖像流。自然特征跟蹤方法通常需要在真實環(huán)境(與人為引入的基準相對)內(nèi)檢測和跟蹤諸如紋理、邊緣、角落等的“自然”特征。在本發(fā)明的其他實施例中，可以應(yīng)用任何一個或多個圖像分析方法以便基于所捕獲圖像流生成增強現(xiàn)實圖像流。例如，可以采用AR標簽和自然特征跟蹤或SLAM方法的組合以便產(chǎn)生增強現(xiàn)實圖像流。依據(jù)發(fā)明的實施例，可以一直跟蹤便攜式設(shè)備10的位置。可以基于用來生成增強現(xiàn)實圖像流的前述技術(shù)實現(xiàn)便攜式設(shè)備10的位置的跟蹤。例如，AR標簽可以用作參考標記，其基于所捕獲圖像流內(nèi)的AR標簽的視角失真的檢測，來使能便攜式設(shè)備10相對AR標簽的位置、朝向和移動的確定?？梢圆捎枚鄠€AR標簽來改進確定便攜式設(shè)備10的位置和朝向的精度。或者，在其他實施例中，出于跟蹤便攜式設(shè)備10的位置和朝向的目的，可以采用自然特征跟蹤方法。另外，可以基于來自便攜式設(shè)備10內(nèi)的運動敏感硬件(諸如加速度計、磁力計或陀螺儀)的信息跟蹤便攜式設(shè)備10的移動。在一個實施例中，確定便攜式設(shè)備10的初始位置，并且基于來自加速度計、磁力計或陀螺儀的信息確定便攜式設(shè)備10相對該初始位置的移動。在其他實施例中，來自便攜式設(shè)備10的諸如加速度計、磁力計或陀螺儀的運動敏感硬件的信息可以與諸如AR標簽或自然特征跟蹤技術(shù)的前述技術(shù)組合使用，以查明便攜式設(shè)備10的位置和移動。如繼續(xù)參考圖2所示，真實環(huán)境內(nèi)的對象的位置可以參考坐標空間描述。在示出的實施例中，三維空間里的地點用笛卡爾坐標(x，y，z)表示，其中X和y是在水平方向上而Z表示垂直方向。僅通過示例，所示便攜式設(shè)備10的位置用坐標(0，-2，5)表示。此外,在真實環(huán)境中的虛擬角色34的出現(xiàn)位置(換言之，當其看似被定位在增強現(xiàn)實圖像流中時)也可以用真實環(huán)境的坐標表示。在此情況下，虛擬角色34具有坐標(O，3，O)。便攜式設(shè)備的地點被持續(xù)跟蹤，并且可以用持續(xù)更新的坐標表示。類似地，虛擬角色34的地點也可以持續(xù)地確定并通過其對應(yīng)的坐標表示。在本發(fā)明的其他實施例中，可以應(yīng)用諸如柱面坐標或球面坐標之類的各種坐標系中的任何一種，而不脫離本發(fā)明的范圍。參考圖3A，圖示依據(jù)發(fā)明的實施例的、與虛擬角色34互動的用戶30的俯視圖。如所示，用戶30正手持便攜式設(shè)備10，并觀看作為正在便攜式設(shè)備10上顯示的增強現(xiàn)實圖像流的一部分的虛擬角色34。正在便攜式設(shè)備10上由相機捕獲為圖像流的真實環(huán)境包括桌子32。將虛擬角色34插入所捕獲圖像流以形成增強圖像流，其在便攜式設(shè)備10上顯示給用戶30。在增強圖像流中，生成虛擬角色34以位于桌子32上。如所示，用真實環(huán)境的坐標系表示對象的地點。在示出的示例中，配置笛卡爾坐標系以使原點在桌子的角落。應(yīng)該明白，坐標系的原點可以在空間內(nèi)的任何地點，并且在本例子中僅作為一個示例提供。用坐標(_2，_4，4)表示便攜式設(shè)備10的位置，并且虛擬角色34具有在(6，6，O)處的初始位置。依據(jù)發(fā)明的實施例，虛擬角色34可以配置以體現(xiàn)便攜式設(shè)備10的地點的認知。例如，虛擬角色34可以配置以注視在便攜式設(shè)備10的方向上。或者，虛擬角色34可以配置以在便攜式設(shè)備10的方向上移動。例如，如在圖3A所示，虛擬角色34可以從坐標(6，6，O)處的初始地點移動到坐標(3，3，O)處的更靠近便攜式設(shè)備10的位置。因此，虛擬角色34總是看似用戶30朝向他移動，從而展示他的地點的認知。此外，虛擬角色34可以配置以持續(xù)跟隨便攜式設(shè)備10的移動。如在圖3B示出，用戶30已經(jīng)移動到新地點，因此已經(jīng)將便攜式設(shè)備10移動到坐標(6，-5，4)。在一個實施例中，虛擬角色34配置以通過例如在其移動時持續(xù)注視在便攜式設(shè)備移動的方向上來跟蹤此移動。在另一實施例中，虛擬角色34可以配置以調(diào)整其移動以在其移動時持續(xù)在便攜式設(shè)備移動的方向上移動。這樣，虛擬角色34體現(xiàn)便攜式設(shè)備10的地點的明確認知，并且通過擴展體現(xiàn)用戶30的地點的認知。在發(fā)明的各種實施例中，指示對便攜式設(shè)備10的地點的虛擬角色34的一部分的認知的、所進行的具體動作可以是像由用戶30可識別那樣的任何動作。僅通過示例，而不以限制的方式，指示認知的這種動作可以包括以下注視在便攜式設(shè)備的方向上、在便攜式設(shè)備的方向上移動、產(chǎn)生聲音、在便攜式設(shè)備的方向上或以指示用戶的認知方式的說話或除此以外的溝通、打手勢、做臉部表情等。依據(jù)發(fā)明的各種實施例，可以通過虛擬角色進行指示便攜式設(shè)備或用戶的位置的認知的任何動作。參考圖4A，依據(jù)發(fā)明的實施例，示出正被用來觀看增強現(xiàn)實場景時的便攜式設(shè)備的特寫視圖。像是可以從用戶的角度看見那樣地示出便攜式設(shè)備10。在背景中，示出桌子32，帶有位于其上的可選AR標簽。出于圖示的目的，也示出位于桌子32的杯子42。依據(jù)上述方法，諸如杯子42的物品可以提供附加參考點，其用來跟蹤便攜式設(shè)備10的位置和移動。由便攜式設(shè)備10處的相機將桌子32捕獲為圖像流的一部分。此所捕獲圖像流用虛擬角色34增強，以形成顯示在便攜式設(shè)備10的顯示器12上的增強現(xiàn)實圖像流。因此，當用戶觀看顯示器12時，他能夠看見在增強現(xiàn)實圖像流中的虛擬角色34，仿佛虛擬角色34在真實環(huán)境中存在。虛擬角色34配置以展示便攜式設(shè)備10的位置的認知。因此，依據(jù)在圖4A所示的一個實施例，虛擬角色34配置以注視在便攜式設(shè)備10的方向上。在圖4B，便攜式設(shè)備10已經(jīng)相對于桌子32向不同的地點移動。跟蹤便攜式設(shè)備10的位置的此改變。并且，當跟蹤便攜式設(shè)備10的位置時，也調(diào)整虛擬角色34以注視在便攜式設(shè)備10的方向上，由此展示便攜式設(shè)備10的位置的認知。參考圖5A，依據(jù)發(fā)明的實施例，示出被操作以指向不同方向的便攜式設(shè)備10的俯視圖。如所示，指向便攜式設(shè)備10以便便攜式設(shè)備10的相機指向桌子32。同樣出于圖示的目的而示出杯子42。在一個例子中，控制便攜式設(shè)備10以定位在地點50并且使其相機指向桌子32上的地點51。當便攜式設(shè)備10的相機捕獲桌子32的圖像流時，此圖像流用虛擬角色34增強，以生成增強現(xiàn)實圖像流。此增強現(xiàn)實圖像流顯示在便攜式設(shè)備10的顯示器上。當便攜式設(shè)備10定位于地點50并朝向地點51時示出增強現(xiàn)實圖像流的視圖54。生成并配置虛擬角色34以看似它仿佛定位于增強現(xiàn)實圖像流中的地點51。因此，虛擬角色看似站在增強現(xiàn)實圖像流中的桌子32上。另外，虛擬角色34配置以體現(xiàn)便攜式設(shè)備10的位置的認知，并且在此情況下，通過注視便攜式設(shè)備34來體現(xiàn)這樣的認知。但是，虛擬角色34也可以配置以體現(xiàn)便攜式設(shè)備10所朝向的方向的認知。依據(jù)如所示的一個實施例，虛擬角色34可以配置以注視在便攜式設(shè)備10所指向的方向上。如繼續(xù)參考圖5所示，當相機定位于地點52處并朝向以使其相機指向地點53時，虛擬角色34配置以也看似注視在相同方向(即，朝向地點53)上。這由增強現(xiàn)實流的對應(yīng)視圖55圖示，其中，虛擬角色34已經(jīng)轉(zhuǎn)而面對便攜式設(shè)備指向的方向。以此方式，虛擬角色34可以配置以展示不只是便攜式設(shè)備的位置的認知，還有其朝向，因此向用戶提供與虛擬角色的增強互動體驗。當用戶注視虛擬角色(即，將便攜式設(shè)備的相機指向在真實環(huán)境中的虛擬角色的“位置”)時，虛擬角色可能注視用戶，而當用戶遠離虛擬角色地注視(即，將相機遠離真實環(huán)境中的虛擬角色的“位置”地指向)時，虛擬角色注視在用戶所注視的方向上。參考圖5B和圖5C，依據(jù)發(fā)明的實施例示出與虛擬角色互動的用戶和真實人的俯視圖。如所示，在圖5B，用戶30手持便攜式設(shè)備10，以使得其相機指向鄰近第三方真實人16的區(qū)域。虛擬角色34配置以位于此區(qū)域，因此用戶30在便攜式設(shè)備10的顯示器上觀看虛擬角色34。虛擬角色34配置以體現(xiàn)用戶30的位置或活動的認知，因此在所圖示的實施例中，虛擬角色34注視在便攜式設(shè)備10的方向上，從而看似用戶30注視用戶。在圖5C，用戶30將便攜式設(shè)備10指向真實人56。虛擬角色34配置以反應(yīng)用戶30的活動，并且在此例子中，虛擬角色34配置以注視在便攜式設(shè)備10朝向的對象(換而言之，真實人56)的方向上。參考圖6，示出依據(jù)發(fā)明的實施例、從用戶的角度觀看、用來顯示增強現(xiàn)實圖像流的便攜式設(shè)備10的特寫視圖。便攜式設(shè)備10包括用來捕獲桌子32的圖像流的相機，該桌子32描繪在圖6的背景中。用虛擬角色34增強所捕獲圖像流以形成增強現(xiàn)實圖像流。在一個實施例中，虛擬角色34配置以展示便攜式設(shè)備10或用戶的地點的認知。這可以通過例如配置虛擬角色34以注視在便攜式設(shè)備10的方向上或在便攜式設(shè)備10的方向上移動來實現(xiàn)。另外，增強現(xiàn)實圖像流可以包括諸如樹木60和車輛62之類的附加虛擬元素。在發(fā)明的實施例中，增強現(xiàn)實圖像流可以包括任何種類的虛擬元素，這些虛擬元素被添加到所捕獲圖像流，以形成增強現(xiàn)實圖像流。在一些實施例中，可以參考真實環(huán)境中的具體地點或?qū)ο髞砩商摂M元素，或可以配置以與真實環(huán)境中的對象互動。在其他實施例中，虛擬元素可以獨立于真實環(huán)境中的對象存在。在一些實施例中，虛擬元素可以移動或與真實環(huán)境中的對象互動。在一些實施例中，虛擬元素可以位于真實環(huán)境中的固定地點。在一些實施例中，虛擬元素可以替代真實環(huán)境中的對象。在發(fā)明的各種實施例中，在增強現(xiàn)實圖像流所基于的圖像流中捕獲的任何數(shù)量的真實世界元素都可以用虛擬元素替代，包括用虛擬元素完全替代真實世界圖像流。增強現(xiàn)實圖像流可以具有真實世界元素與虛擬元素的任何混合或相對比例。雖然通常從增強現(xiàn)實場景(基于真實世界場景的所捕獲圖像流生成)的角度描述發(fā)明的實施例，但應(yīng)該認識到，本發(fā)明的原理也可以應(yīng)用于具有虛擬現(xiàn)實角色的虛擬現(xiàn)實場景(無可見的真實世界元素)。繼續(xù)參考圖6，在本發(fā)明的替代實施例中，在顯示器12上顯示虛擬現(xiàn)實圖像流。參考依據(jù)上述原理捕獲的真實世界場景生成虛擬現(xiàn)實圖像流。并且，便攜式設(shè)備10的地點和朝向可以基于真實世界圖像流和以前討論過的其他傳感器的分析來確定。但是，向用戶顯示的視頻可以專門由參考真實世界環(huán)境定位的虛擬環(huán)境組成。以此方式，用戶經(jīng)由便攜式設(shè)備觀看虛擬世界，而虛擬世界位置上聯(lián)系于真實世界，從而用戶可以以自然方式關(guān)于虛擬世界控制便攜式設(shè)備10。本領(lǐng)域技術(shù)人員應(yīng)當明白，本發(fā)明的原理可以應(yīng)用于虛擬現(xiàn)實場景在便攜式設(shè)備10上被顯示給用戶的實施例，而不脫離本發(fā)明的范圍。參考圖7，示出依據(jù)發(fā)明的實施例、利用便攜式設(shè)備10觀看增強現(xiàn)實場景的用戶30。便攜式設(shè)備10包括背面相機(未示出)，其捕獲包括桌子32的圖像流。所捕獲圖像流用虛擬角色34增強，以形成在便攜式設(shè)備10的顯示器12上顯示的增強現(xiàn)實圖像流。另外，便攜式設(shè)備10包括正面相機20，其捕獲用戶10的圖像流?？梢詫崟r地分析此用戶圖像流以確定關(guān)于用戶的各種參數(shù)并向用戶提供功能性和互動性的附加模式。例如，在一個實施例中，可以分析用戶圖像流以確定用戶的更精確的位置(與僅基于便攜式設(shè)備10的位置的用戶的近似位置相對)?；蛘?，在另一實施例中，通過分析用戶圖像流來確定用戶的面部表情。在一個實施例中，通過用戶圖像流的分析來跟蹤用戶面對的方向和/或用戶眼睛的移動，以確定用戶注視或面對的地方。在另一實施例中，可以分析用戶圖像流以確定用戶的手勢，諸如指向、揮手等。在本發(fā)明的又一實施例中，可以確定涉及用戶的或用戶的身體屬性，諸如眼睛顏色、皮膚類型、衣服顏色等。在本發(fā)明的各種其他實施例中，可以基于用戶圖像流的分析確定用戶各種類型的表情、移動、位置或其他性質(zhì)中的任何一種，而不脫離本發(fā)明的范圍。如上所述，可以配置虛擬角色34以展示從用戶圖像流的分析確定的各種性質(zhì)的認知。例如，基于更精確地確定的用戶30的地點，虛擬角色34可以配置以例如在用戶30的方向上注視或移動來展示用戶的位置的認知。在另一實施例中，虛擬角色可以至少部分基于用戶圖像流的分析，配置以注視在用戶30被確定正在注視的方向上。在一個實施例中，虛擬角色34配置以反應(yīng)用戶的面部表情。例如，虛擬角色34可以提供對用戶30的各種表情的恰當響應(yīng)，諸如，當用戶表達開心時展示興奮。在一個實施例中，虛擬角色34配置以通過展示類似類型的表情來響應(yīng)用戶30的表情。例如，虛擬角色34可以配置以當用戶30在虛擬角色的方向上揮手時揮手。虛擬角色34可以體現(xiàn)各種面部表情和手勢中的任何一種，以將表情傳遞給用戶30并且展示用戶的表情和手勢的認知。在一個實施例中，虛擬角色34配置以展示用戶指向哪里的認知，如同基于便攜式設(shè)備10的正面相機20捕獲的用戶圖像流的實時分析所確定的那樣。如繼續(xù)參考圖7所示，用戶30正指向方向70上。虛擬角色34可能最初正注視用戶30。正面相機20捕獲的用戶圖像流被分析以確定用戶指向的方向。并且，虛擬角色34配置以隨后通過注視在同一方向上來反應(yīng)用戶在方向70上的指向。在另一實施例中，虛擬角色可以配置以在用戶30指向的方向上移動。在本發(fā)明的其他實施例中，虛擬角色可以配置以響應(yīng)于用戶在給定方向上的指向(諸如在給定方向上攻擊敵人或點燃武器，或其他類型的動作)來進行任何類型的動作。在另一實施例中，便攜式設(shè)備10的背面相機可以被利用以檢測用戶30的手勢。例如，繼續(xù)參考圖7，在替代實施例中，用戶30可以在便攜式設(shè)備10背面移動它們的手以被便攜式設(shè)備10的背面相機捕獲。因此，用戶的手包括在由背面相機捕獲的圖像流中。分析此圖像流以檢測用戶的手的出現(xiàn)以及解讀用戶的手做出的任何手勢。例如，用戶的手可以以特定方式打手勢，諸如，指向、揮動、擺動、召喚、抓取等。檢測這些手勢并可以被用來影響增強現(xiàn)實圖像流中的虛擬對象。該虛擬對象可以以指示用戶活動的認知來響應(yīng)于這樣的手勢。雖然參考包括正面和背面相機的便攜式設(shè)備描述了前述示例，但對本領(lǐng)域技術(shù)人員應(yīng)該明白，便攜式設(shè)備可以包括具有用于檢測用戶的動作和手勢以及捕獲真實環(huán)境的圖像流的各種朝向的任何數(shù)量的相機。參考圖8，依據(jù)發(fā)明的實施例，示出利用便攜式設(shè)備以觀看增強現(xiàn)實場景的兩個用戶。如所示，用戶80手持便攜式設(shè)備81，而用戶82手持便攜式設(shè)備83。用戶80和用戶82站在桌子32的相對側(cè)，而它們各自的便攜式設(shè)備指向桌子。便攜式設(shè)備81和83每一個都包括捕獲真實環(huán)境的圖像流的相機，真實環(huán)境包括桌子和處于相機的視場中的周邊區(qū)域。用同一虛擬角色34增強這些所捕獲圖像流中的每一個，以形成平行的增強現(xiàn)實圖像流。便攜式設(shè)備81和83抑或直接(例如，經(jīng)由無線連接)抑或間接(例如，經(jīng)由諸如計算機、游戲系統(tǒng)、網(wǎng)絡(luò)設(shè)備或某種其他計算設(shè)備等的補充設(shè)備(未示出))地互相鏈接，以使得在便攜式設(shè)備81和83每一個上示出同一增強現(xiàn)實場景，但依據(jù)它們各自的地點和朝向從不同的視角(perspective)不出。繼續(xù)參考圖8，圖示如同用戶80在其便攜式設(shè)備81上所看見的增強現(xiàn)實場景的視圖84。如所示，虛擬角色34正在注視用戶80。同時，用戶82在其便攜式設(shè)備83上看見視圖86。如視圖86所示，虛擬角色34正在遠離用戶82地注視并朝向用戶80。依據(jù)發(fā)明的實施例，虛擬角色34可以配置以反應(yīng)并展示用戶位置和動作兩者的認知。在所示的示例中，用戶82產(chǎn)生噪聲或語音。此噪聲由用戶82的便攜式設(shè)備83的麥克風檢測。虛擬角色34配置以通過注視在噪聲的方向上，即，注視在便攜式設(shè)備83的方向上，以對該噪聲反應(yīng)，因此展示便攜式設(shè)備83的位置的認知，并擴展到用戶82的位置。這通過用戶82所看見的視圖87圖示，其中虛擬角色34現(xiàn)在已經(jīng)轉(zhuǎn)向面對用戶82。類似地，用戶80所看見的視圖85圖示虛擬角色34已經(jīng)從用戶80轉(zhuǎn)開并朝向用戶82。以此方式，虛擬角色34的注意力和認知可以從一個用戶轉(zhuǎn)移到另一用戶，他們兩者都集中觀看同一增強現(xiàn)實場景。雖然已經(jīng)參考兩個用戶描述了前述示例，但在其他實施例中，任何數(shù)量的用戶可以正在觀看同一增強現(xiàn)實環(huán)境，并且虛擬角色可以配置以展示這些用戶的位置和動作中的任何一個的認知。通過示例，虛擬角色可以通過在給定用戶的方向上注視、移動、說話或打手勢或采取展示給定用戶的位置和/或活動的認知的任何其他類型的動作，來展示多個用戶的位置和動作的認知。參考圖9，依據(jù)發(fā)明的實施例，示出利用便攜式設(shè)備觀看增強現(xiàn)實場景的一組用戶的俯視圖。第一用戶90手持便攜式設(shè)備91 ;第二用戶92手持便攜式設(shè)備93 ;第三用戶94手持便攜式設(shè)備95 ;而第四用戶96手持便攜式設(shè)備97。雖然所示的具體示例圖示了四個手持便攜式設(shè)備的用戶，但本領(lǐng)域技術(shù)人員應(yīng)當明白，依據(jù)發(fā)明的各種實施例，可以提供任何數(shù)量的手持便攜式設(shè)備的用戶。便攜式設(shè)備91、93、95、97中的每一個包括用于捕獲真實環(huán)境的圖像流的相機。在此情況下，便攜式設(shè)備91、93、95、97的相機通常朝向桌子32。以此方式，便攜式設(shè)備的相機全部朝向同一真實環(huán)境場景，因此捕獲相同場景的圖像流，但取決于便攜式設(shè)備91、93、95、97的地點和朝向從不同的視角捕獲。來自每一個便攜式設(shè)備中的每一個所捕獲圖像流用同一虛擬角色34增強，以形成來自便攜式設(shè)備91、93、95、97中的每一個的視角的增強現(xiàn)實圖像流。虛擬角色34將取決于它們各自的便攜式設(shè)備中的每一個被用來觀看增強現(xiàn)實場景的視角而看似與用戶90、92、94和96中的每一個不同。為了方便于此，便攜式設(shè)備91、93、95和97經(jīng)由補充設(shè)備抑或直接地抑或間接地互相鏈接，以在不同的便攜式設(shè)備中的每一個中提供對來自不同視角的同一增強現(xiàn)實場景的集體實時觀看。以此方式，用戶90、92、94和96中的每一個能夠同時與同一增強現(xiàn)實場景互動_并且更具體地，與同一虛擬角色34互動。應(yīng)該明白，虛擬角色34可以配置以展示用戶的位置的認知的各種方式來反應(yīng)多個用戶90、92、94和96并與之互動。例如，虛擬角色34可以配置以通過在用戶的方向上注視或移動來將其注意力指向一個用戶。在一個實施例中，這可以基于一個用戶的檢測到的運動或聲音而發(fā)生。用戶的運動或聲音可以由配置以檢測來自具體用戶的圖像和聲音的、用戶的便攜式設(shè)備的麥克風和相機來捕獲。作為示例，虛擬角色34可以朝向一個用戶注視。另一個用戶可以揮動其手，說些什么，或提供某種其他手勢，以獲得虛擬角色34的注意。此手勢或聲音由用戶的便攜式設(shè)備來檢測，并且虛擬角色34隨后可以響應(yīng)于該手勢或聲音轉(zhuǎn)向那個用戶。在發(fā)明的各種其他實施例中，虛擬角色34可以配置以抑或自愿抑或響應(yīng)于從一個或多個用戶接收到的某種輸入，采取任何類型的動作，其展示便攜式設(shè)備和/或手持它們的用戶的位置的認知。例如，在一個實施例中，虛擬角色34可以以系統(tǒng)化方式從一個用戶注視到另一用戶。或者，在另一實施例中，虛擬角色34可以注視同一用戶，直到其注意力從那個用戶因為另一用戶進行的動作而吸引走并朝向該另一用戶為止。除了在給定用戶的方向上注視或移動之外，虛擬角色34還可以通過在用戶和/或它們的便攜式設(shè)備的方向上說話、改變面部表情、移動其眼睛、投擲物體、點燃武器或任何其他類型的動作來展示用戶的位置的認知，以展示用戶的位置的認知。已經(jīng)參考一個虛擬角色一般地描述了前述實施例。但是，在本發(fā)明的其他實施例中，可以存在任何數(shù)量的虛擬角色，其每一個都可以展示正在經(jīng)由此處描述的便攜式設(shè)備觀看增強現(xiàn)實場景的各種用戶中的任何一個的位置的認知。本領(lǐng)域技術(shù)人員將實現(xiàn)大量可能的應(yīng)用，而不脫離本發(fā)明的范圍。僅通過示例而不是限制的方式，此處描述一些可能的應(yīng)用。例如，在一個實施例中，作為增強現(xiàn)實場景的一部分出現(xiàn)的虛擬角色可以配置以作為表演者行動，該表演者與用各自的便攜式設(shè)備觀看同一增強現(xiàn)實場景的各種用戶中的任何一個互動。這樣的互動可以包括注視在用戶的方向上、朝向用戶打手勢或指示用戶的位置的認知的其他類型的動作。以此方式，一組用戶可以借助于由虛擬角色對每一個用戶的位置的清楚認知提供的增強互動性，從不同視角觀看虛擬角色的相同表演。在其他相關(guān)實施例中，可以存在若干虛擬角色，每一個都配置以作為表演者行動。這樣的一組虛擬角色可以配置以協(xié)同方式(諸如以音樂組、舞蹈組、雜技組等)表現(xiàn)。或者，這樣一組虛擬角色可以配置以較少協(xié)同的方式或以每一個虛擬角色以獨立方式表現(xiàn)的方式表現(xiàn)。每一個組中的虛擬角色可以展示正在經(jīng)由它們的各自的便攜式設(shè)備觀看增強現(xiàn)實場景的一個或多個各種用戶的認知。本領(lǐng)域技術(shù)人員將依據(jù)目前描述的實施例實現(xiàn)各種變型而不脫離本發(fā)明的范圍。例如，在一個實施例中，可以應(yīng)用前述原理以仿真多個用戶觀看一個或多個表演者、其中每一個表演者可以展示用戶的位置的認知的環(huán)境。在另一實施例中，多個用戶可以集中觀看虛擬講師或虛擬小組討論等，其中每一個虛擬角色展示用戶的位置的認知。在另一實施例中，多個用戶可以集中參與游戲和集中觀看虛擬游戲主機，該虛擬游戲主機以展示用戶的位置的認知的方式與用戶互動。在其他實施例中，虛擬角色可以是動物、寵物、基于動畫的角色、基于人類的角色、外星人或展示用戶的位置的認知的任何其他類型的角色。參考圖10，依據(jù)發(fā)明的實施例，示出用戶30正在其中使用便攜式設(shè)備10觀看增強現(xiàn)實場景的房間100的視圖。如所示，房間100包含各種元素和特征，諸如，圖片102、門104和窗戶106。由便攜式設(shè)備10的相機在圖像流中捕獲這些和其他特征。當用戶30控制便攜式設(shè)備10時，分析所捕獲圖像流以使能便攜式設(shè)備10的位置和朝向的確定，并使能控制便攜式設(shè)備的移動的跟蹤?？梢岳冒ㄔ诒銛y式設(shè)備10中的板載設(shè)備(諸如，加速度計、磁力計和/或陀螺儀)來增強便攜式設(shè)備10的位置、朝向和移動的確定。房間100的真實環(huán)境的所捕獲圖像流用虛擬角色110實時增強。如所示，虛擬角色110配置以通過例如在便攜式設(shè)備10的方向上注視、面對、打手勢或移動來展示用戶30的位置的認知。另外，可以配置增強現(xiàn)實場景以具有諸如虛擬角色112之類的其他虛擬角色。因此，在圖10示出的示例中，當用戶30將便攜式設(shè)備10轉(zhuǎn)向他的右邊時，在便攜式設(shè)備10上顯示的增強現(xiàn)實圖像流將包括虛擬角色112的圖像。此虛擬角色112也可以通過例如在便攜式設(shè)備10的方向上注視、面對、打手勢或移動來展示用戶30的位置的認知。以此方式，用戶30可以體驗并與包含展示用戶的位置的認知的多個虛擬角色的增強現(xiàn)實環(huán)境互動。當用戶圍繞給定真實環(huán)境移動時，增強現(xiàn)實場景中的一個或多個虛擬角色可以以展示用戶的位置的認知的方式來與用戶互動，并且當她在真實環(huán)境內(nèi)移動時可以跟蹤用戶的移動。參考圖11，依據(jù)發(fā)明的實施例，示出從與虛擬角色34互動的用戶的視角觀看的便攜式設(shè)備10的特寫視圖。在所示實施例中，便攜式設(shè)備10包括捕獲包括在背景中示出的桌子32的圖像流的相機。所捕獲圖像流用各種元素增強，以產(chǎn)生增強現(xiàn)實圖像流，其顯示在便攜式設(shè)備10的顯示器12上。如所示，增強現(xiàn)實圖像流包括虛擬軌跡116，并且虛擬角色34配置以在虛擬軌跡116上駕駛虛擬車輛114。虛擬角色34配置以展示用戶的位置的認知。因此，在一個實施例中，當虛擬角色34沿著虛擬軌跡116朝向用戶或更靠近用戶來駕駛虛擬車輛114時，虛擬角色34可以注視在用戶的方向上。然而，當虛擬角色34沿著虛擬軌跡116駕駛虛擬車輛114遠離用戶或者離用戶更遠時，虛擬角色34可以不注視在用戶的方向上。在各種其他實施例中，虛擬用戶34可以通過進行諸如以不同速度駕駛(例如，減速)、做出臉部表情等的其他動作來展示用戶的位置的認知。如上所述，在替代實施例中，虛擬現(xiàn)實環(huán)境(與增強現(xiàn)實環(huán)境相對)可以基于真實環(huán)境的所捕獲圖像流來生成。在這樣的實施例中，虛擬現(xiàn)實圖像流的虛擬元素參考真實環(huán)境的元素定位，基于真實環(huán)境的所捕獲圖像流的分析來檢測該真實環(huán)境的元素。例如，如圖11所述，虛擬軌跡116、虛擬車輛114和虛擬角色34參考諸如桌子32的真實環(huán)境的元素定位。生成描繪虛擬現(xiàn)實環(huán)境的虛擬現(xiàn)實圖像流并顯示在便攜式設(shè)備10的顯示器12上。因此，當參考由便攜式設(shè)備的相機持續(xù)捕獲的真實環(huán)境定位虛擬環(huán)境時，用戶在便攜式設(shè)備10上觀看虛擬現(xiàn)實場景而不是真實世界場景，但能夠通過物理地控制便攜式設(shè)備10來移動該便攜式設(shè)備10到虛擬環(huán)境內(nèi)的不同位置。在發(fā)明的各種實施例中，可以存在由虛擬角色展示的用戶的位置的認知的不同級另|J。例如，在一些實施例中，虛擬角色展示認知的具體動作的性質(zhì)可以是可變的。例如，虛擬角色以展示用戶位置的認知這樣的方式注視用戶的時間的百分比可以變化。或者，虛擬角色在用戶的方向上移動的范圍(extent)可以變化。在其他實施例中，關(guān)聯(lián)于展示用戶的位置的認知的動作的任何性質(zhì)可以是可變的，以提供虛擬角色體現(xiàn)的認知的不同級別。另外，認知的不同級別可以由展示用戶的位置的認知的活動的各種組合來定義。例如，認知的一個級別可以由在用戶的方向上的虛擬角色注視來定義。而認知的另一個級別可以由在用戶的方向上的虛擬角色注視以及在用戶的方向上的移動的組合來定義。本領(lǐng)域技術(shù)人員應(yīng)該理解，在發(fā)明的各種實施例中，指示用戶的位置的認知的動作的各種組合中的任何一種可以用來定義認知的不同級別。此外，展示認知的動作的性質(zhì)和這樣的動作的組合可以整合以便定義可以由虛擬角色體現(xiàn)的用戶的位置的認知的各種級別。雖然已經(jīng)參考具體動作的表演描述了認知的各種級別，但應(yīng)該明白，認知的級別也可以指示采取指示用戶的位置的認知的具體動作的能力的變化，而無論該具體動作是否實際上由虛擬角色表演。因此，例如，認知的一個級別可以由有能力注視在用戶的方向上的虛擬角色定義。但是，注視在用戶的方向上的虛擬角色的表演除非由用戶的活動(諸如移動、手勢、聲音或其他活動)觸發(fā)而實際上可以不發(fā)生。在發(fā)明的各種實施例中，可以通過進行指示用戶的位置的認知的給定動作的能力來對虛擬角色定義認知的級別，而無論該給定動作是否實際上進行。虛擬角色展示的用戶的位置的認知的級別可以隨著時間改變。此認知級別的變化可以由用戶的具體動作引起，或可以對依賴于或獨立于用戶的動作的變化程度發(fā)生。在一些實施例中，認知級別隨著時間的變化是離散的。在其他實施例中，認知級別隨著時間的變化是連續(xù)的。在再其他實施例中，認知級別隨著時間的變化可以體現(xiàn)離散和連續(xù)改變的組
口 ο參考圖12A，依據(jù)發(fā)明的實施例，示出認知對時間的曲線圖，圖示虛擬角色的認知隨著時間的離散改變。如所示，該曲線圖的區(qū)域120圖示認知的基本級別。此認知的基本級別可以實際上指示虛擬角色將不體現(xiàn)用戶的位置的認知，或者虛擬角色將體現(xiàn)用戶的位置的最小量認知。在區(qū)域121，虛擬角色體現(xiàn)用戶的位置的認知的第一級別。在區(qū)域122，虛擬角色體現(xiàn)用戶的位置的認知的第二級別。并且，在區(qū)域123，虛擬角色體現(xiàn)用戶的位置的認知的第三級別。在一個實施例中，認知的第一、第二和第三級別定義由虛擬角色體現(xiàn)的用戶的位置的認知的增大級別。例如，第一級別可以由在用戶的方向上的虛擬角色注視定義。第二級別可以附加包括在用戶的方向上的虛擬角色移動。并且，第三級別可以進一步包括在用戶的方向上的虛擬角色打手勢。在發(fā)明的各種實施例中，認知的任何具體級別可以由動作或由動作的組合或者采取展示用戶的位置的認知的這樣的動作的能力來定義。認知的級別定義的各種動作和/或能力在一些實施例中對于增大級別而可以是附加或累加的，或在其他實施例中而可以是對不同級別而不同的。參考圖12B，依據(jù)發(fā)明的實施例，示出認知對時間的曲線圖，其圖示虛擬角色體現(xiàn)的用戶的認知的級別的變化。如所示，虛擬角色所展示的認知的級別以連續(xù)方式、隨著時間的各種區(qū)域改變，在時間的各種區(qū)域中，認知的級別改變或維持穩(wěn)定狀態(tài)。例如，在區(qū)域130和134中，虛擬角色的認知的級別逐漸增大。在區(qū)域131和135中，虛擬角色的認知的級別達到頂峰，而在區(qū)域132和136中，虛擬角色的認知的級別逐漸下降。在區(qū)域133和137中，虛擬角色的認知的級別維持恒定狀態(tài)。僅通過示例而不是限制的方式提供前述所示實施例。在發(fā)明的各種實施例中，虛擬角色體現(xiàn)的認知的級別可以在任何數(shù)量的級別之間變化。認知的級別可以正在持續(xù)地改變，體現(xiàn)認知的恒定級別的時間周期，體現(xiàn)連續(xù)和離散改變的混合等。在一些實施例中，虛擬角色可以在體現(xiàn)的用戶的認知的級別上體現(xiàn)周期變化。例如，虛擬角色可以配置以體現(xiàn)認知的不同級別之間的振蕩變化。或者，在其他實施例中，虛擬角色可以體現(xiàn)以周期方式發(fā)生的其他類型的變化。此外，認知的級別或這樣的級別的變化可以聯(lián)系到用戶體驗的各種方面。例如，如果用戶正在玩游戲，則虛擬角色體現(xiàn)的認知的級別可以取決于玩游戲的時期(stage)或響應(yīng)于用戶的動作、選擇或某個其他活動而改變。因此，通過示例，在一個實施例中，在游戲的一個階段或時期期間，虛擬角色體現(xiàn)用戶的認知的特定級別，而在游戲的另一階段或時期期間，虛擬角色體現(xiàn)認知的不同級別。在玩游戲的階段或時期中的變化的示例可以包括這樣的轉(zhuǎn)換如虛擬角色到具體區(qū)域的移動、目標的完成、前進到游戲的新級別、開始新任務(wù)、用具體設(shè)備/物品/武器等裝備虛擬角色，或玩游戲時的任何其他類型的變化，以便可以配置以引起虛擬角色體現(xiàn)的用戶的認知的級別中的變化。從認知的一個級別到另一個級別的轉(zhuǎn)換可以是離散的或連續(xù)的。在一些實施例中，可以基于虛擬角色從事的活動來確定認知的級別。因此，在一個活動中，虛擬角色可以體現(xiàn)認知的特定級別，而對于另一活動，虛擬角色可以體現(xiàn)認知的不同級別。在一個實施例中，可以為給定活動、地點、時期或認知的其他決定因素提供認知簡檔，該認知簡檔指示認知的級別和關(guān)聯(lián)于各種輸入的認知的級別的變化或關(guān)聯(lián)于虛擬角色的參數(shù)的變化。例如，在一個實施例中，當虛擬角色位于給定區(qū)域中時，對應(yīng)認知簡檔可以指定由虛擬角色體現(xiàn)的用戶的認知的級別可以具有特定范圍。而當虛擬角色位于不同區(qū)域中時，那個區(qū)域的對應(yīng)認知簡檔可以指定與虛擬角色體現(xiàn)的認知的級別不同的范圍。這僅是認知簡檔的實現(xiàn)的一個示例，并且本領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的其他實施例中，認知簡檔可以應(yīng)用于關(guān)聯(lián)于虛擬角色或用戶的各種類型的參數(shù)中的任何一種，諸如地點、活動、級別、時期、輸入等。參考圖12C，依據(jù)發(fā)明的實施例，示出認知對時間的曲線圖。曲線138.1圖示隨著時間由虛擬角色體現(xiàn)的用戶的認知的級別。在發(fā)明的各種實施例中，隨著時間監(jiān)控的虛擬角色的認知可以用來借助增強現(xiàn)實環(huán)境影響用戶體驗的其他方面中的變化。例如，音量級別可以涉及認知的級別。在一個實施例中，音量可以配置以隨著認知的級別的增大而增大?；蛘撸T如包含虛擬角色的區(qū)域之類的增強現(xiàn)實的具體部分的音量級別可以配置以涉及認知的級別。在另一實施例中，縮放級別可以涉及認知的級別。例如，在一個實施例中，當認知的級別增大時，增強現(xiàn)實場景的用戶的視圖可以在虛擬角色上放大。在再其他實施例中，增強現(xiàn)實場景的用戶的體驗的各種其他方面可以由虛擬角色體現(xiàn)的認知的級別中的變化影響。例如，在一些實施例中，由認知的級別可以影響增強現(xiàn)實場景的色彩方案。在一個實施例中，增強現(xiàn)實場景或虛擬角色的色彩飽和的級別涉及虛擬角色體現(xiàn)的認知的級別。例如，色彩飽和可以隨著認知的級別的增大而增大?；蛘?，在另一實施例中，圍繞虛擬角色的區(qū)域的色彩飽和可以配置以隨著認知的級別的增大而下降，因此加強增強現(xiàn)實場景內(nèi)的虛擬角色的視覺顯示。可以由認知的級別影響的增強現(xiàn)實場景的用戶體驗的方面的前述示例僅通過示例提供而不是限制的方式。在本發(fā)明的其他實施例中，增強現(xiàn)實場景的用戶體驗的任何方面都可以配置以基于認知的級別中的變化而改變。在各種實施例中，由認知的級別影響的增強現(xiàn)實場景的方面與認知的級別之間的關(guān)系可以具有任何類型的關(guān)系。繼續(xù)參考圖12C，曲線138. 2、138. 3、138. 4和138. 5圖示用于基于認知的級別控制增強現(xiàn)實場景的方面的曲線。例如，增強現(xiàn)實場景的方面可以直接地或線性地相關(guān)于認知的級別。曲線138. 2圖示這樣的實施例，該曲線138. 2通過添加常數(shù)到認知曲線138.1的級別上生成。曲線138. 3也圖示這樣的關(guān)系，該曲線138. 3通過將認知曲線138.1的級別乘以常數(shù)生成。在其他實施例中，要控制的增強現(xiàn)實的方面的關(guān)系對認知的級別翻轉(zhuǎn)。曲線138. 4圖示這樣的實施例，該曲線138. 4代表曲線138.1的翻轉(zhuǎn)。在本發(fā)明的其他實施例中，其他類型的關(guān)系可以用來基于虛擬角色體現(xiàn)的認知的級別來控制增強現(xiàn)實體驗的方面。例如，可以根據(jù)認知曲線的級別的一階導(dǎo)數(shù)控制增強現(xiàn)實體驗的方面。曲線138. 5圖示認知曲線138.1的級別的一階導(dǎo)數(shù)。在一個實施例中，一階導(dǎo)數(shù)直接用來控制增強現(xiàn)實體驗的方面。在另一實施例中，可以以預(yù)測方式使用一階導(dǎo)數(shù)以預(yù)期認知的將來級別，并且相應(yīng)地調(diào)整增強現(xiàn)實體驗的方面。增強現(xiàn)實場景的方面和認知的級別之間的關(guān)系的類型的前述示例僅通過示例而不是以限制的方式提供。在本發(fā)明的其他實施例中，該關(guān)系可以是根據(jù)其來基于認知的級別控制增強現(xiàn)實場景的方面的任何類型的關(guān)系。參考圖13A，依據(jù)發(fā)明的實施例，示出用于使得虛擬角色傳遞用戶的認知的方法。在方法操作140中，初始化與計算機程序的用戶互動性。該計算機程序配置以接收由手持的或以其他方式與用戶連接或關(guān)聯(lián)的便攜式設(shè)備的相機拍攝真實環(huán)境的所捕獲圖像流，并生成包括虛擬角色的增強現(xiàn)實圖像流。增強現(xiàn)實圖像流在便攜式設(shè)備上向用戶顯示。在方法操作142中，做出關(guān)于用戶是否正與虛擬角色互動的確定。如果確定不存在與虛擬角色的互動，則該方法停止或繼續(xù)檢查這樣的互動，直到確定用戶正在與虛擬角色互動為止。如果確定用戶正與虛擬角色互動，則方法前進到方法操作144，其中在用戶與虛擬角色互動期間檢測來自用戶的傳感器數(shù)據(jù)。傳感器數(shù)據(jù)可以包括對確定用戶和/或便攜式設(shè)備的位置、朝向及其變化有用的各種類型的數(shù)據(jù)的任何一種。例如，傳感器數(shù)據(jù)可以包括便攜式設(shè)備的相機拍攝的所捕獲圖像流、來自諸如加速度計、磁力計或陀螺儀的運動傳感硬件的數(shù)據(jù)和來自對跟蹤用戶的位置有用的其他類型的傳感器的數(shù)據(jù)。在方法操作146中，所檢測的傳感器數(shù)據(jù)用來在與虛擬角色互動期間跟蹤用戶的位置。在方法操作148中，在與虛擬角色互動期間檢測虛擬角色的位置。并且，在方法操作150中，識別在該用戶與該角色互動期間在用戶的位置與虛擬角色的位置之間的相對定位。在方法操作152中，識別互動性的背景。所識別出的互動性的背景可以包括涉及用戶與虛擬角色互動的該背景的各種特征和屬性中的任何一種。例如，背景可以包括如日期時間、虛擬角色的地點、互動的設(shè)置(諸如玩游戲的階段或時期)、現(xiàn)實和虛擬兩者的物品的存在或缺失等的屬性。在方法操作154中，對互動性的背景識別信令屬性。在方法操作156中，在互動期間施加該信令屬性到虛擬角色以通過該虛擬角色傳遞用戶的認知。參考圖13B，依據(jù)發(fā)明的實施例，示出圖示用于虛擬角色展示該虛擬角色知道人類在他的世界中的哪里的方法的流程圖。根據(jù)該方法，虛擬角色通過各種傳感器的使用確定人類相對于它自己在哪里。當該人類身體繞著虛擬角色移動時，該虛擬角色進行展示角色知道人類在他的世界中的哪里的各種動作。在方法操作158.1中，集中來自各種傳感器的數(shù)據(jù)輸入。各種傳感器可以包括加速度計、全球定位系統(tǒng)(GPS)、陀螺儀、磁力計、相機和對確定位置和移動有用的其他類型的傳感器。傳感器可以包括在用戶手持的便攜式設(shè)備中，或者以其他方式與人類在同一位置?；蛘撸谄渌麑嵤├?，傳感器可以通過其他機構(gòu)與人類定位在同一位置上，諸如通過附著在人類的身體或衣服上。在方法操作158. 2中，進行確定相對虛擬世界原點的人類位置的處理。虛擬世界可以參考真實世界中的標記或定位器定位和定向?？梢詰?yīng)用諸如SLAM的定位方法或一些其他類型的定位方法以使能相對虛擬世界原點的人類位置的確定。在方法158. 3中，確定相對人類位置的虛擬角色的位置。在方法操作158. 4中，將虛擬角色的信令屬性定向為朝向人類。該信令屬性是進行以展示角色知道人類在他的世界中的哪里的虛擬角色的動作。例如，身體朝向、頭部朝向、眼睛朝向、武器朝向或聲音朝向以及其他類型的信號屬性，可以定向為朝向人類以展示虛擬角色知道人類位于哪里。參考圖14，依據(jù)發(fā)明的實施例，示出圖示便攜式設(shè)備10的組件的示圖。該便攜式設(shè)備10包括用于執(zhí)行程序指令的處理器160。出于存儲目的而提供存儲器162，并且可以包括易失性和非易失性存儲器兩者。包括提供用戶可以觀看的視覺界面的顯示器164。電池166作為便攜式設(shè)備10的電源來提供。運動檢測模塊186可以包括各種類型的運動敏感硬件中的任何一種，諸如，磁力計170、加速度計172和陀螺儀174。加速度計是用于測量加速度和重量引起的反作用力的設(shè)備。單個和多個軸模型可用于檢測不同方向上的加速度的量值和方向。加速度計用于感應(yīng)傾角、顫動和抖動。在一個實施例中，使用三個加速度計172來提供重力的方向，其給出2個角度的絕對參考(世界空間俯仰(pitch)和世界空間滾轉(zhuǎn)(roll))。磁力計測量控制器附近的磁場的強度和方向。在一個實施例中，在控制器中使用三個磁力計170，確保世界空間偏轉(zhuǎn)(yaw)角的絕對參考。在一個實施例中，設(shè)計磁力計以跨越±80微特斯拉的地球磁場。磁力計受金屬影響，并提供與實際偏轉(zhuǎn)單調(diào)的偏轉(zhuǎn)測量。由于環(huán)境中的金屬的緣故，磁場可以扭曲(warp),這引起偏轉(zhuǎn)測量的偏離(warp)。如果必要，則可以使用來自諸如陀螺儀或相機的其他傳感器的信息來校準此偏離。在一個實施例中，加速度計172與磁力計170 —同使用以獲得便攜式設(shè)備10的傾角和方位角(azimuth)。陀螺儀是基于角動量的原理測量或維持朝向的設(shè)備。在一個實施例中，三個陀螺儀基于慣性傳感提供關(guān)于越過各自軸(x、y和z)的運動的信息。陀螺儀幫助檢測快速旋轉(zhuǎn)。但是，陀螺儀可以隨著時間(overtime)漂移(drift)而無絕對參考的存在。這要求周期性地重置陀螺儀，這可以使用諸如基于對象的視覺跟蹤、加速度計、磁力計等的位置/朝向確定的其他可用信息來實現(xiàn)。提供相機176用于捕獲真實環(huán)境的圖像和圖像流。在便攜式設(shè)備10中可以包括多于一個的相機，包括背面相機(當用戶正在觀看便攜式設(shè)備的顯示器時遠離用戶地指向)和正面相機(當用戶正在觀看便攜式設(shè)備的顯示器時朝著用戶指向)。另外，可以在便攜式設(shè)備中包括深度相機178用于傳感對象在真實環(huán)境中的深度信息。便攜式設(shè)備10包括用于提供音頻輸出的揚聲器180。同樣,可以包括麥克風182,用于從真實環(huán)境捕獲音頻，包括來自周圍環(huán)境的聲音、用戶做出的語音等。便攜式設(shè)備10包括用于提供觸覺反饋給用戶的觸覺反饋模塊184。在一個實施例中，觸覺反饋模塊184能夠引起便攜式設(shè)備10的移動和/或顫動以向用戶提供觸覺反饋。提供LED 186作為便攜式設(shè)備10的狀況的視覺指示器。例如，LED可以指示電量、電源接通等。提供讀卡器188以使得便攜式設(shè)備190能夠從存儲器卡讀取信息和向存儲器卡寫入信息。包括USB接口 190作為使能外圍設(shè)備的連接或與諸如其他便攜式設(shè)備、計算機等的其他設(shè)備的連接的接口的一個示例。在便攜式設(shè)備10的各種實施例中，可以包括各種類型的接口中的任何一種以使能便攜式設(shè)備10的更大的連接性。包括WiFi模塊192以使能經(jīng)由無線聯(lián)網(wǎng)技術(shù)與因特網(wǎng)的連接。同樣，便攜式設(shè)備10包括用于使能與其他設(shè)備的無線連接的藍牙模塊194。也可以包括通信鏈路196，用于與其他設(shè)備的連接。在一個實施例中，通信鏈路196使用紅外傳輸用于無線通信。在其他實施例中，通信鏈路196可以使用用于與其他設(shè)備通信的各種無線或有線的傳輸協(xié)議中的任何一種。包括輸入按鈕/傳感器198以為用戶提供輸入接口?？梢园ǜ鞣N類型的輸入接口中的任何一種，諸如，按鈕、觸摸板、操縱桿、軌跡球等。超聲通信模塊200可以包括在便攜式設(shè)備10中，用于經(jīng)由超聲技術(shù)方便與其他設(shè)備的通信。便攜式設(shè)備10的前述組件已經(jīng)僅作為包括在便攜式設(shè)備10中的示例性組件描述。在發(fā)明的各種實施例中，便攜式設(shè)備10可以或可以不包括各種前述組件的一些。出于方便這里描述本發(fā)明的方面的目的，便攜式設(shè)備10的實施例可以附加地包括目前未描述而現(xiàn)有技術(shù)中已知的其他組件。前述便攜式設(shè)備及其包括的組件構(gòu)成用于初始化與計算機程序的互動性的裝置，以及用于確定與虛擬角色的交互的裝置。便攜式設(shè)備構(gòu)成用于在與虛擬角色交互期間檢測來自用戶的傳感數(shù)據(jù)的裝置，以及在與虛擬角色交互期間使用傳感器數(shù)據(jù)跟蹤用戶位置的裝置。便攜式設(shè)備構(gòu)成用于在與虛擬角色交互期間檢測虛擬角色的位置的裝置，以及用于在用于與虛擬角色交互期間識別用戶的位置和虛擬角色的位置之間的相對位置的裝置。便攜式設(shè)備構(gòu)成用于識別交互性的背景的裝置，以及用于識別交互性的背景的信令屬性的裝置。另外，便攜式設(shè)備構(gòu)成用于施加信令屬性到虛擬角色以在交互期間通過虛擬角色傳遞用戶的認知的裝置。本發(fā)明的實施例可以以包括手持設(shè)備、微處理器系統(tǒng)、基于微處理器或可編程的消費電子設(shè)備、微型計算機、大型機等的各種計算機系統(tǒng)配置實施。發(fā)明也可以在由通過基于有線的或無線的網(wǎng)絡(luò)鏈接的遠程處理設(shè)備進行任務(wù)的分布式計算環(huán)境中實施。借助于記憶中的以上實施例，應(yīng)當明白，本發(fā)明可以采用包括存儲在計算機系統(tǒng)中的數(shù)據(jù)的各種計算機實現(xiàn)的操作。這些操作是要求物理量的物理處理的那些操作。這里描述的形成發(fā)明的一部分的任何操作都是有用的機器操作。本發(fā)明也涉及用于進行這些操作的設(shè)備或裝置。該裝置可以是為了要求的目的而特別構(gòu)建的，或者該裝置可以是由存儲在計算機中的計算機程序選擇性激活或配置的通用目的計算機。特別地，各種通用目的機器可以與依據(jù)這里的教導(dǎo)寫出的計算機程序一起使用，或者更方便的是構(gòu)建更專門的裝置來進行要求的操作。本發(fā)明也可以具體化為計算機可讀介質(zhì)上的計算機可讀代碼。該計算機可讀介質(zhì)是可以存儲數(shù)據(jù)的任何數(shù)據(jù)存儲設(shè)備，該數(shù)據(jù)可以在以后由計算機系統(tǒng)讀取。計算機可讀介質(zhì)的示例包括硬盤驅(qū)動器、網(wǎng)絡(luò)附連存儲器(NAS)、只讀存儲器、隨機訪問存儲器、⑶-ROM、⑶-RXD-RW、磁盤和其他光學和非光學數(shù)據(jù)存儲設(shè)備。計算機可讀介質(zhì)可以包括分布在網(wǎng)絡(luò)耦接計算機系統(tǒng)上的計算機可讀有形介質(zhì)，從而計算機可讀代碼以分布式存儲和執(zhí)行。盡管以特殊順序描述了方法操作，但應(yīng)當明白，其他內(nèi)務(wù)操作可以在操作之間進行，或者可以調(diào)整操作從而它們在略微不同的時間出現(xiàn)，或可以分布在允許以關(guān)聯(lián)于處理的各種間隔的處理操作的出現(xiàn)的系統(tǒng)中，只要以所要的方式進行疊加操作的處理。盡管出于理解清晰的目的已經(jīng)在一定詳細程度上描述了前述發(fā)明，但應(yīng)該明白，可以在所附權(quán)利要求的范圍內(nèi)實施特定改變和改進。因此，本實施例認為是示意性而非限制性的，并且發(fā)明不限制于這里給出的細節(jié)，而是可以在所附權(quán)利要求范圍和其等效物內(nèi)修改。
權(quán)利要求
1.一種用于使得虛擬角色展示用戶的位置或活動的認知的方法，所述方法包括， 通過檢測便攜式設(shè)備的位置來檢測用戶的位置，所述便攜式設(shè)備與所述用戶基本上在同一位置，由所述用戶控制所述便攜式設(shè)備的位置和移動，所述便攜式設(shè)備包括相機和顯示器； 在所述相機中捕獲真實世界場景的第一圖像流； 基于所述第一圖像流生成第二圖像流，所述第二圖像流包括通過將虛擬角色插入在所述第一圖像流中捕獲的真實世界場景而形成的增強現(xiàn)實場景，所述虛擬角色配置以進行指示所述用戶的位置或活動的認知的動作； 在所述便攜式設(shè)備的顯示器上顯示第二圖像流。
2.如權(quán)利要求1的所述方法，其中，所述虛擬角色到所述真實世界場景的插入包括所述虛擬角色在所述真實世界場景中識別出的表面上的放置。
3.如權(quán)利要求1的所述方法，其中，所述便攜式設(shè)備的位置的檢測包括識別所述第一圖像流內(nèi)的定位器，所述定位器在所述便攜式設(shè)備的移動期間被跟蹤。
4.如權(quán)利要求3的所述方法，其中，所述定位器從由所述真實世界場景內(nèi)的一個或多個增強現(xiàn)實標簽或一個或多個特征構(gòu)成的組中選擇。
5.如權(quán)利要求1的所述方法，其中，指示認知的動作的表演自動發(fā)生，而不要求來自所述用戶的命令。
6.如權(quán)利要求1的所述方法，其中，指示認知的所述動作包括調(diào)整所述虛擬角色的觀看方向。
7.如權(quán)利要求6的所述方法，其中，所述觀看方向的調(diào)整是在所述便攜式設(shè)備的位置的方向上，并且進一步包括: 隨著所述便攜式設(shè)備在三維空間中移動而持續(xù)地更新所述觀看方向的調(diào)整。
8.如權(quán)利要求7的所述方法，其中，所述虛擬角色的觀看方向的調(diào)整包括所述虛擬角色的頭部和眼睛的調(diào)整，以注視在所述便攜式設(shè)備的方向上。
9.如權(quán)利要求5的所述方法，其中，所述觀看方向的調(diào)整是在所述便攜式設(shè)備的相機所指向的位置的方向上。
10.一種用于使得虛擬角色展示用戶的位置或活動的認知的方法，所述方法包括， 在便攜式設(shè)備的相機中捕獲真實世界場景的第一圖像流，所述便攜式設(shè)備與所述用戶基本上在同一位置，由所述用戶控制所述便攜式設(shè)備的位置和移動； 識別和跟蹤在所述第一圖像流中的一個或多個標記； 基于一個或多個標記的跟蹤來跟蹤所述便攜式設(shè)備的位置和朝向； 基于所述第一圖像流生成第二圖像流，所述第二圖像流描繪參考所述第一圖像流中的標記而定位的虛擬現(xiàn)實場景，所述虛擬現(xiàn)實場景包括虛擬角色，配置以進行指示所述用戶的位置或活動的認知的動作； 在所述便攜式設(shè)備的顯示器上顯示所述第二圖像流。
11.如權(quán)利要求10的所述方法，其中，所述標記從由所述真實世界場景內(nèi)的一個或多個增強現(xiàn)實標簽或一個或多個特征構(gòu)成的組中選擇。
12.如權(quán)利要求10的所述方法，其中，指示認知的動作的表演自動發(fā)生，而不要求來自所述用戶的命令。
13.如權(quán)利要求10的所述方法，其中，指示認知的所述動作包括調(diào)整所述虛擬角色的觀看方向。
14.如權(quán)利要求13的所述方法，其中，所述觀看方向的調(diào)整是在所述便攜式設(shè)備的位置的方向上，并且進一步包括: 隨著所述便攜式設(shè)備在三維空間中移動而持續(xù)地更新所述觀看方向的調(diào)整。
15.如權(quán)利要求14的所述方法，其中，所述虛擬角色的觀看方向的調(diào)整包括所述虛擬角色的頭部或眼睛的調(diào)整，以注視在所述便攜式設(shè)備的方向上。
16.一種用于提供與虛擬角色的用戶互動性的方法，所述方法包括， 初始化與計算機程序的用戶互動性； 確定與所述計算機程序的虛擬角色的用戶互動； 在所述用戶與所述虛擬角色互動期間檢測來自所述用戶的傳感器數(shù)據(jù)； 使用所述傳感器數(shù)據(jù)跟蹤用戶的位置； 在所述用戶與所述虛擬角色互動期間檢測虛擬角色的位置； 在所述用戶與虛擬角色互動期間識別所述用戶的位置與所述虛擬角色的位置之間的相對定位； 識別所述用戶與所述虛擬角色的互動的背景； 識別用于所述用戶與所述虛擬角色的互動的背景的信令屬性； 將該信令屬性施加到所述虛擬角色以通過所述虛擬角色傳遞用戶的認知。
17.如權(quán)利要求16的所述方法，其中，所述計算機程序提供虛擬現(xiàn)實環(huán)境，所述虛擬現(xiàn)實環(huán)境包括所述虛擬角色；并且 其中，與所述計算機程序的用戶互動性包括與所述虛擬環(huán)境的互動性。
18.如權(quán)利要求16的所述方法，其中，所述計算機程序提供增強現(xiàn)實環(huán)境，所述增強現(xiàn)實環(huán)境包括所述虛擬角色；并且 其中，與所述計算機程序的用戶互動性包括與所述增強現(xiàn)實環(huán)境的互動性。
19.如權(quán)利要求16的所述方法，其中，所述傳感器數(shù)據(jù)包括由所述用戶控制的便攜式設(shè)備所捕獲的圖像流；并且 其中，所述用戶的位置的跟蹤包括所述圖像流內(nèi)的標記的識別和跟蹤以使能所述便攜式設(shè)備的位置的確定。
20.如權(quán)利要求16的所述方法，其中，從由現(xiàn)實世界環(huán)境內(nèi)的地點、虛擬環(huán)境內(nèi)的地點、所述計算機程序內(nèi)的平臺構(gòu)成的組中選擇所述用戶與所述虛擬角色的互動的背景。
21.如權(quán)利要求16的所述方法，其中，從由所述虛擬角色的觀看方向的調(diào)整、所述虛擬角色的移動、所述虛擬角色的手勢構(gòu)成的組中選擇所述信令屬性。
全文摘要
提供用于使得增強現(xiàn)實角色能夠維持并體現(xiàn)觀察者的認知的方法和系統(tǒng)。由用戶手持的便攜式設(shè)備被用來捕獲真實環(huán)境的圖像流，并生成包括虛擬角色的增強現(xiàn)實圖像流。在便攜式設(shè)備上向用戶顯示該增強現(xiàn)實圖像流。當用戶控制該便攜式設(shè)備時，持續(xù)跟蹤其位置和移動。虛擬角色配置以通過例如調(diào)整其凝視以注視在該便攜式設(shè)備的方向上來展示用戶的認知。
文檔編號G06F1/16GK103079661SQ201180027017
公開日2013年5月1日 申請日期2011年2月14日 優(yōu)先權(quán)日2010年3月30日
發(fā)明者T.米勒, G.維辛格 申請人:索尼電腦娛樂美國公司