專利名稱：增強現(xiàn)實系統(tǒng)的制作方法
增強現(xiàn)實系統(tǒng)
背景技術：
增強現(xiàn)實(AR)關注于將真實世界和計算機產生的數(shù)據(jù)進行合并，特別是將計算機圖形對象實時混入真實鏡頭中，以向末端用戶顯示。AR的范圍已擴展到包括非視覺增強和更廣的應用領域中，如廣告、導航和娛樂等。在提供將包括圖像和非視覺增強數(shù)據(jù)在內的這種計算機產生的數(shù)據(jù)無縫合成到真實世界場景方面，存在日益增長的興趣。

發(fā)明內容
在示例中，一種增強現(xiàn)實系統(tǒng)可以包括:增強現(xiàn)實引擎，被配置為通過將真實世界圖像和虛擬對象加以合成來提供增強現(xiàn)實圖像；以及消息處理單元，被配置為接收與所述虛擬對象有關的消息，以及將所述虛擬對象的空間屬性轉換為聲音文件的音頻屬性。在示例中，在增強現(xiàn)實系統(tǒng)控制下執(zhí)行的方法可以包括:接收與虛擬對象有關的消息；以及將所述虛擬對象的空間屬性轉換為聲音文件的音頻屬性。在示例中，一種計算機可讀存儲介質可以包括使得處理器執(zhí)行以下動作的內容:接收與虛擬對象有關的消息；以及將所述虛擬對象的空間屬性轉換為聲音文件的音頻屬性。前述發(fā)明內容僅是說明性的，且預期不受到各種形式的限制。除了上述說明性方案、實施例和特征之外，通過參考附圖和以下具體實施方式
，其他方案、實施例和特征將變得顯而易見。



通過以下描述和所附權利要求，結合附圖，本公開的前述和其他特征將變得更完全顯而易見。請理解，這些附圖僅示出了根據(jù)本公開的若干實施例，且因此不應將其視為對其范圍進行了限制，將通過使用附圖來以額外的特征和細節(jié)描述本公開，在附圖中:圖1示出了增強現(xiàn)實系統(tǒng)的說明性示例的示意框圖；圖2示出了要由增強現(xiàn)實系統(tǒng)處理的真實世界圖像的說明性示例；圖3示出了由增強現(xiàn)實系統(tǒng)所產生的增強現(xiàn)實圖像的說明性示例；圖4示出了包括主動消息在內的增強現(xiàn)實圖像的說明性示例；圖5示出了在移動設備上顯示的包括被動消息在內的增強現(xiàn)實圖像的說明性示例；圖6示出了聲音映射表的說明性示例；圖7示出了在聲音映射表中包括的函數(shù)公式的曲線的說明性示例；圖8示出了聲音映射表的說明性示例；圖9示出了由增強現(xiàn)實系統(tǒng)所產生的增強現(xiàn)實圖像的說明性示例；以及圖10示出了用于播放與虛擬對象有關的聲音文件的方法的流程圖；根據(jù)本文所述至少一些實施例來布置所有附圖。
具體實施方式
在以下具體實施方式
中，參考形成了具體實施方式
一部分的附圖。在附圖中，除非上下文另行說明，否則相似的附圖標記通常識別相似的組件。在具體實施方式
、附圖和權利要求中描述的說明性實施例不意味著是限制性的。在不脫離本文所提出的主題的精神和范圍的情況下，可以采用其他實施例，且可以進行其他改變。將容易理解:可以將如本文一般描述和附圖中示出的本公開的各方案在各種不同的配置下加以布置、替換、組合、分離、以及設計，所有這些都被本文所明確預期。
本公開大體上涉及與增強現(xiàn)實有關的方法、裝置、系統(tǒng)、設備、和計算機程序產品坐寸ο
簡而言之，大體上描述了用于處理增強現(xiàn)實圖像的系統(tǒng)的技術。在一些示例中，該系統(tǒng)可以包括用于捕獲真實世界圖像的圖像捕獲單元。在一些示例中，該系統(tǒng)可以包括用于存儲一個或多個虛擬對象的虛擬對象倉庫。在一些示例中，該系統(tǒng)可以包括增強現(xiàn)實引擎，該增強現(xiàn)實引擎用于將真實世界圖像與一個或多個虛擬對象加以合成來提供增強現(xiàn)實圖像。在一些示例中，該系統(tǒng)可以包括消息處理單元，該消息處理單元用于接收與一個或多個虛擬對象有關的消息，并轉換這種一個或多個虛擬對象的空間屬性。
圖1示出了根據(jù)本文所述至少一些實施例的增強現(xiàn)實系統(tǒng)的說明性示例的示意框圖。下面將參考圖2至5所示的說明性示例圖像來描述該增強現(xiàn)實系統(tǒng)。參見圖1，該增強現(xiàn)實系統(tǒng)可以包括:圖像捕獲單元100、增強現(xiàn)實模塊200、顯示單元300和聲音播放器400。
圖像捕獲單元100可以捕獲一個或多個真實世界圖像。作為示例，圖像捕獲單元100可以捕獲如圖2所示的真實世界圖像510，且向增強現(xiàn)實模塊200提供所捕獲的真實世界圖像510。圖像捕獲單元100可以包括(但不限于):數(shù)字相機、嵌入在移動設備中的相機、HMD (頭戴式顯示器)、光學傳感器、電子傳感器、多個這種設備或它們的任意組合。
增強現(xiàn)實模塊200可以包括:深度識別單元210、距離計算單元220、虛擬對象倉庫230、增強現(xiàn)實引擎240、消息處理單元250、用戶識別單元260、第一聲音文件倉庫270以及第二聲音文件倉庫280。
深度識別單元210可以獲得圖像捕獲單元100所捕獲的真實世界圖像的空間屬性。深度識別單元210可以計算圖2所示真實世界圖像510中的X、y和z軸，并獲得真實世界圖像510中的各種真實對象的圖像或描繪(depiction)的x、y和z坐標。為了獲得X、Y和z軸以及真實世界圖像510中各種真實對象的圖像或描繪的X、y和z坐標，深度識別單元210可以使用位置識別算法。位置識別算法可以包括(但不限于):使用平行跟蹤和映射(PTAM)方法(如 Georg Klein 和 David Murray 在“Parallel Tracking and Mappingfor Small AR Workspaces,，，In Proc.1nternational Symposium on Mixed and AugmentedReality，ISMAR’07，Nara中描述的)和/或同時本地化和映射(SLAM)方法。使用的位置識別算法可以是本領域中眾所周知的算法，且可以在不需要本文進一步說明的情況下實現(xiàn)。
距離計算單元220可以獲得用戶和虛擬對象之間的距離(即，虛擬對象相對于用戶的位置)。距離計算單元220可以使用真實世界圖像510的x、y和z軸以及其中真實對象的圖像或描繪x、y和z坐標來計算用戶和虛擬對象之間的距離和/或虛擬對象相對于用戶的位置?？梢詫⒁粋€或多個虛擬對象存儲在虛擬對象倉庫230中，并布置在真實世界圖像510中與真實對象的圖像或描繪的X、y和z坐標相對應位置上。
距離計算單元220可以計算用戶和虛擬對象之間的歐式(歐幾里得)度量，以獲得用戶和虛擬對象之間的距離。歐式度量可以是在兩個不同點之間的距離，且可以用以下公式1來表達。
權利要求
1.一種增強現(xiàn)實系統(tǒng)，包括: 增強現(xiàn)實引擎，被配置為通過將真實世界圖像和虛擬對象加以合成來提供增強現(xiàn)實圖像；以及 消息處理單元，被配置為接收與所述虛擬對象有關的消息，以及將所述虛擬對象的空間屬性轉換為聲音文件的音頻屬性。
2.根據(jù)權利要求1所述的增強現(xiàn)實系統(tǒng)，還包括被配置為播放所述聲音文件的聲音播放器。
3.根據(jù)權利要求1所述的增強現(xiàn)實系統(tǒng)，其中，所述空間屬性包括所述虛擬對象的第一空間分量、第二空間分量以及第三空間分量， 其中，所述音頻屬性包括所述聲音文件的第一音頻分量、第二音頻分量以及第三音頻分量，以及 其中，所述消息處理單元還被配置為:將所述第一空間分量、所述第二空間分量以及所述第三空間分量分別轉換為所述第一音頻分量、所述第二音頻分量以及所述第三音頻分量。
4.根據(jù)權利要求3所述的增強現(xiàn)實系統(tǒng)，其中，所述第一空間分量、所述第二空間分量以及所述第三空間分量分別包括所述虛擬對象的X軸分量、y軸分量以及z軸分量，以及 其中，所述第一音頻分量、所述第二音頻分量以及所述第三音頻分量分別包括所述聲音文件的音調分量、音高分量以及音量分量。
5.根據(jù)權利要求1所述的增強現(xiàn)實系統(tǒng)，其中，所述空間屬性包括所述虛擬對象的第一空間分量和第二空間分量，` 其中，所述音頻屬性包括所述聲音文件的第一音頻分量和第二音頻分量，以及 其中，所述消息處理單元還被配置為:將所述第一空間分量和所述第二空間分量分別轉換為所述第一音頻分量和所述第二音頻分量。
6.根據(jù)權利要求5所述的增強現(xiàn)實系統(tǒng)，其中，所述第一空間分量和所述第二空間分量分別包括所述虛擬對象的X軸分量和z軸分量，以及 其中，所述第一音頻分量和所述第二音頻分量分別包括所述聲音文件的音高分量和音量分量。
7.根據(jù)權利要求1所述的增強現(xiàn)實系統(tǒng)，其中，所述消息包括根據(jù)所述虛擬對象而產生的主動消息和根據(jù)針對所述虛擬對象的用戶輸入而產生的被動消息。
8.根據(jù)權利要求7所述的增強現(xiàn)實系統(tǒng)，還包括: 第一聲音文件倉庫，被配置為存儲第一聲音映射表；以及 第二聲音文件倉庫，被配置為存儲第二聲音映射表， 其中，所述消息處理單元還被配置為:使用所述第一聲音映射表將與所述主動消息有關的所述虛擬對象的空間屬性轉換為所述音頻屬性，以及使用所述第二聲音映射表將與所述被動消息有關的所述虛擬對象的空間屬性轉換為所述音頻屬性。
9.根據(jù)權利要求1所述的增強現(xiàn)實系統(tǒng)，還包括: 聲音文件倉庫，被配置為存儲聲音映射表， 其中，所述消息處理單元還被配置為:使用所述聲音映射表將所述空間屬性轉換為所述音頻屬性。
10.根據(jù)權利要求9所述的增強現(xiàn)實系統(tǒng)，其中，所述聲音映射表包括函數(shù)公式，所述函數(shù)公式示出了所述空間屬性之一和所述音頻屬性之一之間的關系。
11.根據(jù)權利要求1所述的增強現(xiàn)實系統(tǒng)，還包括: 深度識別單元，被配置為識別所捕獲的真實世界圖像的空間屬性；以及 距離計算單元，被配置為基于所捕獲的真實世界圖像的空間屬性來計算用戶和所述虛擬對象之間的距離。
12.根據(jù)權利要求1所述的增強現(xiàn)實系統(tǒng)，還包括: 顯示單元，被配置為顯示所述增強現(xiàn)實圖像和所述消息。
13.根據(jù)權利要求1所述的增強現(xiàn)實系統(tǒng)，還包括: 用戶識別單元，被配置為識別由圖像捕獲單元所捕獲的用戶行為。
14.一種在增強現(xiàn)實系統(tǒng)的控制下執(zhí)行的方法，所述方法包括: 接收與虛擬對象有關的消息；以及 將所述虛擬對象的空間屬性轉換為聲音文件的音頻屬性。
15.根據(jù)權利要求14所述的方法，還包括:播放所述聲音文件。
16.根據(jù)權利要求14所述的方法，其中，所述空間屬性包括所述虛擬對象的第一空間分量、第二空間分量以及第三空間分量， 其中，所述音頻屬性包括所述聲音文件的第一音頻分量、第二音頻分量以及第三音頻分量，以及 其中，所述轉換包括:將所述第一空間分量、所述第二空間分量以及所述第三空間分量分別轉換為所述第一音頻分量、所述第二音頻分量以及所述第三音頻分量。
17.根據(jù)權利要求14所述的方法，其中，所述消息包括根據(jù)所述虛擬對象而產生的主動消息和根據(jù)針對所述虛擬對象的用戶輸入而產生的被動消息。
18.根據(jù)權利要求14所述的方法，其中，所述轉換包括:使用聲音映射表將所述空間屬性轉換為所述音頻屬性。
19.一種計算機可讀存儲介質，其內容使得處理器: 接收與虛擬對象有關的消息；以及 將所述虛擬對象的空間屬性轉換為聲音文件的音頻屬性。
20.根據(jù)權利要求19所述的計算機可讀存儲介質，其中，所述內容還使得所述處理器播放所述聲音文件。
21.根據(jù)權利要求19所述的計算機可讀存儲介質，其中，所述空間屬性包括所述虛擬對象的第一空間分量、第二空間`分量以及第三空間分量， 其中，所述音頻屬性包括所述聲音文件的第一音頻分量、第二音頻分量以及第三音頻分量，以及 其中，所述內容還使得所述處理器將所述第一空間分量、所述第二空間分量以及所述第三空間分量分別轉換為所述第一音頻分量、所述第二音頻分量以及所述第三音頻分量。
22.根據(jù)權利要求19所述的計算機可讀存儲介質，其中，所述消息包括根據(jù)所述虛擬對象而產生的主動消息和根據(jù)針對所述虛擬對象的用戶輸入而產生的被動消息。
23.根據(jù)權利要求19所述的計算機可讀存儲介質，其中，所述內容還使得所述處理器:使用聲音映射表將所述空間屬性轉換為所述音頻屬性。
全文摘要
總體上描述了用于處理增強現(xiàn)實圖像的系統(tǒng)的技術。在一些示例中，一種增強現(xiàn)實系統(tǒng)可以包括增強現(xiàn)實引擎，被配置為通過將真實世界圖像和虛擬對象加以合成來提供增強現(xiàn)實圖像；以及消息處理單元，被配置為接收與所述虛擬對象有關的消息，以及將所述虛擬對象的空間屬性轉換為聲音文件的音頻屬性。
文檔編號G06F17/00GK103201731SQ201080069998
公開日2013年7月10日 申請日期2010年12月2日 優(yōu)先權日2010年12月2日
發(fā)明者倉林修一, 吉田尚史, 鷹野孝典 申請人:英派爾科技開發(fā)有限公司