專利名稱：移動(dòng)虛擬和增強(qiáng)現(xiàn)實(shí)系統(tǒng)的制作方法
移動(dòng)虛擬和增強(qiáng)現(xiàn)實(shí)系統(tǒng)技術(shù)領(lǐng)域
本發(fā)明大體上涉及消息傳輸(messaging)，具體地，涉及移動(dòng)虛擬和增強(qiáng)現(xiàn)實(shí)系統(tǒng) 中的消息傳輸。
相關(guān)申請(qǐng)的交叉引用
本申請(qǐng)涉及2007年8月M日提交的申請(qǐng)?zhí)枮?1/844538、標(biāo)題為“Mobile Virtual and Augmented Reality System” 的申請(qǐng)；2007 年 9 月 21 日提交的申請(qǐng)?zhí)枮?11/858997、標(biāo)題為"Mobile Virtual and AugmentedReality System，，的申請(qǐng)；2007 年 10 月 31 提交的申請(qǐng)?zhí)?11/930974、標(biāo)題為"Mobile Virtual and Augmented Reality System” 的申請(qǐng)；以及2007年12月21日提交的申請(qǐng)?zhí)枮?1/962139、標(biāo)題為“Mobile Virtual andAugmented Reality System，，的申請(qǐng)。
背景技術(shù)：
消息傳輸系統(tǒng)已經(jīng)使用多年，用于使用戶發(fā)送消息給彼此。目前，將消息發(fā)送到另 一個(gè)體的最簡(jiǎn)單的方式之一是將文本消息發(fā)送到個(gè)體的移動(dòng)電話上。近來，已經(jīng)提出了要 擴(kuò)展消息傳輸系統(tǒng)的能力，從而可以在特定位置給予網(wǎng)絡(luò)的用戶進(jìn)行特定留言的選項(xiàng)。例 如，在標(biāo)題為"SYSTEM AND METHOD OF ACCES SING AND RECORDINGMESSAGES AT COORDINATE WAY POINTS”的專利US6681107B2中，作者提出用戶可以在特定位置僅按下按鈕便使設(shè)備保 存物理位置。然后，用戶可以按下“記錄消息”按鈕，以允許用戶向其設(shè)備說出(speak)消 息。這個(gè)消息可以是從特定位置到用戶家的方向或者任何其它個(gè)人消息。然后，當(dāng)該消息 變?yōu)閷?duì)其它網(wǎng)絡(luò)用戶可用時(shí)，將該消息上載到網(wǎng)絡(luò)。創(chuàng)建消息的個(gè)人可以指定消息是對(duì)所 有用戶可用、還是僅對(duì)用戶設(shè)備的存儲(chǔ)器中存儲(chǔ)的人可用、還是對(duì)存儲(chǔ)器中存儲(chǔ)的人的子 集可用、或者只對(duì)單個(gè)人可用。
為了增強(qiáng)用戶關(guān)于上述類型的情境感知消息傳輸系統(tǒng)的體驗(yàn)，提供給用戶的信息 類型必須超出簡(jiǎn)單文本、圖像和視頻的范圍。因此，需要一種增強(qiáng)用戶體驗(yàn)的在情境感知消 息傳輸系統(tǒng)內(nèi)進(jìn)行消息傳輸?shù)姆椒ê脱b置。


圖1是情境感知消息傳輸系統(tǒng)的框圖。
圖2示出增強(qiáng)現(xiàn)實(shí)場(chǎng)景。
圖3示出增強(qiáng)現(xiàn)實(shí)場(chǎng)景。
圖4是圖1的服務(wù)器的框圖。
圖5是圖1的用戶設(shè)備的框圖。
圖6是示出圖1的服務(wù)器的操作的流程圖。
圖7是示出當(dāng)創(chuàng)建涂鴉(graffiti)時(shí)圖1的用戶設(shè)備的操作的流程圖。
圖8是示出當(dāng)顯示涂鴉時(shí)圖1的用戶設(shè)備的操作的流程圖。
具體實(shí)施方式
為了滿足上述需求，在此提供一種在移動(dòng)虛擬和增強(qiáng)現(xiàn)實(shí)系統(tǒng)內(nèi)進(jìn)行消息傳輸?shù)?方法和裝置。在操作期間，用戶可以創(chuàng)建“虛擬涂鴉”，其將被保留作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部 分供特定設(shè)備觀看。虛擬涂鴉將被分配給特定物理位置，或被分配給能夠移動(dòng)的對(duì)象的一 部分。然后，將虛擬涂鴉連同位置和能夠觀看涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分的個(gè)體上載 到網(wǎng)絡(luò)服務(wù)器。
當(dāng)允許觀看涂鴉的設(shè)備在該位置附近時(shí)，涂鴉將被下載到該設(shè)備，并且被顯示為 增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分。為了進(jìn)一步增強(qiáng)用戶體驗(yàn)，虛擬涂鴉可以是動(dòng)態(tài)的，并基于用戶的 偏愛而改變。例如，每個(gè)觀看者可以不同地詮釋虛擬對(duì)象和它們的相關(guān)內(nèi)容。這樣，每個(gè)用 戶將具有包含會(huì)由每個(gè)用戶定義的一組個(gè)人偏愛的檔案(profile)。當(dāng)下載并處理消息以 定制它們的外觀時(shí)，檔案管理器將參考這些檔案。如果不需要定制，則檔案管理器存儲(chǔ)未修 改的涂鴉，否則，檔案管理器執(zhí)行所需的映射以將原始虛擬對(duì)象轉(zhuǎn)換為希望的定制化對(duì)象。
在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，可以將計(jì)算機(jī)產(chǎn)生的圖像或“虛擬圖像”嵌入到用戶關(guān)于真實(shí) 世界環(huán)境的視圖中或與用戶關(guān)于真實(shí)世界環(huán)境的視圖融合，以增強(qiáng)用戶與環(huán)境的交互或?qū)?環(huán)境的認(rèn)知。在本發(fā)明中，用戶的增強(qiáng)現(xiàn)實(shí)系統(tǒng)將任何虛擬涂鴉消息與用戶關(guān)于真實(shí)世界 的視圖融合。
例如，Ed可以在酒吧給他的朋友Tom和Joe留言，建議他們嘗試“chili”。Ed可以 指定將該消息寫在虛擬啤酒杯上。沒有定制其視圖的Tom將看到寫在啤酒杯上的消息，而 其檔案包含了相較啤酒對(duì)葡萄酒的偏愛的Joe將看到寫在葡萄酒瓶上的相同的文本消息。
本發(fā)明包括一種接收和顯示虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分的方法。所述方 法包括步驟提供位置；響應(yīng)于提供位置的步驟接收虛擬涂鴉；確定用戶偏愛；并且基于用 戶偏愛修改虛擬涂鴉。最終顯示修改后的虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分。
本發(fā)明還包括一種用于向設(shè)備提供虛擬涂鴉的方法。所述方法包括步驟從第一 設(shè)備接收虛擬涂鴉連同虛擬涂鴉的位置；確定第二設(shè)備的偏愛；并且基于第二設(shè)備的偏愛 修改虛擬涂鴉。接收第二設(shè)備的位置，并且當(dāng)?shù)诙O(shè)備的位置處于虛擬涂鴉的位置附近時(shí)， 向第二設(shè)備提供修改后的虛擬涂鴉。
此外，本發(fā)明還包括一種接收和顯示虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分的裝 置。所述裝置包括發(fā)射器，用于提供位置；接收器，用于響應(yīng)于提供位置的步驟接收虛 擬涂鴉；邏輯電路，用于確定用戶偏愛，并且基于用戶偏愛修改虛擬涂鴉；以及增強(qiáng)現(xiàn)實(shí)系 統(tǒng)，用于顯示修改后的虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分。
現(xiàn)轉(zhuǎn)到附圖，其中，相同的數(shù)字表示相同的構(gòu)件。圖1是情境感知消息傳輸系統(tǒng) 100的框圖。系統(tǒng)100包括虛擬涂鴉服務(wù)器101、網(wǎng)絡(luò)103、和用戶設(shè)備105-109。在本發(fā)明的 一個(gè)實(shí)施例中，網(wǎng)絡(luò)103包括能夠支持高數(shù)據(jù)速率的下一代蜂窩網(wǎng)絡(luò)。這種系統(tǒng)包括3GPP 內(nèi)的增強(qiáng)演進(jìn)通用陸地?zé)o線接入(UTRA)或演進(jìn)通用陸地?zé)o線接入網(wǎng)絡(luò)(UTRAN)(還被稱為 EUTRA和EUTRAN)連同其它技術(shù)規(guī)格產(chǎn)生組織(諸如3GPP2的“階段2”和IEEE 802. 11、 802. 16,802. 20和802. 22的演進(jìn))中的通信系統(tǒng)的演進(jìn)。用戶設(shè)備105-109包括能夠進(jìn)行 真實(shí)世界成像并向用戶提供以虛擬涂鴉增強(qiáng)的真實(shí)世界圖像的設(shè)備。
在操作期間，用戶(例如，操作用戶設(shè)備105的用戶)確定他期望向另一用戶發(fā)送 虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分。然后，使用用戶設(shè)備105來創(chuàng)建虛擬涂鴉，并且將虛擬涂鴉與位置相關(guān)聯(lián)。用戶還向設(shè)備105提供將被允許觀看虛擬涂鴉的(一個(gè)或多個(gè))用 戶(例如，用戶107)的列表。然后，設(shè)備105使用網(wǎng)絡(luò)103將這個(gè)信息提供給虛擬涂鴉服 務(wù)器101。
服務(wù)器101周期性地監(jiān)視所有設(shè)備105-109的位置連同它們的身份，以及，當(dāng)特定 設(shè)備處于待被提供虛擬涂鴉的位置附近時(shí)，服務(wù)器101使用網(wǎng)絡(luò)103將以此信息提供給該 設(shè)備。當(dāng)特定設(shè)備處于虛擬涂鴉可用于觀看的位置附近時(shí)，設(shè)備將例如通過發(fā)出嘟嘟聲來 通知用戶。然后，用戶可以使用設(shè)備來觀看虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分。具體地， 虛擬涂鴉將嵌入用戶關(guān)于真實(shí)世界的視圖中或與用戶關(guān)于真實(shí)世界的視圖融合。應(yīng)該注意 到，在可選的實(shí)施例中，不向用戶發(fā)送通知。然后，由用戶尋找其環(huán)境中的任何虛擬涂鴉。
圖2示出增強(qiáng)現(xiàn)實(shí)場(chǎng)景。在此示例中，用戶已經(jīng)創(chuàng)建陳述“Joe，trythe porter (Joe,嘗嘗黑啤酒)”的虛擬涂鴉203，并且已經(jīng)將該涂鴉附在門的位置。如圖2所 示，真實(shí)世界的門201上不存在涂鴉。然而，如果用戶具有觀看虛擬涂鴉的權(quán)限，則他們的 增強(qiáng)現(xiàn)實(shí)觀看系統(tǒng)將示出上面具有涂鴉203的門201。因此，虛擬涂鴉并非對(duì)于系統(tǒng)100的 所有用戶都可用。涂鴉僅對(duì)被指定為(優(yōu)選由創(chuàng)建該涂鴉的個(gè)體指定)能夠觀看它的那些 用戶可用。每個(gè)設(shè)備105-109將獨(dú)特的增強(qiáng)現(xiàn)實(shí)場(chǎng)景提供給它們的用戶。例如，第一用戶 可以觀看第一增強(qiáng)現(xiàn)實(shí)場(chǎng)景，而第二用戶可以觀看完全不同的增強(qiáng)現(xiàn)實(shí)場(chǎng)景。在圖2中以 與涂鴉203不同的涂鴉205來示出。因此，第一用戶看著門201可以觀看涂鴉203，而第二 用戶看著相同的門201可以觀看涂鴉205。
盡管給出的上述示例使得在特定對(duì)象(即門201)上顯示虛擬涂鴉203，但是在本 發(fā)明的可選實(shí)施例中，虛擬涂鴉可以顯示為不附在任何對(duì)象上。例如，涂鴉可以顯示為在空 中漂浮，或者僅顯示在人的視野前方。另外，盡管圖2的虛擬涂鴉包括文本，但是虛擬涂鴉 還可以包括“虛擬對(duì)象”，諸如圖像、音頻和視頻剪輯等。
如上所述，為了進(jìn)一步增強(qiáng)用戶體驗(yàn)，虛擬涂鴉可以是動(dòng)態(tài)的，并基于用戶的偏愛 而改變。例如，每個(gè)觀看者可以不同地解釋虛擬對(duì)象和文本。這樣，每個(gè)用戶將具有包含會(huì) 由每個(gè)用戶定義的一組個(gè)人偏愛的檔案。當(dāng)下載并處理消息以定制它們的外觀時(shí)，將參考 這些檔案。如果不需要定制，則如創(chuàng)建時(shí)一樣顯示虛擬涂鴉，然而，如果期望定制，則定制虛 擬涂鴉。
這在圖3中示出。如圖3所示，第一用戶創(chuàng)建虛擬涂鴉303。虛擬涂鴉包括至少兩個(gè) 部分第一虛擬對(duì)象300(啤酒杯)連同虛擬文本301 (“try the chili (嘗嘗“chili”) ”)。 虛擬涂鴉303附在門302上，并且留給第二用戶和第三用戶觀看。沒有定制其視圖的第二 用戶將看到具有與第一用戶創(chuàng)建的相同的虛擬對(duì)象300和虛擬文本301的虛擬涂鴉303。 然而，其檔案包含其相較啤酒對(duì)葡萄酒的偏愛的第三用戶已經(jīng)指示其設(shè)備將所有啤酒相關(guān) 對(duì)象改變?yōu)槠咸丫葡嚓P(guān)對(duì)象。因此，第三用戶將看到在不同虛擬對(duì)象306(例如，葡萄酒瓶) 附近或上面寫下的相同文本301。因此，第三用戶的設(shè)備已經(jīng)替換了原始虛擬涂鴉的一部 分。
明顯地，對(duì)于能夠顯示附在特定“真實(shí)”對(duì)象上的虛擬涂鴉的任何特定設(shè)備 105-109來說，設(shè)備必須能夠識(shí)別對(duì)象的位置，然后在對(duì)象的位置處顯示涂鴉。為了實(shí)現(xiàn)此 任務(wù)有若干種方法。在本發(fā)明的一個(gè)實(shí)施例中，通過使用視覺識(shí)別來嘗試將最初創(chuàng)建的虛 擬涂鴉與用戶的當(dāng)前環(huán)境進(jìn)行匹配的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，經(jīng)由標(biāo)題為“METHOD ANDDEVICE FORAUGMENTED REALITY MES SAGE HIDING ANDREVEALING” 的 US2007/0024527 中描述的技術(shù) 來實(shí)現(xiàn)這個(gè)任務(wù)。例如，可以將用戶創(chuàng)建的虛擬涂鴉和涂鴉環(huán)境的圖像一起上載到服務(wù)器 101?？梢詫⑼盔f環(huán)境的圖像與涂鴉一起下載到用戶的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，并且當(dāng)用戶的環(huán)境與 涂鴉環(huán)境的圖像匹配時(shí)，適當(dāng)?shù)仫@示涂鴉。
在本發(fā)明的另一實(shí)施例中，通過將物理對(duì)象的物理坐標(biāo)(假設(shè)為GPS，但是也可以 是一些其它系統(tǒng))分配給虛擬涂鴉，實(shí)現(xiàn)將虛擬涂鴉附在物理對(duì)象上。必須將物理坐標(biāo)轉(zhuǎn) 換為將產(chǎn)生增強(qiáng)現(xiàn)實(shí)場(chǎng)景的3D渲染系統(tǒng)所使用的虛擬坐標(biāo)(一種這樣的3D渲染系統(tǒng)是 Java移動(dòng)3D圖形，或M3G，為在移動(dòng)設(shè)備上使用而特別設(shè)計(jì)的API)。實(shí)現(xiàn)這種坐標(biāo)轉(zhuǎn)換的 最方便的方式是將虛擬χ坐標(biāo)設(shè)置為經(jīng)度，將虛擬y坐標(biāo)設(shè)置為緯度，并且將ζ坐標(biāo)設(shè)置為 高度，因此通過將虛擬坐標(biāo)系統(tǒng)的原點(diǎn)放置在地球中心，使得點(diǎn)(0，0，0)將與投射到地球 的中心的赤道和本初子午線交叉的點(diǎn)相對(duì)應(yīng)，從而在虛擬世界中復(fù)制物理世界。還將便于 消除下述需求在每次處理虛擬涂鴉消息時(shí)，執(zhí)行從物理坐標(biāo)到虛擬坐標(biāo)的計(jì)算昂貴的轉(zhuǎn) 換。
如上所述，假設(shè)物理坐標(biāo)系統(tǒng)是GPS，但是GPS可能不總是可用的(例如，在建筑物 內(nèi)部)。在這樣的情況下，可以替換成任何其它適合的定位系統(tǒng)，例如，基于WiFi的室內(nèi)定 位系統(tǒng)。這種系統(tǒng)將提供相對(duì)于其GPS坐標(biāo)已知的固定參考點(diǎn)(\，l，Z》的位置偏移(χ。， y。，z0)。不管選擇什么坐標(biāo)系統(tǒng)，由此得到的坐標(biāo)總是能夠轉(zhuǎn)換成任何其它坐標(biāo)系統(tǒng)。
在獲得虛擬涂鴉的虛擬坐標(biāo)之后，必須為3D渲染系統(tǒng)建立視點(diǎn)，以能夠渲染虛擬 場(chǎng)景。還必須在虛擬坐標(biāo)中指定視點(diǎn)，并且視點(diǎn)完全取決于設(shè)備的物理位置和定向(即，觀 看方向)。如果視點(diǎn)面對(duì)虛擬涂鴉，則用戶將從該視點(diǎn)的角度看到虛擬涂鴉。如果用戶向虛 擬涂鴉移動(dòng)，則虛擬涂鴉將顯現(xiàn)為逐漸增大。如果用戶在適當(dāng)位置旋轉(zhuǎn)180度以背離虛擬 涂鴉，則虛擬涂鴉將不再可見且不會(huì)被顯示?？梢曰谝朁c(diǎn)通過3D渲染系統(tǒng)來自動(dòng)處理所 有這些視覺改變。
在給出包含虛擬涂鴉(在指定的虛擬坐標(biāo)處)和視點(diǎn)的虛擬場(chǎng)景的情況下，3D渲 染系統(tǒng)可以產(chǎn)生對(duì)用戶唯一的虛擬場(chǎng)景的視圖。這種虛擬場(chǎng)景必須覆蓋在真實(shí)世界的視圖 之上，以產(chǎn)生增強(qiáng)現(xiàn)實(shí)場(chǎng)景。將虛擬場(chǎng)景覆蓋到來自移動(dòng)設(shè)備的相機(jī)的真實(shí)世界的視圖上 的一種方法是，使用允許任何圖像放在虛擬場(chǎng)景后作為其背景的M3G背景對(duì)象。使用M3G 背景，可以在虛擬場(chǎng)景后放置來自相機(jī)的持續(xù)更新的幀，因此使場(chǎng)景呈現(xiàn)為覆蓋在相機(jī)輸 出上ο
在給出上述信息的情況下，確定設(shè)備的位置，并將其發(fā)送到服務(wù)器。服務(wù)器確定如 果有的話什么消息在設(shè)備附近且對(duì)設(shè)備可用。然后，這些消息被設(shè)備下載并進(jìn)行處理。所 述處理包括將虛擬消息的物理位置轉(zhuǎn)換為虛擬坐標(biāo)。然后，將這些消息放置在那些虛擬坐 標(biāo)處。同時(shí)，使用設(shè)備的位置和其定向來定義在虛擬世界以及在虛擬坐標(biāo)中的視點(diǎn)。如果 下載的虛擬消息從給出的視點(diǎn)是可見的，則在移動(dòng)設(shè)備的顯示器上在來自該設(shè)備的相機(jī)的 場(chǎng)景的直播視頻的上面渲染該虛擬消息。
因此，如果用戶想要將虛擬消息放置在對(duì)象的上面，則用戶必須識(shí)別將留有消息 的對(duì)象的上面的點(diǎn)的位置。在最簡(jiǎn)單的情況下，用戶能夠?qū)⑵湓O(shè)備放置在該對(duì)象上并捕獲 位置。然后，用戶將這個(gè)位置以及虛擬對(duì)象和其相關(guān)內(nèi)容(例如，啤酒杯以及施加到啤酒杯 的面向南方一側(cè)的文本消息“try the porter (嘗嘗黑啤酒)”)發(fā)送到服務(wù)器。用戶還指定消息對(duì)特定用戶可用。當(dāng)特定用戶到達(dá)酒吧且處于消息的范圍內(nèi)時(shí)，他將從他們的位置 (并由此從他們的視點(diǎn))處看到該消息。如果他們正在朝著消息的面向東方一側(cè)看去，則他 們將看到啤酒杯，但是僅能夠說在南方一側(cè)存在某些文本消息。如果用戶期望讀取文本消 息，則他們必須移動(dòng)他們的設(shè)備(因此移動(dòng)他們的視點(diǎn))，以使面對(duì)啤酒杯的南方一側(cè)。
圖4是圖1的服務(wù)器的框圖。顯然地，服務(wù)器101包括全局對(duì)象管理器401、數(shù)據(jù) 庫403、和個(gè)人對(duì)象管理器405。在操作期間，全局對(duì)象管理器401將從期望在服務(wù)器101上 存儲(chǔ)涂鴉的任何設(shè)備105-109接收虛擬涂鴉。優(yōu)選地通過接收器407無線接收這種信息。 全局對(duì)象管理器401負(fù)責(zé)存儲(chǔ)系統(tǒng)100內(nèi)存在的所有虛擬涂鴉。與虛擬涂鴉一起，全局對(duì) 象管理器401還將接收該涂鴉的位置，以及允許顯示該涂鴉的設(shè)備的列表。再次，優(yōu)選地通 過接收器407無線接收這種信息。如果該涂鴉待附在(移動(dòng)或固定的)特定項(xiàng)上，則還將 接收將虛擬涂鴉附在對(duì)象上所需的信息。對(duì)于第一實(shí)施例，將存儲(chǔ)固定項(xiàng)的周圍環(huán)境的數(shù) 字表示；對(duì)于第二實(shí)施例，將存儲(chǔ)移動(dòng)或固定的虛擬涂鴉的物理位置。上述所有信息都存儲(chǔ) 在數(shù)據(jù)庫403中。
盡管在圖4中僅示出一個(gè)個(gè)人對(duì)象管理器405，但是可以想到的是，每個(gè)用戶設(shè)備 將擁有它自己的個(gè)人對(duì)象管理器405。個(gè)人對(duì)象管理器405意圖用作其相應(yīng)用戶設(shè)備與全 局對(duì)象管理器401之間的中介。個(gè)人對(duì)象管理器405將周期性地接收其相應(yīng)用戶設(shè)備的位 置。一旦個(gè)人對(duì)象管理器405已經(jīng)確定設(shè)備的位置，則個(gè)人對(duì)象管理器405將訪問全局對(duì) 象管理器401，以確定在特定設(shè)備的位置處或者在特定設(shè)備的位置附近是否存在用于該設(shè) 備的任何虛擬涂鴉。個(gè)人對(duì)象管理器405對(duì)所有可用虛擬涂鴉進(jìn)行過濾，以確定僅與特定 設(shè)備和該設(shè)備的位置相關(guān)的虛擬涂鴉。然后，個(gè)人對(duì)象管理器405基于設(shè)備的位置向該設(shè) 備提供顯示虛擬涂鴉需要的相關(guān)信息，其中，所述相關(guān)的虛擬涂鴉基于設(shè)備的身份和位置 而改變。通過指令發(fā)射器409向該設(shè)備無線地發(fā)射該信息，以向該設(shè)備提供這種信息。
圖5是圖1的用戶設(shè)備的框圖。如所示，用戶設(shè)備包括增強(qiáng)現(xiàn)實(shí)系統(tǒng)515、情境感 知電路509、檔案數(shù)據(jù)庫507、涂鴉數(shù)據(jù)庫508、邏輯電路505、發(fā)射器511、接收器513、和用 戶接口 517。情境感知電路509可以包括能夠產(chǎn)生用戶設(shè)備的當(dāng)前情境的任何設(shè)備。例如， 情境感知電路509可以包括能夠確定用戶設(shè)備的位置的GPS接收器。可選地，情境感知電 路509可以包括如下物件，諸如時(shí)鐘、能夠確定環(huán)境溫度的溫度計(jì)、諸如心率(heart-rate) 監(jiān)視器的生物測(cè)定監(jiān)視器、加速度計(jì)、氣壓計(jì)等。
在操作期間，設(shè)備的用戶通過用戶接口 517創(chuàng)建虛擬涂鴉。虛擬涂鴉優(yōu)選地但非 必須包括至少兩個(gè)部分虛擬對(duì)象和內(nèi)容。虛擬對(duì)象是3D對(duì)象模型，例如，其可以是表示 化身的簡(jiǎn)單多邊形或復(fù)雜多面體。內(nèi)容優(yōu)選地是文本，預(yù)存儲(chǔ)的圖像，諸如剪貼畫、圖片、照 片、音頻或視頻剪輯等。虛擬對(duì)象和其相關(guān)內(nèi)容包括涂鴉數(shù)據(jù)庫508中存儲(chǔ)的虛擬涂鴉。在 本發(fā)明的一個(gè)實(shí)施例中，用戶接口 517包括能夠從涂鴉數(shù)據(jù)庫508獲得虛擬對(duì)象并創(chuàng)建手 寫的消息和/或圖片的電子板。
一旦邏輯電路505從用戶接口 517或涂鴉數(shù)據(jù)庫508接收到虛擬涂鴉，則邏輯電 路505訪問情境感知電路509并且確定該涂鴉被創(chuàng)建的位置(對(duì)于固定涂鴉)或者虛擬涂 鴉將被附著到的設(shè)備(對(duì)于移動(dòng)涂鴉)。邏輯電路505還接收具有觀看該涂鴉的權(quán)限的用 戶的列表。還通過用戶接口 517向邏輯電路505提供此列表。
在本發(fā)明的一個(gè)實(shí)施例中，虛擬涂鴉與物理對(duì)象相關(guān)聯(lián)。當(dāng)在這種情況下時(shí)，邏輯電路505還接收將該涂鴉附在對(duì)象上所需的信息。最終，通過邏輯電路505指示發(fā)射器 511發(fā)射虛擬涂鴉、位置、能夠觀看涂鴉的用戶的列表以及如果在相關(guān)聯(lián)情況下將該涂鴉附 在對(duì)象上所需的信息，從而向虛擬涂鴉服務(wù)器101提供虛擬涂鴉。如上所述，服務(wù)器101周 期性地監(jiān)視所有設(shè)備105-109的位置連同它們的身份，并且當(dāng)特定設(shè)備處于待被提供虛擬 涂鴉的位置附近時(shí)，服務(wù)器101使用網(wǎng)絡(luò)103以向該設(shè)備提供這種信息。
當(dāng)特定設(shè)備處于虛擬涂鴉可用于觀看的位置附近時(shí)，設(shè)備將例如通過指示用戶接 口 517發(fā)出嘟嘟聲來通知用戶。然后，用戶可以使用設(shè)備來觀看虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng) 景的一部分。因此，當(dāng)圖5的設(shè)備在虛擬涂鴉可用于該設(shè)備的位置附近時(shí)，接收器513將從 服務(wù)器101接收該涂鴉和該涂鴉的位置。如果相關(guān)聯(lián)，則接收器513還將接收將該涂鴉附 在物理對(duì)象上所需的信息。這種信息將傳遞到邏輯電路505。
如上所述，每個(gè)用戶設(shè)備包括檔案數(shù)據(jù)庫507，所述檔案數(shù)據(jù)庫507包含會(huì)由每個(gè) 用戶定義的一組個(gè)人偏愛。個(gè)人偏愛可以是例如
·以第二類型的對(duì)象替換第一類型的對(duì)象；
·以第二大小的類似對(duì)象替換第一大小的對(duì)象；
·以第二顏色方案的類似對(duì)象替換第一顏色方案的對(duì)象；
為了可讀性以第二大小的文本替換第一大小的文本；
為了可讀性以第二字體的文本替換第一字體的文本；
·以較高分辨率的圖像替換較低分辨率的圖像；
·以第二格式(例如wav)的音頻文件替換第一格式(例如mp3)的音頻文件。
當(dāng)下載和處理虛擬涂鴉時(shí)，邏輯電路505 (用作檔案管理器)將訪問個(gè)人偏愛以定 制該涂鴉的外觀。任何定制的涂鴉將存儲(chǔ)在涂鴉數(shù)據(jù)庫508內(nèi)。如果不需要定制，則邏輯 電路505僅在涂鴉數(shù)據(jù)庫508內(nèi)存儲(chǔ)涂鴉。
邏輯電路505周期性地訪問情境感知電路509以獲得對(duì)位置的更新，并且向服務(wù) 器101提供這些更新。當(dāng)邏輯電路505確定應(yīng)該顯示虛擬涂鴉時(shí)，將該事實(shí)通知給用戶。然 后，用戶可以使用增強(qiáng)現(xiàn)實(shí)系統(tǒng)515來顯示涂鴉。更具體地，成像器503對(duì)當(dāng)前背景成像， 并將其提供給顯示器501。顯示器501還將從涂鴉數(shù)據(jù)庫508接收虛擬涂鴉，并且提供當(dāng)前 背景的圖像連同適當(dāng)顯示的涂鴉。因此，將虛擬涂鴉嵌入到用戶關(guān)于真實(shí)世界的視圖或與 用戶關(guān)于真實(shí)世界的視圖融合。
圖6是示出圖1的服務(wù)器的操作的流程圖。邏輯流程在步驟601開始，在步驟601， 全局對(duì)象管理器401從第一設(shè)備接收表示虛擬涂鴉的信息、虛擬涂鴉的位置、以及能夠觀 看虛擬涂鴉的用戶的列表。應(yīng)該注意到，可以將在步驟601接收的信息更新為現(xiàn)有信息。例 如，當(dāng)虛擬涂鴉是“移動(dòng)的”時(shí)，則全局對(duì)象管理器401可以接收對(duì)涂鴉的位置的周期性更 新。另外，當(dāng)虛擬涂鴉改變(例如心率)時(shí)，全局對(duì)象管理器401可以接收對(duì)涂鴉的周期性 更新。
繼續(xù)圖6的邏輯流程，然后，將信息存儲(chǔ)在數(shù)據(jù)庫403中(步驟60 。如上所述， 個(gè)人對(duì)象管理器405將周期性地接收包括第一設(shè)備的所有設(shè)備的位置(例如地理區(qū))(步 驟60 ，并且確定設(shè)備的位置是否在任何存儲(chǔ)的虛擬涂鴉附近(步驟607)。如果在步驟 607，個(gè)人對(duì)象管理器405確定其相應(yīng)設(shè)備(第二設(shè)備)在能夠觀看的(可以附著到第一設(shè) 備的)任何虛擬涂鴉附近，則邏輯流程繼續(xù)到步驟609，在步驟609，通過發(fā)射器409向第二設(shè)備無線發(fā)射涂鴉和用于觀看虛擬涂鴉的所需信息(例如涂鴉的位置)。
圖7是示出當(dāng)創(chuàng)建涂鴉時(shí)圖1的用戶設(shè)備的操作的流程圖。具體地，圖7的邏輯 流程示出創(chuàng)建虛擬涂鴉并該涂鴉存儲(chǔ)在服務(wù)器101上以供他人觀看所需的步驟。邏輯流程 從步驟701開始，在步驟701，用戶接口 517從用戶接收虛擬涂鴉輸入，連同具有觀看該涂 鴉的權(quán)限的設(shè)備的列表。這種情況下，虛擬涂鴉可以由用戶通過用戶接口 517輸入，或者可 以是從情境感知電路509獲得的涂鴉。例如，當(dāng)情境感知電路包括心率(heart rate)監(jiān)視 器，涂鴉可以是從電路509獲得的實(shí)際心率。
這種信息傳遞到邏輯電路505 (步驟70 。在步驟705，邏輯電路505訪問情境感 知電路509，并且檢索虛擬涂鴉的當(dāng)前位置。邏輯流程繼續(xù)到步驟707，在步驟707，邏輯電 路505指示發(fā)射器511發(fā)射位置、涂鴉的數(shù)字表示(例如，jpeg或.gif圖像)、和具有觀看 涂鴉的權(quán)限的用戶的列表。應(yīng)該注意到，在3D虛擬對(duì)象的情況下，數(shù)字表示可以包括關(guān)于 3D模型和內(nèi)容(例如，照片、音樂文件等)的URL。如果虛擬涂鴉的外觀在改變，則邏輯流 程可以繼續(xù)到可選步驟709，在步驟709，邏輯電路505周期性地更新涂鴉。
圖8是示出圖1的用戶設(shè)備的操作的流程圖。具體地，圖8的邏輯流程示出顯示 虛擬涂鴉所需的那些步驟。邏輯流程在步驟801開始，在步驟801，邏輯電路505周期性地 訪問情境感知電路509，并且向發(fā)射器511提供位置以發(fā)射到服務(wù)器101。響應(yīng)于提供位置 的步驟，在步驟803，接收器513接收觀看虛擬涂鴉所需的信息。如上所述，這種信息可以僅 包含虛擬涂鴉的大致位置連同虛擬涂鴉的表示。在其它實(shí)施例中，這種信息可以包含將虛 擬涂鴉附在對(duì)象上所需的信息。這種信息可以包括物理對(duì)象的數(shù)字表示，或虛擬涂鴉的準(zhǔn) 確位置。
在步驟805，邏輯電路505(用作檔案管理器)分析虛擬涂鴉。然后，訪問檔案數(shù)據(jù) 庫507以確定用戶偏愛(步驟806)。在步驟807，邏輯電路505確定是否應(yīng)該修改涂鴉，以 及如果不修改，則邏輯流程繼續(xù)到步驟811，否則邏輯流程繼續(xù)到步驟809。
在步驟809，邏輯電路505通過替換或修改涂鴉的一部分基于用戶偏愛適當(dāng)?shù)匦?改虛擬涂鴉。在步驟811，邏輯電路505訪問虛擬涂鴉數(shù)據(jù)庫508，并且存儲(chǔ)修改后的或未 修改的虛擬涂鴉連同顯示涂鴉所需的其它信息(例如涂鴉的位置)。對(duì)于3D情況，這包括 設(shè)備的定向以指定視點(diǎn)。最終，在步驟813，當(dāng)用戶處于適當(dāng)位置時(shí)，顯示器501 (作為增強(qiáng) 現(xiàn)實(shí)系統(tǒng)515的一部分)顯示修改后的或未修改的虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分。
盡管已經(jīng)參照特定實(shí)施例具體地顯示并描述了本發(fā)明，但是本領(lǐng)域的技術(shù)人員將 理解，在不脫離本發(fā)明的精神和范圍的情況下，可以對(duì)其進(jìn)行各種形式和細(xì)節(jié)的改變。例 如，雖然上面的描述中使得檔案數(shù)據(jù)庫507存在于用戶設(shè)備內(nèi)，本領(lǐng)域的普通技術(shù)人員將 認(rèn)識(shí)到，數(shù)據(jù)庫507可以存在于服務(wù)器101內(nèi)，并在將涂鴉提供給任何用戶之前，用服務(wù)器 101執(zhí)行涂鴉的所需修改。在此情況期間，服務(wù)器101將從第一設(shè)備接收虛擬涂鴉連同虛擬 涂鴉的位置，并且訪問數(shù)據(jù)庫507來確定第二設(shè)備的偏愛。然后，邏輯電路將基于第二設(shè)備 的偏愛來修改虛擬涂鴉。當(dāng)?shù)诙O(shè)備的位置處于虛擬涂鴉的位置附近時(shí)，將向第二設(shè)備提 供修改后的虛擬涂鴉。意圖這些改變落入所附權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一種用于接收和顯示虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分的方法，所述方法包括步驟提供位置；響應(yīng)于所述提供位置的步驟接收虛擬涂鴉； 確定用戶偏愛；基于所述用戶偏愛來修改所述虛擬涂鴉；以及 顯示修改后的虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分。
2.如權(quán)利要求1所述的方法，其中，所述確定用戶偏愛的步驟包括訪問數(shù)據(jù)庫以確定 所述用戶偏愛的步驟。
3.如權(quán)利要求1所述的方法，其中，所述修改虛擬涂鴉的步驟包括替換或修改所述虛 擬涂鴉的一部分的步驟。
4.如權(quán)利要求1所述的方法，其中，所述虛擬涂鴉包括對(duì)象和內(nèi)容。
5.如權(quán)利要求4所述的方法，其中，所述修改虛擬涂鴉的步驟包括下面步驟之一 以第二類型的對(duì)象替換第一類型的對(duì)象；以第二大小的類似對(duì)象替換第一大小的對(duì)象； 以第二顏色方案的類似對(duì)象替換第一顏色方案的對(duì)象； 以第二大小的文本替換第一大小的文本； 以第二字體的文本替換第一字體的文本； 以較高分辨率的圖像替換較低分辨率的圖像； 以第二格式的音頻文件替換第一格式的音頻文件。
6.如權(quán)利要求4所述的方法，其中，所述內(nèi)容包括文本、圖像、音頻或視頻剪輯。
7.一種用于向設(shè)備提供虛擬涂鴉的方法，所述方法包括步驟 從第一設(shè)備接收虛擬涂鴉連同所述虛擬涂鴉的位置； 確定第二設(shè)備的偏愛；基于所述第二設(shè)備的偏愛來修改所述虛擬涂鴉； 接收第二設(shè)備的位置；以及當(dāng)所述第二設(shè)備的位置處于所述虛擬涂鴉的位置附近時(shí)，向所述第二設(shè)備提供修改后 的虛擬涂鴉。
8.如權(quán)利要求7所述的方法，其中，所述確定用戶偏愛的步驟包括訪問數(shù)據(jù)庫以確定 所述用戶偏愛的步驟。
9.如權(quán)利要求7所述的方法，其中，所述修改虛擬涂鴉的步驟包括替換或修改所述虛 擬涂鴉的一部分的步驟。
10.如權(quán)利要求7所述的方法，其中，所述虛擬涂鴉包括對(duì)象和內(nèi)容。
11.如權(quán)利要求10所述的方法，其中，所述修改虛擬涂鴉的步驟包括下面步驟之一 以第二類型的對(duì)象替換第一類型的對(duì)象；以第二大小的類似對(duì)象替換第一大小的對(duì)象； 以第二顏色方案的類似對(duì)象替換第一顏色方案的對(duì)象； 以第二大小的文本替換第一大小的文本； 以第二字體的文本替換第一字體的文本；以較高分辨率的圖像替換較低分辨率的圖像； 以第二格式的音頻文件替換第一格式的音頻文件。
12.如權(quán)利要求10所述的方法，其中，所述內(nèi)容包括文本、圖像、音頻或視頻剪輯。
13.一種用于接收和顯示虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分的裝置，所述裝置包括發(fā)射器，用于提供位置；接收器，用于響應(yīng)于所述提供位置的步驟接收虛擬涂鴉；邏輯電路，用于確定用戶偏愛，并且基于所述用戶偏愛修改所述虛擬涂鴉；以及增強(qiáng)現(xiàn)實(shí)系統(tǒng)，用于顯示修改后的虛擬涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分。
14.如權(quán)利要求13所述的裝置，其中，所述用戶偏愛存在于數(shù)據(jù)庫中。
15.如權(quán)利要求13所述的裝置，其中，所述邏輯電路通過修改或替換所述虛擬涂鴉的 一部分來修改所述虛擬涂鴉。
16.如權(quán)利要求13所述的裝置，其中，所述虛擬涂鴉包括對(duì)象和內(nèi)容。
17.如權(quán)利要求16所述的裝置，其中，所述邏輯電路通過執(zhí)行下面步驟之一來修改所 述虛擬涂鴉以第二類型的對(duì)象替換第一類型的對(duì)象； 以第二大小的類似對(duì)象替換第一大小的對(duì)象； 以第二顏色方案的類似對(duì)象替換第一顏色方案的對(duì)象； 以第二大小的文本替換第一大小的文本； 以第二字體的文本替換第一字體的文本； 以較高分辨率的圖像替換較低分辨率的圖像； 以第二格式的音頻文件替換第一格式的音頻文件。
18.如權(quán)利要求16所述的裝置，其中，所述內(nèi)容包括文本、圖像、音頻或視頻剪輯。
全文摘要
用戶可以創(chuàng)建“虛擬涂鴉(203)”，其將被留給特定設(shè)備觀看作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分。虛擬涂鴉將被分配給特定物理位置，或分配給能夠移動(dòng)的對(duì)象的一部分。然后，將虛擬涂鴉連同位置和能夠觀看該涂鴉作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分的個(gè)體上載到網(wǎng)絡(luò)服務(wù)器(101)。當(dāng)允許觀看涂鴉的設(shè)備在該位置附近時(shí)，涂鴉將被下載到該設(shè)備，并且被顯示為增強(qiáng)現(xiàn)實(shí)場(chǎng)景的一部分。為了進(jìn)一步增強(qiáng)用戶體驗(yàn)，虛擬涂鴉可以是動(dòng)態(tài)的，基于用戶的偏愛而改變。
文檔編號(hào)G06Q50/00GK102037485SQ200980110066
公開日2011年4月27日 申請(qǐng)日期2009年3月16日 優(yōu)先權(quán)日2008年3月20日
發(fā)明者埃里克·R·布爾克, 弗蘭切斯卡·舒勒, 朱利葉斯·S·吉奧菲, 胡安·M·洛佩斯, 魚涵 申請(qǐng)人:摩托羅拉移動(dòng)公司