圖像生成裝置及圖像生成方法
【專利摘要】提供了一種用于經(jīng)由網(wǎng)絡(luò)向頭戴式顯示器提供云服務(wù)的圖像生成裝置。捕捉圖像接收單元(510)接收從不同方向捕捉的多個捕捉圖像。全景圖像處理單元(530)合成從不同方向捕捉的多個捕捉圖像，生成全景圖像。格式變換單元(540)將全景圖像變換成適合于頭戴式顯示器的規(guī)格的圖像格式。全景圖像傳送單元(550)將經(jīng)格式變換的全景圖像傳送給頭戴式顯示器。
【專利說明】圖像生成裝置及圖像生成方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及適用于生成要在頭戴式顯示器上顯示的圖像的裝置及方法。

【背景技術(shù)】
[0002]有這樣的游戲:在頭上佩戴連接到游戲機的頭戴式顯示器并且觀看在該頭戴式顯示器上顯示的屏幕的同時通過操作控制器等來玩。在連接到游戲機的普通固定的顯示器情況下，用戶的視場范圍伸展到顯示屏幕的外部。因此，可能無法集中于顯示屏幕，并且可能缺少沉浸在游戲中的感覺。在這方面，在佩戴頭戴式顯示器時，用戶不觀看在該頭戴式顯示器上顯示的視頻以外的任何事物。因此，增強了沉浸在視頻世界中的感覺，并且可以進一步增強游戲的娛樂質(zhì)量。
[0003]此外，當(dāng)在頭戴式顯示器上顯示全景圖像以在佩戴頭戴式顯示器的用戶旋轉(zhuǎn)頭部的同時顯示360度全景圖像或虛擬空間時，沉浸在視頻中的感覺得以進一步的增強，并且還提高了諸如游戲等應(yīng)用的可操作性。


【發(fā)明內(nèi)容】

[0004]技術(shù)問題
[0005]然而，在頭戴式顯示器上顯示全景圖像或虛擬空間需要計算能力，并且增加了在頭戴式顯示器側(cè)的處理負(fù)載。
[0006]本發(fā)明針對這樣的問題做出。本發(fā)明的目的在于提供一種可以高效地生成要在頭戴式顯示器上顯示的圖像的圖像生成裝置以及圖像生成方法。
[0007]問題的解決方案
[0008]為了解決上述問題，根據(jù)本發(fā)明的方式，提供了一種被配置為經(jīng)由網(wǎng)絡(luò)向頭戴式顯示器提供云服務(wù)的圖像生成裝置，該圖像生成裝置包括:拍攝圖像接收部件，接收在不同的拍攝方向上拍攝的多個拍攝圖像；全景圖像處理部件，通過合成在不同的拍攝方向上拍攝的多個拍攝圖像來生成全景圖像；格式變換部件，將全景圖像變換成適合于頭戴式顯示器的規(guī)格的圖像格式；以及全景圖像傳送部件，將格式變換之后的全景圖像傳送給頭戴式顯示器。
[0009]本發(fā)明的另一方式還是一種圖像生成裝置。該裝置是一種被配置為經(jīng)由網(wǎng)絡(luò)向頭戴式顯示器提供云服務(wù)的圖像生成裝置，該圖像生成裝置包括:位置信息接收部件，接收關(guān)于佩戴頭戴式顯示器的用戶的位置的信息，所述信息通過包括在頭戴式顯示器中的位置傳感器來獲得；位置關(guān)系處理部件，基于多個用戶之間的位置關(guān)系來確定多個用戶的人物之間的位置關(guān)系；三維呈現(xiàn)部件，基于所確定的人物之間的位置關(guān)系，在虛擬空間中布置多個用戶的人物，并且呈現(xiàn)該虛擬空間；以及呈現(xiàn)數(shù)據(jù)傳送部件，將關(guān)于所呈現(xiàn)的虛擬空間的信息傳送給頭戴式顯示器。
[0010]本發(fā)明的又一方式是圖像生成方法。該方法是一種用于經(jīng)由網(wǎng)絡(luò)向頭戴式顯示器提供云服務(wù)的圖像生成方法，該圖像生成方法包括:拍攝圖像接收步驟，接收在不同的拍攝方向上拍攝的多個拍攝圖像；全景圖像處理步驟，通過合成在不同的拍攝方向上拍攝的多個拍攝圖像來生成全景圖像；格式變換步驟，將全景圖像變換成適合于頭戴式顯示器的規(guī)格的圖像格式；以及全景圖像傳送步驟，將格式變換之后的全景圖像傳送給頭戴式顯示器。
[0011]本發(fā)明的又一方式還是圖像生成方法。一種用于經(jīng)由網(wǎng)絡(luò)向頭戴式顯示器提供云服務(wù)的圖像生成方法，該圖像生成方法包括:位置信息接收步驟，接收關(guān)于佩戴頭戴式顯示器的用戶的位置的信息，所述信息通過包括在頭戴式顯示器中的位置傳感器來獲得；位置關(guān)系處理步驟，基于多個用戶之間的位置關(guān)系來確定多個用戶的人物之間的位置關(guān)系；三維呈現(xiàn)步驟，基于所確定的人物之間的位置關(guān)系，在虛擬空間中布置多個用戶的人物，并且呈現(xiàn)該虛擬空間；以及呈現(xiàn)數(shù)據(jù)傳送步驟，將關(guān)于所呈現(xiàn)的虛擬空間的信息傳送給頭戴式顯示器。
[0012]要注意的是，通過在方法、裝置、系統(tǒng)、計算機程序、數(shù)據(jù)結(jié)構(gòu)、記錄介質(zhì)等之間變換本發(fā)明的表達實現(xiàn)的以上組成元件以及方式的任意組合同樣作為本發(fā)明的方式而有效。
[0013]發(fā)明的有益效果
[0014]根據(jù)本發(fā)明，可以高效地生成要在頭戴式顯示器上顯示的圖像。

【專利附圖】

【附圖說明】
[0015]圖1是頭戴式顯示器的外部視圖。
[0016]圖2是頭戴式顯示器的功能框圖。
[0017]圖3是圖像生成系統(tǒng)的配置圖。
[0018]圖4是全景圖像生成裝置的功能框圖。
[0019]圖5是視頻被多個頭戴式顯示器共享的系統(tǒng)配置圖。
[0020]圖6是虛擬空間呈現(xiàn)處理裝置的功能框圖。
[0021]圖7是輔助解釋呈現(xiàn)虛擬空間呈現(xiàn)處理過程的序列圖。
[0022]圖8是輔助詳細(xì)地解釋圖7中的針對另一用戶的位置關(guān)系的處理過程的流程圖。
[0023]圖9A是輔助解釋化身出現(xiàn)在虛擬空間中的第一用戶的化身的圖。
[0024]圖9B是輔助解釋化身出現(xiàn)在虛擬空間中的第二用戶的化身的圖。
[0025]圖9C是輔助解釋化身出現(xiàn)在虛擬空間中的第三用戶的化身的圖。
[0026]圖9D是輔助解釋化身出現(xiàn)在虛擬空間中的第四用戶的化身的圖。
[0027]圖10是輔助解釋使用戶的化身出現(xiàn)在虛擬空間中的另一示例的圖。
[0028]圖11是輔助解釋使用戶的化身出現(xiàn)在游戲屏幕上的示例的圖。
[0029]圖12是輔助解釋在虛擬空間和真實世界之間沒有地理相關(guān)性的情況下計算用戶的位置關(guān)系的得分的方法的圖。
[0030]圖13是輔助解釋在虛擬空間和真實世界之間沒有地理相關(guān)性的情況下計算用戶的位置關(guān)系的得分的方法的圖。
[0031]圖14是輔助解釋在虛擬空間和真實世界之間有地理相關(guān)性的情況下計算用戶的位置關(guān)系的得分的方法的圖。
[0032]圖15是輔助解釋在虛擬空間和真實世界之間有地理相關(guān)性的情況下計算用戶的位置關(guān)系的得分的方法的圖。

【具體實施方式】
[0033]圖1是頭戴式顯示器100的外部視圖。頭戴式顯示器100包括主體部分110、額區(qū)接觸部分120以及顳區(qū)接觸部分130。
[0034]頭戴式顯示器100是安裝在用戶的頭上以觀看在顯示器上顯示的靜止圖像、移動圖像等并且收聽從耳機輸出的聲音、音樂等的顯示裝置。
[0035]包括在頭戴式顯示器100中或者在頭戴式顯示器100的外部的諸如GPS (全球定位系統(tǒng))這樣的位置傳感器可以測量用戶的位置信息。另外，包括在頭戴式顯示器100中或者在頭戴式顯示器100的外部的姿勢傳感器可以測量諸如佩戴頭戴式顯示器100的用戶的頭部的朝向和傾斜等的姿勢信息。
[0036]主體部分110包括顯示器、位置信息獲得傳感器、姿勢傳感器、通信裝置等。額區(qū)接觸部分120和顳區(qū)接觸部分130包括能夠測量諸如用戶的體溫、脈搏、血液成分、汗液、腦電波和腦血流等生理信息的生理信息獲得傳感器。
[0037]頭戴式顯示器100還可以配備有被配置為拍攝用戶的眼睛的相機。安裝在頭戴式顯示器100上的相機可以檢測用戶的視線、瞳孔移動、眨眼等。
[0038]下面將描述生成要在頭戴式顯示器100上顯示的圖像的方法。然而，根據(jù)本實施例的圖像生成方法并不狹義地局限于頭戴式顯示器100，還可以應(yīng)用于佩戴眼鏡、眼鏡型顯示器、眼鏡型相機、耳機、耳麥(配備有麥克風(fēng)的耳機)、聽筒、耳飾、耳掛式相機、頭飾、配備有相機的頭飾、頭帶等的情況。
[0039]圖2是頭戴式顯示器100的功能框圖。
[0040]控制部件10是處理并輸出諸如圖像信號或傳感器信號的信號、指令或者數(shù)據(jù)的主處理器。輸入接口 20從觸摸面板和觸摸面板控制器接收操作信號或設(shè)置信號，并且向控制部件10提供信號。輸出接口 30從控制部件10接收圖像信號，并且使圖像信號顯示在顯不器上。背光32向液晶顯不器提供背光。
[0041]通信控制部件40經(jīng)由網(wǎng)絡(luò)適配器42或天線44通過有線或無線通信將從控制部件10輸入的數(shù)據(jù)傳送到外部。通信控制部件40還經(jīng)由網(wǎng)絡(luò)適配器42或天線44通過有線或無線通信從外部接收數(shù)據(jù)，并且將數(shù)據(jù)輸出給控制部件10。
[0042]存儲部件50臨時存儲由控制部件10處理的數(shù)據(jù)、參數(shù)和操作信號等。
[0043]GPS單元60接收來自GPS衛(wèi)星的位置信息，并且根據(jù)來自控制部件10的操作信號將位置信息提供給控制部件10。無線電單元62接收來自無線電基站的位置信息，并且根據(jù)來自控制部件10的操作信號將位置信息提供給控制部件10。
[0044]姿勢傳感器64檢測諸如頭戴式顯示器100的主體部分110的朝向和傾斜的姿勢信息。姿勢傳感器64通過適當(dāng)?shù)亟M合陀螺儀傳感器、加速度傳感器、角加速度傳感器等來實現(xiàn)。
[0045]外部輸入輸出端子接口 70是用于連接諸如USB (通用串行總線)控制器這樣的外圍裝置的接口。外部存儲器72是諸如閃速存儲器這樣的外部存儲器。
[0046]時鐘部件80根據(jù)來自控制部件10的設(shè)置信號設(shè)置時間信息。時鐘部件80向控制部件10提供時間數(shù)據(jù)。
[0047]控制部件10可以向輸出接口 30提供圖像或文本數(shù)據(jù)以在顯示器上顯示圖像或文本數(shù)據(jù)，并且向通信控制部件40提供圖像或文本數(shù)據(jù)以向外部傳送圖像或文本數(shù)據(jù)。
[0048]圖3是根據(jù)本實施例的圖像生成系統(tǒng)的配置圖。圖像生成系統(tǒng)包括頭戴式顯示器100、云服務(wù)器200以及相機300。
[0049]頭戴式顯示器100是用戶佩戴在用戶的頭上以觀看諸如靜止圖像和移動圖像的圖像的頭戴式顯示裝置的示例。頭戴式顯示器100包括使用有線LAN、無線LAN、藍(lán)牙(商標(biāo))、移動電話線路等的通信功能，并且因此能夠從外部輸入數(shù)據(jù)并且向外部輸出數(shù)據(jù)。頭戴式顯示器100經(jīng)由網(wǎng)絡(luò)400與云服務(wù)器200執(zhí)行數(shù)據(jù)通信。另外，能夠通過包括在頭戴式顯示器100中的GPS傳感器來測量用戶的位置，并且將用戶的位置信息傳送給云服務(wù)器200。另外，能夠通過包括在頭戴式顯示器100中的姿勢傳感器來測量頭戴式顯示器100的朝向和傾斜，并且將姿勢信息傳送給云服務(wù)器200。
[0050]相機300是能夠拍攝二維或三維靜止圖像或者二維或三維移動圖像的圖像數(shù)據(jù)獲得裝置的示例。相機300具有使用有線LAN、無線LAN、藍(lán)牙(商標(biāo))、移動電話線路等的通信功能，并且因此能夠從外部輸入數(shù)據(jù)并且向外部輸出數(shù)據(jù)。相機300經(jīng)由網(wǎng)絡(luò)400與云服務(wù)器200執(zhí)行數(shù)據(jù)通信。另外，相機300具有記錄諸如在拍攝時的曝光、透鏡信息和姿勢的裝置信息的功能。相機300可以將裝置信息與所拍攝的圖像數(shù)據(jù)一起傳送給云服務(wù)器200。另外，相機300可以具有使用超聲波或激光通過內(nèi)置或外部的距離傳感器測量到被拍攝的被攝物的距離的功能。相機300可以將距離信息與所拍攝的圖像數(shù)據(jù)一起傳送給云服務(wù)器200。
[0051]云服務(wù)器200將通過相機300獲得的圖像數(shù)據(jù)處理成適合于在頭戴式顯示器100上進行顯示的形式，并且將經(jīng)處理的圖像數(shù)據(jù)傳送給頭戴式顯示器100。
[0052]例如，為了支持硬件規(guī)格彼此不同的頭戴式顯示器，云服務(wù)器200可以執(zhí)行到針對關(guān)于分辨率、顯示方法、圖像質(zhì)量等的每個頭戴式顯示器優(yōu)化的數(shù)據(jù)的變換。云服務(wù)器200可以將通過相機300拍攝的圖像數(shù)據(jù)處理成最適宜顯示在頭戴顯示器上的圖像數(shù)據(jù)。云服務(wù)器200可以將通過被配置為拍攝二維圖像的多個相機拍攝的多個拍攝的圖像處理成能夠進行三維顯示的圖像數(shù)據(jù)。云服務(wù)器200可以從通過被配置為拍攝二維圖像的多個相機拍攝的多個拍攝的圖像，計算關(guān)于到被攝物的距離的數(shù)據(jù)。云服務(wù)器200可以組合通過距離傳感器獲得的距離數(shù)據(jù)和圖像數(shù)據(jù)，從而將圖像數(shù)據(jù)處理成能夠進行二維顯示的圖像數(shù)據(jù)。云服務(wù)器200可以通過將由相機300拍攝的數(shù)據(jù)拼合到一起來生成全景圖像。
[0053]因為可以在云服務(wù)器200側(cè)，通過使用云服務(wù)，將各種處理這樣地應(yīng)用于圖像，所以可以使得頭戴式顯示器100和相機300的硬件配置簡單且便宜。在將通過相機300拍攝的圖像傳送給云服務(wù)器200，并且頭戴式顯示器100接收優(yōu)化數(shù)據(jù)并顯示優(yōu)化數(shù)據(jù)時，用戶可以實時地在遠(yuǎn)程地點處觀看全景圖像。
[0054]圖4是全景圖像生成裝置500的功能框圖。在云服務(wù)器200中實現(xiàn)全景圖像生成裝置500的功能配置。全景圖像生成裝置500的部分功能配置還可以在頭戴式顯示器100或相機300中實現(xiàn)。
[0055]拍攝圖像接收部件510從相機300接收在不同的拍攝方向上拍攝的多個拍攝的圖像，并且將多個拍攝的圖像存儲在圖像數(shù)據(jù)存儲部件520中。全景圖像處理部件530通過縫合處理將在不同拍攝方向上拍攝的多個拍攝的圖像拼合到一起，從而生成全景圖像，多個拍攝的圖像存儲在圖像數(shù)據(jù)存儲部件520中。
[0056]格式變換部件540根據(jù)頭戴式顯示器100的規(guī)格變換全景圖像的分辨率、縱橫比、三維顯示數(shù)據(jù)格式等。
[0057]全景圖像傳送部件550將通過格式變換部件540變換的全景圖像數(shù)據(jù)傳送給頭戴式顯示器100。
[0058]在相機300是能夠進行全景拍攝的成像裝置的情況下，拍攝圖像接收部件510從相機300接收全景圖像，并且將全景圖像存儲在圖像數(shù)據(jù)存儲部件530中。在該情況下，不需要縫合處理。因此，格式變換部件540足以從圖像數(shù)據(jù)存儲部件520讀出全景圖像，并且根據(jù)頭戴式顯示器100的規(guī)格變換圖像格式。
[0059]在相機300具有被配置為測量到被攝物的距離的距離傳感器的情況下，拍攝圖像接收部件510與二維全景拍攝圖像一起從相機300接收距離信息，并且將二維全景拍攝圖像和距離信息存儲在圖像數(shù)據(jù)存儲部件520中。全景圖像處理部件530執(zhí)行圖像分析，使用距離信息從二維全景拍攝圖像計算視差，并且生成包括針對左眼的圖像和針對右眼的圖像的三維全景圖像。格式變換部件540根據(jù)頭戴式顯示器100的規(guī)格變換三維全景圖像的分辨率、縱橫比、顯示數(shù)據(jù)格式等。全景圖像傳送部件550將三維全景圖像傳送給頭戴式顯示器100。
[0060]另外，云服務(wù)器200的全景圖像處理部件530可以對通過相機300拍攝的實際拍攝的圖像應(yīng)用各種效果。例如，對實際拍攝的圖像應(yīng)用計算機圖形(CG)色調(diào)、動畫色調(diào)、深褐色調(diào)等。另外，全景圖像處理部件530可以生成諸如游戲人物等CG，并且通過將CG重疊在通過相機300拍攝的實際拍攝的圖像上來進行呈現(xiàn)。從而，云服務(wù)器200可以將從實際拍攝的圖像和CG的合成得到的視頻內(nèi)容分發(fā)給頭戴式顯示器100。
[0061]圖5是視頻被多個頭戴式顯示器共享的系統(tǒng)配置圖。視頻共享系統(tǒng)包括多個頭戴式顯不器10a和10b以及云服務(wù)器200。頭戴式顯不器10a和10b經(jīng)由網(wǎng)絡(luò)400與云服務(wù)器200通信數(shù)據(jù)。
[0062]頭戴式顯示器10a和10b將真實世界中的用戶位置信息傳送給云服務(wù)器200。云服務(wù)器200將反映用戶之間的位置關(guān)系的圖像數(shù)據(jù)傳送給頭戴式顯示器10a和100b。
[0063]例如，在多個用戶圍繞一個房間中的桌子坐著的情況下，云服務(wù)器200基于每個用戶的位置信息反映虛擬世界中的化身的位置信息中的真實位置信息，從而確定化身的位置，并且在虛擬空間內(nèi)呈現(xiàn)各個用戶的化身。另外，在多個用戶在電影院內(nèi)或在展品前佩戴頭戴式顯示器的情況下，可以根據(jù)真實世界中的用戶的位置將不同視點位置處的視頻分發(fā)給用戶的頭戴式顯示器。另外，在多個用戶位于不同位置處的情況下，可以以化身之間的位置關(guān)系和化身的顯示尺寸來反映用戶的位置之間的距離。
[0064]圖6是虛擬空間呈現(xiàn)處理裝置600的功能框圖。在云服務(wù)器200中實現(xiàn)虛擬空間呈現(xiàn)處理裝置600的功能配置。虛擬空間呈現(xiàn)處理裝置600的功能配置的部分也可以實現(xiàn)在頭戴式顯示器100中。
[0065]用戶位置和朝向接收部件610從頭戴式顯示器100接收關(guān)于通過包括在頭戴式顯示器100中的GPS傳感器獲得的用戶的位置的信息以及關(guān)于通過包括在頭戴式顯示器100中的姿勢傳感器獲得的用戶的頭部的朝向的信息。用戶位置和朝向接收部件610將關(guān)于用戶的位置和朝向的信息與用戶的標(biāo)識信息相關(guān)聯(lián)地存儲在用戶數(shù)據(jù)庫660中。
[0066]位置關(guān)系處理部件620從用戶數(shù)據(jù)庫660讀取關(guān)于多個用戶的位置和朝向的信息，并且確定多個用戶之間的位置關(guān)系。例如，當(dāng)兩個用戶在真實世界中彼此面對時，將兩個用戶的化身的位置和朝向確定為使得在虛擬空間中化身也彼此面對。另外，當(dāng)真實世界中的用戶A和用戶B之間的距離大于用戶A和用戶C之間的距離時，在虛擬空間中，用戶A的化身也被布置在比用戶B的化身更接近于用戶C的化身的位置處。當(dāng)用戶A和用戶B彼此面對時，用戶A的化身和用戶B的化身也做成彼此面對。當(dāng)用戶A、B和C圍繞一個物體彼此面對時，用戶A、B和C的化身的朝向也被確定為使得在虛擬空間中用戶A、B和C的化身也圍繞一個物體彼此面對。
[0067]視線方向設(shè)置部件630設(shè)置每個用戶的相機位置，或者換言之，根據(jù)用戶的真實方向設(shè)置虛擬空間中的多個用戶視線方向。例如，當(dāng)多個用戶圍繞一個物體時，用戶面對真實物體的方向被設(shè)置為虛擬空間中的用戶的視線方向。
[0068]三維呈現(xiàn)部件640從虛擬空間信息存儲部件670讀出關(guān)于虛擬空間的信息以及人物數(shù)據(jù)，并且如從每個用戶的視線方向觀看地執(zhí)行虛擬空間的三維呈現(xiàn)。在虛擬空間中合成每個用戶的化身。呈現(xiàn)數(shù)據(jù)傳送部件650將虛擬空間呈現(xiàn)數(shù)據(jù)傳送給頭戴式顯示器100。
[0069]圖7是輔助解釋虛擬空間呈現(xiàn)處理過程的序列圖。
[0070]頭戴式顯示器100初始化各種變量(SlO)。包括在頭戴式顯示器100中的GPS傳感器和姿勢傳感器測量用戶的位置和朝向(S12)。頭戴式顯示器100的通信控制部件40向云服務(wù)器200傳送關(guān)于用戶的位置和朝向的信息。
[0071 ] 云服務(wù)器200的位置關(guān)系處理部件620基于用戶的位置將用戶的人物映射到虛擬空間內(nèi)的位置(S14)。位置關(guān)系處理部件620計算對已經(jīng)被映射在虛擬空間內(nèi)的另一用戶的相對位置關(guān)系，并且確定顯示所述用戶的人物的位置和朝向(S16)。視線方向設(shè)置部件630計算所討論的用戶的相機位置，S卩，虛擬空間中的所討論的用戶的視線方向(S18)。三維呈現(xiàn)部件640如從所討論的用戶的視點方向觀看地執(zhí)行虛擬空間的三維呈現(xiàn)(S20)。呈現(xiàn)數(shù)據(jù)傳送部件650向頭戴式顯示器100傳送三維呈現(xiàn)數(shù)據(jù)。
[0072]頭戴式顯示器100顯示三維呈現(xiàn)數(shù)據(jù)(S22)。當(dāng)滿足結(jié)束條件時(S24中的是)時，結(jié)束該過程。當(dāng)不滿足結(jié)束條件時(S24中的否)，過程返回到步驟S12以重復(fù)從步驟S12以后的處理。
[0073]圖8是輔助詳細(xì)地解釋圖7中的步驟S16中的針對其他用戶的位置關(guān)系的處理過程的流程圖。
[0074]首先，確定在虛擬空間中是否已經(jīng)存在化身(S30)。當(dāng)在虛擬空間中尚未存在化身時(S30中的否)，使所討論的用戶的化身出現(xiàn)在虛擬空間中(S42)。
[0075]當(dāng)在虛擬空間中已經(jīng)存在化身時(S30中的是)，計算位置關(guān)系的得分(S32)。例如，基于真實世界中的用戶之間的距離來獲得位置關(guān)系的得分。使用真實世界中的每個用戶的位置和方向信息來確定化身之間的相對位置關(guān)系，即化身之間的距離以及一個化身相對于其他化身的方向。
[0076]將參照圖12至15描述步驟S32中的位置關(guān)系的得分的計算的示例。下面的描述由得分計算方法的示例的組成。然而，得分計算方法不限于此。
[0077]圖12和圖13是輔助解釋在虛擬空間和真實世界之間沒有地理相關(guān)性的情況下計算用戶的位置關(guān)系的得分的方法的圖。
[0078]首先，基于真實世界中的每個用戶的位置的緯度和經(jīng)度來獲得其他用戶相對于每個用戶的距離和方向。通過使用GPS數(shù)據(jù)獲得真實世界中的用戶的位置。圖12(a)示出關(guān)于真實世界中的用戶1、用戶2和用戶3的位置的緯度和經(jīng)度的數(shù)據(jù)。
[0079]圖12(b)示出在真實世界中用戶2和用戶3相對于用戶I的距離和方向。用戶2相對于用戶I的距離是Lr_12，用戶2相對于用戶I的方向是Ar_12。另外，用戶3相對于用戶I的距離是Lr_13，用戶3相對于用戶I的方向是Ar_13。此處，方向被定義為相對于緯度圈的順時針的角度。
[0080]圖12(c)類似地示出在真實世界中用戶2和用戶I相對于用戶3的距離和方向。用戶2相對于用戶3的距離是Lr_32，用戶2相對于用戶3的方向是Ar_32。另外，用戶I相對于用戶3的距離是Lr_31，用戶I相對于用戶3的方向是Ar_31。
[0081 ] 附帶地，在預(yù)先在虛擬空間中只存在一個化身的情況下，可以省略方向的計算。
[0082]接下來，基于虛擬空間中的每個用戶的位置的絕對坐標(biāo)，獲得其他用戶相對于每個用戶的距離和方向。圖13(a)示出虛擬空間中的用戶1、用戶2和用戶3的位置的絕對坐標(biāo)。
[0083]圖13(b)示出在虛擬空間中用戶2和用戶3相對于用戶I的距離和方向。用戶2相對于用戶I的距離是Lv_12，用戶2相對于用戶I的方向是Av_12。另外，用戶3相對于用戶I的距離是Lv_13，用戶3相對于用戶I的方向是Av_13。
[0084]圖13(c)類似地示出在虛擬空間中用戶2和用戶I相對于用戶3的距離和方向。用戶2相對于用戶3的距離是Lv_32，用戶2相對于用戶3的方向是Av_32。另外，用戶I相對于用戶3的距離是Lv_31，用戶I相對于用戶3的方向是Av_31。
[0085]接下來，將真實世界中的用戶之間的距離和方向與虛擬空間中的用戶之間的距離和方向相比較，以計算相關(guān)性系數(shù)。
[0086]關(guān)于用戶m和用戶η的在真實世界和虛擬空間中的位置關(guān)系的相關(guān)性系數(shù)Rmn通過下面的等式定義:
[0087]Rmn = | Lv_mn - Lr_mn | X | Av_mn - Ar_mn
[0088]其中，|a|是用于獲得值a的絕對值的運算。
[0089]相關(guān)性系數(shù)Rmn用作用戶的位置關(guān)系的得分(相關(guān)性系數(shù)越小，得分就越高，并且相關(guān)性系數(shù)越大，得分就越低)。當(dāng)相關(guān)性系數(shù)Rmn等于或小于預(yù)先設(shè)置的閾值時，真實世界和虛擬空間中的位置關(guān)系被視為是相同的。
[0090]圖14和圖15是輔助解釋在虛擬空間和真實世界之間有地理相關(guān)性的情況下計算用戶的位置關(guān)系的得分的方法的圖。
[0091]首先，基于關(guān)于真實世界中的每個用戶的位置的緯度和經(jīng)度的數(shù)據(jù)以及關(guān)于真實世界中的地理參考點的緯度和經(jīng)度的數(shù)據(jù)，獲得每個用戶相對于真實世界中地理參考點(在該情況下為東京)的距離和方向。通過使用GPS數(shù)據(jù)獲得真實世界中的用戶的位置。圖14(a)示出關(guān)于真實世界中的用戶1、用戶2、用戶3以及東京的位置的緯度和經(jīng)度的數(shù)據(jù)。
[0092]圖14(b)示出在真實世界中用戶2相對于東京的距離和方向。在真實世界中用戶2相對于東京的距離是Lr_02，在真實世界中用戶2相對于東京的方向是Ar_02。類似地，圖14(c)示出在真實世界中用戶I相對于東京的距離和方向。在真實世界中用戶I相對于東京的距離是Lr_01，在真實世界中用戶I相對于東京的方向是Ar_01。圖14(d)示出在真實世界中用戶3相對于東京的距離和方向。在真實世界中用戶3相對于東京的距離是Lr_03，在真實世界中用戶3相對于東京的方向是Ar_03。
[0093]接下來，基于虛擬空間中的每個用戶的位置的絕對坐標(biāo)和虛擬空間中的地理參考點的絕對坐標(biāo)，獲得在虛擬空間中每個用戶相對于地理參考點(在該情況下為東京)的距離和方向。圖15(a)示出虛擬空間中的用戶1、用戶2、用戶3以及東京的位置的緯度和經(jīng)度的絕對坐標(biāo)。
[0094]圖15(b)示出在虛擬空間中用戶2相對于東京的距離和方向。在虛擬空間中用戶2相對于東京的距離是Lv_02，在虛擬空間中用戶2相對于東京的方向是Av_02。類似地，圖15(c)示出在虛擬空間中用戶I相對于東京的距離和方向。在虛擬空間中用戶I相對于東京的距離是Lv_01，在虛擬空間中用戶I相對于東京的方向是Av_01。圖15(d)示出在虛擬空間中用戶3相對于東京的距離和方向。在虛擬空間中用戶3相對于東京的距離是Lv_03，在虛擬空間中用戶3相對于東京的方向是Av_03。
[0095]接下來，將真實世界中的參考點和用戶之間的距離和方向與虛擬空間中的參考點和用戶之間的距離和方向相比較，以計算相關(guān)性系數(shù)。
[0096]關(guān)于參考點和用戶m的在真實世界和虛擬空間中的位置關(guān)系的相關(guān)性系數(shù)ROm通過下面的等式定義:
[0097]ROm = | Lv_0m - Lr_0m | X | Av_0m - Ar_0m
[0098]相關(guān)性系數(shù)ROm用作用戶的位置關(guān)系的得分(相關(guān)性系數(shù)越小，得分就越高，并且相關(guān)性系數(shù)越大，得分就越低)。當(dāng)相關(guān)性系數(shù)ROm等于或小于預(yù)先設(shè)置的閾值時，真實世界和虛擬空間中的位置關(guān)系被視為是相同的。
[0099]將再次參照圖8。確定真實世界中的位置關(guān)系與虛擬空間內(nèi)的化身的位置關(guān)系是否相同(S34)。這是因為化身可以在虛擬空間內(nèi)移動，因此可能從真實位置關(guān)系偏離。比較在步驟S32中獲得的相關(guān)性系數(shù)Rmm(或ROm)與閾值Rth。當(dāng)對于所有用戶Rmn〈Rth (或者R0m<Rth)時，確定為真實世界中的位置關(guān)系和虛擬空間內(nèi)的化身的位置關(guān)系相同。當(dāng)真實世界中的位置關(guān)系和虛擬空間內(nèi)的化身的位置關(guān)系維持在預(yù)定范圍內(nèi)時(S34中的是)，使所討論的用戶的化身出現(xiàn)在虛擬空間中(S42)。
[0100]當(dāng)真實世界中的位置關(guān)系和虛擬空間內(nèi)的化身的位置關(guān)系未被維持時(S34中的否)，確定在虛擬空間中是否存在接近于用戶之間的真實位置關(guān)系的場所(S36)。當(dāng)在步驟S34中進行比較的相關(guān)性系數(shù)與閾值的比較中關(guān)于一個或多個用戶Rmn〈Rth (或R0m〈Rth)時，確定在虛擬空間中存在接近于用戶之間的真實位置關(guān)系的場所。當(dāng)在虛擬空間內(nèi)存在接近于用戶之間的真實位置關(guān)系的場所時(S36中的是)，對應(yīng)于最高得分的場所被確定為場所中的最接近的場所(S38)。例如，僅使用在步驟S34中進行比較的相關(guān)性系數(shù)和閾值的比較中滿足RmrKRth (或R0m〈Rth)的用戶的數(shù)據(jù)來確定位置。當(dāng)在虛擬空間內(nèi)沒有接近于用戶之間的真實位置關(guān)系的場所時(S36中的否)，確定適當(dāng)?shù)膱鏊珉S機位置或最后部的位置(S40)。在兩種情況下，都使所討論的用戶的化身出現(xiàn)在所確定的場所處(S42)。
[0101]圖9A至9D是輔助解釋使用戶的化身出現(xiàn)在虛擬空間中的示例的圖。下面的描述將由使四個用戶A至D的化身700a至700d出現(xiàn)在虛擬空間中的示例組成。假設(shè)四個用戶A至D處于真實世界中的不同場所。
[0102]如圖9A所示，假設(shè)用戶A已經(jīng)首先登錄到虛擬空間，化身700a因此已經(jīng)出現(xiàn)在虛擬空間內(nèi)。
[0103]假設(shè)其他用戶即用戶B、用戶C和用戶D在真實世界中以該次序位于更接近于用戶A的位置處。例如，假設(shè)用戶A位于東京，而用戶B位于橫濱，用戶C位于神戶，并且用戶D位于香港。
[0104]當(dāng)使用戶B、用戶C和用戶D的化身出現(xiàn)在虛擬空間內(nèi)時，考慮真實世界中的位置關(guān)系，首先使用戶B的化身700b如圖9B所示地出現(xiàn)，接著使用戶C的化身700c如圖9C所示地出現(xiàn)，并且最后使用戶D的化身700d如圖9D所示地出現(xiàn)。因此，位于更接近于使其化身首先出現(xiàn)的用戶之處的用戶的化身更早地出現(xiàn)，并且位于更遠(yuǎn)處的用戶的化身慢慢地出現(xiàn)。通過這樣根據(jù)用戶之間的真實距離來改變每個用戶的化身的出現(xiàn)的速度，可以在虛擬空間中反映真實世界中的距離感。
[0105]在以上描述中，對用戶A、B、C和D在遠(yuǎn)離彼此的場所處的情況給出考慮。例如當(dāng)用戶A、B、C和D在同一房間中時，可以以虛擬空間內(nèi)的化身700a、700b、700c和700d的朝向來反應(yīng)用戶A、B、C和D的朝向。例如，當(dāng)用戶A和用戶B通過用戶A和用戶B之間的桌子彼此面對時，用戶A的化身700a和用戶B的化身700b被布置在使得用戶A的化身700a和用戶B的化身700b之間通過虛擬空間內(nèi)的桌子彼此面對的位置處。
[0106]圖10是輔助解釋使用戶的化身出現(xiàn)在虛擬空間中的另一示例的圖。在圖9A至9D中，基于用戶B、C和D與首先使其化身700a出現(xiàn)在虛擬空間中的用戶A的真實位置關(guān)系，確定使用戶B、C和D的化身700b、700c和700d出現(xiàn)的次序。在圖10中，用戶B、C和D的化身700b、700c和700d乘坐交通工具出現(xiàn)。
[0107]如圖10所示，位于最近于用戶A的位置處的用戶B的化身700b騎著自行車出現(xiàn)，位于下一個最接近的位置處的用戶C的化身700c乘坐汽車出現(xiàn)，并且位于最遠(yuǎn)位置處的用戶D的化身700d乘坐飛機出現(xiàn)。通過這樣根據(jù)到使其化身首先出現(xiàn)的用戶的距離來改變化身的交通工具，可以在虛擬空間中反映真實世界中的距離感。
[0108]如圖9A至9D以及圖10所述，通過根據(jù)到使其化身首先出現(xiàn)在虛擬空間中的用戶的距離來改變其他用戶的化身出現(xiàn)的方式，用戶在頭戴式顯示器100上顯示的虛擬空間中也可以感受真實的距離感。附帶地，可以根據(jù)用戶之間的真實距離來改變化身的出現(xiàn)的速度和交通工具的類型這兩者。
[0109]圖11是輔助解釋使用戶的化身出現(xiàn)在游戲屏幕上的示例的圖。在游戲中反映從地球上的參考點(例如東京)到用戶的真實位置的距離。然而，為了避免根據(jù)用戶的真實位置的游戲中的不利之處，隨機地設(shè)置參考點，或者根據(jù)條件改變參考點。
[0110]如圖11所示，通過在盡可能地維持相互的位置關(guān)系的同時將用戶A、B、C和D的在地球上的位置映射到游戲內(nèi)的位置來顯示用戶A、B、C和D的化身700a、700b、700c和700d。在游戲中可以采取的位置是有限的。因此，用戶A、B、C和D之間的真實位置關(guān)系不需要準(zhǔn)確地對應(yīng)于化身700a、700b、700c和700d之間在虛擬空間內(nèi)的位置關(guān)系。對于真實世界中的用戶之間的距離感，一定程度地反映在虛擬空間中的化身之間的位置關(guān)系就足夠了。
[0111]如上所述，根據(jù)本實施例，通過將具有能夠檢測位置和姿勢的傳感器的頭戴式顯示器合并到云服務(wù)中，可以在虛擬空間中反映佩戴頭戴式顯示器的用戶的真實位置關(guān)系和真實姿勢，并且可以增強在頭戴式顯示器上顯示的屏幕中的沉浸感以及可操作性。另外，可以通過使用云服務(wù)器簡化在客戶端側(cè)的頭戴式顯示器的硬件配置。
[0112]以上基于本發(fā)明的實施例描述了本發(fā)明。實施例是說明性的，并且本領(lǐng)域的技術(shù)人員將理解到，實施例的組成元件和處理過程的組合容許有各種修改，并且這樣的修改也落入在本發(fā)明的范圍內(nèi)。將描述這樣的修改。
[0113]標(biāo)號列表
[0114]10控制部件；20輸入接口 ；30輸出接口 ；32背光；40通信控制部件；42網(wǎng)絡(luò)適配器；44天線；50存儲部件；60GPS單元；62無線電單元；64姿勢傳感器；70外部輸入輸出端子接口 ；72外部存儲器；80時鐘部件；100頭戴式顯示器；110主體部分；120額區(qū)接觸部分；130顳區(qū)接觸部分；200云服務(wù)器；300相機；400網(wǎng)絡(luò)；500全景圖像生面裝置；510拍攝圖像接收部件；520圖像數(shù)據(jù)存儲部件；530全景圖像處理部件；540格式變換部件；550全景圖像傳送部件；600虛擬空間呈現(xiàn)處理裝置；610用戶位置和朝向接收部件；620位置關(guān)系處理部件；630視線方向設(shè)置部件；640三維呈現(xiàn)部件；650呈現(xiàn)數(shù)據(jù)傳送部件；660用戶數(shù)據(jù)庫；670虛擬空間信息存儲部件。
[0115][產(chǎn)業(yè)適用性]
[0116]本發(fā)明可應(yīng)用于生成要在頭戴式顯示器上顯示的圖像的技術(shù)。
【權(quán)利要求】
1.一種被配置為經(jīng)由網(wǎng)絡(luò)向頭戴式顯示器提供云服務(wù)的圖像生成裝置，該圖像生成裝置包括: 拍攝圖像接收部件，接收在不同的拍攝方向上拍攝的多個拍攝圖像； 全景圖像處理部件，通過合成在不同的拍攝方向上拍攝的多個拍攝圖像來生成全景圖像； 格式變換部件，將全景圖像變換成適合于頭戴式顯示器的規(guī)格的圖像格式；以及 全景圖像傳送部件，將格式變換之后的全景圖像傳送給頭戴式顯示器。
2.根據(jù)權(quán)利要求1所述的圖像生成裝置， 其中，拍攝圖像接收部件連同拍攝圖像接收關(guān)于到被拍攝的被攝物的距離的信息；以及 全景圖像處理部件使用關(guān)于到被攝物的距離的信息來計算視差，并且生成包括針對左眼的圖像和針對右眼的圖像的三維全景圖像。
3.—種被配置為經(jīng)由網(wǎng)絡(luò)向頭戴式顯示器提供云服務(wù)的圖像生成裝置，該圖像生成裝置包括: 位置信息接收部件，接收關(guān)于佩戴頭戴式顯示器的用戶的位置的信息，所述信息通過包括在頭戴式顯示器中的位置傳感器來獲得； 位置關(guān)系處理部件，基于多個用戶之間的位置關(guān)系來確定多個用戶的人物之間的位置關(guān)系； 三維呈現(xiàn)部件，基于所確定的人物之間的位置關(guān)系，在虛擬空間中布置多個用戶的人物，并且呈現(xiàn)該虛擬空間；以及 呈現(xiàn)數(shù)據(jù)傳送部件，將關(guān)于所呈現(xiàn)的虛擬空間的信息傳送給頭戴式顯示器。
4.根據(jù)權(quán)利要求3所述的圖像生成裝置，還包含: 朝向信息接收部件，接收關(guān)于佩戴頭戴式顯示器的用戶的頭部的朝向的信息，所述信息通過包括在頭戴式顯示器中的姿勢傳感器來獲得， 其中，位置關(guān)系處理部件基于每個用戶的朝向來確定每個用戶的人物的在虛擬空間內(nèi)的朝向。
5.根據(jù)權(quán)利要求3或4所述的圖像生成裝置， 其中，三維呈現(xiàn)部件根據(jù)多個用戶之間的真實距離來改變每個用戶的人物出現(xiàn)在虛擬空間中的速度。
6.根據(jù)權(quán)利要求3至5中的任一項所述的圖像生成裝置， 其中，三維呈現(xiàn)部件根據(jù)多個用戶之間的真實距離來改變每個用戶的人物在虛擬空間中出現(xiàn)的時候所乘坐的交通工具的類型。
7.一種用于經(jīng)由網(wǎng)絡(luò)向頭戴式顯示器提供云服務(wù)的圖像生成方法，該圖像生成方法包括: 拍攝圖像接收步驟，接收在不同的拍攝方向上拍攝的多個拍攝圖像； 全景圖像處理步驟，通過合成在不同的拍攝方向上拍攝的多個拍攝圖像來生成全景圖像； 格式變換步驟，將全景圖像變換成適合于頭戴式顯示器的規(guī)格的圖像格式；以及 全景圖像傳送步驟，將格式變換之后的全景圖像傳送給頭戴式顯示器。
8.一種用于經(jīng)由網(wǎng)絡(luò)向頭戴式顯示器提供云服務(wù)的圖像生成方法，該圖像生成方法包括: 位置信息接收步驟，接收關(guān)于佩戴頭戴式顯示器的用戶的位置的信息，所述信息通過包括在頭戴式顯示器中的位置傳感器來獲得； 位置關(guān)系處理步驟，基于多個用戶之間的位置關(guān)系來確定多個用戶的人物之間的位置關(guān)系； 三維呈現(xiàn)步驟，基于所確定的人物之間的位置關(guān)系，在虛擬空間中布置多個用戶的人物，并且呈現(xiàn)該虛擬空間；以及 呈現(xiàn)數(shù)據(jù)傳送步驟，將關(guān)于所呈現(xiàn)的虛擬空間的信息傳送給頭戴式顯示器。
9.一種用于經(jīng)由網(wǎng)絡(luò)向頭戴式顯示器提供云服務(wù)的程序，該程序使計算機執(zhí)行: 拍攝圖像接收步驟，接收在不同的拍攝方向上拍攝的多個拍攝圖像； 全景圖像處理步驟，通過合成在不同的拍攝方向上拍攝的多個拍攝圖像來生成全景圖像； 格式變換步驟，將全景圖像變換成適合于頭戴式顯示器的規(guī)格的圖像格式；以及 全景圖像傳送步驟，將格式變換之后的全景圖像傳送給頭戴式顯示器。
10.一種用于經(jīng)由網(wǎng)絡(luò)向頭戴式顯示器提供云服務(wù)的程序，該程序使計算機執(zhí)行: 位置信息接收步驟，接收關(guān)于佩戴頭戴式顯示器的用戶的位置的信息，所述信息通過包括在頭戴式顯示器中的位置傳感器來獲得； 位置關(guān)系處理步驟，基于多個用戶之間的位置關(guān)系來確定多個用戶的人物之間的位置關(guān)系； 三維呈現(xiàn)步驟，基于所確定的人物之間的位置關(guān)系，在虛擬空間中布置多個用戶的人物，并且呈現(xiàn)該虛擬空間；以及 呈現(xiàn)數(shù)據(jù)傳送步驟，將關(guān)于所呈現(xiàn)的虛擬空間的信息傳送給頭戴式顯示器。
【文檔編號】A63F13/25GK104429064SQ201380035615
【公開日】2015年3月18日 申請日期:2013年4月23日 優(yōu)先權(quán)日:2012年7月11日
【發(fā)明者】大澤洋, 西牧洋一, 山岸建 申請人:索尼電腦娛樂公司