本發(fā)明涉及虛擬現(xiàn)實影像傳輸方法、虛擬現(xiàn)實影像播放方法及利用此方法的程序，更詳細而言，涉及一種通過無線通信而執(zhí)行要求高規(guī)格的虛擬現(xiàn)實內(nèi)容的實時傳輸及播放的方法或程序。

背景技術：

所謂虛擬現(xiàn)實(VR；Virtual Reality)，作為通過計算機而生成的虛擬的空間，是通過三維視覺效果而賦予現(xiàn)實性的空間。用于體現(xiàn)虛擬現(xiàn)實的技術，作為實時處理使用者的輸入而能夠獲得如同處于現(xiàn)實世界一樣的感受的技術，是超越多媒體的下一代技術。

虛擬現(xiàn)實環(huán)境不僅能夠向使用者提供逼真的投入感，從而模擬實際存在的物體，而且，使人可以體驗實際上不存在的物體或狀況。這種虛擬現(xiàn)實環(huán)境可以應用于多樣的領域。例如，從汽車設計或模擬實驗等工學領域到醫(yī)療領域、文化內(nèi)容領域，實際應用于多樣的領域。

這種虛擬現(xiàn)實(VR)根據(jù)觀察角度，混用為諸如虛擬環(huán)境(Virtual Environment)、虛擬存在(Virtual Presence)、人工世界(Artifical World)、虛擬世界(Virtual World)、網(wǎng)絡空間(Cyber space)等術語，但一般向使用者提供由計算機創(chuàng)造的、與現(xiàn)實世界類似的三維虛擬世界，提供能夠與該虛擬世界實時自由地操作的輸入手段，以及與使用者的操作對應地提供實際感覺的感覺反饋(Sensory feedback)手段，因而堪稱使得能夠進行人工體驗與經(jīng)驗的技術。

技術實現(xiàn)要素：

本發(fā)明要解決的技術問題

最近，隨著技術發(fā)展，能夠利用虛擬現(xiàn)實內(nèi)容的裝置也紛紛登場。以往，為了生成高規(guī)格的虛擬現(xiàn)實影像，在利用電線把VR播放裝置連接于臺式電腦等PC的狀態(tài)下，使用者佩戴并使用。但是，這種情形利用了電線，可以佩戴VR裝置并移動的行動半徑有限，在佩戴VR裝置而無法確認外部的狀態(tài)下，存在會發(fā)生被電線絆倒的事故等問題。另外，存在只有在有PC的情況下，才可以利用VR裝置來欣賞虛擬現(xiàn)實影像的不便。

另外，最近出現(xiàn)了一種方式，把移動終端結合于VR裝置，移動終端執(zhí)行生成VR影像所需的信息處理后，向VR裝置傳遞。這種方式是作為執(zhí)行信息處理的計算機的移動終端與進行播放的VR裝置進行有線連接，可以結合于移動終端VR裝置，可以解決因電線而發(fā)生的問題。但是，移動終端與PC相比，難以驅動高規(guī)格的程序，存在難以驅動高規(guī)格的VR游戲或播放高分辨率的VR影像的問題。

因此，本發(fā)明旨在提供一種虛擬現(xiàn)實影像傳輸方法、播放方法及利用此方法的程序，使得在信息處理裝置與VR裝置間，通過無線通信傳輸影像幀并播放，能夠不受場所及行動半徑限制，可以從高規(guī)格計算機獲得提供的VR影像。

技術方案

根據(jù)本發(fā)明一個實施例的虛擬現(xiàn)實影像傳輸方法，包括：服務器生成最初影像幀的步驟；判斷與所述最初影像幀相應的影像方向數(shù)據(jù)的步驟；在所述最初影像幀中，把所述影像方向數(shù)據(jù)結合為元信息，生成最終影像幀的步驟；及把所述最終影像幀通過無線通信傳輸給客戶端的步驟；所述客戶端是播放相當于虛擬現(xiàn)實影像的所述最終影像幀的裝置，所述影像方向數(shù)據(jù)是由所述服務器生成的影像幀的三維空間上的方向相關數(shù)據(jù)。

另外，還包括：從所述客戶端接收播放方向數(shù)據(jù)的步驟；所述影像方向數(shù)據(jù)判斷步驟的特征在于：是以所述接收的播放方向數(shù)據(jù)為基礎，決定所述影像方向數(shù)據(jù)；所述客戶端的特征在于：測量使用者的頸部移動，并獲得播放方向數(shù)據(jù)；所述播放方向數(shù)據(jù)，可以是在特定時間點，應在所述客戶端的畫面上播放的影像幀的方向相關數(shù)據(jù)。

根據(jù)本發(fā)明另一實施例的虛擬現(xiàn)實影像傳輸方法，包括：服務器獲得特定時間點的最初全體影像的步驟；從所述客戶端接收播放方向數(shù)據(jù)的步驟；在所述最初全體影像中提取與所述播放方向數(shù)據(jù)相應的最初影像幀的步驟；把所述播放方向數(shù)據(jù)決定為影像方向數(shù)據(jù)，在所述最初影像幀中，把所述影像方向數(shù)據(jù)結合為元信息，生成最終影像幀的步驟；及把所述最終影像幀通過無線通信傳輸?shù)娇蛻舳说牟襟E。所述客戶端是測量使用者的頸部移動并獲得所述播放方向數(shù)據(jù)的、播放屬于虛擬現(xiàn)實影像的所述最終影像幀的裝置，所述影像方向數(shù)據(jù)是由所述服務器生成的影像幀的三維空間上的方向相關數(shù)據(jù)，所述播放方向數(shù)據(jù)是在特定時間點，應在所述客戶端的畫面上播放的影像幀的方向相關數(shù)據(jù)。

另外，所述客戶端的特征在于：當未借助于所述客戶端而接收第2時間點的最終影像幀時，可以算出第1時間點的影像方向數(shù)據(jù)與所述第2時間點的播放方向數(shù)據(jù)的差異值，以所述差異值為基礎，補正所述第1時間點的最終影像幀；所述第2時間點可以是從所述第1時間點起，經(jīng)過所述最終影像幀的傳輸周期的時間點。

另外，所述最終影像幀生成步驟可以還包括：把所述最終影像幀變換成各個眼球用影像幀的步驟；及把所述最終影像幀變換為符合所述客戶端畫面的大小的步驟。

根據(jù)本發(fā)明又一實施例的虛擬現(xiàn)實影像播放方法，包括：客戶端從服務器接收與第1時間點相應的第1最終影像幀的步驟；如果未接收與第2時間點相應的第2最終影像幀，則比較與所述第1時間點相應的影像方向數(shù)據(jù)和與所述第2時間點相應的播放方向數(shù)據(jù)，并算出差異值的步驟；按照所述算出的差異值，補正所述第1最終影像幀，生成替代未接收的所述第2最終影像幀的第2替代影像幀的步驟；及把所述第2替代影像幀顯示于畫面的步驟。且所述影像方向數(shù)據(jù)是由所述服務器生成的影像幀的三維空間上的方向相關數(shù)據(jù)，所述播放方向數(shù)據(jù)是在特定時間點，應在所述客戶端的畫面上播放的影像幀的方向相關數(shù)據(jù)，所述最終影像幀是借助于所述服務器而把所述影像方向數(shù)據(jù)包含為元信息的影像幀，所述第2時間點是從所述第1時間點起，經(jīng)過所述最終影像幀的傳輸周期的時間點。

另外，其特征可以在于，所述第2替代影像幀生成步驟是以所述差異值為基礎，使所述第1最終影像幀移動或變換。

另外，其特征可以在于，所述播放方向數(shù)據(jù)及所述影像方向數(shù)據(jù)包括高低角數(shù)據(jù)及方位角數(shù)據(jù)，所述差異值算出步驟是算出所述第2時間點的播放方向數(shù)據(jù)與所述第1時間點的影像方向數(shù)據(jù)之間的高低角及方位角差異。

另外，所述播放方向數(shù)據(jù)及所述影像方向數(shù)據(jù)可以包括以佩戴者正面方向為軸的旋轉角度的傾斜數(shù)據(jù)，所述替代影像幀生成步驟可以還包括：以所述第2時間點的播放方向數(shù)據(jù)與所述第1時間點的影像方向數(shù)據(jù)之間的所述傾斜數(shù)據(jù)差異為基礎，旋轉并補正所述第1最終影像幀的步驟。

另外，可以還包括：如果未接收與第n時間點(n為大于2的自然數(shù))相應的最終影像幀，則比較與所述第n-1時間點相應的影像方向數(shù)據(jù)和與所述第n時間點相應的播放方向數(shù)據(jù)，并輸出差異值的步驟；及按照所述算出的差異值，補正所述第n-1替代影像幀，生成第n替代影像幀的步驟。

根據(jù)本發(fā)明又一實施例的虛擬現(xiàn)實影像傳輸或播放程序，與硬件結合，而運行所述言及的虛擬現(xiàn)實影像傳輸方法或播放方法，并存儲于介質(zhì)。

發(fā)明的效果

根據(jù)如上所述的本發(fā)明，具有如下多樣的效果。

第一，能夠彌補無線傳輸虛擬現(xiàn)實影像幀所導致的特定時間點的影像幀遺漏，具有使用者即使在未接收特定影像幀的情況下，虛擬現(xiàn)實空間的整體時間點也不晃動，可以自然地播放影像的效果。

第二，使用者即使在服務器計算機遠離的狀態(tài)下，也可以利用蜂窩通信或WLAN通信，隨時隨地欣賞不中斷的虛擬現(xiàn)實影像。

第三，能夠彌補未接收影像幀的情形，因而能夠無線傳輸虛擬現(xiàn)實影像，具有解決因連接于計算機的電線而行動受限、被電線絆倒而可能發(fā)生安全事故的問題的效果。

第四，服務器只提取并傳輸符合由客戶端請求的播放方向數(shù)據(jù)的全體影像中的一個幀，或只生成并傳輸符合播放方向數(shù)據(jù)的方向的幀即可，因而具有能夠節(jié)省無線通信的網(wǎng)絡帶寬的效果。

第五，并非以相同的數(shù)據(jù)容量傳輸關于所有方向的全體影像，而是只傳輸一個幀，因而能夠在不大量占用通信流量的同時傳輸高分辨率影像。由此，佩戴客戶端的使用者可以在遠距離處觀看高分辨率的影像。

第六，客戶端從服務器只接收要求播放的方向的影像幀，無需為了播放所需的方向而執(zhí)行客戶端在全體影像中提取播放的方向的幀的過程。由此，客戶端可以不需要高規(guī)格。

附圖說明

圖1是本發(fā)明一個實施例的虛擬現(xiàn)實影像接收發(fā)送系統(tǒng)的構成圖。

圖2是關于本發(fā)明一個實施例的虛擬現(xiàn)實影像傳輸方法的順序圖。

圖3是本發(fā)明一個實施例的關于以最初全體影像為基礎生成的虛擬現(xiàn)實影像幀的傳輸方法的順序圖。

圖4是本發(fā)明一個實施例的關于客戶端的虛擬現(xiàn)實影像播放方法的順序圖。

圖5是顯示在第2最終影像幀遺漏、未提供第2替代影像幀的情況下，通過客戶端向使用者提供的影像變化的示例圖。

圖6是根據(jù)本發(fā)明的一個實施例，客戶端以第1時間點的影像方向數(shù)據(jù)和第2時間點的播放方向數(shù)據(jù)的差異值為基礎生成的第2替代影像幀的示例圖。

圖7是顯示在客戶端移動的情況下，最終影像幀無遺漏幀地依次提供時的物體位置變化的示例圖。

圖8是根據(jù)本發(fā)明的一個實施例，反映客戶端的移動程度，提供在第1最終影像幀中補正各個物體位置的第2替代影像幀的示例圖。

符號說明

100：服務器 200：客戶端

具體實施方式

下面參照附圖，詳細說明本發(fā)明的優(yōu)選實施例。如果參照后面與附圖一同詳細敘述的實施例，本發(fā)明的優(yōu)點、特征以及達成其的方法。但是，本發(fā)明并非限定于以下公開的實施例，可以以互不相同的多樣形態(tài)體現(xiàn)，本實施例只提供用于使得本發(fā)明的公開更完全，向本發(fā)明所屬技術領域的技術人員完全地告知發(fā)明的范疇，本發(fā)明只由權利要求項的范疇定義。在通篇說明書中，相同參照符號指稱相同構成要素。

如果沒有不同的定義，則本說明書中使用的所有術語(包括技術及科學術語)可以用作本發(fā)明所屬技術領域的技術人員可以共同理解的意義。另外，對于一般使用的字典中定義的術語，只要未明確地特別定義，不得過于地或過度地解釋。

本說明書中使用的術語用于說明實施例，并非要限制本發(fā)明。在本說明書中，只要在語句上未特別提及，單數(shù)型也包括復數(shù)型。說明書中使用的“包括(comprises)”及/或“包括的(comprising)”，在言及的構成要素之外，不排除一個以上的其它構成要素的存在或額外。

下面參照附圖，對本發(fā)明實施例的虛擬現(xiàn)實影像接收發(fā)送系統(tǒng)進行說明。

圖1是本發(fā)明一個實施例的虛擬現(xiàn)實影像接收發(fā)送系統(tǒng)的構成圖。

本發(fā)明一個實施例的虛擬現(xiàn)實影像接收發(fā)送系統(tǒng)包括服務器100及客戶端200。

服務器100是生成虛擬現(xiàn)實(Virtual Reality；VR)影像的計算機。服務器100執(zhí)行在內(nèi)部執(zhí)行信息處理，生成將提供給客戶端200的VR影像的功能。例如，當VR影像驅動特定游戲而產(chǎn)生影像時，服務器100可以驅動游戲程序，生成適當?shù)挠跋駧ㄟ^無線通信傳輸給客戶端200。

另外，服務器100可以執(zhí)行在生成的VR影像中，把影像方向數(shù)據(jù)結合成元信息的功能。所述影像方向數(shù)據(jù)可以是由服務器100生成的影像幀的三維空間上的方向相關數(shù)據(jù)。

另外，服務器100可以從客戶端200接收播放方向數(shù)據(jù)。服務器100可以把即將結合于影像幀的影像方向數(shù)據(jù)決定為接收的播放方向數(shù)據(jù)，生成與播放方向數(shù)據(jù)(或影像方向數(shù)據(jù))相應的VR影像幀。

客戶端200是接收并播放屬于虛擬現(xiàn)實影像的影像幀(即，后述的最終影像幀)的裝置。即，客戶端200執(zhí)行播放從服務器100接收的VR影像幀并提供給佩戴者的功能?？蛻舳?00可以為VR裝置本身，也可以是移動終端結合于VR裝置的狀態(tài)。例如，當VR裝置與移動終端結合而構成客戶端200時，移動終端可以從服務器100接收生成的影像幀，將其通過連接的有線電線或近距離無線通信傳遞給VR裝置并顯示于畫面中。

VR裝置可以以多樣的形態(tài)體現(xiàn)。例如，VR裝置可以把包括適合于雙眼的各個影像的影像幀顯示于一個顯示部，借助于各眼球方向的魚眼鏡頭而生成為三維影像。另外，在另一實施例中，VR裝置可以具備提供符合各個眼球的影像的2個顯示部。

另外，客戶端200可以執(zhí)行測量播放方向數(shù)據(jù)的作用。所述播放方向數(shù)據(jù)可以是在特定時間點，應在所述客戶端200的畫面上播放的影像幀的方向相關數(shù)據(jù)。即，佩戴者可以把客戶端200佩戴于眼球，測量觀察的方向，將其決定為播放方向數(shù)據(jù)。例如，播放方向數(shù)據(jù)可以包括高低角數(shù)據(jù)、方位角數(shù)據(jù)或傾斜數(shù)據(jù)。客戶端200可以具備一個以上的傳感器(例如，陀螺儀傳感器、加速度傳感器、地磁傳感器等)，測量佩戴客戶端200的使用者的頭(或頸)的移動，包括高低角數(shù)據(jù)、方位角數(shù)據(jù)、傾斜數(shù)據(jù)等。另外，客戶端200可以執(zhí)行把測量的播放方向數(shù)據(jù)通過無線通信傳輸給服務器100的功能。

所述高低角數(shù)據(jù)可以意味著由水平面(例如，地面線)與客戶端200的視線方向構成的角。即，所述高低角數(shù)據(jù)可以是隨著使用者頸部的上下移動而與水平面構成的角。

所述方位角數(shù)據(jù)作為代表方位的角度，可以意味著在水平面上以特定基準方向為基準旋轉的角度。即，所述方位角數(shù)據(jù)可以因以使用者的身體(或頸部)為軸旋轉的頸部移動而變更。

所述傾斜數(shù)據(jù)可以意味著頸部以使用者的正面方向為軸旋轉的角。即，所述傾斜數(shù)據(jù)可以因使用者向左右方向的頸部移動或使用者身體的整體旋轉等而變更。

另外，客戶端200也可以測量佩戴者的移動。例如，當執(zhí)行虛擬模擬訓練或游戲時，由于使用者佩戴客戶端200進行移動，因而客戶端200可以以測量的使用者移動程度為基礎，向服務器100請求符合移動的位置的影像幀。另外，如后所述，當未接收使用者移動的特定時間點的影像幀時，客戶端200可以反映影像幀傳輸周期之間的使用者的移動程度，執(zhí)行影像幀的補正。

另外，客戶端200在通過無線通信而接收影像幀的情況下，如果特定影像幀未接收，則可以補正之前接收的影像幀，使得適合于使用者的移動，并顯示于畫面上。即，客戶端200在未接收到第2時間點的最終影像幀時，可以算出第1時間點的影像方向數(shù)據(jù)與所述第2時間點的播放方向數(shù)據(jù)的差異值，以所述差異值為基礎，補正第1時間點的最終影像幀。所述第2時間點可以是從所述第1時間點起，經(jīng)過所述最終影像幀的傳輸周期的時間點。

服務器100與客戶端200可以通過無線通信而連接。作為無線通信方式，可以利用Wi-Fi方式、蜂窩通信等。例如，當服務器100是配置于使用者所在的特定空間內(nèi)(例如，家內(nèi)部、虛擬現(xiàn)實體現(xiàn)空間內(nèi)等)的計算機時，可以通過無線AP(例如，Wi-Fi AP)執(zhí)行客戶端200與服務器100之間的通信。另外，例如，當服務器100是配置于外部遠程的計算機時，遠程服務器100可以通過蜂窩通信或LAN通信等，向客戶端200傳輸生成的影像幀。客戶端200可以通過蜂窩通信，從基站接收影像幀，或從無線AP，通過WLAN而接收影像幀。由此，如果使用者持有能無線通信的客戶端200，那么，即使不在靠近服務器100計算機的位置，也可以接收從服務器100提供的VR影像并利用。

下面參照附圖，對本發(fā)明實施例的虛擬現(xiàn)實影像傳輸方法、播放方法及程序進行說明。

當通過無線通信而傳輸虛擬現(xiàn)實影像(VR影像)時，無線通信網(wǎng)的狀態(tài)可能會不順暢，導致可能遺漏特定的影像幀。在這種情況下，佩戴者也可能會感覺如同影像幀內(nèi)的物體在晃動一樣，發(fā)生眩暈癥狀。為了解決這種問題，需要從之前時間點接收的影像幀，生成將替代遺漏的影像幀的替代影像幀，并提供給使用者。

就原有的服務器100與客戶端200通過電線的有線連接方式而言，由生成影像的服務器100計算機執(zhí)行影像補正，因而雖然不需要另外的用于補正的基準，但利用無線通信在服務器100與客戶端200之間傳輸影像幀的方式進行分工，由服務器100生成影像幀，由客戶端200彌補遺漏的特定時間點的影像幀，因而需要用于補正影像的基準。因此，下面說明服務器100用于彌補未通過無線通信接收的影像幀，使使用者不會感到影像晃動等不便的虛擬現(xiàn)實影像生成及傳輸方法和客戶端200的虛擬現(xiàn)實影像播放方法。

圖2是關于本發(fā)明一個實施例的虛擬現(xiàn)實影像傳輸方法的順序圖。

如果參照圖2，本發(fā)明一個實施例的虛擬現(xiàn)實影像傳輸方法包括：服務器100生成最初影像幀的步驟S120；判斷與所述最初影像幀相應的影像方向數(shù)據(jù)的步驟S140；在所述最初影像幀中，把所述影像方向數(shù)據(jù)結合成元信息，生成最終影像幀的步驟S160；及把所述最終影像幀通過無線通信傳輸給客戶端200的步驟S180。

服務器100生成最初影像幀S120。服務器100可以驅動內(nèi)部安裝的程序，生成最初影像幀。所述最初影像幀意味著向客戶端200發(fā)送后，當特定影像幀未接收時，未執(zhí)行彌補所需的信息處理的影像幀。例如，服務器100可以驅動游戲程序，生成游戲影像幀。

服務器100判斷與所述最初影像幀相應的影像方向數(shù)據(jù)S140。所述影像方向數(shù)據(jù)是由所述服務器100生成的影像幀的三維空間上的方向相關數(shù)據(jù)。在由服務器100生成影像之前，既可以決定影像方向數(shù)據(jù)(例如，根據(jù)提供特定方向影像的請求而確定將生成的影像方向后，生成對應的最初影像幀)，也可以生成影像幀后，決定對應的影像方向數(shù)據(jù)。

服務器100在最初影像幀中，把影像方向數(shù)據(jù)結合成元信息，生成最終影像幀S160。然后，服務器100把最終影像幀通過無線通信傳輸給客戶端200、S180。即，服務器100在客戶端200判斷與影像幀對應的方向或在下個傳輸時間點(即，第2時間點)的影像幀未被接收的情況下，可以把在最初影像幀中結合了影像方向數(shù)據(jù)的最終影像幀傳輸給客戶端200，以便能夠通過之前時間點(即，第1時間點)的影像幀補正而彌補。

客戶端200在因通信狀態(tài)不良等而未從服務器100接收第2時間點的最終影像幀時，可以算出第1時間點的影像方向數(shù)據(jù)與所述第2時間點的播放方向數(shù)據(jù)的差異值，以所述差異值為基礎，補正所述第1時間點的最終影像幀。所述第2時間點可以是從所述第1時間點起，經(jīng)過所述最終影像幀的傳輸周期的時間點。

另外，可以還包括從所述客戶端200接收播放方向數(shù)據(jù)的步驟S110。例如，如果佩戴者佩戴客戶端200進行移動，則客戶端200可以獲得關于在特定時間點應通過畫面將向使用者提供的影像幀方向的數(shù)據(jù)(例如，關于使用者頸部移動的數(shù)據(jù))，傳輸給服務器100。把借助于客戶端200而測量的數(shù)據(jù)稱為播放方向數(shù)據(jù)，服務器100可以在影像方向數(shù)據(jù)判斷步驟S120中，從客戶端200接收的播放方向數(shù)據(jù)為基礎，決定影像方向數(shù)據(jù)。即，服務器100可以把與從客戶端200接收的播放方向數(shù)據(jù)一致的方向決定為即將生成影像的方向。因此，服務器100可以把從客戶端200接收的播放方向數(shù)據(jù)設置為影像方向數(shù)據(jù)S120，生成與設置的影像方向數(shù)據(jù)相符的最初影像幀S100。

另外，所述最終影像幀生成步驟S140可以還包括：把所述最終影像幀變換成各個眼球用影像幀的步驟。為了提供三維影像，左眼用影像與右眼用影像會需要有差異。因此，服務器100可以把將傳輸給客戶端200的最終影像幀分別生成為左眼用最終影像幀及右眼用最終影像幀。

另外，所述最終影像幀生成步驟S140可以還包括：把所述最終影像幀變換為符合所述客戶端200畫面的大小的步驟。即，服務器100可以符合客戶端200畫面大小地變換影像幀的大小，以便客戶端200可以接收最終影像幀并直接播放。由此，可以使在信息處理所需規(guī)格比服務器100低的客戶端200中，在變化使得符合畫面大小的過程中可能發(fā)生的延時(delay)實現(xiàn)最小化。

圖3是關于本發(fā)明一個實施例的以最初全體影像為基礎生成的虛擬現(xiàn)實影像幀的傳輸方法的順序圖。

本發(fā)明另一實施例的虛擬現(xiàn)實影像傳輸方法包括：服務器100生成特定時間點的最初全體影像的步驟S100；從所述客戶端200接收播放方向數(shù)據(jù)的步驟S110；從所述最初全體影像提取與所述播放方向數(shù)據(jù)相應的最初影像幀的步驟S121；把所述播放方向數(shù)據(jù)決定為影像方向數(shù)據(jù)的步驟S141；在所述最初影像幀中，把所述影像方向數(shù)據(jù)結合成元信息，生成最終影像幀的步驟S160；及把所述最終影像幀通過無線通信傳輸給客戶端200的步驟S180。下面，省略對已說明步驟的具體說明。

服務器100獲得特定時間點的最初全體影像S100。所述最初全體影像可以意味著包括使用者視線朝向的所有方向的影像幀的影像。即，服務器100可以驅動內(nèi)部的特定程序，生成特定時間點的全體影像，可以在預先生成的既定時間的全體影像(例如，借助于360度攝像頭而在既定時間期間拍攝的影像)中，提取特定時間點的全體影像。

服務器100從客戶端200接收播放方向數(shù)據(jù)S110。

服務器100在所述最初全體影像中，提取與所述播放方向數(shù)據(jù)相應的最初影像幀S121。即，服務器100可以通過從客戶端200接收的播放方向數(shù)據(jù)，判斷影像幀請求的方向，在最初全體影像中，提取與所述播放方向數(shù)據(jù)相應的最初影像幀。

服務器100把所述播放方向數(shù)據(jù)決定為影像方向數(shù)據(jù)S141。即，由于提取的最初影像幀是與所述播放方向數(shù)據(jù)對應方向的影像幀，因而服務器100可以把從客戶端200接收的播放方向數(shù)據(jù)設置為所述提取的最初影像幀的影像方向數(shù)據(jù)。

服務器100在所述最初影像幀中，把所述影像方向數(shù)據(jù)結合成元信息，生成最終影像幀S160。服務器100把所述最終影像幀通過無線通信傳輸給客戶端200、S180。

圖4是關于本發(fā)明一個實施例的客戶端200的虛擬現(xiàn)實影像播放方法的順序圖。

本發(fā)明又一實施例的虛擬現(xiàn)實影像播放方法包括：客戶端200從服務器100接收與第1時間點相應的第1最終影像幀的步驟S200；如果未接收與第2時間點相應的第2最終影像幀，則比較與所述第1時間點相應的影像方向數(shù)據(jù)和與所述第2時間點相應的播放方向數(shù)據(jù)，并算出差異值的步驟S220；按照所述算出的差異值，補正所述第1最終影像幀，生成替代未接收的所述第2最終影像幀的第2替代影像幀的步驟S240；及把所述第2替代影像幀顯示于畫面的步驟S260。

客戶端200從服務器100接收與第1時間點相應的第1最終影像幀S200。即，客戶端200可以從服務器100，通過無線通信接收影像方向數(shù)據(jù)結合為元信息的第1最終影像幀。所述影像方向數(shù)據(jù)是由所述服務器100獲得的影像幀的三維空間上的方面相關數(shù)據(jù)，所述最終影像幀可以是由所述服務器100把所述影像方向數(shù)據(jù)包括為元信息的影像幀。

如果客戶端200未接收與第2時間點相應的第2最終影像幀，則比較與所述第1時間點相應的影像方向數(shù)據(jù)和與所述第2時間點相應的播放方向數(shù)據(jù)，并算出差異值S220。所述第2時間點可以是從所述第1時間點起，經(jīng)過所述最終影像幀的傳輸周期的時間點?？蛻舳?00接收與第1時間點對應的第1最終影像幀并顯示后，經(jīng)過最終影像幀的傳輸周期后，在第2時間點，由于通信狀態(tài)不良等理由，可能無法接收第2最終影像幀。在這種情況下，取代在第2時間點預期的第2最終影像幀，繼續(xù)顯示第1最終影像幀，因此，就使用者而言，相應于第2時間點的播放方向數(shù)據(jù)與第1最終影像幀的影像方向數(shù)據(jù)之間的差異，會發(fā)生物體晃動的現(xiàn)象。即，在第2時間點，在繼續(xù)顯示與第1時間點相應的第1最終影像幀后，在第3時間點(即，從第2時間點起，經(jīng)過最終影像幀的傳輸周期的時間點)，如果接收了新的最終影像幀(即，第3最終影像幀)，則如圖5所示，從第1最終影像幀直接變更為第3最終影像幀，因而越過與第2時間點相應的物體的位置，從第1時間點的物體位置移動到第3時間點的物體位置，因而使用者會不自然地感覺到好象有物體移動或晃動的現(xiàn)象。如果這種現(xiàn)象繼續(xù)發(fā)生，則使用者會感覺到眩暈現(xiàn)象。為了解決這種問題，客戶端200需要生成將替代遺漏的第2最終影像幀的影像幀。因此，客戶端200可以對在第1時間點接收的第1最終影像幀進行修正，生成為第2時間點的影像幀(即，第2替代影像幀)。

客戶端200為了把第1最終影像幀變換為符合第2時間點的影像幀，需要決定補正水平。為此，客戶端200可以比較與所述第1時間點相應的影像方向數(shù)據(jù)和與所述第2時間點相應的播放方向數(shù)據(jù)，并算出差異值。播放方向數(shù)據(jù)可以是在特定時間點，應在所述客戶端200的畫面上播放的影像幀的方向相關數(shù)據(jù)。播放方向數(shù)據(jù)可以通過VR裝置內(nèi)配備的傳感器(例如，陀螺儀傳感器、地磁傳感器、加速度傳感器等)測量。例如，客戶端200在從服務器100接收包括與播放方向數(shù)據(jù)對應的影像方向數(shù)據(jù)的影像幀并提供給使用者時，客戶端200計算屬于影像幀應提供的方向的第2播放方向數(shù)據(jù)與屬于第1最終影像幀的方向的第1影像方向數(shù)據(jù)的差異，算出為應對第1最終影像幀進行補正的值。

所述播放方向數(shù)據(jù)及所述影像方向數(shù)據(jù)可以包括高低角數(shù)據(jù)及方位角數(shù)據(jù)?？蛻舳?00可以算出第2時間點的播放方向數(shù)據(jù)與第1時間點的影像方向數(shù)據(jù)之間的高低角及方位角差異。

另外，所述播放方向數(shù)據(jù)及所述影像方向數(shù)據(jù)可以包括以佩戴者正面方向為軸的旋轉角度的傾斜數(shù)據(jù)?？蛻舳?00可以算出第2時間點的播放方向數(shù)據(jù)與第1時間點的影像方向數(shù)據(jù)之間的傾斜數(shù)據(jù)差異。

客戶端200按照所述算出的差異值，補正所述第1最終影像幀，生成替代未接收的所述第2最終影像幀的第2替代影像幀S240。作為一個實施例，客戶端200可以以所述差異值為基礎，移動所述第1最終影像幀。即，客戶端200可以按照高低角的差異值，使第1最終影像幀向豎直方向移動，可以按照方位角的差異值，使第1最終影像幀向水平方向移動。另外，客戶端200可以按照傾斜數(shù)據(jù)的差異值，旋轉第1最終影像幀。如果以使用者正面方向為軸，向特定方向傾斜頸部，那么，向使用者顯示的物體進行旋轉，因此，可以按照第1時間點的影像方向數(shù)據(jù)與第2時間點的播放方向數(shù)據(jù)間的傾斜數(shù)據(jù)的差異值，旋轉第1最終影像幀。

當客戶端200按所述差異值補正第1最終影像幀時，在將提供給使用者的第2替代影像幀上，如圖6所示，發(fā)生空白區(qū)域。所述空白區(qū)域也可以處理成黑白，或處理成類似顏色的組合，以便佩戴者在視覺上最小限度地認知。

客戶端200把所述第2替代影像幀顯示于畫面S260。即，客戶端200可以取代在第2時間點遺漏的第2最終影像幀，把補正第1最終影像幀的第2替代影像幀顯示于畫面中。

另外，當使用者佩戴客戶端200移動時，客戶端200掌握使用者的移動程度(例如，移動距離及移動方向、移動步數(shù)等)，當?shù)?時間點的最終影像幀未接收時，可以補正第1最終影像幀，使得符合使用者的移動程度。作為一個實施例，在使用者移動的情況下，物體根據(jù)距離使用者的距離，位置變化程度有差異。如圖7所示，位于近處的物體隨著使用者的移動而大幅移動，位于遠處的物體隨著使用者的移動而以比位于近處的物體小的幅度小幅移動。因此，在虛擬現(xiàn)實影像中，只有反映這種遠近導致的物體移動幅的差異，才能夠向使用者提供高逼真感。為此，服務器可以把多個物體(即，在影像幀內(nèi)以各像素的集合而表現(xiàn)的物體)分別距離客戶端的距離信息(以下簡稱深度信息)包含為元信息，生成最終影像幀并傳輸。當?shù)?時間點的第2最終影像幀遺漏時，客戶端可以利用包含的一個以上的傳感器(例如，陀螺儀傳感器、加速度傳感器、地磁傳感器等)，算出使用者的移動程度，在第1最終影像幀內(nèi)的各個物體中反映各物體的深度信息，生成第2替代影像幀。即，如圖8所示，客戶端可以根據(jù)第1時間點與第2時間點的客戶端位置(即，佩戴客戶端的使用者的位置)差異，按與第1最終影像幀內(nèi)多個物體相應的像素而執(zhí)行補正，生成第2替代影像幀。另外，額外地，客戶端可以在反映因物體配置的距離導致的物體移動幅度差異而執(zhí)行像素單位的物體補正后，執(zhí)行對原來物體在第1最終影像幀配置的區(qū)域進行補正的作業(yè)。客戶端可以反映周邊的顏色，以特定的顏色組合，填充原有的物體配置空間。

另外，作為另一實施例，當物體的移動幅度相異時，客戶端可以使影像幀與大小最大物體的位置配置相符地移動后，按像素單位調(diào)節(jié)其余物體。由此，對于大小最大的物體，不執(zhí)行像素單位作業(yè)，因而在第2替代影像幀內(nèi)，隨著像素單位移動而生成的空白空間可以實現(xiàn)最小化。另外，作為另一實施例，當佩戴客戶端的使用者只向前方或后方移動時，客戶端可以放大或縮小第1最終影像幀，生成替代遺漏的第2最終影像幀的第2替代影像幀。

另外，可以還包括：如果與第n時間點(n為大于2的自然數(shù))相應的最終影像幀未接收，則比較與所述第n-1時間點相應的影像方向數(shù)據(jù)和與所述第n時間點相應的播放方向數(shù)據(jù)，并算出差異值的步驟；及按照所述算出的差異值，補正所述第n-1替代影像幀，生成第n替代影像幀的步驟。即，在第2時間點未接收第2最終影像幀，在提供第2替代影像幀后，如果在第3時間點接收了第3最終影像幀，則使用者可以感到影像內(nèi)的物體順暢移動。但是，當在第2時間點之后，影像幀未連續(xù)接收時，客戶端200需要以之前生成的替代影像幀(例如，第2替代影像幀或第n-1替代影像幀)為基礎，生成下個替代影像幀(例如，第3替代影像幀或第n替代影像幀)。客戶端200可以比較第n-1時間點的第n-1替代影像幀內(nèi)的影像方向數(shù)據(jù)(或在第n-1時間點測量的播放方向數(shù)據(jù))與在第n時間點測量的播放方向數(shù)據(jù)，并算出差異值，按照算出的差異值，補正第n-1替代影像幀(例如，移動或變形)，生成第n替代影像幀。由此，客戶端200即使在因通信狀態(tài)不良而未從服務器100連續(xù)接收最終影像幀的情況下，也可以向使用者提供自然的虛擬現(xiàn)實影像。

以上敘述的本發(fā)明一個實施例的虛擬現(xiàn)實影像傳輸方法及虛擬現(xiàn)實影像補正方法，為了與作為硬件的服務器100或客戶端200結合并運行，可以以程序(或應用程序)來實現(xiàn)并存儲于介質(zhì)。

以上敘述的程序為了供所述計算機讀取程序并運行以程序體現(xiàn)的所述方法，包括以所述計算機的處理器(CPU)可以通過所述計算機裝置接口而讀取的C、C++、JAVA、機械語言等計算機語言進行編碼的代碼(Code)。這種代碼可以包括定義運行所述方法所需的功能的函數(shù)等相關功能性代碼(FunctionalCode)，可以包括所述計算機的處理器按既定步驟使所述功能運行所需的運行步驟相關控制代碼。另外，這種代碼可以還包括所述計算機的處理器使所述功能運行所需的額外信息或關于媒體是否應在所述計算機的內(nèi)部或外部存儲器的某個位置(地址代碼)參照的存儲器參照相關代碼。另外，當所述計算機的處理器為了使所述功能運行而需要與處于遠程(Remote)的某種其它計算機或服務器等通信時，代碼可以還包括關于應利用所述計算機的通信模塊而與處于遠程的某種其它計算機或服務器等如何通信、通信時需要發(fā)送接收何種信息或媒體等的通信相關代碼。

所述存儲的介質(zhì)并非諸如寄存器、高速緩沖存儲器、存儲器等短時存儲數(shù)據(jù)的介質(zhì)，而是意味著半永久性存儲數(shù)據(jù)、能被機器判讀(reading)的介質(zhì)。具體而言，作為所述存儲的介質(zhì)的示例，有ROM、RAM、CD-ROM、磁帶、軟肋、光數(shù)據(jù)存儲裝置等，但不限定于此。即，所述程序可以存儲于所述計算機可接入的多樣服務器上的多樣記錄介質(zhì)或使用者的所述計算機上的多樣記錄介質(zhì)。另外，所述介質(zhì)可以分布于通過網(wǎng)絡連接的計算機系統(tǒng)，以分布方式存儲計算機可讀的代碼。

根據(jù)如上所述的本發(fā)明，具有如下多樣的效果。

第一，能夠彌補無線傳輸虛擬現(xiàn)實影像幀導致的特定時間點的影像幀遺漏，具有使用者即使在未接收特定影像幀的情況下，虛擬現(xiàn)實空間的整體時間點也不晃動，自然地保持的效果。

第二，使用者在服務器計算機遠離的狀態(tài)下，也可以利用蜂窩通信或WLAN通信，隨時隨地欣賞不中斷的虛擬現(xiàn)實影像。

第三，能夠彌補未接收影像幀的情形，因而能夠無線傳輸虛擬現(xiàn)實影像，具有解決因連接于計算機的電線而行動受限、被電線絆倒而可能發(fā)生安全事故的問題的效果。

第四，服務器只提取并傳輸符合由客戶端請求的播放方向數(shù)據(jù)的全體影像中的一個幀，或只生成并傳輸符合播放方向數(shù)據(jù)的方向的幀即可，因而具有能夠節(jié)省無線通信的網(wǎng)絡帶寬的效果。

第五，并非以相同的數(shù)據(jù)容量傳輸關于所有方向的全體影像，而是只傳輸一個幀，因而能夠在不大量占用通信流量的同時傳輸高分辨率影像。由此，佩戴客戶端的使用者可以在遠距離觀看高分辨率的影像。

第六，客戶端從服務器只接收要求播放的方向的影像幀，因此無需為了播放所需的方向而執(zhí)行客戶端在全體影像中提取播放的方向的幀的過程。由此，客戶端可以不需要高規(guī)格。

以上參照附圖，說明了本發(fā)明的實施例，本發(fā)明所屬技術領域的技術人員可以理解，本發(fā)明可以在不變更其技術思想或必需特征的前提下，以其它具體形態(tài)實施。因此，以上記述的實施例在所有方面應理解為只是示例而非限定。