本發(fā)明涉及視頻直播技術，尤其涉及對虛擬現(xiàn)實(VR)視頻直播的優(yōu)化方案。

背景技術：

隨著網速的提升和攝像頭技術的發(fā)展，視頻直播逐漸成為人們社交娛樂的新熱點。現(xiàn)有的網絡直播系統(tǒng)一般用于直播游戲、主播個人秀和直播公共場景等。個人可以使用錄頻軟件上傳游戲畫面，也可以用手機或者PC攝像頭向公眾展示自己的才藝，也會有些公共景觀會安裝攝像機實時展示現(xiàn)場場景。觀眾登錄網站通過互聯(lián)網便可以看到近乎實時的視頻界面。

網絡直播系統(tǒng)主要分為直播攝像機、轉發(fā)服務器和播放器三個部分。攝像機連接互聯(lián)網，其采集圖像產生視頻流數(shù)據(jù)，發(fā)送給轉發(fā)服務器。觀眾登錄網站通過播放器訪問轉發(fā)服務器，播放器獲取數(shù)據(jù)后便可以渲染出直播視頻畫面。由于視頻數(shù)據(jù)流近乎實時的采集和發(fā)布，觀眾可以看到非常低延時的視頻。

虛擬現(xiàn)實技術(簡稱為VR)是一種可以創(chuàng)建和體驗虛擬世界的計算機仿真系統(tǒng)它利用計算機生成一種模擬環(huán)境是一種多源信息融合的交互式的三維動態(tài)視景和實體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。

虛擬現(xiàn)實技術在現(xiàn)今的諸多場合中都有應用，比如：利用虛擬現(xiàn)實技術，結合網絡技術，可以將文物的展示、保護提高到一個嶄新的階段。首先表現(xiàn)在將文物實體通過影像數(shù)據(jù)采集手段，建立起實物三維或模型數(shù)據(jù)庫，保存文物原有的各項型式數(shù)據(jù)和空間關系等重要資源，實現(xiàn)瀕危文物資源的科學、高精度和永久的保存。其次利用這些技術來提高文物修復的精度和預先判斷、選取將要采用的保護手段，同時可以縮短修復工期。通過計算機網絡來整合統(tǒng)一大范圍內的文物資源，并且通過網絡在大范圍內來利用虛擬技術更加全面、生動、逼真地展示文物，從而使文物脫離地域限制，實現(xiàn)資源共享，真正成為全人類可以“擁有”的文化遺產。使用虛擬現(xiàn)實技術可以推動文博行業(yè)更快地進入信息時代，實現(xiàn)文物展示和保護的現(xiàn)代化。

比如三維游戲既是虛擬現(xiàn)實技術重要的應用方向之一，也為虛擬現(xiàn)實技術的快速發(fā)展起了巨大的需求牽引作用。盡管存在眾多的技術難題，虛擬現(xiàn)實技術在競爭激烈的游戲市場中還是得到了越來越多的重視和應用。可以說，電腦游戲自產生以來，一直都在朝著虛擬現(xiàn)實的方向發(fā)展，虛擬現(xiàn)實技術發(fā)展的最終目標已經成為三維游戲工作者的崇高追求。從最初的文字MUD游戲，到二維游戲、三維游戲，再到網絡三維游戲，游戲在保持其實時性和交互性的同時，逼真度和沉浸感正在一步步地提高和加強。我們相信，隨著三維技術的快速發(fā)展和軟硬件技術的不斷進步，在不遠的將來，真正意義上的虛擬現(xiàn)實游戲必將為人類娛樂、教育和經濟發(fā)展做出新的更大的貢獻。

在本發(fā)明中著重討論的是虛擬現(xiàn)實技術和視頻直播的融合?，F(xiàn)有的虛擬現(xiàn)實直播與傳統(tǒng)的視頻直播方案類似，都是將完整的視頻信息傳送到客戶端，再由客戶端進行解碼，將可視角度呈現(xiàn)給用戶。然而，因為虛擬現(xiàn)實包含多個視角的視頻信息，所以內容較多，對網絡及播放硬件的要求也相對較高。這樣一方面會影響直播的流暢性和直播效果，另一方面也增加了虛擬現(xiàn)實直播的成本。

技術實現(xiàn)要素：

以下給出一個或多個方面的簡要概述以提供對這些方面的基本理解。此概述不是所有構想到的方面的詳盡綜覽，并且既非旨在指認出所有方面的關鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡化形式給出一個或多個方面的一些概念以為稍后給出的更加詳細的描述之序。

本發(fā)明的目的在于解決上述問題，提供了一種基于可視角度再編碼的虛擬現(xiàn)實直播系統(tǒng)和方法，通過對虛擬現(xiàn)實視頻進行重新編碼的方式，使用戶只需要獲取當前可視視角的視頻信息，無需獲取其他視角信息，因此能大大節(jié)省網絡傳輸量，減小視頻解碼壓力。

本發(fā)明的技術方案為：本發(fā)明揭示了一種基于可視角度再編碼的虛擬現(xiàn)實直播系統(tǒng)，包括：

服務器，將直播者的虛擬現(xiàn)實視頻轉發(fā)給播放者：

客戶端，接收來自服務器轉發(fā)的虛擬現(xiàn)實視頻并進行播放；

其中客戶端進一步包括控制采集裝置和視頻播放裝置，服務器進一步包括視角控制裝置和視頻轉碼裝置；

控制采集裝置獲取用戶的視角控制信息并通過視頻控制通道將視頻控制信息傳輸?shù)揭暯强刂蒲b置；

視角控制裝置根據(jù)視頻控制信息確定視角對應的虛擬現(xiàn)實視頻內容；

視頻轉碼裝置基于視角對應的虛擬現(xiàn)實視頻內容生成視角對應的虛擬現(xiàn)實視頻內容的視頻數(shù)據(jù)并通過視頻數(shù)據(jù)通道將視頻數(shù)據(jù)傳輸至視頻播放裝置；

視頻播放裝置接收到視角對應的視頻數(shù)據(jù)后播放視角對應的虛擬現(xiàn)實視頻。

根據(jù)本發(fā)明的基于可視角度再編碼的虛擬現(xiàn)實直播系統(tǒng)的一實施例，視角控制信息包括轉動角度和位移，其中轉動角度決定視角的方向，位移決定虛擬現(xiàn)實視頻的縮放和可視范圍。

本發(fā)明還揭示了一種基于可視角度再編碼的虛擬現(xiàn)實直播方法，包括：

客戶端獲取用戶的視角控制信息并通過視頻控制通道將視頻控制信息傳輸?shù)椒掌鳎?/p>

服務器根據(jù)視頻控制信息確定視角對應的虛擬現(xiàn)實視頻內容；

服務器基于視角對應的虛擬現(xiàn)實視頻內容生成視角對應的虛擬現(xiàn)實視頻內容的視頻數(shù)據(jù)并將視頻數(shù)據(jù)通過視頻數(shù)據(jù)通道傳輸至客戶端；

客戶端接收到視角對應的視頻數(shù)據(jù)后播放視角對應的虛擬現(xiàn)實視頻。

根據(jù)本發(fā)明的基于可視角度再編碼的虛擬現(xiàn)實直播方法的一實施例，視角控制信息包括轉動角度和位移，其中轉動角度決定視角的方向，位移決定虛擬現(xiàn)實視頻的縮放和可視范圍。

本發(fā)明對比現(xiàn)有技術有如下的有益效果：本發(fā)明通過從客戶端獲取到用戶的視角控制信息，將該信息傳輸給服務器，服務器基于這一信息在大容量的虛擬現(xiàn)實視頻內容中獲取到本視角對應的虛擬現(xiàn)實視頻內容并重新編碼成視頻數(shù)據(jù)，這一視頻數(shù)據(jù)回傳到客戶端進行播放，而最終播放的內容是此前獲取到的用戶視角所對應的虛擬現(xiàn)實視頻內容。和傳統(tǒng)的虛擬現(xiàn)實直播方案相比，本發(fā)明能夠使得用戶只需要獲取當前可視視角的視頻信息，而無需獲取其他視角的信息，這樣可以大大節(jié)省網絡傳輸量，從而減小視頻解碼壓力。

附圖說明

圖1示出了本發(fā)明的基于可視角度再編碼的虛擬現(xiàn)實直播系統(tǒng)的一實施例的原理圖。

圖2示出了本發(fā)明的基于可視角度再編碼的虛擬現(xiàn)實直播方法的一實施例的流程圖。

具體實施方式

在結合以下附圖閱讀本公開的實施例的詳細描述之后，能夠更好地理解本發(fā)明的上述特征和優(yōu)點。在附圖中，各組件不一定是按比例繪制，并且具有類似的相關特性或特征的組件可能具有相同或相近的附圖標記。

圖1示出了本發(fā)明的基于可視角度再編碼的虛擬現(xiàn)實直播系統(tǒng)的一實施例的原理。請參見圖1，本實施例的基于可視角度再編碼的虛擬現(xiàn)實直播系統(tǒng)包括：服務器1和客戶端2。服務器1的作用是將直播者的虛擬現(xiàn)實視頻轉發(fā)給播放者，客戶端2接收來自服務器1轉發(fā)的虛擬現(xiàn)實視頻并進行播放。

客戶端2包括控制采集裝置21和視頻播放裝置22,。服務器1包括視角控制裝置11和視頻轉碼裝置12。

控制采集裝置21獲取用戶的視角控制信息并通過視頻控制通道將視頻控制信息傳輸?shù)揭暯强刂蒲b置11。

普通的直播并沒有視頻控制通道而只有一個視頻傳輸通道，將視頻的所有內容都下載到客戶端，再由客戶端進行解碼、視角定位。本實施例的特別指出在于增加了這樣的視頻控制通道，將客戶端獲取的視角控制信息通過視頻控制通道上傳到服務器。

視角控制裝置11根據(jù)視頻控制信息確定視角對應的虛擬現(xiàn)實視頻內容。一個正常的虛擬現(xiàn)實視頻會包括多個視角，隨著用戶的視角轉動和位置移動，會呈現(xiàn)不同的視頻內容，就像人走在一塊空地上，可以轉動方向也可以向前向后移動，所看到的東西也自然不同。視角控制信息可以認為是一個向量，包括轉動角度和位移，轉動角度決定了視角的方向，唯一決定了視頻的縮放和可視范圍。服務器根據(jù)客戶端上傳的視頻控制信息對視頻進行解碼，再定位可視視頻的內容。

視頻轉碼裝置12基于視角對應的虛擬現(xiàn)實視頻內容生成視角對應的虛擬現(xiàn)實視頻內容的視頻數(shù)據(jù)并通過視頻數(shù)據(jù)通道將視頻數(shù)據(jù)傳輸至視頻播放裝置22。

服務器對定位后的可視視頻內容再重新編碼，通過網絡傳輸協(xié)議傳輸給客戶端，重新編碼后的視頻數(shù)據(jù)量要遠遠小于原始視頻，從而減少了網絡和客戶端的硬件需求。

視頻播放裝置22接收到視角對應的視頻數(shù)據(jù)后播放視角對應的虛擬現(xiàn)實視頻。

圖2示出了本發(fā)明的本發(fā)明的基于可視角度再編碼的虛擬現(xiàn)實直播方法的一實施例的流程。請參見圖2，本實施例的虛擬現(xiàn)實直播方法的實施步驟詳述如下。

步驟S1：客戶端獲取用戶的視角控制信息并通過視頻控制通道將視頻控制信息傳輸?shù)椒掌鳌?/p>

普通的直播并沒有視頻控制通道而只有一個視頻傳輸通道，將視頻的所有內容都下載到客戶端，再由客戶端進行解碼、視角定位。本實施例的特別指出在于增加了這樣的視頻控制通道，將客戶端獲取的視角控制信息通過視頻控制通道上傳到服務器。

步驟S2：服務器根據(jù)視頻控制信息確定視角對應的虛擬現(xiàn)實視頻內容。

一個正常的虛擬現(xiàn)實視頻會包括多個視角，隨著用戶的視角轉動和位置移動，會呈現(xiàn)不同的視頻內容，就像人走在一塊空地上，可以轉動方向也可以向前向后移動，所看到的東西也自然不同。視角控制信息可以認為是一個向量，包括轉動角度和位移，轉動角度決定了視角的方向，唯一決定了視頻的縮放和可視范圍。服務器根據(jù)客戶端上傳的視頻控制信息對視頻進行解碼，再定位可視視頻的內容。

步驟S3：服務器基于視角對應的虛擬現(xiàn)實視頻內容生成視角對應的虛擬現(xiàn)實視頻內容的視頻數(shù)據(jù)并將視頻數(shù)據(jù)通過視頻數(shù)據(jù)通道傳輸至客戶端。

服務器對定位后的可視視頻內容再重新編碼，通過網絡傳輸協(xié)議傳輸給客戶端，重新編碼后的視頻數(shù)據(jù)量要遠遠小于原始視頻，從而減少了網絡和客戶端的硬件需求。

步驟S4：客戶端接收到視角對應的視頻數(shù)據(jù)后播放視角對應的虛擬現(xiàn)實視頻。

總的來說，一個VR視頻是一個完整的全景視頻，包含了多個角度，但是正如一個人站在那里，雖然身后的事物都是真實存在的，但他根本就看不到，他所能看到的只有他前方的一部分區(qū)域。本發(fā)明就是根據(jù)客戶端的控制信息得到可視區(qū)域的內容，將這部分內容重新進行視頻編碼得到一個新的視頻流，最后通過網絡傳輸協(xié)議傳輸?shù)娇蛻舳恕?/p>

盡管為使解釋簡單化將上述方法圖示并描述為一系列動作，但是應理解并領會，這些方法不受動作的次序所限，因為根據(jù)一個或多個實施例，一些動作可按不同次序發(fā)生和/或與來自本文中圖示和描述或本文中未圖示和描述但本領域技術人員可以理解的其他動作并發(fā)地發(fā)生。

本領域技術人員將進一步領會，結合本文中所公開的實施例來描述的各種解說性邏輯板塊、模塊、電路、和算法步驟可實現(xiàn)為電子硬件、計算機軟件、或這兩者的組合。為清楚地解說硬件與軟件的這一可互換性，各種解說性組件、框、模塊、電路、和步驟在上面是以其功能性的形式作一般化描述的。此類功能性是被實現(xiàn)為硬件還是軟件取決于具體應用和施加于整體系統(tǒng)的設計約束。技術人員對于每種特定應用可用不同的方式來實現(xiàn)所描述的功能性，但這樣的實現(xiàn)決策不應被解讀成導致脫離了本發(fā)明的范圍。

結合本文所公開的實施例描述的各種解說性邏輯板塊、模塊、和電路可用通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或其它可編程邏輯器件、分立的門或晶體管邏輯、分立的硬件組件、或其設計成執(zhí)行本文所描述功能的任何組合來實現(xiàn)或執(zhí)行。通用處理器可以是微處理器，但在替換方案中，該處理器可以是任何常規(guī)的處理器、控制器、微控制器、或狀態(tài)機。處理器還可以被實現(xiàn)為計算設備的組合，例如DSP與微處理器的組合、多個微處理器、與DSP核心協(xié)作的一個或多個微處理器、或任何其他此類配置。

結合本文中公開的實施例描述的方法或算法的步驟可直接在硬件中、在由處理器執(zhí)行的軟件模塊中、或在這兩者的組合中體現(xiàn)。軟件模塊可駐留在RAM存儲器、閃存、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移動盤、CD-ROM、或本領域中所知的任何其他形式的存儲介質中。示例性存儲介質耦合到處理器以使得該處理器能從/向該存儲介質讀取和寫入信息。在替換方案中，存儲介質可以被整合到處理器。處理器和存儲介質可駐留在ASIC中。ASIC可駐留在用戶終端中。在替換方案中，處理器和存儲介質可作為分立組件駐留在用戶終端中。

在一個或多個示例性實施例中，所描述的功能可在硬件、軟件、固件或其任何組合中實現(xiàn)。如果在軟件中實現(xiàn)為計算機程序產品，則各功能可以作為一條或更多條指令或代碼存儲在計算機可讀介質上或通過其進行傳送。計算機可讀介質包括計算機存儲介質和通信介質兩者，其包括促成計算機程序從一地向另一地轉移的任何介質。存儲介質可以是能被計算機訪問的任何可用介質。作為示例而非限定，這樣的計算機可讀介質可包括RAM、ROM、EEPROM、CD-ROM或其它光盤存儲、磁盤存儲或其它磁存儲設備、或能被用來攜帶或存儲指令或數(shù)據(jù)結構形式的合意程序代碼且能被計算機訪問的任何其它介質。任何連接也被正當?shù)胤Q為計算機可讀介質。例如，如果軟件是使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(DSL)、或諸如紅外、無線電、以及微波之類的無線技術從web網站、服務器、或其它遠程源傳送而來，則該同軸電纜、光纖電纜、雙絞線、DSL、或諸如紅外、無線電、以及微波之類的無線技術就被包括在介質的定義之中。如本文中所使用的盤(disk)和碟(disc)包括壓縮碟(CD)、激光碟、光碟、數(shù)字多用碟(DVD)、軟盤和藍光碟，其中盤(disk)往往以磁的方式再現(xiàn)數(shù)據(jù)，而碟(disc)用激光以光學方式再現(xiàn)數(shù)據(jù)。上述的組合也應被包括在計算機可讀介質的范圍內。

提供對本公開的先前描述是為使得本領域任何技術人員皆能夠制作或使用本公開。對本公開的各種修改對本領域技術人員來說都將是顯而易見的，且本文中所定義的普適原理可被應用到其他變體而不會脫離本公開的精神或范圍。由此，本公開并非旨在被限定于本文中所描述的示例和設計，而是應被授予與本文中所公開的原理和新穎性特征相一致的最廣范圍。