全景視頻播放方法及裝置的制造方法
【專利摘要】本發(fā)明實(shí)施例提供一種全景視頻播放方法及裝置，其中所述方法包括：獲取主場景元素的顯示角度及用戶頭部的角度；根據(jù)所述主場景元素的顯示角度及所述用戶頭部的角度，判斷所述主場景元素是否處于用戶視野內(nèi)；當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，校正所述主場景元素的顯示角度；根據(jù)校正后的所述主場景元素的顯示角度顯示所述主場景元素。本發(fā)明實(shí)施例還提供一種全景視頻播放裝置。本發(fā)明實(shí)施例的全景視頻播放方法及裝置，可以在用戶頭部轉(zhuǎn)動時，通過調(diào)整主場景元素的顯示角度，讓主場景元素保持顯示于用戶視野內(nèi)，提高了用戶體驗(yàn)。
【專利說明】
全景視頻播放方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明實(shí)施例涉及音視頻技術(shù)領(lǐng)域，尤其涉及一種全景視頻播放方法及裝置。
【背景技術(shù)】
[0002]全景圖像通常是指大于雙眼正常有效視角或雙眼余光視角，在一個固定的觀察點(diǎn)，能夠提供水平方向上方位角360度，垂直方向上180度的自由瀏覽至360度完整場景范圍拍攝的照片。利用圖像技術(shù)生成全景圖像可以在單機(jī)或者網(wǎng)絡(luò)上顯示。而利用上述全景圖像則可以制作出全景視頻，在全景影視播放過程中，尤其是第一視角的全景影視播放，隨著情節(jié)的深入，用戶會跟隨全景攝像機(jī)進(jìn)行快速位置變換。全景內(nèi)容提供的信息偏多，用戶需要轉(zhuǎn)頭進(jìn)行信息收集，信息過大或時間過短都會導(dǎo)致用戶理解影片不完全。
[0003]特別是在虛擬現(xiàn)實(shí)環(huán)境下在播放全景視頻時，用戶被360度的內(nèi)容環(huán)繞，用戶在觀看信息時，對于有主場景元素和副場景元素的全景視頻而言，當(dāng)用戶轉(zhuǎn)動頭部時，用戶的視野就有可能落在主場景元素之外，產(chǎn)生無法觀看到主場景元素的問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例提供一種全景視頻播放方法及裝置，以解決現(xiàn)有技術(shù)中由于用戶轉(zhuǎn)動頭部后，導(dǎo)致用戶無法觀看到主場景元素的問題。
[0005]本發(fā)明實(shí)施例提供一種全景視頻播放方法，包括:
[0006]獲取主場景元素的顯示角度及用戶頭部的角度；
[0007]根據(jù)所述主場景元素的顯示角度及所述用戶頭部的角度，判斷所述主場景元素是否處于用戶視野內(nèi)；
[0008]當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，校正所述主場景元素的顯示角度；
[0009]根據(jù)校正后的所述主場景元素的顯示角度顯示所述主場景元素。
[0010]進(jìn)一步的，所述方法還包括；
[0011]當(dāng)所述主場景元素處于所述用戶視野內(nèi)時，則根據(jù)所述主場景元素的當(dāng)前顯示角度顯示所述主場景元素。
[0012]進(jìn)一步的，所述方法還包括:當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，提示校正所述主場景元素的顯示角度的步驟。
[0013]進(jìn)一步的，所述方法還包括:接收校正指令，并根據(jù)所述校正指令校正所述主場景元素的顯示角度的步驟。
[0014]進(jìn)一步的，所述方法通過判斷所述用戶頭部的角度是否大于預(yù)定值，判斷所述主場景元素是否處于用戶視野內(nèi)。
[0015]本發(fā)明實(shí)施例還提供一種全景視頻播放裝置，包括:
[0016]角度獲取模塊，用于獲取主場景元素的顯示角度及用戶頭部的角度；
[0017]判斷模塊，用于根據(jù)所述主場景元素的顯示角度及所述用戶頭部的角度，判斷所述主場景元素是否處于用戶視野內(nèi)；
[0018]校正模塊，用于當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，校正所述主場景元素的顯示角度；
[0019]顯示模塊，用于根據(jù)校正后的所述主場景元素的顯示角度顯示所述主場景元素。
[0020]進(jìn)一步的，所述顯示模塊，還用于當(dāng)所述主場景元素處于所述用戶視野內(nèi)時，則根據(jù)所述主場景元素的當(dāng)前顯示角度顯示所述主場景元素。
[0021]進(jìn)一步的，所述的裝置還包括提示模塊，用于當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，提示校正所述主場景元素的顯示角度。
[0022]進(jìn)一步的，所述的裝置還包括交互模塊，用于接收校正指令;所述校正模塊還用于根據(jù)所述校正指令校正所述主場景元素的顯示角度。
[0023]進(jìn)一步的，所述校正模塊還用于通過判斷所述用戶頭部的角度是否大于預(yù)定值，判斷所述主場景元素是否處于用戶視野內(nèi)。
[0024]本發(fā)明實(shí)施例提供的全景視頻播放方法及裝置，可以在用戶頭部轉(zhuǎn)動時，通過調(diào)整主場景元素的顯示角度，讓主場景元素保持顯示于用戶視野內(nèi)，提高了用戶體驗(yàn)。
【附圖說明】
[0025]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖為本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0026]圖1為本發(fā)明實(shí)施例全景視頻播放方法的一種實(shí)施例的流程圖；
[0027]圖2為本發(fā)明實(shí)施例用戶頭部轉(zhuǎn)動的示意圖；
[0028]圖3為本發(fā)明實(shí)施例全景視頻播放方法的另一種實(shí)施例的流程圖；
[0029]圖4為本發(fā)明實(shí)施例全景視頻播放裝置一種實(shí)施例的示意圖；
[0030]圖5為本發(fā)明實(shí)施例全景視頻播放裝置另一種實(shí)施例的示意圖。
【具體實(shí)施方式】
[0031]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例為本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0032]主場景元素通常是用戶在觀看某一全景視頻時，較為關(guān)注的內(nèi)容，副場景元素則為用戶不太關(guān)注的內(nèi)容。比如，虛擬現(xiàn)實(shí)模式下的虛擬影院，主場景元素為電影院的屏幕，副場景元素則是電影院的座椅及周邊墻壁等。
[0033]對于有主場景元素和副場景元素的全景視頻，當(dāng)用戶轉(zhuǎn)動頭部的角度如果較大時，導(dǎo)致用戶的視野落在主場景元素之外，從而產(chǎn)生用戶無法觀看到主場景元素的問題。本發(fā)明的發(fā)明人在經(jīng)過深入研究后發(fā)現(xiàn)，只要校正主場景元素的顯示角度，就可以解決上述問題，具體方案如下:
[0034]圖1為本發(fā)明實(shí)施例全景視頻播放方法的一種實(shí)施例的流程圖。
[0035]本發(fā)明實(shí)施例的全景視頻播放方法，包括如下步驟:
[0036]SlOl:獲取主場景元素的顯示角度及用戶頭部的角度。
[0037]由于在虛擬現(xiàn)實(shí)系統(tǒng)中，保存有主場景元素和副場景元素的顯示角度，因此可從虛擬現(xiàn)實(shí)系統(tǒng)中直接獲取到主場景元素的顯示角度。用戶頭部的坐標(biāo)則可以通過陀螺儀等傳感器檢測用戶頭部轉(zhuǎn)動的角度來獲取，由于傳感器已經(jīng)被廣泛應(yīng)用于手機(jī)、頭戴式虛擬現(xiàn)實(shí)裝置測量位移或者角度，本發(fā)明在此不再具體敘述其獲取角度的過程。
[0038]需要說明的是，當(dāng)用戶開始使用虛擬現(xiàn)實(shí)系統(tǒng)時，比如剛開始戴上頭戴式虛擬現(xiàn)實(shí)設(shè)備時，就會開始獲取主場景元素的顯示角度及用戶頭部的角度;通常情況下，此時主場景元素的顯示角度及用戶頭部的角度均為0°;當(dāng)用戶開始使用虛擬現(xiàn)實(shí)系統(tǒng)時，如果發(fā)生了用戶轉(zhuǎn)動頭部的情況，也會獲取主場景元素的顯示角度及用戶頭部的角度。
[0039]S102:根據(jù)所述主場景元素的顯示角度及所述用戶頭部的角度，判斷所述主場景元素是否處于用戶視野內(nèi)。
[0040]具體請參閱圖2，圖2為本發(fā)明實(shí)施例用戶頭部轉(zhuǎn)動的示意圖。
[0041 ]假設(shè)剛開始時主場景元素處在用戶頭部的正前方，即處于0°方向；n°及_n°則為預(yù)定角度，如果用戶轉(zhuǎn)動頭部的角度大于n°或者小于-n°則表明主場景元素不在用戶視野內(nèi)；換而言之，當(dāng)用戶轉(zhuǎn)動頭部的角度的絕對值大于預(yù)定角度n°時，則表明主場景元素不在用戶視野內(nèi)，反之則表明主場景元素不在用戶視野內(nèi)。
[0042]在圖2中，由于y°或者_(dá)y°的絕對值小于n°，所以如果用戶頭部轉(zhuǎn)動的角度為y°或者-y°，則主場景元素仍在用戶視野內(nèi)；由于χ°或者-χ°的絕對值大于n°，如果用戶頭部轉(zhuǎn)動的角度為χ°或者-χ°，則主場景元素不在用戶視野內(nèi)。
[0043]S103:當(dāng)所述主場景元素處于所述用戶視野內(nèi)時，則根據(jù)所述主場景元素的當(dāng)前顯示角度顯示所述主場景元素。
[0044]雖然用戶的頭部發(fā)生了轉(zhuǎn)動，但由于轉(zhuǎn)動的角度較小，并不影響用戶觀看，因此不用對主場景元素的顯示角度進(jìn)行校正，仍然按照當(dāng)前顯示角度顯示主場景元素。
[0045]S104:當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，校正所述主場景元素的顯示角度。
[0046]由于用戶的頭部發(fā)生了較大角度的轉(zhuǎn)動，已經(jīng)影響到用戶觀看主場景元素，因此為了使用戶能看到主場景元素，虛擬現(xiàn)實(shí)系統(tǒng)將校正主場景元素的顯示角度。比如圖2中，如果剛開始時用戶的視野為0°方向，主場景的顯示角度也是0°，當(dāng)用戶頭部轉(zhuǎn)動了χ°，那么可以將主場景元素的顯示角度也調(diào)整為x°。當(dāng)然副場景的元素的顯示角度也相應(yīng)的進(jìn)行校正，以保持整個全景視頻圖像的一致性。
[0047]S105:根據(jù)校正后的所述主場景元素的顯示角度顯示所述主場景元素。
[0048]本步驟中將根據(jù)校正后的主場景元素的顯示角度，重新渲染全景視頻，并顯示。所顯示的全景視頻的數(shù)據(jù)幀格式，可以是MPEG-1、MPEG-2、MPEG-4或者是Mpeg4 AVC;也可以是!1.26父系列，包括!1.261、!1.262、!1.263、!1.263+、!1.263++、!1.264。
[0049]本步驟中，清染全景視頻是通過異步時間扭曲(Asynchronous Timewarp，ATW)技術(shù)實(shí)現(xiàn)。異步時間扭曲是一種生成中間幀的技術(shù)，當(dāng)不能保持足夠幀頻率的時候，能產(chǎn)生中間幀，在GHJ渲染能力與屏幕顯示需求之間達(dá)到平衡。異步時間扭曲是實(shí)際圖像調(diào)整的進(jìn)程，即是通過扭曲一幀已經(jīng)渲染完成但還未在屏幕上顯示的圖像，進(jìn)而生成中間幀用以彌補(bǔ)由于頭部運(yùn)動所造成的畫面延遲。中間幀是作為后處理效果，通過改變已經(jīng)被渲染好的圖像來匹配用戶最新的頭部位置。
[0050]異步時間扭曲通過一個獨(dú)立于顯卡渲染周期的處理進(jìn)程來持續(xù)追蹤頭部位置，該進(jìn)程和渲染進(jìn)程平行運(yùn)行。在每一次垂直同步前，該平行進(jìn)程根據(jù)渲染進(jìn)程最新完成的幀生成新的幀。相比于同步時間扭曲，能夠獲取得更低的延遲以及更高的準(zhǔn)確度。實(shí)現(xiàn)該異步時間扭曲的方式可以是Liquid VR技術(shù)，也可以是GameWorks VR技術(shù)。
[0051]Liquid VR技術(shù)所提供的是訪問異步處理引擎(Asynchronous Compute Engine,ACE)功能的完全訪問權(quán)限。異步處理引擎架構(gòu)則可以在處理進(jìn)程中同時插入不同的指令，從而充分利用起計算資源。當(dāng)空閑的流處理單元的指令槽可用時，所需要的命令就可以插入執(zhí)行。如此一來，圖形處理器就可以在執(zhí)行圖像渲染工作的同時來處理計算任務(wù)。
[0052]Liquid VR技術(shù)可以由兩個或多個顯卡之間相互交替來渲染每一幀圖像。即使在圖像在經(jīng)由VR頭盔被分割為左眼視圖和右眼視圖來顯示時，能夠有效地為每塊顯卡分配好任務(wù)，實(shí)現(xiàn)其中一個圖形處理器負(fù)責(zé)處理左眼圖像，另一個圖形處理器負(fù)責(zé)處理右眼圖像。
[0053]Gamefforks VR可充分的將圖形處理器應(yīng)用于虛擬現(xiàn)實(shí)圖像的處理中，并在驅(qū)動器層面完成異步時間扭曲處理，能同時渲染左右視圖，從而輸出較好的效果。此外，還可以將整個圖像分割成3x3的視區(qū)網(wǎng)格，每一個視區(qū)與從屏幕上被分割出來的現(xiàn)實(shí)區(qū)域?qū)?yīng)。在保留中央視區(qū)完整分辨率的情況下，外圍視區(qū)通過后處理階段的扭曲方式進(jìn)行渲染。完成上述處理后，用戶感知的圖像相比原來的像素數(shù)量可減少25%到50%，而像素渲染效率則提升為原來的1.3倍到2倍。
[0054]本實(shí)施例的全景視頻播放方法，在主場景元素不在用戶視野內(nèi)時，可自動校正主場景元素到顯示角度，無需用戶進(jìn)行手動校正。
[0055]圖3為本發(fā)明實(shí)施例全景視頻播放方法的另一種實(shí)施例的流程圖。
[0056]本發(fā)明實(shí)施例的全景視頻播放方法，包括如下步驟:
[0057]S301:獲取主場景元素的顯示角度及用戶頭部的角度。
[0058]由于在虛擬現(xiàn)實(shí)系統(tǒng)中，保存有主場景元素和副場景元素的顯示角度，因此可從虛擬現(xiàn)實(shí)系統(tǒng)中直接獲取到主場景元素的顯示角度。用戶頭部的坐標(biāo)則可以通過陀螺儀等傳感器檢測用戶頭部轉(zhuǎn)動的角度來獲取，由于傳感器已經(jīng)被廣泛應(yīng)用于手機(jī)、頭戴式虛擬現(xiàn)實(shí)裝置測量位移或者角度，本發(fā)明在此不再具體敘述其獲取角度的過程。
[0059]需要說明的是，當(dāng)用戶開始使用虛擬現(xiàn)實(shí)系統(tǒng)時，比如剛開始戴上頭戴式虛擬現(xiàn)實(shí)設(shè)備時，就會開始獲取主場景元素的顯示角度及用戶頭部的角度;通常情況下，此時主場景元素的顯示角度及用戶頭部的角度均為0°;當(dāng)用戶開始使用虛擬現(xiàn)實(shí)系統(tǒng)時，如果發(fā)生了用戶轉(zhuǎn)動頭部的情況，也會獲取主場景元素的顯示角度及用戶頭部的角度。
[0060]S302:根據(jù)所述主場景元素的顯示角度及所述用戶頭部的角度，判斷所述主場景元素是否處于用戶視野內(nèi)。
[0061 ]具體請參閱圖2，圖2為本發(fā)明實(shí)施例用戶頭部轉(zhuǎn)動的示意圖。
[0062]假設(shè)剛開始時主場景元素處在用戶頭部的正前方，即處于0°方向；n°及_n°則為預(yù)定角度，如果用戶轉(zhuǎn)動頭部的角度大于n°或者小于-n°則表明主場景元素不在用戶視野內(nèi)；換而言之，當(dāng)用戶轉(zhuǎn)動頭部的角度的絕對值大于預(yù)定角度n°時，則表明主場景元素不在用戶視野內(nèi)，反之則表明主場景元素不在用戶視野內(nèi)。
[0063]在圖2中，由于y°或者_(dá)y°的絕對值小于n°，所以如果用戶頭部轉(zhuǎn)動的角度為y°或者-y°，則主場景元素仍在用戶視野內(nèi)；由于χ°或者-χ°的絕對值大于n°，如果用戶頭部轉(zhuǎn)動的角度為χ°或者-χ°，則主場景元素不在用戶視野內(nèi)。
[0064]S303:當(dāng)所述主場景元素處于所述用戶視野內(nèi)時，則根據(jù)所述主場景元素的當(dāng)前顯示角度顯示所述主場景元素。
[0065]雖然用戶的頭部發(fā)生了轉(zhuǎn)動，但由于轉(zhuǎn)動的角度較小，并不影響用戶觀看，因此不用對主場景元素的顯示角度進(jìn)行校正，仍然按照當(dāng)前顯示角度顯示主場景元素。
[0066]S304:提示校正所述主場景元素的顯示角度。
[0067]此時，可在虛擬現(xiàn)實(shí)系統(tǒng)的顯示屏幕上，顯示“主場景不在視野范圍內(nèi)，是否需要校正”的對話框，提醒用戶是否需要校正主場景元素的顯示角度。并在對話框中給出“是”和“否”兩個選項(xiàng)，提供給用戶進(jìn)行選擇是否校正。當(dāng)然副場景的元素的顯示角度也相應(yīng)的進(jìn)行校正，以保持整個全景視頻圖像的一致性。
[0068]S305:接收校正指令。
[0069]虛擬現(xiàn)實(shí)系統(tǒng)可接收通過藍(lán)牙手柄，藍(lán)牙鍵盤，數(shù)據(jù)手套等發(fā)出的校正指令。用戶只需要按下藍(lán)牙鍵盤上的某一固定按鍵，或者按下藍(lán)牙手柄上某一按鈕即可。
[0070]S306:根據(jù)所述校正指令校正所述主場景元素的顯示角度。
[0071]虛擬現(xiàn)實(shí)系統(tǒng)在接收到校正指令后即可根據(jù)此前所獲得的用戶轉(zhuǎn)動頭部后的角度校正主場景元素的顯示角度。
[0072]由于用戶的頭部發(fā)生了較大角度的轉(zhuǎn)動，已經(jīng)影響到用戶觀看主場景元素，因此為了使用戶能看到主場景元素，虛擬現(xiàn)實(shí)系統(tǒng)將校正主場景元素的顯示角度。比如圖2中，如果剛開始時用戶的視野為0°方向，主場景的顯示角度也是0°，當(dāng)用戶頭部轉(zhuǎn)動了χ°，那么可以將主場景元素的顯示角度也調(diào)整為x°。
[0073]S307:根據(jù)校正后的所述主場景元素的顯示角度顯示所述主場景元素。
[0074]本步驟中將根據(jù)校正后的主場景元素的顯示角度，重新渲染全景視頻，并顯示。所顯示的全景視頻的數(shù)據(jù)幀格式，可以是MPEG-1、MPEG-2、MPEG-4或者是Mpeg4 AVC;也可以是!1.26父系列，包括!1.261、!1.262、!1.263、!1.263+、!1.263++、!1.264。
[0075]本步驟中，渲染全景視頻是通過異步時間扭曲技術(shù)實(shí)現(xiàn)。異步時間扭曲是一種生成中間幀的技術(shù)，當(dāng)不能保持足夠幀頻率的時候，能產(chǎn)生中間幀，在GPU渲染能力與屏幕顯示需求之間達(dá)到平衡。異步時間扭曲是實(shí)際圖像調(diào)整的進(jìn)程，即是通過扭曲一幀已經(jīng)渲染完成但還未在屏幕上顯示的圖像，進(jìn)而生成中間幀用以彌補(bǔ)由于頭部運(yùn)動所造成的畫面延遲。中間幀是作為后處理效果，通過改變已經(jīng)被渲染好的圖像來匹配用戶最新的頭部位置。
[0076]異步時間扭曲通過一個獨(dú)立于顯卡渲染周期的處理進(jìn)程來持續(xù)追蹤頭部位置，該進(jìn)程和渲染進(jìn)程平行運(yùn)行。在每一次垂直同步前，該平行進(jìn)程根據(jù)渲染進(jìn)程最新完成的幀生成新的幀。相比于同步時間扭曲，能夠獲取得更低的延遲以及更高的準(zhǔn)確度。實(shí)現(xiàn)該異步時間扭曲的方式可以是Liquid VR技術(shù)，也可以是GameWorks VR技術(shù)。
[0077]Liquid VR技術(shù)所提供的是訪問異步處理引擎功能的完全訪問權(quán)限。異步處理引擎架構(gòu)則可以在處理進(jìn)程中同時插入不同的指令，從而充分利用起計算資源。當(dāng)空閑的流處理單元的指令槽可用時，所需要的命令就可以插入執(zhí)行。如此一來，圖形處理器就可以在執(zhí)行圖像渲染工作的同時來處理計算任務(wù)。
[0078]Liquid VR技術(shù)可以由兩個或多個顯卡之間相互交替來渲染每一幀圖像。即使在圖像在經(jīng)由VR頭盔被分割為左眼視圖和右眼視圖來顯示時，能夠有效地為每塊顯卡分配好任務(wù)，實(shí)現(xiàn)其中一個圖形處理器負(fù)責(zé)處理左眼圖像，另一個圖形處理器負(fù)責(zé)處理右眼圖像。
[0079]Gamefforks VR可充分的將圖形處理器應(yīng)用于虛擬現(xiàn)實(shí)圖像的處理中，并在驅(qū)動器層面完成異步時間扭曲處理，能同時渲染左右視圖，從而輸出較好的效果。此外，還可以將整個圖像分割成3x3的視區(qū)網(wǎng)格，每一個視區(qū)與從屏幕上被分割出來的現(xiàn)實(shí)區(qū)域?qū)?yīng)。在保留中央視區(qū)完整分辨率的情況下，外圍視區(qū)通過后處理階段的扭曲方式進(jìn)行渲染。完成上述處理后，用戶感知的圖像相比原來的像素數(shù)量可減少25%到50%，而像素渲染效率則提升為原來的1.3倍到2倍。
[0080]本實(shí)施例的全景視頻播放方法，在主場景元素不在用戶視野內(nèi)時，可提示用戶是否進(jìn)行校正，然后由用戶自行校正，其校正的方式更為靈活。
[0081 ]圖4為本發(fā)明實(shí)施例全景視頻播放裝置一種實(shí)施例的示意圖。
[0082]本發(fā)明實(shí)施例的全景視頻播放裝置400，包括角度獲取模塊401、判斷模塊402、校正模塊403，以及顯示模塊404。
[0083]角度獲取模塊401，用于獲取主場景元素的顯示角度及用戶頭部的角度。由于在虛擬現(xiàn)實(shí)系統(tǒng)中，保存有主場景元素和副場景元素的顯示角度，因此可從虛擬現(xiàn)實(shí)系統(tǒng)中直接獲取到主場景元素的顯示角度。用戶頭部的坐標(biāo)則可以通過陀螺儀等傳感器檢測用戶頭部轉(zhuǎn)動的角度來獲取，由于傳感器已經(jīng)被廣泛應(yīng)用于手機(jī)、頭戴式虛擬現(xiàn)實(shí)裝置測量位移或者角度，本發(fā)明在此不再具體敘述其獲取角度的過程。
[0084]需要說明的是，當(dāng)用戶開始使用虛擬現(xiàn)實(shí)系統(tǒng)時，比如剛開始戴上頭戴式虛擬現(xiàn)實(shí)設(shè)備時，就會開始獲取主場景元素的顯示角度及用戶頭部的角度;通常情況下，此時主場景元素的顯示角度及用戶頭部的角度均為0°;當(dāng)用戶開始使用虛擬現(xiàn)實(shí)系統(tǒng)時，如果發(fā)生了用戶轉(zhuǎn)動頭部的情況，也會獲取主場景元素的顯示角度及用戶頭部的角度。
[0085]判斷模塊402，用于根據(jù)所述主場景元素的顯示角度及所述用戶頭部的角度，判斷所述主場景元素是否處于用戶視野內(nèi)。具體請參閱圖2，假設(shè)剛開始時主場景元素處在用戶頭部的正前方，即處于0°方向；n°及-n°則為預(yù)定角度，如果用戶轉(zhuǎn)動頭部的角度大于n°或者小于-n°則表明主場景元素不在用戶視野內(nèi)；換而言之，當(dāng)用戶轉(zhuǎn)動頭部的角度的絕對值大于預(yù)定角度n°時，則表明主場景元素不在用戶視野內(nèi)，反之則表明主場景元素不在用戶視野內(nèi)。在圖2中，由于y°或者-y°的絕對值小于n°，所以如果用戶頭部轉(zhuǎn)動的角度為y°或者-y°，則主場景元素仍在用戶視野內(nèi)；由于x°或者-x°的絕對值大于n°，如果用戶頭部轉(zhuǎn)動的角度為x°或者-x°，則主場景元素不在用戶視野內(nèi)。
[0086]校正模塊403，用于當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，校正所述主場景元素的顯示角度。由于用戶的頭部發(fā)生了較大角度的轉(zhuǎn)動，已經(jīng)影響到用戶觀看主場景元素，因此為了使用戶能看到主場景元素，虛擬現(xiàn)實(shí)系統(tǒng)將校正主場景元素的顯示角度。比如圖2中，如果剛開始時用戶的視野為0°方向，主場景的顯示角度也是0°，當(dāng)用戶頭部轉(zhuǎn)動了x°，那么可以將主場景元素的顯示角度也調(diào)整為x°。當(dāng)然副場景的元素的顯示角度也相應(yīng)的進(jìn)行校正，以保持整個全景視頻圖像的一致性。
[0087]顯示模塊404，用于根據(jù)校正后的所述主場景元素的顯示角度顯示所述主場景元素;具體而言，顯示模塊404將根據(jù)校正后的主場景元素的顯示角度，重新渲染全景視頻，并顯示。所顯示的全景視頻的數(shù)據(jù)幀格式，可以是MPEG-l、MPEG-2、MPEG-4或者是Mpeg4 AVC；也可以是H.26X系列，包括H.261、H.262、H.263、H.263+、H.263++、H.264。渲染全景視頻是通過異步時間扭曲技術(shù)實(shí)現(xiàn)。
[0088]顯示模塊404還用于當(dāng)所述主場景元素處于所述用戶視野內(nèi)時，則根據(jù)所述主場景元素的當(dāng)前顯示角度顯示所述主場景元素。雖然用戶的頭部發(fā)生了轉(zhuǎn)動，但由于轉(zhuǎn)動的角度較小，并不影響用戶觀看，因此不用對主場景元素的顯示角度進(jìn)行校正，仍然按照當(dāng)前顯示角度顯示主場景元素。
[0089]本實(shí)施例的全景視頻播放裝置，在主場景元素不在用戶視野內(nèi)時，可自動校正主場景元素到顯示角度，無需用戶進(jìn)行手動校正。
[0090]圖5為本發(fā)明實(shí)施例全景視頻播放裝置另一種實(shí)施例的示意圖。
[0091]本發(fā)明實(shí)施例的全景視頻播放裝置500，包括角度獲取模塊501、判斷模塊502、校正模塊503，以及顯示模塊504。
[0092]角度獲取模塊501，用于獲取主場景元素的顯示角度及用戶頭部的角度。由于在虛擬現(xiàn)實(shí)系統(tǒng)中，保存有主場景元素和副場景元素的顯示角度，因此可從虛擬現(xiàn)實(shí)系統(tǒng)中直接獲取到主場景元素的顯示角度。用戶頭部的坐標(biāo)則可以通過陀螺儀等傳感器檢測用戶頭部轉(zhuǎn)動的角度來獲取，由于傳感器已經(jīng)被廣泛應(yīng)用于手機(jī)、頭戴式虛擬現(xiàn)實(shí)裝置測量位移或者角度，本發(fā)明在此不再具體敘述其獲取角度的過程。
[0093]需要說明的是，當(dāng)用戶開始使用虛擬現(xiàn)實(shí)系統(tǒng)時，比如剛開始戴上頭戴式虛擬現(xiàn)實(shí)設(shè)備時，就會開始獲取主場景元素的顯示角度及用戶頭部的角度;通常情況下，此時主場景元素的顯示角度及用戶頭部的角度均為0°;當(dāng)用戶開始使用虛擬現(xiàn)實(shí)系統(tǒng)時，如果發(fā)生了用戶轉(zhuǎn)動頭部的情況，也會獲取主場景元素的顯示角度及用戶頭部的角度。
[0094]判斷模塊502，用于根據(jù)所述主場景元素的顯示角度及所述用戶頭部的角度，判斷所述主場景元素是否處于用戶視野內(nèi)。具體請參閱圖2，假設(shè)剛開始時主場景元素處在用戶頭部的正前方，即處于0°方向；n°及-n°則為預(yù)定角度，如果用戶轉(zhuǎn)動頭部的角度大于n°或者小于-n°則表明主場景元素不在用戶視野內(nèi)；換而言之，當(dāng)用戶轉(zhuǎn)動頭部的角度的絕對值大于預(yù)定角度n°時，則表明主場景元素不在用戶視野內(nèi)，反之則表明主場景元素不在用戶視野內(nèi)。在圖2中，由于y°或者-y°的絕對值小于n°，所以如果用戶頭部轉(zhuǎn)動的角度為y°或者-y°，則主場景元素仍在用戶視野內(nèi)；由于x°或者-x°的絕對值大于n°，如果用戶頭部轉(zhuǎn)動的角度為x°或者-x°，則主場景元素不在用戶視野內(nèi)。
[0095]提示模塊503，用于當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，提示校正所述主場景元素的顯示角度。提示模塊503可在虛擬現(xiàn)實(shí)系統(tǒng)的顯示屏幕上，顯示“主場景不在視野范圍內(nèi)，是否需要校正”的對話框，提醒用戶是否需要校正主場景元素的顯示角度。并在對話框中給出“是”和“否”兩個選項(xiàng)，提供給用戶進(jìn)行選擇是否校正。當(dāng)然副場景的元素的顯示角度也相應(yīng)的進(jìn)行校正，以保持整個全景視頻圖像的一致性。
[0096]交互模塊504，用于接收校正指令。交互模塊504可接收通過藍(lán)牙手柄，藍(lán)牙鍵盤，數(shù)據(jù)手套等發(fā)出的校正指令。用戶只需要按下藍(lán)牙鍵盤上的某一固定按鍵，或者按下藍(lán)牙手柄上某一按鈕即可。
[0097]校正模塊505，用于當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，校正所述主場景元素的顯示角度；以及用于根據(jù)所述校正指令校正所述主場景元素的顯示角度。由于用戶的頭部發(fā)生了較大角度的轉(zhuǎn)動，已經(jīng)影響到用戶觀看主場景元素，因此為了使用戶能看到主場景元素，虛擬現(xiàn)實(shí)系統(tǒng)將校正主場景元素的顯示角度。比如圖2中，如果剛開始時用戶的視野為0°方向，主場景的顯示角度也是0°，當(dāng)用戶頭部轉(zhuǎn)動了x°，那么可以將主場景元素的顯示角度也調(diào)整為x°。當(dāng)然副場景的元素的顯示角度也相應(yīng)的進(jìn)行校正，以保持整個全景視頻圖像的一致性。
[0098]顯示模塊506，用于根據(jù)校正后的所述主場景元素的顯示角度顯示所述主場景元素。具體而言，顯示模塊506將根據(jù)校正后的主場景元素的顯示角度，重新渲染全景視頻，并顯示。所顯示的全景視頻的數(shù)據(jù)幀格式，可以是MPEG-l、MPEG-2、MPEG-4或者是Mpeg4 AVC；也可以是H.26X系列，包括H.261、H.262、H.263、H.263+、H.263++、H.264。渲染全景視頻是通過異步時間扭曲技術(shù)實(shí)現(xiàn)。
[0099]顯示模塊506還用于當(dāng)所述主場景元素處于所述用戶視野內(nèi)時，則根據(jù)所述主場景元素的當(dāng)前顯示角度顯示所述主場景元素。雖然用戶的頭部發(fā)生了轉(zhuǎn)動，但由于轉(zhuǎn)動的角度較小，并不影響用戶觀看，因此不用對主場景元素的顯示角度進(jìn)行校正，仍然按照當(dāng)前顯示角度顯示主場景元素。
[0100]本實(shí)施例的全景視頻播放裝置，在主場景元素不在用戶視野內(nèi)時，可提示用戶是否進(jìn)行校正，然后由用戶自行校正，其校正的方式更為靈活。
[0101]通過實(shí)施本發(fā)明實(shí)施例的上述全景視頻播放方法及裝置，可以在用戶頭部轉(zhuǎn)動時，通過調(diào)整主場景元素的顯示角度，讓主場景元素保持顯示于用戶視野內(nèi)，提高了用戶體驗(yàn)。
[0102]以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動的情況下，即可以理解并實(shí)施。
[0103]通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件。基于這樣的理解，上述技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機(jī)軟件產(chǎn)品可以存儲在計算機(jī)可讀存儲介質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0104]最后應(yīng)說明的是:以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制;盡管參照前述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1.一種全景視頻播放方法，其特征在于，包括: 獲取主場景元素的顯示角度及用戶頭部的角度； 根據(jù)所述主場景元素的顯示角度及所述用戶頭部的角度，判斷所述主場景元素是否處于用戶視野內(nèi)； 當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，校正所述主場景元素的顯示角度； 根據(jù)校正后的所述主場景元素的顯示角度顯示所述主場景元素。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括； 當(dāng)所述主場景元素處于所述用戶視野內(nèi)時，則根據(jù)所述主場景元素的當(dāng)前顯示角度顯示所述主場景元素。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，還包括:當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，提示校正所述主場景元素的顯示角度的步驟。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，還包括:接收校正指令，并根據(jù)所述校正指令校正所述主場景元素的顯示角度的步驟。5.根據(jù)權(quán)利要求2至4任一項(xiàng)所述的方法，其特征在于，通過判斷所述用戶頭部的角度是否大于預(yù)定值，判斷所述主場景元素是否處于用戶視野內(nèi)。6.一種全景視頻播放裝置，其特征在于，包括: 角度獲取模塊，用于獲取主場景元素的顯示角度及用戶頭部的角度； 判斷模塊，用于根據(jù)所述主場景元素的顯示角度及所述用戶頭部的角度，判斷所述主場景元素是否處于用戶視野內(nèi)； 校正模塊，用于當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，校正所述主場景元素的顯示角度； 顯示模塊，用于根據(jù)校正后的所述主場景元素的顯示角度顯示所述主場景元素。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述顯示模塊，還用于當(dāng)所述主場景元素處于所述用戶視野內(nèi)時，則根據(jù)所述主場景元素的當(dāng)前顯示角度顯示所述主場景元素。8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，還包括提示模塊，用于當(dāng)所述主場景元素不處于所述用戶視野內(nèi)時，提示校正所述主場景元素的顯示角度。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，還包括交互模塊，用于接收校正指令;所述校正模塊還用于根據(jù)所述校正指令校正所述主場景元素的顯示角度。10.根據(jù)權(quán)利要求6至9任一項(xiàng)所述的裝置，其特征在于，所述校正模塊還用于通過判斷所述用戶頭部的角度是否大于預(yù)定值，判斷所述主場景元素是否處于用戶視野內(nèi)。
【文檔編號】H04N21/442GK105898138SQ201510974746
【公開日】2016年8月24日
【申請日】2015年12月18日
【發(fā)明人】周正
【申請人】樂視致新電子科技（天津）有限公司