一種全景視頻的播放方法和裝置的制造方法
【專利摘要】本發(fā)明涉及一種全景視頻的播放方法和裝置，通過從接收到的第一全景視頻中解碼出多個圖像幀，將所述多個圖像幀中的每一個圖像幀劃分為六個分塊，將所述每一個圖像幀的六個分塊分別設(shè)置在立方體模型的六個面上，形成以立方體為模型的圖像幀，將所述以立方體為模型的圖像幀按預(yù)定順序組合成第二全景視頻并播放所述第二全景視頻。根據(jù)本發(fā)明提供的一種全景視頻的播放方法和裝置，使接收到的視頻中的每個像素均能夠轉(zhuǎn)換為播放時的有效像素，在接收同樣像素的視頻的情況下能夠獲得更加清晰的播放效果。
【專利說明】
一種全景視頻的播放方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及全景視頻技術(shù)領(lǐng)域，尤其涉及一種全景視頻的播放方法和裝置。
【背景技術(shù)】
[0002]目前，全景視頻指的是超過一般視野的廣角視頻內(nèi)容，即通常我們所說的環(huán)形/柱形360度視頻提供了水平方向360度的視野。全景視頻具有立體感和真實感，能夠很好地提供視覺體驗。
[0003]全景視頻錄制有多種方法，通常分為單鏡頭和多鏡頭兩種方式。采用多個鏡頭/攝像機可以獲得高視頻質(zhì)量，但生成的視頻文件通常會是普通視頻文件大小的三到四倍，甚至更多。這對存儲和網(wǎng)絡(luò)傳輸都帶來巨大挑戰(zhàn)，尤其在網(wǎng)絡(luò)傳輸過程中過高的帶寬需求往往無法達到。若要想降低視頻文件的大小，節(jié)省帶寬，通常需要降低視頻質(zhì)量，這樣就使得采集到的視頻不清楚。
[0004]現(xiàn)有方案中，通過建立球模型，把全景視頻幀圖像貼合到一張平面圖上，參見圖1所示。該方案形成的視頻文件過大，傳輸時需要較大的帶寬，且編碼效率不高，分辨率較低。
[0005]公開于該【背景技術(shù)】部分的信息僅僅旨在增加對本發(fā)明的總體背景的理解，而不應(yīng)當(dāng)被視為承認或以任何形式暗示該信息構(gòu)成已為本領(lǐng)域一般技術(shù)人員所公知的現(xiàn)有技術(shù)。

【發(fā)明內(nèi)容】

[0006]技術(shù)問題
[0007]有鑒于此，本發(fā)明要解決的技術(shù)問題是，如何提供一種全景視頻的播放方法和裝置，能夠在接收同樣像素視頻的情況下，提高播放視頻的清晰度。
[0008]解決方案
[0009]為解決以上技術(shù)問題，本發(fā)明在第一方面提供一種全景視頻的播放方法，包括:
[0010]從接收到的第一全景視頻中解碼出多個圖像幀，將所述多個圖像幀中的每一個圖像幀劃分為六個分塊；
[0011]將所述每一個圖像幀的六個分塊分別設(shè)置在立方體模型的六個面上，形成以立方體為模型的圖像幀；
[0012]將所述以立方體為模型的圖像幀按預(yù)定順序組合成第二全景視頻；
[0013]播放所述第二全景視頻。
[0014]在一種可能的實現(xiàn)方式中，將所述每一個圖像幀的六個分塊分別設(shè)置在立方體模型的六個面上，包括:
[0015]分別建立所述六個分塊與所述立方體模型的六個面之間的位置對應(yīng)關(guān)系；
[0016]根據(jù)所述位置對應(yīng)關(guān)系，將所述六個分塊分別設(shè)置在所述立方體模型的六個面上。
[0017]在一種可能的實現(xiàn)方式中，分別建立所述六個分塊與所述立方體模型的六個面之間的位置對應(yīng)關(guān)系，包括:
[0018]根據(jù)用戶所在位置，確定所述立方體模型的六個面之中的前表面;根據(jù)所述前表面，確定所述立方體模型的六個面之中的后表面、上表面、下表面、左表面以及右表面；
[0019]分別建立所述六個分塊與所述前表面、后表面、上表面、下表面、左表面以及右表面之間的位置對應(yīng)關(guān)系。
[0020]在一種可能的實現(xiàn)方式中，將所述多個圖像幀中的每一個圖像幀劃分為六個分塊，包括:
[0021 ]根據(jù)所述立方體模型的形狀劃分所述六個分塊。
[0022]在一種可能的實現(xiàn)方式中，在將所述以立方體為模型的圖像幀按預(yù)定順序組合成第二全景視頻之前，還包括:
[0023]根據(jù)從接收到的第一全景視頻中解碼出多個圖像幀的時間順序，確定所述預(yù)定順序。
[0024]為解決以上技術(shù)問題，本發(fā)明在第二方面提供一種全景視頻的播放裝置，包括:
[0025]劃分模塊，用于從接收到的第一全景視頻中解碼出多個圖像幀，將所述多個圖像幀中的每一個圖像幀劃分為六個分塊；
[0026]處理模塊，用于將所述每一個圖像幀的所述六個分塊分別設(shè)置在立方體模型的六個面上，形成以立方體為模型的圖像幀；
[0027]組合模塊，用于將所述以立方體為模型的圖像幀按預(yù)定順序組合成第二全景視頻；
[0028]播放模塊，用于播放所述第二全景視頻。
[0029]在一種可能的實現(xiàn)方式中，所述處理模塊，還用于建立所述六個分塊與立方體模型的六個面之間的位置對應(yīng)關(guān)系，并根據(jù)所述位置對應(yīng)關(guān)系，將所述六個分塊分別設(shè)置在立方體模型的六個面上。
[0030]在一種可能的實現(xiàn)方式中，所述處理模塊，還用于:根據(jù)用戶所在位置，確定所述立方體模型的六個面之中的前表面;根據(jù)所述前表面，確定所述立方體模型的六個面之中的后表面、上表面、下表面、左表面以及右表面；以及分別建立所述六個分塊與所述前表面、后表面、上表面、下表面、左表面以及右表面之間的位置對應(yīng)關(guān)系。
[0031]在一種可能的實現(xiàn)方式中，所述處理模塊還用于:根據(jù)所述立方體模型的形狀劃分所述六個分塊。
[0032]在一種可能的實現(xiàn)方式中，所述組合模塊，還用于:根據(jù)從接收到的第一全景視頻中解碼出多個圖像幀的時間順序，確定所述預(yù)定順序。
[0033]有益效果
[0034]根據(jù)本發(fā)明實施例提供的全景視頻的播放方法和裝置，通過從接收到的第一全景視頻中解碼出多個圖像幀，將所述多個圖像幀中的每一個圖像幀劃分為六個分塊，將所述每一個圖像幀的六個分塊分別設(shè)置在立方體模型的六個面上，形成以立方體為模型的圖像幀，將所述以立方體為模型的圖像幀按預(yù)定順序組合成第二全景視頻并播放所述第二全景視頻，使接收到的視頻中的每個像素均能夠轉(zhuǎn)換為播放時的有效像素，在接收同樣像素的視頻的情況下，能夠獲得更加清晰的播放效果。
[0035]根據(jù)下面參考附圖對示例性實施例的詳細說明，本發(fā)明的其它特征及方面將變得清楚。
【附圖說明】
[0036]包含在說明書中并且構(gòu)成說明書的一部分的附圖與說明書一起示出了本發(fā)明的示例性實施例、特征和方面，并且用于解釋本發(fā)明的原理。
[0037]圖1示出現(xiàn)有技術(shù)中圖像幀的示意圖；
[0038]圖2示出本發(fā)明實施例提供的一種全景視頻的播放方法的流程圖；
[0039]圖3示出本發(fā)明另一實施例提供的一種全景視頻的播放方法的流程圖；
[0040]圖4示出本實施例中從視頻中解碼出的圖像幀的示意圖；
[0041 ]圖5示出本實施例中將圖像幀劃分為六個分塊的示意圖；
[0042]圖6示出本實施例將每一個圖像幀的六個分塊分別設(shè)置在立方體模型的六個面上的不意圖；
[0043]圖7示出本發(fā)明實施例提供的一種全景視頻的播放裝置的示意圖。
【具體實施方式】
[0044]以下將參考附圖詳細說明本發(fā)明的各種示例性實施例、特征和方面。附圖中相同的附圖標記表示功能相同或相似的元件。盡管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪制附圖。
[0045]在這里專用的詞“示例性”意為“用作例子、實施例或說明性”。這里作為“示例性”所說明的任何實施例不必解釋為優(yōu)于或好于其它實施例。
[0046]另外，為了更好的說明本發(fā)明，在下文的【具體實施方式】中給出了眾多的具體細節(jié)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，沒有某些具體細節(jié)，本發(fā)明同樣可以實施。在一些實例中，對于本領(lǐng)域技術(shù)人員熟知的方法、手段、元件未作詳細描述，以便于凸顯本發(fā)明的主旨。
[0047]實施例1
[0048]圖2示出本發(fā)明實施例提供的一種全景視頻的播放方法的流程圖，如該圖所示，該方法包括:
[0049]步驟S1、從接收到的第一全景視頻中解碼出多個圖像幀，將所述多個圖像幀中的每一個圖像幀劃分為六個分塊。
[0050]步驟S2、將所述每一個圖像幀的六個分塊分別設(shè)置在立方體模型的六個面上，形成以立方體為模型的圖像幀。
[0051]步驟S3、將所述以立方體為模型的圖像幀按預(yù)定順序組合成第二全景視頻。
[0052]步驟S4、播放所述第二全景視頻。
[0053]現(xiàn)有全景視頻技術(shù)，一般采用球形建模對視頻進行處理，終端接收視頻后基于球模型進行播放。在球模型中存在極大的像素損失，以球模型的北極點為例進行說明，由于傳輸過程中的圖像幀為矩形圖像幀，終端接收該矩形圖像幀后將其轉(zhuǎn)換為球形圖像幀，在該過程中，矩形圖像幀最上方一行的多個像素點被轉(zhuǎn)換為位于球模型北極點上的一個像素點，由此導(dǎo)致了像素值的極大浪費。
[0054]具體地，結(jié)合圖1所示，位于矩形圖像幀任一列的像素點(設(shè)像素值為N)，在球模型中對應(yīng)的像素點與球心構(gòu)成向量，該向量與Z軸夾角為α，那么該列的N個像素點在轉(zhuǎn)換為球模型時，實際有效的像素值n = Nsina。由此導(dǎo)致像素損失。
[0055]根據(jù)本發(fā)明實施例提供的全景視頻的播放方法，通過從接收到的第一全景視頻中解碼出多個圖像幀，將所述多個圖像幀中的每一個圖像幀劃分為六個分塊，將所述每一個圖像幀的六個分塊分別設(shè)置在立方體模型的六個面上，形成以立方體為模型的圖像幀，將所述以立方體為模型的圖像幀按預(yù)定順序組合成第二全景視頻并播放所述第二全景視頻，有效避免了以上球模型播放的像素損失，換言之，接收到的視頻中的每個像素均能夠轉(zhuǎn)換為播放時的有效像素。由此，通過本發(fā)明實施例，在接收同樣像素的視頻的情況下，能夠獲得更加清晰的播放效果。
[0056]實施例2
[0057]圖3示出本發(fā)明實施例提供的全景視頻的播放方法的流程圖，在圖3中與圖2采用相同附圖標記的步驟，均與圖2適用于相同的文字說明，在此不再贅述。如該圖所示，該方法還包括:
[0058]在步驟SI之前，服務(wù)器可以先將球模型轉(zhuǎn)化為正方形全景模型，例如可以模擬使立方體模型外切于球模型，以將球模型圖像幀映射于立方體模型的六個面上，由此得到正方形全景模型。再例如，也可以模擬使立方體模型內(nèi)接于球模型，以將球模型圖像幀映射于立方體模型的六個面上，由此得到基于正方形全景模型的視頻，并將該視頻發(fā)送給終端。
[0059]圖4示出本實施例中步驟SI從視頻中解碼出的圖像幀的示意圖，如該圖所示，圖像幀的展開圖其左端與右端可以互相拼接，并可以基于圖像內(nèi)容的位置關(guān)系區(qū)分前后左右上下。
[0060]在一種可能的實現(xiàn)方式中，可以步驟SI中可以根據(jù)立方體模型的形狀劃分該六個分塊。
[0061]圖5示出本實施例中步驟SI將該圖像幀劃分為六個分塊的示意圖，如該圖所示，以正立方體模型為例，步驟Si可以具體包括根據(jù)原圖像幀中圖像內(nèi)容的位置關(guān)系，將圖像幀劃分為前分塊、后分塊、左分塊、右分塊、上分塊和下分塊。其中，每個分塊均為邊長相等的正方形。
[0062]在一種可能的實現(xiàn)方式中，步驟S2中關(guān)于立方體模型的前表面的確定可以是任意的，并且當(dāng)確定了前表面之后，其他五個表面也隨之而確定。
[0063]在另一種可能的實現(xiàn)方式中，步驟S2可以包括:
[0064]步驟S21、根據(jù)用戶所在位置，確定所述立方體模型的六個面之中的前表面。
[0065]由于模擬的用戶的視角位于該立方體模型的中心位置，可以以用戶頭部的初始位置來確定該立方體模型的前表面，即位于用戶頭部的初始位置正前方的表面為前表面。
[0066]步驟S22、根據(jù)所述前表面，確定所述立方體模型的六個面之中的后表面、上表面、下表面、左表面以及右表面。
[0067]當(dāng)確定了前表面之后，其他五個表面也隨之而確定。
[0068]步驟S23、分別建立所述六個分塊與所述前表面、后表面、上表面、下表面、左表面以及右表面之間的位置對應(yīng)關(guān)系。
[0069]本步驟可以包括建立正立方體模型的前表面與圖像幀的前分塊的位置對應(yīng)關(guān)系；建立正立方體模型的后表面與圖像幀的后分塊的位置對應(yīng)關(guān)系;建立正立方體模型的左表面與圖像幀的左分塊的位置對應(yīng)關(guān)系;建立正立方體模型的右表面與圖像幀的右分塊的位置對應(yīng)關(guān)系；建立正立方體模型的上表面與圖像幀的上分塊的位置對應(yīng)關(guān)系；建立正立方體模型的下表面與圖像幀的下分塊的位置對應(yīng)關(guān)系。
[0070]步驟S24、根據(jù)所述位置對應(yīng)關(guān)系，將所述六個分塊分別設(shè)置在所述立方體模型的六個面上。
[0071]圖6示出本實施例步驟S2將所述每一個圖像幀的六個分塊分別設(shè)置在立方體模型的六個面上的示意圖，可以將圖像幀的前分塊設(shè)置在正立方體模型的前表面，所述前表面為位于用戶頭部正前方的表面;將圖像幀的后分塊設(shè)置在正立方體模型的后表面，所述后表面為位于用戶頭部正后方的表面;將圖像幀的左分塊設(shè)置在正立方體模型的左表面，所述左表面為位于用戶頭部正左方的表面；將圖像幀的右分塊設(shè)置在正立方體模型的右表面，所述右表面為位于用戶頭部正右方的表面;將圖像幀的上分塊設(shè)置在正立方體模型的上表面，所述上表面為位于用戶頭部正上方的表面;將圖像幀的下分塊設(shè)置在正立方體模型的下表面，所述下表面為位于用戶頭部正下方的表面。
[0072]由此，可以根據(jù)圖像內(nèi)容，將主要的圖像內(nèi)容設(shè)置在模型的前表面，以使播放時主要的圖像內(nèi)容可以處于用戶的主視野內(nèi)。
[0073]對每一個圖像幀的六個分塊均進行本步驟的處理，即將全部圖像幀處理為正立方體圖像幀。
[0074]在一種可能的實現(xiàn)方式中，在步驟S3之前，還可以包括:
[0075]步驟S5、根據(jù)從接收到的第一全景視頻中解碼出多個圖像幀的時間順序，確定所述預(yù)定順序。
[0076]實施例3
[0077]圖7示出本發(fā)明實施例提供的一種全景視頻的播放裝置的示意圖，如圖7所示，該裝置I包括:劃分模塊11、處理模塊12、組合模塊13和播放模塊14。
[0078]劃分模塊11，用于從接收到的第一全景視頻中解碼出多個圖像幀，將所述多個圖像幀中的每一個圖像幀劃分為六個分塊。處理模塊12，用于將所述每一個圖像幀的所述六個分塊分別設(shè)置在立方體模型的六個面上，形成以立方體為模型的圖像幀。組合模塊13，用于將所述以立方體為模型的圖像幀按預(yù)定順序組合成第二全景視頻。播放模塊14，用于播放所述第二全景視頻。
[0079]在一種可能的實現(xiàn)方式中，處理模塊12，還用于建立所述六個分塊與立方體模型的六個面之間的位置對應(yīng)關(guān)系，并根據(jù)所述位置對應(yīng)關(guān)系，將所述六個分塊分別設(shè)置在立方體模型的六個面上。
[0080]在一種可能的實現(xiàn)方式中，處理模塊12，還用于根據(jù)用戶所在位置，確定所述立方體模型的六個面之中的前表面;根據(jù)所述前表面，確定所述立方體模型的六個面之中的后表面、上表面、下表面、左表面以及右表面；以及分別建立所述六個分塊與所述前表面、后表面、上表面、下表面、左表面以及右表面之間的位置對應(yīng)關(guān)系。
[0081]在一種可能的實現(xiàn)方式中，處理模塊12還用于:根據(jù)所述立方體模型的形狀劃分所述六個分塊。
[0082]在一種可能的實現(xiàn)方式中，組合模塊13，還用于根據(jù)從接收到的第一全景視頻中解碼出多個圖像幀的時間順序，確定所述預(yù)定順序。
[0083]所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的裝置的具體工作過程，可以參考前述方法實施例中的對應(yīng)過程，在此不再贅述。
[0084]本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述各方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成。前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中。該程序在執(zhí)行時，執(zhí)行包括上述各方法實施例的步驟;而前述的存儲介質(zhì)包括:R0M、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
[0085]最后應(yīng)說明的是:以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制;盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。換言之，以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以所述權(quán)利要求的保護范圍為準。
【主權(quán)項】
1.一種全景視頻的播放方法，其特征在于，包括: 從接收到的第一全景視頻中解碼出多個圖像幀，將所述多個圖像幀中的每一個圖像幀劃分為六個分塊； 將所述每一個圖像幀的六個分塊分別設(shè)置在立方體模型的六個面上，形成以立方體為模型的圖像幀； 將所述以立方體為模型的圖像幀按預(yù)定順序組合成第二全景視頻； 播放所述第二全景視頻。2.根據(jù)權(quán)利要求1所述的播放方法，其特征在于，將所述每一個圖像幀的六個分塊分別設(shè)置在立方體模型的六個面上，包括: 分別建立所述六個分塊與所述立方體模型的六個面之間的位置對應(yīng)關(guān)系； 根據(jù)所述位置對應(yīng)關(guān)系，將所述六個分塊分別設(shè)置在所述立方體模型的六個面上。3.根據(jù)權(quán)利要求2所述的播放方法，其特征在于，分別建立所述六個分塊與所述立方體模型的六個面之間的位置對應(yīng)關(guān)系，包括: 根據(jù)用戶所在位置，確定所述立方體模型的六個面之中的前表面;根據(jù)所述前表面，確定所述立方體模型的六個面之中的后表面、上表面、下表面、左表面以及右表面； 分別建立所述六個分塊與所述前表面、后表面、上表面、下表面、左表面以及右表面之間的位置對應(yīng)關(guān)系。4.根據(jù)權(quán)利要求1至3中任一項所述的播放方法，其特征在于，將所述多個圖像幀中的每一個圖像幀劃分為六個分塊，包括: 根據(jù)所述立方體模型的形狀劃分所述六個分塊。5.根據(jù)權(quán)利要求1至4中任一項所述的播放方法，其特征在于，在將所述以立方體為模型的圖像幀按預(yù)定順序組合成第二全景視頻之前，還包括: 根據(jù)從接收到的第一全景視頻中解碼出多個圖像幀的時間順序，確定所述預(yù)定順序。6.一種全景視頻的播放裝置，其特征在于，包括: 劃分模塊，用于從接收到的第一全景視頻中解碼出多個圖像幀，將所述多個圖像幀中的每一個圖像幀劃分為六個分塊； 處理模塊，用于將所述每一個圖像幀的所述六個分塊分別設(shè)置在立方體模型的六個面上，形成以立方體為模型的圖像幀； 組合模塊，用于將所述以立方體為模型的圖像幀按預(yù)定順序組合成第二全景視頻； 播放模塊，用于播放所述第二全景視頻。7.根據(jù)權(quán)利要求6所述的播放裝置，其特征在于，所述處理模塊，還用于建立所述六個分塊與立方體模型的六個面之間的位置對應(yīng)關(guān)系，并根據(jù)所述位置對應(yīng)關(guān)系，將所述六個分塊分別設(shè)置在立方體模型的六個面上。8.根據(jù)權(quán)利要求7所述的播放裝置，其特征在于，所述處理模塊，還用于:根據(jù)用戶所在位置，確定所述立方體模型的六個面之中的前表面;根據(jù)所述前表面，確定所述立方體模型的六個面之中的后表面、上表面、下表面、左表面以及右表面；以及分別建立所述六個分塊與所述前表面、后表面、上表面、下表面、左表面以及右表面之間的位置對應(yīng)關(guān)系。9.根據(jù)權(quán)利要求6至8中任一項所述的播放裝置，其特征在于，所述處理模塊還用于:根據(jù)所述立方體模型的形狀劃分所述六個分塊。10.根據(jù)權(quán)利要求6至9中任一項所述的播放裝置，其特征在于，所述組合模塊，還用于:根據(jù)從接收到的第一全景視頻中解碼出多個圖像幀的時間順序，確定所述預(yù)定順序。
【文檔編號】H04N21/2187GK105898344SQ201610224930
【公開日】2016年8月24日
【申請日】2016年4月12日
【發(fā)明人】王英杰
【申請人】樂視控股（北京）有限公司, 樂視網(wǎng)信息技術(shù)（北京）股份有限公司