專利名稱：3d立體視頻編碼傳輸方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及3D立體視頻技術(shù)領(lǐng)域，具體涉及3D立體視頻編碼傳輸方法及裝置、3D立體視頻解碼播放裝置。
背景技術(shù)：
3D視頻內(nèi)容隨著3D電影的熱播受到了人們的廣泛關(guān)注，各種3D終端產(chǎn)品也隨之推出，目前市場(chǎng)上已經(jīng)出現(xiàn)了支持3D顯示的移動(dòng)終端產(chǎn)品。如何通過(guò)這些終端產(chǎn)品提供新型業(yè)務(wù)服務(wù)，提升用戶體驗(yàn)將是運(yùn)營(yíng)商亟待解決的課題。對(duì)比一般2D視頻，3D立體視頻通常包含兩路視頻流，分別對(duì)應(yīng)于人類的左眼和右眼的視像結(jié)果。當(dāng)兩路視頻流被解碼后，通過(guò)立體顯示裝置和方案，如基于偏振的3D電影的方案、基于光柵的裸眼3D顯示屏方案等為人們展示3D立體視頻效果 。目前對(duì)于3D立體視頻的編碼方案主要有1)獨(dú)立編碼，兩路視頻流被獨(dú)立編碼；2)雙拼編碼，兩路視頻中的對(duì)稱圖像各取一半，雙拼成為一路視頻進(jìn)行編碼；3)聯(lián)合編碼，一路視頻對(duì)于另外一路進(jìn)行運(yùn)動(dòng)估計(jì)運(yùn)算，然后對(duì)殘差幀重新編碼；4)深度編碼，由一路視頻幀與其對(duì)應(yīng)的立體深度信息進(jìn)行編碼。這些編碼方案最終被復(fù)用組織成為標(biāo)準(zhǔn)視頻流，如動(dòng)態(tài)圖像專家組(MPEG,Moving Pictures Experts Group) 2、Η· 264 多視頻編碼(MVC,multi-view video coding)系統(tǒng)碼流格式,通過(guò)基于廣播如數(shù)字視頻廣播(DVB, DigitalVideo Broadcasting)或者IP技術(shù)方案進(jìn)行傳輸。如何通過(guò)多媒體廣播技術(shù)提供3D立體視頻業(yè)務(wù)，尚屬一個(gè)創(chuàng)新領(lǐng)域，并無(wú)現(xiàn)成的相關(guān)標(biāo)準(zhǔn)技術(shù)方案。

發(fā)明內(nèi)容
本發(fā)明提供3D立體視頻編碼傳輸方法及裝置，以及3D立體視頻解碼播放方法，以實(shí)現(xiàn)通過(guò)多媒體廣播提供3D立體視頻業(yè)務(wù)。本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的一種3D立體視頻編碼傳輸方法，該方法包括對(duì)于立體視頻源采集的第一路視頻流的每個(gè)幀組，對(duì)第一幀進(jìn)行幀內(nèi)編碼，對(duì)后續(xù)每幀，以該路視頻流的前一編碼幀為參考幀進(jìn)行P幀編碼，得到第一路視頻編碼流；對(duì)于立體視頻源采集的第二路視頻流的每個(gè)幀組，對(duì)每幀與第一路視頻流的對(duì)應(yīng)幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到該幀的運(yùn)動(dòng)矢量，同時(shí)得到該幀的圖像殘差，對(duì)第一幀的圖像殘差，以第一路視頻流的對(duì)應(yīng)編碼I幀為參考幀進(jìn)行P幀編碼，對(duì)后續(xù)每幀的圖像殘差，以第一路視頻流的對(duì)應(yīng)編碼P幀和第二路視頻流的前一編碼幀為參考幀進(jìn)行B幀編碼，在編碼后的每幀中保存該幀的所述運(yùn)動(dòng)矢量，得到第二路視頻編碼流；將第一、二路視頻編碼流封裝入多媒體廣播信道幀針對(duì)同一節(jié)目的同一復(fù)用子幀中，并在該信道幀中設(shè)置該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，同時(shí)在第一路視頻編碼流的擴(kuò)展信息保留位上存儲(chǔ)第二路視頻編碼流的視頻流編號(hào)，將信道幀廣播出去。
所述方法進(jìn)一步包括當(dāng)終端接收到信道幀時(shí)，對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中設(shè)置了該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，在該復(fù)用子幀的第一路視頻編碼流的擴(kuò)展信息保留位上讀取到第二路視頻編碼流的視頻流編號(hào)，同時(shí)讀取第一、二路視頻編碼流，采用每一路視頻編碼流的解碼參數(shù)集，對(duì)該路視頻編碼流進(jìn)行解碼，分別得到原始第一路視頻流和原始第二路視頻流的圖像殘差；根據(jù)第二路視頻編碼流中保存的各幀的運(yùn)動(dòng)矢量，并結(jié)合原始第一路視頻流對(duì)原始第二路視頻流的圖像殘差進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到原始第二路視頻流，將原始第一、二路視頻流以3D立體視頻方式顯示。所述將第一路視頻編碼流和第二路視頻編碼流封裝入多媒體廣播信道幀針對(duì)同一節(jié)目的同一復(fù)用子幀中進(jìn)一步包括在封裝第二路視頻編碼流時(shí)，不封裝解碼參數(shù)集。所述方法進(jìn)一步包括當(dāng)終端接收到信道幀時(shí)，對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中設(shè)置了該復(fù)用子 幀包含3D立體視頻節(jié)目服務(wù)指示，在該復(fù)用子幀的第一路視頻編碼流的擴(kuò)展信息保留位上讀取到第二路視頻編碼流的視頻流編號(hào)，同時(shí)讀取第一、二路視頻編碼流，并采用第一路視頻編碼流的解碼參數(shù)集，同時(shí)對(duì)該兩視頻編碼流進(jìn)行解碼，分別得到原始第一路視頻流和原始第二路視頻流的圖像殘差；根據(jù)第二路視頻編碼流中保存的各幀的運(yùn)動(dòng)矢量，并結(jié)合原始第一路視頻流對(duì)原始第二路視頻流的圖像殘差進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到原始第二路視頻流，將原始第一、二路視頻流以3D立體視頻方式顯示。所述終端接收到信道幀之后進(jìn)一步包括終端判斷自身是否支持3D立體視頻節(jié)目，若否，則對(duì)任一復(fù)用子幀，只對(duì)該復(fù)用子幀中包含解碼參數(shù)集的視頻流進(jìn)行解碼，并將解碼后的視頻流以2D視頻方式顯示。所述終端接收到信道幀之后進(jìn)一步包括對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中未設(shè)置該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，則只對(duì)該復(fù)用子幀中包含解碼參數(shù)集的視頻流進(jìn)行解碼，并將解碼后的視頻流以2D視頻方式顯示。 所述多媒體廣播信道幀為中國(guó)移動(dòng)多媒體廣播CMMB幀。一種3D立體視頻編碼傳輸裝置，包括編碼模塊對(duì)于立體視頻源采集的第一路視頻流的每個(gè)幀組，對(duì)第一幀進(jìn)行幀內(nèi)編碼，對(duì)后續(xù)每幀，以該路視頻流的前一編碼幀為參考幀進(jìn)行P幀編碼，得到第一路視頻編碼流；對(duì)于立體視頻源采集的第二路視頻流的每個(gè)幀組，對(duì)每幀與第一路視頻流的對(duì)應(yīng)幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到該幀的運(yùn)動(dòng)矢量，同時(shí)得到該幀的圖像殘差，對(duì)第一幀的圖像殘差，以第一路視頻流的對(duì)應(yīng)編碼I幀為參考幀進(jìn)行P幀編碼，對(duì)后續(xù)每幀的圖像殘差，以第一路視頻流的對(duì)應(yīng)編碼P幀和第二路視頻流的前一編碼幀為參考幀進(jìn)行B幀編碼，在編碼后的每幀中保存該幀的所述運(yùn)動(dòng)矢量，得到第二路視頻編碼流；將第一、二路視頻編碼流輸出到封裝模塊；封裝模塊將第一、二路視頻編碼流封裝入多媒體廣播信道幀針對(duì)同一節(jié)目的同一復(fù)用子幀中，在信道幀中設(shè)置該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，同時(shí)在第一路視頻編碼流的擴(kuò)展信息保留位上存儲(chǔ)第二路視頻編碼流的視頻流編號(hào)，將CMMB信道幀廣播出去。
所述封裝模塊進(jìn)一步用于，在封裝第二路視頻編碼流時(shí)，不封裝解碼參數(shù)集。一種3D立體視頻解碼播放裝置，包括解碼模塊當(dāng)接收到多媒體廣播信道幀時(shí)，對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中設(shè)置了該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，在該復(fù)用子幀的第一路視頻編碼流的擴(kuò)展信息保留位上讀取到第二路視頻編碼流的視頻流編號(hào)，同時(shí)讀取第一、二路視頻編碼流，采用每一路視頻編碼流的解碼參數(shù)集，對(duì)該路視頻編碼流進(jìn)行解碼，分別得到原始第一路視頻流和原始第二路視頻流的圖像殘差；根據(jù)第二路視頻編碼流中保存的各幀的運(yùn)動(dòng)矢量，并結(jié)合原始第一路視頻流對(duì)原始第二路視頻流的圖像殘差進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到原始第~■路視頻流；3D視頻播放模塊將解碼模塊輸出的原始第一、二路視頻流以3D立體視頻方式顯

一種3D立體視頻解碼播放裝置，包括解碼模塊當(dāng)接收到多媒體廣播信道幀時(shí)，對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中設(shè)置了該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，在該復(fù)用子幀的第一路視頻編碼流的擴(kuò)展信息保留位上讀取到第二路視頻編碼流的視頻流編號(hào)，同時(shí)讀取第一、二路視頻編碼流，并采用第一路視頻編碼流的解碼參數(shù)集，同時(shí)對(duì)該兩視頻編碼流進(jìn)行解碼，分別得到原始第一路視頻流和原始第二路視頻流的圖像殘差；根據(jù)第二路視頻編碼流中保存的各幀的運(yùn)動(dòng)矢量，并結(jié)合原始第一路視頻流對(duì)原始第二路視頻流的圖像殘差進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到原始第二路視頻流；3D視頻播放模塊將解碼模塊輸出的原始第一、二路視頻流以3D立體視頻方式顯
/Jn ο所述解碼模塊進(jìn)一步用于，當(dāng)接收到多媒體廣播信道幀時(shí)，判斷本終端是否支持3D立體視頻節(jié)目，若否，則對(duì)任一復(fù)用子幀，只對(duì)該復(fù)用子幀中包含解碼參數(shù)集的視頻流進(jìn)行解碼，并將解碼后的視頻流發(fā)送給2D視頻播放模塊。所述解碼模塊進(jìn)一步用于，對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中未設(shè)置該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，則只對(duì)該復(fù)用子幀中包含解碼參數(shù)集的視頻流進(jìn)行解碼，并將解碼后的視頻流發(fā)送給2D視頻播放模塊。與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)現(xiàn)了通過(guò)多媒體廣播提供3D立體視頻業(yè)務(wù)，且提高了3D立體視頻編碼效率，且該編碼方法能廣泛兼容現(xiàn)有終端的視頻編碼方案，降低了對(duì)終端的解碼要求。


圖I為本發(fā)明實(shí)施例提供的基于CMMB的3D立體視頻編碼方法流程圖；圖2給出了圖I所示實(shí)施例提供的編碼方法的示意圖；圖3為本發(fā)明實(shí)施例提供的基于CMMB的3D立體視頻傳輸方法流程圖；圖4給出了 CMMB廣播信道幀的組成示意圖；圖5為本發(fā)明實(shí)施例提供的基于CMMB的3D立體視頻解碼播放方法流程圖；圖6為本發(fā)明實(shí)施例提供的基于CMMB的3D立體視頻編碼傳輸裝置的組成圖；圖7為本發(fā)明實(shí)施例提供的基于CMMB的3D立體視頻解碼播放裝置的組成圖。
具體實(shí)施例方式下面結(jié)合附圖及具體實(shí)施例對(duì)本發(fā)明再作進(jìn)一步詳細(xì)的說(shuō)明。圖I為本發(fā)明實(shí)施例提供的基于CMMB的3D立體視頻編碼方法流程圖，如圖I所示，其具體步驟如下步驟101 :立體視頻源采集分別對(duì)應(yīng)于左眼和右眼的左路和右路視頻流。步驟102 :對(duì)于左路視頻流的每個(gè)圖像幀組 ，對(duì)第一幀進(jìn)行幀內(nèi)編碼，得到I幀，對(duì)后續(xù)每幀，以該路視頻流的前一編碼幀為參考幀進(jìn)行P幀編碼，分別得到P幀。對(duì)于目前CMMB系統(tǒng)，本步驟中，對(duì)左路視頻流編碼后得到的碼流為H. 264 baseline profile碼流。這種碼流在終端無(wú)需特殊處理，可以按照解碼規(guī)范被正常解碼播放。步驟103 :對(duì)于右路視頻流的每個(gè)圖像幀組，對(duì)于每一幀，首先采用預(yù)設(shè)運(yùn)動(dòng)估計(jì)算法，對(duì)該幀與左路視頻流中對(duì)應(yīng)幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到該兩幀的運(yùn)動(dòng)向量，根據(jù)該運(yùn)動(dòng)向量計(jì)算該巾貞與左路視頻流中對(duì)應(yīng)巾貞的圖像殘差，對(duì)第一巾貞的圖像殘差，以左路視頻流的對(duì)應(yīng)編碼I幀為參考幀進(jìn)行P幀編碼，得到P幀，并在該P(yáng)幀中保存該第一幀的運(yùn)動(dòng)向量；對(duì)后續(xù)每巾貞的圖像殘差，以左路視頻流的對(duì)應(yīng)編碼P巾貞和右路視頻流的如一編碼巾貞為參考中貞，進(jìn)行B幀編碼，分別得到B幀，并在每個(gè)B幀中保存該幀的運(yùn)動(dòng)向量。本步驟中的對(duì)應(yīng)幀指的是，左路視頻流的第m個(gè)幀組的第η幀與右路視頻流的第m個(gè)幀組的第η幀對(duì)應(yīng)。運(yùn)動(dòng)估計(jì)的基本過(guò)程為將對(duì)應(yīng)的左路視頻幀和右路視頻幀分別劃分為相同數(shù)目的宏塊，對(duì)于右路視頻幀的每個(gè)宏塊，在左路視頻幀中查找與該宏塊最匹配的宏塊，計(jì)算該兩宏塊間的運(yùn)動(dòng)矢量，對(duì)于對(duì)應(yīng)的左、右路視頻幀中最匹配的兩宏塊，計(jì)算該兩宏塊間的殘差。這樣，對(duì)于每個(gè)右路視頻幀都會(huì)得到多個(gè)殘差，對(duì)一右路視頻幀的所有殘差進(jìn)行編碼，即得到本步驟中的P幀或B幀。圖2給出了圖I所示實(shí)施例提供的編碼方法的示意圖。對(duì)3D立體視頻原始碼流編碼后，就可對(duì)編碼后得到的3D立體視頻編碼流進(jìn)行封裝、傳輸了。本發(fā)明實(shí)施例中，對(duì)3D立體視頻編碼流采用CMMB系統(tǒng)中的復(fù)用幀進(jìn)行封裝。圖3為本發(fā)明實(shí)施例提供的基于CMMB的3D立體視頻傳輸方法流程圖，如圖3所示，其具體步驟如下步驟301 :確定封裝3D立體視頻編碼流的復(fù)用子幀號(hào)，在復(fù)用幀標(biāo)識(shí)(MF_ID，Multiplex Frame Identifier)為0的復(fù)用巾貞的控制信息中設(shè)置該復(fù)用子巾貞包含3D立體視頻節(jié)目服務(wù)指示。在CMMB系統(tǒng)中以復(fù)用幀作為廣播信道中基礎(chǔ)的信息組織單元，廣播信道幀中通過(guò)時(shí)分包含了多個(gè)復(fù)用幀。圖4給出了廣播信道幀的組成，如圖4所示，每個(gè)復(fù)用幀包含復(fù)用幀頭、復(fù)用幀凈荷和填充三個(gè)部分。其中復(fù)用幀頭包括起始碼、幀頭長(zhǎng)度、協(xié)議版本號(hào)、復(fù)用幀標(biāo)示、復(fù)用子幀數(shù)、每個(gè)子幀長(zhǎng)度以及子幀參數(shù)等信息。每個(gè)復(fù)用幀由MF_ID唯一標(biāo)示，其中MF_ID為O的復(fù)用幀用于承載控制信息，其它復(fù)用幀用于承載業(yè)務(wù)，即視頻、音頻和數(shù)據(jù)等業(yè)務(wù)信息。控制信息通過(guò)各種控制信息表來(lái)指示不同控制類型?？刂菩畔⒈碇邪?1)網(wǎng)絡(luò)信息表(NIT) ；2)持續(xù)業(yè)務(wù)復(fù)用配置表(CMCT) ；3)持續(xù)業(yè)務(wù)配置表(CSCT) ；4)短時(shí)間業(yè)務(wù)復(fù)用配置表(SMCT) ；5)短時(shí)間業(yè)務(wù)配置表(SSCT) ;6) ESG基本描述表；7)緊急廣播等。其中，3)持續(xù)業(yè)務(wù)配置表(CSCT)的擴(kuò)展字段用于設(shè)置各個(gè)復(fù)用子幀包含的視頻節(jié)目服務(wù)類型，例如若要將3D立體視頻編碼流放入復(fù)用子幀2，則在CSCT中設(shè)置復(fù)用子幀2包含3D立體視頻節(jié)目服務(wù)指示。I個(gè)復(fù)用幀的復(fù)用幀凈荷中包含一個(gè)或多個(gè)復(fù)用子幀，同一業(yè)務(wù)的視頻流、音頻流和數(shù)據(jù)流封裝在同一復(fù)用子幀中?！?br> 本實(shí)施例中，左路和右路視頻編碼流由于屬于同一業(yè)務(wù)，因此同時(shí)復(fù)用在一個(gè)復(fù)用子幀中，當(dāng)然該復(fù)用子幀中也包含了該業(yè)務(wù)的音頻流和數(shù)據(jù)流。步驟302 :將左路視頻編碼流和右路視頻編碼流封裝入該復(fù)用子幀中，且在左路視頻編碼流的擴(kuò)展信息保留位上存儲(chǔ)右路視頻編碼流的視頻流編號(hào)。每個(gè)復(fù)用子幀由子幀頭、視頻段、音頻段和數(shù)據(jù)段等部分組成。子幀頭包括頭長(zhǎng)度、起始播放時(shí)間、視頻段長(zhǎng)度、音頻段長(zhǎng)度、數(shù)據(jù)段長(zhǎng)度、擴(kuò)展區(qū)參數(shù)等信息。視頻段包含視頻段頭和多個(gè)視頻單元，其中視頻段頭描述了每個(gè)視頻單元的參數(shù)，如視頻單元長(zhǎng)度、圖像幀類型、視頻流編號(hào)等。視頻段中可以包含多個(gè)視頻流。本步驟的復(fù)用子幀中包含兩個(gè)視頻流左路視頻編碼流和右路視頻編碼流，它們分別具有各自的視頻流編號(hào)。對(duì)于左路視頻編碼流采用現(xiàn)有的視頻流復(fù)用方式進(jìn)行封裝，并擴(kuò)展其視頻流擴(kuò)展信息保留位，用于存儲(chǔ)右路視頻編碼流的視頻流編號(hào)，以便將左路視頻編碼流和右路視頻編碼流關(guān)聯(lián)起來(lái)。對(duì)于右路視頻編碼流在封裝時(shí)，不封裝視頻解碼參數(shù)表，其它封裝方式與現(xiàn)有的視頻流復(fù)用封裝方式相同。步驟303 :將封裝好的廣播信道幀通過(guò)廣播發(fā)射設(shè)備發(fā)送給終端。圖5為本發(fā)明實(shí)施例提供的基于CMMB的3D立體視頻解碼播放方法流程圖，如圖5所示，其具體步驟如下步驟501 :終端接收廣播發(fā)射設(shè)備發(fā)來(lái)的廣播信道幀。步驟502 :終端判斷自身是否支持3D立體視頻節(jié)目，若是，執(zhí)行步驟503 ;否則，執(zhí)行步驟506。步驟503 :對(duì)于每個(gè)復(fù)用子幀，終端檢測(cè)MF_ID為O的復(fù)用幀的控制信息中是否設(shè)置了該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，若是，執(zhí)行步驟504 ;否則，執(zhí)行步驟506。步驟504 :終端檢測(cè)到該復(fù)用子幀的第一視頻流的視頻流擴(kuò)展信息保留位存儲(chǔ)了關(guān)聯(lián)的視頻流編號(hào)時(shí)，則同時(shí)讀取第一視頻流與該視頻流編號(hào)對(duì)應(yīng)的第二視頻流，并采用第一視頻流的解碼參數(shù)集，同時(shí)對(duì)該兩視頻流分別進(jìn)行解碼，分別得到原始左路視頻流和原始右路視頻流的圖像殘差；且對(duì)于該原始右路視頻流的各巾貞的圖像殘差，根據(jù)右路視頻編碼流中的P幀或B幀中的運(yùn)動(dòng)向量以及該幀對(duì)應(yīng)的原始左路視頻幀，采用預(yù)設(shè)運(yùn)動(dòng)補(bǔ)償算法對(duì)該幀的圖像殘差進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到原始右路視頻流。運(yùn)動(dòng)補(bǔ)償為運(yùn)動(dòng)估計(jì)的逆過(guò)程。步驟505 :終端將原始左路視頻流和原始右路視頻流以3D立體視頻方式顯示，本流程結(jié)束。步驟506 :終端對(duì)具有解碼參數(shù)集的視頻流進(jìn)行解碼，得到原始視頻流，以2D視頻方式顯示原始視頻流。由于復(fù)用子幀中的右路視頻編碼流沒(méi)有解碼參數(shù)集，因此，對(duì)于不支持3D立體視頻節(jié)目的終端來(lái)說(shuō)，會(huì)由于讀取不到該視頻流的解碼參數(shù)集，而放棄對(duì)該視頻流的解碼，從而自然可以進(jìn)行正常的2D視頻解碼播放。圖6為本發(fā)明實(shí)施例提供的3D立體視頻編碼傳輸裝置，如圖6所示，其主要包括編碼模塊61和封裝模塊62，其中編碼模塊61 :接收立體視頻源發(fā)來(lái)的第一和第二路視頻流，對(duì)于立體視頻源采集的第一路視頻流的每個(gè)幀組，對(duì)第一幀進(jìn)行幀內(nèi)編碼，對(duì)后續(xù)每幀進(jìn)行幀間編碼，得到第一路視頻編碼流；對(duì)于立體視頻源采集的第二路視頻流的每個(gè)幀組，對(duì)每幀與第一路視頻流的對(duì)應(yīng)幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到該幀的運(yùn)動(dòng)矢量，同時(shí)得到該幀的圖像殘差，對(duì)第一幀的圖像殘差進(jìn)行幀內(nèi)編碼，對(duì)后續(xù)每幀的圖像殘差進(jìn)行幀間編碼，在編碼后的每幀中保存該幀的所述運(yùn)動(dòng)矢量，得到第二路視頻編碼流；將第一、二路視頻編碼流輸出到封裝模塊62。封裝模塊62 :將編碼模塊61輸出的第一路視頻編碼流和第二路視頻編碼流封裝入CMMB廣播信道幀的同一復(fù)用子幀中，在復(fù)用幀O中設(shè)置該復(fù)用子幀包含3D立體視頻節(jié) 目服務(wù)指示，同時(shí)在第一路視頻編碼流的擴(kuò)展信息保留位上存儲(chǔ)第二路視頻編碼流的視頻流編號(hào)，將廣播信道幀廣播出去。封裝模塊62進(jìn)一步用于，在封裝第二路視頻編碼流時(shí)，不封裝解碼參數(shù)集。圖7為本發(fā)明實(shí)施例提供的3D立體視頻解碼播放裝置的組成圖，如圖7所示，其主要包括解碼模塊71和3D視頻播放模塊72，其中解碼模塊71 :當(dāng)從廣播信道上接收到廣播信道幀時(shí)，對(duì)于任一復(fù)用子幀，若檢測(cè)到復(fù)用幀O中設(shè)置了該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，在該復(fù)用子幀的第一路視頻編碼流的擴(kuò)展信息保留位上讀取到第二路視頻編碼流的視頻流編號(hào)，同時(shí)讀取第一、二路視頻編碼流，并采用第一路視頻編碼流的解碼參數(shù)集，同時(shí)對(duì)該兩視頻編碼流進(jìn)行解碼，分別得到原始第一路視頻流和原始第二路視頻流的圖像殘差；根據(jù)第二路視頻編碼流中保存的各幀的運(yùn)動(dòng)矢量，并結(jié)合原始第一路視頻流對(duì)原始第二路視頻流的圖像殘差進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到原始第二路視頻流；將原始第一、二路視頻流輸出到3D視頻播放模塊72。3D視頻播放模塊72 :將解碼模塊71輸出的原始第一、二路視頻流以3D立體視頻方式顯不。解碼模塊71進(jìn)一步用于，當(dāng)接收到廣播信道幀時(shí)，判斷本終端是否支持3D立體視頻節(jié)目，若否，則對(duì)任一復(fù)用子幀，只對(duì)該復(fù)用子幀中包含解碼參數(shù)集的視頻流進(jìn)行解碼，并將解碼后的視頻流發(fā)送給2D視頻播放模塊。解碼模塊71進(jìn)一步用于，對(duì)于任一復(fù)用子幀，若檢測(cè)到復(fù)用幀O中未設(shè)置該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，則只對(duì)該復(fù)用子幀中包含解碼參數(shù)集的視頻流進(jìn)行解碼，并將解碼后的視頻流發(fā)送給2D視頻播放模塊。以下給出本發(fā)明另一實(shí)施例提供的3D立體視頻解碼播放裝置的組成，其主要包括解碼模塊和3D視頻播放模塊，其中解碼模塊當(dāng)從廣播信道上接收到廣播信道幀時(shí)，對(duì)于任一復(fù)用子幀，若檢測(cè)到復(fù)用幀O中設(shè)置了該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，在該復(fù)用子幀的第一路視頻編碼流的擴(kuò)展信息保留位上讀取到第二路視頻編碼流的視頻流編號(hào)，同時(shí)讀取第一、二路視頻編碼流，采用每一路視頻編碼流的解碼參數(shù)集，對(duì)該路視頻編碼流進(jìn)行解碼，分別得到原始第一路視頻流和原始第二路視頻流的圖像殘差；根據(jù)第二路視頻編碼流中保存的各幀的運(yùn)動(dòng)矢量，并結(jié)合原始第一路視頻流對(duì)原始第二路視頻流的圖像殘差進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到原始第二路視頻流；將原始第一、二路視頻流輸出到3D視頻播放模塊。3D視頻播放模塊將解碼模塊輸出的原始第一、二路視頻流以3D立體視頻方式顯
示本發(fā)明實(shí)施例針對(duì)的多媒體廣播標(biāo)準(zhǔn)為CMMB，在實(shí)際應(yīng)用中，本發(fā)明也可以應(yīng)用到其它多媒體廣播標(biāo)準(zhǔn)中。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。
權(quán)利要求
1.一種3D立體視頻編碼傳輸方法，其特征在于，該方法包括 對(duì)于立體視頻源采集的第一路視頻流的每個(gè)幀組，對(duì)第一幀進(jìn)行幀內(nèi)編碼，對(duì)后續(xù)每幀，以該路視頻流的前一編碼幀為參考幀進(jìn)行P幀編碼，得到第一路視頻編碼流； 對(duì)于立體視頻源采集的第二路視頻流的每個(gè)幀組，對(duì)每幀與第一路視頻流的對(duì)應(yīng)幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到該幀的運(yùn)動(dòng)矢量，同時(shí)得到該幀的圖像殘差，對(duì)第一幀的圖像殘差，以第一路視頻流的對(duì)應(yīng)編碼I幀為參考幀進(jìn)行P幀編碼，對(duì)后續(xù)每幀的圖像殘差，以第一路視頻流的對(duì)應(yīng)編碼P幀和第二路視頻流的前一編碼幀為參考幀進(jìn)行B幀編碼，在編碼后的每幀中保存該幀的所述運(yùn)動(dòng)矢量，得到第二路視頻編碼流； 將第一、二路視頻編碼流封裝入多媒體廣播信道幀針對(duì)同一節(jié)目的同一復(fù)用子幀中，并在該信道幀中設(shè)置該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，同時(shí)在第一路視頻編碼流的擴(kuò)展信息保留位上存儲(chǔ)第二路視頻編碼流的視頻流編號(hào)，將信道幀廣播出去。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述方法進(jìn)一步包括 當(dāng)終端接收到信道幀時(shí)，對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中設(shè)置了該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，在該復(fù)用子幀的第一路視頻編碼流的擴(kuò)展信息保留位上讀取到第二路視頻編碼流的視頻流編號(hào)，同時(shí)讀取第一、二路視頻編碼流，采用每一路視頻編碼流的解碼參數(shù)集，對(duì)該路視頻編碼流進(jìn)行解碼，分別得到原始第一路視頻流和原始第二路視頻流的圖像殘差；根據(jù)第二路視頻編碼流中保存的各幀的運(yùn)動(dòng)矢量，并結(jié)合原始第一路視頻流對(duì)原始第二路視頻流的圖像殘差進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到原始第二路視頻流，將原始第一、二路視頻流以3D立體視頻方式顯示。
3.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述將第一路視頻編碼流和第二路視頻編碼流封裝入多媒體廣播信道幀針對(duì)同一節(jié)目的同一復(fù)用子幀中進(jìn)一步包括在封裝第二路視頻編碼流時(shí)，不封裝解碼參數(shù)集。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法進(jìn)一步包括 當(dāng)終端接收到信道幀時(shí)，對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中設(shè)置了該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，在該復(fù)用子幀的第一路視頻編碼流的擴(kuò)展信息保留位上讀取到第二路視頻編碼流的視頻流編號(hào)，同時(shí)讀取第一、二路視頻編碼流，并采用第一路視頻編碼流的解碼參數(shù)集，同時(shí)對(duì)該兩視頻編碼流進(jìn)行解碼，分別得到原始第一路視頻流和原始第二路視頻流的圖像殘差；根據(jù)第二路視頻編碼流中保存的各幀的運(yùn)動(dòng)矢量，并結(jié)合原始第一路視頻流對(duì)原始第二路視頻流的圖像殘差進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到原始第二路視頻流，將原始第一、二路視頻流以3D立體視頻方式顯示。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述終端接收到信道幀之后進(jìn)一步包括 終端判斷自身是否支持3D立體視頻節(jié)目，若否，則對(duì)任一復(fù)用子幀，只對(duì)該復(fù)用子幀中包含解碼參數(shù)集的視頻流進(jìn)行解碼，并將解碼后的視頻流以2D視頻方式顯示。
6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述終端接收到信道幀之后進(jìn)一步包括 對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中未設(shè)置該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，則只對(duì)該復(fù)用子幀中包含解碼參數(shù)集的視頻流進(jìn)行解碼，并將解碼后的視頻流以2D視頻方式顯示。
7.根據(jù)權(quán)利要求I至6任一所述的方法，其特征在于，所述多媒體廣播信道幀為中國(guó)移動(dòng)多媒體廣播CMMB幀。
8.—種3D立體視頻編碼傳輸裝置，其特征在于，包括 編碼模塊對(duì)于立體視頻源采集的第一路視頻流的每個(gè)幀組，對(duì)第一幀進(jìn)行幀內(nèi)編碼，對(duì)后續(xù)每幀，以該路視頻流的前一編碼幀為參考幀進(jìn)行P幀編碼，得到第一路視頻編碼流；對(duì)于立體視頻源采集的第二路視頻流的每個(gè)幀組，對(duì)每幀與第一路視頻流的對(duì)應(yīng)幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到該幀的運(yùn)動(dòng)矢量，同時(shí)得到該幀的圖像殘差，對(duì)第一幀的圖像殘差，以第一路視頻流的對(duì)應(yīng)編碼I幀為參考幀進(jìn)行P幀編碼，對(duì)后續(xù)每幀的圖像殘差，以第一路視頻流的對(duì)應(yīng)編碼P幀和第二路視頻流的前一編碼幀為參考幀進(jìn)行B幀編碼，在編碼后的每幀中保存該幀的所述運(yùn)動(dòng)矢量，得到第二路視頻編碼流；將第一、二路視頻編碼流輸出到封裝模塊； 封裝模塊將第一、二路視頻編碼流封裝入多媒體廣播信道幀針對(duì)同一節(jié)目的同一復(fù)用子幀中，在信道幀中設(shè)置該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，同時(shí)在第一路視頻編碼流的擴(kuò)展信息保留位上存儲(chǔ)第二路視頻編碼流的視頻流編號(hào)，將CMMB信道幀廣播出去。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述封裝模塊進(jìn)一步用于，在封裝第二路視頻編碼流時(shí)，不封裝解碼參數(shù)集。
10.一種3D立體視頻解碼播放裝置，其特征在于，包括 解碼模塊當(dāng)接收到多媒體廣播信道幀時(shí)，對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中設(shè)置了該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，在該復(fù)用子幀的第一路視頻編碼流的擴(kuò)展信息保留位上讀取到第二路視頻編碼流的視頻流編號(hào)，同時(shí)讀取第一、二路視頻編碼流，采用每一路視頻編碼流的解碼參數(shù)集，對(duì)該路視頻編碼流進(jìn)行解碼，分別得到原始第一路視頻流和原始第二路視頻流的圖像殘差；根據(jù)第二路視頻編碼流中保存的各幀的運(yùn)動(dòng)矢量，并結(jié)合原始第一路視頻流對(duì)原始第二路視頻流的圖像殘差進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到原始第二路視頻流； 3D視頻播放模塊將解碼模塊輸出的原始第一、二路視頻流以3D立體視頻方式顯示。
11.一種3D立體視頻解碼播放裝置，其特征在于，包括 解碼模塊當(dāng)接收到多媒體廣播信道幀時(shí)，對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中設(shè)置了該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，在該復(fù)用子幀的第一路視頻編碼流的擴(kuò)展信息保留位上讀取到第二路視頻編碼流的視頻流編號(hào)，同時(shí)讀取第一、二路視頻編碼流，并采用第一路視頻編碼流的解碼參數(shù)集，同時(shí)對(duì)該兩視頻編碼流進(jìn)行解碼，分別得到原始第一路視頻流和原始第二路視頻流的圖像殘差；根據(jù)第二路視頻編碼流中保存的各幀的運(yùn)動(dòng)矢量，并結(jié)合原始第一路視頻流對(duì)原始第二路視頻流的圖像殘差進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到原始第二路視頻流； 3D視頻播放模塊將解碼模塊輸出的原始第一、二路視頻流以3D立體視頻方式顯示。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述解碼模塊進(jìn)一步用于，當(dāng)接收到多媒體廣播信道幀時(shí)，判斷本終端是否支持3D立體視頻節(jié)目，若否，則對(duì)任一復(fù)用子幀，只對(duì)該復(fù)用子幀中包含解碼參數(shù)集的視頻流進(jìn)行解碼，并將解碼后的視頻流發(fā)送給2D視頻播放模塊。
13.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述解碼模塊進(jìn)一步用于，對(duì)于任一復(fù)用子幀，若檢測(cè)到信道幀中未設(shè)置該復(fù)用子幀包含3D立體視頻節(jié)目服務(wù)指示，則只對(duì)該復(fù)用子幀中 包含解碼參數(shù)集的視頻流進(jìn)行解碼，并將解碼后的視頻流發(fā)送給2D視頻播放模塊。
全文摘要
本發(fā)明公開(kāi)了3D立體視頻編碼傳輸方法及裝置。方法包括對(duì)立體視頻源采集的第一路視頻流的各幀組，對(duì)第一幀進(jìn)行幀內(nèi)編碼，對(duì)后續(xù)幀進(jìn)行P幀編碼，得到第一路視頻編碼流；對(duì)立體視頻源采集的第二路視頻流的各幀組，對(duì)對(duì)應(yīng)的第一、二路視頻流幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到該幀的運(yùn)動(dòng)矢量和圖像殘差，對(duì)第一幀的圖像殘差進(jìn)行P幀編碼，對(duì)后續(xù)每幀的圖像殘差進(jìn)行B幀編碼，在編碼后的每幀中保存該幀的所述運(yùn)動(dòng)矢量，得到第二路視頻編碼流；將第一、二路視頻編碼流封裝入多媒體廣播信道幀的同一復(fù)用子幀中，在第一路視頻編碼流的擴(kuò)展信息保留位上存儲(chǔ)第二路視頻編碼流的視頻流編號(hào)，將信道幀廣播出去。本發(fā)明實(shí)現(xiàn)了通過(guò)多媒體廣播信道提供3D立體視頻業(yè)務(wù)。
文檔編號(hào)H04N13/00GK102984548SQ201110260850
公開(kāi)日2013年3月20日 申請(qǐng)日期2011年9月5日 優(yōu)先權(quán)日2011年9月5日
發(fā)明者田康, 郭曉巖 申請(qǐng)人:中國(guó)移動(dòng)通信集團(tuán)公司