專利名稱：對(duì)h.264視頻數(shù)據(jù)進(jìn)行分層信道編碼的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及H. 264視頻編碼傳輸，并且更具體地，涉及一種采用分層形式對(duì)基于 H. 264標(biāo)準(zhǔn)的壓縮視頻流進(jìn)行信道編碼，以實(shí)現(xiàn)對(duì)H. 264視頻流的分層保護(hù)的方法。
背景技術(shù)：
隨著3G移動(dòng)通信的飛速發(fā)展，人們對(duì)視頻數(shù)據(jù)傳輸?shù)目煽啃院蛯?shí)時(shí)性要求越來越高。H. 264作為新一代的視頻編碼標(biāo)準(zhǔn)，具有更高效的壓縮比和更優(yōu)越的網(wǎng)絡(luò)適應(yīng)性。然而高效的壓縮比會(huì)使壓縮視頻流在傳輸過程中對(duì)信道誤碼更加敏感，特別是無線信道。一旦出現(xiàn)單個(gè)突發(fā)性錯(cuò)誤，就可能嚴(yán)重干擾了解碼端的正常解碼，使解碼視頻的質(zhì)量急劇下降。H. 264標(biāo)準(zhǔn)具有較高的編碼效率和較強(qiáng)的抗誤碼特性，但H. 264視頻碼流去掉了大量的時(shí)間和空間相關(guān)性，這將使得碼流對(duì)信道誤碼非常敏感。而現(xiàn)有技術(shù)中，信源編碼(例如H. 264, MPEG X等編碼)是與信道編碼分開進(jìn)行的。在進(jìn)行信道編碼時(shí)，并不會(huì)考慮信源編碼中不同數(shù)據(jù)可能容忍的信道誤碼率之間的差異，而一般采用一致性的均等方式對(duì)輸入的壓縮碼流(例如采用H. 26X.MPEG X標(biāo)準(zhǔn)進(jìn)行壓縮的輸出碼流)進(jìn)行信道編碼。在一個(gè)實(shí)例中，信道編碼器將輸入的視頻流按與信源編碼無關(guān)的特定規(guī)則劃分為多個(gè)數(shù)據(jù)塊，并針對(duì)每個(gè)數(shù)據(jù)塊按照固定編碼率(encoding rate) 添加冗余信息。為了實(shí)現(xiàn)視頻在波動(dòng)性強(qiáng)的無線信道上可靠傳輸，探索信源編碼與信道編碼的融合是一種有效方法。因此，當(dāng)前迫切需要一種能夠通過將H. 264信源編碼與信道編碼相結(jié)合，來提高 H. 264視頻碼流的抗誤碼特性且同時(shí)能夠具有較高編碼效率的視頻流編碼傳輸方法。

發(fā)明內(nèi)容
本發(fā)明提出了一種能夠高效地結(jié)合H. 264信源編碼與信道編碼的特性的H. 264 視頻傳輸方法，該方法能夠在波動(dòng)性強(qiáng)的信道環(huán)境下，通過對(duì)H. 264視頻流進(jìn)行分層并針對(duì)各層添加不同的信道編碼冗余，來實(shí)現(xiàn)對(duì)H. 264視頻流中重要性不同的數(shù)據(jù)的不平等保護(hù)，從而提高重構(gòu)視頻的主觀和客觀質(zhì)量，增強(qiáng)了傳輸系統(tǒng)的魯棒性。為此，本發(fā)明首先對(duì)經(jīng)過H. 264編碼的視頻碼流進(jìn)行分層，隨后采用一種基于以 LDPC(低密度奇偶校驗(yàn)碼)碼進(jìn)行的預(yù)編碼的新的信道編碼算法，來與這種H. 264視頻流分層保護(hù)相結(jié)合，從而實(shí)現(xiàn)對(duì)H. 264視頻碼流的傳輸?shù)姆謱颖Ｗo(hù)。在一個(gè)方案中，一種對(duì)H. 264視頻流進(jìn)行信道編碼的方法，包括以下步驟按照 H. 264標(biāo)準(zhǔn)對(duì)輸入的視頻流進(jìn)行編碼，以得到H. 264視頻碼流；按照在所述H. 264視頻碼流進(jìn)行解碼時(shí)對(duì)解碼的重要程度，將所述H. 264視頻碼流分解為具有不同重要程度的多個(gè)層；以及采用LDPC(低密度奇偶校驗(yàn)碼)預(yù)編碼器對(duì)所述多個(gè)層中每個(gè)層的符號(hào)進(jìn)行信道預(yù)編碼，并隨后對(duì)LDPC編碼符號(hào)進(jìn)行信道編碼，以便為所述多個(gè)層中具有較高重要程度的層產(chǎn)生較多的冗余信息，并為所述多個(gè)層中具有較低重要程度的層產(chǎn)生較少的冗余信息； 以及將添加了冗余信息的所述多個(gè)層合并后進(jìn)行發(fā)射。在另一個(gè)方案中，一種對(duì)H. 264視頻流進(jìn)行信道編碼的裝置，包括用于按照 H. 264標(biāo)準(zhǔn)對(duì)輸入的視頻流進(jìn)行編碼，以得到H. 264視頻碼流的模塊；用于按照在所述 H. 264視頻碼流進(jìn)行解碼時(shí)對(duì)解碼的重要程度，將所述H. 264視頻碼流分解為具有不同重要程度的多個(gè)層的模塊；以及用于采用LDPC (低密度奇偶校驗(yàn)碼)預(yù)編碼器對(duì)所述多個(gè)層中每個(gè)層的符號(hào)進(jìn)行信道預(yù)編碼，并隨后對(duì)LDPC編碼符號(hào)進(jìn)行信道編碼，以便為所述多個(gè)層中具有較高重要程度的層產(chǎn)生較多的冗余信息，并為所述多個(gè)層中具有較低重要程度的層產(chǎn)生較少的冗余信息的模塊；以及用于將添加了冗余信息的所述多個(gè)層合并后進(jìn)行發(fā)射的模塊。所述多個(gè)層包括層A，其包含頭信息；層B，其包含幀內(nèi)編碼模式以及幀內(nèi)系數(shù)信息，并且其中，僅在層A被成功傳輸?shù)那闆r下，所述層B中的數(shù)據(jù)才能夠被用于解碼；層C， 其包含幀間編碼模式以及幀間系數(shù)。在另一個(gè)方案中，一種計(jì)算機(jī)程序產(chǎn)品，其包含指令，所述指令在由處理器執(zhí)行時(shí)，實(shí)現(xiàn)如上所述的方法中的各個(gè)步驟。


圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的信源編碼為信道編碼提供分層信息的框圖；圖2是一個(gè)具有視頻編解碼能力的通信終端的示意圖；圖3是根據(jù)本發(fā)明的原理，對(duì)不同的層添加不同的冗余碼的示意圖；圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施例，對(duì)壓縮視頻碼流進(jìn)行信道編碼的示意圖；圖5是根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于對(duì)H. 264視頻編碼數(shù)據(jù)進(jìn)行分層信道編碼的方法流程圖；以及圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于對(duì)H. 264視頻編碼數(shù)據(jù)進(jìn)行分層信道編碼的裝置示意圖。
具體實(shí)施例方式以下結(jié)合多個(gè)具體實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)參數(shù)。在各個(gè)實(shí)施例中闡述了若干具體細(xì)節(jié)，但對(duì)于本領(lǐng)域普通技術(shù)人員顯而易見的是，這些具體細(xì)節(jié)并非旨在將本發(fā)明的保護(hù)范圍限制于此，而僅作為示例性內(nèi)容而使得本領(lǐng)域技術(shù)人員能夠更為容易地理解并實(shí)現(xiàn)本發(fā)明。本發(fā)明的保護(hù)范圍由附帶的權(quán)利要求來界定。在圖1中，示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例信源編碼為信道編碼提供分層信息的框圖。如圖所示，數(shù)據(jù)源提供待發(fā)送的視頻數(shù)據(jù)流，其可以是以各種方式產(chǎn)生的視頻流，例如以數(shù)字?jǐn)z像機(jī)拍攝的數(shù)字視頻幀序列，借助于電視卡獲取的電視內(nèi)容視頻幀序列等等。
5數(shù)據(jù)源將數(shù)據(jù)提供給信源編碼器，其采用H. 264標(biāo)準(zhǔn)對(duì)該視頻幀序列進(jìn)行編碼，得到編碼的視頻碼流。編碼視頻流被輸入信道編碼器進(jìn)行信道編碼。信道編碼器依據(jù)來自信源編碼器的信息將編碼的視頻碼流進(jìn)行分層。具體而言，信道編碼器按照編碼的視頻碼流中不同類型的數(shù)據(jù)對(duì)接收機(jī)端的信源解碼的重要程度的不同，將編碼的視頻碼流中的數(shù)據(jù)分為多個(gè)層1、2、3、...，并對(duì)這些層添加不同的冗余信息，如以下進(jìn)一步論述的。進(jìn)一步而言，為了適應(yīng)這種分層的信道編碼，本發(fā)明提出了一種基于分層的信道編碼方法。首先采用LDPC(低密度奇偶校驗(yàn)碼)碼對(duì)多個(gè)層1、2、3、...中數(shù)據(jù)分別進(jìn)行預(yù)處理，然后再進(jìn)行信道編碼。經(jīng)過信道編碼后的碼流經(jīng)過調(diào)制、濾波、上變頻等等操作后在有線或無線信道上發(fā)送給預(yù)期的接收方。接收方在接收到預(yù)期信號(hào)后，對(duì)接收到的信號(hào)進(jìn)行下變頻、濾波、解調(diào)等操作，并采用與發(fā)送方處所進(jìn)行的處理相反的方式來進(jìn)行信道解碼、信源解碼，以恢復(fù)由發(fā)送方的數(shù)據(jù)源所提供的視頻幀序列，并將其提供給數(shù)據(jù)宿，以待稍后使用。從圖1可以看出，本發(fā)明的一個(gè)創(chuàng)新點(diǎn)在于，并非是將H. 264編碼與信道編碼分開地進(jìn)行處理，而是通過信源編碼器提供的分層信息(例如，以各種方式提供)，將H. 264編碼與信道編碼(經(jīng)過相應(yīng)的修改)結(jié)合起來。圖2給出了一種其中可應(yīng)用本發(fā)明的方案的無線終端的示意性框圖。在圖中，存儲(chǔ)器250存儲(chǔ)待發(fā)送的視頻幀序列，其可以是通過I/O接口 230以本領(lǐng)域已知的各種方式獲得的。H. 264編解碼器260對(duì)來自存儲(chǔ)器250的視頻幀序列進(jìn)行編碼，獲得編碼比特流， 并將編碼比特流輸入到發(fā)射/接收(TX/RX)數(shù)據(jù)處理器210進(jìn)行基于分層的信道編碼(如以下進(jìn)一步詳述的)。經(jīng)過信道編碼的數(shù)據(jù)流被提供給發(fā)射機(jī)/接收機(jī)(TX/RX)單元200 進(jìn)行調(diào)制、濾波、上變頻等操作，并經(jīng)由天線220發(fā)送。在接收端，具有類似結(jié)構(gòu)的無線終端、用戶終端、基站等設(shè)備可以采用與發(fā)送方進(jìn)行的處理相反的方式對(duì)接收到的數(shù)據(jù)進(jìn)行處理，以恢復(fù)被發(fā)送的視頻幀序列。雖然圖2示出無線終端的一種具體結(jié)構(gòu)，但應(yīng)意識(shí)到，可應(yīng)用本發(fā)明的無線終端并非局限于此。例如，TX/RX 200、H. 264編解碼器260和TX/RX數(shù)據(jù)處理器210的功能的一些或全部可以合并到單個(gè)處理單元MO中，并且本領(lǐng)域技術(shù)人員結(jié)合具體設(shè)計(jì)約束，可以在這些組件之間進(jìn)行功能的重新劃分而不會(huì)脫離本發(fā)明的保護(hù)范圍。圖3是根據(jù)本發(fā)明的原理，對(duì)不同的層添加不同的冗余碼的示意圖。為了能夠按照H. 264視頻流中不同數(shù)據(jù)的類型而在信道編碼中給予其相應(yīng)的不同的冗余信息，從而實(shí)現(xiàn)對(duì)不同數(shù)據(jù)類型的不同保護(hù)，在H. 264編碼階段，將與宏塊、量化參數(shù)、運(yùn)動(dòng)矢量、幀內(nèi)編碼信息以及幀間編碼信息相關(guān)的信息提供給信道編碼器，并且信道編碼器依據(jù)該信息對(duì)輸入的H. 264視頻流進(jìn)行分層，其中各個(gè)層在解碼時(shí)的重要程度不同?；诎凑崭鱾€(gè)層在解碼時(shí)的重要程度而對(duì)各個(gè)層進(jìn)行的排序，為不同的層添加不同的冗余碼。如圖所示，層1、2、 3、4、5、...是按照重要程度從高到低的順序排列的，而為其添加的冗余碼的數(shù)量也是按照從多到少的順序排列的。在一個(gè)具體實(shí)施例中，信道編碼器按照上述分層信息，將視頻流分為3個(gè)層層A 其包含頭信息。這是各個(gè)層中最重要的類型，在丟失此層數(shù)據(jù)的情況下，其他層是不能使用的。該層可以包括如MB、量化參數(shù)及運(yùn)動(dòng)矢量等。
層B 其包含幀內(nèi)編碼模式及幀內(nèi)系數(shù)信息，屬于內(nèi)部層。在層A有效情況下，層B 才能用于解碼，由于幀內(nèi)信息可以阻止進(jìn)一步的變異，所以其比幀間信息重要。層C 其包含幀間編碼模式及幀間系數(shù)，屬于幀間層。此層信息不需要在編碼器和解碼器之間同步，故屬于非重要類型。這樣就可以針對(duì)重要性的不同來實(shí)現(xiàn)不同程度的錯(cuò)誤保護(hù)。一般而言，視頻碼流中的一些控制信息、同步信息和運(yùn)動(dòng)矢量信息是屬于比較重要的數(shù)據(jù)，應(yīng)將這些數(shù)據(jù)組織在層A，其他如DCT系數(shù)等可組織在層B。通常，如果層B或?qū)覥丟失，有效頭信息是可以用來改善差錯(cuò)掩蓋的效率，在丟包信道下，這將使得解碼視頻質(zhì)量有所提高。圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施例，對(duì)壓縮視頻碼流進(jìn)行信道編碼的示意圖。在本發(fā)明的一個(gè)實(shí)施例中，針對(duì)輸入的源符號(hào)IX1, X2, x3，…，XJ (即H. 264視頻流)，首先采用 LDPC碼進(jìn)行預(yù)編碼，然后采用本發(fā)明的改進(jìn)的信道編碼對(duì)LDPC編碼符號(hào)Y1J2，Y3,... Yn進(jìn)行信道編碼。具體的編碼步驟如下。1.構(gòu)造LDPC碼的校驗(yàn)矩陣。2.消除LDPC校驗(yàn)矩陣中存在的長度為4的短環(huán)。3.獲得LDPC編碼后的編碼比特U。具體而言，對(duì)校驗(yàn)矩陣H[A I B]進(jìn)行高斯消元得H[I|P]，
權(quán)利要求
1.一種對(duì)H. 264視頻流進(jìn)行信道編碼的方法，包括以下步驟 按照H. 264標(biāo)準(zhǔn)對(duì)輸入的視頻流進(jìn)行編碼，以得到H. 264視頻碼流；按照在所述H. 264視頻碼流進(jìn)行解碼時(shí)對(duì)解碼的重要程度，將所述H. 264視頻碼流分解為具有不同重要程度的多個(gè)層；以及采用LDPC (低密度奇偶校驗(yàn)碼)預(yù)編碼器對(duì)所述多個(gè)層中每個(gè)層的符號(hào)進(jìn)行信道預(yù)編碼，并隨后對(duì)LDPC編碼符號(hào)進(jìn)行信道編碼，以便為所述多個(gè)層中具有較高重要程度的層產(chǎn)生較多的冗余信息，并為所述多個(gè)層中具有較低重要程度的層產(chǎn)生較少的冗余信息；以及將添加了冗余信息的所述多個(gè)層合并后進(jìn)行發(fā)射。
2.如權(quán)利要求1所述的方法，其中，所述多個(gè)層包括 層A，其包含頭信息；層B，其包含幀內(nèi)編碼模式以及幀內(nèi)系數(shù)信息，并且其中，僅在層A被成功傳輸?shù)那闆r下，所述層B中的數(shù)據(jù)才能夠被用于解碼； 層C，其包含幀間編碼模式以及幀間系數(shù)。
3.如權(quán)利要求1所述的方法，其中，所述采用LDPC預(yù)編碼器對(duì)所述多個(gè)層中每個(gè)層的符號(hào)進(jìn)行信道預(yù)編碼的步驟進(jìn)一步包括以下步驟(1)分別為所述多個(gè)層中的每一層構(gòu)造LDPC碼的校驗(yàn)矩陣H[A|B]；(2)消除LDPC校驗(yàn)矩陣中存在的長度為4的短環(huán)；(3)獲得經(jīng)LDPC編碼后的編碼比特u；
4.如權(quán)利要求3所述的方法，其中，所述信道編碼進(jìn)一步包括以下步驟(4)確定LT編碼器的度分布參數(shù)u(d)；(5)根據(jù)生成的度d，隨機(jī)地從K個(gè)信源符號(hào)中選擇d個(gè)相互不同的信源符號(hào)進(jìn)行異或運(yùn)算來得到編碼符號(hào)。
5.如權(quán)利要求3所述的方法，其中，所述步驟C3)進(jìn)一步包括對(duì)各校驗(yàn)矩陣H[A|B]進(jìn)行高斯消元以得到H[I|P]，其中，由
6.如權(quán)利要求4所述的方法，其中，所述步驟(4)進(jìn)一步包括確定LT編碼器的度分 布參數(shù)
7.一種對(duì)H. 264視頻流進(jìn)行信道編碼的裝置，包括用于按照H. 264標(biāo)準(zhǔn)對(duì)輸入的視頻流進(jìn)行編碼，以得到H. 264視頻碼流的模塊； 用于按照在所述H. 264視頻碼流進(jìn)行解碼時(shí)對(duì)解碼的重要程度，將所述H. 264視頻碼流分解為具有不同重要程度的多個(gè)層的模塊；以及用于采用LDPC (低密度奇偶校驗(yàn)碼)預(yù)編碼器對(duì)所述多個(gè)層中每個(gè)層的符號(hào)進(jìn)行信道預(yù)編碼，并隨后對(duì)LDPC編碼符號(hào)進(jìn)行信道編碼，以便為所述多個(gè)層中具有較高重要程度的層產(chǎn)生較多的冗余信息，并為所述多個(gè)層中具有較低重要程度的層產(chǎn)生較少的冗余信息的模塊；以及用于將添加了冗余信息的所述多個(gè)層合并后進(jìn)行發(fā)射的模塊， 其中，所述多個(gè)層包括 層Α，其包含頭信息；層B，其包含幀內(nèi)編碼模式以及幀內(nèi)系數(shù)信息，并且其中，僅在層A被成功傳輸?shù)那闆r下，所述層B中的數(shù)據(jù)才能夠被用于解碼； 層C，其包含幀間編碼模式以及幀間系數(shù)。
8.一種計(jì)算機(jī)程序產(chǎn)品，其包含指令，所述指令在由處理器執(zhí)行時(shí)， 實(shí)現(xiàn)如權(quán)利要求1-6所述的方法中的各個(gè)步驟。
全文摘要
一種采用分層形式對(duì)基于H.264標(biāo)準(zhǔn)的壓縮視頻流進(jìn)行信道編碼，以實(shí)現(xiàn)對(duì)H.264視頻流的分層保護(hù)的方法。
文檔編號(hào)H04N7/26GK102158698SQ201110062540
公開日2011年8月17日 申請(qǐng)日期2011年3月16日 優(yōu)先權(quán)日2011年3月16日
發(fā)明者張萌萌, 白慧慧 申請(qǐng)人:北方工業(yè)大學(xué)