專(zhuān)利名稱(chēng)：一種基于多描述編碼和錯(cuò)誤隱藏的混合視頻容錯(cuò)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻技術(shù)領(lǐng)域，具體涉及一種綜合的容錯(cuò)視頻編碼傳輸方法，通過(guò)在視頻編 碼傳輸系統(tǒng)的編碼端和解碼端，分別采用一種多描述編碼和錯(cuò)誤隱藏方法，獲得更好的系統(tǒng) 性能效果。
背景技術(shù)：
無(wú)線視頻傳輸?shù)聂敯粜栽诮鼛啄隉o(wú)線視頻應(yīng)用的需求迅猛高漲起來(lái)后顯得 越來(lái)越突出。無(wú)線信道中存在著Rayleigh衰減和多用戶干擾，會(huì)在傳輸位流中 產(chǎn)生突發(fā)性錯(cuò)誤。視頻壓縮國(guó)際標(biāo)推如MPEG-x和H. 26x等都是基于宏塊的壓縮 算法，通過(guò)運(yùn)動(dòng)估計(jì)/運(yùn)動(dòng)補(bǔ)償消除視頻時(shí)間冗余，對(duì)差值圖像進(jìn)行離散余弦變 換消除空間冗余，對(duì)量化后的系數(shù)進(jìn)行可變長(zhǎng)編碼消除統(tǒng)計(jì)冗余。實(shí)踐表明，通 過(guò)上述方法，視頻編碼標(biāo)準(zhǔn)獲得了極高的壓縮效率。但壓縮后的碼流在無(wú)線信道 上的傳輸仍然存在著一些棘手的問(wèn)題，其中很突出的一點(diǎn)是 一方面，這些壓縮 后的碼流對(duì)信道比特誤碼非常地敏感，而另一方面無(wú)線信道由于多徑反射和衰落 引入了大量的隨機(jī)誤碼和突發(fā)誤碼，影響了碼流的正常傳輸。尤其是當(dāng)采用了可 變長(zhǎng)方案后，碼流更加容易受到誤碼的影響，結(jié)果在解碼端將失去與編碼端的同 步，導(dǎo)致在遇到下一個(gè)同步碼字之前無(wú)法對(duì)可變長(zhǎng)碼字進(jìn)行正確的解碼；同時(shí)預(yù) 測(cè)編碼技術(shù)會(huì)將錯(cuò)誤擴(kuò)散到整個(gè)視頻序列中，極大地降低重建圖像的質(zhì)量。
針對(duì)視頻網(wǎng)鄉(xiāng)錯(cuò)輸?shù)奶攸c(diǎn)，當(dāng)前主流的視頻容錯(cuò)傳輸研究方向分兩類(lèi) 一是 分層編碼結(jié)合不同優(yōu)先級(jí)的傳輸；二是多描述編碼結(jié)合同等優(yōu)先級(jí)的傳輸。這種 方案各有其優(yōu)缺點(diǎn)。分層編碼比較符合圖像多分辨率的特點(diǎn)，并且有助于進(jìn)行靈 活的碼率控制。然而，分層編碼要求傳輸層能夠提供不同優(yōu)先級(jí)的傳輸，尤其是 對(duì)于底層傳輸要提供QoS(Quality of Service)保證，這一點(diǎn)在多數(shù)的無(wú)線信道 或者廣域網(wǎng)中是難以做到的。相比起來(lái)，多描述編碼MDC對(duì)一副圖像同時(shí)生成若 干各具有相同重要性的描述，每個(gè)描述都可以恢復(fù)出原圖像的一個(gè)粗糙但質(zhì)量尚 可接受的近似，而隨著接收到更多的描述，接收端的重建圖像質(zhì)量就會(huì)逐步提高。
上述的兩類(lèi)研究方向?qū)嶋H上代表了兩種信源編碼的基本思路漸近編碼(SR, Successive Ref inement)與多描述編碼.(MDC， Multiple Description Code)之 間的差異。SR編碼的初衷是為了使編碼碼流能夠自動(dòng)適應(yīng)不同速率的傳輸鏈路， 適應(yīng)不同能力的接收端，并不是為對(duì)抗誤碼，只是將它與分層傳輸機(jī)制結(jié)合起來(lái) 就可以在誤碼條件下實(shí)現(xiàn)更好的傳輸效果。而MDC編碼的最基本假定就是傳輸中 的誤碼是不可避免的，其直接目的就是用多描述中的冗余來(lái)對(duì)抗傳輸中的誤碼和 丟包，使得編碼碼流在出現(xiàn)誤碼或丟包的情況下仍能夠較好地重建原編碼對(duì)象。
此外，目前實(shí)際的底層傳輸設(shè)備一般不支持QoS機(jī)制，這使得分層編碼所要 求的不同優(yōu)先級(jí)傳輸只能通過(guò)在更高層次上使用端到端的不平等保護(hù)UEP才幾制 來(lái)模擬，這就大大增加了系統(tǒng)的復(fù)雜性和效率。而MDC編碼并不要求網(wǎng)絡(luò)提供 QoS保證，即網(wǎng)絡(luò)底層傳輸設(shè)備對(duì)多路描述同等對(duì)待，提供各自獨(dú)立的邏輯信道， 這樣的要求更容易得到滿足。
相對(duì)于多描述編碼而言，錯(cuò)誤隱藏EC技術(shù)則是另一種有效的差錯(cuò)復(fù)原技術(shù)。 它是利用圖像信號(hào)中的冗余信息和人類(lèi)視覺(jué)系統(tǒng)特性來(lái)掩蓋出錯(cuò)的圖像數(shù)據(jù)，試 圖重構(gòu)主觀可以接受的、近似原始質(zhì)量的圖像。錯(cuò)誤隱藏技術(shù)主要用在解碼器， 屬于一種后處理技術(shù)。假設(shè)所收到的視頻碼流中已經(jīng)發(fā)生了錯(cuò)誤， 一些內(nèi)容已經(jīng) 不可正確解碼，則可以利用錯(cuò)誤隱藏技術(shù)盡可能地估計(jì)這些已不可解碼的內(nèi)容。 由于無(wú)線信道的高差錯(cuò)率，所施加的信道保護(hù)措施仍不能避免誤碼或丟包的發(fā) 生，因此，錯(cuò)誤隱藏技術(shù)對(duì)無(wú)線視頻接收機(jī)的視頻解碼器是一項(xiàng)很重要的功能。
可以看出，多描迷編碼是在編碼端實(shí)施的一種視頻容錯(cuò)技術(shù)，而差錯(cuò)隱藏技 術(shù)則是在解碼端采用的一種后處理抗誤碼方案。從原理上看，這兩種容錯(cuò)技術(shù)的 實(shí)現(xiàn)不僅沒(méi)有沖突，更具有天然的互補(bǔ)性。如何綜合上述兩種容錯(cuò)技術(shù)構(gòu)建一種 容錯(cuò)視頻編碼傳輸系統(tǒng)，獲得比單一使用其中一種技術(shù)，獲得更好的系統(tǒng)性能效 果。本發(fā)明正是這一想法，綜合這兩種容錯(cuò)技術(shù)特點(diǎn)，構(gòu)建易錯(cuò)網(wǎng)絡(luò)環(huán)境下的高 性能的容錯(cuò)視頻編碼傳輸系統(tǒng)。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明的目的是綜合多描述編碼技術(shù)和錯(cuò)誤隱藏技術(shù)的性能特點(diǎn)
而提供一種高性能的容錯(cuò)視頻編碼方法。
技術(shù)方案本發(fā)明所述的一種基于多描述編碼和錯(cuò)誤隱藏的混合視頻容錯(cuò)方法，包 括基于亞采樣的多描述編碼、多信道傳輸、視頻解碼、圖像合并和錯(cuò)誤隱藏等部 分。
具體來(lái)說(shuō)，輸入的圖像序列(視頻)首先經(jīng)過(guò)多描述編碼，形成N路獨(dú)立的 視頻壓縮編碼碼流——描述；這些N路描述通過(guò)獨(dú)立信道進(jìn)行同時(shí)傳輸，這里的 獨(dú)立信道既可以是物理上的獨(dú)立信道，也可是虛擬的獨(dú)立信道；接收端在接收到 N路描述后，分別送入解碼器進(jìn)行解碼處理獲得N路圖像子序列，解碼器根據(jù)丟 包標(biāo)定圖像區(qū)域；圖像子序列進(jìn)行合并處理，對(duì)丟失損壞的區(qū)域釆用錯(cuò)誤隱藏方 法進(jìn)行恢復(fù)，最終得到重構(gòu)的圖像序列。
理想情況下，圖像序列的合并重建完全是圖像編碼圖像分解(亞采樣)處理 的可逆過(guò)程，N路解碼重建的子圖像序列中的像素，可以完全還原出高分辨率的 原圖像序列。但是，實(shí)際系統(tǒng)中存在兩種端到端不匹配的情況需進(jìn)一步分析處理 (1)多描述的編碼的路數(shù)小于亞采樣可逆處理的要求，即存在不可知像素點(diǎn)；(2) 傳輸過(guò)程中的誤碼和丟包造成部分像素區(qū)域無(wú)法重建或部分受損。
有益效果本發(fā)明給出的混合容錯(cuò)編碼傳輸方法并不依賴(lài)于特定的圖像亞采 樣方法、圖像編解碼算法，圖像塊合并算法，以及丟包錯(cuò)誤隱藏算法等。因此， 在某種意義上，本發(fā)明是一個(gè)具有一般性的視頻編碼傳輸架，而并不僅僅是一個(gè) 具體算法。在運(yùn)算量允許的條件下，上述任何環(huán)節(jié)都可以選擇復(fù)雜度高但效果好 的算法來(lái)進(jìn)一步提高混合編碼傳輸系統(tǒng)的效率和容錯(cuò)能力。本發(fā)明發(fā)揮了多描述 編碼和錯(cuò)誤隱藏技術(shù)上的互補(bǔ)性，獲得比單一使用其中一種技術(shù)，更好的系統(tǒng)性 能效果；其中，編碼端的多描述編碼的框架針對(duì)采樣環(huán)境進(jìn)行處理，并可結(jié)合最 新的編碼標(biāo)準(zhǔn)，克服了當(dāng)前多數(shù)多描述編碼系統(tǒng)的編碼效率低、實(shí)現(xiàn)復(fù)雜以及與 現(xiàn)有編碼規(guī)范兼容性的不足。


圖l是容錯(cuò)編碼傳輸系統(tǒng)的基本框架示意圖。 圖2是直接亞采樣示意圖。
圖3是加權(quán)亞采樣示意圖。
圖4是圖像序列的合并和錯(cuò)誤隱藏的結(jié)構(gòu)示意圖。 圖5是空域雙線性插值方法示意圖。 圖6是鄰近像素線性內(nèi)插示意圖。
具體實(shí)施例方式
本發(fā)明提出的混合視頻容錯(cuò)方法包括以下基本步驟
1、 輸入圖像序列的多描述編碼。這包括兩部分(a)通過(guò)圖像序列的亞采樣 分解獲得N路圖像子序列；(b)對(duì)這些圖像子序列分別進(jìn)行編碼壓縮，圖1中以 H. 264視頻編碼標(biāo)準(zhǔn)，但不限于H. 264，同樣適用于MPEG等其他編碼標(biāo)準(zhǔn)。
2、 圖像子序列的傳輸。編碼好的多路壓縮碼流送入相互獨(dú)立的信道，傳送 至接收端的相應(yīng)解碼器。
3、 多重描述的解碼處理。接收到的各路壓縮碼流(描述)分別送入視頻解 碼器進(jìn)行解碼處理，同時(shí)標(biāo)定由于丟包等因素造成的圖像子序列受損區(qū)域。
4、 圖像序列的合并和錯(cuò)誤隱藏。根據(jù)解碼器的輸出子圖像序列，合并出理 想的重建圖像序列。
具體說(shuō)明關(guān)于輸入圖像序列的多描述編碼實(shí)現(xiàn)和圖像序列的圖像合并和錯(cuò) 誤隱藏等方法。
(1 )輸入圖像序列的多描述編碼。這里將輸入圖像序列分解為多路子圖像序 列的方法是圖像的亞采樣處理，假定圖像序列中第n幀圖像/"。
則對(duì)于第n幀圖像/ 的采樣處理，得到子圖像" / 附={中(/ (")|/ = 1"'尺，7 = 1'"丄)}
其中，T(;c)函數(shù)是對(duì)原始圖像幀中的相關(guān)像素的變換處理。這里主要介紹 兩種簡(jiǎn)單有效的亞采樣算法直接亞采樣(DSS, Direct Sub-Sample)和加權(quán)亞采 樣(WSS， Weighted Sub-Sample)。
直接亞采樣DSS:顯然，直接亞采樣處理比較簡(jiǎn)單，原理如圖2所示。原圖 像序列中的像素值分別賦值給相應(yīng)的子圖像序列。本發(fā)明采用了子圖像序列數(shù)量 為N=4,可以看出，子像素序列的分辨率長(zhǎng)和高上均為原圖像序列的一半。
各子圖像序列子圖像"的像素值分別為 子圖像序列/:: al = ^4, &1 = ￡, d=/， dl = M; 子圖像序列/): a2 = 5， 62 = F, c2= /， c/2 = W; 子圖像序列/3: a3 = C, 63 = G, c3=《，d3 = (9; 子圖像序列/"4: a4 = ￡>, 64 = //, c4=￡, ^4 =尸。
加權(quán)亞采樣WSS:與直接亞采樣方法類(lèi)似，加權(quán)亞采樣后的子圖像序列的像 素處理對(duì)原始圖像幀中的相關(guān)像素的變換處理，但不同的是直接亞采樣中的相關(guān) 像素僅僅是原始圖像幀中的單個(gè)像素值，而加權(quán)亞采樣還涉及到兩鄰的兩個(gè)像素
值。如圖3所示，這里僅以子圖像序列/:為例進(jìn)行加權(quán)亞采樣處理的說(shuō)明。 可以看出，各子圖像序列子圖像/m的像素值分別為
子圖像序列/1
子圖像序列<formula>formula see original document page 7</formula>
<formula>formula see original document page 8</formula>(2)圖像序列的合并和錯(cuò)誤隱藏。從系統(tǒng)的結(jié)構(gòu)圖可以看出，首先從多條
易錯(cuò)傳輸信道接收到的各路視頻描述編碼流，分別送入解碼器；解碼得出的子圖
像序列經(jīng)過(guò)合并還原處理，得到原圖像序列。其中，根據(jù)圖像的合并還原處理的
實(shí)現(xiàn)機(jī)制不同，圖像的合并還原處理分兩種直接還原取代法和加權(quán)還原取代法。 需要指出的是，這里的合并還原處理不僅僅是一個(gè)簡(jiǎn)單的亞采樣處理的逆過(guò)程， 這涉及到后續(xù)端到端的不匹配控制處理 一是多描述的編碼的路數(shù)小于亞采樣可 逆處理的要求，即存在不可知像素點(diǎn)；二是傳輸過(guò)程中的誤碼和丟包造成部分像 素區(qū)域無(wú)法重建或部分受損。對(duì)于前者的情況，本發(fā)明采用雙線性插值法，具體 的實(shí)現(xiàn)機(jī)制后面介紹。圖像序列的合并和錯(cuò)誤隱藏的結(jié)構(gòu)示意圖如圖4所示。
(a)直接還原取代法。圖像的直接還原的實(shí)現(xiàn)機(jī)制較為簡(jiǎn)單，直接并把子 圖像序列中的像素值直接替換原圖像序列的相應(yīng)像素。
<formula>formula see original document page 8</formula>
具體如下(b)加權(quán)還原取代法。與亞采樣算法的兩種處理方法相對(duì)應(yīng)，圖像的合并處 理除了直接還原取代外，還存在加權(quán)還原取代法，具體運(yùn)算下式所示。
<formula>formula see original document page 9</formula>(c) 空域雙線性插值。對(duì)于解碼獲得的子圖像序列合并處理高分辨率的原圖
像序列過(guò)程中，對(duì)于確定像素點(diǎn)，采用還原取代得到相應(yīng)像素值；而不可知像素 點(diǎn)，由于無(wú)法通過(guò)子圖像序列和還原取代換算得到數(shù)值，這里采用算法較為簡(jiǎn)單 的雙線性插值算法，其實(shí)現(xiàn)如圖5所示。
尸/xe/j =會(huì)( P&e/j +尸/x《))
(d) 錯(cuò)誤隱藏處理。正如圖4所示，如前面所提到的，傳輸過(guò)程中的誤碼和 丟包造成部分像素區(qū)域無(wú)法重建或部分受損。考慮到一般圖像幀內(nèi)某一像素和其 鄰近的像素間有很高的相關(guān)性，除非是不同對(duì)象，否則像素灰度值不會(huì)有太大的 差異，故可以用損壞區(qū)域鄰近的像素以內(nèi)插、外插配合距離權(quán)重等方法恢復(fù)損壞 的宏塊像素值。這類(lèi)方法的特色就是在前后畫(huà)面內(nèi)像素值變化不大時(shí)，效果會(huì)比 較自然，而且對(duì)圖像背景改變后特別有效，但不足之處是會(huì)造成恢復(fù)后的圖像邊
緣有漸層的感覺(jué)。對(duì)于常用的空間域的餘i吳隱藏(PDI)，有四個(gè)邊角^象素線性 內(nèi)插錯(cuò)誤隱藏、鄰近像素線性內(nèi)插錯(cuò)誤隱藏等。這里選用鄰近像素線性內(nèi)插4^吳 隱藏。
鄰近像素線性內(nèi)插是利用丟失宏塊的四邊鄰近的四個(gè)像素來(lái)做線性內(nèi)插。其 原理如下所述每一個(gè)發(fā)生錯(cuò)誤的像素，采用對(duì)應(yīng)的正確像素來(lái)做內(nèi)插，如圖6 所示，內(nèi)插的像素值計(jì)算公式如下
g(;c,力=— A). (JV —辦) & (X,力+ (TV —血).辦A "力 +血.(iV —辦) ~ (jc,力+血.辦 & (;c，力]/(2A0
其中，血，辦，H TV-辦分別為g0，力到&(jc,力， (jc，力，^(jc,力，
^Cc，力的距離，W為宏塊的大小。
用這個(gè)方法所預(yù)測(cè)出來(lái)的像素值比四個(gè)邊角點(diǎn)線性內(nèi)插法效果好很多，其模 糊化的現(xiàn)象比較少一點(diǎn)，不過(guò)會(huì)產(chǎn)生漸層的效應(yīng)。但是這個(gè)公式只適合非圖像邊 界的宏塊，如果是在'四周的邊界宏塊，所要用的計(jì)算式子如下。
g"，力=i [辦■ & "，力+ (1 一辦) ~ "，力]
力=4 .[血 & (at,力+ (I -血).& (J，力]
如果丟失的宏塊剛好在圖像的四個(gè)角落，則上述的式子都不適用，也由于在 四個(gè)角落的宏塊圖像不是很重要，肉眼就不易觀察出來(lái)，因此只要將周?chē)鷥蓚€(gè)宏 塊作平均來(lái)取代遺失的宏塊即可。
權(quán)利要求
1、一種基于多描述編碼和錯(cuò)誤隱藏的混合視頻容錯(cuò)方法，其特征是該方法包括基于亞采樣的多描述編碼、多信道傳輸、視頻解碼、圖像合并和錯(cuò)誤隱藏；輸入的圖像序列首先經(jīng)過(guò)多描述編碼，形成N路獨(dú)立的視頻壓縮編碼碼流；這些N路描述通過(guò)獨(dú)立信道進(jìn)行同時(shí)傳輸；接收端在接收到N路描述后，分別送入解碼器進(jìn)行解碼處理獲得N路圖像子序列，解碼器根據(jù)丟包標(biāo)定圖像區(qū)域；圖像子序列進(jìn)行合并還原處理，對(duì)丟失損壞的區(qū)域采用錯(cuò)誤隱藏方法進(jìn)行恢復(fù)，最終得到重構(gòu)的圖像序列。
2、 根據(jù)權(quán)利要求1所述的基于多描述編碼和艦隱藏的混合視頻容錯(cuò)方法，其特 征是所述的獨(dú)立信道既可以是物理上的獨(dú)立信道，也可是虛擬的獨(dú)立信道。
3、 根據(jù)權(quán)利要求1所述的基于多描述編碼和4f^吳隱藏的混合視頻容錯(cuò)方法，其特 征是所述亞采樣采用直接亞采樣算法或加權(quán)亞采樣算法。
4、 根據(jù)權(quán)利要求1所述的基于多描述編碼和，隱藏的混合視頻容錯(cuò)方法，其特 征是所述圖像的合并還原處理采用直接還原取代法或加權(quán)還原取代法。
5、 根據(jù)權(quán)利要求4所述的基于多描述編碼和,隱藏的混合視頻容錯(cuò)方法，其特 征是對(duì)于無(wú)法通過(guò)子圖像序列的合并和還原處理取代換算得到的數(shù)值，采用雙 線性插值算法。
6、 根據(jù)權(quán)利要求1所述的基于多描述編碼和,隱藏的混合視頻容錯(cuò)方法，其特 征是所述錯(cuò)誤隱藏方法采用四個(gè)邊角像素線性內(nèi)插錯(cuò)誤隱藏方法或鄰近像素線 性內(nèi)插錯(cuò)誤隱藏方法。
全文摘要
本發(fā)明提供了一種基于多描述編碼和錯(cuò)誤隱藏的混合視頻容錯(cuò)方法，該方法是輸入的圖像序列首先經(jīng)過(guò)多描述編碼，形成N路獨(dú)立的視頻壓縮編碼碼流；這些N路描述通過(guò)獨(dú)立信道進(jìn)行同時(shí)傳輸；接收端在接收到N路描述后，分別送入解碼器進(jìn)行解碼處理獲得N路圖像子序列，解碼器根據(jù)丟包標(biāo)定圖像區(qū)域；圖像子序列進(jìn)行合并處理，最終得到重構(gòu)的圖像序列。本發(fā)明發(fā)揮了多描述編碼和錯(cuò)誤隱藏技術(shù)上的互補(bǔ)性，獲得比單一使用其中一種技術(shù)，更好的系統(tǒng)性能效果；其中，編碼端的多描述編碼的框架針對(duì)采樣環(huán)境進(jìn)行處理，并可結(jié)合最新的編碼標(biāo)準(zhǔn)，克服了當(dāng)前多數(shù)多描述編碼系統(tǒng)的編碼效率低、實(shí)現(xiàn)復(fù)雜以及與現(xiàn)有編碼規(guī)范兼容性的不足。
文檔編號(hào)H04N7/64GK101175216SQ20071013400
公開(kāi)日2008年5月7日 申請(qǐng)日期2007年10月17日 優(yōu)先權(quán)日2007年10月17日
發(fā)明者季曉勇, 健 王, 德 章 申請(qǐng)人:南京大學(xué)