專利名稱：一種恢復(fù)噪聲的視頻編解碼方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，尤其涉及一種恢復(fù)噪聲的視頻編解碼方法和系 統(tǒng)。
背景技術(shù)：
目前，視頻技術(shù)廣泛應(yīng)用于視頻電話、視頻會(huì)議、視頻聊天、可視電子商務(wù)、數(shù)字電 視和數(shù)字電影等領(lǐng)域。在這些領(lǐng)域中，數(shù)字視頻序列的主觀質(zhì)量往往會(huì)直接影響到用戶/ 觀眾的感觀體驗(yàn)，而噪聲是影響主觀視頻質(zhì)量的一個(gè)重要因素。具體地講，數(shù)字視頻序列在獲取、錄制、處理和傳輸?shù)倪^程中通常會(huì)受到噪聲的污 染，這些噪聲往往會(huì)導(dǎo)致視頻編碼中運(yùn)動(dòng)估計(jì)的準(zhǔn)確度和編碼效率的降低。因此，通常會(huì)考 慮采用去噪技術(shù)來去除視頻序列中的噪聲分量。但是，在大多數(shù)情況下，去噪操作也會(huì)去除 視頻序列中的細(xì)小細(xì)節(jié)，從而造成失真，影響主觀視頻質(zhì)量。因此，在某些對主觀視頻質(zhì)量 要求非常高的情況下，往往需要在解碼端恢復(fù)或添加一些類型的有用噪聲來幫助改善主觀 視頻質(zhì)量。目前，需要在解碼端恢復(fù)或添加的有用噪聲主要包括(1)膠片顆粒噪聲，這種噪 聲是由分散在感光乳劑中的鹵化銀晶體的曝光和顯影而引起的，對于HD DVD和數(shù)字化影院 這樣對視頻質(zhì)量要求非常高的應(yīng)用，很可能希望保留膠片顆粒噪聲來增強(qiáng)數(shù)字膠片的真實(shí) 性，去掉了這些噪聲，反倒會(huì)使觀眾感受到不自然；(2)用于掩飾偽像的隨機(jī)噪聲，比如，抖 動(dòng)信號，通過添加這些隨機(jī)噪聲可使由于使用基于塊的壓縮方法而導(dǎo)致的方塊效應(yīng)和其它 結(jié)構(gòu)化的噪聲圖案變得不那么明顯。對于膠片顆粒噪聲的恢復(fù)，比較常見的方法通常包括編碼端的預(yù)處理步驟和解碼 端的后處理步驟，其中，預(yù)處理步驟通常涉及噪聲去除、提取、建?；蚓幋a等，后處理步驟通 常涉及噪聲模擬和合成等。比如，在 C. GomiIa禾口 A. KobiIansky 的"SEI message for filmgrain noise，，(JVT 8th meeting, Doc. JVT-H022, Geneva, 2003)中，提出了一種通過建立膠片顆粒的參數(shù)化模 型來模擬膠片顆粒噪聲的方法。具體地講，在編碼端，首先從輸入的視頻數(shù)據(jù)中去除膠片顆 粒，并將去除了膠片顆粒的視頻序列發(fā)送給編碼器按照標(biāo)準(zhǔn)視頻編碼技術(shù)進(jìn)行編碼，同時(shí) 在已知所使用的膠片類型的情況下將標(biāo)識膠片類型的標(biāo)識符作為參數(shù)發(fā)送給編碼器，或者 在不知道所使用的膠片類型或者由于拷貝、處理、顏色空間轉(zhuǎn)換等原因而導(dǎo)致顆粒圖案失 真的情況下基于預(yù)定的膠片顆粒統(tǒng)計(jì)模型提取表示膠片顆粒信息的參數(shù)，并將這些參數(shù)發(fā) 送給編碼器。編碼器利用SEI (SupplementalEnhancement Information,附加增強(qiáng)信息)將 標(biāo)識符參數(shù)或者模型參數(shù)發(fā)送給解碼器。解碼器按照相應(yīng)的標(biāo)準(zhǔn)視頻解碼技術(shù)對編碼的視 頻數(shù)據(jù)進(jìn)行解碼，并根據(jù)接收的參數(shù)模擬膠片顆粒噪聲，最后將模擬的膠片顆粒噪聲與解 碼的視頻數(shù)據(jù)合成，從而得到膠片噪聲恢復(fù)的視頻序列。其中，在建模步驟中，建立了自動(dòng) 回歸模型和相應(yīng)的卷積模型來表達(dá)膠片噪聲的空域相關(guān)性、顏色相關(guān)性和時(shí)域相關(guān)性。在 B. T. Oh 等 人 的 “Film grain noise modeling in advancedvideocoding，，(Proceedings of SPIE, Visual Communications andlmage Processing, 2007)中， 提出了另外一種提出通過建模模擬膠片顆粒噪聲的方法。該方法也是首先在編碼端從輸入 的視頻數(shù)據(jù)中去除膠片顆粒，并將去除了膠片顆粒的視頻序列發(fā)送給編碼器按照標(biāo)準(zhǔn)視頻 編碼技術(shù)進(jìn)行編碼，同時(shí)基于預(yù)定的模型提取表示膠片顆粒噪聲的參數(shù)，然后在解碼端根 據(jù)通過SEI消息傳送過來的參數(shù)生成噪聲，并將生成的噪聲與解碼的視頻數(shù)據(jù)合成。其中， 在噪聲提取和去除步驟中，利用多層方法檢測邊緣區(qū)域，并通過僅對非邊緣的均勻區(qū)域進(jìn) 行選擇性濾波來提取和去除噪聲；在噪聲建模步驟中，根據(jù)空間功率譜密度、噪聲概率密度 和顏色相關(guān)性等方面建立了 3D AR模型來表達(dá)膠片顆粒的空間相關(guān)性和功率譜相關(guān)性；在 噪聲合成步驟中，考慮到膠片顆粒噪聲依賴于解碼信號，通過對白噪聲進(jìn)行縮放來合成噪 聲。對于這些基于模型的膠片顆粒噪聲恢復(fù)方法，由于模型本身的局限性，這些方法 通常僅適用于符合該模型的膠片顆粒，也就是說，往往只有符合該模型的膠片顆粒才能 被適當(dāng)?shù)鼐幋a和恢復(fù)。針對這樣的問題，在申請?zhí)枮?3019872. 5的歐洲專利申請“Film grainencoding”中，提出了一種改進(jìn)方法。該方法不是對提取的膠片顆粒信息進(jìn)行建模，而 是按照標(biāo)準(zhǔn)化視頻編碼技術(shù)對提取的至少一個(gè)代表性膠片顆粒信息塊進(jìn)行編碼，從而使得 不限于特定類型的膠片噪聲的合成。同時(shí)，為了增強(qiáng)適應(yīng)性，通過鏡像、旋轉(zhuǎn)、循環(huán)移位、改 變膠片顆粒塊的強(qiáng)度、對編碼的視頻信號的統(tǒng)計(jì)屬性進(jìn)行監(jiān)控等操作對膠片顆粒信息進(jìn)行 修改，從而實(shí)現(xiàn)各種不同的膠片顆粒的自適應(yīng)編碼。但是，雖然這種方法消除了建模方法的局限性，但是與建模方法一樣，都在編碼端 的編碼之前增加了噪聲去除、提取、建?；蚓幋a等預(yù)處理，在解碼端的解碼之后增加了模擬 和合成等后處理，而這些增加的預(yù)處理和后處理通常涉及復(fù)雜的計(jì)算或處理，相應(yīng)地增加 了編解碼器的復(fù)雜性，從而給標(biāo)準(zhǔn)視頻編碼系統(tǒng)引入了一定的額外負(fù)擔(dān)，影響整個(gè)系統(tǒng)的 處理效率和傳輸效率。另外一個(gè)關(guān)鍵的問題是這些方法都是利用各種模擬手段來模擬膠片 顆粒噪聲，雖然模擬的噪聲整體上可具有與原始膠片顆粒噪聲類似的主觀質(zhì)量，但是卻不 能實(shí)現(xiàn)像素對像素的模擬。也就是說，這些方法只能是模擬膠片顆粒噪聲，并不能恢復(fù)原始 的真實(shí)的膠片顆粒噪聲，在某些要求高主觀視頻質(zhì)量的應(yīng)用中，最終模擬合成的噪聲很可 能不被接受。對于用于掩飾偽像的隨機(jī)噪聲的添加，比較常見的方法是在解碼器端通過各種模 擬手段來生成噪聲。比如，在申請?zhí)枮?0/572，690的美國專利申請“Video Comfort Noise Addition Technique”中，提出了一種根據(jù)噪聲的空域相關(guān)性和時(shí)域相關(guān)性以及噪聲與解 碼圖像的亮度之間的關(guān)系生成噪聲的方法；在申請?zhí)枮?1/059，175的美國專利“Method and Apparatus for Masking of Video Artifactsand/or Insertion of Film Grain in a Video Decoder”中，提出了一種利用線性反饋移位寄存器(LFSR)偽隨機(jī)噪聲(PRN)生成 器來生成噪聲和合成噪聲的方法。這些方法的缺點(diǎn)也是在于在視頻解碼之后需要通過一些 后處理來生成噪聲和合成噪聲，而這些后處理往往涉及到較為復(fù)雜的運(yùn)算或處理，給整個(gè) 系統(tǒng)帶來了一定的負(fù)擔(dān)。而且，所模擬的噪聲只能保證基本類似，卻不能保證其真實(shí)性。

發(fā)明內(nèi)容
為了解決以上問題，本發(fā)明提供一種恢復(fù)噪聲的視頻編碼方法和系統(tǒng)，以在給標(biāo)
6準(zhǔn)視頻編碼系統(tǒng)引入盡可能小的額外負(fù)擔(dān)的情況下恢復(fù)真實(shí)的噪聲。為了實(shí)現(xiàn)以上目的，本發(fā)明提供的恢復(fù)噪聲的視頻編解碼方法包括以下步驟在 編碼端執(zhí)行去除噪聲的視頻編碼方法；在解碼端執(zhí)行恢復(fù)噪聲的視頻解碼方法。其中，所述去除噪聲的視頻編碼方法包括以下步驟計(jì)算作為輸入信號的當(dāng)前幀 與其參考幀之間的有噪殘差信號；對有噪殘差信號或者其變換系數(shù)進(jìn)行縮放與平移，以得 到當(dāng)前幀的真實(shí)視頻信號的最優(yōu)估計(jì)信號與其參考幀之間的殘差信號；對經(jīng)過縮放與平移 得到的殘差信號進(jìn)行變換、量化和熵編碼或者對經(jīng)過縮放與平移得到的變換系數(shù)進(jìn)行量化 和熵編碼，組成壓縮碼流以供輸出，同時(shí)對量化后的變換系數(shù)進(jìn)行反量化和反變換，以得到 重構(gòu)的殘差信號，并將該殘差信號與參考幀相加得到重構(gòu)幀，作為下一幀的參考幀。所述恢復(fù)噪聲的視頻解碼方法包括以下步驟對編碼端輸出的壓縮碼流進(jìn)行熵解 碼、反量化和反變換，得到重構(gòu)的殘差信號；對重構(gòu)的殘差信號進(jìn)行反縮放與反平移，以得 到全部或部分恢復(fù)的有噪殘差信號；將得到的有噪殘差信號與當(dāng)前幀的參考幀相加得到噪 聲全部或部分恢復(fù)的視頻信號。相應(yīng)地，本發(fā)明提供一種恢復(fù)噪聲的視頻編解碼系統(tǒng)，包括編碼器和解碼器，編碼 器包括輸入單元、殘差計(jì)算單元、預(yù)測單元、參考幀緩存單元、變換單元、量化單元、熵編碼 單元、重構(gòu)單元、編碼輸出單元和去噪濾波器，解碼器包括熵解碼單元、反量化單元、反變換 單元、參考幀緩存單元、解碼輸出單元和噪聲恢復(fù)處理器。其中，去噪濾波器對作為輸入信號的當(dāng)前幀與其參考幀之間的有噪殘差信號或者 其變換系數(shù)進(jìn)行縮放與平移，以得到當(dāng)前幀的真實(shí)視頻信號的最優(yōu)估計(jì)信號與其參考幀之 間的殘差信號，并將經(jīng)過縮放與平移得到的殘差信號發(fā)送給變換單元或者將經(jīng)過縮放與平 移得到的變換系數(shù)發(fā)送給量化單元；噪聲恢復(fù)處理器對重構(gòu)的殘差信號進(jìn)行反縮放與反平 移，以得到全部或部分恢復(fù)的有噪殘差信號，并將該殘差信號發(fā)送給輸出單元，輸出單元將 該殘差信號與當(dāng)前幀的參考幀相加得到噪聲全部或部分恢復(fù)的視頻信號。本發(fā)明通過執(zhí)行互逆的去除噪聲過程與恢復(fù)噪聲過程，能夠恢復(fù)原始的真實(shí)噪 聲。而且，僅僅是簡單地對殘差信號進(jìn)行縮放和平移，僅需要計(jì)算少數(shù)幾個(gè)參數(shù)和傳輸一個(gè) 參數(shù)，引入的額外負(fù)擔(dān)小。此外，去噪濾波器和噪聲恢復(fù)處理器或者其去噪處理和噪聲恢復(fù) 處理可容易地集成到標(biāo)準(zhǔn)視頻編解碼系統(tǒng)中。


圖1是顯示根據(jù)本發(fā)明的恢復(fù)噪聲的視頻編解碼方法的示意性框圖；圖2和圖3是顯示根據(jù)本發(fā)明的編碼端的示意性框圖；圖4是顯示根據(jù)本發(fā)明的解碼端的示意性框圖；圖5和圖6是顯示根據(jù)本發(fā)明的恢復(fù)噪聲的視頻編解碼系統(tǒng)的示意性框圖；圖7a和圖7b是標(biāo)準(zhǔn)H. 264編解碼器和嵌入本發(fā)明的去噪濾波器和噪聲恢復(fù)處理 器的標(biāo)準(zhǔn)H. 264編解碼器對不同視頻序列進(jìn)行編碼的性能比較曲線圖；圖8a-8c分別是含有膠片顆粒噪聲的原始視頻幀、利用嵌入去噪濾波器的編碼器 編碼的重構(gòu)視頻幀和利用嵌入噪聲恢復(fù)處理器的解碼器恢復(fù)的重構(gòu)視頻幀。
具體實(shí)施例方式以下，將結(jié)合附圖和實(shí)施例對本發(fā)明進(jìn)行進(jìn)一步的說明。在對本發(fā)明方法和系統(tǒng)進(jìn)行詳細(xì)描述之前，首先對本發(fā)明中所涉及到的數(shù)學(xué)模型 進(jìn)行簡要說明。在本發(fā)明中，假定視頻序列中的噪聲分量為加性高斯噪聲，觀察到的有噪的視頻 當(dāng)前幀及其參考幀分別表示為Yk和Yk+其相應(yīng)的真實(shí)視頻信號分別表示為Xk和Xk+則下 面的等式成立Yk = Xk+Nk(1)Yh = XH+NH(2)其中，Nk和Nlri分別表示第k幀和第k-Ι幀中的噪聲分量。假設(shè)Nk的均值和方差 分別為ο和σ k2。另外，由于無法得知視頻信號的真實(shí)值，因此，在本發(fā)明中，將其建模為均值為 、方差為的隨機(jī)變量。第k幀和第k-Ι幀中的真實(shí)視頻信號的關(guān)系為Xk = Xk_1+rk(3)其中，rk是殘差信號。這里，假定rk與Nk和Xlri無關(guān)，它的均值為&，方差為Cr:。圖1是顯示根據(jù)本發(fā)明的恢復(fù)噪聲的視頻編解碼方法的示意性框圖。從圖1中可 看出，本發(fā)明對現(xiàn)有的標(biāo)準(zhǔn)視頻編碼方法的改進(jìn)之處在于在編碼端通過對殘差信號進(jìn)行縮 放和平移來去除噪聲，同時(shí)在解碼端通過對殘差信號進(jìn)行反縮放和反平移來恢復(fù)噪聲，從 而通過簡單的互逆的去噪和加噪操作來恢復(fù)原始的真實(shí)噪聲，并且僅引入非常少的負(fù)擔(dān)。具體地講，如圖1所示，編碼端的輸入視頻信號為第k幀Yk，經(jīng)過預(yù)測之后獲得其 預(yù)測信號為又w，兩者之間的差值即為有噪殘差信號rn,k。根據(jù)縮放因子μ和平移因子V對 有噪殘差信號rn,k進(jìn)行縮放與平移操作之后，得到新的殘差信號r' n,k= yrn,k+Vo這里， 使得殘差信號r' n,k為當(dāng)前幀Yk的真實(shí)視頻信號的最優(yōu)估計(jì)信號與其預(yù)測信號^之間的 殘差信號，從而實(shí)現(xiàn)良好的去噪效果，提高編碼效率。接著，對新的殘差信號r' n,k進(jìn)行變換、量化和熵編碼，組成壓縮碼流以供輸出， 同時(shí)對量化后的變換系數(shù)進(jìn)行反量化和反變換，以得到重構(gòu)的殘差信號r" n,k，并將殘差信 號r “ n,k與預(yù)測巾貞相加得到重構(gòu)的幀兄，巾貞兄即為Yk的去噪視頻信號。將重構(gòu)的幀兄 緩存，作為下一幀Yk+1的預(yù)測幀。在解碼端，對編碼端輸出的壓縮碼流進(jìn)行熵解碼、反量化和反變換，得到重構(gòu)的殘 差信號rd,k。接著，根據(jù)反縮放因子λ和反平移因子θ對殘差信號rd,k進(jìn)行反縮放與反平 移，得到新的殘差信號r' d,k。這里，為了可恢復(fù)原始的真實(shí)噪聲，新的殘差信號r' d,k應(yīng) 該等于全部或部分恢復(fù)的有噪殘差信號rn,k，因此，在編碼端應(yīng)將確定反縮放因子λ和反 平移因子θ所需的參數(shù)發(fā)送給解碼端，解碼端根據(jù)這些參數(shù)確定反縮放因子λ和反平移 因子θ，以使得編碼端的去噪操作與解碼端的加噪操作是互逆的。最后，將得到的殘差信號 r' d,k與當(dāng)前幀的預(yù)測幀相加，從而得到全部或部分恢復(fù)原始噪聲的視頻信號。這里，指出，在本說明書中，參考幀即為預(yù)測幀，參考信號即為預(yù)測信號。編碼端的 輸入信號可以是一幀視頻信號，還可以是一場或一塊視頻信號。而外，除了視頻信號之外， 編碼端的輸入信號也可以是音頻或聲音信號，并且一個(gè)信號片段可以是較長的一幀或較短的一幀，幀與幀間可以是相互重疊或者不重疊。在編碼端輸入這些信號的情況下，僅需根據(jù) 實(shí)際應(yīng)用在相應(yīng)部分作簡單修改即可。以下，將參照圖2至圖4以幀間預(yù)測方法作為示例對本發(fā)明的具體實(shí)現(xiàn)進(jìn)行詳細(xì) 描述。在該示例中，利用線性最小均值平方誤差估計(jì)方法來估計(jì)輸入的當(dāng)前幀Yk的去噪
視頻信號
Χ^ω,Χ^+ω,Υ,+ (4)其中，(O1和ω2分別為輸入信號叉㈡和Yk的權(quán)重值，d為用來保證無偏差估計(jì)的常數(shù)。根據(jù)正交原則，最優(yōu)的濾波器系數(shù)為
σ2 =
2 ？
(Tr2 ω2 = k
2 ~ 2 , 2 U
(5)
(6)
(7)d = ωιΓ! 其中，σ k2為第k幀的噪聲分量Nk的方差，&和分別為殘差信號rk的均值和方 差，此時(shí)，Iit即為當(dāng)前幀Yk的真實(shí)視頻信號的最優(yōu)估計(jì)信號。利用ω1+ω2 = 1，并將公式(7)代入公式(4)，公式(4)可改寫為Jtk = !H + ω Yk - + d = Xk_, + ω2ΓηΛ +(8)其中，rn,k是有噪殘差信號，rn,k = rk+Nk,因此，其均值為&，方差為+巧2)。從公式(8)可得到新的殘差信號r' n,k rnk =Xk-Xk_, = ω2ΓηΛ + (DlFk(9)這里，縮放因子μ和平移因子ν分別為μ = ω2(10)ν =(11)從公式(5)、(6)和(7)可看出，縮放因子μ和平移因子ν均與噪聲分量ok2、殘 差信號的均值&和方差σ=這三個(gè)參數(shù)有關(guān)，因此，為了確定縮放因子μ和平移因子V，必須 首先確定這三個(gè)參數(shù)?？筛鶕?jù)以下方法對這三個(gè)參數(shù)進(jìn)行估計(jì)1.噪聲分量σ k2視頻序列中平滑區(qū)域的像素值的抖動(dòng)基本都是由噪聲的存在而造成的，所以噪聲 的方差可以根據(jù)平滑區(qū)域的樣本方差來估計(jì)。2.殘差信號的均值&和方差由于殘差信號的均值&和方差C^不能直接估計(jì)得到，所以可根據(jù)其與有噪殘差信 號rn,k之間的關(guān)系rn,k = rk+Nk間接得到。具體地講，如圖2所示，在運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償預(yù)測獲得Yk的預(yù)測值Ig之后，可得到有噪殘差信號rn, k。rn, k是隨機(jī)變量，相鄰的殘差信號通常具有相似的特征，因此，可利 用空間統(tǒng)計(jì)特性來估計(jì)或近似集合統(tǒng)計(jì)特性。比如，可將當(dāng)前視頻幀劃分為MXM個(gè)塊，對于 被編碼的當(dāng)前塊，計(jì)算該塊的有噪殘差的樣本均值和樣本方差，并將其作為有噪殘差信號rn,k 的均值和方差的估計(jì)。在獲得有噪殘差信號rn, k的均值和方差之后，由于噪聲分量的均值和 方差分別為0和σ廣而！·“ = rk+Nk，所以，可得到殘差信號的均值&即為有噪殘差信號rn,k的 均值，殘差信號的方差σ=即為有噪殘差信號rn,k的方差減去噪聲分量的方差σ k2。圖2為實(shí)現(xiàn)上述去噪編碼方法的示意性框圖。其中，參數(shù)估計(jì)模塊用于根據(jù)當(dāng)前 幀Yk、參考幀和有噪殘差rn,k來估計(jì)噪聲分量σ k2、殘差信號的均值&和方差<<這三個(gè)參 數(shù)。估計(jì)出這三個(gè)參數(shù)之后，根據(jù)公式(5)和(6)計(jì)算權(quán)重值(O1和ω2。然后，通過將有 噪殘差rn,k與權(quán)重值ω 2相乘對有噪殘差rn,k進(jìn)行縮放，再通過將其與叫^相加對其進(jìn)行平 移，從而得到新的殘差信號^^。接著，對新的殘差信號r' n,k進(jìn)行變換、量化、 熵編碼，從而獲得壓縮碼流。這里，所述變換可以是離散余弦變換、離散正弦變換、哈德曼變 換和KL變換等已知變換中的任何一種，所述量化可以是矢量量化、標(biāo)量量化和包含死區(qū)的 變量均勻量化中的任何一種。此外，由于該示例中的縮放與平移為線性操作，因此，還可在對殘差信號進(jìn)行變換 得到變換系數(shù)之后對變換系數(shù)執(zhí)行縮放與平移操作。如圖3所示，在這種實(shí)現(xiàn)中，首先對有 噪殘差信號進(jìn)行變換，得到變換系數(shù)，然后再對變換系數(shù)進(jìn)行縮放與平移，以得到與當(dāng)前幀 的真實(shí)視頻信號的最優(yōu)估計(jì)信號與其參考幀之間的殘差信號相對應(yīng)的新的變換系數(shù)。在該 示例中，縮放與平移操作具體為將直流系數(shù)減去碎^^，并將所有系數(shù)乘以，其中，如上所述， 有噪殘差信號rn,k的均值即為殘差信號的均值^。接著，對新的變換系數(shù)進(jìn)行量化和熵編 碼，組成壓縮碼流以供輸出，同時(shí)，對量化后的變換系數(shù)進(jìn)行反量化和反變換，以得到重構(gòu) 的殘差信號，并將該殘差信號與參考幀相加得到重構(gòu)幀，作為下一幀的參考幀。在解碼端獲得壓縮碼流之后，如圖4所示，對其進(jìn)行熵解碼、反量化和反變換，得 到重構(gòu)的殘差信號rd,k，該殘差信號即為已去噪的第k幀視頻與已去噪的第k-Ι幀視頻 戈“之間的殘差信號。為了恢復(fù)原始噪聲，應(yīng)該將該殘差信號反縮放和反平移成原始的有噪 殘差信號！·“。因此，根據(jù)公式⑶或(9)可知rdJk = ω2νη! + ^1F4(12)那么，從公式(12)可得到原始的有噪殘差信號rn,k =—~0^l(13)
， ω2得到原始的有噪殘差信號rn,k之后，即可得到恢復(fù)了原始噪聲的視頻信號Yk=Xk^rnjl(14)從公式(13)可看出，為了得到有噪殘差信號rn,k，必須知道《”(^和。的值。根據(jù) 公式(5)和(6)可知，(^和《2又與<和Qk2相關(guān)，因此，必須知道噪聲分量的方差ok2、殘 差信號的均值Fa和方差。因此，編碼器端需要將噪聲分量的方差Ok2傳送給解碼端，而另 外兩個(gè)參數(shù)則需要重新進(jìn)行估計(jì)。比如，可按照公式(12)中！^^和！·。的關(guān)系進(jìn)行估計(jì)1.殘差信號的均值&
根據(jù)公式(12)，可得到Fdjc = ω2Ψη]( + OJiFk = ω2Ψ, + ω, Fk = rk因此，&即等于Fia，也就是當(dāng)前MXM塊的rd,2.殘差信號的方差同樣根據(jù)公式(12)，可得到
σ2= 22<t =ω22(σΙ +σΙ) = (~^-σΙ)\σ
rk對方程(16)進(jìn)行求解，即可得到的值。圖3為實(shí)現(xiàn)以上解碼方法的示意性框圖。在圖3中，經(jīng)過反縮放和反平移后，可得
到新的殘差信號。^ =附「0。根據(jù)公式(13)，令α和β的值分別為(^和+，即， 反縮放因子夂二 ι，反平移因子~，則輸出即為恢復(fù)原始噪聲的有噪視頻序列。當(dāng)調(diào)
CO2CO2
整α和β的值時(shí)，還可獲得噪聲部分恢復(fù)的視頻序列。以上對采用幀間預(yù)測方法的視頻編解碼方法進(jìn)行了描述。從中可看出，本發(fā)明通 過簡單的殘差或其變換系數(shù)的縮放和平移操作就可實(shí)現(xiàn)真實(shí)噪聲的恢復(fù)，從而改進(jìn)主觀視 頻質(zhì)量。而且在編碼端和解碼端僅需計(jì)算少數(shù)幾個(gè)參數(shù)，并且編碼端只需將噪聲方差Ok2 傳送到解碼端，因此，與視頻編解碼系統(tǒng)的其余操作相比，其所需的額外開銷非常小。此外， 去噪處理和噪聲恢復(fù)處理可被容易地集成到已有的標(biāo)準(zhǔn)視頻編解碼系統(tǒng)中。需要指出的是，以上示例僅用作示例性目的，而不用作限制性目的。還可在此基礎(chǔ) 上根據(jù)實(shí)際應(yīng)用進(jìn)行各種變型。比如，除了幀間預(yù)測之外，還可利用幀內(nèi)預(yù)測或者和幀間預(yù)測和幀內(nèi)預(yù)測的組合 來得到預(yù)測幀；除了上述線性操作之外，還可利用非線性操作來實(shí)現(xiàn)縮放與平移，例如，可 通過查找表的方式來實(shí)現(xiàn)非線性操作；除了標(biāo)量操作之外，例如在矢量量化的特殊情況下 還可實(shí)現(xiàn)縮放與平移的矢量操作。以下，將參照圖5和圖6對根據(jù)本發(fā)明的視頻編解碼系統(tǒng)進(jìn)行說明。參照圖5，根據(jù)本發(fā)明的視頻編解碼系統(tǒng)包括編碼器510和解碼器520，其中，編碼 器510包括輸入單元511、殘差計(jì)算單元512、預(yù)測單元513、參考幀緩存單元514、變換單元 515、量化單元516、熵編碼單元517、重構(gòu)單元518、編碼輸出單元519和去噪濾波器530 ；解 碼器520包括熵解碼單元521、反量化單元522、反變換單元523、參考幀緩存單元524、解碼 輸出單元525和噪聲恢復(fù)處理器526。在編碼器510中，殘差計(jì)算單元512計(jì)算從輸入單元511輸入的當(dāng)前幀與其通過 預(yù)測單元513預(yù)測的參考幀之間的有噪殘差信號。去噪濾波器530對殘差計(jì)算單元512計(jì) 算的有噪殘差信號進(jìn)行縮放與平移，以得到當(dāng)前幀的真實(shí)視頻信號的最優(yōu)估計(jì)信號與其參 考幀之間的殘差信號，并將該殘差信號發(fā)送給變換單元515。變換單元515、量化單元516 和熵編碼單元517分別對從去噪濾波器530接收的殘差信號進(jìn)行變換、量化和熵編碼。編 碼輸出單元519將從熵編碼單元517接收的變換系數(shù)與解碼所需信息一起組成壓縮碼流以 供輸出，其中，解碼所需信息包括，例如上述示例中的噪聲分量的方差ok2。同時(shí)，重構(gòu)單元 518對量化后的變化系數(shù)進(jìn)行反量化和反變換，以得到重構(gòu)的殘差信號，并將該殘差信號與
11
(15)
k的樣本均值。
(i6參考幀存儲(chǔ)單元514中存儲(chǔ)的當(dāng)前幀的參考幀相加得到重構(gòu)的視頻幀，作為下一幀的參考 幀。具體操作與圖2所示編碼方法中的相應(yīng)步驟相同，因此省略其描述。在解碼器520中，熵解碼單元521、反量化單元522和反變換單元523分別對編碼 端輸出的壓縮碼流進(jìn)行熵解碼、反量化和反變換，得到重構(gòu)的殘差信號。噪聲恢復(fù)處理器 526對重構(gòu)的殘差信號進(jìn)行反縮放與反平移，以得到全部或部分恢復(fù)的有噪殘差信號，并將 該殘差信號發(fā)送給解碼輸出單元525。解碼輸出單元525將該殘差信號與當(dāng)前幀的參考幀 相加得到噪聲恢復(fù)的視頻信號。具體操作與圖4所示解碼方法中的相應(yīng)步驟相同，因此省 略其描述。參照圖6，根據(jù)本發(fā)明的另一視頻編解碼系統(tǒng)與圖5所示系統(tǒng)的不同之處在于，去 噪濾波器530位于變化單元515和量化單元516之間。此時(shí)，首先由變換單元515對殘差 計(jì)算單元512計(jì)算的殘差進(jìn)行變換，得到變換系數(shù)，然后，去噪濾波器530對變換系數(shù)進(jìn)行 縮放與平移，得到新的變換系數(shù)，量化單元對這些新的變換系數(shù)進(jìn)行量化。具體操作與圖3 所示編碼方法中的相應(yīng)步驟相同，因此省略其描述。從圖5和圖6可看出，編碼器510中的輸入單元511、殘差計(jì)算單元512、預(yù)測單元 513、參考幀存儲(chǔ)單元514、變換單元515、量化單元516、熵編碼單元517、重構(gòu)單元518和編 碼輸出單元519是公知的標(biāo)準(zhǔn)視頻編碼系統(tǒng)的一種示意性實(shí)現(xiàn)，解碼器520中的熵解碼單 元521、反量化單元522、反變換單元523、參考幀緩存單元524和解碼輸出單元525是公知 的標(biāo)準(zhǔn)視頻解碼系統(tǒng)的一種示意性實(shí)現(xiàn)。根據(jù)本發(fā)明方法構(gòu)造的去噪濾波器530可集成到 標(biāo)準(zhǔn)視頻編碼系統(tǒng)或者其類似系統(tǒng)中，噪聲恢復(fù)處理器526可集成到標(biāo)準(zhǔn)視頻解碼系統(tǒng)或 者其類似系統(tǒng)中，并且去噪濾波器530和噪聲恢復(fù)處理器526所引入的額外負(fù)擔(dān)非常小。同樣，如上所述，編碼器510的輸入信號可以是一幀視頻信號，還可以是一場或一 塊視頻信號。而外，除了視頻信號之外，編碼端的輸入信號也可以是音頻或聲音信號，并且 一個(gè)信號片段可以是較長的一幀或較短的一幀，幀與幀間可以是相互重疊或者不重疊。在 編碼器輸入這些信號的情況下，僅需根據(jù)實(shí)際應(yīng)用在相應(yīng)部分作簡單修改即可。這里所 述變換可以是離散余弦變換、離散正弦變換、哈德曼變換和KL變換等已知變換中的任何一 種，所述量化可以是矢量量化、標(biāo)量量化和包含死區(qū)的變量均勻量化中的任何一種。以下將通過實(shí)驗(yàn)來說明本發(fā)明的技術(shù)效果。在該實(shí)驗(yàn)中，分別利用H. 264編解碼 器和嵌入本發(fā)明的去噪濾波器和噪聲恢復(fù)處理器的H. 264編解碼器對視頻序列cyclist和 rollingjomatoes進(jìn)行編碼，并對它們的RD性能進(jìn)行比較。從圖7a和圖7b中的曲線圖可 看出，本發(fā)明的RD性能優(yōu)于標(biāo)準(zhǔn)H. 264編解碼器，BDBitrate降低了 10% -20%。此外，圖8a-8c分別是含有膠片顆粒噪聲的視頻序列rollingjomatoes中的原始 視頻幀、利用嵌入去噪濾波器的編碼器編碼的重構(gòu)視頻幀和利用嵌入噪聲恢復(fù)處理器的解 碼器恢復(fù)的重構(gòu)視頻幀。從圖8b可看出，利用本發(fā)明的去噪濾波器，有效地去除了膠片顆 粒噪聲，從而提高了編碼效率。從圖8c可看出，本發(fā)明有效地恢復(fù)了圖8a中所含有的原始 膠片顆粒噪聲。從以上描述可看出，本發(fā)明的主要技術(shù)效果在于1.編碼端通過去噪處理，有效地去除了噪聲，從而提高了編碼效率；2.由于去除噪聲過程與恢復(fù)噪聲過程可逆，因此，可恢復(fù)原始的真實(shí)噪聲，從而改 進(jìn)了主觀視頻質(zhì)量；
3.僅涉及簡單的殘差或其變換系數(shù)的縮放與平移操作，其中僅需要計(jì)算少數(shù)幾個(gè) 參數(shù)和傳輸一個(gè)參數(shù)，引入的額外負(fù)擔(dān)小；4.去噪濾波器和噪聲恢復(fù)處理器或者其去噪處理和噪聲恢復(fù)處理可容易地集成 到標(biāo)準(zhǔn)視頻編解碼系統(tǒng)中。以上已參照實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)描述，但是，應(yīng)該理解，本發(fā)明并不限于以 上所公開的特定實(shí)施例，任何本領(lǐng)域的技術(shù)人員在此基礎(chǔ)之上容易想到的修改和變型都應(yīng) 包括在本發(fā)明的保護(hù)范圍內(nèi)。
權(quán)利要求
一種恢復(fù)噪聲的視頻編解碼方法，包括在編碼端執(zhí)行去除噪聲的視頻編碼方法；在解碼端執(zhí)行恢復(fù)噪聲的視頻解碼方法；其中，所述去除噪聲的視頻編碼方法包括以下步驟計(jì)算作為輸入信號的當(dāng)前幀與其參考幀之間的有噪殘差信號；對有噪殘差信號或者其變換系數(shù)進(jìn)行縮放與平移，以得到當(dāng)前幀的真實(shí)視頻信號的最優(yōu)估計(jì)信號與其參考幀之間的殘差信號；對經(jīng)過縮放與平移得到的殘差信號進(jìn)行變換、量化和熵編碼或者對經(jīng)過縮放與平移得到的變換系數(shù)進(jìn)行量化和熵編碼，組成壓縮碼流以供輸出，同時(shí)對量化后的變換系數(shù)進(jìn)行反量化和反變換，以得到重構(gòu)的殘差信號，并將該殘差信號與參考幀相加得到重構(gòu)幀，作為下一幀的參考幀；其中，所述恢復(fù)噪聲的視頻解碼方法包括以下步驟對編碼端輸出的壓縮碼流進(jìn)行熵解碼、反量化和反變換，得到重構(gòu)的殘差信號；對重構(gòu)的殘差信號進(jìn)行反縮放與反平移，以得到全部或部分恢復(fù)的有噪殘差信號；將得到的有噪殘差信號與當(dāng)前幀的參考幀相加得到噪聲全部或部分恢復(fù)的視頻信號。
2.根據(jù)權(quán)利要求1所述的視頻編解碼方法，其特征在于，根據(jù)以下公式得到所述最優(yōu) 估計(jì)信號 其中，k為幀號，足為去噪的第k巾貞，即為第k幀的真實(shí)視頻信號的最優(yōu)估計(jì)信號，^ 為第k幀的參考幀，Yk為觀察到的第k幀，(^和ω 2分別為權(quán)重值，d為用來保證無偏差估 計(jì)的常數(shù)。
3.根據(jù)權(quán)利要求2所述的視頻編解碼方法，其特征在于，根據(jù)正交原則，ωι、ω2*(1的 最優(yōu)值分別為 其中，σ k2為第k幀的噪聲分量的方差，&和分別為第k幀與其參考幀的真實(shí)視頻信 號之間的殘差信號的均值和方差。
4.根據(jù)權(quán)利要求3所述的視頻編解碼方法，其特征在于，根據(jù)以下公式對有噪殘差信 號進(jìn)行縮放和平移 其中，rn,k為有噪殘差信號，r'經(jīng)過縮放和平移后得到的新的殘差信號，μ為縮放因子，ν為平移因子。
5.根據(jù)權(quán)利要求3所述的視頻編解碼方法，其特征在于，通過以下方式對變換系數(shù)進(jìn)行縮放與平移，即，將變換系數(shù)中的直流系數(shù)減去叫^，并將所有變換系數(shù)乘以ω2。
6.根據(jù)權(quán)利要求4或5所述的視頻編解碼方法，其特征在于，根據(jù)以下公式對重構(gòu)的殘 差信號進(jìn)行反縮放和反平移 其中，rd,k為解碼端重構(gòu)的殘差信號，r' d’k為rd,k經(jīng)過反縮放和反平移后得到的新的 殘差信號，λ為反縮放因子，θ為反平移因子。
7.根據(jù)權(quán)利要求1所述的視頻編解碼方法，其特征在于，所述縮放與平移操作、反縮放 與反平移操作為非線性操作。
8.根據(jù)權(quán)利要求1所述的視頻編解碼方法，其特征在于，所述縮放與平移操作、反縮放 與反平移操作為標(biāo)量或矢量操作。
9.根據(jù)權(quán)利要求1所述的視頻編解碼方法，其特征在于，所述輸入信號為一場或一塊 視頻信號或者音頻或聲音信號，并且一個(gè)信號片段的幀長度不限，幀與幀間相互重疊或者 不重疊。
10.一種恢復(fù)噪聲的視頻編解碼系統(tǒng)，包括編碼器和解碼器，編碼器包括輸入單元、殘 差計(jì)算單元、預(yù)測單元、參考幀緩存單元、變換單元、量化單元、熵編碼單元、重構(gòu)單元、編碼 輸出單元，解碼器包括熵解碼單元、反量化單元、反變換單元、參考幀緩存單元和解碼輸出 單元，其特征在于，所述編碼器還包括去噪濾波器，其用于對作為輸入信號的當(dāng)前幀與其參考幀之間的有 噪殘差信號或者其變換系數(shù)進(jìn)行縮放與平移，以得到當(dāng)前幀的真實(shí)視頻信號的最優(yōu)估計(jì)信 號與其參考幀之間的殘差信號，并將經(jīng)過縮放與平移得到的殘差信號發(fā)送給變換單元或者 將經(jīng)過縮放與平移得到的變換系數(shù)發(fā)送給量化單元；所述解碼器還包括噪聲恢復(fù)處理器，其用于對重構(gòu)的殘差信號進(jìn)行反縮放與反平移， 以得到全部或部分恢復(fù)的有噪殘差信號，并將該殘差信號發(fā)送給輸出單元，輸出單元將該 殘差信號與當(dāng)前幀的參考幀相加得到噪聲全部或部分恢復(fù)的視頻信號。
11.根據(jù)權(quán)利要求10所述的視頻編解碼系統(tǒng)，其特征在于，根據(jù)以下公式得到所述最 優(yōu)估計(jì)信號 其中，k為幀號，兄為去噪的第k巾貞，即為第k幀的真實(shí)視頻信號的最優(yōu)估計(jì)信號，兄q 為第k幀的參考幀，Yk為觀察到的第k幀，(^和ω 2分別為權(quán)重值，d為用來保證無偏差估 計(jì)的常數(shù)。
12.根據(jù)權(quán)利要求11所述的視頻編解碼系統(tǒng)，其特征在于，根據(jù)正交原則，《1、《2和(1 的最優(yōu)值分別為 d = CO1J7k其中，O k2為第k幀的噪聲分量的方差，&和CTj分別為第k幀與其參考幀的真實(shí)視頻信 號之間的殘差信號的均值和方差。
13.根據(jù)權(quán)利要求12所述的視頻編解碼系統(tǒng)，其特征在于，根據(jù)以下公式對有噪殘差 信號進(jìn)行縮放和平移r' n,k = y rn>k+v μ = ω 2ν = Wk其中，rn,k為有噪殘差信號，r'經(jīng)過縮放和平移后得到的新的殘差信號，μ為縮放因子，ν為平移因子。
14.根據(jù)權(quán)利要求12所述的視頻編解碼系統(tǒng)，其特征在于，通過以下方式對變換系數(shù) 進(jìn)行縮放與平移，即，將變換系數(shù)中的直流系數(shù)減去叫，并將所有變換系數(shù)乘以ω2。
15.根據(jù)權(quán)利要求13或14所述的視頻編解碼系統(tǒng)，其特征在于，根據(jù)以下公式對重構(gòu) 的殘差信號進(jìn)行反縮放和反平移r' d,k=Xrd,k+eCO1ω2其中，rd,k為解碼端重構(gòu)的殘差信號，r' d’k為rd,k經(jīng)過反縮放和反平移后得到的新的 殘差信號，λ為反縮放因子，θ為反平移因子。
16.根據(jù)權(quán)利要求10所述的視頻編解碼系統(tǒng)，其特征在于，所述縮放與平移操作、反縮 放與反平移操作為非線性操作。
17.根據(jù)權(quán)利要求10所述的視頻編解碼系統(tǒng)，其特征在于，所述縮放與平移操作、反縮 放與反平移操作為標(biāo)量或矢量操作。
18.根據(jù)權(quán)利要求10所述的視頻編解碼系統(tǒng)，其特征在于，所述輸入單元輸入的信號 為一場或一塊視頻信號或者音頻或聲音信號，并且一個(gè)信號片段的幀長度不限，幀與幀間 相互重疊或者不重疊。
全文摘要
本發(fā)明提供一種恢復(fù)噪聲的視頻編解碼方法，包括在編碼端執(zhí)行去除噪聲的視頻編碼方法；在解碼端執(zhí)行恢復(fù)噪聲的視頻解碼方法。在去噪處理中，對有噪殘差信號或者其變換系數(shù)進(jìn)行縮放與平移，以得到當(dāng)前幀的真實(shí)視頻信號的最優(yōu)估計(jì)信號與其參考幀之間的殘差信號，然后對該殘差信號進(jìn)行變換、量化和熵編碼，組成壓縮碼流以供輸出。在恢復(fù)噪聲處理中，對重構(gòu)的殘差信號進(jìn)行反縮放與反平移，以得到恢復(fù)的有噪殘差信號，并將得到的有噪殘差信號與當(dāng)前幀的參考幀相加得到噪聲恢復(fù)的視頻信號。相應(yīng)地，提供一種恢復(fù)噪聲的視頻編解碼系統(tǒng)。本發(fā)明可恢復(fù)原始的真實(shí)噪聲，引入的額外負(fù)擔(dān)小，去噪處理和噪聲恢復(fù)處理可容易地集成到標(biāo)準(zhǔn)視頻編解碼系統(tǒng)中。
文檔編號H04N7/30GK101883280SQ20101016839
公開日2010年11月10日 申請日期2010年5月7日 優(yōu)先權(quán)日2009年5月7日
發(fā)明者代晶靜, 區(qū)子廉, 龐超 申請人:香港科技大學(xué)