專利名稱：提供編碼/壓縮和解碼/解壓縮之間的計算復(fù)雜度的可調(diào)節(jié)分配的魯棒且高效的壓縮/解壓縮的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及壓縮/解壓縮，包括用于編碼和解碼視頻信號的壓縮/解壓縮方法、系統(tǒng)和設(shè)備，更具體地，涉及一種新型壓縮/解壓縮方法、系統(tǒng)和設(shè)備，其可被調(diào)諧到編碼/壓縮功能性和解碼/解壓縮功能性之間的壓縮/解壓縮的計算復(fù)雜度的不同分配(division)的范圍。

背景技術(shù)：
包括運動圖像專家組(“MPEG”)MPEG-1、MPEG-2、和MPEG-4視頻編碼標(biāo)準(zhǔn)和最近的H.263+視頻編碼標(biāo)準(zhǔn)的各種各樣的視頻壓縮/解壓縮方法和壓縮/解壓縮硬件/固件模塊和軟件模塊(“編解碼器”)已經(jīng)被開發(fā)出來以將基于像素和基于幀的視頻信號通過有損壓縮技術(shù)編碼為壓縮比特流，以用于電子、磁和光存儲介質(zhì)中的緊湊存儲，包括DVD和計算機(jī)文件，以及用于經(jīng)由有線電視、衛(wèi)星電視和因特網(wǎng)進(jìn)行高效傳輸。隨后，該壓縮比特流可被訪問或接收，并通過解碼器來解壓縮以便產(chǎn)生對基于像素和基于幀的原始視頻信號的合理的高保真重建。
由于目前可用的許多視頻編碼方法都被設(shè)計用于將壓縮比特流廣播和分發(fā)到各種相對廉價的、低功率的消費者設(shè)備，所以目前使用的視頻編碼方法通常趨向于將編碼-壓縮/解碼-解壓縮過程的全部計算復(fù)雜度進(jìn)行分配，以使得通常由視頻分發(fā)器和廣播器執(zhí)行一次或很少幾次的編碼在計算上復(fù)雜而且昂貴，而通常在相對廉價、低功率的消費者設(shè)備上執(zhí)行的解碼在計算上簡單而且廉價。這種計算復(fù)雜度的非對稱分配將計算上的負(fù)擔(dān)恰當(dāng)?shù)胤旁趶V播器或分發(fā)器身上，它們通常僅對基于像素和基于幀的視頻信號編碼一次或很少幾次，之后便可將該編碼的視頻信號分發(fā)給潛在的巨大數(shù)量的消費者。消費者可使用相對廉價的消費者設(shè)備來重建高保真視頻信號，該消費者設(shè)備例如是衛(wèi)星電視機(jī)頂盒、DVD播放器和視頻解碼軟件應(yīng)用，因為該解碼過程在計算上是相對廉價和簡單的。然而，隨著各種手持視頻記錄消費者設(shè)備的出現(xiàn)，這其中包括攝像機(jī)、蜂窩電話和其他這種手持便攜設(shè)備，也就出現(xiàn)了對能夠?qū)⑾鄬^小的計算負(fù)擔(dān)放在該手持視頻記錄設(shè)備的編碼/壓縮功能上、并將相對較高的計算負(fù)擔(dān)放在解碼設(shè)備上的需求，該解碼設(shè)備通常是高功率服務(wù)器或具有較強(qiáng)計算能力的編碼視頻信號接收實體。這種對計算復(fù)雜度的分配被稱作“逆計算復(fù)雜度”。便攜、手持視頻記錄設(shè)備的制造商、銷售商、設(shè)計者和用戶，編解碼器的設(shè)計者、制造商和銷售商，以及視頻數(shù)據(jù)管理提供者都已經(jīng)意識到對具有逆計算復(fù)雜度的新的、高效的和魯棒的視頻編解碼器的需求。


發(fā)明內(nèi)容
本發(fā)明的各種實施例包括調(diào)整編碼和解碼之間的壓縮和解壓縮的總計算復(fù)雜度的分配的壓縮/解壓縮方法、系統(tǒng)和設(shè)備。這些實施例包括在計算復(fù)雜度的可選級別上編碼接收的信號的編碼器和在計算復(fù)雜度的可選級別上解碼所接收的編碼信號的解碼器。本發(fā)明的視頻編解碼器實施例可被合并到相對廉價的視頻記錄設(shè)備中，這其中包括手持的視頻記錄消費者設(shè)備，比如視頻記錄機(jī)和蜂窩電話。



圖1示出了基于像素的視頻信號幀。
圖2示出了對視頻信號的編碼。
圖3示出了在幀的編碼中的第一邏輯步驟。
圖4示出了視頻幀到宏塊(macroblock)的合成。
圖5示出了宏塊到六個8×8塊的分解。
圖6示出了對從如上參照圖1-5所述的視頻幀中提取出來的8×8塊的空間編碼。
圖7示出了對頻域系數(shù)的示例性量化。
圖8示出了幀序列之間的子圖像移動和描述子圖像移動的運動矢量。
圖9顯示了用于對當(dāng)前幀的時間(temporal)編碼的信息。
圖10示出了P幀時間編碼。
圖11示出了B幀時間編碼。
圖12示出了DC編碼。
圖13概述了I幀、P幀和B幀編碼。
圖14圖示了對與符號串相關(guān)聯(lián)的熵的計算和對該符號串的基于熵的編碼。
圖15圖示了用于根據(jù)兩個不同隨機(jī)變量X和Y產(chǎn)生的兩個不同符號串的聯(lián)合條件熵。
圖16示出了用于編碼和發(fā)送其后為符號串X的符號串Y的下限傳輸速率，該速率的單位為比特每符號。
圖17示出了一旦符號串Y已經(jīng)被發(fā)送到解碼器，用于編碼和發(fā)送符號串X的一種可能的編碼方法。
圖18示出了Slepian-Wolf定理。
圖19示出了Wyner-Ziv定理。
圖20圖形化地示出了對編解碼器的編碼器/壓縮和解碼器/解壓縮功能性之間的計算負(fù)擔(dān)或計算復(fù)雜度的分配。
圖21示出了本發(fā)明的實施例可應(yīng)用的問題領(lǐng)域。
圖22示出了本發(fā)明實施例的基本概念。
圖23A-B示出了本發(fā)明的兩種不同概括的實施例。
圖24示出了對B幀的標(biāo)準(zhǔn)編碼。
圖25A-C示出了根據(jù)本發(fā)明實施例的NRWZ-B幀編碼。
圖26A-D示出了根據(jù)本發(fā)明一個實施例的對NRWZ-B幀的解碼。
圖27A顯示了典型的拉普拉斯(Laplacian)分布。
圖27B顯示了在本發(fā)明的各個實施例中使用的噪聲模型的第一項中所使用的高斯分布。
圖27C顯示了在本發(fā)明的各個實施例中使用的噪聲模型的第二項中所使用的高斯分布。
圖27D顯示了對有噪殘留幀系數(shù)y建模的組合分布。
圖28圖示了根據(jù)本發(fā)明一個實施例的用于產(chǎn)生WZ層比特流的殘留幀系數(shù)(圖25C中的2526)的信道編碼。
圖29圖示了在本發(fā)明各個實施例中使用的陪集(coset)映射。
圖30圖示了由拉普拉斯分布的頻域殘留幀系數(shù)x確定量化的殘留幀系數(shù)值的概率分布。
圖31顯示了使用與圖30中所使用的相同的圖示慣例對具有值2的陪集的概率的計算的示例。
圖32顯示了在本發(fā)明各個實施例中所使用的殘留幀頻域系數(shù)量化和陪集映射的更詳細(xì)的呈現(xiàn)。
圖33A圖示了使用從本發(fā)明各個實施例中所使用的WZ層比特流中所獲得的有噪殘留幀系數(shù)y和相應(yīng)的陪集c的Wyner-Ziv信道解碼過程。
圖33B示出了對在本發(fā)明各個實施例中所使用的頻域殘留幀系數(shù)的估計。
圖34示出了在本發(fā)明各個實施例中所使用的網(wǎng)格(trellis)編碼技術(shù)。
圖35示出了在本發(fā)明各個實施例中所使用的通過翻轉(zhuǎn)對稱地關(guān)于零值布置的一對或多對基礎(chǔ)陪集函數(shù)(base-coset-function)陪集值的符號來產(chǎn)生基礎(chǔ)陪集函數(shù)

(k)族。
圖36是用于在本發(fā)明的各個實施例中所使用的基于網(wǎng)格的編碼的控制流程圖。
圖37示出了用于通過在本發(fā)明的各個實施例中所使用的網(wǎng)格編碼方法來產(chǎn)生陪集的陪集產(chǎn)生狀態(tài)機(jī)(state machine)。

具體實施例方式 本發(fā)明的實施例提供了壓縮/解壓縮方法、系統(tǒng)和設(shè)備，其通常被稱作“編解碼器”，以允許對壓縮/解壓縮方法、系統(tǒng)和設(shè)備的編碼/壓縮功能和解碼/解壓縮功能之間的壓縮/解壓縮的總計算負(fù)擔(dān)的分配在計算負(fù)擔(dān)分配的范圍內(nèi)的調(diào)節(jié)。下面，在第一子部分中，提供了對典型的、目前可用的視頻編解碼器的概述，以作為理解本發(fā)明后續(xù)論述的基礎(chǔ)。然后，在第二子部分，提供了對信息科學(xué)和編碼理論中的特定概念的簡介、以及Slepian-Wolf和Wyner-Ziv編碼定理的概述。下面，在第三子部分，提供對本發(fā)明的概述。最后，在最長的第四部分，提供包括本發(fā)明的各個實施例的編解碼器的實施細(xì)節(jié)。
目前可用的視頻編解碼器概述 圖1示出了基于像素的視頻信號幀。幀102可以被認(rèn)為是像素值的二維陣列。該二維陣列的每個單元(比如單元104)都代表一個用于由電子顯示設(shè)備的相應(yīng)像素來顯示的像素值，該電子顯示設(shè)備比如是電視顯示器或計算機(jī)監(jiān)視器。在一種標(biāo)準(zhǔn)中，視頻信號幀102代表包含240×352個像素的圖像的顯示。每個像素的數(shù)字表示，比如像素值106，包括亮度值108和兩個色度值110-111。亮度值108可被認(rèn)為是控制像素的灰度的暗度或亮度，而色度值110和111指定將由像素顯示的顏色。
圖2示出了對基于幀的視頻信號的編碼。原始視頻信號可被認(rèn)為是根據(jù)時間排序的幀120的系列或序列。在一種公共標(biāo)準(zhǔn)中，任何兩個連續(xù)幀(比如圖2中的幀122和124)都由一秒鐘的1/30的時間差來分隔。該視頻編碼過程將該原始信號中的幀序列劃分為按時間排序的子序列的序列，每個子序列被稱作“GOP”。每個GOP可重疊在第一和最后幀中的先前的和后續(xù)的GOP。在圖2中，13個幀126包括單個GOP。在GOP中的幀的數(shù)量可依據(jù)特定編解碼器的實施、所期望的視頻信號的重建的保真度、所期望的分辨率、以及其他因素而變化。GOP通常開始于并結(jié)束于內(nèi)部幀(intraframe)，比如GOP 126中的內(nèi)部幀128和130。內(nèi)部幀，也稱作“I幀”，是被空間編碼的參考幀。許多P幀132-134和B幀136-139及140-143可出現(xiàn)在該GOP中。P幀和B幀可以被空間和時間編碼。P幀的編碼依賴于先前的I幀或P幀，而B幀的編碼依賴于先前的和后續(xù)的I幀或P幀二者。通常，I幀和P幀被認(rèn)為是參考幀。如圖2中箭頭所示，比如箭頭144，被選擇用于P幀和B幀的原始幀在該GOP中出現(xiàn)的順序可不同于它們在原始視頻信號中出現(xiàn)的順序。每個GOP都以時間順序被輸入到編碼模塊148，該編碼模塊將包含在該GOP中的信息編碼為壓縮比特流150，該壓縮比特流150可以被輸出用于存儲在電子存儲介質(zhì)上或用于經(jīng)由電子通信介質(zhì)進(jìn)行傳輸。
圖3圖示了在幀的編碼中的第一邏輯步驟。如上面參考圖1所論述的，視頻幀102可被認(rèn)為是像素值的二維陣列，每個像素值包括一個亮度值和兩個色度值。這樣，單個視頻幀可被可選地認(rèn)為由一個亮度幀302和兩個色度幀304和306組成。因為相對于色度來說，人類視覺知覺能更敏銳地辨別亮度，所以兩個色度幀304和306通常在每個維度中以因子2抽取或由總因子4來抽取，以產(chǎn)生較低分辨率的120×175幀。
圖4圖示了從視頻幀到宏塊的合成。如圖4所示，圖4中僅僅示出了其中的一小部分的視頻幀(比如240×352視頻幀401)能夠被分解為一組非重疊的16×16宏塊。圖4中顯示的幀的這一小部分已經(jīng)被分成四個宏塊404-407。當(dāng)這些宏塊以在該視頻幀的連續(xù)行中從左到右出現(xiàn)的順序被用數(shù)字標(biāo)記時，圖4中的第一個宏塊401被標(biāo)記為“0”，第二個宏塊405被標(biāo)記為“1”。沒有顯示在圖4中的二十個額外宏塊在該視頻幀的第一行中跟在宏塊1之后，所以圖4中顯示的第三宏塊406，也即第二行的第一個宏塊，被標(biāo)記為“22”，而圖4中所顯示的最后一個宏塊407被標(biāo)記為“23”。
圖5圖示了將一個宏塊分解為六個8×8塊。如上所述，比如圖1中的視頻幀102的視頻幀可被分解成16×16宏塊的系列，比如圖4中的宏塊404。如參照圖3所論述的，每個視頻幀、或視頻幀中的宏塊可被認(rèn)為是分別由一個亮度幀和兩個色度幀組成或由一個亮度宏塊和兩個色度宏塊組成。如參考圖3所論述的，色度幀和/或宏塊通常通過總因子4進(jìn)行抽取。因此，視頻幀中的給定宏塊(比如圖4中的宏塊404)可被認(rèn)為是由一個16×16亮度宏塊502和兩個8×8色度宏塊504和505組成。該亮度宏塊502可以如圖5所示被分解成四個8×8塊。這樣，視頻幀中的給定宏塊(比如圖4中的視頻幀401中的宏塊404)可被分解成六個8×8塊506，包括四個亮度8×8塊和兩個色度8×8塊。在8×8塊的基礎(chǔ)上執(zhí)行視頻幀的空間編碼。在16×16宏塊的基礎(chǔ)上執(zhí)行視頻幀的時間編碼。
圖6示出了從視頻幀中提取的8×8塊的空間編碼，如上面參照圖1-5所論述的。該8×8塊602的每個單元或元素(比如單元604)包括亮度或色度值f(i，j)，其中i和j分別是該單元的橫坐標(biāo)和縱坐標(biāo)。該單元被從由強(qiáng)度值f(i，j)的陣列所表示的空間域變換606到由頻域系數(shù)F(u，v)的二維8×8陣列所表示的頻域，該變換在多數(shù)情況下使用離散余弦變換(“DCT”)。示例性DCT的表達(dá)式608被示出在圖6的上方。頻域中的系數(shù)指示在空間域中垂直、水平以及垂直和水平二者方向上的空間周期性。F(0，0)系數(shù)610被稱作“DC”系數(shù)，并具有與該8×8空間域塊602內(nèi)的平均強(qiáng)度成比例的值。由頻域系數(shù)所表示的周期性在頻率上沿著互連DC系數(shù)610和最高頻率系數(shù)612的對角線從最低頻率系數(shù)610增長到最高頻率系數(shù)612。
接著，頻域系數(shù)被量化614以產(chǎn)生量化后的頻域系數(shù)616的8×8塊。圖7示出了對頻域系數(shù)的示例性量化。量化使用8×8的量化矩陣Q702。在一個示例性量化過程中，在圖7中用表達(dá)式704表示，將每個頻域系數(shù)f(i，j)乘以8，然后使用整數(shù)除法將其除以量化矩陣Q中的對應(yīng)值Qi，j，Qi，j可首先通過尺度因子(scale factor)被縮放。量化的系數(shù)具有小整數(shù)值。對量化矩陣Q的檢查揭示了通常情況下，在量化過程中相比較低頻系數(shù)，較高頻率系數(shù)被較大值相除。因為Q矩陣整數(shù)對于較高頻率系數(shù)來說是較大的，所以較高頻率系數(shù)最終被量化成較小的整數(shù)范圍，或量化倉(quantization bin)。換句話說，較低頻率系數(shù)的量化值的范圍大于較高頻率系數(shù)的量化值的范圍。因為較低頻率系數(shù)通常具有較大的幅值(magnitude)，并相比較高頻率系數(shù)，對感知的圖像通常貢獻(xiàn)更大，因此量化的結(jié)果是許多較高頻率量化系數(shù)，也就是在量化系數(shù)塊616的右下三角部分中，被迫使為零。然后，以zig-zig方式來回穿行(traverse)量化系數(shù)618的塊，以創(chuàng)建量化系數(shù)620的一維矢量。然后使用各種熵編碼技術(shù)來編碼該量化系數(shù)的一維矢量以產(chǎn)生壓縮的比特流622，熵編碼技術(shù)通常是游程(run-length)編碼后跟著霍夫曼(Huffman)編碼。熵編碼技術(shù)利用了符號流中符號的出現(xiàn)頻率的非均勻分布來壓縮該符號流。該具有最高索引的一維量化系數(shù)矢量620的最后部分通常僅包含零值。游程編碼可通過數(shù)值“0”的單次出現(xiàn)和該零值子序列的長度來代表長的、連續(xù)的零值序列。霍夫曼編碼使用符號的變化比特長度編碼，利用較短長度的編碼來表示出現(xiàn)頻率更高的符號，以便壓縮符號串。
空間編碼僅使用包含在特定8×8空間域塊中的信息來編碼該空間域塊。如上所述，僅通過使用空間編碼來編碼I幀。換句話說，每個I幀都被分解成8×8塊，并且每個塊都被空間編碼，如上面參照圖6所論述的。因為對I幀的編碼并不依賴于視頻信號中的任何其他幀，所以I幀充當(dāng)獨立(self-contained)的參考點，其使得該解碼過程固定(anchor)在規(guī)則隔開的間隔，防止了由編碼幀之間的相互依賴而出現(xiàn)的解碼信號的漂移。
因為視頻幀序列或視頻信號通常對相對于較為固定的背景移動的人物或物體的動態(tài)圖像進(jìn)行編碼，攝像機(jī)對在一段時間里相對靜止的背景或者場景進(jìn)行搖攝(panned)，所以視頻幀序列通常包含大量的冗余信息，其中的一些或大部分從其在最初幀中的最初位置被轉(zhuǎn)移或位移到后續(xù)幀上的一系列后續(xù)位置。由于這個原因，對一系列視頻幀中的圖像或子圖像的運動的檢測提供了一種相對高等級的壓縮方式。檢測視頻幀序列中的圖像或子圖像的隨著時間的運動并使用包含在這些運動圖像和子圖像中的冗余信息的技術(shù)被稱作時間壓縮。
圖8示出了幀序列之間的子圖像移動和描述子圖像移動的運動矢量。在圖8中，示出了從GOP中選擇的三個視頻幀802-804。幀803被認(rèn)為是當(dāng)前幀，或?qū)⒈痪幋a和壓縮的幀。幀802在時間上比當(dāng)前幀803更早地出現(xiàn)在幀的原始視頻信號序列中，并且?guī)?04在原始視頻信號中在幀803后面。當(dāng)前幀803中的特定16×16宏塊806存在于先前幀802中的第一不同位置808處以及存在于后續(xù)幀804中的第二不同位置810處。通過在單個幀812內(nèi)疊加先前幀、當(dāng)前幀和后續(xù)幀中的宏塊806的位置，可以發(fā)現(xiàn)該宏塊在原始視頻信號的幀序列中呈現(xiàn)為沿對角線向下移動，從第一位置808通過當(dāng)前位置806到達(dá)第二位置810。在當(dāng)前幀806中的宏塊的位置以及兩個位移或運動矢量814和816描述了該宏塊806在由先前幀、當(dāng)前幀和后續(xù)幀表示的時間段中的時間和空間運動。時間壓縮的基本概念是當(dāng)前幀中的宏塊806可被編碼為運動矢量814和816之一或兩者，因為該宏塊將會在先前幀和后續(xù)幀的編碼中被編碼，并因此除了涉及它在當(dāng)前幀中的位置的基于運動矢量的信息之外代表當(dāng)前幀中的冗余信息。
圖9顯示了用于對當(dāng)前幀進(jìn)行時間編碼的信息。當(dāng)前幀的時間編碼使用當(dāng)前幀902，以及使用單個先前幀904和與該先前幀相關(guān)聯(lián)的單個運動矢量906或同時使用先前幀904及相關(guān)聯(lián)的運動矢量906和后續(xù)幀908及相關(guān)聯(lián)的運動矢量910。P幀時間編碼可僅使用先前幀和先前的I幀或P幀，以及B幀編碼可同時使用先前的和后續(xù)的I幀和/或P幀。
圖10圖示了P幀時間編碼。在P幀時間編碼中，16×16當(dāng)前幀宏塊1002和在先前幀中找到的16×16匹配宏塊1004被用于編碼16×16當(dāng)前幀宏塊1002。該先前幀宏塊1004被識別為足夠類似于當(dāng)前幀宏塊1002以至于能夠通過時間壓縮來壓縮，并被識別為最類似于當(dāng)前幀宏塊的宏塊。多種技術(shù)可被用于為當(dāng)前幀中的給定宏塊識別先前幀中的最佳匹配宏塊。如果當(dāng)前幀宏塊和最佳匹配先前幀宏塊中的相應(yīng)值之間的絕對差之和(“SAD”)或平方差之和(“SSD”)小于閾值的話，則先前幀中的最佳匹配宏塊可被認(rèn)為是充分類似的。與當(dāng)前幀宏塊1002和最佳匹配先前幀宏塊1004相關(guān)聯(lián)的是運動矢量(圖9中的906)。該運動矢量可被計算為當(dāng)前幀和最佳匹配先前幀宏塊的左上單元的水平和垂直偏移Δx和Δy。從最佳匹配先前幀宏塊1004中減去當(dāng)前幀宏塊1002以產(chǎn)生殘留宏塊1006。該殘留宏塊然后被分解成六個8×8塊1008，如上面參考圖5描述的，并且每個8×8塊都被DCT 1010變換以產(chǎn)生頻域系數(shù)1012的8×8塊。該頻域系數(shù)的塊被量化1014和線性化1015以產(chǎn)生量化系數(shù)1016的一維矢量。該量化系數(shù)1016的一維矢量然后被游程編碼和霍夫曼編碼，并和與當(dāng)前幀宏塊1002和最佳匹配先前幀宏塊1004關(guān)聯(lián)的運動矢量一起被打包(package)以產(chǎn)生壓縮比特流1018。P塊的時間壓縮在逐宏塊的基礎(chǔ)上執(zhí)行。如果在先前幀中找不到特定當(dāng)前幀宏塊的類似宏塊，那么當(dāng)前幀宏塊可被空間編碼，如上面參照圖6所描述的。在對當(dāng)前幀的時間編碼期間，先前的I幀或先前的P幀都可被用作先前幀。
圖11圖示了B幀時間編碼。在B幀時間編碼中的許多步驟與P幀編碼中的那些步驟相同。在B幀編碼中，與當(dāng)前幀宏塊1106對應(yīng)的來自先前幀1102的最佳匹配宏塊和來自后續(xù)幀1104的最佳匹配宏塊被一起平均以產(chǎn)生平均匹配幀1108。從該平均匹配宏塊1108中減去當(dāng)前幀宏塊1106以產(chǎn)生殘留宏塊1110。該殘留宏塊然后以與P幀編碼中殘留宏塊1006被空間編碼的方式完全相同的方式被空間編碼，如圖10所描述的。從殘留宏塊的空間編碼所得的一維量化系數(shù)矢量1112被熵編碼，并和與最佳匹配先前幀宏塊1102和最佳匹配后續(xù)幀宏塊1104關(guān)聯(lián)的兩個運動矢量一起被打包以產(chǎn)生壓縮比特流1114。B幀中的每個宏塊可僅使用最佳匹配先前幀宏塊和相關(guān)聯(lián)的運動矢量而被時間壓縮，如在圖10中，僅使用最佳匹配后續(xù)幀宏塊和相關(guān)聯(lián)的運動矢量而被時間壓縮，或者如在圖11中顯示的，同時使用最佳匹配先前幀宏塊及相關(guān)聯(lián)的運動矢量和最佳匹配后續(xù)幀宏塊及相關(guān)聯(lián)的運動矢量而被時間壓縮。此外，如果在先前幀或后續(xù)幀中都找不到特定當(dāng)前幀宏塊的匹配宏塊，那么當(dāng)期幀宏塊可被空間編碼，如參考圖6所論述的。先前幀和后續(xù)幀可以是P幀或I幀。
圖12圖示了DC編碼。如上所述，頻域的F(0，0)系數(shù)代表了空間域中的平均強(qiáng)度。該DC系數(shù)對高保真幀重建來說是最重要的一條信息。因此，該DC系數(shù)通常被表示為最高可能的分辨率，并用DCPM編碼進(jìn)行編碼。在DCPM編碼中，第一個I幀1204的DC系數(shù)1202被編碼為比特流，并且對于后續(xù)幀1206-1208的每一個DC系數(shù)，后續(xù)幀DC系數(shù)和第一個參考幀DC系數(shù)1202之間的差被編碼成比特流。
圖13概述了I幀、P幀和B幀編碼。在步驟1302，下一個16×16宏塊被接收以用于編碼。如果該宏塊是從I幀中提取出來的，如在步驟1304中所確定的，那么該宏塊在步驟1306被分解成六個8×8塊，這六個8×8塊經(jīng)由DCT、量化、線性化和熵編碼被空間編碼，如上面參考圖6所描述的，由此完成對該宏塊的編碼。否則，如果所接收的宏塊是從P幀中提取出來的，如在步驟1308中所確定的，那么如果在先前的參考幀中可以找到對應(yīng)的宏塊，如在步驟1310中所確定的，該宏塊在步驟1312被時間編碼，如參考圖10所描述的。相反，如果在先前的參考幀中沒有找到類似宏塊，那么所接收的宏塊在步驟1306被空間編碼。如果所接收的宏塊是從B幀中提取出來的，如在步驟1314中所確定的，那么如果在先前的和后續(xù)的參考幀中都找到了類似的匹配宏塊，如在步驟1316中所確定的，則在步驟1318中同時使用先前的和后續(xù)的參考幀來對所接收的宏塊進(jìn)行時間編碼，如上面參考圖11所描述的。否則，該宏塊以類似于P幀宏塊的方式被編碼，除了單個最佳匹配塊時間編碼可用先前的或后續(xù)的參考幀中的最佳匹配塊來執(zhí)行。如果所接收的16×16宏塊不是I幀、P幀或B幀宏塊之一，那么或者已經(jīng)出現(xiàn)錯誤條件，或者在當(dāng)前編碼方法中的GOP內(nèi)還有其他類型的塊，而這兩種情況中的任何一個都在步驟1320被處理。
對由上面參照圖1-13所論述的視頻編碼方法所產(chǎn)生的壓縮比特流(圖2中的150)的解碼通過逆向進(jìn)行該編碼步驟來執(zhí)行。對該比特流的熵解碼返回用于空間編碼塊和用于在時間壓縮期間所產(chǎn)生的殘留塊的一維量化系數(shù)矢量。熵解碼還返回了運動矢量和其他打包在該壓縮比特流中用來描述該編碼信息和促進(jìn)解碼的報頭(header)信息。該一維量化系數(shù)陣列可被用來產(chǎn)生相應(yīng)的二維量化系數(shù)塊和量化殘留塊，并且該量化系數(shù)塊和量化殘留塊然后可被轉(zhuǎn)換成重建的頻域系數(shù)塊。對頻域系數(shù)塊的重建通常會引入噪聲，因為信息在編碼過程中的量化步驟中丟失。該重建的頻域系數(shù)塊然后可使用逆DCT被變換到空間域，并被重新裝配為重建的視頻幀，其中將殘留幀添加回由運動矢量在逆時間編碼期間已經(jīng)重建的幀中所找到的宏塊。因此，上面描述的編解碼器基于有損壓縮，因為重建的視頻幀包含由編碼過程的量化步驟中的信息丟失所導(dǎo)致的噪聲。
信息科學(xué)和編碼理論以及Slepian-Wolf和Wyner-Ziv定理中的特定概念簡介 圖14示出了與符號串相關(guān)聯(lián)的熵的計算以及對該符號串的基于熵的編碼。在圖14中，顯示了24符號的串1402。在該24個符號的串中的符號選自包括符號A、B、C和D的符號集X 1404。考慮到該符號串是對隨機(jī)變量X進(jìn)行采樣的產(chǎn)物，而該隨機(jī)變量X在給定時間點具有四個值A(chǔ)、B、C和D之一，所以這四個不同符號中的每一個在該符號串1402中的給定位置出現(xiàn)的概率可以從這四個符號在該符號串1402中的出現(xiàn)頻率來推斷，如表達(dá)式1404所示。這四個符號的出現(xiàn)頻率的柱狀圖1046被顯示在圖14中。該符號串或用來產(chǎn)生該符號串的隨機(jī)變量X的熵被計算為 熵H總是正的，并且在計算熵的過程中，log2(0)被定義為0。這24個字符符號串的熵可從符號1404的出現(xiàn)概率計算出來為1.73。熵越小，對隨機(jī)變量X的采樣的結(jié)果的可預(yù)測性就越大。例如，如果在對隨機(jī)變量X的采樣過程中獲取這四個符號A、B、C和D中的每一個的概率是相同的，并因此每個概率都等于0.25，那么該隨機(jī)變量X的熵，或?qū)τ谟芍貜?fù)采樣該隨機(jī)變量X所產(chǎn)生的符號串的熵，為2.0。相反，如果該隨機(jī)變量總是產(chǎn)生值A(chǔ)，并且該符號串僅包含該符號A，那么從對該隨機(jī)變量的采樣中獲取A的概率將等于1.0，并且獲取其他值B、C、D任意之一的概率將為0.0。該隨機(jī)變量的熵，或全部包含A的符號串的熵，由上述表達(dá)式計算出熵為0。熵為0表示了沒有不確定性。
對于上面考慮的符號串(也被稱作串X)的4符號隨機(jī)變量，在0和2.0之間的熵的中間值對應(yīng)于增長的不確定性的范圍。例如，在柱狀圖1406和概率等式1404中示出的符號出現(xiàn)分布中，可以推斷對隨機(jī)變量X的采樣返回符號A的可能性與其他三個符號B、C和D任意之一相同。由于在符號串內(nèi)的符號出現(xiàn)頻率的非均勻分布，該符號串中的任意特定符號具有值A(chǔ)的可能性大于具有剩下三個值B、C、D中任一個的可能性。同樣，該符號串中任意特定符號具有值D的可能性要大于具有兩個值B和C中的任意一個的可能性。該中間確定性，或從符號出現(xiàn)的非均勻分布中收集的知識，被反映在該符號串1402的熵H[X]的中間值上。隨機(jī)變量或符號串的熵與各種不同現(xiàn)象相關(guān)聯(lián)。例如，如在圖14的公式1410中所示的，編碼隨機(jī)變量X的采樣或編碼符號串1402的符號所需的二進(jìn)制碼的平均長度大于或等于該隨機(jī)變量或符號串的熵，并小于或等于該隨機(jī)變量或符號串的熵加一。這四個符號的霍夫曼編碼1414產(chǎn)生了符號串的編碼版本，其具有等于1.751416的每符號平均比特數(shù)或速率，該值落在由表達(dá)式1410所指定的范圍內(nèi)。
可以如下所示利用圖14中顯示的符號串的符號出現(xiàn)頻率來計算產(chǎn)生任何特定的n個符號的符號串的概率， 因此，典型符號串或具有圖14中顯示的符號出現(xiàn)頻率的符號串的數(shù)量可被計算為 如果想要給這些典型符號串的每一個分配唯一的二進(jìn)制整數(shù)值，那么表示這些數(shù)值的最大值所需要的最小比特數(shù)可被計算為 log2(3.153×1012)＝41.521 對這些典型符號串的每一個的每個字符進(jìn)行編碼所需要的平均比特數(shù)因此為 圖15示出了用于從兩個不同隨機(jī)變量X和Y所產(chǎn)生的兩個不同符號串的聯(lián)合條件熵。在圖15中，來自圖14的符號串1402被顯示為與符號串1502配對，該符號串1502同樣為長度24、通過對返回符號A、B、C和D之一的隨機(jī)變量Y進(jìn)行采樣而產(chǎn)生。符號A、B、C和D在符號串Y中的給定位置出現(xiàn)的概率在圖15中的等式1504中被計算。符號在符號串X和符號串Y中的相同位置出現(xiàn)的聯(lián)合概率在圖15中的等式組1506中被計算，并且在給定特定符號在符號串Y中的對應(yīng)位置出現(xiàn)的情況下，符號在符號串X中的特定位置出現(xiàn)的條件概率從等式1508中獲知。符號串Y的熵H[Y]可從符號在串Y中的出現(xiàn)頻率被計算為1.906。符號串X和Y的聯(lián)合熵H[X，Y]被定義為 并且，使用圖15中的聯(lián)合概率值1506，對于串X和Y，該聯(lián)合熵可被計算為具有值2.48。給定符號串Y，那么符號串X的條件熵H[X|Y]被定義為 并可使用圖15中的聯(lián)合概率1506和圖15中的條件概率1508而被計算為具有值0.574。條件概率H[Y|X]可根據(jù)聯(lián)合熵和先前計算的符號串X的熵被計算為 H[Y|X]＝H[X，Y]-H[X] 并且，使用先前計算的H[X，Y]和H[X]的值，其可被計算為0.75。
圖16圖示了用于編碼和傳輸后面跟有符號串X的符號串Y的以比特每符號為單位的下限傳輸速率。符號串Y理論上可由編碼器1602編碼并被發(fā)送到解碼器1604用于以H[Y]1606的比特/符號速率進(jìn)行完美的、無損重建。如果解碼器保存有符號串Y的副本1608，那么符號串X理論上可以以等于H[X|Y]的速率1610被編碼并發(fā)送到解碼器。那么，用于編碼和傳輸?shù)谝环柎甕及后續(xù)的符號串X的總速率為 H[Y]+H[X|Y]＝H[Y]+H[Y，X]-H[Y]＝H[Y，X]＝H[X，Y] 圖17圖示了一旦符號串Y已經(jīng)被發(fā)送到解碼器則用于編碼和發(fā)送符號串X的一種可能的編碼方法。正如通過檢查圖15中的條件概率1508、或通過比較圖15中對準(zhǔn)的符號串X和Y可以獲知的，符號串Y中的符號B、C和D可被分別確定地轉(zhuǎn)換為符號串X中相應(yīng)位置上的相應(yīng)符號A、A和D。因此，得到了符號串Y，那么將符號串Y轉(zhuǎn)換為符號串X過程中的唯一不確定性就是關(guān)于符號串Y中符號A的出現(xiàn)?？梢栽O(shè)計用于三個轉(zhuǎn)換1704的霍夫曼編碼并使用符號串Y中符號A的每次出現(xiàn)的霍夫曼編碼來編碼符號串X。對符號串X的這種編碼被顯示在圖17中的稀疏陣列1706中。符號串Y 1702在存儲器中，并接收用于根據(jù)符號A轉(zhuǎn)換1704的霍夫曼編碼來編碼符號串X的14個比特1706，符號串X可被如實地、無損地從符號串Y和對符號串X的14比特編碼1706中被解碼以獲得符號串X 1708。用于編碼24個符號的14個比特代表了0.583比特每符號的速率，其稍大于理論上的最小比特速率H[X\Y]＝0.574。然而，雖然理論上的最小比特速率對于理解編碼效率的理論極限是有用的，但是它們通常并不提供對如何實現(xiàn)該理論極限的指示。同樣，在發(fā)展不能在實際情況中實現(xiàn)的定理時也做出了各種假設(shè)。
圖18圖示了Slepian-Wolf定理。如參考圖16和17所論述的，如果編碼器/解碼器對的編碼器和解碼器都分別在存儲器1808和1810中保留符號串Y，那么符號串X 1812可以以大于或等于條件熵H[X|Y]的比特每符號速率1814由編碼器1804編碼并無損地發(fā)送到解碼器1806。Slepian和Wolf顯示了，如果符號串X和Y中的符號的聯(lián)合概率分布在解碼器處已知，但是只有解碼器能夠訪問符號串Y1816，那么無論如何，符號串X 1818都能夠以H[X|Y]的比特率1820被編碼器1804編碼并發(fā)送到解碼器1806。換句話說，當(dāng)解碼器能夠訪問邊信息時，該邊信息在當(dāng)前示例中由符號串Y表示，并且知道將被編碼和發(fā)送的符號串的聯(lián)合概率分布和該邊信息，那么該符號串可以以等于H[X|Y]的比特速率被發(fā)送。
圖19圖示了Wyner-Ziv定理。Wyner-Ziv定理涉及有損壓縮/解壓縮，而不是無損的壓縮/解壓縮。然而，如圖19所示，該Wyner-Ziv定理類似于Slepian-Wolf定理，除了代表有損編碼和傳輸?shù)南孪薜谋忍芈适菞l件速率失真函數(shù)RX|Y(D)，該函數(shù)通過最小化算法被計算為用于有損壓縮/解壓縮傳輸?shù)淖钚”忍厮俾?，該有損壓縮/解壓縮導(dǎo)致產(chǎn)生小于或等于閾值D的失真，其中該失真被定義為原始符號串或信號X和有噪的重建符號串或信號

之間的差的方差 I(Y；X)＝H[Y]-H[Y|X]
當(dāng)σ2≤D 即使在該編碼器不能訪問該邊信息Y，如果該解碼器能夠訪問該邊信息Y并且知道X和Y的聯(lián)合概率分布，那么該比特速率也能實現(xiàn)。存在很少的速率失真函數(shù)的閉式表達(dá)式，但是當(dāng)考慮無記憶的高斯分布的源時，該速率失真具有下限 R(D)≥H[X]-H[D] 其中H[D]是高斯隨機(jī)變量的熵，其中σ2≤D。
因此，當(dāng)相關(guān)邊信息以及該邊信息和編碼信號的聯(lián)合概率分布知識對解碼器可用時，可通過利用邊信息的源編碼方法而獲得高效壓縮。如在上面示例中看到的，當(dāng)X和Y相關(guān)時，條件熵H[X|Y]和條件速率失真函數(shù)RX\Y(D)的值分別遠(yuǎn)小于H[X]和RX(D)。
本發(fā)明的概述 圖20圖形化地圖示了編解碼器的編碼器/壓縮和解碼器/解壓縮功能之間的計算負(fù)擔(dān)或計算復(fù)雜度的分配。應(yīng)注意到圖20并不是從實際的實施數(shù)據(jù)中得到的，而是意在圖形化地并非常近似地圖示計算負(fù)擔(dān)的分配。在圖20中，編碼器復(fù)雜度沿著水平軸2002繪出，而解碼器復(fù)雜度沿著垂直軸2004繪出。原點2006和復(fù)雜度曲線2008上的點之間的距離由矢量2010的幅值表示，其對應(yīng)于提供特定保真度或魯棒性的編解碼器中編碼/壓縮和解碼/解壓縮的總的、整體計算負(fù)擔(dān)。通常，該總計算負(fù)擔(dān)或計算復(fù)雜度可在編碼器/壓縮功能和解碼器/解壓縮功能之間任意地分配，不過并不一定是連續(xù)的，因為可能需要為不同的分配采用不同的方法。例如，點2008對應(yīng)于編碼器/壓縮和解碼器/解壓縮之間的計算負(fù)擔(dān)的相當(dāng)平均的分配。在圖20中，矢量2010在編碼器復(fù)雜度軸2002上的投影2012代表了分配給編碼器/壓縮的計算負(fù)擔(dān)，而矢量2010在垂直軸上的投影2014代表了分配給解碼器/解壓縮的計算負(fù)擔(dān)的部分。在大范圍的復(fù)雜度分配上復(fù)雜度曲線通常是圓形的，但是在極端情況，整體復(fù)雜度大大增長以實現(xiàn)在期望的重建保真度和壓縮速率的限制下計算負(fù)擔(dān)到編碼/壓縮或解碼/解壓縮之一的轉(zhuǎn)移。例如，在點2014，大部分計算負(fù)擔(dān)被分配給編碼器/壓縮功能，而很少的計算負(fù)擔(dān)2018被分配給解碼器/解壓縮功能。分配給解碼器/解壓縮功能的計算負(fù)擔(dān)的進(jìn)一步降低可能需要大幅度提高整體計算復(fù)雜度，這由從原點2006指向遠(yuǎn)處沿著復(fù)雜度曲線的點的矢量的幅值所表示。
該復(fù)雜度曲線對應(yīng)于在重建信號中保證所期望的保真度或在期望的比特率下保證魯棒性的編解碼器實施方案的范圍。因此，每個復(fù)雜度曲線代表實現(xiàn)期望的魯棒性和比特率的編解碼器實施方案的范圍。如果所期望的是降低其中大部分計算負(fù)擔(dān)被分配給編碼器/壓縮功能的編解碼器的該編碼器/壓縮功能的計算負(fù)擔(dān)，正如圖20中用點2014表示的當(dāng)前可用的編解碼器中的普遍情形，那么可以選擇可選的實施方式，比如圖20中用點2016表示的，其中計算負(fù)擔(dān)被從該編碼器/壓縮功能轉(zhuǎn)移到解碼器/解壓縮功能?？蛇x地，不那么魯棒的實施方式可從由復(fù)雜度曲線2022表示的不那么魯棒的實施方式族中選擇，這導(dǎo)致由連接原點2006和點2024的矢量表示的總計算負(fù)擔(dān)的降低，并因此導(dǎo)致了降低的由該矢量在水平軸2026上的投影表示的編碼器/壓縮計算負(fù)擔(dān)，同時保持了編碼器/壓縮計算負(fù)擔(dān)與解碼器/解壓縮計算負(fù)擔(dān)的比率。當(dāng)然，總的整體計算負(fù)擔(dān)以及計算負(fù)擔(dān)的分配可以一同被修改，以實現(xiàn)期望的編碼器/壓縮計算復(fù)雜度和期望的解碼器/解壓縮計算復(fù)雜度。
圖21圖示了本發(fā)明實施例可應(yīng)用到其中的問題領(lǐng)域。如上所述，具有適度計算能力的相對廉價的消費者手持視頻記錄設(shè)備2012的出現(xiàn)已經(jīng)產(chǎn)生了對逆復(fù)雜度編解碼器的需求。這種手持設(shè)備記錄信號2104，比如經(jīng)由攝像機(jī)記錄的運動圖像，編碼該信號，并發(fā)送該信號2106到相對大功率的服務(wù)器2108或其他接收實體，用于存儲、顯示和處理。因為該手持設(shè)備具有適度的計算能力，所以需要一種低復(fù)雜度的編碼功能2110。在該應(yīng)用中，低復(fù)雜度編碼可通過將計算負(fù)擔(dān)轉(zhuǎn)移到大功率服務(wù)器中的解碼功能2112來實現(xiàn)。然而，該手持設(shè)備還需要接收和解碼已編碼的信號2114和2116以顯示從遠(yuǎn)程源發(fā)送的視頻信號。在這種情況下，在該手持設(shè)備中需要低復(fù)雜度的解碼器/解壓縮功能，并且許多情況下，總計算負(fù)擔(dān)可被轉(zhuǎn)移到遠(yuǎn)程源中的更復(fù)雜的編碼功能2118。類似地，該手持設(shè)備可能需要能夠解碼和顯示由該手持設(shè)備內(nèi)部編碼和存儲的信號。盡管有可能在該手持設(shè)備中實施兩種不同的編解碼器，對應(yīng)于圖20中的點2014和2016，但是使用多個編解碼器會大大增加該手持設(shè)備的成本和復(fù)雜度。作為另外一種方法，比如圖20中由點2026所代表的不那么魯棒的編解碼器可被實施以在該手持設(shè)備內(nèi)的編碼/壓縮功能和解碼/解壓縮功能中同時實現(xiàn)合理的低復(fù)雜度。然而，信號重建的整體保真度和魯棒性將大打折扣。
圖22示出了本發(fā)明實施例的基本概念。圖22使用與圖20中相同的圖示規(guī)定。不是在手持視頻記錄設(shè)備以及其他需要以低計算復(fù)雜度編碼/壓縮和解碼/解壓縮的消費者設(shè)備中使用兩個編解碼器，如參考圖21所論述的，而是使用單個編解碼器，其能夠提供編碼/壓縮和解碼/解壓縮功能之間的計算負(fù)擔(dān)的分配在不同分配范圍內(nèi)的調(diào)整。如圖22所顯示的，對計算負(fù)擔(dān)的劃分可沿著從點2202到點2204的計算曲線段被調(diào)整，以保持相同的整體計算復(fù)雜度。在一個極端情況，大部分計算負(fù)擔(dān)落在編碼/壓縮功能上，由點2206所表示，而解碼/解壓縮功能具有由點2208所代表的相對低的計算復(fù)雜度。在另一個極端情況，大部分計算負(fù)擔(dān)被轉(zhuǎn)移到解碼/解壓縮功能，由點2210表示，而相對小的計算負(fù)擔(dān)被施加在編碼/壓縮功能上，由點2212表示。本發(fā)明的可調(diào)節(jié)編解碼器允許在由點2202到點2204之間的復(fù)雜度曲線的區(qū)域所代表的不同計算復(fù)雜度分配的范圍內(nèi)維持所期望的魯棒性。此外，在某些情況下，該可調(diào)節(jié)編解碼器被調(diào)節(jié)為提供降低的魯棒性，或者換句話說，提供不同的復(fù)雜度曲線，以進(jìn)一步降低施加在解碼器/解壓縮功能上的計算負(fù)擔(dān)。
圖23A-B示出了兩種不同的本發(fā)明的概括實施例。如圖23A所示，根據(jù)當(dāng)前視頻壓縮標(biāo)準(zhǔn)工作的編解碼器被修改為通過Wyner-Ziv方法編碼B幀，圖23A中陰影所示，其將計算負(fù)擔(dān)從編碼/壓縮功能轉(zhuǎn)移到解碼/解壓縮功能，因為解碼器/解壓縮功能需要使用更復(fù)雜的方法以利用邊信息和聯(lián)合概率分布來解碼該Wyner-Ziv編碼的B幀。在這個實施例中，Wyner-Ziv編碼被用于B幀編碼以產(chǎn)生非參考幀，Wyner-Ziv編碼的B幀(“NRWZ-B幀”)。在可選實施例中，如圖23B中顯示的，插在有規(guī)律隔開的I幀和P幀之間的許多非參考P幀通過非參考幀Wyner-Ziv P幀編碼被編碼以產(chǎn)生非參考Wyner-Ziv編碼的P幀(“NRWZ-P幀”)。該可選實施例將較少的計算負(fù)擔(dān)轉(zhuǎn)移給解碼器/解壓縮功能。
如上所述，在每個GOP中使用的非參考幀的數(shù)量是可以動態(tài)調(diào)整的。對于相對低的傳輸速率，當(dāng)在接收實體處可得到超額的處理循環(huán)時，可使用大量的非參考幀來提高分辨率。相反，當(dāng)傳輸速率較高并且在該接收實體處可得到較少的處理循環(huán)時，那么非參考幀的數(shù)量可被降低。因此，調(diào)整計算負(fù)擔(dān)的劃分的一種方法就是通過調(diào)整包括在每個GOP中的NRWZ-B幀或NRWZ-P幀的數(shù)量。調(diào)整分配給代表本發(fā)明實施例的編解碼器的解碼/解壓縮功能的計算負(fù)擔(dān)的另一種方法是解碼/解壓縮功能忽略NRWZ-B幀和NRWZ-P幀，并僅解碼參考幀。這在降低編解碼器的整體計算復(fù)雜度的同時也降低了幀重建的保真度，但是與此同時，也通過將計算負(fù)擔(dān)更多地轉(zhuǎn)移向編碼/壓縮功能而重新分配了整體計算復(fù)雜度。又一種用于調(diào)整計算復(fù)雜度的分配的方法是改變編碼NRWZ-B幀和NRWZ-P幀的分辨率，以及改變解碼器所使用的邊信息的性質(zhì)。因為存在如此多的調(diào)整技術(shù)和計算負(fù)擔(dān)分配的范圍，所以根據(jù)本發(fā)明設(shè)計的編解碼器能夠在相對大的分配范圍內(nèi)提供對計算復(fù)雜度分配的非常精細(xì)的調(diào)整。
總而言之，傳統(tǒng)的當(dāng)前可用的編解碼器將計算負(fù)擔(dān)中相當(dāng)大的部分分配給編解碼器的編碼器/壓縮功能，但是通過使用NRWZ-B幀和NRWZ-P幀，而不是傳統(tǒng)的B幀和P幀，本發(fā)明的實施例將計算復(fù)雜度轉(zhuǎn)移向編解碼器的解碼/解壓縮功能。然而，可通過改變所使用的非參考幀的數(shù)量、通過在解碼器/解壓縮功能處選擇性地忽略非參考幀、以及通過調(diào)整由解碼器/解壓縮功能解碼NRWZ-B幀和NRWZ-P幀所用的邊信息的性質(zhì)和編碼NRWZ-B幀和NRWZ-P幀的分辨率而或多或少連續(xù)地調(diào)節(jié)計算復(fù)雜度的轉(zhuǎn)移。通過僅對非參考幀使用Wyner-Ziv編碼，由Wyner-Ziv編碼引起的漂移被僅限制于Wyner-Ziv編碼的非參考幀的每個子序列，并且通過對每個參考幀的解碼而被校正。對當(dāng)前實施的編解碼器和編碼標(biāo)準(zhǔn)只需要最小的改變，因為非參考幀是利用當(dāng)前技術(shù)和標(biāo)準(zhǔn)編碼的。此外，通過將Wyner-Ziv編碼限制于非參考幀，更大的塊長度信道碼可被使用，其潛在地跨越多個Wyner-Ziv編碼的幀。
本發(fā)明的各個實施例的詳細(xì)描述 如前面子部分中所論述的，本發(fā)明的實施例將B幀編碼為NRWZ-B幀，或可選地，將P幀編碼為NRWZ-P幀。在下面論述中，論述B幀的標(biāo)準(zhǔn)編碼和用于產(chǎn)生NRWZ-B幀的對B幀的Wyner-Ziv編碼。如上面參照圖10所論述的，這些方法類似于用于編碼標(biāo)準(zhǔn)P幀和NRWZ-P幀的方法，后者僅需要使用先前幀和每宏塊的單個運動矢量，而不是同時使用先前幀、后續(xù)幀和每宏塊的兩個運動矢量。為了簡明，在該子部分中只有B幀編碼和NRWZ-B幀編碼被描述。
圖24圖示了對B幀的標(biāo)準(zhǔn)編碼。在該論述中，假設(shè)使用先前幀和后續(xù)幀兩者對B幀中的至少一部分宏塊進(jìn)行時間編碼。如上所述，某些宏塊可僅被空間編碼，而其他的可僅使用先前幀和單個運動矢量被時間編碼，如在P幀編碼的情況中那樣。因此，圖24假設(shè)更復(fù)雜類型的時間編碼，以便顯示B幀編碼所需的最大信息量，應(yīng)理解，在本發(fā)明的特定實施例中，B幀中的某些宏塊可被更簡單地編碼，并使用更少的信息。
除了需要被編碼的當(dāng)前幀2402，對當(dāng)前幀的B幀編碼通常使用原始接收的先前幀2404和原始接收的后續(xù)幀2406以定位最佳匹配宏塊和計算運動矢量，并且還在時間編碼期間使用先前幀2408的重建版本和后續(xù)幀2410的重建版本來計算殘留幀。該殘留幀需要從重建幀中計算，因為只有重建幀對解碼器是可用的。重建的先前幀2408和后續(xù)幀2410在對原始的先前幀和后續(xù)幀的預(yù)先編碼(priorencoding)期間被產(chǎn)生。如參考圖2所論述的，GOP幀關(guān)于原始視頻信號被重新排序，以便重建的參考幀可用于B幀的B幀編碼。如上所述，由于對頻域系數(shù)的量化所導(dǎo)致的壓縮/解壓縮循環(huán)中信息的丟失，重建幀包含附加噪聲。在第一步驟2412，為當(dāng)前幀中的每個宏塊在原始先前幀2404和原始后續(xù)幀2406之一或二者中找到最佳匹配塊，并且計算運動矢量。然后，在第二步驟2414，重建的先前幀2408和重建的后續(xù)幀2410、以及該先前幀和后續(xù)幀的運動矢量和語法元素對象2416-17被一同用于產(chǎn)生壓縮的比特流2418、隨后在解壓縮期間由解碼器/解壓縮產(chǎn)生的當(dāng)前幀2420的重建版本、以及用于當(dāng)前幀的語法元素對象2422. 圖25A-C圖示了根據(jù)本發(fā)明實施例的NRWZ-B幀編碼。同樣，示出的NRWZ-B編碼假設(shè)當(dāng)前幀中的至少一部分宏塊使用先前幀和當(dāng)前幀和兩個運動矢量被時間編碼。如同標(biāo)準(zhǔn)B幀編碼一樣，NRWZ-B幀編碼使用先前的原始幀2504、先前的重建幀2506、后續(xù)的原始幀2508、后續(xù)幀的重建版本2510以及用于先前的和后續(xù)幀的語法元素對象2512和2514來編碼當(dāng)前幀2502。在第一步驟中，所有這些幀和語法元素對象被2n×2n因子抽取以產(chǎn)生當(dāng)前幀的低分辨率(“LR”)版本2516、先前的原始和先前的重建幀2518和2520的低分辨率(“LR”)版本、后續(xù)的原始幀和后續(xù)的重建幀2522和2524的低分辨率(“LR”)版本、以及語法元素對象2526和2528的低分辨率(“LR”)版本。不是對于每個B幀的NRWZ-B幀編碼都需要所有這些對象的抽取，因為兩個或更多的B幀可依賴于相同的先前的和后續(xù)的參考幀。因此，編碼使用所有數(shù)據(jù)對象的低分辨率版本以產(chǎn)生低分辨率編碼的比特流。
通過以低分辨率編碼，避免了相對大量的處理，然而，處理開銷的節(jié)省是通過對數(shù)據(jù)對象的2n×2n抽取的額外計算負(fù)擔(dān)(一般為相對簡單的任務(wù))以及通過所產(chǎn)生的壓縮信號的較低分辨率而獲得的。然而，就像后面論述的，使用邊信息在解碼器處對較低分辨率信號進(jìn)行補(bǔ)償以產(chǎn)生具有接近原始(near-original)分辨率的重建幀。因此，計算開銷在編碼器/壓縮功能和解碼器/解壓縮功能之間被重新分配。通過以低分辨率對幀進(jìn)行編碼大大降低了編碼器計算負(fù)擔(dān)，但是通過需要使用Wyner-Ziv信道解碼和邊信息來將低分辨率重建幀返回為接近原始的分辨率而大大增加了解碼器/解壓縮功能的負(fù)擔(dān)。
如在圖25B中顯示的，對當(dāng)前幀的低分辨率版本的低分辨率編碼與參考圖24所論述的標(biāo)準(zhǔn)B幀編碼完全相同地進(jìn)行。低分辨率當(dāng)前幀編碼產(chǎn)生了低分辨率壓縮比特流2520、低分辨率重建的當(dāng)前幀2522和用于當(dāng)前幀的低分辨率語法元素對象2524。然后，如圖25C所示，在一系列標(biāo)準(zhǔn)B幀編碼中沒有遇到的步驟中，低分辨率重建的當(dāng)前幀2522被內(nèi)插(interpolated)回標(biāo)準(zhǔn)尺寸的低分辨率的重建的、內(nèi)插當(dāng)前幀2524。從當(dāng)前幀中一個強(qiáng)度值一個強(qiáng)度值地減去該重建的、內(nèi)插的當(dāng)前幀2524，以產(chǎn)生殘留當(dāng)前幀2526，然后使用Wyner-Ziv編碼來編碼殘留當(dāng)前幀2526以產(chǎn)生Wyner-Ziv層比特流(“WZ層比特流”)2528，該WZ層比特流2528被解碼器/解壓縮功能用來將低分辨率重建幀恢復(fù)為接近原始分辨率的重建幀。因此，NRWZ-B幀編碼產(chǎn)生了低分辨率壓縮比特流2520和WZ層比特流2528。這兩個比特流被合并到一起以產(chǎn)生合并的、壓縮的比特流，根據(jù)該比特流，可由解碼器恢復(fù)低分辨率壓縮比特流2520和WZ層比特流。
圖26A-D圖示了根據(jù)本發(fā)明一個實施例的對NRWZ-B幀的解碼。低分辨率壓縮比特流2520被部分解壓縮以恢復(fù)運動矢量和量化的殘留幀系數(shù)。先前幀的重建版本2602和后續(xù)幀的重建版本2604被抽取以產(chǎn)生低分辨率版本的先前幀2606和后續(xù)幀2608。通過使用低分辨率版本的先前幀和后續(xù)幀2606和2608，以及從低分辨率比特流2520恢復(fù)得到的運動矢量，還有用于先前幀和后續(xù)幀的低分辨率版本的語法元素對象2610和2612，產(chǎn)生對應(yīng)于當(dāng)前解碼幀的低分辨率解碼幀2614。該低分辨率的解碼幀然后被內(nèi)插以產(chǎn)生內(nèi)插的、低分辨率幀F(xiàn)02616，其具有與編碼前的原始幀相同數(shù)量的強(qiáng)度值，但是由于編碼/壓縮過程中對幀的抽取期間的數(shù)據(jù)丟失而處于低分辨率。然后，如圖26B所示的，低分辨率內(nèi)插幀F(xiàn)0，和全尺寸(full-size)的重建的先前和后續(xù)幀2602和2604被用在基于運動的半超級(semisuper)分辨率處理步驟2618中，以產(chǎn)生估計的較高分辨率幀F(xiàn)i(HR)2620，將在下面更詳細(xì)地描述。該估計的較高分辨率幀F(xiàn)i(HR)2620是迭代過程中產(chǎn)生的第一個估計的較高分辨率幀，該迭代過程使用編碼/壓縮期間產(chǎn)生的WZ層比特流來逐步地提高重建的當(dāng)前幀的分辨率。在該迭代過程中，從低分辨率內(nèi)插幀F(xiàn)02616中減去該當(dāng)前估計的較高分辨率幀F(xiàn)i(HR)2620以產(chǎn)生有噪殘留幀2622。該有噪殘留幀是在WZ層比特流的Wyner-Ziv解碼中使用的邊信息。然后，該有噪殘留幀2622在信道解碼過程2624中與WZ層比特流一起用于產(chǎn)生接近于在編碼/壓縮階段期間所產(chǎn)生的殘留幀(圖26中的2526)的校正殘留幀。該校正殘留幀被添加到低分辨率內(nèi)插幀F(xiàn)02616以產(chǎn)生下一個重建的當(dāng)前幀F(xiàn)i+12628。在步驟2630，解碼器確定是否需要分辨率增強(qiáng)的附加迭代。可以基于期望的、固定數(shù)量的增強(qiáng)步驟、或通過監(jiān)控當(dāng)前重建幀F(xiàn)i+1相對于先前重建幀F(xiàn)i的改進(jìn)以檢測增強(qiáng)過程的收斂做出該確定。不論如何作出最終確定，如果需要附加的增強(qiáng)步驟，如在步驟2630中確定的，那么當(dāng)前重建幀F(xiàn)i+1 2628被饋送回基于運動的半超級分辨率處理步驟2618以啟動分辨率增強(qiáng)的另一個迭代。當(dāng)不需要或期待進(jìn)一步增強(qiáng)迭代的時候，當(dāng)前重建幀F(xiàn)i+1在步驟2632被返回作為從低分辨率比特流2520和WZ層比特流2628恢復(fù)的解碼/解壓縮幀。
圖26C示出了在本發(fā)明各個實施例中使用的基于運動的半超級分辨率處理步驟(圖26B中的2618)。重建的先前參考幀2602和重建的后續(xù)參考幀2604被低通濾波以產(chǎn)生濾波的先前重建參考幀2640和濾波的后續(xù)重建參考幀2642。低通濾波將高頻細(xì)節(jié)從重建幀中移除。對于當(dāng)前重建幀F(xiàn)i 2644中的每個8×8塊，為當(dāng)前重建幀F(xiàn)i 2644中的該8×8塊分別找到最佳匹配塊PBp 2646和PBp 2648。這兩個最佳匹配塊2646和2648然后在最小化過程2652中被不同地組合，該最小化過程產(chǎn)生用于組合這兩個最佳匹配塊2646和2648的最佳系數(shù)α。如果這兩個匹配塊的組合與當(dāng)前重建幀F(xiàn)i中的當(dāng)前塊2650之間的絕對差之和小于閾值，那么在與未濾波的先前參考幀2602和未濾波的后續(xù)參考幀2604中的匹配塊相同位置處的8×8塊將被提取并且使用最小化過程2652中確定的系數(shù)α來組合以產(chǎn)生用于當(dāng)前重建幀F(xiàn)i 2644中的當(dāng)前考慮的8×8塊2650的替換塊。該替換塊被復(fù)制到較高分辨率估計幀F(xiàn)i(HR)2646中的當(dāng)前考慮的8×8塊的位置處。否則，當(dāng)不能在濾波的先前的和后續(xù)幀2640和2642中找到合適的匹配塊時，當(dāng)前考慮的8×8塊2650被直接復(fù)制到當(dāng)前重建塊Fi(HR)的較高分辨率估計中。
圖26C中圖示的基于運動的半超級分辨率處理步驟被至少三個參數(shù)控制(1)對先前的和后續(xù)的重建幀的低通濾波的強(qiáng)度；(2)用于檢驗匹配塊的組合與當(dāng)前考慮的塊的閾值以確定是否將當(dāng)前考慮的塊復(fù)制到較高分辨率估計Fi(HR)或?qū)⑵ヅ鋲K的組合寫入該較高分辨率估計Fi(HR)；以及(3)用于選擇當(dāng)前重建幀F(xiàn)i中的8×8塊的基于柵格(grid-based)的偏移。在解碼/解壓縮過程的分辨率增強(qiáng)部分的每次迭代期間，如圖26B所示，這三個參數(shù)可被調(diào)整以額外地提高分辨率。對于每次附加迭代通常降低低通濾波器強(qiáng)度，因為隨著該當(dāng)前重建幀F(xiàn)i在每次迭代中分辨率的增加，8×8匹配塊2646和2648可被更精確地定位在先前的和后續(xù)的重建幀的較高分辨率版本中。該閾值可被降低，使得隨著迭代的增加，8×8塊替換的數(shù)量會降低。最后，柵格偏移一個迭代一個迭代地被改變，以平滑對重建幀F(xiàn)i的基于運動的半超級分辨率處理，從而防止在分辨率增強(qiáng)迭代過程中重建幀F(xiàn)i中的8×8塊之間出現(xiàn)局部差異。
圖26D是描述圖26B中顯示的NRWz-B幀解碼/解壓縮的分辨率增強(qiáng)循環(huán)部分的控制流程圖。在第一步驟2660，通過解碼該低分辨率比特流而產(chǎn)生低分辨率內(nèi)插幀F(xiàn)0，迭代變量I被設(shè)定為1，并且當(dāng)前重建幀F(xiàn)i被設(shè)定為低分辨率內(nèi)插幀F(xiàn)0。然后，在步驟2662，上面討論的低通濾波器強(qiáng)度、柵格偏移和閾值參數(shù)被設(shè)定為初始值。然后，在步驟2664-2669的while循環(huán)中，使用該當(dāng)前低通濾波器強(qiáng)度、柵格偏移、閾值參數(shù)以及當(dāng)前重建幀F(xiàn)i通過基于運動的半超級分辨率處理產(chǎn)生下一個較高分辨率估計幀F(xiàn)i(HR)。然后，在步驟2666，使用有噪殘留幀地點(site)信息、WZ層比特流和低分辨率內(nèi)插幀F(xiàn)0通過信道解碼產(chǎn)生新的重建當(dāng)前幀F(xiàn)i+1。如果滿足分辨率增強(qiáng)循環(huán)的終止條件，如在步驟2667中確定的，那么在步驟2666中產(chǎn)生的當(dāng)前增強(qiáng)的分辨率幀F(xiàn)i+1在步驟2670被返回。否則，在步驟2668遞增迭代變量I，并且在步驟2669更新低通濾波器強(qiáng)度、柵格偏移和閾值參數(shù)。
下面描述NRWZ-B幀編碼和解碼中的Wyner-Ziv編碼和解碼部分。如上面參照圖26B討論的，有噪殘留幀系數(shù)(圖26B中的2622)y，和在WZ層比特流(圖25C中的2528)中編碼的殘留幀(圖25C中的2526)系數(shù)x在信道解碼過程中被組合以產(chǎn)生校正的殘留幀2625，該校正的殘留幀2625被用來根據(jù)低分辨率內(nèi)插幀F(xiàn)02616產(chǎn)生重建的當(dāng)前幀2628。有噪殘留幀系數(shù)y是通過從低分辨率解釋(interpretive)幀F(xiàn)0中減去高分辨率估計幀F(xiàn)i(HR)而獲得的。然而，該殘留幀系數(shù)x是通過從原始的當(dāng)前幀2502中減去重建的內(nèi)插當(dāng)前幀2524而獲得的。因此該殘留幀系數(shù)x可被認(rèn)為是比有噪殘留幀系數(shù)y的噪聲小。因此，對于每個系數(shù) yi＝xi+zi 其中z代表在計算該有噪殘留幀系數(shù)y的過程中引入的噪聲。該噪聲z被建模為兩個高斯項的混合 其中N(μ，σ2)表示具有均值μ和方差σ2的高斯分布，Pz大約是0.95，而Kz大約是8。這個噪聲模型假設(shè)系數(shù)的一小部分在圖26B中的基于運動的半超級分辨率處理步驟2618期間惡化。殘留幀(圖26C中的2526)系數(shù)x被建模為依照拉普拉斯分布而分布。圖27A顯示了代表性的拉普拉斯分布。圖27B顯示了用在本發(fā)明各個實施例所使用的噪聲模型的第一項中的高斯分布。圖27C顯示了使用在本發(fā)明各個實施例所使用的噪聲模型的第二項中的高斯分布。圖27D顯示了對有噪殘留幀系數(shù)y建模的組合分布。
圖28圖示了根據(jù)本發(fā)明實施例的對殘留幀系數(shù)(圖25C中的2526)進(jìn)行信道編碼以產(chǎn)生WZ層比特流。來自殘留幀(圖25C中的2526)中的每個8×8塊被DCT 2804變換以產(chǎn)生殘留幀頻域系數(shù)x2806。然后，該殘留幀頻域系數(shù)x被量化2808以產(chǎn)生量化系數(shù)2810的8×8塊。用于頻域系數(shù)x的量化倉q被計算為q＝Φ(x，Q)。DCM系數(shù)2812被直接復(fù)制到8×8陪集塊2814中，并且數(shù)量為n的剩余量化系數(shù)通過陪集映射2816，

(q，M)，被以zig-zag(之字形)順序映射到在陪集塊2814中處于相應(yīng)位置的陪集c。
該陪集映射函數(shù)

被如下定義 其中M是用于該陪集映射的模數(shù)。
圖29圖示了用在本發(fā)明各個實施例中的陪集映射。在第一矢量2902中，量化的殘留幀系數(shù)q的可能值以數(shù)字順序放置。在許多實施例中，q的范圍是-127到127。通過上面提供的

的表達(dá)式，使用模數(shù)5對這些可能的殘留幀量化系數(shù)值2903的陪集映射產(chǎn)生矢量2904中的相應(yīng)陪集值。因此，例如，量化殘留幀系數(shù)值42906被映射到陪集值-12908。當(dāng)M＝5時，該陪集值范圍是-2到2。因為陪集值少于量化殘留幀系數(shù)值，所以可以以較小的比特率來編碼陪集串。然而，將256個值映射到5個值會帶來歧義。例如，當(dāng)解碼器接收具有值-1的陪集時，產(chǎn)生陪集的相應(yīng)量化殘留幀系數(shù)可以是-11、-6、-1、4、9或其它值?？梢圆捎酶鞣N技術(shù)來解決這種歧義，包括使用邊信息，如下面討論的。
圖30圖示了對來自拉普拉斯分布的頻域殘留幀系數(shù)x的量化殘留幀系數(shù)值確定概率分布。連續(xù)的、頻域殘留幀系數(shù)分布3002的曲線圖與量化殘留幀系數(shù)分布3004和對應(yīng)于每個量化值的連續(xù)系數(shù)值的范圍3006對準(zhǔn)。通常，占據(jù)第q個量化倉的量化系數(shù)的概率被給出為 例如，具有值2的量化殘留幀系數(shù)的概率計算通過陰影區(qū)域3008、3010和箭頭3012、3014被顯示在圖30中。陪集值的概率分布的計算稍微更復(fù)雜，并表示為 圖31顯示了使用圖30中所使用的相同圖示規(guī)定對具有值2的陪集的概率的計算的示例。注意，陪集概率分布3102是不均勻的，就像量化殘留幀系數(shù)概率分布3004是不均勻的一樣。這種不均勻性提供了對陪集映射產(chǎn)生的陪集序列進(jìn)行熵編碼的機(jī)會。因此，圖28中的陪集塊2814可被線性化和熵編碼以用于傳輸?shù)浇獯a器/解壓縮功能。還應(yīng)注意，返回到圖28，零值的量化殘留幀系數(shù)被映射到陪集零。因此，陪集塊的右下三角部分通常被零填滿。所以，只有該陪集塊的左上三角部分需要被編碼和發(fā)送。而且，即使某些非零的高頻系數(shù)也可被省略，并且可以在解碼/解壓縮步驟期間從地點信息產(chǎn)生中被全部恢復(fù)。以zig-zag掃描順序發(fā)送的用于給定陪集塊的系數(shù)數(shù)量被表示為n。
為每個殘留幀頻域系數(shù)x的量化和陪集映射使用不同的量化步長Q和模數(shù)M。圖32顯示了本發(fā)明各個實施例中使用的殘留幀頻域系數(shù)量化和陪集映射的更詳細(xì)表示。首先，頻域殘留幀系數(shù)x的8×8塊3202被評估并分類為S個不同類型3204之一。對于每個類型S，通過下式來選擇量化矩陣Q(S)和陪集模數(shù)矩陣M(S) Q(S)＝Q+A(S) M(S)＝max(B-2m(s)，3) 其中m(s)是由分類索引s確定的參數(shù)。該8×8系數(shù)塊3202的分類還確定了所發(fā)送的陪集的數(shù)量n(S)3206。示例性Q修改矩陣A(S)3208和示例性M(S)產(chǎn)生矩陣B3101被顯示在圖32中。系數(shù)塊3202中的每個系數(shù)都使用該Q(S)和M(S)矩陣中的相應(yīng)值被量化并映射到陪集。
圖33A圖示了使用從本發(fā)明各個實施例中所用的WZ層比特流(圖26B中的2624)中所獲得的有噪殘留幀系數(shù)y和相應(yīng)的陪集c的Wyner-Ziv信道解碼過程。該y有噪幀系數(shù)3302和相應(yīng)的陪集c3304被用在貝葉斯(Bayesian)分類器步驟3306中以產(chǎn)生解碼的量化矢量

3308。注意，y沒有被量化并且具有比量化系數(shù)更高的精度。每個系數(shù)都與包括種類索引s和頻率x(ij)的上下文(context)相關(guān)聯(lián)，產(chǎn)生編碼期間使用的量化步長Qij(s)和陪集模數(shù)Mij(s)。此外，系數(shù)的種類索引s和頻率x(ij)映射到直接用于解碼過程的{σx，σx，pz，Kz}。具體來說，解碼倉(decoded bin)

被獲取為 其中p(q，y)是量化倉q和接收的值y的聯(lián)合概率。應(yīng)用如下的近似 可通過對高斯變量的erf()函數(shù)的預(yù)計算表格的縮放(scaling)和內(nèi)插而方便地計算累積分布函數(shù)Fz(.)。同樣，第q個倉pQ(q)的先驗(priori)概率可基于對拉普拉斯分布的累積分布函數(shù)的預(yù)計算表格的內(nèi)插而計算。
然后，所估計的量化倉

可被用于估計殘留幀頻域系數(shù)
注意，因為fX/Y(x，y)不能被直接寫成fz(z)的形式，所以對

的準(zhǔn)確計算是復(fù)雜的。然而，即使是粗略的近似也比僅使用量化倉

的中點作為

更好。具體來說，假設(shè)fX/Y(x，y)是以y為中心、方差等于σx和σz的幾何平均值的高斯函數(shù)，那么可基于對來自高斯函數(shù)的一階中心矩的預(yù)計算表格的值的內(nèi)插來計算

。圖33B圖示了本發(fā)明各個實施例中使用的頻域殘留幀系數(shù)的估計。圖33B顯示了當(dāng)接收的陪集索引為2時的特定解碼示例。給定如圖所示的y，貝葉斯分類器解碼

為-3。之后，最優(yōu)重建函數(shù)獲得該倉內(nèi)的最終重建

。結(jié)果顯示使用這個使用邊信息y的最優(yōu)重建函數(shù)使得可以使用大于目標(biāo)質(zhì)量的量化步長，從而允許在Wyner-Ziv層節(jié)省比特率。除了使用陪集發(fā)送的系數(shù)外，還有根本沒有發(fā)送的其他系數(shù)。這些系數(shù)被重建為與它們在邊信息中所出現(xiàn)的完全相同。
最后，估計的頻域系數(shù)

可以被逆DCT 3312變換以產(chǎn)生原始空間域殘留幀強(qiáng)度值f(i，j)3314。因此，產(chǎn)生的校正殘留幀用于在參照圖26B和圖26D所討論的分辨率增強(qiáng)循環(huán)中依次產(chǎn)生下一個恢復(fù)的幀F(xiàn)i+1。
在上面討論的Wyner-Ziv編碼方法中，具有相同索引的量化倉之間的距離在數(shù)值上等于陪集模數(shù)M。網(wǎng)格(Trellis)編碼方法可被用于增加該距離，以降低可能的歧義而不需要太多的附加速率損失。然而，該網(wǎng)格編碼需要保持編碼符號的非均勻分布以使得陪集值可由熵編碼技術(shù)來編碼。圖34圖示了用在本發(fā)明各個實施例中的網(wǎng)格編碼技術(shù)。圖34顯示了頻域殘留幀系數(shù)3402的拉普拉斯分布，該頻域殘留幀系數(shù)3402與相應(yīng)的量化倉q 3404、由上述陪集映射所產(chǎn)生的陪集值3406和由網(wǎng)格編碼產(chǎn)生的符號函數(shù)3408和基礎(chǔ)陪集函數(shù)3410符號對對齊。如上所述，在上述的陪集映射中，具有相同值3412的兩個陪集之間的量化倉的距離等于M，也就是用于該陪集映射的模數(shù)。通過使用符號函數(shù)/基礎(chǔ)陪集函數(shù)對來代替，該距離可被延伸為 M(k)＝(M-1).k+1 其中k是由該符號函數(shù)所產(chǎn)生的符號數(shù)。網(wǎng)格編碼通過在對多個符號的編碼中引入依賴性(dependency)而提高了有效距離。那么一個符號的編碼并不僅僅依賴于當(dāng)前符號，而且依賴于可能在當(dāng)前符號之前的幾個其他符號。然而在Wyner-Ziv編碼方案中，除了增加碼之間的距離，所發(fā)送的符號的熵卻不能被人為降低(flatten)，否則對陪集流的熵編碼將是無效的。
在給定陪集模數(shù)M的情況下，由該量化倉q產(chǎn)生k-ary符號的符號函數(shù)ζ(k)(q，M)被如下定義 M(k)＝(M-1).k+1 q(k)＝(|q|modM(k))
基礎(chǔ)陪集函數(shù)

(k)(q，M)被定義為 M(k)＝(M-1).k+1 q(k)＝(|q|modM(k)) m＝(M-1)/2
考慮通過翻轉(zhuǎn)與q的一個或多個值對應(yīng)的輸出符號來從基礎(chǔ)陪集函數(shù)構(gòu)造的陪集函數(shù)

’(q，M)的種類，同時確保限制條件

’(q，M)＝-

’(-q，M)。來自該函數(shù)的全部種類中的每一個函數(shù)都具有與基礎(chǔ)陪集函數(shù)完全相同的概率群分布函數(shù)。圖35示出了在本發(fā)明各個實施例中使用的通過翻轉(zhuǎn)對稱地位于零值附近的一個或多對基礎(chǔ)陪集函數(shù)陪集值的符號來產(chǎn)生基礎(chǔ)陪集函數(shù)族

(k)。例如，新的基礎(chǔ)陪集函數(shù)

(2)’3502可通過翻轉(zhuǎn)兩個系數(shù)3504和3506的符號而由基礎(chǔ)陪集函數(shù)

(2)產(chǎn)生。圖34顯示了由函數(shù)-

(k)(q，M)產(chǎn)生的結(jié)果3412的示例，其中所有來自

(k)(q，M)的輸出符號都被翻轉(zhuǎn)，但是概率群分布函數(shù)仍保持不變。因此，即使用來獲取發(fā)送系數(shù)的陪集函數(shù)從系數(shù)到系數(shù)是改變的，但只要它們?nèi)耘f在這個種類中，就可使用相同的熵編碼器而不會造成編碼效率的任何損失。在本發(fā)明各個實施例所用的編碼方案中利用這個特性。對于函數(shù)的該整個種類，零值總是保留在相同的位置。因為對零陪集索引的編碼本身就是高效的，并且這些零值已經(jīng)被(M-1).k+1個量化倉所隔開，所以只有非零基礎(chǔ)陪集索引需要被考慮進(jìn)行編碼。為了編碼目的移除零陪集索引還確保符號函數(shù)在k＝2的情況下產(chǎn)生等概率的符號，并因此實現(xiàn)了魯棒的信道解碼。
對于k＝2的典型情況，由這些函數(shù)產(chǎn)生的符號串的示例3406和3408被顯示在圖34中。陪集函數(shù)的零也已經(jīng)被放置為使得它們被隔開相同量。目的是得到一種編碼和解碼方案，其中可以通過基于非量化的y的軟解碼來恢復(fù)符號函數(shù)，而不需要明確地(explicitly)發(fā)送它。
具體來說，該符號函數(shù)被應(yīng)用到具有非零基礎(chǔ)陪集函數(shù)的每個量化的系數(shù)qt，以產(chǎn)生k-ary符號bt。從{qt}中產(chǎn)生的符號{bt}的序列驅(qū)動具有Ns個狀態(tài)的狀態(tài)機(jī)。對于每個編碼的量化系數(shù)qt，狀態(tài)機(jī)Stε{0，1，2，...，Ns-1}的當(dāng)前狀態(tài)確定用來從qt獲得發(fā)送的符號ct的特定陪集函數(shù)

St(k)(qt，Mt)。每個

St(k))(qt，Mt)都通過符號調(diào)制從基礎(chǔ)陪集函數(shù)導(dǎo)出。換句話說 bt＝ζ(k)(qt，Mt)，St+1＝η(St，bt)，t＝0，1，...，T-1 其中T是將被編碼的系數(shù)的總數(shù)。注意，Qt和Mt是指對應(yīng)于第t個系數(shù)xt的量化步長和陪集模數(shù)。η(St，bt)是狀態(tài)機(jī)的下一個狀態(tài)函數(shù)。
圖36是本發(fā)明各個實施例中使用的基于網(wǎng)格的編碼的控制流程圖。然后，在步驟3604-3610的for循環(huán)中，為每個殘留幀頻域系數(shù)xi產(chǎn)生陪集。在步驟3605，該系數(shù)被量化。在步驟3606，通過使用基礎(chǔ)陪集函數(shù)族成員

(k))State中的當(dāng)前量化倉值qi和當(dāng)前模數(shù)Mi而產(chǎn)生相應(yīng)的陪集，其中state是狀態(tài)機(jī)的當(dāng)前狀態(tài)。然后在步驟3607，根據(jù)符號函數(shù)ζ(k)產(chǎn)生當(dāng)前符號Bi。然后在步驟3608，根據(jù)先前狀態(tài)和當(dāng)前符號Bi計算狀態(tài)機(jī)的新狀態(tài)。最后，在步驟3609，遞增循環(huán)變量I?；诰W(wǎng)格的編碼一直繼續(xù)，直到出現(xiàn)終止條件，如在步驟3610中檢測到的。該終止條件稍為有些復(fù)雜，因為在基于網(wǎng)格的編碼中，若干虛(dummy)陪集可能需要被添加到陪集序列的尾部。通常，當(dāng)陪集已經(jīng)從頻域殘留幀系數(shù)n(s)產(chǎn)生時，該基于網(wǎng)格的編碼循環(huán)就終止了。
一個特定的情況是當(dāng)僅使用兩個陪集函數(shù)

(k)(q，M)和-

(k)(q，M)。來自該狀態(tài)機(jī)的一半狀態(tài)使用

(k)(q，M)作為陪集函數(shù)，而剩余的一半使用-

(k)(q，M)。換句話說，來自該基礎(chǔ)陪集函數(shù)的索引的符號根據(jù)該狀態(tài)機(jī)的狀態(tài)而被翻轉(zhuǎn)或不被翻轉(zhuǎn)。該狀態(tài)機(jī)可以卷積碼從移位寄存器中得到。然而應(yīng)注意，與卷積碼的輸出函數(shù)不同，當(dāng)前系數(shù)qt的編碼并不依賴于當(dāng)前符號函數(shù)bt。這樣做是為了確保在每個時間階段，符號被最大化地分隔。作為示例，對于最有用的情況k＝2，用于產(chǎn)生這種碼的實際方法是來自速率1/2系統(tǒng)卷積碼。該編碼器的下一狀態(tài)函數(shù)可以與該卷積碼的完全相同。然而，如果這種卷積碼的奇偶校驗位的輸出函數(shù)被表示為g(S，b)，其中S是當(dāng)前狀態(tài)而b是當(dāng)前輸入比特，那么比特g(S，0)可在編碼期間被用來指示基礎(chǔ)陪集函數(shù)的符號是否將要被翻轉(zhuǎn)。
圖37示出了本發(fā)明各個實施例中使用的通過網(wǎng)格編碼方法來產(chǎn)生陪集的陪集產(chǎn)生狀態(tài)機(jī)。圖37中顯示的編碼步驟如下。在計算整個幀的塊變換之后，該系數(shù)被量化，然后基礎(chǔ)陪集函數(shù)和符號函數(shù)被計算。如果基礎(chǔ)陪集函數(shù)是零，或者如果該系數(shù)超出了將以zigzag掃描順序為其塊種類發(fā)送的系數(shù)數(shù)目，那么所發(fā)送的陪集索引是零。用于整個幀的具有非零基礎(chǔ)陪集函數(shù)的系數(shù)被分隔并交織(interleave)。交織的系數(shù)的序列然后被編碼。通過這樣做所獲得的陪集索引被解交織，并放回到它們所來自的原始塊的對應(yīng)位置中。這些塊然后在常規(guī)編解碼器中被熵編碼。注意，必須一起編碼來自單一幀的所有系數(shù)以確保塊尺寸足夠大。使用NRWZ幀也使得能夠使用跨越多個幀的碼。
通常網(wǎng)格碼在固定狀態(tài)S0中被啟動，并被一些虛符號終止。終止是必要的以確保對末尾到來的符號的相同保護(hù)。然而，在TCSM的情況下，有兩種方法來確保合適的終止。首先，在每一幀的末尾可使用一些比特來明確指定該末尾狀態(tài)。然而，如果不希望改變比特流語法，那么可以使用咬尾網(wǎng)格(tail-biting trellises)。在咬尾網(wǎng)格中，開始狀態(tài)和結(jié)束狀態(tài)被限制為完全相同。使用這種網(wǎng)格確保了所發(fā)送的符號數(shù)量與系數(shù)的數(shù)量完全相同。公共的開始和結(jié)束狀態(tài)可從非遞歸(nonrecursive)狀態(tài)機(jī)中藉由通過其運行最后Nmem個符號而容易地獲得，其中Nmem是該狀態(tài)機(jī)的存儲器的限制長度或尺寸。
解碼器的目的是在給定所發(fā)送的陪集索引ct、有噪非量化系數(shù)yt和它們的上下文時獲取對量化倉qt的最佳估計。注意，因為該序列中的每個樣本可能潛在地使用不同的量化器、不同的陪集模數(shù)、和具有不同噪聲方差的不同種類索引，所以在下面的等式中，下標(biāo)t在任何合適的位置被使用。Viterbi解碼器和MAP解碼器可被使用。這兩個解碼器都依賴于對分支度量(branch metric)γt(i，j)的計算，該分支度量γt(i，j)被定義為 γt(i，j)＝Pr(St+1＝j(luò)，ct，yt/St＝i) 可以看出 其中，Ωt是用于第t個樣本的所有量化倉的集合，而pt(q，yt)被如下給出 這可以通過僅考慮y的每側(cè)的一些量化倉而不是考慮所有的Ωq被簡化。分支度量的這個定義在下面的兩個解碼器中均被使用。
Viterbi算法解碼最可能的狀態(tài)序列。適用于網(wǎng)格編碼符號調(diào)制(“TCSM”)的步驟如下所述。首先進(jìn)行初始化 δ0(i)＝πi，λ0(i)＝0，i＝0，1，...，NS-1 其中πi是初始狀態(tài)S0為i的概率。如果已知初始狀態(tài)為k，則πk＝1，并且對于i≠k有πi＝0。然后遞歸計算 T是該序列中符號的總數(shù)。終止該網(wǎng)格 并對于t＝T-1，T-2，...，0進(jìn)行回溯 對于咬尾網(wǎng)格，Viterbi算法已經(jīng)被許多研究者以多種方式修改。作為一個示例，假設(shè)初始狀態(tài)為任意狀態(tài)k并且相應(yīng)地初始化。進(jìn)行經(jīng)過該序列的一次解碼通過(decoding pass)并找到最佳路徑的最終狀態(tài)。檢查開始狀態(tài)是否與最佳結(jié)束狀態(tài)相同。如果是，結(jié)束解碼。如果不是，檢查先前的最佳結(jié)束狀態(tài)是否在以前已經(jīng)被用作初始狀態(tài)。如果是，挑選之前未使用的另一個任意初始狀態(tài)并重新進(jìn)行解碼通過(decoding pass)。如果不是，使用先前的最佳結(jié)束狀態(tài)作為初始狀態(tài)，并重新解碼。繼續(xù)該過程直到初始和最終狀態(tài)相匹配，或者如果所有的初始狀態(tài)都已經(jīng)被嘗試了，那么該算法僅輸出到目前為止的最佳路徑。通常，初始和最終狀態(tài)在兩次通過(pass)中相匹配。
一旦知道解碼狀態(tài)序列，還需要一個額外的步驟來獲取最佳量化倉，因為多個量化倉可以導(dǎo)致相同的狀態(tài)轉(zhuǎn)換。注意，給定在時期t發(fā)生了i到j(luò)的狀態(tài)轉(zhuǎn)換并且接收到了邊信息yt和陪集索引ct，那么量化倉q的后驗概率被給出為 其他 給定解碼狀態(tài)序列，那么解碼規(guī)則是選擇最大化μt(q，i*，j*)的q用于時期t中的i*到j(luò)*解碼狀態(tài)轉(zhuǎn)換，其等同于 一旦解碼的量化倉已經(jīng)被獲得，則使用

的最優(yōu)重建。
MAP解碼器，也被稱作BCJP算法，在每個時期使用最可能的狀態(tài)轉(zhuǎn)換來解碼。盡管解碼序列可能與網(wǎng)格限制不一致，但是該解碼器最小化了誤差的概率。適用于TCSM網(wǎng)格的算法步驟如下所述。首先進(jìn)行正向通過(forward pass) 初始化α0(i)＝πi，i＝0，1，...，NS-1 歸納對于t＝0，1，..，T-2，T-1 其中πi是初始狀態(tài)的概率分布。然后進(jìn)行反向通過(backwardpass) 初始化βT(i)＝θi，i＝0，1，...，NS-1 歸納對于t＝T-1，T-2，...1，0 其中θi是最終狀態(tài)的概率分布。如果初始和/或最終狀態(tài)已知，那么對于這些狀態(tài)，πi和θi被選擇為1，否則被選擇為0。如果它們是未知的，那么相應(yīng)的分布被假設(shè)為均勻的。
對于咬尾網(wǎng)格的情況，假設(shè)πi和θi為均勻分布。然后前向和后向歸納(induction)被以循環(huán)方式繼續(xù)直到αt(i)和βt(i)的分布收斂。具體對于前向歸納，一旦獲得最終分布αT(i)，其可被賦予初始分布并再次繼續(xù)歸納。該過程繼續(xù)直到最初和最終分布收斂。事實上，該方法不需要等到通過(pass)的結(jié)束來決定分布是否相匹配。只要基于合適的閾值發(fā)現(xiàn)中間時期t的分布αt(i)足夠接近于先前通過(pass)中的分布，那么可認(rèn)為已經(jīng)實現(xiàn)收斂。在每個t的最新分布然后被作為最終的。類似的方法被用于反向通過(backward pass)。通常，分布在少于兩個全通過(pass)的過程中收斂。
一旦已經(jīng)獲得前向和后向分布，那么時期t中的i到j(luò)的狀態(tài)轉(zhuǎn)換的后驗概率σt(i，j)被計算為 對于每個t，最大化上述概率的(i，j)對被認(rèn)為是最可能的狀態(tài)轉(zhuǎn)換。然而，通過在所有可能的狀態(tài)轉(zhuǎn)換上平均來獲得量化倉q的后驗概率 其中μt(q，i，j)和σt(i，j)在上面被提供。解碼規(guī)則是簡單地選擇最大化ηt(q)的q 一旦獲得解碼的量化倉，就使用

的最優(yōu)重建。
TCSM方法可被簡單地擴(kuò)展為并行級聯(lián)。在這種情況下，有兩個并行的TCSM編碼器，第二個被應(yīng)用在原始樣本的變換(permutation)之后。這種碼被稱為符號調(diào)制的turbo碼，因為它們與Turbo碼關(guān)聯(lián)。解碼操作強(qiáng)烈地使用于常規(guī)二進(jìn)制turbo碼的迭代解碼過程并行。軟量化倉后驗輸出概率被用作解碼該第二個碼時通過pQ，t(q)變換之后的先驗。該解碼過程在每次更新量化倉概率時在這兩個碼上進(jìn)行多次迭代，直到發(fā)生收斂。
可容易地應(yīng)用在網(wǎng)格編碼的符號調(diào)制后面的原理來基于二進(jìn)制系統(tǒng)線性塊碼來編碼樣本的任意塊?？紤]要被一起編碼的N個樣本的塊。對每個樣本應(yīng)用具有k＝2b的k-ary符號函數(shù)以獲得bN個符號比特。這些bN個比特被輸入到速率b/(b+1)(bN+N，bN)系統(tǒng)塊編碼以獲得N個奇偶校驗位，其中的每一個奇偶校驗位在任意變換之后都被認(rèn)為對應(yīng)于一個數(shù)據(jù)樣本。然后，為N個原始樣本的每一個計算基礎(chǔ)陪集函數(shù)，并根據(jù)相應(yīng)奇偶校驗位的值來發(fā)送其或其負(fù)值。最有用的情況是當(dāng)k＝2(b＝1)時，其中基本的塊編碼是速率1/2。如果塊長度不是太大，那么即使通過完全列舉搜索來解碼也不是完全不切實際的。否則，因為所有的線性碼都具有網(wǎng)格表示，所以可使用網(wǎng)格解碼。
可容易地應(yīng)用上面的原理來創(chuàng)建符號調(diào)制的LDPC碼。這種碼的優(yōu)勢是N是可變的，并且可以為每個幀要編碼的給定數(shù)量的符號動態(tài)地(on-the-fly)隨機(jī)設(shè)計奇偶校驗矩陣。然后，對通常用于LDPC碼的迭代消息傳遞(message passing)算法的改編可被用于解碼這種碼。對符號調(diào)制碼的最初調(diào)查揭露了將這種碼中的變換操作以如下方式設(shè)計是明智的即每個奇偶校驗位符號調(diào)制一個樣本，該樣本的符號函數(shù)不被用在包括該相同奇偶校驗位的任何奇偶校驗等式中。
雖然本發(fā)明已經(jīng)以特定實施例的方式被描述，但這并不意味本發(fā)明局限于這些實施例。在本發(fā)明精神范圍內(nèi)的修改對本領(lǐng)域技術(shù)人員來說是顯而易見的。例如，代表本發(fā)明實施例的編解碼器的幾乎無限制數(shù)量的不同實施方式都是可能的。這些編解碼器可以任何數(shù)量的不同編程語言和機(jī)器級別語言和固件指令實施，并可使用許多不同模塊組織、控制結(jié)構(gòu)、數(shù)據(jù)結(jié)構(gòu)和各種其他公共編程變形的任何一種。代表本發(fā)明實施例的編解碼器可以完全以軟件實施、完全以硬件邏輯電路實施、以固件實施、或以軟件、邏輯電路和固件的任何組合實施。盡管本發(fā)明的一個實施例的大體實施方式被描述，但是許多其他可能實施方式可通過除了使用上面描述的信道編碼和基于網(wǎng)格的編碼外還使用不同類型的Wyner-Ziv編碼，通過使用不同等式和陪集映射方案，通過選擇不同幀用于Wyner-Ziv編碼、包括特定實施例中的參考幀，以及許多其他變形來得到。編解碼器的每個解碼器和編碼器部分可以分別實施在分隔的軟件模塊或設(shè)備中。例如，編解碼器的編碼器部分可以分開地被實施在不包括解碼器的昂貴的記錄設(shè)備中。
用于解釋目的的以上描述使用特定術(shù)語來提供對本發(fā)明的整體理解。然而，為了實施本發(fā)明并不需要那些特定的細(xì)節(jié)，這對本領(lǐng)域技術(shù)人員來說是顯而易見的。給出對本發(fā)明特定實施例的前述描述以用于圖示和描述目的。它們并不打算是窮盡的或?qū)⒈景l(fā)明限制為所揭露的精確形式?？紤]到上述教導(dǎo)，許多修改和變形都是有可能的。顯示和描述這些實施例以最好地解釋本發(fā)明的原理及其實際應(yīng)用，由此使得本領(lǐng)域的其他技術(shù)人員能夠最好地利用本發(fā)明和具有適用于所期望的特定用途的各種修改的各個實施例。本發(fā)明的范圍意欲由以下的權(quán)利要求書及其等同物來限定。
權(quán)利要求
1.一種編解碼器，其調(diào)整編碼和解碼之間的壓縮和解壓縮的總計算復(fù)雜度(2202，2204)的分配，該編解碼器包括
編碼器，其以可選擇等級的計算復(fù)雜度(2206，2212)編碼所接收的信號；以及
解碼器，其以可選擇等級的計算復(fù)雜度(2208，2210)解碼所接收的編碼信號。
2.如權(quán)利要求1所述的編解碼器，
其中該編碼器
通過時間、空間和熵編碼技術(shù)以全分辨率來編碼所接收的信號的第一部分(128、130)以產(chǎn)生高分辨率編碼信號，該高分辨率編碼信號隨后能夠被用于重建高分辨率信號，并且
以較低分辨率編碼所接收的信號的第二部分(136-143)以為該信號的第二部分產(chǎn)生較低分辨率編碼信號和附加的壓縮信息，該壓縮信息隨后能夠與該較低分辨率編碼信號共同用于重建接近高分辨率的信號；以及
其中該解碼器
解碼該高分辨率編碼信號以重建高分辨率信號，
使用附加的壓縮信息來解碼該較低分辨率編碼信號以重建接近高分辨率的信號，并且
不使用附加的壓縮信息來解碼該較低分辨率編碼信號以重建較低分辨率信號。
3.如權(quán)利要求2所述的編解碼器，
其中對計算復(fù)雜度的分配可從第一非對稱分配(2202)調(diào)整到第二非對稱分配(2204)，在所述第一非對稱分配中，編碼器通過以全分辨率編碼整個接收的信號來承擔(dān)比解碼器更大的計算負(fù)擔(dān)，而解碼器解碼所述高分辨率編碼信號的一部分來重建該信號，在所述第二非對稱分配中，編碼器通過以全分辨率編碼所接收的信號的第一部分并以較低分辨率編碼該信號的第二部分來承擔(dān)比解碼器更小的計算負(fù)擔(dān)，而解碼器不使用所述附加的壓縮信息來解碼該較低分辨率編碼信號以重建較低分辨率信號；并且
其中對計算復(fù)雜度的分配可通過以下方式中的一種或多種而被調(diào)整為所述第一非對稱分配和所述第二非對稱分配之間的中間分配
相對于以全分辨率編碼的該信號的第一部分，增加以較低分辨率編碼的該信號部分的第二部分，
由編碼器使用不同的信息、和不同量的信息來產(chǎn)生該附加的壓縮信息，以及
利用附加的壓縮信息僅解碼該較低分辨率信號的第一部分以重建接近高分辨率的信號，不使用附加的壓縮信息而解碼該較低分辨率信號的第二部分，以及將該第一部分從整個較低分辨率編碼信號減少為沒有較低分辨率編碼信號。
4.如權(quán)利要求2所述的編解碼器，
其中該信號(120)是基于幀和基于像素的視頻信號；并且
其中該解碼器通過時間、空間和熵編碼技術(shù)以全分辨率來編碼所接收的信號的第一部分，并以較低分辨率編碼該接收的信號的第二部分以為該信號的第二部分產(chǎn)生較低分辨率編碼信號和附加的壓縮信息是通過以下方式進(jìn)行的
將該視頻信號劃分成連續(xù)的幀組，
對于每組幀，選擇一些參考幀(128，130)和一些非參考幀(132-134和136-143)，
空間編碼所述參考幀(圖6)，
以全分辨率空間和時間編碼(圖10)第一數(shù)量的非參考幀，
以較低分辨率空間和時間編碼第二數(shù)量的非參考幀(圖25A-C)，同時產(chǎn)生附加的壓縮信息，以及
對空間編碼的參考幀、以全分辨率空間和時間編碼的第一數(shù)量的非參考幀、以較低分辨率空間和時間編碼的第二數(shù)量的非參考幀、以及該附加的壓縮信息進(jìn)行熵編碼，以產(chǎn)生壓縮比特流。
5.如權(quán)利要求4所述的編解碼器，
其中以全分辨率編碼的第一數(shù)量的非參考幀的范圍是從零個非參考幀到所有的參考幀；
其中解碼器通過以下方式解碼高分辨率編碼信號以重建高分辨率信號
熵解碼該熵編碼的比特流以恢復(fù)空間和時間編碼的非參考幀以及空間編碼的參考幀，
空間解碼該空間解碼的參考幀，以及
時間和空間解碼該時間和空間編碼的非參考幀；以及
其中以較低分辨率空間和時間編碼(圖25A-C)第二數(shù)量的非參考幀同時產(chǎn)生附加信息進(jìn)一步包括
抽取第二數(shù)量的非參考幀和在編碼該非參考幀中使用的參考幀，
空間和時間編碼所抽取的第二數(shù)量的非參考幀，
內(nèi)插該第二數(shù)量的非參考幀的重建版本，
根據(jù)原始的、未編碼的第二數(shù)量的非參考幀和該內(nèi)插的、重建版本的第二數(shù)量的非參考幀計算第二數(shù)量的非參考幀的每一個的殘留幀，并且
通過利用邊信息的源編碼技術(shù)來壓縮該殘留幀以產(chǎn)生所述附加的壓縮信息。
6.如權(quán)利要求5所述的編解碼器，其中通過利用邊信息的源編碼技術(shù)來壓縮該殘留幀以產(chǎn)生所述附加的壓縮信息進(jìn)一步包括
對于該殘留幀中的每個塊，
將該塊變換到頻域(2804)；
量化該頻域塊(2808)；和
陪集映射(2816和圖29)該量化的頻域塊以產(chǎn)生陪集映射塊(2814)。
7.如權(quán)利要求6所述的編解碼器，
其中陪集映射(2816)被定義為
其中M是用于該陪集映射的模數(shù)；
其中在陪集映射塊中的每個陪集c通過如下方式被解碼
從有噪殘留幀中選擇相應(yīng)值y，
使用貝葉斯分類器產(chǎn)生解碼的量化倉
，
根據(jù)解碼的量化倉
來估計殘留幀頻域系數(shù)
，以及
將該殘留幀頻域系數(shù)
變換到空間域；
其中使用貝葉斯分類器產(chǎn)生解碼的量化倉
進(jìn)一步包括
其中p(q，y)是該量化倉q和值y的聯(lián)合概率，其可按下式獲得
并且其中根據(jù)解碼的量化倉
來估計殘留幀頻域系數(shù)
進(jìn)一步包括
8.如權(quán)利要求6所述的編解碼器，其中陪集映射(2816)是使用基于網(wǎng)格的陪集映射技術(shù)來執(zhí)行的。
9.如權(quán)利要求5所述的編解碼器，
其中該解碼器通過以下方式不使用附加的壓縮信息來解碼較低分辨率編碼信號以重建較低分辨率信號(圖26A)
熵解碼該熵編碼的比特流以恢復(fù)空間和時間編碼的低分辨率非參考幀和空間編碼的I參考幀，并且
空間解碼該空間解碼的參考幀，以及
其中該解碼器通過以下方式利用附加的壓縮信息來解碼較低分辨率編碼信號以重建接近高分辨率的信號
熵解碼該熵編碼的比特流以恢復(fù)空間和時間編碼的低分辨率非參考幀和所述附加信息，
空間和時間解碼該空間和時間編碼的低分辨率非參考幀以產(chǎn)生低分辨率重建幀，
內(nèi)插該低分辨率重建幀以產(chǎn)生低分辨率內(nèi)插幀，以及
通過使用該附加的壓縮信息，迭代地增強(qiáng)該低分辨率內(nèi)插幀以產(chǎn)生接近高分辨率的重建幀。
10.如權(quán)利要求9所述的編解碼器，
其中通過使用該附加的壓縮信息迭代地增強(qiáng)低分辨率內(nèi)插幀以產(chǎn)生接近高分辨率的重建幀(圖26B-C)進(jìn)一步包括
將當(dāng)前接近高分辨率的重建幀設(shè)為等于所述低分辨率內(nèi)插幀，
迭代地
對該當(dāng)前接近高分辨率的重建幀應(yīng)用基于運動的半超級分辨率處理以產(chǎn)生較高分辨率估計幀，
從該低分辨率內(nèi)插幀中減去該較高分辨率估計幀以產(chǎn)生有噪殘留幀，
使用該有噪殘留幀作為邊信息來信道解碼所述附加的壓縮信息以產(chǎn)生校正的殘留幀，以及
將當(dāng)前接近高分辨率的重建幀設(shè)為等于低分辨率內(nèi)插幀和該校正的殘留幀的組合；
其中基于運動的半超級分辨率(2618)處理進(jìn)一步包括
低通濾波重建的參考幀以產(chǎn)生濾波后的重建參考幀，并且
對于當(dāng)前接近高分辨率的重建幀中的每個塊，
當(dāng)在濾波后的重建參考幀中可以找到匹配塊時，插入該塊的替換塊到該較高分辨率估計幀中與當(dāng)前接近高分辨率的重建幀中該塊的位置等同的該較高分辨率估計幀中的位置，該替換塊是通過將從重建參考幀中提取的等同匹配塊一起組合而產(chǎn)生的，以及
當(dāng)在濾波后的重建參考幀中找不到匹配塊時，將該塊復(fù)制到該較高分辨率估計幀中與當(dāng)前接近高分辨率重建幀中該塊的位置等同的該較高分辨率估計幀中的位置；
其中該替換塊是通過將由縮放器α縮放的第一等同匹配塊加到由1-α縮放的第二等同匹配塊而產(chǎn)生的；并且
其中α由優(yōu)化過程確定。
全文摘要
本發(fā)明的各個實施例包括壓縮/解壓縮方法、系統(tǒng)和設(shè)備，其調(diào)節(jié)編碼(2206，2212)和解碼(2208，2210)之間的壓縮和解壓縮(2202，2204)的總計算復(fù)雜度的分配。這些實施例包括以可選擇等級的計算復(fù)雜度編碼接收信號的編碼器和以可選擇等級的計算復(fù)雜度解碼所接收的、編碼的信號的解碼器。本發(fā)明的視頻編解碼器實施例可被合并到相對廉價的視頻記錄設(shè)備中，包括手持的、視頻記錄消費者設(shè)備，比如視頻記錄器和蜂窩電話。
文檔編號H04N7/26GK101485206SQ200780024866
公開日2009年7月15日 申請日期2007年4月24日 優(yōu)先權(quán)日2006年4月30日
發(fā)明者D·穆克赫吉 申請人:惠普開發(fā)有限公司