專利名稱：對視頻信號進行編碼和解碼的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對視頻信號進行編碼和解碼的方法。
技術(shù)背景可縮放視頻編解碼(SVC)方案是一種以最高圖像質(zhì)量對視頻信號進行編碼并且即使解碼和使用由編碼產(chǎn)生的畫面序列(從整個畫面序列中斷續(xù)選擇的 幀序列)的僅僅一部分也能夠以一定程度的圖像質(zhì)量呈現(xiàn)圖像的視頻信號編碼 方案。使用可縮放方法編碼的畫面序列使得圖像能夠以一定禾，的圖像質(zhì)量呈現(xiàn) 出來，即使僅僅接收和處理了它的部分序列。在比特 低的情況下，圖像質(zhì) 量會顯著下降。為克服這個問題，可以針對較低的比特率樹共單獨的輔助畫面 序列，例如，小屏幕和減具剤氐幀速率的畫面序列。輔助畫面序列稱為基本層，而主畫面序列稱為增強層或加強層?；緦雍?其增強層是來自于對相同的源視頻信號的編碼。在這兩層的視頻信號中存在冗 余。因而，在提供了基本層的情況下，可以采用使用基本層與圖像數(shù)據(jù)相應的 運動信息和/或紋理信息預測增強層的視頻信號并基于預測結(jié)果進行編碼的層 間預測方法，以便增加編碼效率。使用基本層的紋理信息的預測方法包括幀內(nèi)基本預測模式(into base prediction mode )禾口歹戔差予雨則模式(residual prediction mode)。幀內(nèi)基本預測模式(簡稱為幀內(nèi)基勒莫式)是基于與增強層的宏塊(位于 時間上與包括宏塊的幀重合的基本層的幀內(nèi)并且具有在以增強層和基本層的屏 幕尺寸的比值放大時覆蓋該宏塊的區(qū)域的塊)相對應并且已經(jīng)以幀內(nèi)模式進行 過編碼的基本層的塊來預觀,編碼增強層宏塊的方法。在此情況下，將基本層 的相應塊解碼成具有圖像數(shù)據(jù)，之后通過升采樣以增強層和基本層的屏幕尺寸的比i動口以放大和1頓。殘差預測模式與幀內(nèi)基勒莫式相似，只是殘差預測模式使用的是與圖像差 值相對應的、基本層中具有殘差數(shù)據(jù)的相應塊，而不是基本層中編碼成具有圖像數(shù)據(jù)的相應±央?；谝呀?jīng)以幀間模式編碼并具有殘差數(shù)據(jù)的基本層的相應塊，為已經(jīng)以幀間模式編碼并具有殘差數(shù)據(jù)的增強層的宏i央創(chuàng)建預測數(shù)據(jù)。此時，與幀內(nèi)基*^莫式一樣，通過升采樣放大和使用具有殘差數(shù)據(jù)的基本層的相應土央。 圖1圖解說明使用基本層的殘差數(shù)據(jù)對已經(jīng)以幀間模式編碼并且具有殘差數(shù)據(jù)的增強層圖像i央進行解碼的實施方式。將表明增強層的圖像塊已經(jīng)以殘差預測模式進行了編碼的殘差預測標記設 置為'r，荊每基本層的相應殘差數(shù)據(jù)加至贈強層的殘差 上。在基本層和增強層的空間^ff率彼此不一致的情況下，首先對基本層的殘 差數(shù)據(jù)進行升采樣。與幀內(nèi)基本模式下的升采樣不同，針對殘差數(shù)據(jù)的升采樣 (下文簡稱為殘差升采樣)是以下列方式執(zhí)行的，其中升采樣是在解碼成圖像 數(shù)據(jù)之后進行的。1. 在增強層^^率是基本層分辨率的二倍的情況下(在二 n方(dyadic) 的情況下)，使用雙線性內(nèi)插。2. 在非二 n方的情況下，使用6抽頭內(nèi)插 慮波器。3. 升采樣是僅使用同一變換i央內(nèi)的像素進行的。不允許超過變換塊邊界的 升采樣濾波。圖2圖解說明在二 n方的情況下4X4殘差塊的升采樣的例子。對殘差升采樣使用簡單的雙線性內(nèi)插，但^線性內(nèi)插并不應用于變換土央 的邊界，以便避免4頓另一變換塊內(nèi)的像素。因此，如圖2所示，僅1頓相應 塊的像素對存在于變換±央邊界處的像素進行升采樣。而且，取決于像素相對于 邊界的位置，對變換±央邊界上的像素執(zhí)行不同的操作。由于可以對不同的i央尺寸執(zhí)行變換操作，因此確定變換塊的邊界時必須考 慮基本層變換塊大小(例如，4X4， 8X8，或……)。升采樣處理基本相同，除了在基本層和增強層^f,率的比值不是二 n方的 情況下要使用6抽頭內(nèi)插濾波器之外。不使用另一變換塊內(nèi)的像素5i64行殘差 升采樣。另外，對具有亮度和色度分量的信號應用相同的升采樣。 圖3圖解說明4OT基本層的解碼圖像數(shù)據(jù)解碼以幀內(nèi)基本漠式編碼的增強 層的圖像塊的實施方式。在幀內(nèi)基本模式下的升采樣中，不考慮變換塊的邊界，并M"亮度和色度信號都應用6抽頭內(nèi)插濾波器。 發(fā)明內(nèi)容因此，本發(fā)明關(guān)注現(xiàn)有技術(shù)中存在的問題，本發(fā)明目的是提供一種在層間 預測中簡單且有效艦基本層進行升采樣的方法。為實現(xiàn)上述目標，本發(fā)明提供一種對視頻信號進行編碼的方法，包括通過對視頻信號進行編碼來創(chuàng)建第一層的比特流；和通過基于第一層對視頻信號進 行編碼來創(chuàng)建第二層的比特流；其中，當對第一層內(nèi)與圖像差異相對應的殘差 數(shù)據(jù)謝亍升采樣并且將其用于第二層的編碼時，基于按照運動補償預測的i央來 對殘差數(shù)據(jù)進行升采樣。此外，本發(fā)明提供一種對編碼的視頻比特^3t行解碼的方法，包括對第一 層的比特流進行解碼；和基于第一層對第二層的比特流進行解碼；其中，當對 第一層內(nèi)與圖像差異相應的殘差數(shù)據(jù)進行升采樣并將其用于第二層的解碼時， 基于按照運動補償預測的土顛寸殘差聽進行升采樣。在一種實施方式中，當?shù)谝粚优c第二層的i^Jf率的比值為二時，使用雙線 性內(nèi)插濾波器對殘差數(shù)據(jù)進行升采樣。相反，當?shù)谝粚优c第二層的^f,率的比 值不為二時，使用6抽頭內(nèi)插滄波器對殘差數(shù)據(jù)進行升采樣。此外，本發(fā)明提供一種對視頻信號進行編碼的方法，包括通OT視頻信號 進行編碼來創(chuàng)建第一層的比特流；和通過基于第一層對視頻信號進行編碼來創(chuàng) 建第二層的比特流；其中，當對第一層進行升采樣并且將其用于第二層的編碼 時，對亮度數(shù)據(jù)和色度數(shù)據(jù)分別應用不同的升采樣方法。此外，本發(fā)明提供一種對編碼視頻比特^M行解碼的方法，包括對第一層 的比特流謝亍解碼；和基于第一層X寸第二層的比特》鎖行解碼；其中，當對第 一層進行升采樣并將其用于第二層的解碼時，對亮度數(shù)據(jù)和色度數(shù)據(jù)分別應用 不同的升采樣方法。。在一種實施方式中，使用6抽頭內(nèi)插搶波器對亮度數(shù)據(jù)進行升采樣，而對 色度數(shù)據(jù)使用雙線性內(nèi)插濾波器進行升采樣。在這種情況下，可以對色度數(shù)據(jù) 的升采樣應用權(quán)重，這些權(quán)重是基于第一層和第二層的色度數(shù)據(jù)采樣點之間的 相對位置和相移來確定的。層內(nèi)與圖像差異相應的殘差數(shù)據(jù)以兩倍進行升采樣時，使用同樣的方程式計算 要插入在四個特定色度數(shù)據(jù)采樣點之間的采樣點。在這種情況下，可以將所要 插入的的各個采樣點作為屬于這四個采樣點并位于對角線方向上的兩個相應像 素的平均值來計算。


結(jié)合附圖，從下文的詳細介紹中，本發(fā)明的上述和其它目的、特征和優(yōu)點 將會得到更加清晰的理解，其中圖1是圖解說明使用基本層的殘差數(shù)據(jù)對已經(jīng)以幀間模式進行了編碼并且 具有殘差數(shù)據(jù)的增強層進行解碼的實施例的示意圖；圖2是圖解說明在二 n方的情況下對4X4殘留塊進行升采樣的例子的示意圖；圖3是圖解說明使用基本層的解碼圖像數(shù)據(jù)對已經(jīng)以幀內(nèi)基7W莫式進行了 編碼的增強層進行解碼的實施例的示意圖；圖4是圖解說明宏塊、變換±央禾吩割的各種不同例子的示意圖；圖5是圖解說明按照本發(fā)明的第二實施例，使用不同的方法對具有殘差數(shù) 據(jù)的基本層的亮度和色度信號進行升采樣以及使用升采樣的結(jié)果對已經(jīng)以幀間 模式進行了編碼并具有殘差數(shù)據(jù)的增強層進行解碼的過程的示意圖；圖6是圖解說明按照本發(fā)明的第二實施例，使用不同的方法對具有解碼圖 像數(shù)據(jù)的基本層的亮度禾咆度信號進行升采樣并且使用升采樣的結(jié)果對已經(jīng)以 幀內(nèi)基本模式進行了編碼的增強層進行解碼的過程的示意圖；禾口圖7是圖解說明本發(fā)明的第二實施例中各個像素的相對位置的示意圖，其 中具有殘差數(shù)據(jù)的色度信號是按照二f^K行升采樣的。本發(fā)明的實施方式現(xiàn)在應當對附圖進行參看，其中在所有附圖中使用相同的附圖標記來表示 同樣或相似的組成部分。圖4圖解說明宏塊、變換±央和分害啲各種不同的例子。 宏塊的大小一般為16X 16像素。對4X4 ±央或8 X 8 ±央進行變換，比如DCT， 并且選擇編碼效率較高的一個。在這種情況下，術(shù)語分割、宏±央類型、或模式 指的是具有包括參考決的參考幀(參考索弓l)和/或表示到參考塊的位移的運動向量(參考索弓l和運動向量稱為運動信息)彼此一致的子i央合并而成的各種不 同形狀之一的塊，或者在使用運動補償預測方法對宏i央進行編碼時，多條運動信息彼此一致的塊組合而成的宏塊的分割。例如，在AVC標準中，確定了定義運動信息(例如模式或分割、參考索引 和運動向量)的最小單元。運動向量是基于具有4X4的最小尺寸的子塊定義的， 參考索引是基于具有8X8的最小尺寸的子宏塊定義的。而且，運動向量和參考 索引可以是各自基于具有16X 16的最大尺寸的宏塊定義的。當具有相同運動向 量的4X4子±央彼此合并時，可以為4X8、 8X4、 8X8、 8X16、 16X8或16 X16單元定義運動向量。同樣地，當具有相同參考索引的8X8子宏i央彼此合 并時，可以為8X16、 16X8或16X16單元定義參考索引。在MB0中，變換塊的尺寸是4X4，并且分割是由一個8X8塊、 一個8X 8塊、兩個8X4塊和兩個4X8i央組成的。在MB1中，變換塊的尺寸是8X8， 分割由16X8的模式(就是說，兩個16X8塊)組成。在MB2中，變換塊的尺 寸是8X8，并且分割由8X16模式(就是說，兩個8X16塊)組成。在MB3 中，變換塊的尺寸是4X4，并且分割由16X16模式(就是說， 一個16X16塊) 組成。在殘差升采樣中，如圖2中所示的存在于所要考慮的塊的邊界上的像素和 存在于塊內(nèi)部的像素會通過不同的操作弓I出新的像素。對于不存在于所要考慮的塊的邊界上的像素，可以統(tǒng)一地使用雙線性內(nèi)插 濾波器或6抽頭內(nèi)插濾波器。取決于像素相對于邊界的位置，對存在于塊邊界 上的像素執(zhí)行不同的操作。就是說，通過減少進行單獨操作的像素的數(shù)量，也 就是存在于邊界上的像素的數(shù)量，和增加可以統(tǒng)一處理的像素的數(shù)量，能夠簡 化殘差升采樣。因而，在本發(fā)明的第一實施例中，當執(zhí)行殘差升采樣時，僅針對經(jīng)運動補 償?shù)念A測分割考慮邊界，而不考慮變換塊的邊界。也就是說，只要變換塊的邊界不是經(jīng)運動補償?shù)念A測分割的邊界，對上采 樣的濾波可應用于變換塊的邊界之外。在這種情況下，基本層的邊界(不是增 強層的邊界)被作為變換塊的邊界和經(jīng)運動補償?shù)念A測分害啲邊界使用。在MB0中，在將兩個上部8X8預測塊的邊界、兩個左下側(cè)8X4預測塊 的邊界和兩個右下側(cè)4 X 8預測塊的邊界視為i央邊界，而不是將4X4變換塊的邊界視為塊邊界的情況下，對存在于邊界上的像素應用不同的操作，行殘差 升采樣。
在MB1中，兩個16X8預測塊的邊界，而不是8X8變換塊的邊界，是確 定是否應用升采樣濾波器的塊邊界。同樣地，在固2中，將兩個8X16預測i央 的邊界，而不是8X8變換塊的邊界，看作塊的邊界。而且，在MB3中，將16 X16宏塊的邊界，而不是4X4變換塊的邊界，看作塊的邊界。
一般來說，視頻信號是按照與色度信息Cb和Cr相關(guān)的分量和與亮度信息 Y相關(guān)的分量彼此分開地處理的。亮度信號與色度信號的采樣比率一般為4: 2: 0。色度信號的采樣點位于亮度信號的采樣點之間。即，對于視頻信號來說，色 度信號的采樣點數(shù)量小于亮度信號的采樣點數(shù)量。其原因在于，人眼的視覺神 經(jīng)對亮度信號相比于色度信號更敏感。
由此，在本發(fā)明的第二實施例中，對亮度信號和色度信號應用不同的升采 樣濾波器。應用于色度信號的升采樣濾波器比應用于亮度信號的要簡單。
圖5圖解說明按照本發(fā)明的第二實施例使用不同的方法對具有殘差數(shù)據(jù)的 基本層的亮度和色度信號進行升采樣并且使用升采樣結(jié)果對已經(jīng)以幀間模式進 行了編碼且具有殘差數(shù)據(jù)的增強層進行解碼的過程。
圖6圖解說明按照本發(fā)明的第二實施例使用不同的方法對具有已解碼圖像 數(shù)據(jù)的基本層的亮度和色度信號進行升采樣并且使用升采樣結(jié)果對已經(jīng)以幀內(nèi) 基勒莫式進行了編碼的增強層進行解碼的過程。
如圖5和6所示，對亮度和色度信號應用了不同的濾波方法。圖5和6中 的升采樣方法1 ^t亮度信號進行升采樣的濾波方法，圖5和6中的升采樣方 法2是對色度信號進行升采樣的濾波方法。
在本發(fā)明第二實施例中，例如，可以使用6抽頭內(nèi)插濾波器作為用于對亮 度信號進行升采樣的濾波器，并且，例如，可以使用雙線性內(nèi)插滄波器作為用 于對色度信號進行升采樣的濾波器。
同時，殘差數(shù)據(jù)由希望加以編碼的圖像塊與具有類似于該圖像塊的圖像數(shù) 據(jù)的參考塊之間的差值組成，從而使得數(shù)據(jù)的絕對值較小并且相鄰像素之間值 的變化較小。而且，如上所述，色度信號對人眼視神經(jīng)的朿微小于亮度信號。
這意味著，可以對帶有殘差數(shù)據(jù)的色度信號的升采樣應用比帶有殘差 的亮度信號的升采樣更簡單的方法。而且，還意味著，可以對帶有殘差數(shù)據(jù)的色度信號的升采樣(殘差預測模式)應用比帶有已解碼圖像數(shù)據(jù)的色度信號的 升釆樣(幀內(nèi)基^^莫式)更簡單的方法。
由此，例如，在基本層和增強層的^fjf率的比值是二n方的情況下，將邊
界(變換塊的邊界或經(jīng)運動補償?shù)念A測分害啲邊界)內(nèi)的色度信號的殘差升采
樣(圖5中的殘差升采樣方法2)定義為h=v=d=A+I>l l或 h=v=d=B+C+l》l，能夠減少升采樣所必須的計算量。
在這種情況下，在圖7中圖解說明了A，B，C,D，h，v和d的相對位置。不 使用不同的方程式計算將要插入在A, B, C和D色度信號的像素(采樣點)之間 的像素，而將各個像素作為位于對角線方向上的兩個相應像素的平均值使用同 一方程式簡單地來計算。
相反地，在基本層和增強層的分辨率的比值不是二n方的情況下，可以使 用雙線性內(nèi)插濾波器進行變換塊的邊界或經(jīng)運動補償?shù)念A測分害啲邊界內(nèi)的色 度信號的殘差升采樣，在這種情況下，考慮基本層和增強層的色g樣點(像 素)之間的相對位置和/或相移來確定權(quán)重。
而且，在幀內(nèi)基:^莫式的色度信號的升采樣(圖6中升采樣方法2)中， 使用比用于亮度信號的6抽頭內(nèi)插滄波器簡單的雙內(nèi)插濾波器對基本層色度信 號的像素進行升采樣。在這種情況下，也可以考慮基本層和增強層色度采樣點 之間的相對位置禾口/或相移來確定權(quán)重。
同時，在以殘差預測模式或幀內(nèi)基勒莫式)^f強層進行編碼的情況下，以 及在對以殘差預測模式或幀內(nèi)基本模式進行了編碼的增強層進行解碼的情況 下，執(zhí)行基本層的升采樣。
因而，按照本發(fā)明的升采樣方法可以應用于使用層間預測方法對視頻信號 進行編碼和解碼的編碼和解碼裝置。
而且，可以將運用了按照本發(fā)明的升采樣方法的解碼裝置安裝在移動通信 終端或記錄媒體播放裝置中。
因而，當在層間預測中對基本層升采樣時，要進行特別處理的像素數(shù)量減 少，因Jt爐過應用更加簡化的操作提高了升采樣的效率并減少了計算量。
雖然為了說明的目的公開了本發(fā)明的 實施方式，但本領(lǐng)域技術(shù)人員將 會意識到，各種不同的修改、增加和替換都是可行的，不會超出所附權(quán)利要求 中公開的本發(fā)明的范圍和精神。
權(quán)利要求
1.一種對視頻信號進行編碼的方法，包括通過對所述視頻信號進行編碼來創(chuàng)建第一層的比特流；以及通過基于所述第一層對所述視頻信號進行編碼來創(chuàng)建第二層的比特流；其中，當對所述第一層內(nèi)與圖像差異相對應的殘差數(shù)據(jù)進行升采樣并且將其用于所述第二層的編碼時，基于按照運動補償預測的塊來對所述殘差數(shù)據(jù)進行升采樣。
2. 如權(quán)禾腰求1所述的方法，其特征在于，當所述第一層和所述第二 層的分辨率的比值為二時，使用雙線性內(nèi)插濾波器對所述殘差數(shù)據(jù)進行升采樣。
3. 如權(quán)利要求1所述的方法，其特征在于，當戶皿第一層和所述第二層的士，率的比率不為二時，i頓6抽頭內(nèi)插滄波器對所述殘差數(shù)據(jù)進行升采樣。
4. 一種對視頻信號進行編碼的方法，包括 通^) 寸所述視頻信號進行編碼來創(chuàng)建第一層的比特流；以及 通過基于所述第一層對所述視頻信號進行編碼來創(chuàng)建第二層的比特流； 其中，當對所述第一層進行升采樣并且將其用于所述第二層的編碼時，對亮度數(shù)據(jù)和色度數(shù)據(jù)分別應用不同的升采樣方法。
5. 如權(quán)利要求4所述的方法，其特征在于，所述亮度數(shù)據(jù)是使用6抽 頭內(nèi)插濾波器 行升采樣的，而所述色度數(shù)據(jù)是采用雙線性內(nèi)插濾波器M 行升采樣的。
6. 如權(quán)利要求5所述的方法，其特征在于，對所述色度數(shù)據(jù)的升采樣 應用權(quán)重，所述權(quán)重是基于所述第一層和所述第二層的色度 采樣點之間的 相對位置和域相移確定的。
7. 如權(quán)利要求4所述的方法，其特征在于，當對應于所述第一層和第 二層的分辨率的比值對所述第一層內(nèi)的與圖像差異相對應的殘差數(shù)據(jù)以兩倍進 行升采樣時，使用同樣的方程式來計算要插入在四個特定色度數(shù)據(jù)采樣點之間 的采樣點。
8. 如權(quán)利要求7所述的方法，其特征在于，所，入的采樣點中的每 一個是作為屬于所述四個采樣點并位于對角線方向上的兩個相應像素的平均值來計算的。
9. 如權(quán)利要求4所述的方法，其特征在于，對所述第一層內(nèi)與圖像差 異相對應的殘差數(shù)據(jù)或已解碼 進行升采樣，并將其用于所述第二層的編碼。
10. —種對已編碼視頻比特》腿行解碼的方法，包括 對第一層的比特^i^，軒馬；以及 基于所述第一層對第二層的比特^it行解碼；其中，當對所述第一層內(nèi)與圖像差異相對應的殘差數(shù)據(jù)進行升采樣荊每其 用于所述第二層的解碼時，基于按照運動補償預測的i央對所述殘差數(shù)據(jù)進行升 采樣。
11. 如權(quán)利要求10所述的方法，其特征在于，當所述第一層和所述第二層 的分辨率彼此的比值為二時，使用雙線性內(nèi)插濾波器對所述殘差數(shù)據(jù)進行升采 樣。
12. 如權(quán)禾腰求10所述的方法，其特征在于，當所述第一層和所述第二層 的分辨率彼此的比值不為二時，i頓6抽頭內(nèi)插滄波器對所述殘差數(shù)據(jù)進行升 采樣。
13. —種對已編碼視頻比特'縦行解碼的方法，包括 對第一層的比特流進t，軒馬；以及 基于所述第一層對第二層的比特》鍵行解碼；其中，當對所述第一層進行升采樣并將其用于所述第二層的解碼時，對亮 度數(shù)據(jù)和色度數(shù)據(jù)分別應用不同的升采樣方法。
14. 如權(quán)利要求13所述的方法，其特征在于，戶，亮度數(shù)據(jù)是使用6抽頭 內(nèi)插濾波器來進行升采樣的，而所述色度數(shù)據(jù)是使用雙線性內(nèi)插 麼波器，行 升采樣的。
15. 如權(quán)禾腰求14戶腿的方法，其特征在于，對所述色度數(shù)據(jù)的升采樣應 用權(quán)重，所述權(quán)重是基于所述第一層和所述第二層的色度數(shù)據(jù)采樣點之間的相 對位置和/或相移來確定的。
16. 如權(quán)利要求13所述的方法，其特征在于，當對應于戶;M第一層和第二層的分辨率彼此的比值對所述第一層內(nèi)與圖像差異相對應的殘差數(shù)據(jù)以兩倍進 行升采樣時，使用同樣的方程式來計算要插入在四個特定色度數(shù)據(jù)采樣點之間 的采樣點。
17. 如權(quán)禾頓求16戶腿的方法，其特征在于，所要插入的采樣點中的每一 個是作為屬于所述四個采樣點并位于對角線方向上的兩個相應像素的平均值來 計算的。
18. 如權(quán)利要求13所述的方法，其特征在于，對所述第一層內(nèi)與圖像差異 相對應的殘差數(shù)據(jù)或已解碼 進行升采樣，并將其用于所述第二層的編碼。
全文摘要
本文公開了一種對視頻信號進行編碼的方法。該方法包括通過對視頻信號進行編碼來創(chuàng)建第一層的比特流，和通過基于第一層對視頻信號進行編碼來創(chuàng)建第二層的比特流。當對第一層內(nèi)與圖像差異相應的殘差數(shù)據(jù)進行升采樣并將其用于第二層的編碼時，針對基于運動補償預測的各個塊來對殘差數(shù)據(jù)進行升采樣。
文檔編號H04N7/24GK101223783SQ200680026067
公開日2008年7月16日 申請日期2006年7月21日 優(yōu)先權(quán)日2005年7月21日
發(fā)明者全柄文, 尹度鉉, 樸志皓, 樸勝煜, 金東奭 申請人:Lg電子株式會社