專利名稱：用于色彩圖像的視頻編碼/解碼裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于色彩圖像的視頻編碼/解碼裝置，特別是，涉及一種 基于色彩圖像的色彩信息和分辨率信息執(zhí)行最佳編碼/解碼的裝置和方法。
背景技術(shù)：
傳統(tǒng)的視頻壓縮方法將R-G-B圖像格式的圖像轉(zhuǎn)換為適于壓縮的 Y-Cb-Cr圖像格式的圖像，以便獲得高壓縮率。同時(shí)，傳統(tǒng)的視頻壓縮方法將 色度(Cb， Cr)分量大小減少到1/4，并且編碼Cb和Cr分量，以便增加壓 縮效率。但是，傳統(tǒng)的視頻壓縮方法不適于要求高質(zhì)量圖像恢復(fù)的應(yīng)用。這 是因?yàn)镃b和Cr分量的二次抽樣產(chǎn)生能量損失，當(dāng)R-G-B分量轉(zhuǎn)換為Y-Cb-Cr 分量時(shí)產(chǎn)生相應(yīng)的質(zhì)量損失。為了減少這些損失，有必要以與Y分量相同的 分辨率編碼cb和Cr分量。
同時(shí)，為了編碼Y-Cb-Cr分量時(shí)獲得更好的質(zhì)量，有必要通過直接編碼 R-G-B分量減少圖像的質(zhì)量損失。但是，傳統(tǒng)的視頻壓縮方法使用傳統(tǒng)的 Y-Cb-Cr編碼器編碼R-G-B分量，而不使用R-G-B色彩分量中不同于Y-Cb-Cr 分量的特性。上述傳統(tǒng)的視頻壓縮方法的 一個(gè)示例是ISO/正C MPEG和ITU-T VCEG的聯(lián)合視頻組開發(fā)的AVC/H.264標(biāo)準(zhǔn)。
但是，由于R-G-B分量和Y-Cb-Cr分量的圖像特性不同，如果用傳統(tǒng)的 Y-Cb-Cr編碼器編碼R-G-B分量，編碼效率很低。例如，Y-Cb-Cr圖像的各個(gè) 分量(Y， Cb, Cr)在相同的區(qū)域內(nèi)不相關(guān)，而R-G-B圖像的各個(gè)分量(R， G， B)則相關(guān)。
同樣，R-G-B圖像的R， G, B分量具有相似的頻率特性，但是，在Y-Cb-Cr 圖像中，由于R-G-B圖像轉(zhuǎn)換為Y-Cb-Cr圖像時(shí)執(zhí)行的處理，作為亮度分量 的Y分量與作為色度分量的Cb和Cr分量頻率特性不同。同樣，傳統(tǒng)的視頻壓縮方法沒有將R-G-B圖像和Y-Cb-Cr圖像的特性正確反應(yīng)到編碼中。同時(shí)， 傳統(tǒng)的視頻壓縮方法沒有在編碼時(shí)依照圖像大小考慮頻率特性的改變。

發(fā)明內(nèi)容
本發(fā)明提供了一種使用平面間預(yù)測增強(qiáng)R-G-B圖像的編碼/解碼效率的 視頻編碼/解碼裝置和方法。
本發(fā)明還提供了 一種根據(jù)視頻編碼/解碼的色彩信息和分辨率信息執(zhí)行 有效運(yùn)動補(bǔ)償?shù)倪\(yùn)動補(bǔ)償裝置和方法。
本發(fā)明還提供了 一種根據(jù)視頻編碼/解碼的色彩信息和分辨率信息有效 減少塊效率的解塊濾波器和解塊濾波方法。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種視頻編碼裝置，包括第一運(yùn)動預(yù) 測單元，基于輸入圖像的第一運(yùn)動預(yù)測結(jié)果，為輸入圖像產(chǎn)生第一預(yù)測剩余 (residue)圖像；圖像信息檢測單元，在R-G-B圖像的色彩分量中設(shè)置參考色 彩分量，確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖像，并確定輸入圖像的 色彩分量是否為參考色彩分量；和第二運(yùn)動預(yù)測單元，如果輸入圖像是R-G-B 圖像并且如果輸入圖像的色彩分量不是參考色彩分量，則基于參考色彩分量， 對第一預(yù)測剩余圖像執(zhí)行運(yùn)動預(yù)測并且產(chǎn)生第二預(yù)測剩余圖像，生成第二預(yù) 測剩余圖像。
根據(jù)本發(fā)明的另 一個(gè)方面，提供了 一種由編碼器執(zhí)行的視頻編碼方法， 包括基于輸入圖像的第一運(yùn)動預(yù)測結(jié)果，為輸入圖像產(chǎn)生第一預(yù)測剩余圖 像；在R-G-B圖像的色彩分量中設(shè)置參考色彩分量，確定輸入圖像是Y-Cb-Cr 圖像還是R-G-B圖像，確定輸入圖像的色彩分量是否為參考色彩分量；如果 輸入圖像是R-G-B圖像并且如果輸入圖像的色彩分量不是參考色彩分量，基 于參考色彩分量，對第 一預(yù)測剩余圖像執(zhí)行運(yùn)動預(yù)測并且產(chǎn)生第二預(yù)測剩余 圖像。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種視頻解碼裝置，包括第一恢復(fù) 單元，對編碼圖像執(zhí)行預(yù)定操作，并且產(chǎn)生編碼圖像的第一預(yù)測剩余圖像； 圖像信息檢測單元，確定編碼圖像是R-G-B圖像還是Y-Cb-Cr圖像，并且確 定編碼圖像的色彩分量是否為R-G-B圖像的參考色彩分量；第二恢復(fù)單元， 如果編碼圖像是R-G-B圖像并且如果編碼圖像的色彩分量不是參考色彩分 量，基于參考色彩分量產(chǎn)生編碼圖像的第二預(yù)測剩余圖像；解塊濾波器單元，減少影響基于第 一預(yù)測剩余圖像和第二預(yù)測剩余圖像恢復(fù)的編碼圖像的解碼 圖像的塊影響。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種視頻解碼方法，包括對編碼圖 像執(zhí)行預(yù)定操作，并且產(chǎn)生編碼圖像的第一預(yù)測剩余圖像；確定編碼圖像是 R-G-B圖像還是Y-Cb-Cr圖像，并且確定編碼圖像的色彩分量是否為R-G-B 圖像的參考色彩分量；如果編碼圖像是R-G-B圖像并且如果編碼圖像的色彩 分量不是參考色彩分量，基于參考色彩分量產(chǎn)生編碼圖像的第二預(yù)測剩余圖 像；減少影響基于第一預(yù)測剩余圖像和第二預(yù)測剩余圖像恢復(fù)的編碼圖像的 解碼圖像的塊影響。
根據(jù)本發(fā)明的另 一個(gè)方面，提供了 一種包含在解碼器或編碼器中的運(yùn)動 補(bǔ)償裝置，包括圖像信息檢測器，檢測輸入圖像的色彩信息；濾波器抽頭 選擇器，基于輸入圖像的色彩信息，選擇用于補(bǔ)償?shù)臑V波器抽頭的長度；內(nèi) 插器，使用具有所選長度的濾波器抽頭內(nèi)插輸入圖像；和運(yùn)動補(bǔ)償器，為內(nèi) 插結(jié)果執(zhí)行運(yùn)動補(bǔ)償。
根據(jù)本發(fā)明的另 一個(gè)方面，提供了 一種由編碼器或解碼器執(zhí)行的運(yùn)動補(bǔ) 償方法，包括檢測輸入圖像的色彩信息；基于輸入圖像的色彩信息，選擇 用于內(nèi)插的濾波器抽頭的長度；使用具有所選長度的濾波器抽頭內(nèi)插輸入圖 像；為內(nèi)插結(jié)果執(zhí)行運(yùn)動補(bǔ)償。
根據(jù)本發(fā)明的另 一個(gè)方面，提供了 一種包含在解碼器或編碼器中的運(yùn)動 補(bǔ)償裝置，包括圖像信息檢測器，檢測輸入圖像的分辨率和色彩信息；濾 波器抽頭選擇器，基于輸入圖像的分辨率信息和色彩信息，選擇用于內(nèi)插的 濾波器抽頭的長度；內(nèi)插器，使用具有所選長度的濾波器抽頭內(nèi)插輸入圖像； 運(yùn)動補(bǔ)償器，為內(nèi)插結(jié)果執(zhí)行運(yùn)動補(bǔ)償。
根據(jù)本發(fā)明的另 一個(gè)方面，提供了 一種由解碼器或編碼器執(zhí)行的運(yùn)動補(bǔ) 償方法，包括檢測輸入圖像的分辨率信息和色彩信息；基于輸入圖像的分 辨率信息和色彩信息，選擇用于內(nèi)插的濾波器抽頭的長度；使用具有所選長 度的濾波器抽頭內(nèi)插輸入圖像；為內(nèi)插結(jié)果執(zhí)行運(yùn)動補(bǔ)償。
根據(jù)本發(fā)明的另 一個(gè)方面，提供了 一種包含在視頻解碼器或視頻編碼器 中的解塊濾波器裝置，包括圖像信息檢測器，檢測圖像的色彩信息；解塊 濾波器選擇器，基于色彩信息選擇用于減少該圖像的塊影響的解塊濾波器抽 頭的長度；濾波單元，使用具有所選抽頭長度的解塊濾波器濾波該圖像。根據(jù)本發(fā)明的另 一個(gè)方面，提供了 一種由解碼器或編碼器執(zhí)行的解塊濾
波器選擇方法，包括檢測圖像的色彩信息；基于色彩信息選擇用于減少圖 像的塊影響的解塊濾波器的長度；使用具有所選長度的解塊濾波器濾波圖像。


通過參考附圖詳細(xì)描述實(shí)施例，本發(fā)明的上述和其他特征和優(yōu)點(diǎn)將更清 楚，附圖為
圖1A和1B是描述根據(jù)本發(fā)明實(shí)施例的視頻編碼裝置的結(jié)構(gòu)的方塊圖； 圖2是才艮據(jù)本發(fā)明一個(gè)實(shí)施例的^f見頻編碼方法的流程圖； 圖3A是才艮據(jù)本發(fā)明 一個(gè)實(shí)施例的視頻解碼裝置的結(jié)構(gòu)的方塊圖； 圖3B是4艮據(jù)本發(fā)明一個(gè)實(shí)施例的視頻解碼方法的流程圖； 圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于圖像的色彩信息補(bǔ)償運(yùn)動的運(yùn)動補(bǔ) 償裝置的方塊圖5是描述根據(jù)本發(fā)明一個(gè)實(shí)施例，依照圖像的色彩信息執(zhí)行運(yùn)動補(bǔ)償 的方法的流程圖6是根據(jù)本發(fā)明另一個(gè)實(shí)施例、基于圖像的色彩信息和分辨率信息補(bǔ) 償運(yùn)動的運(yùn)動補(bǔ)償裝置的方塊圖7是描述根據(jù)本發(fā)明另一個(gè)實(shí)施例、基于圖像的色彩信息和分辨率信 息補(bǔ)償運(yùn)動的方法的流程圖8是解釋使用長標(biāo)記(long tab)濾波器的內(nèi)插(interpolation)方法的圖9是解釋^f吏用短標(biāo)記(short tab)濾波器的內(nèi)插方法的^L圖IO是描述解塊濾波器單元的視圖11是描述根據(jù)本發(fā)明一個(gè)實(shí)施例、根據(jù)圖像的色彩信息選擇解塊濾波
器的方法的流程圖12A和12B描述了將被輸入到解塊濾波器的宏塊的垂直和水平邊界；
圖13A和13B描述了 4x4塊的垂直和水平邊界的圖像耳又樣；
圖14A和14B是描述根據(jù)本發(fā)明一個(gè)實(shí)施例的平面間預(yù)測編碼方法的仿
真結(jié)果的圖表；和
圖15A和15B是描述使用根據(jù)本發(fā)明的運(yùn)動補(bǔ)償裝置執(zhí)行編碼時(shí)的仿真
結(jié)果的圖表。
8
具體實(shí)施例方式
在下文中，將參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。所有圖中相同的附圖 標(biāo)記表示相同的分量。
圖la是根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻編碼裝置的結(jié)構(gòu)的方塊圖。 參考圖la，本發(fā)明一個(gè)實(shí)施例的視頻編碼裝置包括第一運(yùn)動預(yù)測單元 100,圖像信息檢測單元110，第二運(yùn)動預(yù)測單元120，和編碼單元130。第 一運(yùn)動預(yù)測單元100包括平面間預(yù)測器102,平面內(nèi)預(yù)測器104，和預(yù)測剩 余計(jì)算器106。
第一運(yùn)動預(yù)測單元100的平面間預(yù)測器102和平面內(nèi)預(yù)測器104基于輸 入圖像的時(shí)間和空間相鄰圖像，執(zhí)行輸入圖像的運(yùn)動預(yù)測。平面間預(yù)測器102 采用與輸入圖像時(shí)間相鄰的先前恢復(fù)的圖像，執(zhí)行輸入圖像的運(yùn)動預(yù)測。平 面內(nèi)預(yù)測器104利用與輸入圖像空間相鄰的輸入圖像的編碼單元塊，執(zhí)行輸 入圖像的運(yùn)動預(yù)測。通常，由于初始輸入圖像沒有先前恢復(fù)的圖像，平面內(nèi) 預(yù)測器104對初始輸入圖像執(zhí)行運(yùn)動預(yù)測，平面間預(yù)測器102為隨后的輸入 圖像執(zhí)行運(yùn)動預(yù)測。預(yù)測剩余計(jì)算器106利用輸入圖像和平面間預(yù)測器102 或平面內(nèi)預(yù)測器104的運(yùn)動預(yù)測結(jié)果之間的差值，產(chǎn)生第一預(yù)測剩余圖像。
同樣的，第一運(yùn)動預(yù)測單元IOO根據(jù)輸入圖像的色彩信息和分辨率信息， 選擇性的使用具有不同抽頭長度的濾波器抽頭。這將在下文中參考圖4到9 if纟田^笛ii。
圖像信息檢測單元IIO確定輸入圖像是R-G-B圖像還是Y-Cb-Cr圖像。 同樣的，圖像信息檢測單元110感覺輸入圖像的色彩分量。也就是說，圖像 信息檢測單元110確定輸入圖像的色彩分量是R-G-B圖像的R、 G、或B分 量，還是Y-Cb-Cr圖像的Y (亮度)、Cb、或Cr(色度)分量。同樣的，圖 像信息檢測單元IIO設(shè)置R-G-B圖像的色彩分量中的特定色彩分量為參考色 彩分量。也就是說，R、 G、和B分量中的一個(gè)可被設(shè)置為參考色彩分量。在 下文中，假設(shè)G分量被設(shè)置為參考色彩分量。
如果輸入圖像的色彩分量是R-G-B圖像的參考色彩分量，第二運(yùn)動預(yù)測 單元120基于該參考色彩分量，對從第一運(yùn)動預(yù)測單元IOO輸出的第一預(yù)測 剩余圖像執(zhí)行運(yùn)動預(yù)測，并產(chǎn)生第二預(yù)測剩余圖像。在當(dāng)前輸入圖像被接收 之前，第二預(yù)測單元120使用的參考色彩分量被接收、編碼和解碼。更具體 的，第二運(yùn)動預(yù)測單元120基于已編碼和解碼過的參考色彩分量的預(yù)測剩余圖像，執(zhí)行運(yùn)動預(yù)測。
例如，如果參考色彩分量是G分量，并且輸入圖像的色彩分量是B分量。 第一運(yùn)動預(yù)測單元100基于輸入圖像的運(yùn)動預(yù)測結(jié)果，為B和G分量產(chǎn)生第 一預(yù)測剩余。同樣，圖像信息檢測單元110確定輸入圖像是R-G-B圖像，并 且輸入圖像的色彩分量是與參考色彩分量(G分量)不同的色彩分量(例如， B分量)。第二運(yùn)動預(yù)測單元120基于已編碼和解碼過的參考色彩分量(G分 量)的第一編碼預(yù)測剩余圖像，對輸入圖像(B分量)的第一預(yù)測剩余圖像 執(zhí)行平面間預(yù)測，產(chǎn)生第二預(yù)測剩余圖像。也就是說，具有B分量的輸入圖 像被第一運(yùn)動預(yù)測單元IOO和第二運(yùn)動預(yù)測單元120預(yù)測兩次。
編碼單元130編碼第一運(yùn)動預(yù)測單元100產(chǎn)生的第一預(yù)測剩余圖像和第 二運(yùn)動預(yù)測單元120產(chǎn)生的第二預(yù)測剩余圖^f象，產(chǎn)生比特流。更具體的，編 碼單元130執(zhí)行預(yù)測剩余圖像的離散余弦變換(DCT )或者離散整數(shù)變換132， 執(zhí)行變換值的量化和熵編碼，產(chǎn)生編碼圖像(比特流)。
由于Y-Cb-Cr圖像通過色彩座標(biāo)轉(zhuǎn)換方法從R-G-B圖像轉(zhuǎn)換得到， Y-Cb-Cr圖像和R-G-B圖^象有不同的編碼特性。也就是說，Y-Cb-Cr圖像的各 個(gè)Y、 Cb、 Cr分量在相同的空間位置相互之間不相關(guān)，但是R-G-B圖像的各 個(gè)分量相互之間相關(guān)。因此，本發(fā)明的視頻編碼裝置編碼時(shí)，根據(jù)輸入圖像 是R-G-B圖像還是Y-Cb-Cr圖像，使用不同的預(yù)測方法。
因此，本發(fā)明的視頻編碼裝置將R-G-B圖像的一個(gè)色彩分量設(shè)置為參考 色彩分量，用傳統(tǒng)編碼方法編碼參考色彩分量。同樣，視頻編碼裝置利用空 間相鄰像素或時(shí)間相鄰像素，預(yù)測R-G-B圖像的參考色彩分量之外的剩余兩 種色彩分量，并且基于參考色彩分量對預(yù)測結(jié)果進(jìn)行再次預(yù)測。
圖lb是根據(jù)本發(fā)明另 一個(gè)實(shí)施例的視頻編碼裝置的結(jié)構(gòu)的方塊圖。
參考圖lb，本發(fā)明的視頻編碼裝置包括第一運(yùn)動預(yù)測單元100,圖像 信息檢測單元110，第二運(yùn)動預(yù)測單元120,編碼單元130,第一恢復(fù)單元140, 第二恢復(fù)單元150，和解塊濾波器單元160。第一運(yùn)動預(yù)測單元100包括平 面間預(yù)測器IOI，平面內(nèi)預(yù)測器104，預(yù)測剩余計(jì)算器107。
輸入圖像(F(n))170是Y-Cb-Cr圖像或者R-G-B圖像。輸入圖像170被本 發(fā)明的視頻編碼裝置進(jìn)行逐塊處理。第一運(yùn)動預(yù)測單元100包括平面間預(yù)測 器101和平面內(nèi)預(yù)測器104，上述平面間預(yù)測器101具有運(yùn)動估計(jì)器(ME) 102和運(yùn)動補(bǔ)償器(MC) 103，用于基于先前恢復(fù)的圖像(Fr(n-l))172估計(jì)和預(yù)測運(yùn)動，來增強(qiáng)編碼效率，上述平面內(nèi)預(yù)測器104具有空間估計(jì)器(SE) 105和空間預(yù)測器(SP) 106，用于基于空間相鄰塊估計(jì)和預(yù)測運(yùn)動。
根據(jù)Y-Cb-Cr (或者Y-U-V)圖像和R-G-B圖像的各個(gè)色彩分量改變運(yùn) 動補(bǔ)償?shù)膬?nèi)插方法。首先，預(yù)測剩余計(jì)算器107基于輸入圖像170和平面間 預(yù)測器101或者平面內(nèi)預(yù)測器104獲得的運(yùn)動預(yù)測結(jié)果，獲得編碼預(yù)測剩余 圖像AF(n)。如果輸入圖像170是Y-Cb-Cr圖像，預(yù)測剩余計(jì)算器107使用預(yù) 測剩余圖像AF(n)來獲得預(yù)測剩余AY(n)、 AU(n)和AV(n)。如果輸入圖像170 是R-G-B圖像，預(yù)測剩余計(jì)算器107使用預(yù)測剩余圖像AF(n)來獲得預(yù)測剩 余AR(n)、 AG(n)和AB(n)。
編碼單元130對Y-Cb-Cr圖像的預(yù)測剩余AY(n)、 AU(n)、 AV(n)或者R-G-B 圖像的預(yù)測剩余AG(n)執(zhí)行DCT (或者離散整數(shù)變換)、量化和熵編碼，從而 壓縮預(yù)測剩余。
如果輸入圖像170是R-G-B圖像，第二運(yùn)動預(yù)測單元120的預(yù)測剩余預(yù) 測器(RP ) 122利用恢復(fù)的G分量的預(yù)測剩余AGr(n)124，執(zhí)行R和B分量 的預(yù)測剩余AB(n)和AR(n)的平面間預(yù)測。
執(zhí)行DCT (或者離散整數(shù)變換)、量化和熵編碼，從而壓縮預(yù)測剩余圖像。 DCT由ISO/正C MPEG-4標(biāo)準(zhǔn)的第二部分定義，離散整數(shù)變換由ISO/IEC MPEG和ITU-T VCEG的聯(lián)合視頻組開發(fā)的AVC/H.264標(biāo)準(zhǔn)定義。
第一恢復(fù)單元140對由編碼單元130變換和量化的圖像(將被恢復(fù))執(zhí) 行逆量化，以便圖像可被用于使用空間相鄰塊或者時(shí)間隨后圖像的預(yù)測，隨 后對圖像執(zhí)行反離散余弦變換(IDCT),因此產(chǎn)生圖像的各個(gè)色彩分量的預(yù) 測剩余圖像。
如果將被恢復(fù)的圖像是Y-Cb-Cr圖像，第一恢復(fù)單元140獲得恢復(fù)的預(yù) 測剩余圖像AYr(n)、 AUr(n)和AVr(n)。同樣的，如果將被恢復(fù)的圖像是R-G-B 圖像，第一恢復(fù)單元140獲得恢復(fù)的預(yù)測剩余圖像AGr(n)、AB，r(n)和AR，r(n)。 預(yù)測剩余圖像AGr(n)存儲在緩沖器124中，以便由第二運(yùn)動預(yù)測單元120進(jìn) 行平面間預(yù)測。
如果將被恢復(fù)的圖像的色彩分量是R和B分量，第二恢復(fù)單元150利用 G分量的恢復(fù)的預(yù)測剩余圖像AGr(n)，獲得R和B分量的恢復(fù)的預(yù)測剩余圖 像ABr(n)和ARr(n)。 Y-Cb-Cr圖像的恢復(fù)的預(yù)測剩余圖像AYr(n)、 AUr(n)和
iiAVr(n)或者R-G-B圖像的恢復(fù)的預(yù)測剩余圖像AGr(n)和ABr(n)作為輸入Fr(n) 輸入到解塊濾波器單元160。
解塊濾波器(環(huán)路濾波器)單元160將輸入Fr(n)加到第一運(yùn)動預(yù)測單元 IOO產(chǎn)生的平面間或平面內(nèi)預(yù)測結(jié)果，濾波相加后的結(jié)果，因此減少塊影響。 本發(fā)明的解塊濾波器單元160根據(jù)Y-Cb-Cr (或者Y-U-V )圖像和R-G-B圖 像的各個(gè)分量，在塊邊界區(qū)域使用不同的濾波器抽頭長度。將在下文中參考 圖10和11詳細(xì)描述。
圖2是描述根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻編碼方法的流程圖。
參考圖la和2，在步驟S200，第一運(yùn)動預(yù)測單元IOO對輸入圖像執(zhí)行時(shí) 間/空間預(yù)測(平面間預(yù)測/平面內(nèi)預(yù)測)。在步驟S210,圖像信息檢測單元110 設(shè)置G分量為R-G-B圖像的參考色彩分量，確定輸入圖像是否為R-G-B圖像。 在步驟S220,如果輸入圖像是R-G-B圖像，圖像信息4企測單元IIO確定輸入 圖像的色彩分量是否為參考色彩分量G分量。如果輸入圖像的色彩分量是R 或者B分量，第二運(yùn)動預(yù)測單元120使用在步驟S306恢復(fù)的G分量的預(yù)測 剩余圖像，對各個(gè)分量執(zhí)行平面間預(yù)測。換句話說，本發(fā)明的視頻編碼方法 使用第一運(yùn)動預(yù)測單元100，對除參考色彩分量之外的不同色彩分量執(zhí)行運(yùn) 動預(yù)測，接著基于該參考色彩分量，對不同色彩分量執(zhí)行運(yùn)動預(yù)測。由第一 運(yùn)動預(yù)測單元IOO或者第二運(yùn)動預(yù)測單元IIO獲得的預(yù)測剩余圖像通過DCT (或者離散整數(shù)變換)、量化和熵編碼進(jìn)行壓縮。
在下文中，將詳細(xì)描述應(yīng)用于R-G-B圖像的除參考色彩分量之外的R和 B分量的平面內(nèi)預(yù)測。首先，使用輸入圖像對具有G分量的輸入圖像執(zhí)行運(yùn) 動預(yù)測，并從運(yùn)動預(yù)測結(jié)果和輸入圖像之間的差值獲得G分量的預(yù)測剩余圖 像AG。該預(yù)測剩余圖像AG可用等式1表示。
△G=G-Gp ...... ( 1 )
其中，Gp是使用與G分量空間相鄰的G分量圖像或者與G分量時(shí)間相 鄰的G分量圖像的預(yù)測值。預(yù)測剩余圖像事實(shí)上經(jīng)歷了熵編碼。
與Y、 Cb和Cr分量相比，G、 R和B分量之間的相關(guān)性仍然很大。為了 使用G分量和R、 B分量之間的相似性，R和B分量與G分量一樣被時(shí)間和 空間預(yù)測。因此，預(yù)測剩余圖像AR和AB通過下面的等式獲得。
△R=R-Rp ...... (2)
△B=B-Bp ...... (3)其中，Rp和Bp是使用R和B分量的空間或時(shí)間相鄰圖像預(yù)測的R和B 分量的預(yù)測剩余值。預(yù)測剩余值減去G分量的編碼和解碼的預(yù)測剩余圖像的 線性變換值，因此R和B分量的平面間預(yù)測剩余圖像AR，和AG，通過下面的 等式4和5獲得。
△R，=AR-f(AGr)= AR-(a.AGr+b) ...... (4)
△B，=AB-f(AGr)=AB-(c-AGr+d) ...... (5)
與R和B分量的時(shí)間/空間預(yù)測剩余AR和AB相比，這些值編碼的數(shù)據(jù) 量很小，因此編碼效率可被增強(qiáng)。這是因?yàn)槔妙A(yù)測剩余圖像AG、 AR和AB 之間的相關(guān)性很大的事實(shí)，通過線性函數(shù)表示預(yù)測剩余AG和AR之間的關(guān)系 以及預(yù)測剩余AG和AB之間的關(guān)系，預(yù)測剩余圖像AR和AB可近似于AG 的函數(shù)。在下文中，當(dāng)使用G分量的預(yù)測剩余預(yù)測R分量的預(yù)測剩余時(shí)，值 a和b (等式6和7 )是近似線性函數(shù)的灰度(gradation)和偏差，當(dāng)使用G分 量的預(yù)測剩余預(yù)測B分量的預(yù)測剩余時(shí)，值c和d (等式8和9 )是近似線性
函數(shù)的灰度和偏差。
a二cov(AG，AR)/(r2AG ...... (6)
b=E(AR)-a.E(AG) ...... (7)
c=cov(AG，AB)/j2ag ...... (8)
d= E(AB)-c-E(AG) ...... (9)
其中，cov(.)是協(xié)方差，E(.)是值的平均，^是方差。
圖3a是描述根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻解碼裝置的結(jié)構(gòu)的方塊圖。
參考圖3a，本發(fā)明一個(gè)實(shí)施例的視頻解碼裝置包括第一恢復(fù)單元300,
圖像信息檢測器310,第二恢復(fù)單元320，運(yùn)動預(yù)測單元330,解塊(deblock)
濾波器340。
本發(fā)明的視頻解碼裝置從壓縮比特流(也就是編碼的圖像)恢復(fù)圖像。 第一恢復(fù)單元300 4丸行壓縮比特流(數(shù)據(jù))的熵解碼302、逆量化304、和反 離散整數(shù)變換306,并且如果壓縮比特流是Y-Cb-Cr圖像，則獲得Y-Cb-Cr 圖像的各個(gè)分量的恢復(fù)的預(yù)測剩余圖像AYr(n)、 AUr(n)和AVr(n)。同時(shí)，如 果壓縮比特流是R-G-B圖像，第一恢復(fù)單元300獲得恢復(fù)的預(yù)測剩余圖像 AGr(n)、 AB，r(n)和AR，r(n)。
圖像信息檢測器310確定壓縮比特流是Y-Cb-Cr圖像還是R-G-B圖像， 確定壓縮比特流的色彩分量是否為R-G-B圖像的參考色彩分量。在下文中，假設(shè)G分量被設(shè)為參考色彩分量。
如果壓縮比特流是Y-Cb-Cr圖像或者是R-G-B圖像的參考色彩分量，第 一恢復(fù)單元300恢復(fù)的預(yù)測剩余圖像是將被輸入到運(yùn)動預(yù)測單元330的預(yù)測 剩余圖像AFr(n)352。
如果壓縮比特流是R-G-B圖像的B或者R分量(也就是除參考色彩分量 之外的不同分量)，第二恢復(fù)單元320存儲G分量的預(yù)測剩余圖像AGr(n)， 用于平面間預(yù)測，以便恢復(fù)R和B分量的預(yù)測剩余圖像。
同時(shí)，如果比特流用視頻編碼器的平面間預(yù)測編碼(圖la和lb)，第二 恢復(fù)單元320將由運(yùn)動預(yù)測單元330的MC (運(yùn)動比較器)332獲得的先前圖 像Fr(n-l)的平面間預(yù)測值與由第一恢復(fù)單元300和第二恢復(fù)單元320獲得的 預(yù)測剩余圖像相加，并獲得R-G-B或Y-Cb-Cr圖像的各個(gè)分量的恢復(fù)值。如 果比特流用平面內(nèi)預(yù)測編碼，第二恢復(fù)單元320將由運(yùn)動預(yù)測器330的SP(空 間預(yù)測器)334獲得的平面內(nèi)預(yù)測值與第一恢復(fù)單元330和第二恢復(fù)單元330 獲得的預(yù)測剩余圖像相加，并獲得R-G-B或Y-Cb-Cr圖像的各個(gè)分量的恢復(fù) 值。其中，根據(jù)Y-Cb-Cr (或者Y-U-V )圖像和R-G-B圖像的各個(gè)分量，對 運(yùn)動補(bǔ)償使用不同的內(nèi)插方法來執(zhí)行運(yùn)動預(yù)測單元330的平面間預(yù)測。這將 在下文中參考圖4到9詳細(xì)描述。第二恢復(fù)單元320恢復(fù)的值傳送到解塊濾 波器340來減少塊影響，并作為各個(gè)色彩分量的恢復(fù)的圖像Fr(n) 352輸出。
根據(jù)Y-Cb-Cr (或者Y-U-V)圖像和R-G-B圖像的各個(gè)分量，解塊濾波 單元340選擇使用具有不同濾波器抽頭長度的解塊濾波器，其用于塊邊界。 這將參考圖IO和11描述。
圖3b是描述根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻解碼方法的流程圖。
參考圖3a和3b,在步驟S350，第一恢復(fù)單元300從比特流產(chǎn)生第一預(yù) 測剩余圖像。同樣，在步驟S355，圖像信息檢測器310確定比特流是Y-Cb-Cr 圖像還是R-G-B圖像，確定比特流的色彩分量是否為R-G-B圖像的參考色彩 分量。
在步驟S360,如果比特流是R-G-B圖像，并且比特流的色彩分量不是 R-G-B圖像的參考色彩分量，則第二恢復(fù)單元320預(yù)測第一預(yù)測剩余圖像， 并產(chǎn)生第二預(yù)測剩余圖像，該第一預(yù)測剩余圖像由第一恢復(fù)單元300使用參
考色彩分量的第 一預(yù)測剩余圖像獲得。
在步驟S365，第二恢復(fù)單元320將第一和第二預(yù)測剩余圖像與由運(yùn)動預(yù)測器330獲得的先前圖像的運(yùn)動預(yù)測結(jié)果相加，獲得恢復(fù)的圖像。在步驟 S370,解塊濾波器340減少恢復(fù)的圖像的塊影響，獲得最終恢復(fù)的圖像Fr(n) 352。
圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的運(yùn)動補(bǔ)償裝置的結(jié)構(gòu)的方塊圖。
參考圖4，本發(fā)明的運(yùn)動補(bǔ)償裝置103或者332包括圖像信息檢測器 (未示出)，濾波器抽頭選擇器400，內(nèi)插器410和420,和運(yùn)動補(bǔ)償器430。
R-G-B圖像的R、 G和B分量具有相似的頻率特性，但是在Y-Cb-Cr圖 像中，作為亮度分量的Y分量與作為色度分量的Cb和Cr分量頻率特性不同。 同時(shí)，與亮度分量相比，Y-Cb-Cr圖像的色度分量具有很多低頻分量和相互之 間有很大的相關(guān)性。圖4是根據(jù)圖像的色彩分量使用不同的預(yù)測方法的運(yùn)動 補(bǔ)償裝置的方塊圖。
圖像信息檢測器(未示出)確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖 像，并且確定輸入圖像的色彩分量是否為R-G-B圖像的參考色彩分量。通常， R-G-B圖像的參考色彩分量設(shè)為G分量。
濾波器抽頭選擇器400根據(jù)從圖像信息檢測器(未示出)接收的輸入圖 像的色彩分量信息402,選擇長抽頭濾波內(nèi)插器410或者短抽頭濾波內(nèi)插器 420。也就是說，濾波器抽頭選擇器400根據(jù)輸入圖像的各個(gè)色彩分量選擇濾 波器抽頭，用于最佳運(yùn)動預(yù)測。在本公開文本中，長抽頭濾波器可以是6抽 頭濾波器，短抽頭濾波器可以是2抽頭濾波器。
例如，如果輸入圖像是Y-Cb-Cr圖像或者輸入圖像的色彩分量不是R-G-B 圖像的參考色彩分量，濾波器抽頭選擇器400選擇6抽頭濾波內(nèi)插器，如果 輸入圖像的色彩分量是R-G-B圖像的參考色彩分量，選擇2抽頭濾波內(nèi)插器。
濾波器抽頭選擇器400選擇的內(nèi)插器410或者420內(nèi)插輸入圖像來執(zhí)行 輸入圖像的運(yùn)動補(bǔ)償。此時(shí)，每個(gè)內(nèi)插器410和420基于先前幀的運(yùn)動矢量 412內(nèi)插輸入圖像。
可選的，內(nèi)插器410和420可以分別是6抽頭濾波內(nèi)插器410和雙線性 內(nèi)插器420。如果濾波器抽頭選擇器400選擇6抽頭濾波內(nèi)插器410， 6抽頭 濾波內(nèi)插器410內(nèi)插輸入圖像。
內(nèi)插器410或者420內(nèi)插后的輸入圖像由運(yùn)動補(bǔ)償器430進(jìn)行運(yùn)動補(bǔ)償。
圖5是描述根據(jù)本發(fā)明依據(jù)輸入圖像的色彩分量執(zhí)行運(yùn)動補(bǔ)償?shù)姆椒ǖ?流程圖。
15參考圖4和5，在步驟S500，濾波器抽頭選擇器400基于從圖像信息檢 測器(未示出)接收的色彩分量，選擇濾波器抽頭。如果在步驟S510確定輸 入圖像的色彩分量是R-G-B分量，在步驟520，濾波器抽頭選擇器400對R-G-B 圖像的各個(gè)分量選擇相同的內(nèi)插方法。例如，濾波器抽頭選擇器400允許 R-G-B圖像的所有各個(gè)分量通過長抽頭濾波內(nèi)插器410,或者允許R-G-B圖 像的所有各個(gè)分量通過短抽頭濾波內(nèi)插器420。
如果確定輸入圖像的色彩分量不是R-G-B分量，而是Y-Cb-Cr分量，在 步驟S530，圖像信息檢測器(未示出)確定輸入圖像的色彩分量是否為Y分 量(亮度)。如果輸入圖像的色彩分量是亮度分量，濾波器抽頭選擇器400選 "f奪長抽頭濾波內(nèi)插器410，以便在步驟S540輸入圖像可被長抽頭濾波內(nèi)插器 410內(nèi)插。如果輸入圖像的色彩分量是色度分量(Cb， Cr)，在步驟S550， 濾波器抽頭選擇器400選擇短抽頭濾波內(nèi)插器420。
根據(jù)輸入圖像的色彩分量選擇不同的抽頭濾波內(nèi)插器的原因是因?yàn)楫?dāng)輸 入圖像的色彩分量存在許多高頻分量時(shí)，與短抽頭濾波內(nèi)插器方法相比，使 用許多相鄰像素的長抽頭濾波內(nèi)插器方法可以正確恢復(fù)高頻分量。相反的， 如果輸入圖像的色彩分量的低頻分量比高頻分量多時(shí)，在維持與長抽頭濾波 內(nèi)插器相似的性能的同時(shí)，使用相對少的相鄰像素的短抽頭濾波內(nèi)插器在復(fù) 雜性方面更有效。
圖6是根據(jù)本發(fā)明另 一個(gè)實(shí)施例的運(yùn)動補(bǔ)償裝置的結(jié)構(gòu)的方塊圖。
參考圖6,本發(fā)明的運(yùn)動補(bǔ)償裝置103或者332包括圖像信息檢測器 (未示出)，濾波器抽頭選擇器600，內(nèi)插器610和620,和運(yùn)動補(bǔ)償器630。
圖像的大小或分辨率信息604與圖像的色彩分量602 —樣影響頻率特性。 圖6是根據(jù)本發(fā)明另一個(gè)實(shí)施例，依據(jù)圖像的色彩信息或分辨率信息使用不 同的運(yùn)動補(bǔ)償方法的運(yùn)動補(bǔ)償裝置的方塊圖。
圖像信息檢測器(未示出)感知圖像的色彩分量和分辨率信息。更詳細(xì) 地，圖像信息檢測器(未示出)確定輸入圖像是高分辨率圖像還是低分辨率 圖像，并且確定輸入圖像的色彩分量是否為R-G-B圖像的參考色彩分量。
濾波器抽頭選擇器600根據(jù)由圖像信息檢測器(未示出)感知的輸入圖 像的色彩信息和分辨率信息，選擇濾波器抽頭的長度。更詳細(xì)地，如果輸入 圖像是高分辨率圖像或者輸入圖像的色彩分量是與Y-Cb-Cr圖像的Y分量(亮 度)不同的色彩分量，濾波器抽頭選擇器600選擇短抽頭濾波器。同樣，如果輸入圖像是低分辨率圖像，或者輸入圖像是R-G-B圖像，或者輸入圖像的
色彩分量是Y-Cb-Cr圖像的Y分量(亮度)，濾波器抽頭選擇器600選擇長抽 頭濾波器。通常，長抽頭濾波器是6抽頭濾波器，短抽頭濾波器是2抽頭濾 波器。
這里有使用長濾波器抽頭的內(nèi)插器610 (也稱為長抽頭濾波內(nèi)插器)和 使用短濾波器抽頭的內(nèi)插器620 (也稱為短抽頭濾波內(nèi)插器)，內(nèi)插器610和 620相應(yīng)于先前幀的運(yùn)動矢量(MV)內(nèi)插圖像信息。
運(yùn)動補(bǔ)償器630對內(nèi)插器內(nèi)插后的輸入圖像的運(yùn)動進(jìn)行補(bǔ)償。
圖7是描述根據(jù)本發(fā)明另一實(shí)施例的運(yùn)動補(bǔ)償方法的流程圖。更詳細(xì)地， 圖7是描述是用色彩分量和分辨率信息執(zhí)行運(yùn)動補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
參考圖6和7,在步驟S700，圖像信息檢測器(未示出)接收輸入圖像 的圖像大小信息，并且在步驟S710確定輸入圖像是否為高分辨率圖像。在本 發(fā)明中，高分辨率圖像表示比HD分辨級別的1280x720的圖像大小更大的圖 像。1280x720的參考圖像大小可根據(jù)環(huán)境和應(yīng)用而改變。
如果輸入圖像是高分辨率圖像，在步驟S750,濾波器抽頭選擇器600選 擇短抽頭濾波內(nèi)插器。原因在于，由于高分辨率圖像包括的低頻分量多于高 頻分量，不需要使用長抽頭濾波器。在高分辨率圖像的情況下，由于實(shí)際圖 像的一小部分被大量像素顯示，像素值之間的差值很小。在這種情況下，由 于使用長抽頭濾波器和使用短抽頭濾波器時(shí)，視頻質(zhì)量差異很小，濾波器抽 頭選擇器600考慮復(fù)雜性而選擇短抽頭濾波內(nèi)插器620。
如果輸入圖像是低分辨率圖像，在步驟S700,圖像信息檢測器(未示出) 接收色彩信息，在步驟S720,確定輸入圖像是否為R-G-B圖像。在步驟S730， 如果輸入圖像的色彩分量是R、 G或B分量，濾波器抽頭選擇器600選擇長 抽頭濾波內(nèi)插器610，以便輸入圖像的所有各個(gè)分量可被長抽頭濾波內(nèi)插器 610內(nèi)插。如果輸入圖像的色彩分量不是R、 G或B分量，而是Y、 Cb或Cr 分量，在步驟S730,圖像信息檢測器(未示出)確定輸入圖像的色彩分量是 否為Y分量(亮度)。如果輸入圖像的色彩分量是亮度分量，在步驟S740, 濾波器抽頭選擇器600選擇長抽頭濾波內(nèi)插器610。如果輸入圖像的色彩分 量是色度分量，在步驟S750,濾波器抽頭選擇器600選擇短抽頭濾波內(nèi)插器。
圖8描述了為了運(yùn)動補(bǔ)償，當(dāng)先前幀的圖像在垂直或水平方向上四次內(nèi) 插時(shí)，使用6抽頭濾波器的示例。6抽頭濾波器被MPEG-4 AVC/H.264定義。參考圖8 ，當(dāng)給出先前幀的像 素A到U時(shí)，位于1/4或1/2像素位置的像素a到s，可根據(jù)下面的公式得到。 首先，位于相應(yīng)像素的垂直或水平方向的1/2像素位置的像素b和h，如
下所示被6個(gè)相鄰像素內(nèi)插。
bl=(E-5xf+20xg+20xh-5xI+J) ...... (10)
hl氣A-5xC+20xG+20xM-5xR+T) ...... (11)
b=Clipl((bl+16)》5) ...... (12)
h=Clipl((hl+16) 5) ...... ( 13 )
其中，Clipl(x)表示將值x鉗位到預(yù)定大小，以便值x在圖像像素的比特 范圍之內(nèi)。在輸入圖像是8比特圖像的情況下，如果x小于O， Clipl(x)的值 x被設(shè)為O。如果x大于255， x被設(shè)為255，其中其他值保持不變。用于內(nèi) 插的濾波器抽頭是使用相對大量的相鄰像素的6抽頭濾波器(1，-5，20,20,-5,1 )。 使用先前恢復(fù)的對應(yīng)于1/2像素位置的相鄰像素，根據(jù)等式14a、 14b和 15，在垂直和水平方向上內(nèi)插1/2像素位置的像素j。
jl=cc-5xdd+20xhl+20xml-5xeeHf ...... (14a)
jl=aa-5xbb+20xbl+20xsl-5xgg+hh ...... (14b)
j=Clipl((jl+512)》10) ...... ( 15)
其中，作為相鄰像素值的cc、 dd、 hl、 ml、 ee、 ff或aa、 bb、 b、 sl、 gg和hh是由6抽頭濾波器在上面的等式IO和11執(zhí)行內(nèi)插獲得的中間結(jié)果。 位于1/2像素位置、作為最終值的像素值s和m是根據(jù)等式12和13、從 像素值sl和ml恢復(fù)的值。
位于1/4像素位置的像素值a、 c、 d、 n、 f、 i、 k和q是平均垂直或水平 方向上相鄰的兩個(gè)像素得到的值，如下面的等式16到23。
a=(G+b+l)》l ...... (16)
c=(H+b+l) l ...... (17)
d=(G+h+l)》l ...... (18)
n=(M+h+l)》l ...... (19)
f=(b+j+l)》l ...... (20)
i=(h+j+l)》l ...... (21 )
k=(j+m+l)》l ...... (22)
q=(j+s+l)》l ...... (23)位于1/4像素位置的像素值e、 g、 p和r是通過平均對角線方向上相鄰的 兩個(gè)像素得到的值，如下面的等式24到27。
圖9描述了為了補(bǔ)償運(yùn)動，當(dāng)先前幀的圖像在垂直或水平方向上內(nèi)插四 次時(shí)，使用雙線性內(nèi)插方法的示例。雙線性內(nèi)插方法由MPEG-4 AVC/H,264 定義。
在先前幀的像素A、 B、 C和D中，位于1/4或1/2像素位置的像素值可 通過等式28a獲得。
a=((4-dx) x(4隱dy) xA+dxx(4-dy) xB+(4-dx) xdyxC+dxxdyxD+8) 4......( 28a)
其中，dx是表示在1/4像素位置，像素a在水平方向與像素A或C的相 距值，dy是表示在1/4像素位置，像素a在垂直方向與像素A或B的相距值。
參考圖9，雙線性內(nèi)插方法使用相對少量的相鄰像素，并使用位于將被 內(nèi)插的值很近的像素值，不同于圖7。
圖10是根據(jù)本發(fā)明使用圖像的色彩分量特性的解塊濾波器單元的結(jié)構(gòu) 的方塊圖。圖像的色彩分量特性被解塊濾波器單元使用，用于減少圖像恢復(fù) 后產(chǎn)生的塊影響，也被用于運(yùn)動補(bǔ)償。圖IO示出了考慮圖像的色彩分量特性 的解塊濾波器的 一個(gè)實(shí)施例。
參考圖10,解塊濾波器單元160或340包括圖像信息檢測器(未示出)， 解塊濾波器選擇器1000,長抽頭環(huán)路(解塊)濾波器1010,短抽頭環(huán)路(解 塊)濾波器1020。
圖像信息檢測器(未示出)確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖 像，并且確定輸入圖像的色彩分量是否為亮度(Y)分量。
解塊濾波器選擇器1000基于輸入圖像的色彩分量，選擇長抽頭環(huán)路濾波 器和短抽頭環(huán)路濾波器1010和1020之一，上述兩個(gè)濾波器具有不同的濾波 器抽頭長度。例如，如果輸入圖像是R-G-B圖像，或者輸入圖像的色彩分量 是Y-Cb-Cr圖像的亮度(Y)分量，解塊濾波器選擇器1000選擇長抽頭環(huán)路 濾波器1010。同樣，如果輸入圖像的色彩分量是Y-Cb-Cr圖像的色度(Cb 或Cr)分量，解塊濾波器選擇器1000選擇短抽頭環(huán)路濾波器1020。
<formula>formula see original document page 19</formula>長抽頭環(huán)路濾波器1010與短抽頭環(huán)路濾波器1020有不同的濾波器抽頭 長度。由解塊濾波器選擇器1000選擇長抽頭環(huán)路濾波器1010和短抽頭環(huán)路 濾波器1020之一。
長抽頭環(huán)3各濾波器和短抽頭環(huán)路濾波器1010和1020中的每個(gè)基于塊編 碼模式、CBP (編碼塊圖案)、用于先前幀的運(yùn)動信息(MV、 MC)參考圖像 數(shù)、和隔行掃描圖像的場信息，確定濾波是否應(yīng)被執(zhí)行，并最終消除輸入圖 像的塊影響。
圖ll是描述根據(jù)本發(fā)明一個(gè)實(shí)施例，依據(jù)輸入圖像的色彩分量選擇解塊 濾波器抽頭的方法的流程圖。
參考圖lO和ll，在步驟S1110，解塊濾波器選擇器1000接收來自圖像 信息檢測器(未示出)的色彩信息，并確定輸入圖像的色彩分量是否為R-G-B 圖像的色彩分量。如果輸入圖像的色彩分量是R-G-B圖像的色彩分量，在步 驟S1130，解塊濾波器選擇器1000為每個(gè)色彩分量分配相同的濾波器抽頭系 數(shù)。在這種情況下，解塊濾波器選擇器1000通常選擇長抽頭環(huán)路濾波器1010。 如果輸入圖像的色彩分量是Y-Cb-Cr圖像的色彩分量，在步驟S1140,濾波 器抽頭選擇器1000選擇長抽頭濾波器1010。如果輸入圖像的色彩分量是色 度分量，在步驟S1150,濾波器抽頭選擇器1000選擇短抽頭環(huán)路濾波器1020。
圖12描述了為了減少16xl6宏塊中的塊影響，其上執(zhí)行解塊濾波的垂直 和水平方向的邊界。
參考圖12,宏塊被分成16個(gè)4x4塊，每個(gè)塊被編碼。因此，在4x4塊 的邊界產(chǎn)生塊影響。如圖12(a)所示，首先，對垂直邊界1201、 1202、 1203 和1204執(zhí)行解塊濾波。隨后，如參見圖12(b)，對水平邊界1205、 1206、 1207和1208 l丸行解塊濾波。
圖13描述了對4x4塊的垂直和水平邊界執(zhí)行解塊濾波時(shí)使用的系數(shù)。
在垂直邊界，如圖13 (a)所示，為了減少使用像素pO、 pl、 p2、 p3、 q0、 ql、 q2和q3的像素值和濾波器抽頭的塊影響，像素p0、 pl、 p2、 q0、 ql、 q2的像素值被改變。圖13 (b)描述了執(zhí)行水平邊界解塊濾波的像素。
由于每個(gè)4x4塊的損失程度不同，有必要改變?yōu)V波器系數(shù)，并且確定是 否應(yīng)對于每個(gè)4x4塊才丸行濾波。為此，如圖IO所示，解塊濾波是否應(yīng)纟皮^M亍， 也就是濾波器抽頭的長度等等，基于塊編碼模式、CBP(編碼塊圖形)、用于 先前幀的運(yùn)動信息(MV、 MC)參考圖像數(shù)、和隔行掃描圖像的場信息，利用預(yù)定閾值確定。作為基本濾波方法，使用由MPEG-4 AVC/H.264定義的濾 波方法。確定對于一個(gè)4x4塊是否應(yīng)纟丸行濾波的濾波標(biāo)記值(filterFlag)可 通過等式28b計(jì)算。
filterFlag= ( Bs!=0&&Abs(pO-qO)<a&& Abs(pl-p0)〈(3Abs(ql-q0)〈卩)
......(28b)
其中，只有當(dāng)值filterFlag是1時(shí)，解塊濾波才被執(zhí)行。a和p是根據(jù)相 鄰像素值的改變確定解塊濾波是否應(yīng)被執(zhí)行的閾值。當(dāng)量化值增加時(shí)，閾值 a和卩變大。Bs (濾波器強(qiáng)度)是表示當(dāng)解塊濾波被執(zhí)行時(shí)通過濾波器改變 的像素值的范圍的值。值Bs是0與4之間的值。如果值Bs是O,濾波不被 執(zhí)行。當(dāng)值Bs接近4時(shí)，濾波器系數(shù)的值變大。值Bs被改變，因此像素p0、 pl、 p2、 p3、 q0、 ql、 q2、 q3中的多凝 像素減少塊影響。
首先，當(dāng)色彩分量是R、 G和B分量或者Y-Cb-Cr圖像的Y分量時(shí)，使 用的長抽頭濾波器系數(shù)可用等式29到45定義。
如果值Bs小于4，如下所示，最接近邊界的像素pO和qO改變?yōu)閜，0和
q，O。
△=Clip3(-tc，tc,((((qO-pO) 2)+(pl-ql)+4>〉3)) ...... (29)
p，0=Clipl(pO+A) ...... (30)
q，0=Clipl(qO-A) ……(31 )
其中，Clip3(min, max, x)被定義來設(shè)定最小值min和最大值max之間的 值x。 Clipl(x)與等式12中的Clipl(x)具有相同的含義。tc是限定像素值的閾 值。其中，如果值Bs很大，tc也有很大的值，使得像素值的改變程度更大。
對于pl和ql,定義下面的值，以便確定濾波是否應(yīng)被執(zhí)行。
ap=abs(2p-p0) ...... (32)
ap=abs(q2-q0) ...... ( 33 )
其中，如果ap小于p， pl改變?yōu)閜，l。否則，pl不改變。
p,(l)=pl+Clip3(-tc，tc,(p2+((p0+p0+l)》l)-(p1《1)》1) ...... (34)
其中，如果ap小于(3，如下ql改變?yōu)閝，l。否則，ql不改變。
q,l=ql+Clip3(-to，tc,(q2+((qO+qO+l)》l)-(ql》l) ...... (35)
如果Bs是4，用于確定濾波器系數(shù)的值Tp和Tq如下定義。
Tp=ap<(3&&Abs(p0-q0)<((a》2)+2) ...... (36)
Tq=aq<p&&Abs(pO-qO)<((a》2)+2) ...... (37)如果Tp是1, p0、 pl和p2通過增加濾波器系數(shù)的值分別改變?yōu)閜，O、 p，l
和p，2,如下所示。
p，0=(p2+2xpl+2xp0+2xq0+ql+4)>〉3 ...... (38)
p，l=(p2+pl+pO+qO+2) 2 ...... (39)
p，2=(2xp3+3xp2+pl+p0+q0+4)》3 ...... (40)
同時(shí)，如果Tp是O,只有pO通過減小濾波器系數(shù)的值改變?yōu)閜，O。
p，(K2xpl+pO+ql+2) 2 ...... (41)
同時(shí)，如果Tq是l, q0、 ql和q2通過增加濾波器系數(shù)的值分別改變?yōu)?br> q，O、 q，l和q'2，如下所示。
q,0=(pl+2xp(H"2xq(H"2xql+q2+4) 3 ...... (42)
q，l=(p0+q0+ql+q2+2) 2 ...... (43)
q，2={2xq3+3xq2+ql+q0+p0+4) 3 ...... (44)
同時(shí)，如果Tq是O,只有qO通過減小濾波器系數(shù)的值改變?yōu)閝，O，如下所示。
q，0=(2xql+q0+pl+2)》2 ...... (45)
如果Y-Cb-Cr圖像的色彩分量是Cb或Cr分量，短抽頭濾波器系數(shù)如下 定義。首先，如果Bs小于4， p0和q0根據(jù)等式30和31分別改變?yōu)閜，O和 q，O。不同于R-G-B圖像和Y分量，pl和ql的值不改變。如果Bs是4,只 有pO和qO的值根據(jù)等式41和45分別改變?yōu)閜，O和q，O。不同于R-G-B圖像 和Y分量，pl和ql的值不改變。
圖14是根據(jù)本發(fā)明一個(gè)實(shí)施例，當(dāng)提供R-G-B圖像作為輸入圖像時(shí)， 使用平面間預(yù)測編碼方法的視頻編碼的仿真結(jié)果的圖表。圖14示出了使用根 據(jù)本發(fā)明的平面間預(yù)測和不使用平面間預(yù)測時(shí)的比較結(jié)果。
其中，輸入圖像是1280x720大小的CREW(組)圖像，仿真結(jié)果用四比特 速率的PSNR(信噪功率比)表示。
圖14a示出了只執(zhí)行空間預(yù)測的內(nèi)部模式的仿真結(jié)果，圖14b示出了使 用時(shí)間預(yù)測和空間預(yù)測的仿真結(jié)果。如圖14所示，本發(fā)明和傳統(tǒng)技術(shù)在相同 比特率有超過3dB增益差值。
圖15a示出了當(dāng)R-G-B圖像是輸入圖像時(shí)，6抽頭濾波器被用于運(yùn)動補(bǔ) 償?shù)那闆r下(MC—LL )和6抽頭濾波器被用于G分量并且雙線性濾波器被用 于R和B分量的情況下(MC_LC ), 640x350 Harbour(哈勃)圖像的比較結(jié)果。
22從圖15a可見，在相同比特率，本發(fā)明的MC—LL方法的PSNR增益大 于傳統(tǒng)技術(shù)的PSNR增益。
圖15b示出了當(dāng)Y-Cb-Cr圖像是輸入圖像時(shí)，6抽頭濾波器被用于Y分 量并且雙線性濾波器被用于Cb和Cr分量的情況下(MC—LC )和6抽頭濾波 器一皮用于所有Y、 Cb和Cr分量進(jìn)行運(yùn)動補(bǔ)償?shù)那闆r下(MC—LL)， 640x350 Harbour圖像的比較結(jié)果。從圖15b可知，在本發(fā)明中，在相同比特率，每個(gè) Y、 Cb和Cr分量的PSNR被改進(jìn)。
本發(fā)明可用存儲于計(jì)算機(jī)可讀介質(zhì)中、能在通用計(jì)算機(jī)運(yùn)行的程序?qū)崿F(xiàn)。 其中，計(jì)算機(jī)可讀介質(zhì)包括但不限于比如;茲存儲介質(zhì)(比如ROM、軟盤、硬 盤等)、光學(xué)可讀介質(zhì)(比如CD-ROM， DVD等等)、和載波(比如因特網(wǎng)上 的傳輸)的存儲介質(zhì)。本發(fā)明也可用存儲在計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)可讀 程序代碼單元實(shí)現(xiàn)，使通過網(wǎng)絡(luò)連接的許多計(jì)算機(jī)系統(tǒng)影響分布的處理。
如上所述，本發(fā)明可考慮輸入圖像的色彩分量特性，有效編碼和解碼視 頻數(shù)據(jù)。特別是，可以通過平面間預(yù)測改進(jìn)R-G-B圖像的編碼效率。本發(fā)明 可被應(yīng)用到由于R-G-B圖像被直接編碼，需要圖像信息具有高質(zhì)量的數(shù)字檔 案、數(shù)字影院等等。
同樣，本發(fā)明在編碼器和解碼器中使用色彩分量特性和圖像分辨率特性， 用于運(yùn)動補(bǔ)償和解塊濾波。本發(fā)明可以根據(jù)圖像特性，通過濾波增強(qiáng)圖像質(zhì) 量，改進(jìn)編碼效率。因此本發(fā)明可以相應(yīng)于R-G-B圖像和Y-Cb-Cr圖像的各 個(gè)特性，構(gòu)造適合的編碼器和解碼器。
盡管本發(fā)明已經(jīng)參考實(shí)施例進(jìn)行了特別地展示和描述，本領(lǐng)域的普通技 術(shù)人員應(yīng)該明白，在不脫離后附的權(quán)利要求定義的本發(fā)明的精神和范圍的情 況下，可以在形式和細(xì)節(jié)上做各種改變。
權(quán)利要求
1.一種視頻編碼裝置，包括第一運(yùn)動預(yù)測單元，基于輸入圖像的第一運(yùn)動預(yù)測結(jié)果，為輸入圖像產(chǎn)生第一預(yù)測剩余圖像；圖像信息檢測單元，在R-G-B圖像的色彩分量中設(shè)置參考色彩分量，確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖像，并確定輸入圖像的色彩分量是否為該參考色彩分量；和第二運(yùn)動預(yù)測單元，如果輸入圖像是R-G-B圖像并且如果輸入圖像的色彩分量不是參考色彩分量，則基于參考色彩分量，對第一預(yù)測剩余圖像執(zhí)行運(yùn)動預(yù)測并產(chǎn)生第二預(yù)測剩余圖像，生成第二預(yù)測剩余圖像。
2. 根據(jù)權(quán)利要求1的視頻編碼裝置，進(jìn)一步包括編碼單元，編碼第一預(yù) 測剩余圖像和第二預(yù)測剩余圖像。
3. 根據(jù)權(quán)利要求2的視頻編碼裝置，其中編碼單元對第一預(yù)測剩余圖像 和第二預(yù)測剩余圖像執(zhí)行離散余弦變換或離散整數(shù)變換、量化、和熵編碼。
4. 根據(jù)權(quán)利要求1的視頻編碼裝置，其中R-G-B圖像的參考色彩分量是 G分量。
5. 根據(jù)權(quán)利要求1的視頻編碼裝置，其中第二運(yùn)動預(yù)測單元基于參考色 彩分量的編碼和解碼的第 一預(yù)測剩余圖像，對輸入圖像的第 一預(yù)測剩余圖像 執(zhí)行運(yùn)動預(yù)測，并產(chǎn)生第二預(yù)測剩余圖像。
6. 根據(jù)權(quán)利要求5的視頻編碼裝置，其中第二運(yùn)動預(yù)測單元基于參考色 彩分量的第 一預(yù)測剩余圖像的線性變換值和輸入圖像的第 一預(yù)測剩余圖像之 間的差值，產(chǎn)生第二預(yù)測剩余圖像。
7. 根據(jù)權(quán)利要求l、 5和6之一的視頻編碼裝置，其中在輸入圖像被接 收之前，接收、編碼和解碼參考色彩分量。
8. 根據(jù)權(quán)利要求1的視頻編碼裝置，其中第一運(yùn)動預(yù)測單元包括 平面間預(yù)測器，使用與輸入圖像時(shí)間相鄰的先前恢復(fù)的圖像，預(yù)測輸入圖像的運(yùn)動；平面內(nèi)預(yù)測器，使用與輸入圖像空間相鄰的編碼單元塊，預(yù)測輸入圖像 的運(yùn)動；預(yù)測剩余計(jì)算器，選擇平面間預(yù)測器的預(yù)測結(jié)果或者平面內(nèi)預(yù)測器的預(yù)測結(jié)果，并基于選擇的預(yù)測結(jié)果和輸入圖像之間的差值，產(chǎn)生第一預(yù)測剩余 圖像。
9. 根據(jù)權(quán)利要求8的視頻編碼裝置，其中預(yù)測剩余計(jì)算器為初始輸入圖 像選擇平面內(nèi)預(yù)測器的預(yù)測結(jié)果，并為在接收初始輸入圖像之后接收的輸入 圖像選擇平面間預(yù)測器的預(yù)測結(jié)果。
10. 根據(jù)權(quán)利要求1的視頻編碼裝置，其中第一運(yùn)動預(yù)測單元根據(jù)輸入 圖像的色彩信息和分辨率信息選擇預(yù)定長度的濾波器抽頭，并使用選擇的濾 波器抽頭為輸入圖像執(zhí)行平面間預(yù)測。
11. 一種由編碼器執(zhí)行的視頻編碼方法，包括基于輸入圖像的第一運(yùn)動預(yù)測結(jié)果，為輸入圖像產(chǎn)生第一預(yù)測剩余圖像； 在R-G-B圖像的色彩分量中設(shè)置參考色彩分量，確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖像，并確定輸入圖像的色彩分量是否為參考色彩分量；和 如果輸入圖像是R-G-B圖像并且如果輸入圖像的色彩分量不是參考色彩分量，則基于參考色彩分量，對第一預(yù)測剩余圖像執(zhí)行運(yùn)動預(yù)測，并產(chǎn)生第二預(yù)測剩余圖像。
12. 根據(jù)權(quán)利要求11的視頻編碼方法，進(jìn)一步包括對第 一 預(yù)測剩余圖像和第二預(yù)測剩余圖像執(zhí)行離散余弦變換或者離散整 數(shù)變換、量化、和熵編碼。
13. 根據(jù)權(quán)利要求11的視頻編碼方法，其中對第一預(yù)測剩余圖像執(zhí)行運(yùn) 動預(yù)測并產(chǎn)生第二預(yù)測剩余圖像包括基于參考色彩分量的編碼和解碼的第 一預(yù)測剩余圖像，對輸入圖像的第 一編碼預(yù)測剩余圖像執(zhí)行運(yùn)動預(yù)測，并產(chǎn)生第二預(yù)測剩余圖像。
14. 根據(jù)權(quán)利要求11的視頻編碼方法，其中對第一預(yù)測剩余圖像執(zhí)行運(yùn) 動預(yù)測并產(chǎn)生第二預(yù)觀'J剩余圖像包括基于參考色彩分量的第一預(yù)測剩余圖像的線性變換值和輸入圖像的第一 預(yù)測剩余圖像之間的差值，產(chǎn)生第二預(yù)測剩余圖像。
15. 根據(jù)權(quán)利要求11的視頻編碼方法，其中產(chǎn)生第一預(yù)測剩余圖像包括 使用與輸入圖像時(shí)間相鄰的先前恢復(fù)的圖像，預(yù)測輸入圖像的運(yùn)動；和 基于預(yù)測結(jié)杲和輸入圖像之間的差值，產(chǎn)生第 一預(yù)測剩余圖像。
16. 根據(jù)權(quán)利要求11的視頻編碼方法，其中產(chǎn)生第一預(yù)測剩余圖像包括 根據(jù)輸入圖像的色彩信息和分辨率信息選擇具有預(yù)定長度的濾波器抽頭，使用選擇的濾波器抽頭為輸入圖像執(zhí)行平面間預(yù)測。
17. —種^L頻解碼裝置，包括第一恢復(fù)單元，對編碼圖像執(zhí)行預(yù)定操作，并產(chǎn)生編碼圖像的第一預(yù)測 剩余圖像；圖像信息檢測單元，確定編碼圖像是R-G-B圖像還是Y-Cb-Cr圖像，并 確定編碼圖像的色彩分量是否為R-G-B圖像的參考色彩分量；第二恢復(fù)單元，如果編碼圖像是R-G-B圖像且如果編碼圖像的色彩分量 不是參考色彩分量，則基于參考色彩分量產(chǎn)生編碼圖像的第二預(yù)測剩余圖像； 解塊濾波器單元，減少影響基于第 一預(yù)測剩余圖像和第二預(yù)測剩余圖像 恢復(fù)的編碼圖像的解碼圖像的塊影響。
18. 根據(jù)權(quán)利要求17的視頻解碼裝置，其中第一恢復(fù)單元執(zhí)行編碼圖像 的熵解碼、逆量化、和反離散整數(shù)變換，并產(chǎn)生第一預(yù)測剩余圖像。
19. 根據(jù)權(quán)利要求17的視頻解碼裝置，其中解塊濾波器單元基于解碼圖 像的色彩信息選擇預(yù)定長度的濾波器抽頭，并使用選擇的濾波器抽頭減少解 碼圖像的塊影響。
20. —種視頻解碼方法，包括對編碼圖像執(zhí)行預(yù)定操作，并產(chǎn)生編碼圖像的第 一預(yù)測剩余圖像；確定編碼圖像是R-G-B圖像還是Y-Cb-Cr圖像，并確定編碼圖像的色彩 分量是否為R-G-B圖像的參考色彩分量；如果編碼圖像是R-G-B圖像并且如果編碼圖像的色彩分量不是參考色彩 分量，則基于參考色彩分量產(chǎn)生編碼圖像的第二預(yù)測剩余圖像；以及減少影響基于第 一預(yù)測剩余圖像和第二預(yù)測剩余圖像恢復(fù)的編碼圖像的 解碼圖像的塊影響。
21. 根據(jù)權(quán)利要求20的視頻解碼方法，其中產(chǎn)生第一預(yù)測剩余圖像包括 執(zhí)行編碼圖像的熵解碼、逆量化、和反離散整數(shù)變換，并產(chǎn)生第一預(yù)測剩余圖像。
22. 根據(jù)權(quán)利要求20的視頻解碼方法，其中減少解碼圖像的塊影響包括 基于編碼圖像的色彩信息選擇預(yù)定長度的濾波器抽頭，并使用選擇的濾波器抽頭減少解碼圖像的塊影響。
全文摘要
提供一種用于色彩圖像的視頻編碼/解碼裝置和方法。第一運(yùn)動預(yù)測單元基于輸入圖像的第一運(yùn)動預(yù)測結(jié)果，為輸入圖像產(chǎn)生第一預(yù)測剩余圖像。圖像信息檢測單元將R-G-B圖像的色彩分量中的預(yù)定色彩分量設(shè)置為參考色彩分量，并確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖像，確定輸入圖像的色彩分量是否為參考色彩分量。如果輸入圖像是R-G-B圖像并且如果輸入圖像的色彩分量不是參考色彩分量，則第二運(yùn)動預(yù)測單元基于參考色彩分量，對第一預(yù)測剩余圖像執(zhí)行運(yùn)動預(yù)測并且產(chǎn)生第二預(yù)測剩余圖像，由此根據(jù)該色彩信息執(zhí)行最佳編碼/解碼。
文檔編號H04N7/24GK101616330SQ200910149808
公開日2009年12月30日 申請日期2004年7月16日 優(yōu)先權(quán)日2003年7月16日
發(fā)明者趙大星, 金佑湜, 金鉉文 申請人:三星電子株式會社