專利名稱：使用另一圖像的參考?jí)K來編碼圖像塊的方法以及裝置、承載編碼的圖像塊的數(shù)據(jù)載體、以 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使用另一圖像的參考?jí)K來編碼圖像塊的方法以及裝置，涉及承載編碼的圖像塊的數(shù)據(jù)載體，以及涉及解碼圖像塊的方法更精確地，本發(fā)明涉及使用幀間預(yù)測(cè)(即，使用參考圖像)對(duì)圖像的色彩分量進(jìn)行的單獨(dú)的、但相互關(guān)聯(lián)(inter-related)的編碼。
背景技術(shù)：
為了表示像素的顏色，需要三個(gè)色彩分量。三個(gè)色彩分量可以是紅色、綠色和藍(lán)色 (RGB)。或者，色彩分量包括亮度分量(Y)和兩個(gè)色度分量(UV或CrCb)。色度分量也稱作
色差分量。因此，可將彩色圖像分離成三個(gè)色彩分量圖像。為了幀間編碼這樣的圖像塊，已知兩種不同的方法要么是確定單一參考?jí)K使得優(yōu)化所有色彩分量的整體率失真(rate-distortion)。要么是將塊分解成三個(gè)色彩分量的三個(gè)塊。然后，為三個(gè)塊的每一個(gè)，單獨(dú)地確定用于優(yōu)化關(guān)于對(duì)應(yīng)色彩分量的率失真的參考?jí)K。前者的方法僅需要用于最佳匹配塊的單一搜索，但是與后者的方法相比伴隨著增加的比特率。例如，在高級(jí)視頻編碼(AVC)High444簡(jiǎn)檔(profile)(也稱作H. 264High444簡(jiǎn)檔)的環(huán)境中，前者的方法被稱為聯(lián)合的(unified)編碼而后者被稱為可分離的編碼。在高級(jí)語法元素“colour-plane-id”的控制下應(yīng)用兩種方法的哪一種，所述高級(jí)語法元素“colour-plane-id”處于slice-header (碼片首標(biāo))中并且控制該碼片中所有塊的編碼模式。換言之，將以同一編碼模式，可分離模式或聯(lián)合的模式，對(duì)同一碼片中的所有塊編碼。注意，術(shù)語“塊”用于圖像的任何塊，不依賴于塊尺寸。術(shù)語“塊”可指8x8 ±夬，16x16 宏塊，具有η行和m列的矩形或者指整個(gè)圖像。期望在塊的編碼上具有更多靈活性。

發(fā)明內(nèi)容
本發(fā)明通過提出其特征在于權(quán)利要求1的方法的第三種方法來提供更多靈活性。 一種對(duì)應(yīng)的裝置包括權(quán)利要求7的特征。所述方法是一種用于在H. 264 high444簡(jiǎn)檔中幀間編碼彩色圖像塊的方法，其中， 所述圖像包括第一色彩分量、不同的第二色彩分量和不同的第三色彩分量。所述方法包括以下步驟在不同的彩色圖像中包括的兩個(gè)或更多參考?jí)K候選項(xiàng)中確定一參考?jí)K候選項(xiàng)， 以及使用所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量來編碼所述塊的第二色彩分量，其中所述參考?jí)K候選項(xiàng)具有至少匹配所述塊的所述第一色彩分量以及剩余的參考?jí)K候選項(xiàng)的任何對(duì)應(yīng)的第一色彩分量的對(duì)應(yīng)第一色彩分量。具有與要編碼的塊的對(duì)應(yīng)第一色彩分量匹配的第一色彩分量的參考?jí)K通常是用于搜索用于要編碼的塊的不同的第二色彩分量的參考?jí)K的好的起始點(diǎn)。權(quán)利要求2-6涉及編碼方法的特定的實(shí)施例并且權(quán)利要求8-12涉及所述編碼裝置的特定的實(shí)施例。在根據(jù)權(quán)利要求3的實(shí)施例中，該方法包括編碼用于表示塊與參考?jí)K之間的時(shí)空關(guān)系的運(yùn)動(dòng)信息；以及編碼指示符，所述指示符指示要至少使用運(yùn)動(dòng)信息來解碼所述塊的第二色彩分量。因此，代替對(duì)重新使用的運(yùn)動(dòng)信息進(jìn)行重新發(fā)送，而發(fā)送指示運(yùn)動(dòng)信息被重新使用的指示符。這節(jié)省了帶寬。本發(fā)明還涉及承載圖像的編碼塊的數(shù)據(jù)載體，所述塊根據(jù)權(quán)利要求3被編碼。本發(fā)明還涉及一種用于解碼圖像塊的方法與裝置，所述塊包括第一色彩分量、不同的第二色彩分量和不同的第三色彩分量，其中所述解碼方法包括權(quán)利要求13的特征并且所述解碼裝置包括權(quán)利要求14的特征。所述解碼方法和解碼裝置適合于解碼根據(jù)權(quán)利要求3編碼的塊。


本發(fā)明的示例性實(shí)施例在附圖中圖示，并且在以下描述中更加詳細(xì)地闡述。圖中圖1描述了本發(fā)明編碼框架的示例性實(shí)施例，以及圖2描述了對(duì)應(yīng)的解碼框架。
具體實(shí)施例方式所謂的視頻格式444帶來比傳統(tǒng)420和422八比特色彩深度更高的比特色彩深度。在許多領(lǐng)域中，諸如科學(xué)成像、數(shù)字影院、啟動(dòng)高品質(zhì)視頻的計(jì)算機(jī)游戲、以及與專業(yè)工作室和家庭影院有關(guān)的應(yīng)用中，越來越期望這樣的更高的色彩深度。從而，視頻編碼標(biāo)準(zhǔn)H. 264/AVC已經(jīng)包括了保真度范圍擴(kuò)展(Fide 1 ity Range Extension)，其支持上至每樣本12比特以及上至4:4:4色度采樣。視頻編碼標(biāo)準(zhǔn)H. 264/AVC通過簡(jiǎn)檔Hi ght444支持色度格式444。按照碼片， Hight444允許從對(duì)于所有色彩分量(也被叫做色彩平面，即，YUV或YCrCb色彩空間中的亮度和色度，或RGB色彩空間中的紅色綠色和藍(lán)色)都可應(yīng)用的兩種可能的幀間編碼模式中選擇一種。所述可能的編碼模式為可分離編碼和聯(lián)合的編碼。在聯(lián)合編碼模式中，位于三個(gè)平面中相同位置并且當(dāng)被組合時(shí)構(gòu)成圖像塊的三個(gè)塊共享相同的塊編碼信息(例如，塊編碼類型和運(yùn)動(dòng)向量)，由此使用要被編碼的塊以及參考?jí)K候選項(xiàng)的所有色彩分量來確定用于編碼所有三個(gè)塊的參考?jí)K。在可分離編碼模式中，單獨(dú)地并且獨(dú)立地對(duì)待平面塊。對(duì)于圖像塊的每個(gè)色彩分量，確定對(duì)應(yīng)的平面中的單獨(dú)的參考?jí)K。因此，運(yùn)動(dòng)向量和/或編碼類型可能不同并且因此需要為每個(gè)平面塊單獨(dú)地編碼。
如所述的，按碼片決定是應(yīng)用聯(lián)合的編碼模式還是可分離的編碼模式。在HJ64 中由名為“colour plane id”的語法元素指示應(yīng)用哪種模式，所述名為“colour plane id” 的語法元素被編碼在碼片首標(biāo)中并且控制一個(gè)碼片中的所有塊。換言之，同一碼片中的所有塊將使用同一編碼模式來編碼不是可分離模式就是聯(lián)合的模式?？煞蛛x編碼模式以額外的編碼工作為代價(jià)導(dǎo)致更好的壓縮，這是由于如果在到達(dá)閾值之后終止對(duì)參考?jí)K的搜索，則必須為所有色彩分量確定最佳匹配或至少良好匹配的參考?jí)K。匹配準(zhǔn)則可為同一平面的要編碼的平面塊和參考?jí)K候選項(xiàng)之間的失真、相似性或率失真，其中，失真、相似性或率失真至少必須達(dá)到匹配閾值或者甚至必須被優(yōu)化。在本發(fā)明的示例性實(shí)施例中，可顯著地減少所述額外工作。即，在確定用于編碼第一色彩平面的第一參考?jí)K之后，將與第一色彩平面內(nèi)所述第一參考?jí)K位于相同位置的第二色彩平面內(nèi)的起始?jí)K用作搜索用于編碼第二色彩平面的第二參考?jí)K的起始點(diǎn)。如果通過閾值準(zhǔn)則終止參考搜索，則在確定所述起始?jí)K后在大多數(shù)情況下可以停止對(duì)第二參考?jí)K的搜索。這是因?yàn)樗銎鹗級(jí)K很有可能已經(jīng)滿足了閾值準(zhǔn)則。從而，雖然使用可分離編碼模式，但在示例性實(shí)施例中很有可能的是圖像塊的至少兩個(gè)色彩平面指的是同一參考?jí)K的平面并且因此需要編碼同一運(yùn)動(dòng)信息，例如，表示相對(duì)時(shí)空關(guān)系的同一運(yùn)動(dòng)向量。因此，在進(jìn)一步示例性實(shí)施例中，通過僅僅指示運(yùn)動(dòng)信息的重復(fù)使用而不是為每個(gè)平面塊分離地編碼重復(fù)使用的運(yùn)動(dòng)信息而節(jié)省了一些帶寬。在另一個(gè)實(shí)施例中，從要被編碼的塊中提取第一色彩分量的第一塊和第二和/或第三色彩分量的第二塊。然后，確定第一參考?jí)K使得所述第一塊關(guān)于從所述參考?jí)K提取的第一色彩分量參考?jí)K的失真低于第一失真閾值。此外，確定并編碼表示該塊和參考?jí)K之間的時(shí)空關(guān)系的運(yùn)動(dòng)信息。所確定的參考?jí)K還被用作搜索要用于編碼所述第二塊的另一參考?jí)K的起始?jí)K。所述搜索包括，作為第一步驟，使用所述第二塊和所述參考?jí)K的第二色彩分量參考?jí)K來確定失真，以及將所確定的失真與第二失真閾值相比較，所述第二失真閾值可以等于或不同于第一閾值。如果所確定的失真低于第二失真閾值，則終止所述搜索并且編碼用于指示要使用運(yùn)動(dòng)信息解碼所述第二塊的指示符。如果是這樣，則需要對(duì)應(yīng)地適配解碼器。即，解碼器需要包括用于檢測(cè)所述指示并且從第一色彩分量復(fù)制運(yùn)動(dòng)信息的部件。圖1示例性地示出了編碼器的框架。接收第一平面塊(FPB)并且估計(jì)運(yùn)動(dòng)(MCE)。 運(yùn)動(dòng)估計(jì)用于運(yùn)動(dòng)補(bǔ)償(MCP)并且通過減法形成殘差。隨后，對(duì)殘差進(jìn)行變換和量化(TQ) 以及逆量化和逆變換(IQIT)。添加運(yùn)動(dòng)補(bǔ)償(MCP)的輸出并且結(jié)果經(jīng)歷去塊(deblocking) 濾波(DEL)。在存儲(chǔ)器(FRM)中存儲(chǔ)重構(gòu)的和去塊的平面塊，使得運(yùn)動(dòng)補(bǔ)償(MCP)和運(yùn)動(dòng)估計(jì)(MCE)可利用存儲(chǔ)的第一平面的幀。類似地，接收當(dāng)前平面塊(CPB)并應(yīng)用修改的運(yùn)動(dòng)估計(jì)(MME)。以與用于第一平面塊(FPB)大致相同的方式將修改的運(yùn)動(dòng)估計(jì)(MME)的輸出用于運(yùn)動(dòng)補(bǔ)償(MCP)和隨后的殘
差編碼。通過用于第一平面塊(FPB)的運(yùn)動(dòng)估計(jì)(MCE)的結(jié)果初始化修改的運(yùn)動(dòng)估計(jì) (MME)。然后，將當(dāng)前平面塊(CPB)與借助第一平面運(yùn)動(dòng)估計(jì)(MCE)所生成的運(yùn)動(dòng)補(bǔ)償塊進(jìn)行比較。例如，確定失真并且將所確定的失真與閾值相比較。如果所確定的失真低于閾值，則將第一平面運(yùn)動(dòng)估計(jì)(MCE)的結(jié)果傳遞至第二平面運(yùn)動(dòng)補(bǔ)償。此外，將指示符傳遞至編碼器(ENC)用于編碼，其中所述指示符指示與第一平面塊的殘差一同編碼的運(yùn)動(dòng)信息要用于解碼期間重構(gòu)當(dāng)前平面塊。如果所確定的失真高于閾值，則將當(dāng)前平面塊與另一當(dāng)前平面參考候選塊相比較直至發(fā)現(xiàn)良好匹配的當(dāng)前平面參考?jí)K。圖2示例性地示出了對(duì)應(yīng)的解碼框架。觸發(fā)開關(guān)(TSW)由從第二平面解碼(SPD) 中的解碼(DEC)產(chǎn)生的指示符來觸發(fā)，并且傳遞(pass)由第一平面的解碼(FPD)解碼器 (DEC)產(chǎn)生的運(yùn)動(dòng)信息，或者傳遞由依賴于指示符的第二平面的解碼(FPD)解碼器(DEC)產(chǎn)生的運(yùn)動(dòng)信息。然后所傳遞的運(yùn)動(dòng)信息用于進(jìn)一步解碼。該指示符可以是標(biāo)志比特。
權(quán)利要求
1.一種用于在H. ^4high444簡(jiǎn)檔中幀間編碼彩色圖像塊的方法，所述圖像包括第一色彩分量、不同的第二色彩分量以及不同的第三色彩分量，所述方法包括以下步驟-在不同的彩色圖像中包括的兩個(gè)或更多參考?jí)K候選項(xiàng)中確定參考?jí)K候選項(xiàng)，所述參考?jí)K候選項(xiàng)具有至少匹配所述塊的所述第一色彩分量以及剩余的參考?jí)K候選項(xiàng)的任何對(duì)應(yīng)的第一色彩分量的對(duì)應(yīng)的第一色彩分量，以及-使用所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量編碼所述塊的第二色彩分量。
2.如權(quán)利要求1所述的方法，還包括-使用所確定的參考?jí)K的對(duì)應(yīng)的第三色彩分量編碼所述塊的第三色彩分量。
3.如權(quán)利要求2所述的方法，還包括-編碼表示所述塊與所確定的參考?jí)K之間的時(shí)空關(guān)系的運(yùn)動(dòng)信息；以及 -編碼指示符，所述指示符指示至少要使用該運(yùn)動(dòng)信息來解碼所述塊的第二色彩分量。
4.如權(quán)利要求1、2或3所述的方法，還包括-接收控制信號(hào)，所述控制信號(hào)用于指示要使用所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量來編碼所述塊的第一色彩分量和剩余的色彩分量。
5.如權(quán)利要求4所述的方法，還包括-使用所述塊的第二色彩分量和所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量來確定失真，以及-響應(yīng)所確定的失真生成所述控制信號(hào)，其中-所述控制信號(hào)指示為編碼所述塊的第二色彩分量，是代替所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量還是與所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量一起而使用不同的另一參考?jí)K的對(duì)應(yīng)的第二色彩分量。
6.如前述權(quán)利要求之一所述的方法，其中-所述塊的所述色彩分量和所確定的參考?jí)K的所述對(duì)應(yīng)的色彩分量為亮度分量，以及 -所述塊的所述第二色彩分量和所確定的參考?jí)K的所述對(duì)應(yīng)的第二色彩分量為色度分量。
7.一種用于在H. ^4high444簡(jiǎn)檔中幀間編碼圖像塊的裝置，所述圖像包括第一色彩分量、不同的第二色彩分量以及不同的第三色彩分量，所述裝置包括-確定部件，用于在另一圖像中包括的兩個(gè)或更多參考?jí)K候選項(xiàng)中確定參考?jí)K候選項(xiàng)， 所述參考?jí)K候選項(xiàng)具有至少匹配所述塊的所述第一色彩分量以及剩余的參考?jí)K候選項(xiàng)的任何對(duì)應(yīng)的第一色彩分量的對(duì)應(yīng)的第一色彩分量，以及-編碼部件，用于使用所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量編碼所述塊的第二色彩分量。
8.如權(quán)利要求7所述的裝置，其中-所述編碼部件被適配為使用所確定的參考?jí)K的對(duì)應(yīng)的第三色彩分量編碼所述塊的第三色彩分量。
9.如權(quán)利要求7或8所述的裝置，還包括 -用于編碼運(yùn)動(dòng)信息的部件；以及-用于編碼指示符的部件，所述指示符指示至少要使用該運(yùn)動(dòng)信息來解碼所述塊的第二色彩分量。
10.如權(quán)利要求7、8或9所述的裝置，其中-用于編碼的部件被適配為接收控制信號(hào)，所述控制信號(hào)用以指示要使用所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量來編碼所述塊的第二色彩分量。
11.如權(quán)利要求10所述的裝置，還包括-確定部件，用于使用所述塊的第二色彩分量和所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量來確定失真，以及-生成部件，用于響應(yīng)所確定的失真生成所述控制信號(hào)，其中-所述控制信號(hào)指示為編碼所述塊的第二色彩分量，是代替所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量還是與所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量一起而使用不同的另一參考?jí)K的對(duì)應(yīng)的第二色彩分量。
12.如權(quán)利要求7至11之一所述的裝置，其中-所述塊的所述第一色彩分量和所確定的參考?jí)K的所述對(duì)應(yīng)的第一色彩分量為亮度分量，以及-所述塊的所述第二色彩分量和所述第三色彩分量以及所確定的參考?jí)K的所述對(duì)應(yīng)的第二色彩分量和第三色彩分量為色度分量。
13.一種用于解碼圖像塊的方法，所述塊包括第一色彩分量、不同的第二色彩分量和不同的第三色彩分量，所述方法包括以下步驟-解碼運(yùn)動(dòng)信息，-使用所述運(yùn)動(dòng)信息以便確定參考圖像，-使用所述運(yùn)動(dòng)信息以便確定所確定的參考圖像中包括的參考?jí)K，-使用所確定的參考?jí)K的對(duì)應(yīng)的第一色彩分量來解碼所述塊的第一色彩分量，以及-解碼指示符，所述指示符指示要使用所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量來解碼的所述塊的第二色彩分量。
14.一種用于解碼圖像塊的裝置，所述塊包括第一色彩分量、不同的第二色彩分量和不同的第三色彩分量，所述裝置包括-用于解碼運(yùn)動(dòng)信息的部件，-用于使用所述運(yùn)動(dòng)信息以便確定參考圖像的部件，-用于使用所述運(yùn)動(dòng)信息以便確定所確定的參考圖像中包括的參考?jí)K的部件，-解碼部件，適配為使用所確定的參考?jí)K的對(duì)應(yīng)的第一色彩分量來解碼所述塊的第一色彩分量，其中-所述解碼部件被進(jìn)一步適配為解碼指示符，所述指示符指示要使用所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量來解碼的所述塊的第二色彩分量。
15.一種承載編碼的圖像塊的數(shù)據(jù)載體，所述塊根據(jù)權(quán)利要求3被編碼。
全文摘要
提出一種在H.264High444簡(jiǎn)檔中幀間編碼彩色圖像塊的方法，其中所述圖像包括第一色彩分量、不同的第二色彩分量以及不同的第三色彩分量。所述方法包括以下步驟在不同的彩色圖像中包括的兩個(gè)或更多參考?jí)K候選項(xiàng)中確定參考?jí)K候選項(xiàng)，所述參考?jí)K候選項(xiàng)具有至少匹配所述塊的所述第一色彩分量以及剩余的參考?jí)K候選項(xiàng)的任何對(duì)應(yīng)的第一色彩分量的對(duì)應(yīng)的第一色彩分量，以及使用所確定的參考?jí)K的對(duì)應(yīng)的第二色彩分量編碼所述塊的第二色彩分量。具有與要編碼的塊的對(duì)應(yīng)的第一色彩分量對(duì)應(yīng)的第一色彩分量的參考?jí)K通常是用于搜索用于要編碼的塊的不同的第二色彩分量的參考?jí)K的良好起始點(diǎn)。
文檔編號(hào)H04N7/50GK102257821SQ200980151359
公開日2011年11月23日 申請(qǐng)日期2009年11月23日 優(yōu)先權(quán)日2008年12月18日
發(fā)明者吳宇文 申請(qǐng)人:湯姆森特許公司