專利名稱：根據(jù)方向幀內(nèi)殘余預(yù)測對(duì)視頻信號(hào)編碼和解碼的方法和設(shè)備的制作方法
才艮據(jù)方向幀內(nèi)殘余預(yù)測對(duì)視頻信號(hào)編碼和解碼的方法和設(shè)備技術(shù)領(lǐng)域根據(jù)本發(fā)明的方法和設(shè)備涉及視頻編碼和解碼，更具體地講，涉及根據(jù) 方向幀內(nèi)殘余預(yù)測對(duì)視頻信號(hào)進(jìn)行編碼和解碼。
背景技術(shù)：
由于包括文本、運(yùn)動(dòng)圖像(下面稱作"視頻")和音頻的多媒體數(shù)據(jù)通常 很大，所以需要大容量的存儲(chǔ)介質(zhì)和寬的帶寬來存儲(chǔ)和發(fā)送數(shù)據(jù)。因此，需 要壓縮編碼技術(shù)來發(fā)送多媒體數(shù)據(jù)。在多媒體的壓縮方法中，根據(jù)是否損失 源數(shù)據(jù)、是否是對(duì)各個(gè)幀獨(dú)立執(zhí)行壓縮以及壓縮和重構(gòu)是否需要相同時(shí)間， 可分別將視頻壓縮方法劃分成有損/無損壓縮、幀內(nèi)/幀間壓縮和對(duì)稱/不對(duì)稱 壓縮。在幀具有多種分辨率的情況下，可將相應(yīng)的壓縮稱作可分級(jí)壓縮。傳統(tǒng)視頻編碼的目的在于發(fā)送優(yōu)化到給定傳輸率的信息。然而，在比如 互聯(lián)網(wǎng)流視頻的網(wǎng)絡(luò)視頻應(yīng)用中，網(wǎng)絡(luò)的性能不是一成不變的，而是根據(jù)環(huán) 境不斷變化，因此，除了需要優(yōu)化到特定傳輸率的編碼之外，還需要柔性編 碼?？煞旨?jí)性是指解碼器根據(jù)處理?xiàng)l件和網(wǎng)絡(luò)條件有選4奪地對(duì)基本層和增強(qiáng)層進(jìn)行解碼的能力。具體地講，精細(xì)粒度可分級(jí)(FGS)方法對(duì)基本層和增 強(qiáng)層進(jìn)行編碼，根據(jù)網(wǎng)絡(luò)傳輸效率或解碼器方的狀態(tài)，可不發(fā)送增強(qiáng)層或者 不對(duì)增強(qiáng)層進(jìn)行解碼。因此，根據(jù)網(wǎng)絡(luò)傳輸率可適當(dāng)?shù)匕l(fā)送數(shù)據(jù)。圖1示出使用多層結(jié)構(gòu)的可分級(jí)視頻編解碼器的示例。在該視頻編解碼 器中，基本層具有15Hz (幀率)的四分之一通用中間格式(QCIF)，第一增 強(qiáng)層具有30Hz的通用中間格式(CIF ),第二增強(qiáng)層具有60Hz的SD (標(biāo)準(zhǔn) 清晰度)格式。如果需要CIF0.5Mbps流，則基于具有CIF格式、30Hz的幀 率和0.7Mbps的比特率的第一增強(qiáng)層截?cái)啾忍亓饕垣@得0.5Mbps的比特率。 在該方法中，可獲得空間和時(shí)間上的SNR可分級(jí)性。如圖l所示，具有相同時(shí)間位置的各個(gè)層的幀(例如IO、 20和30)，具 有彼此相似的圖像。因此，已經(jīng)提出了預(yù)測當(dāng)前層的紋理并對(duì)當(dāng)前層的預(yù)測值和實(shí)際紋理值之間的差進(jìn)行編碼的方法。在ISO/IEC 21000-13可分級(jí)視頻 編碼的可分級(jí)視頻模式3.0 (下面稱作"SVM3.0")中，將這種方法稱作幀內(nèi) BL預(yù)測。根據(jù)SVM3.0,除了在現(xiàn)有H.264中用于預(yù)測構(gòu)成當(dāng)前幀的塊或宏塊的 幀間預(yù)測和方向幀內(nèi)預(yù)測之外，已經(jīng)采用了通過使用當(dāng)前塊和相應(yīng)的下層塊 之間的相關(guān)性來預(yù)測當(dāng)前塊的方法。將這種預(yù)測方法稱作"幀內(nèi)BL預(yù)測"， 將使用這種預(yù)測方法執(zhí)行編碼的模式稱作"幀內(nèi)BL模式"。圖2是示意性地解釋上述三種預(yù)測方法的示圖。對(duì)當(dāng)前幀11的某一宏塊 14執(zhí)行第一種(①)幀內(nèi)預(yù)測，使用在時(shí)間位置上與當(dāng)前幀11不同的幀12 執(zhí)行第二種(②)幀間預(yù)測，使用基本層幀13的與宏塊14相應(yīng)的區(qū)域16的 紋理數(shù)據(jù)來執(zhí)行第三種(③)幀內(nèi)BL預(yù)測。發(fā)明內(nèi)容在時(shí)間幀間預(yù)測中，通過獲得預(yù)測的結(jié)果和將根據(jù)預(yù)測的結(jié)果被編碼的 視頻之間的差，來對(duì)殘余數(shù)據(jù)進(jìn)行編碼的情況下，提高了壓縮效率。另外， 通過獲得殘余數(shù)據(jù)之間的差減小將被編碼的數(shù)據(jù)量來提高壓縮效率。結(jié)果， 需要以方向幀內(nèi)預(yù)測來壓縮殘余數(shù)據(jù)的方法和設(shè)備。因此，本發(fā)明用于解決在現(xiàn)有技術(shù)中發(fā)生的上述問題，本發(fā)明的一方面 在于通過基于基本層的方向幀內(nèi)預(yù)測數(shù)據(jù)獲得增強(qiáng)層的殘余數(shù)據(jù)來減小將被 編碼的數(shù)據(jù)的大小。本發(fā)明的另 一方面在于通過減小分配給存在于方向幀內(nèi)預(yù)測數(shù)據(jù)中的方 向信息的符號(hào)的大小而在執(zhí)行幀內(nèi)預(yù)測的同時(shí)減小將被編碼的數(shù)據(jù)量并提高 壓縮效率。本發(fā)明的其他方面將會(huì)在下面的描述中部分地闡述，在對(duì)下述內(nèi)容進(jìn)行 發(fā)明而被了解。為了實(shí)現(xiàn)這些方面，根據(jù)本發(fā)明，提供了一種根據(jù)方向幀內(nèi)殘余預(yù)測對(duì) 視頻信號(hào)進(jìn)行編碼的方法，所述方法包括通過參考基本層的第二塊對(duì)基本 層的第一塊執(zhí)行方向幀內(nèi)預(yù)測來計(jì)算第 一殘余數(shù)據(jù)；通過參考增強(qiáng)層的第四 塊對(duì)增強(qiáng)層的第三塊執(zhí)行方向幀內(nèi)預(yù)測來計(jì)算第二殘余數(shù)據(jù)，所述增強(qiáng)層的 第三塊與基本層的第 一塊相應(yīng)，所述增強(qiáng)層的第四塊與基本層的第二塊相應(yīng)；通過獲得作為第 一殘余數(shù)據(jù)和第二殘余數(shù)據(jù)之間的差的第三殘余數(shù)據(jù)來根據(jù) 方向幀內(nèi)殘余預(yù)測對(duì)第三塊進(jìn)行編碼。根據(jù)本發(fā)明的另 一方面，提供了 一種根據(jù)方向幀內(nèi)殘余預(yù)測對(duì)視頻信號(hào) 進(jìn)行解碼的方法，所述方法包括從增強(qiáng)層殘余流中提取第三殘余數(shù)據(jù)，所述第三殘余數(shù)據(jù)是對(duì)增強(qiáng)層的第三塊執(zhí)行方向幀內(nèi)殘余預(yù)測的數(shù)據(jù)；從基本 層的殘余流中提取第 一殘余數(shù)據(jù)，所述第一殘余數(shù)據(jù)是對(duì)與第三塊相應(yīng)的基 本層的第 一塊執(zhí)行方向幀內(nèi)預(yù)測的結(jié)果；通過將第三殘余數(shù)據(jù)和第 一殘余數(shù) 據(jù)相加來計(jì)算第二殘余數(shù)據(jù)，所述第二殘余數(shù)據(jù)是對(duì)第三塊執(zhí)行方向幀內(nèi)預(yù) 測的結(jié)果；使用第二殘余數(shù)據(jù)來恢復(fù)第三塊。根據(jù)本發(fā)明的另 一方面，提供了 一種用于根據(jù)方向幀內(nèi)殘余預(yù)測對(duì)視頻 信號(hào)進(jìn)行編碼的視頻編碼器，所述視頻編碼器包括基本層幀內(nèi)預(yù)測單元， 通過參考基本層的第二塊對(duì)基本層的第 一塊執(zhí)行方向幀內(nèi)預(yù)測來計(jì)算第 一殘 余數(shù)據(jù)；增強(qiáng)層幀內(nèi)預(yù)測單元，通過參考增強(qiáng)層的第四塊對(duì)增強(qiáng)層的第三塊 執(zhí)行方向幀內(nèi)預(yù)測來計(jì)算第二殘余數(shù)據(jù)，所述增強(qiáng)層的第三塊對(duì)應(yīng)于基本層 的第一塊，所述增強(qiáng)層的第四塊對(duì)應(yīng)于基本層的第二塊；殘余編碼單元，通 過獲得作為第 一 殘余數(shù)據(jù)和第二殘余數(shù)據(jù)之間的差的第三殘余數(shù)據(jù)來根據(jù)方 向幀內(nèi)殘余預(yù)測對(duì)第三塊進(jìn)行編碼。根據(jù)本發(fā)明的另 一方面，提供了 一種用于根據(jù)方向幀內(nèi)殘余預(yù)測對(duì)視頻 信號(hào)進(jìn)行解碼的視頻解碼器，所述視頻解碼器包括殘余解碼單元，從增強(qiáng) 層殘余流中提取作為對(duì)增強(qiáng)層的第三塊進(jìn)行方向幀內(nèi)殘余預(yù)測的數(shù)據(jù)的第三 殘余數(shù)據(jù)；基本層殘余解碼單元，從基本層殘余流中提取作為對(duì)與第三塊相 應(yīng)的基本層的第 一塊執(zhí)行方向幀內(nèi)預(yù)測的結(jié)果的第 一 殘余數(shù)據(jù)；增強(qiáng)層殘余 解碼單元，通過將第三殘余數(shù)據(jù)和第一殘余數(shù)據(jù)相加來計(jì)算作為對(duì)第三塊執(zhí) 行方向幀內(nèi)預(yù)測的結(jié)果的第二殘余數(shù)據(jù)；增強(qiáng)層解碼單元，使用第二殘余數(shù) 據(jù)來恢復(fù)第三塊。


通過下面結(jié)合附圖對(duì)本發(fā)明示例性實(shí)施例的詳細(xì)描述，本發(fā)明的上述和 其他方面將會(huì)更清楚，其中圖1是示出使用多層結(jié)構(gòu)的可分級(jí)視頻編解碼器的示例的示圖； 圖2是示意性解釋三種預(yù)測方法的示圖；圖3是解釋獲得通過分別對(duì)增強(qiáng)層和基本層執(zhí)行幀內(nèi)預(yù)測產(chǎn)生的殘余數(shù)據(jù)之間的差的處理的示圖；圖4是示出根據(jù)本發(fā)明示例性實(shí)施例方向幀內(nèi)預(yù)測的殘余差機(jī)制的示圖；圖5A和圖5B是解釋現(xiàn)有幀內(nèi)預(yù)測方向和根據(jù)本發(fā)明示例性實(shí)施例的擴(kuò) 充的幀內(nèi)預(yù)測方向的示圖；圖6是解釋根據(jù)本發(fā)明示例性實(shí)施例的基于擴(kuò)充的幀內(nèi)預(yù)測參考的塊的 關(guān)系的示圖；據(jù)進(jìn)行解碼的處理的示圖；圖8是示出根據(jù)本發(fā)明示例性實(shí)施例的方向幀內(nèi)殘余預(yù)測的編碼處理的 流程圖；圖9是示出根據(jù)本發(fā)明示例性實(shí)施例的方向幀內(nèi)殘余預(yù)測的解碼處理的 流程圖；圖IO是示出根據(jù)本發(fā)明示例性實(shí)施例的視頻編碼器的結(jié)構(gòu)的框圖； 圖11是示出根據(jù)本發(fā)明示例性實(shí)施例的視頻解碼器的結(jié)構(gòu)的框圖。
具體實(shí)施方式
下面將參照附圖來對(duì)本發(fā)明示例性實(shí)施例進(jìn)行詳細(xì)描述。通過參照將參 考附圖詳細(xì)描述的示例性實(shí)施例，本發(fā)明的方面和特征以及實(shí)現(xiàn)這些方面和 特征的方法將會(huì)更清楚。然而，本發(fā)明并不限于下面公開的示例性實(shí)施例， 而可以以多種形式來實(shí)現(xiàn)本發(fā)明。在描述中定義的內(nèi)容，比如詳細(xì)的結(jié)構(gòu)和 部件，只不過是幫助本領(lǐng)域的普通技術(shù)人員全面理解本發(fā)明的具體細(xì)節(jié)，本 發(fā)明只由權(quán)利要求的范圍限定。在對(duì)本發(fā)明的全部描述中，相同的標(biāo)號(hào)在各 個(gè)附圖中表示相同的部件。將參照附圖來描述本發(fā)明的示例性實(shí)施例，附圖示出用于解釋根據(jù)本發(fā) 明的方向幀內(nèi)殘余預(yù)測對(duì)視頻信號(hào)進(jìn)行編碼和解碼的方法和設(shè)備的框圖和流 程圖。應(yīng)該理解，可通過計(jì)算機(jī)程序指令來實(shí)現(xiàn)流程圖的每個(gè)塊以及流程圖 中多個(gè)塊的結(jié)合。可向通用計(jì)算機(jī)、專用計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備 的處理器提供這些計(jì)算機(jī)程序指令以產(chǎn)生機(jī)器，從而經(jīng)計(jì)算機(jī)或者其他可編 程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令，創(chuàng)建實(shí)現(xiàn)在流程圖一個(gè)塊或多個(gè)塊中說明的功能的裝置。這些計(jì)算機(jī)程序指令還可被存儲(chǔ)在可指導(dǎo)計(jì)算機(jī)或其他 可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可用或計(jì)算機(jī)可讀存儲(chǔ)器中， 從而存儲(chǔ)在計(jì)算機(jī)可用或計(jì)算機(jī)可讀存儲(chǔ)器中的這些指令可產(chǎn)生包括實(shí)現(xiàn)在 一個(gè)流程圖塊或多個(gè)流程圖塊中說明的功能的指令裝置的 一種產(chǎn)品。圖3是解釋獲得通過分別對(duì)增強(qiáng)層和基本層執(zhí)行方向幀內(nèi)預(yù)測所產(chǎn)生的 殘余數(shù)據(jù)之間的差的過程的示圖。通過對(duì)基本層執(zhí)行方向幀內(nèi)預(yù)測所產(chǎn)生的殘余數(shù)據(jù)(Rb) 102具有關(guān)于將被預(yù)測的塊與將被編碼的原始?jí)K101之間的 差的信息。在方向幀內(nèi)預(yù)測的情況下，殘余數(shù)據(jù)(Rb) 102包括關(guān)于將被參 考的方向的信息。通過對(duì)增強(qiáng)層的塊111執(zhí)行方向幀內(nèi)預(yù)測來產(chǎn)生殘余數(shù)據(jù)(Rc) 112。殘 余數(shù)據(jù)(Rc) 112包括參考位于用于方向幀內(nèi)預(yù)測的特定方向上的塊所需的 方向信息。解碼器端通過根據(jù)這種方向信息選擇將被參考的塊或像素來執(zhí)行 塊恢復(fù)。在基本層和增強(qiáng)層中，根據(jù)基本層的幀內(nèi)預(yù)測的殘余數(shù)據(jù)很可能與根據(jù) 增強(qiáng)層的幀內(nèi)預(yù)測的殘余數(shù)據(jù)相似。因此，可通過對(duì)殘余預(yù)測數(shù)據(jù)(R) 120 進(jìn)行編碼而非對(duì)殘余數(shù)據(jù)Rc進(jìn)行編碼來提高編碼效率，其中，從基本層殘余 數(shù)據(jù)Rb和增強(qiáng)層殘余數(shù)據(jù)Rc之間的差獲得所述殘余預(yù)測數(shù)據(jù)(R) 120，通 過對(duì)增強(qiáng)層的塊執(zhí)行方向幀內(nèi)預(yù)測來獲得殘余數(shù)據(jù)Rc 。圖4是示出根據(jù)本發(fā)明示例性實(shí)施例的方向幀內(nèi)預(yù)測的殘余差機(jī)制的示 圖。在增強(qiáng)層的特定幀或者像條150中，存在將被編碼的塊或像素151。此 外，在基本層的幀140中存在塊或像素141。通過參考?jí)K(或像素)142對(duì)基 本層的塊或像素141執(zhí)行方向幀內(nèi)預(yù)測來產(chǎn)生殘余數(shù)據(jù)(Rb) 143。在這種情 況下，殘余數(shù)據(jù)包括用于參考所述塊142的方向信息145。同時(shí)，通過參考與基本層的塊142對(duì)應(yīng)的塊152,來對(duì)與基本層的塊141 對(duì)應(yīng)的增強(qiáng)層中的塊或像素151執(zhí)行方向幀內(nèi)預(yù)測來產(chǎn)生殘余數(shù)據(jù)(Rc)153。 所述殘余數(shù)據(jù)包括用于參考所述塊152的方向信息155。這里，用于塊151 參考?jí)K152的方向信息155與用于塊141參考?jí)K142的方向信息145相同或 相似。這是因?yàn)樗麄兊南鄬?duì)位置彼此相同或相似。此外，它們的紋理殘余很 可能彼此相似。為了去除所述信息之間的相似性，可通過獲得殘余預(yù)測數(shù)據(jù) (R) 156來執(zhí)行方向幀內(nèi)殘余預(yù)測，所述殘余預(yù)測數(shù)據(jù)(R) 156是殘余數(shù) 據(jù)(Rc) 153和殘余數(shù)據(jù)(Rb) 143之間的差。在方向信息的情況下，通過獲得根據(jù)基本層的幀內(nèi)預(yù)測的方向信息145和根據(jù)增強(qiáng)層的幀內(nèi)預(yù)測的方向信息155之間的差168來執(zhí)行方向幀內(nèi)殘余預(yù)測。在如圖3和圖4所示執(zhí)行方向幀內(nèi)殘余預(yù)測時(shí)，可通過方向幀內(nèi)預(yù)測模 式的殘余預(yù)測來執(zhí)行多層幀內(nèi)預(yù)測?？墒褂脷堄囝A(yù)測標(biāo)志來識(shí)別增強(qiáng)層是否 參考基本層的方向幀內(nèi)預(yù)測信息。此外，可使用基本層標(biāo)志(blflag)來識(shí)別 是否在增強(qiáng)層中已經(jīng)再次使用了殘余層的方向。例如，如果基本層標(biāo)志 (blflag)是'T'，則可再次使用基本層的方向信息。如果基本層的方向信息 與增強(qiáng)層的方向信息不同，則在根據(jù)qpel標(biāo)志調(diào)整了方向信息之后使用基本 層的方向信息。志o另一方面，可擴(kuò)充現(xiàn)有幀內(nèi)預(yù)測的方向以執(zhí)行如圖3和4所示的方向幀 內(nèi)殘余預(yù)測。在這種情況下，執(zhí)行更精確的方向預(yù)測，參考相應(yīng)的方向預(yù)測 的增強(qiáng)層的方向預(yù)測之間的差變得精確，從而可提高方向幀內(nèi)預(yù)測結(jié)果的編 碼效率。圖5A和圖5B是解釋現(xiàn)有幀內(nèi)預(yù)測方向和根據(jù)本發(fā)明示例性實(shí)施例的擴(kuò) 充的幀內(nèi)預(yù)測方向的示圖。在H.264規(guī)范中提出的方向幀內(nèi)預(yù)測具有9個(gè)幀內(nèi)預(yù)測方向，包括如在 附圖中示出的8個(gè)方向和DC 。根據(jù)本發(fā)明示例性實(shí)施例提出的擴(kuò)充的方向幀 內(nèi)預(yù)測具有7個(gè)另外的幀內(nèi)預(yù)測方向，從而幀內(nèi)預(yù)測方向的總數(shù)變成16。通 過將關(guān)于幀內(nèi)BL4，4的信息添加到16個(gè)方向中，幀內(nèi)預(yù)測方向的數(shù)目總共是 17個(gè)。根據(jù)依據(jù)本發(fā)明示例性實(shí)施例提出的擴(kuò)充的幀內(nèi)預(yù)測，通過擴(kuò)充的方 向來指示很難由現(xiàn)有方向指示的信息，因此提高了幀內(nèi)預(yù)測的性能。結(jié)果， 可將所述幀內(nèi)預(yù)測應(yīng)用于由于基本層和增強(qiáng)層之間的分辨率或量化大小上的 差異引起的基本層的幀內(nèi)BL不具有高壓縮率的情況。圖6是解釋根據(jù)本發(fā)明示例性實(shí)施例的基于如上所述的擴(kuò)充的幀內(nèi)預(yù)測 所參考的塊之間的關(guān)系的示圖。標(biāo)號(hào)170顯示在傳統(tǒng)H.264中的幀內(nèi)預(yù)測所 參考的塊。根據(jù)擴(kuò)充的幀內(nèi)預(yù)測，根據(jù)如圖5B所示的擴(kuò)充的幀內(nèi)預(yù)測方向參 考由標(biāo)號(hào)180指示的相鄰塊。在這種情況下，需要給于相鄰像素權(quán)值。塊181、 182、 183、 184、 185、 186和187顯示在擴(kuò)充的幀內(nèi)預(yù)測中參考的相鄰像素 之間的關(guān)系。如圖6中示出的塊包括子塊。據(jù)解碼的處理的示圖。殘余預(yù)測數(shù)據(jù)(R) 256和殘余數(shù)據(jù)(Rb) 243分別被 包括在增強(qiáng)層比特流和基本層比特流中。(R) 256包括根據(jù)方向幀內(nèi)殘余預(yù) 測從增強(qiáng)層的殘余數(shù)據(jù)減去基本層的殘余數(shù)據(jù)的結(jié)果。此外，(R) 256包括 增強(qiáng)層的方向性和基本層的方向性245之間的差值268?？赏ㄟ^將(Rb) 243 和(R) 256相加來恢復(fù)對(duì)增強(qiáng)層進(jìn)行方向幀內(nèi)預(yù)測的殘余數(shù)據(jù)(Rc) 253。 殘余數(shù)據(jù)253還包括關(guān)于方向性255的信息?？赏ㄟ^根據(jù)使用(Rb) 243的 通常的方向幀內(nèi)預(yù)測執(zhí)行解碼來恢復(fù)基本層幀240的塊241。塊241參考?jí)K 242。可通過使用(Rc) 253的恢復(fù)處理來恢復(fù)增強(qiáng)層幀250的塊251。塊251 參考?jí)K252。圖8是示出根據(jù)本發(fā)明示例性實(shí)施例的方向幀內(nèi)殘余預(yù)測的編碼處理的 流程圖。首先，對(duì)基本層執(zhí)行方向幀內(nèi)預(yù)測(S301 )。也就是說，如圖4所示，參 考與基本層的第一塊(圖4的141 )在同一幀內(nèi)的第二塊(圖4的142)對(duì)基 本層的第一塊執(zhí)行方向幀內(nèi)預(yù)測。然后，計(jì)算殘余數(shù)據(jù)Rb (圖4的143 )作 為預(yù)測的結(jié)果(S302)。同時(shí)，對(duì)增強(qiáng)層執(zhí)行方向幀內(nèi)預(yù)測(S303 )。也就是說，參考與基本層的 第二塊(圖4的142)相應(yīng)的增強(qiáng)層的第四塊(圖4的152)對(duì)與基本層的第 一塊(圖4的141 )相應(yīng)的增強(qiáng)層的第三塊(圖4的151 )執(zhí)行方向幀內(nèi)預(yù)測。 然后，計(jì)算殘余數(shù)據(jù)Rc (圖4的153 )作為預(yù)測的結(jié)果(S304)。通過計(jì)算Rc-Rb來產(chǎn)生增強(qiáng)層的方向幀內(nèi)殘余預(yù)測數(shù)據(jù)R (圖4的156 ) (S305 )。然后，對(duì)殘余數(shù)據(jù)R進(jìn)行編碼并將其發(fā)送到解碼器端(S306)。執(zhí)行上述的擴(kuò)充的方向幀內(nèi)預(yù)測。流程圖。將參照?qǐng)D7和圖9來解釋解碼處理。對(duì)作為方向幀內(nèi)殘余預(yù)測的結(jié)果的殘余數(shù)據(jù)R (圖7中的256)進(jìn)行解 碼(S321 )。此外，提取作為對(duì)基本層的塊(圖7中的241 )執(zhí)行的幀內(nèi)預(yù)測 的結(jié)果的殘余數(shù)據(jù)Rb ( S322 )，其中，將通過殘余數(shù)據(jù)R被最后恢復(fù)的塊(圖 7的251)參考所述基本層的塊。然后，通過將Rb和R相加來計(jì)算作為對(duì)增 強(qiáng)層進(jìn)行幀內(nèi)預(yù)測的結(jié)果的殘余數(shù)據(jù)Rc (圖7中的253 ) (S324)。然后，使用Rc來恢復(fù)增強(qiáng)層的數(shù)據(jù)。的第三方向來執(zhí)行擴(kuò)充的方向幀內(nèi)預(yù)測，可精確地預(yù)測殘余數(shù)據(jù)。參照?qǐng)D10,視頻編碼器300包括產(chǎn)生增強(qiáng)層數(shù)據(jù)的殘余流的增強(qiáng)層幀 內(nèi)預(yù)測單元320、殘余編碼單元330、量化單元340、熵編碼單元350、用于 產(chǎn)生基本層數(shù)據(jù)的殘余流的基本層幀內(nèi)預(yù)測單元310、基本層量化單元345 和基本層熵編碼單元355。參照?qǐng)D4,基本層幀內(nèi)預(yù)測單元310參考與基本層的第一塊(圖4中的 141)在同一幀內(nèi)的第二塊(圖4中的142)對(duì)基本層的第一塊執(zhí)行方向幀內(nèi) 預(yù)測，從而產(chǎn)生殘余數(shù)據(jù)Rb (圖4中的143 )。通過基本層量化單元345和基 本層熵編碼單元355對(duì)殘余數(shù)據(jù)編碼，然后將編碼的殘余數(shù)據(jù)發(fā)送到解碼器 方。同時(shí)，增強(qiáng)層幀內(nèi)預(yù)測單元320對(duì)與基本層的第一塊(圖4中的141 ) 對(duì)應(yīng)的第三塊(圖4中的151)執(zhí)行方向幀內(nèi)預(yù)測。在這種情況下，與第二 塊(圖4的142)相應(yīng)的增強(qiáng)層的第四塊(圖4中的152)變成參考?jí)K。作為 執(zhí)行方向幀內(nèi)預(yù)測的結(jié)果，產(chǎn)生殘余數(shù)據(jù)Rc。殘余編碼單元330通過獲得Rc和Rb來產(chǎn)生作為方向幀內(nèi)殘余預(yù)測的結(jié) 果的R。通過量化單元340和熵編碼單元350來對(duì)值R進(jìn)行編碼。由于如圖10中所示的量化處理和熵編碼也已經(jīng)在傳統(tǒng)視頻編碼器中使 用，所以將省略其詳細(xì)的解釋。在應(yīng)用上述擴(kuò)充的方向幀內(nèi)預(yù)測的情況下，增強(qiáng)層幀內(nèi)預(yù)測單元320和 基本層幀內(nèi)預(yù)測單元310可基于用于傳統(tǒng)方向幀內(nèi)預(yù)測的兩個(gè)相鄰方向之間 存在的第三方向來執(zhí)行方向幀內(nèi)預(yù)測。圖11是示出根據(jù)本發(fā)明示例性實(shí)施例的視頻解碼器的結(jié)構(gòu)的框圖。參照?qǐng)D11，視頻解碼器600包括用于將增強(qiáng)層殘余流恢復(fù)為增強(qiáng)層視頻 數(shù)據(jù)的殘余解碼單元610、增強(qiáng)層殘余解碼單元620和增強(qiáng)層解碼單元640。 視頻解碼器還包括基本層殘余解碼單元630和基本層解碼單元650。殘余解碼單元610提取作為對(duì)增強(qiáng)層的第三塊(圖7中的251 )進(jìn)行方 向幀內(nèi)殘余預(yù)測的結(jié)果的殘余數(shù)據(jù)R (圖7中的256)。基本層殘余解碼單元 630從基本層殘余流提取作為對(duì)與第三塊相應(yīng)的第一塊(圖7中的241 )執(zhí)行方向幀內(nèi)預(yù)測的結(jié)果的殘余數(shù)據(jù)Rb。增強(qiáng)層殘余解碼單元620通過將R和Rb相加來計(jì)算作為對(duì)第三塊(圖 7中的251)執(zhí)行方向幀內(nèi)預(yù)測的結(jié)果的殘余數(shù)據(jù)Rc。計(jì)算的殘余數(shù)據(jù)被輸 入到增強(qiáng)層解碼單元640,以被恢復(fù)為視頻數(shù)據(jù)。基本層解碼單元650還使用殘余數(shù)據(jù)Rb來恢復(fù)視頻數(shù)據(jù)。 由于在傳統(tǒng)視頻解碼器中已經(jīng)使用了如圖11所示的恢復(fù)處理，所以將省 略其詳細(xì)的解釋。在應(yīng)用上述擴(kuò)充的方向幀內(nèi)預(yù)測的情況下，增強(qiáng)層解碼單元640和基本 第三方向來恢復(fù)視頻數(shù)據(jù)。產(chǎn)業(yè)上的可利用性如上所述，根據(jù)本發(fā)明示例性實(shí)施例，可在不改變多循環(huán)解碼處理的情 況下有效執(zhí)行解碼。此外，在對(duì)增強(qiáng)層執(zhí)行方向幀內(nèi)預(yù)測的情況下，將被分配給方向信息的 符號(hào)的編碼大小可顯著減小，可參考基本層的方向信息來調(diào)整方向信息。當(dāng)前在時(shí)域巾貞間預(yù)測中使用的殘余預(yù)測標(biāo)志和基本層標(biāo)志還可被用于方 向幀內(nèi)預(yù)測。為了解釋的目的已經(jīng)描述了本發(fā)明示例性實(shí)施例，本領(lǐng)域的技術(shù)人員應(yīng) 該理解，在不脫離在權(quán)利要求中公開的本發(fā)明的范圍和精神的情況下，可進(jìn) 行各種修改、添加和替換。因此，本發(fā)明的范圍由權(quán)利要求及其等同物所限定。
權(quán)利要求
1、一種根據(jù)方向幀內(nèi)殘余預(yù)測對(duì)視頻信號(hào)進(jìn)行編碼的方法，所述方法包括通過參考基本層的第二塊對(duì)基本層的第一塊執(zhí)行方向幀內(nèi)預(yù)測來計(jì)算第一殘余數(shù)據(jù)；通過參考與基本層的第二塊相應(yīng)的增強(qiáng)層的第四塊對(duì)與基本層的第一塊相應(yīng)的增強(qiáng)層的第三塊執(zhí)行方向幀內(nèi)預(yù)測來計(jì)算第二殘余數(shù)據(jù)；通過獲得作為第一殘余數(shù)據(jù)和第二殘余數(shù)據(jù)之間的差的第三殘余數(shù)據(jù)來根據(jù)方向幀內(nèi)殘余預(yù)測對(duì)第三塊進(jìn)行編碼。
2、 如權(quán)利要求l所述的方法，其中，對(duì)第三塊的編碼包括對(duì)第三殘余 數(shù)據(jù)進(jìn)行編碼。
3、 如權(quán)利要求l所述的方法，其中，第一殘余數(shù)據(jù)是第一塊和第二塊之 間的差值，并且所述第一殘余數(shù)據(jù)包括第二塊的方向信息。
4、 如權(quán)利要求l所述的方法，其中，第二殘余數(shù)據(jù)是第三塊和第四塊之 間的差值，并且所述第二殘余數(shù)據(jù)包括第四塊的方向信息。
5、 如權(quán)利要求l所述的方法，其中，第三殘余數(shù)據(jù)包括在第一殘余數(shù)據(jù) 中包括的方向信息和在第二殘余數(shù)據(jù)中包括的方向信息之間的差。
6、 如權(quán)利要求l所述的方法，其中，第三殘余數(shù)據(jù)包括關(guān)于指示方向幀 內(nèi)殘余預(yù)測的殘余預(yù)測模式的信息。
7、 如權(quán)利要求l所述的方法，其中，第三殘余數(shù)據(jù)包括指示是否再次使 用包括在第一殘余數(shù)據(jù)中的方向信息的標(biāo)志信息。
8、 如權(quán)利要求l所述的方法，其中，第三殘余數(shù)據(jù)包括指示是否調(diào)整和 使用在第一殘余數(shù)據(jù)中包括的方向信息的標(biāo)志信息。
9、 如權(quán)利要求l所述的方法，其中，第二塊和第四塊中的至少一個(gè)存在 于第三方向上，所述第三方向是用于方向幀內(nèi)預(yù)測的彼此相鄰的第一方向和 第二方向之間的方向。
10、 如權(quán)利要求9所述的方法，其中，根據(jù)H.264幀內(nèi)預(yù)測標(biāo)準(zhǔn)來確定 第一和第二方向。
11、 一種根據(jù)方向幀內(nèi)殘余預(yù)測對(duì)視頻信號(hào)進(jìn)行解碼的方法，所述方法包括從增強(qiáng)層殘余流中提取第三殘余數(shù)據(jù)，所述第三殘余數(shù)據(jù)是對(duì)增強(qiáng)層的第三塊執(zhí)行方向幀內(nèi)殘余預(yù)測的數(shù)據(jù)；從基本層的殘余流中提取第 一殘余數(shù)據(jù)，所述第 一殘余數(shù)據(jù)是對(duì)與第三塊相應(yīng)的基本層的第 一塊執(zhí)行方向幀內(nèi)預(yù)測的結(jié)果；通過將第三殘余數(shù)據(jù)和第一殘余數(shù)據(jù)相加來計(jì)算第二殘余數(shù)據(jù)，所述第 二殘余數(shù)據(jù)是對(duì)第三塊執(zhí)行方向幀內(nèi)預(yù)測的結(jié)果；使用第二殘余數(shù)據(jù)來恢復(fù)第三塊。
12、 如權(quán)利要求11所述的方法，其中，第一殘余數(shù)據(jù)是第一塊和第二塊 之間的差值，所述第二塊是第一塊根據(jù)方向幀內(nèi)預(yù)測所參考的塊，并且所述 第 一殘余數(shù)據(jù)包括第二塊的方向信息。
13、 如權(quán)利要求11所述的方法，其中，第二殘余數(shù)據(jù)是第三塊和第四塊 之間的差值，所述第四塊是第三塊根據(jù)方向幀內(nèi)預(yù)測所參考的塊，所述第二 殘余數(shù)據(jù)包括第四塊的方向信息。
14、 如權(quán)利要求11所述的方法，其中，第三殘余數(shù)據(jù)包括在第一殘余數(shù) 據(jù)中包括的方向信息和在第二殘余數(shù)據(jù)中包括的方向信息之間的差。
15、 如權(quán)利要求11所述的方法，其中，所述第三殘余數(shù)據(jù)包括關(guān)于指示 方向幀內(nèi)殘余預(yù)測的殘余預(yù)測模式的信息。
16、 如權(quán)利要求11所述的方法，其中，第三殘余數(shù)據(jù)包括指示是否再次 使用包括在第 一殘余數(shù)據(jù)中的方向信息的標(biāo)志信息。
17、 如權(quán)利要求11所述的方法，其中，第三殘余數(shù)據(jù)包括指示是否調(diào)整 和使用包括在第 一殘余數(shù)據(jù)中的方向信息的標(biāo)志信息。
18、 如權(quán)利要求11所述的方法，其中，分別通過參考第二塊和第四塊獲 得第一殘余數(shù)據(jù)和第二殘余數(shù)據(jù)；其中，第二塊和第四塊中的至少一個(gè)存在于第三方向上，所述第三方向 是用于方向幀內(nèi)預(yù)測的4皮此相鄰的第 一 方向和第二方向之間的方向。
19、 如權(quán)利要求18所述的方法，其中，根據(jù)H.264幀內(nèi)預(yù)測標(biāo)準(zhǔn)來確定 第一和第二方向。所述視頻編碼器包括基本層幀內(nèi)預(yù)測單元，通過參考基本層的第二塊對(duì)基本層的第 一塊執(zhí)行 方向幀內(nèi)預(yù)測來計(jì)算第一殘余數(shù)據(jù)；
20.增強(qiáng)層幀內(nèi)預(yù)測單元，通過參考增強(qiáng)層的第四塊對(duì)增強(qiáng)層的第三塊執(zhí)行 方向幀內(nèi)預(yù)測來計(jì)算第二殘余數(shù)據(jù)，所述增強(qiáng)層的第三塊對(duì)應(yīng)于基本層的第一塊，所述增強(qiáng)層的第四塊對(duì)應(yīng)于基本層的第二塊；殘余編碼單元，通過獲得作為第 一殘余數(shù)據(jù)和第二殘余數(shù)據(jù)之間的差的 第三殘余數(shù)據(jù)來根據(jù)方向幀內(nèi)殘余預(yù)測對(duì)第三塊進(jìn)行編碼。
21. 如權(quán)利要求20所述的視頻編碼器，其中，在對(duì)第三塊進(jìn)行編碼的過 程中，殘余編碼單元被配置為對(duì)第三殘余數(shù)據(jù)進(jìn)行編碼。
22. 如權(quán)利要求20所述的視頻編碼器，其中，第一殘余數(shù)據(jù)是第一塊和 第二塊之間的差值，并且所述第一殘余數(shù)據(jù)包括第二塊的方向信息。
23. 如權(quán)利要求20所述的視頻編碼器，其中，第二殘余數(shù)據(jù)是第三塊和 第四塊之間的差值，并且所述第二殘余數(shù)據(jù)包括第四塊的方向信息。
24. 如權(quán)利要求20所述的視頻編碼器，其中，第三殘余數(shù)據(jù)包括在第一 殘余數(shù)據(jù)中包括的方向信息和在第二殘余數(shù)據(jù)中包括的方向信息之間的差。
25. 如權(quán)利要求20所述的視頻編碼器，其中，第三殘余數(shù)據(jù)包括關(guān)于指 示方向幀內(nèi)殘余預(yù)測的殘余預(yù)測模式的信息。
26. 如權(quán)利要求20所述的視頻編碼器，其中，第三殘余數(shù)據(jù)包括指示是 否再次使用包括在第 一 殘余數(shù)據(jù)中的方向信息的標(biāo)志信息。
27. 如權(quán)利要求20所述的視頻編碼器，其中，第三殘余數(shù)據(jù)包括指示是 否調(diào)整和使用包括在第 一殘余數(shù)據(jù)中的方向信息的標(biāo)志信息。
28. 如權(quán)利要求20所述的視頻編碼器，其中，第二塊和第四塊中的至少 一個(gè)存在于第三方向上，所述第三方向是用于方向幀內(nèi)預(yù)測的彼此相鄰的第 一方向和第二方向之間的方向。
29. 如權(quán)利要求28所述的視頻編碼器，其中，根據(jù)H.264幀內(nèi)預(yù)測標(biāo)準(zhǔn) 來確定第一和第二方向。所述視頻解碼器包括殘余解碼單元，從增強(qiáng)層殘余流中提取作為對(duì)增強(qiáng)層的第三塊進(jìn)行方向 幀內(nèi)殘余預(yù)測的數(shù)據(jù)的第三殘余數(shù)據(jù)；基本層殘余解碼單元，從基本層殘余流中提取作為對(duì)與第三塊相應(yīng)的基 本層的第 一塊執(zhí)行方向幀內(nèi)預(yù)測的結(jié)果的第 一殘余數(shù)據(jù)；增強(qiáng)層殘余解碼單元，通過將第三殘余數(shù)據(jù)和第一殘余數(shù)據(jù)相加來計(jì)算
30.作為對(duì)第三塊執(zhí)行方向幀內(nèi)預(yù)測的結(jié)果的第二殘余數(shù)據(jù)； 增強(qiáng)層解碼單元，使用第二殘余數(shù)據(jù)來恢復(fù)第三塊。
31、 如權(quán)利要求30所述的視頻解碼器，其中，第一殘余數(shù)據(jù)是第一塊和 第 一塊根據(jù)方向幀內(nèi)預(yù)測所參考的第二塊之間的差值，并且所述第 一殘余數(shù) 據(jù)包括第二塊的方向信息。
32、 如權(quán)利要求30所述的視頻解碼器，其中，第二殘余數(shù)據(jù)是第三塊和 第三塊根據(jù)方向幀內(nèi)預(yù)測所參考的第四塊之間的差值，并且所述第二殘余數(shù) 據(jù)包括第四塊的方向信息。
33、 如權(quán)利要求30所述的視頻解碼器，其中，第三殘余數(shù)據(jù)包括在第一 殘余數(shù)據(jù)中包括的方向信息和在第二殘余數(shù)據(jù)中包括的方向信息之間的差。
34、 如權(quán)利要求30所述的視頻解碼器，其中，第三殘余數(shù)據(jù)包括關(guān)于指 示方向幀內(nèi)殘余預(yù)測的殘余預(yù)測模式的信息。
35、 如權(quán)利要求30所述的視頻解碼器，其中，所述第三殘余數(shù)據(jù)包括指 示是否再次使用包括在第 一殘余數(shù)據(jù)中的方向信息的標(biāo)志信息。
36、 如權(quán)利要求30所述的視頻解碼器，其中，第三殘余數(shù)據(jù)包括指示是 否調(diào)整和使用包括在第 一殘余數(shù)據(jù)中的方向信息的標(biāo)志信息。
37、 如權(quán)利要求30所述的視頻解碼器，其中，分別參考第二塊和第四塊 來獲得第 一殘余數(shù)據(jù)和第二殘余數(shù)據(jù)；其中，第二塊和第四塊中的至少一個(gè)存在于第三方向上，所述第三方向是用于方向幀內(nèi)預(yù)測的彼此相鄰的第一方向和第二方向之間的方向。
38、 如權(quán)利要求37所述的視頻解碼器，其中，根據(jù)H.264幀內(nèi)預(yù)測標(biāo)準(zhǔn) 來確定第一和第二方向。
全文摘要
一種根據(jù)方向幀內(nèi)殘余預(yù)測對(duì)視頻信號(hào)進(jìn)行編碼和解碼的方法和設(shè)備。根據(jù)本發(fā)明的視頻編碼方法包括通過參考基本層的第二塊對(duì)基本層的第一塊執(zhí)行方向幀內(nèi)預(yù)測來計(jì)算第一殘余數(shù)據(jù)；通過參考與基本層的第二塊相應(yīng)的增強(qiáng)層的第四塊對(duì)與基本層的第一塊相應(yīng)的增強(qiáng)層的第三塊執(zhí)行方向幀內(nèi)預(yù)測來計(jì)算第二殘余數(shù)據(jù)；通過獲得作為第一殘余數(shù)據(jù)和第二殘余數(shù)據(jù)之間的差的第三殘余數(shù)據(jù)來根據(jù)方向幀內(nèi)殘余預(yù)測對(duì)第三塊進(jìn)行編碼。
文檔編號(hào)H04N7/32GK101228796SQ200680026565
公開日2008年7月23日 申請(qǐng)日期2006年7月21日 優(yōu)先權(quán)日2005年7月21日
發(fā)明者李教爀, 車尚昌, 韓宇鎮(zhèn) 申請(qǐng)人:三星電子株式會(huì)社