專利名稱：使用基于樣本的數(shù)據(jù)修剪的視頻編碼的制作方法
使用基于樣本的數(shù)據(jù)修剪的視頻編碼
相關(guān)申請的交叉引用
本申請要求提交于2010年9月10日的美國臨時專利申請序列號第61/403108號(Technicolor 公司案卷號第 PU100193 號)標(biāo)題為《EXAMPLE-BASED DATA PRUNING FORIMPROVING VIDEO COMPRESSION EFFICIENCY))的優(yōu)先權(quán)。
本申請涉及下列共同待審、共同擁有的專利申請:
(I)提交于 2011 年 I 月 20 日標(biāo)題為《A SAMPLING-BASED SUPER-RESOLUTIONAPPROACH FOR EFFICIENT VIDEO COMPRESSION》的國際專利申請(PCT)序列號第 PCT/US11/000107 號(Technicolor 公司案卷號第 PU100004 號)；
(2)提交于 2011 年 I 月 21 日標(biāo)題為《DATA PRUNING FOR VIDEO COMPRESSIONUSING EXAMPLE-BASED SUPERRE-S0LUT10N))的國際專利申請(PCT)序列號第 PCT/US11/000117 號(Technicolor 公司案卷號第 PU100014 號)；
(3)提交于 2011 年 9 月 XX 日標(biāo)題為《METHODS AND APPARATUS FOR ENCODINGVIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FORVIDEO COMPRESSION》的國際專利申請(PCT)序列號第XXXX號(Technicolor公司案卷號第PU100190 號)；
(4)提交于 2011 年 9 月 XX 日標(biāo)題為《METHODS AND APPARATUS FOR DECODINGVIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FORVIDEO COMPRESSION》的國際專利申請(PCT)序列號第XXXX號(Technicolor公司案卷號第PU100266 號)；
(5)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHODS AND APPARATUS FOR DECODINGVIDEO SIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSIONEFFICIENCY”的國際專利申請(PCT)序列號第XXXX號(Technicolor公司案卷號第PU100267 號)；
(6)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHODS AND APPARATUS FOR ENCODINGVIDEO SIGNALS FOR BLOCK-BASED MIXED-RES0LUT10N DATA PRUNING” 的國際專利申請(PCT)序列號第XXXX號(Technicolor公司案卷號第roi00194號)；
(7)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHODS AND APPARATUS FOR DECODINGVIDEO SIGNALS FOR BLOCK-BASED MIXED-RESOLUTION DATA PRUNING” 的國際專利申請(PCT)序列號第XXXX號(Technicolor公司案卷號第roi00268號)；
(8)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHODS AND APPARATUS FOR EFFICIENTREFERENCE DATA ENCODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH ANDRANKING”的國際專利申請(PCT)序列號第XXXX號(Technicolor公司案卷號第roi00195號);
(9)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHOD AND APPARATUS FOR EFFICIENTREFERENCE DATA DECODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH ANDRANKING”的國際專利申請(PCT)序列號第XXXX號(Technicolor公司案卷號第roil0106號);
(10)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHOD AND APPARATUS FOR ENCODINGVIDEO SIGNALS FOR EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCHSIMILARITY”的國際專利申請(PCT)序列號第XXXX號(Technicolor公司案卷號第PU100196 號)；
(11)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHOD AND APPARATUS FOR DECODINGVIDEO SIGNALS WITH EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCHSIMILARITY”的國際專利申請(PCT)序列號第XXXX號(Technicolor公司案卷號第PU100269 號)；
(12)提交于 2011 年 9 月 XX 日標(biāo)題為 “PRUNING DECISION OPTIMIZATION INEXAMPLE-BASED DATA PRUNING COMPRESSION” 的國際專利申請(PCT)序列號第 XXXX 號(Technicolor公司案卷號第PU10197號)。技術(shù)領(lǐng)域
本原理一般地涉及視頻編碼和解碼，更具體地涉及一種用于基于樣本(example-based)的數(shù)據(jù)修剪以提升視頻壓縮效率的方法和設(shè)備。
背景技術(shù)：
數(shù)據(jù)修剪是通過在對輸入的視頻數(shù)據(jù)進(jìn)行編碼之前去除視頻數(shù)據(jù)中的一部分以獲得更佳的視頻編碼效率的視頻預(yù)處理技術(shù)。通過在解碼器側(cè)根據(jù)已解碼數(shù)據(jù)來推算被去除的視頻數(shù)據(jù)而恢復(fù)被去除的視頻數(shù)據(jù)。已經(jīng)存在一些與使用數(shù)據(jù)修剪以提升壓縮效率相關(guān)的現(xiàn)有努力。例如，在第一種方法(在k.Dumitras和B.G.Haskell的論文《A TextureReplacement Method at the Encoder for Bit Rate Reduction of Compressed Video))(IEEE Transactions on Circuits and Systems for Video Technology, 2003 年 2 月第2期，第13卷，第163-175頁)中有說明)和第二種方法(在A.Dumitras和B.G.Haskell的論文《An encoder-decoder texture replacement method with application tocontent-based movie codingKIEEE Transactions on Circuits and Systems for VideoTechnology，2004年6月第6期，第14卷，第825-840頁)中有說明)中，使用基于紋理替換的方法在編碼器側(cè)去除紋理區(qū)域，并在解碼器側(cè)重新合成紋理區(qū)域。由于僅將合成參數(shù)發(fā)送給解碼器，而合成參數(shù)具有比正則變換系數(shù)更少的數(shù)據(jù)量，因此獲得了壓縮效率。
在第三種方法(在C.Zhu、X.Sun、F.Wu 和 H.Li 的論文《Video Coding withSpatio-Temporal Texture SynthesisKIEEE International Conference on Multimediaand Expo (ICME)，2007年)中有說明)和第四種方法(在C.Zhu,X.Sun、F.Wu和H.Li的論文《Video coding with spatio-temporal texture synthesis and edge-based inpainting》(IEEE International Conference on Multimedia and Expo (ICME), 2008 年)中有說明)中，使用時空紋理合成和基于邊緣的修補在編碼器側(cè)去除某些區(qū)域，并在元數(shù)據(jù)的幫助下在解碼器側(cè)恢復(fù)被去除的內(nèi)容，如區(qū)域屏蔽(region mask)。然而，第三種和第四種方法需要對編碼器和解碼器進(jìn)行修改以使得編碼器和解碼器能夠使用區(qū)域掩蓋估計選擇性地對某些區(qū)域進(jìn)行編碼/解碼。因此，它并不是一種嚴(yán)格的環(huán)外(out-of-loop)方法，這是因為為了能夠執(zhí)行第三種和第四種方法，需要對編碼器和解碼器進(jìn)行修改。在第五種方法(在 Dung T.Vo> Joel Sole、Peng Yin、Cristina Gomila 和 Truong Q.Nguyen 的論文《DataPruning-Based Compression using High Order Edge-Directed Interpolation)) (IEEEConference on Acoustics, Speech and Signal Processing,臺灣地區(qū)，2009 年)中有說明)中，提出一種基于線去除的方法，通過使用最小二乘最小化框架選擇性地去除視頻中的某些水平或垂直線而將視頻重新調(diào)整為更小的大小。第五種方法是一種環(huán)外方法，不需要對編碼器/解碼器進(jìn)行修改。然而，完全去除某些水平和垂直線可能會導(dǎo)致某些視頻的信息或細(xì)節(jié)的損失。
此外，也已經(jīng)進(jìn)行了一些有關(guān)用于視頻壓縮的數(shù)據(jù)修剪的初步研究。例如，在第六種方法中-在 Sitaram Bhagavathy、Dong-Qing Zhang 和 Mithun Jacob 的論文《AData Pruning Approach for Video Compression Using Motion-Guided Down-samplingand Super-resolution)) (2010 年 2 月 8 日提交給 ICIP2010，并于 2010 年 I 月 22 日作為共同待審、共同擁有的美國臨時專利申請序列號第61/297320號(Technicolor公司案卷號PU100004)提交的)一提出一種使用基于采樣的超分辨率的數(shù)據(jù)修剪方案。將全分辨率的幀采樣為若干更小的幀，從而減少原始視頻的空間大小。在解碼器側(cè)，在接收自編碼器側(cè)的元數(shù)據(jù)的幫助下，根據(jù)下采樣的幀重新合成高分辨幀。在第七種方法中——在Dong-QingZhang,、Sitaram Bhagavathy 和 Joan Llach 的((Data pruning for video compressionusing example-based super-resolution))(于 2010 年 I 月 22 日作為共同待審、共同擁有的美國臨時專利申請序列號第61/336516號(Technicolor案卷號I3UlOOOH)提交的)——提出一種基于樣本的基于超分辨的數(shù)據(jù)修剪的方法。根據(jù)原始視頻對代表性的補丁庫(representative patch library)進(jìn)行訓(xùn)練。然后,將視頻縮減到更小。將縮減后的視頻和補丁庫發(fā)送到解碼器側(cè)。解碼器側(cè)的恢復(fù)處理使用補丁庫通過基于樣本的超分辨率而超求解(super-resolve)縮減后的視頻。然而，由于在補丁庫和縮減后的幀之間存在大量的冗余，因此已經(jīng)發(fā)現(xiàn)使用第七種方法不易獲得顯著水平的壓縮收益。發(fā)明內(nèi)容
本申請公開了一種用于提升視頻壓縮效率的基于樣本的數(shù)據(jù)修剪的方法和設(shè)備。
根據(jù)本發(fā)明的原理的一個方面，提供了一種用于對視頻序列中的畫面進(jìn)行編碼的設(shè)備。所述設(shè)備包括補丁庫創(chuàng)建器，用于從畫面的原始版本創(chuàng)建第一補丁庫并且從畫面的重構(gòu)版本創(chuàng)建第二補丁庫。第一補丁庫和第二補丁庫中的每一個包括多個用于在對畫面的修剪版本進(jìn)行恢復(fù)的過程中替換一個或多個被修剪的塊的高分辨率替換補丁。該設(shè)備還包括:修剪器，用于從第一補丁庫生成畫面的修剪版本；以及元數(shù)據(jù)生成器，用于從第二補丁庫生成元數(shù)據(jù)。元數(shù)據(jù)用于對畫面的修剪版本進(jìn)行恢復(fù)。該設(shè)備還包括編碼器，用于對畫面的修剪版本和元數(shù)據(jù)進(jìn)行編碼。
根據(jù)本發(fā)明的原理的另一個方面，提供了一種用于對視頻序列中的畫面進(jìn)行編碼的方法。該方法包括從畫面的原始版本創(chuàng)建第一補丁庫以及從畫面的重構(gòu)版本創(chuàng)建第二補丁庫。第一補丁庫和第二補丁庫中的每一個包括多個用于在對畫面的修剪版本進(jìn)行恢復(fù)的過程中替換一個或多個被修剪的塊的高分辨率替換補丁。該方法還包括從第一補丁庫生成畫面的修剪版本以及從第二補丁庫生成元數(shù)據(jù)。元數(shù)據(jù)用于對畫面的修剪版本進(jìn)行恢復(fù)。該方法還包括對畫面的修剪版本和元數(shù)據(jù)進(jìn)行編碼。
根據(jù)本發(fā)明的原理的又一方面，提供了一種用于對視頻序列中的畫面的修剪版本進(jìn)行恢復(fù)的設(shè)備。所述設(shè)備包括:劃分器，用于將畫面的修剪版本劃分成多個非重疊的塊；以及元數(shù)據(jù)解碼器，用于對元數(shù)據(jù)進(jìn)行解碼以在對畫面的修剪版本進(jìn)行恢復(fù)時使用。該設(shè)備還包括補丁庫創(chuàng)建器，用于從畫面的重構(gòu)版本創(chuàng)建補丁庫。補丁庫包括多個用于在對畫面的修剪版本進(jìn)行恢復(fù)的過程中替換一個或多個被修剪的塊的高分辨率替換補丁。該設(shè)備還包括搜索和替換裝置，用于使用元數(shù)據(jù)進(jìn)行搜索處理以從多個非重疊的塊中找到一個或多個被修剪的塊中的各個塊的對應(yīng)補丁，并使用對應(yīng)補丁替換一個或多個被修剪的塊中的各個塊。
根據(jù)本發(fā)明的再一個方面，提供了一種用于對視頻序列中的畫面的修剪版本進(jìn)行恢復(fù)的方法。所述方法包括:將畫面的修剪版本劃分成多個非重疊的塊；對元數(shù)據(jù)進(jìn)行解碼以在對畫面的修剪版本進(jìn)行恢復(fù)時使用。該方法還包括從畫面的重構(gòu)版本創(chuàng)建補丁庫。補丁庫包括多個用于在對畫面的修剪版本進(jìn)行恢復(fù)的過程中替換一個或多個被修剪的塊的高分辨率替換補丁。該方法還使用元數(shù)據(jù)進(jìn)行搜索處理以從多個非重疊的塊中找到一個或多個被修剪的塊中的各個塊的對應(yīng)補丁，并使用對應(yīng)補丁替換一個或多個被修剪的塊中的各個塊。
根據(jù)本發(fā)明的原理的又一個方面，提供了一種用于對視頻序列中的畫面進(jìn)行編碼的設(shè)備。該設(shè)備包括用于從畫面的原始版本創(chuàng)建第一補丁庫以及從畫面的重構(gòu)版本創(chuàng)建第二補丁庫的部件。第一補丁庫和第二補丁庫中的每一個包括多個用于在對畫面的修剪版本進(jìn)行恢復(fù)的過程中替換一個或多個被修剪的塊的高分辨率替換補丁。該設(shè)備還包括用于從第一補丁庫生成畫面的修剪版本的部件，以及用于從第二補丁庫生成元數(shù)據(jù)的部件，元數(shù)據(jù)用于對畫面的修剪版本進(jìn)行恢復(fù)。該設(shè)備還包括用于對畫面的修剪版本和元數(shù)據(jù)進(jìn)行編碼的部件。
根據(jù)本發(fā)明的原理的其他方面，提供了 一種用于對視頻序列中的畫面的修剪版本進(jìn)行恢復(fù)的設(shè)備。所述設(shè)備包括用于將畫面的修剪版本劃分成多個非重疊的塊的部件，以及用于對元數(shù)據(jù)進(jìn)行解碼以在對畫面的修剪版本進(jìn)行恢復(fù)時使用的部件。該設(shè)備還包括用于從畫面的重構(gòu)版本創(chuàng)建補丁庫的部件。補丁庫包括多個用于在對畫面的修剪版本進(jìn)行恢復(fù)的過程中替換一個或多個被修剪的塊的高分辨率替換補丁。該設(shè)備還包括用于使用元數(shù)據(jù)進(jìn)行搜索處理以從多個非重疊的塊中找到一個或多個被修剪的塊中的各個塊的對應(yīng)補丁并使用對應(yīng)補丁替換一個或多個被修剪的塊中的各個塊的部件。


結(jié)合附圖閱讀下面詳細(xì)描述的示例性實施例，本發(fā)明的原理的這些和其他方面、特征和優(yōu)點將變得更加明顯。
根據(jù)下面示例性的附圖，可以更好地理解本發(fā)明的原理，附圖中:
圖1是示出根據(jù)本發(fā)明的原理的實施例的一個示例性的使用補丁相似性的基于樣本的數(shù)據(jù)修剪系統(tǒng)的框圖2是示出根據(jù)本發(fā)明的原理的實施例的可以應(yīng)用本發(fā)明的原理的一個示例性視頻編碼器的框圖3是示出根據(jù)本發(fā)明的原理的實施例的可以應(yīng)用本發(fā)明的原理的一個示例性視頻解碼器的框圖4是示出根據(jù)本發(fā)明的原理的實施例的用于在基于樣本的數(shù)據(jù)修剪系統(tǒng)中進(jìn)行編碼器側(cè)處理的一個示例性的第一部分的框圖5是示出根據(jù)本發(fā)明的原理的實施例的用于聚類和補丁庫生成的一種示例性方法的流程圖6是示出根據(jù)本發(fā)明的原理的實施例的一個示例性補丁庫和對應(yīng)的聚類的圖7是示出根據(jù)本發(fā)明的原理的實施例的一個示例性簽名向量的圖8是示出根據(jù)本發(fā)明的原理的實施例的用于在使用補丁相似性的基于樣本的數(shù)據(jù)修剪系統(tǒng)中進(jìn)行編碼器側(cè)處理的一個示例性的第二部分的框圖9是示出根據(jù)本發(fā)明的原理的實施例的用于視頻幀修剪的一種示例性方法的流程圖10是示出根據(jù)本發(fā)明的原理的實施例的補丁搜索處理的圖11是示出根據(jù)本發(fā)明的原理的實施例的一個示例性混合分辨率幀的圖12是示出根據(jù)本發(fā)明的原理的實施例的用于對元數(shù)據(jù)進(jìn)行編碼的一種示例性方法的流程圖13是示出根據(jù)本發(fā)明的原理的實施例的用于對被修剪的塊ID進(jìn)行編碼的一種示例性方法的流程圖14是示出根據(jù)本發(fā)明的原理的實施例的用于對補丁索引進(jìn)行編碼的一種示例性方法的流程圖15是示出根據(jù)本發(fā)明的原理的實施例的用于對補丁索引進(jìn)行解碼的一種示例性方法的流程圖16是示出根據(jù)本發(fā)明的原理的實施例的一個示例性塊ID的圖17是示出根據(jù)本發(fā)明的原理的實施例的用于對隨后的幀進(jìn)行修剪的一種示例性方法的流程圖18是示出根據(jù)本發(fā)明的原理的實施例的被修剪的塊的一個示例性運動向量的圖19是示出根據(jù)本發(fā)明的原理的實施例的用于對元數(shù)據(jù)進(jìn)行解碼的一種示例性方法的流程圖20是示出根據(jù)本發(fā)明的原理的實施例的用于對被修剪的塊ID進(jìn)行解碼的一種示例性方法的流程圖21是示出根據(jù)本發(fā)明的原理的實施例的用于進(jìn)行解碼器側(cè)的基于樣本的數(shù)據(jù)修剪的處理的一個示例性設(shè)備的框圖22是示出根據(jù)本發(fā)明的原理的實施例的用于對修剪過的幀進(jìn)行恢復(fù)的一種示例性方法的流程圖；以及
圖23是示出根據(jù)本發(fā)明的原理的實施例的用于對隨后的幀進(jìn)行恢復(fù)的一種示例性方法的流程圖。
具體實施方式
本發(fā)明的原理主要針對用于基于樣本的數(shù)據(jù)修剪以提升視頻壓縮效率的方法和設(shè)備。
本說明書對本發(fā)明的原理進(jìn)行了說明。因此，應(yīng)該理解的是，本領(lǐng)域的技術(shù)人員能夠設(shè)計出雖然沒有在本說明書中明確描述或示出但是體現(xiàn)了本發(fā)明的原理并被包括在本原理的精神和范圍之內(nèi)的各種布置。
本說明書中詳述的所有的示例和條件性語言都旨在用作幫助讀者理解本發(fā)明的原理以及發(fā)明人所貢獻(xiàn)的促進(jìn)本技術(shù)領(lǐng)域發(fā)展的想法的教導(dǎo)的目的，并應(yīng)該解讀為不限于這些具體陳述的示例和條件。
此外，本說明書中所有詳述的本發(fā)明的原理、方面和實施例以及其特定例子的陳述都旨在同時包括其結(jié)構(gòu)和功能的等效物。并且，這些等效物旨在包括當(dāng)前已知的等效物和將在未來開發(fā)的等效物，即任何被開發(fā)出來執(zhí)行相同功能而不論其結(jié)構(gòu)如何的元件。
因此，例如，本領(lǐng)域的技術(shù)人員應(yīng)該理解的是，本說明書中出現(xiàn)的框圖表示實施本原理的示例性電路系統(tǒng)的概念圖。類似地，應(yīng)該理解的是，任何流程表、流程圖、狀態(tài)轉(zhuǎn)換圖、偽碼等表示可在計算機可讀介質(zhì)中被實質(zhì)性表示并由計算機或處理器執(zhí)行的各種過程，不論這些計算機或處理器是否明確地顯示出來。
圖中所示的各種元件的功能可以通過使用專用硬件和能夠聯(lián)合合適的軟件執(zhí)行軟件的硬件提供。當(dāng)由處理器提供時，該功能可以由單個專用的處理器或單個共用的處理器或其中有一些可以共用的多個獨立的處理器提供。并且，明確的使用術(shù)語“處理器”或“控制器”不應(yīng)該被解讀為排他性地專指能夠執(zhí)行軟件的硬件，而應(yīng)該被解讀為沒有限制地、隱含地包括數(shù)字信號處理器(DSP)硬件、用于存儲軟件的只讀存儲器(ROM)、隨機存儲器(RAM)和非易失性存儲器。
還可以包括其他常規(guī)和/或定制的硬件。相似地，圖中示出的任何開關(guān)都只是概念性的。它們的功能可以通過執(zhí)行程序邏輯、專用邏輯、程序控制和專用邏輯交互或者甚至手動進(jìn)行，實施者可以根據(jù)對應(yīng)用情景更加細(xì)致的了解來選擇特定的技術(shù)。
在本說明書的權(quán)利要求中，任何被表達(dá)為執(zhí)行特定功能的部件的元件都旨在包括執(zhí)行該功能的任何方式，包括例如a)執(zhí)行該功能的電路元件的組合或b)包括與合適的用于執(zhí)行軟件以完成該功能的電路組合在一起的固件、微碼等的任何形式的軟件。這些權(quán)利要求所限定的本發(fā)明的原理在于各列舉部件所提供的功能以權(quán)利要求要求保護(hù)的方式組合并放置在一起的事實。因此，人們認(rèn)為任何能夠提供這些功能的部件與那些在本說明書中示出的部件都是等效的。
本說明書中提及本發(fā)明的原理的“一個實施例”或“實施例”以及其他變型的意思是指與實施例聯(lián)系在一起描述的特定特征、結(jié)構(gòu)或特性等被包括在本原理的至少一個實施例內(nèi)。因此，出現(xiàn)在整篇說明書的各個地方的用語“在一個實施例中”或“在實施例中”以及其他變型不一定都是指同一個實施例。
應(yīng)該理解的是，使用和/或”以及“之中的至少一個”中的任何一個或多個，例如，在“A/B”、“A和/或B”以及“A和B中的至少一個”的情形中，旨在包括只選擇列出的第一選項(A)，或只選擇列出的第二選項(B)，或同時選擇這兩個選項(A和B)。作為進(jìn)一步的例子，在“A、B和/或C”以及“A、B和C中的至少一個”的情形中，這種用語旨在包括只選擇列出的第一選項(A)，或只選擇列出的第二選項(B)，或只選擇列出的第三選項(C)，或只選擇列出的第一和第二選項(A和B)，或只選擇列出的第一和第三選項(A和C)，或只選擇列出的第二和第三選項(B和C)，或選擇全部的三個選項(A、B和C)。本技術(shù)領(lǐng)域和相關(guān)技術(shù)領(lǐng)域中的一個普通技術(shù)人員可以非常容易地將其推廣至列出更多項。
此外，如在此使用的，詞語“畫面”和“圖像”可交換地使用，并且是指靜態(tài)的圖像或視頻序列中的畫面。眾所周知，畫面可以是幀或場。
轉(zhuǎn)到圖1,參考標(biāo)號100總體上表不一個不例性的基于樣本的數(shù)據(jù)修剪系統(tǒng)。修剪系統(tǒng)100包括修剪器105，具有與視頻編碼器110的輸入端和元數(shù)據(jù)生成器與編碼器135的第一輸入端信號通信連接的輸出端。視頻編碼器的輸出端與視頻解碼器115的輸入端和補丁庫創(chuàng)建器140的輸入端信號通信連接。視頻解碼器115的輸出端與恢復(fù)裝置120的第一輸入端信號通信連接。補丁庫創(chuàng)建器130的輸出端與恢復(fù)裝置120的第二輸入端信號通信連接。元數(shù)據(jù)生成器與編碼器135的輸出端與元數(shù)據(jù)解碼器125的輸入端信號通信連接。元數(shù)據(jù)解碼器125的輸出端與恢復(fù)裝置120的第三輸入端的信號通信連接。補丁庫創(chuàng)建器140的輸出端與元數(shù)據(jù)生成器與編碼器135的第二輸入端信號通信連接。聚類裝置與補丁庫創(chuàng)建器145的輸出端與修剪器105的第二輸入端信號通信連接。修剪器105的輸入端與聚類裝置與補丁庫創(chuàng)建器145的輸入端可用作修剪系統(tǒng)100的輸入，用于接收輸入視頻?；謴?fù)裝置的輸出端可用作修剪系統(tǒng)100的輸出，用于輸出視頻。
轉(zhuǎn)到圖2，參考標(biāo)號200總體上表示可以應(yīng)用本發(fā)明的原理的一個示例性視頻編碼器。視頻編碼器200包括具有與組合器285的非反相輸入端信號通信的輸出端的幀排序緩沖器210。組合器285的輸出端與變換器和量化器225的第一輸入端信號通信連接。變換器和量化器225的輸出端與熵編碼器245的第一輸入端以及逆變換器與逆量化器250的第一輸入端信號通信連接。熵編碼器245的輸出端與組合器290的第一非反相輸入端信號通信連接。組合器290的輸出端與輸出緩沖器235的第一輸入端信號通信連接。
編碼器控制器205的第一輸出端與幀排序緩沖器210的第二輸入端、逆變換器與逆量化器250的第二輸入端、畫面類型判定模塊215的輸入端、宏塊類型(MB類型)判定模塊220的第一輸入端、巾貞內(nèi)預(yù)測模塊260的第二輸入端、去塊濾波器265的第二輸入端、運動補償器270的第一輸入端、運動估計器275的第一輸入端，以及參考畫面緩沖器280的第二輸入端信號通信連接。
編碼器控制器205的第二輸出端與補充增強信息(SEI)插入器230的第一輸入端、變換器與量化器225的第二輸入端,熵編碼器245的第二輸入端、輸出緩沖器235的第二輸入端，以及序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器240的輸入端信號通信連接。
SEI插入器230的輸出端與組合器290的第二非反相輸入端信號通信連接。
畫面類型判定模塊215的第一輸出端與幀排序緩沖器210的第三輸入端信號通信連接。畫面類型判定模塊215的第二輸出端與宏塊類型判定模塊220的第二輸入端信號通信連接。
序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器240的輸出端與組合器290的第三非反相輸入端信號通信連接。
逆量化器與逆變換器250的輸出端與組合器219的第一非反相輸入端信號通信連接。組合器219的輸出端與巾貞內(nèi)預(yù)測模塊260的第一輸入端和去塊濾波器265的第一輸入端信號通信連接。去塊濾波器265的輸出端與參考畫面緩沖器280的第一輸入端信號通信連接。參考圖像緩沖器280的輸出端與運動估計器275的第二輸入端和運動補償器270的第三輸入端信號通信連接。運動估計器275的第一輸出端與運動補償器270的第二輸入端信號通信連接。運動估計器275的第二輸出端與熵編碼器245的第三輸入端信號通信連接。
運動補償器270的輸出端與開關(guān)297的第一輸入端信號通信連接。幀內(nèi)預(yù)測模塊260的輸出端與開關(guān)297的第二輸入端信號通信連接。宏塊類型判定模塊220的輸出端與開關(guān)297的第三輸入端信號通信連接。開關(guān)297的第三輸入端確定開關(guān)的“數(shù)據(jù)”輸入端(與控制輸入端相比，即第三輸入端)是由運動補償器270提供，還是由幀內(nèi)預(yù)測模塊260提供。開關(guān)297的輸出端與組合器219的第二非反相輸入端以及組合器285的反相輸入端信號通信連接。
幀排序緩沖器210的第一輸入端和編碼器控制器205的輸入端可用作編碼器200的輸入端，用于接收輸入畫面。此外，補充增強信息(SEI)插入器230的第二輸入端可用作編碼器200的輸入端，用于接收元數(shù)據(jù)。輸出緩沖器235的輸出端可用作編碼器200的輸出端，用于輸出比特流。
轉(zhuǎn)到圖3，參考標(biāo)號300總體上表示可以應(yīng)用本發(fā)明的原理的一個示例性視頻解碼器。視頻解碼器300包括輸入緩沖器310，其具有與熵解碼器345的第一輸入端信號通信連接的輸出端。熵解碼器345的第一輸出端與逆變換器與逆量化器350的第一輸入端信號通信連接。逆變換器與逆量化器350的輸出端與組合器325的第二非反相輸入端信號通信連接。組合器325的輸出端與去塊濾波器365的第二輸入端和巾貞內(nèi)預(yù)測模塊360的第一輸入端信號通信連接。去塊濾波器365的第二輸出端與參考畫面緩沖器380的第一輸入端信號通信連接。參考畫面緩沖器380的輸出端與運動補償器370的第二輸入端信號通信連接。
熵解碼器345的第二輸出端與運動補償器370的第三輸入端、去塊濾波器365的第一輸入端和幀內(nèi)預(yù)測器360的第三輸入端信號通信連接。熵解碼器345的第三輸出端與解碼器控制器305的輸入端信號通信連接。解碼器控制器305的第一輸出端與熵解碼器345的第二輸入端信號通信連接。解碼器控制器305的第二輸出端與逆變換器和逆量化器350的第二輸入端信號通信連接。解碼器控制器305的第三輸出端與去塊濾波器365的第三輸入端信號通信連接。解碼器控制器305的第四輸出端與幀內(nèi)預(yù)測模塊360的第二輸入端、運動補償器370的第一輸入端和參考畫面緩沖器380的第二輸入端信號通信連接。
運動補償器370的輸出端與開關(guān)397的第一輸入端信號通信連接。幀內(nèi)預(yù)測模塊360的輸出端與開關(guān)397的第二輸入端的信號通信連接。開關(guān)397的輸出端與組合器325的第一非反相輸入端信號通信連接。
輸入緩沖器310的輸入端可用作解碼器300的輸入端，用于接收輸入的比特流。去塊濾波器365的第一輸出端可用作解碼器300的輸出端,用于對輸出畫面進(jìn)行輸出。
如上所述，本發(fā)明的原理針對用于基于樣本的數(shù)據(jù)修剪以提升視頻壓縮效率的方法和裝置。有利地，本發(fā)明的原理提供了對上述第七種方法的改進(jìn)。S卩，本申請公開了一種使用前面發(fā)送的幀或已有的幀在解碼器側(cè)訓(xùn)練補丁庫，而不是按照第七種方法通過通信信道發(fā)送補丁庫的構(gòu)思。此外，通過用平坦(flat)區(qū)域替換輸入幀中的某些塊以創(chuàng)建“混合分辨率”的幀實現(xiàn)數(shù)據(jù)修剪。
在一個實施例中，本發(fā)明的原理有利地提供使用根據(jù)訓(xùn)練圖像/幀池(pool)訓(xùn)練的補丁樣本庫對視頻進(jìn)行修剪并對修剪過的視頻進(jìn)行恢復(fù)。補丁樣本庫可以被視為是參考幀概念的延伸。因此，補丁樣本庫的想法也可以在傳統(tǒng)的視頻編碼方案中使用。在一個實施例中，本發(fā)明的原理使用誤差界限聚類(error-bounded clustering)(例如，改進(jìn)的K-means聚類)以在庫中高效地搜索補丁。
另外，在一個實施例中，本發(fā)明的原理有利地提供一種混合分辨率的數(shù)據(jù)修剪方案，其中若干個塊被平坦塊替換，以減少高頻信號，從而提升壓縮效率。為了提高元數(shù)據(jù)(庫中最佳匹配補丁的位置)的編碼效率，本發(fā)明的原理使用補丁簽名匹配、匹配排序列表，排序號碼編碼。
此外，在一個實施例中，本發(fā)明的原理有利地提供一種使用基于顏色變化的平坦塊識別方案對被修剪的塊ID進(jìn)行編碼的策略。
因此，根據(jù)本發(fā)明的原理，提供了一種新穎的對輸入視頻進(jìn)行修剪以使得視頻編碼器可以更加高效地進(jìn)行視頻編碼的方法(在本說明書中稱為基于樣本的數(shù)據(jù)修剪)。在一個實施例中，所述方法涉及創(chuàng)建補丁 (作為樣本)的庫，并使用該補丁庫對視頻幀進(jìn)行恢復(fù)，其中在該幀內(nèi)的某些塊被以低分辨率塊或平坦塊替換。該框架包括創(chuàng)建補丁庫、修剪視頻、恢復(fù)視頻以及對恢復(fù)所需的元數(shù)據(jù)進(jìn)行編碼的方法。
參照圖1，編碼器側(cè)的處理實質(zhì)上包括兩個部分，S卩補丁庫創(chuàng)建和修剪。補丁庫可以使用之前已經(jīng)發(fā)送到解碼器側(cè)的幀(原始視頻幀或已經(jīng)編碼和已經(jīng)解碼的幀)或使用某些共享的或者可被編碼器側(cè)和解碼器側(cè)訪問的視頻(例如，來自YOUTUBE.COM的視頻)創(chuàng)建。在本說明書中公開的一個優(yōu)選實施例中，使用之前存在的幀創(chuàng)建補丁庫。還使用之前已經(jīng)解碼的幀在解碼器側(cè)生成補丁庫。在編碼器側(cè)生成兩個補丁庫。一個庫根據(jù)原始幀生成，另外一個庫根據(jù)重構(gòu)的幀(即，先編碼然后解碼的幀)生成。后者(根據(jù)重構(gòu)的幀生成的庫)與在解碼器側(cè)創(chuàng)建的補丁庫完全相同，因為它們使用完全相同的幀(即，重構(gòu)的幀)生成補丁庫。
在編碼器側(cè)，根據(jù)原始幀創(chuàng)建的補丁庫被用來對塊進(jìn)行修剪，而根據(jù)重構(gòu)的幀創(chuàng)建的補丁庫被用來對元數(shù)據(jù)進(jìn)行編碼。使用根據(jù)重構(gòu)的幀創(chuàng)建的補丁庫的原因是為了確保在編碼器側(cè)和解碼器側(cè)用于編碼和解碼元數(shù)據(jù)的補丁庫相同。
對使用原始幀創(chuàng)建的補丁庫，執(zhí)行聚類算法以對補丁分組，使得在修剪過程中的補丁搜索處理能夠高效進(jìn)行。修剪是使用補丁庫對源視頻進(jìn)行修改以發(fā)送更少的比特到解碼器側(cè)的過程。修剪通過將視頻幀劃分成若干個塊并用低分辨率塊或平坦塊替換某些塊來實現(xiàn)。然后將修剪過的幀作為視頻編碼器的輸入。圖2示出了可以應(yīng)用如上所述的本發(fā)明的原理的一個示例性視頻編碼器。
返回圖1，修剪系統(tǒng)100的解碼器側(cè)的處理組成部分也可被視為包括兩部分，即補丁庫創(chuàng)建部分和恢復(fù)部分。解碼器側(cè)的補丁庫創(chuàng)建是使用之前已解碼的幀創(chuàng)建補丁庫的過程，該過程對編碼器側(cè)和解碼器側(cè)來說應(yīng)該是相同。不同于編碼器側(cè)的處理，解碼器側(cè)的補丁庫創(chuàng)建不使用聚類?；謴?fù)組件是對發(fā)送自編碼器側(cè)的已解碼的修剪過的幀中的被修剪的內(nèi)容進(jìn)行恢復(fù)的過程。已經(jīng)解碼的修剪幀是視頻解碼器的輸出。圖3示出了可以應(yīng)用如上所述的本發(fā)明的原理的一個示例性視頻解碼器。
補丁庫創(chuàng)建
轉(zhuǎn)到圖4，參考標(biāo)號400整體表示用于執(zhí)行基于樣本的數(shù)據(jù)修剪系統(tǒng)中的編碼器側(cè)處理的示例性的第一部分。第一部分400包括劃分器410，具有與聚類裝置420的輸入端信號通信連接的輸出端。劃分器的輸入端可用作第一部分400的輸入端，用于接收訓(xùn)練幀。聚類裝置420的輸出端可用作第一部分400的輸出端，用于輸出聚類和補丁庫。
轉(zhuǎn)到圖5，參考標(biāo)號500整體表示用于聚類和補丁庫創(chuàng)建的示例性方法。在步驟505，輸入訓(xùn)練視頻幀。在步驟510，(用劃分器410)將訓(xùn)練視頻幀劃分為若干個重疊的塊。在步驟515，(通過聚類裝置420)去除不具有高頻細(xì)節(jié)的塊。在步驟520中，(使用聚類裝置420)對塊進(jìn)行聚類。在步驟525，輸出聚類和補丁庫。
補丁庫是可以用來對修剪過的圖像塊進(jìn)行恢復(fù)的若干個高分辨率補丁的池。轉(zhuǎn)到圖6，參考標(biāo)號600整體表示示例性的補丁庫和對應(yīng)的若干聚類。補丁庫具體地用參考標(biāo)號610表示，包括簽名部分611和高分辨率補丁部分612。對編碼器側(cè)的處理，生成兩個補丁庫，一個補丁庫用于修剪，另一個補丁庫用于元數(shù)據(jù)編碼。用于修剪的補丁庫使用原始幀生成，而用于元數(shù)據(jù)編碼的補丁庫使用重構(gòu)的幀生成。對于用于修剪的補丁庫，庫中的補丁被分組成若干聚類，以使得修剪搜索處理能夠高效地進(jìn)行。用于庫創(chuàng)建的視頻幀被劃分成若干個重疊的塊以形成訓(xùn)練數(shù)據(jù)集合。首先對訓(xùn)練數(shù)據(jù)進(jìn)行清理，去除所有不包括高頻細(xì)節(jié)的塊。使用一種改進(jìn)的 K-means 聚類算法-在 Dong-Qing Zhang> Sitaram Bhagavathy和 Joan Llach 的論文〈〈Data pruning for video compression using example-basedsuper-resolution)) (2010年I月22日作為共同擁有的美國臨時專利申請序列號第61/336516號(Technicolor公司案卷號PU100014)提交的))中有說明——將訓(xùn)練數(shù)據(jù)集合中的補丁分組成若干個聚類。對于每個聚類，聚類中心是聚類中補丁的平均值，用于匹配在修剪過程中輸入的查詢。改進(jìn)的K-means聚類算法確保聚類內(nèi)任何補丁與它的聚類中心之間的誤差都小于指定的閾值。改進(jìn)的K-means聚類算法可以用任何類似的、能夠確保聚類內(nèi)的誤差界限的聚類算法替代。
為了加快計算，將訓(xùn)練幀的水平和垂直尺寸減少到原始大小的四分之一。并且，聚類過程在縮減幀的補丁上進(jìn)行。在一個示例性實施例中，高分辨率補丁的大小為16x16像素，縮減補丁的大小為4X4像素。因此，縮減因子是4。當(dāng)然，也可以使用其他尺寸，同時維持本發(fā)明的原理的精神。
對于用于元數(shù)據(jù)編碼的補丁庫，不進(jìn)行聚類處理和清理處理；因此，它包括所有可能來自重構(gòu)幀的補丁。然而，對于根據(jù)原始幀創(chuàng)建的補丁庫中的每一個補丁，使用這些補丁的坐標(biāo)可以在根據(jù)重構(gòu)的幀創(chuàng)建的補丁庫中找到它的對應(yīng)補丁。這將確保元數(shù)據(jù)編碼可以正確地進(jìn)行。對于解碼器側(cè)，使用相同的已經(jīng)解碼的視頻幀創(chuàng)建相同的、不進(jìn)行聚類處理的補丁庫以用于元數(shù)據(jù)解碼和被修剪塊恢復(fù)。
對于在編碼器和解碼器側(cè)使用已經(jīng)解碼的幀創(chuàng)建的補丁庫，還進(jìn)行另一處理以創(chuàng)建補丁的簽名。補丁的簽名是其中包括補丁的平均顏色及補丁的周圍像素的特征向量。補丁簽名用于元數(shù)據(jù)編碼處理以更加高效地對元數(shù)據(jù)進(jìn)行編碼，以及用于解碼器側(cè)的恢復(fù)處理以找到最佳匹配補丁從而更可靠地恢復(fù)被修剪的內(nèi)容。轉(zhuǎn)到圖7，參考標(biāo)號700整體表示示例性的簽名向量。簽名向量700包括平均顏色701和周圍像素702。
元數(shù)據(jù)編碼過程如下所述。在修剪的幀中，有時候用于恢復(fù)或元數(shù)據(jù)編碼的被修剪的塊的相鄰塊也被修剪了。那么用作補丁庫搜索中的簽名的周圍像素的集合只包括來自未被修剪的塊的像素。如果所有的相鄰塊都被修剪了，那么只有平均顏色701用作簽名。這最終可能導(dǎo)致較差的補丁匹配，因為用于補丁匹配的信息太少，這正是相鄰的未被修剪的像素702非常重要的原因。
修剪處理
與標(biāo)準(zhǔn)的視頻編碼算法類似，輸入視頻幀被劃分成若干畫面組(G0P)。修剪處理在GOP的第一幀上進(jìn)行。其后，修剪結(jié)果被傳播到GOP中的剩余的幀。
GOP中第一幀的修剪處理
轉(zhuǎn)到圖8，參考標(biāo)號800整體表示用于在基于樣本的數(shù)據(jù)修剪系統(tǒng)中進(jìn)行編碼器側(cè)處理的示例性的第二部分。第二部分800包括劃分器805，其具有與補丁庫搜索器810的輸入端信號通信連接的輸出端。補丁庫搜索器810的輸出端與視頻編碼器815的輸入端、元數(shù)據(jù)生成器820的第一輸入端和元數(shù)據(jù)編碼器825的第一輸入端信號通信連接。元數(shù)據(jù)生成器820的輸出端與元數(shù)據(jù)編碼器825的第二輸入端信號通信連接。視頻編碼器815的第一輸出端與元數(shù)據(jù)生成器820的第二輸入端信號通信連接。劃分器805的輸入端可用作第二部分800的輸入端，用于接收輸入幀。視頻編碼器815的輸出端可用作第二部分800的輸出端，用于輸出已編碼的視頻幀。元數(shù)據(jù)編碼器825的輸出端可用作第二部分800的輸出端，用于輸出編碼后的元數(shù)據(jù)。
轉(zhuǎn)到圖9，參考標(biāo)號900整體表示用于修剪視頻幀的一種示例性方法。在步驟905，輸入視頻幀。在步驟910，視頻幀被劃分成若干個非重疊的塊。在步驟915，對每個塊執(zhí)行循環(huán)。在步驟920，在補丁庫中進(jìn)行搜索。在步驟925，確定是否已經(jīng)找到補丁。如果已經(jīng)找到補丁，那么方法前進(jìn)到步驟930。否則，方法返回到步驟915。在步驟930，對塊進(jìn)行修剪。在步驟935，確定是否已完成了所有塊。如果已經(jīng)完成所有的塊，那么方法前進(jìn)到步驟940。否則，方法返回步驟915。在步驟940，輸出修剪過的幀和對應(yīng)的元數(shù)據(jù)。
因此，每次步驟910首先將輸入幀劃分成若干個非重疊的塊。塊的大小與標(biāo)準(zhǔn)壓縮算法使用的宏塊大小相同——在本說明書公開的示例性實施中采用16x16像素的大小。然后，每次步驟920進(jìn)行搜索處理以在補丁庫中找到最佳匹配補丁。該搜索處理示于圖10。轉(zhuǎn)到圖10，參考標(biāo)號1000整體表示在修剪過程中進(jìn)行的補丁搜索處理。補丁搜索處理1000涉及補丁庫1010，它依次包括簽名部分1011和高分辨率補丁部分1012。首先，通過計算歐幾里得距離對塊和聚類中心進(jìn)行匹配，并找到最匹配的K個聚類。目前，K是根據(jù)經(jīng)驗確定的。理論上說，K由聚類的誤差界限確定。當(dāng)然，也可以根據(jù)本發(fā)明的原理的教導(dǎo)使用其他的方法來計算K。在標(biāo)識候選聚類之后，在聚類內(nèi)進(jìn)行搜索處理，直到找到聚類內(nèi)的最佳匹配補丁。如果最佳匹配補丁與查詢塊之間的差異小于預(yù)定的閾值，那么該塊將會被修剪。否則，該塊將保持不變。被修剪的塊的ID以及每個塊的最佳匹配補丁的索引被保存為元數(shù)據(jù)，這些元數(shù)據(jù)將在元數(shù)據(jù)編碼組成部分中進(jìn)行編碼，并被發(fā)送到解碼器側(cè)。
在標(biāo)識出修剪的塊之后，對這些塊進(jìn)行修剪處理。對需要被修剪的塊可以執(zhí)行不同的修剪策略——例如，用低分辨率塊的替換高分辨率塊。然而，已經(jīng)發(fā)現(xiàn)這種方法可能難以獲得顯著的壓縮效率收益。因此，在本說明書公開的一個優(yōu)選實施例中，高分辨率塊被簡單地用平坦塊替換，其中所有的像素具有相同的顏色值(即原始塊中像素的顏色值的平均值)。塊替換處理創(chuàng)建了幀的某些部分具有較高的分辨率而某些其他部分具有較低的分辨率的視頻幀；因而這樣的幀被稱為“混合分辨率”幀(為了更詳細(xì)地了解混合分辨率修剪方案，請參見共同待審、共同擁有的提交于2011年3月XX日的標(biāo)題為《METHODSAND APPARATUS FOR ENCODING VIDEO SIGNALS FOR BLOCKBASED MIXED-RESOLUTION DATAPRUNING FOR IMPROVING VIDEO COMPRESSION EFFICIENCY》的國際專利申請(PCT)序列號第XXXX號(Technicolor公司案卷號第PU100194號)。轉(zhuǎn)到圖11，參考標(biāo)號1100整體表示示例性的混合分辨率幀。已經(jīng)發(fā)現(xiàn)上述平坦塊的替換方案對于獲得理想的壓縮效率相當(dāng)有效。平坦塊的替換方案可以用低分辨率塊的替換方案替代，其中要修剪的塊用它的低分辨率版本替換。
元數(shù)據(jù)編碼和解碼
對元數(shù)據(jù)編碼包括兩個組成部分(參見圖12)，一個對被修剪的塊ID進(jìn)行編碼(參見圖13)，另一個對補丁索引進(jìn)行編碼(參見圖14)，這是在修剪處理的過程中為每個塊搜索補丁庫獲得的結(jié)果。
轉(zhuǎn)到圖12，參考標(biāo)號1200整體表示對元數(shù)據(jù)進(jìn)行編碼的一種示例性方法。在步驟1205，輸入解碼過的修剪后的視頻幀、被修剪的塊ID和每個塊的補丁索引。在步驟1210，對被修剪的塊ID進(jìn)行編碼。在步驟1215，對補丁索引進(jìn)行編碼。在步驟1220，輸出編碼過的元數(shù)據(jù)。
轉(zhuǎn)向圖13，參考標(biāo)號1300整體表示對被修剪的塊ID進(jìn)行編碼的一種示例性方法。在步驟1305，輸入修剪后的幀和被修剪的塊ID。在步驟1310，進(jìn)行低分辨率塊識別。在步驟1320，確定是否存在遺漏。如果確定沒有遺漏，那么方法前進(jìn)到步驟1325。否則，方法前進(jìn)到步驟1315。在步驟1325，確定假陽性塊的數(shù)目是否比被修剪的塊的數(shù)目多。如果假陽性塊的數(shù)目比被修剪的塊的數(shù)目多，那么方法前進(jìn)到步驟1330。否則，控制前進(jìn)到步驟1335。在步驟1330，使用被修剪的塊的序列，并將標(biāo)志設(shè)置為零。在步驟1340，進(jìn)行差分。在步驟1345，進(jìn)行無損編碼。在步驟1350，輸出編碼過的元數(shù)據(jù)。在步驟1315，調(diào)整閾值。在步驟1335，使用假陽性序列，并將標(biāo)志設(shè)置為等于一。
轉(zhuǎn)向圖14，參考標(biāo)號1400整體表示對補丁索引進(jìn)行編碼的一種示例性方法。在步驟1405，輸入解碼過的修剪后的視頻幀和每個塊的補丁索引。在步驟1410，對每個被修剪的塊執(zhí)行循環(huán)。在步驟1415，獲得簽名。在步驟1420，計算與補丁庫中的補丁的距離。在步驟1425，對補丁進(jìn)行排序以獲得排序列表。在步驟1430，獲得排序號碼。在步驟1435，對排序號碼進(jìn)行熵編碼。在步驟1440，確定是否完成(正在處理的)所有的塊。如果已經(jīng)完成所有的塊，那么方法前進(jìn)到步驟1445。否則，方法返回到步驟1410。在步驟1445，輸出編碼過的補丁索引。
在修剪處理過程中，對每個塊，系統(tǒng)會在補丁庫中搜索最佳匹配補丁，并在失真小于閾值時輸出找到的補丁在補丁庫中的補丁索引。每個補丁都與其簽名(即，解碼幀中其顏色加上周圍的像素)相關(guān)聯(lián)。在解碼器側(cè)處理的恢復(fù)處理過程中，被修剪的塊的顏色和它周圍的像素被用作簽名以在庫中找到正確的高分辨率補丁。
然而，由于存在噪音，使用這種簽名的搜索處理并不可靠，需要元數(shù)據(jù)協(xié)助恢復(fù)處理以保證可靠性。因此，在修剪處理后，系統(tǒng)將會生成用于協(xié)助恢復(fù)的元數(shù)據(jù)。對每個被修剪的塊，上述搜索處理都已經(jīng)識別出庫中對應(yīng)的補丁。元數(shù)據(jù)編碼組成部分將通過使用查詢向量(被修剪的塊的平均顏色加上周圍像素)匹配補丁庫(使用解碼后的幀創(chuàng)建的庫)中的補丁的簽名來模擬恢復(fù)過程。過程如圖14所示。再參照圖14，對每個塊，計算與該塊對應(yīng)的查詢向量和庫中補丁的簽名之間的距離(例如，盡管這里使用歐幾里得距離，但當(dāng)然也可以使用其他距離度量)。根據(jù)該距離對補丁進(jìn)行排序，得到排序列表。在理想情況下，最匹配的高分辨率補丁應(yīng)該位于排序列表的最頂部。然而，由于存在由算法舍入和壓縮引起的噪聲，最佳匹配補丁通常不是排序列表上的第一個。假設(shè)正確的補丁是排序列表中的第η個補丁。號碼η將被保存為該塊的元數(shù)據(jù)。應(yīng)該注意的是，在大多數(shù)情況下，η是I或者一個非常小的數(shù)，因為最佳匹配補丁接近排序列表的頂部；因此，該隨機數(shù)的熵明顯小于庫中最佳匹配補丁的索引，其應(yīng)該是具有最大熵的均勻分布。因此，通過熵編碼可以對順序號碼進(jìn)行高效編碼。所有被修剪的塊的排序號碼形成排序號碼序列，作為被發(fā)送到解碼器側(cè)的元數(shù)據(jù)的一部分。通過實際實驗，已經(jīng)發(fā)現(xiàn)排序號碼的分布接近幾何分布；因此，目前使用Golomb碼對排序號碼序列進(jìn)行進(jìn)一步編碼。Golomb碼對具有幾何分布的隨機數(shù)來說最為理想。當(dāng)然，根據(jù)本發(fā)明的原理的教導(dǎo)，也可以使用其他類型的碼，同時保持本發(fā)明的原理的精神。
對于解碼(參見圖15)，解碼器側(cè)應(yīng)該具有與編碼器側(cè)完全相同的補丁庫，該補丁庫使用解碼后的幀創(chuàng)建。被修剪的塊的簽名將會用來與補丁庫中的簽名進(jìn)行匹配，并獲得排序列表(排序的補丁庫)。排序號碼被用來從排序的補丁庫中獲取正確的補丁。如果補丁庫是根據(jù)之前的幀創(chuàng)建的，為了確保編碼器和解碼器側(cè)具有完全相同的補丁庫，編碼器側(cè)的元數(shù)據(jù)編碼處理也應(yīng)該使用來自視頻解碼器的解碼過的幀，因為在解碼器側(cè)只有解碼過的幀是可用的。
轉(zhuǎn)向圖15，參考標(biāo)號1500整體表示對補丁索引進(jìn)行解碼的一種示例性方法。在步驟1505，輸入解碼的修剪后的視頻幀、編碼的補丁索引和被修剪的塊ID。在步驟1510，對每個被修剪的塊執(zhí)行循環(huán)。在步驟1515，獲得簽名。在步驟1520，計算與補丁庫中的補丁的距離。在步驟1525，對補丁進(jìn)行排序以獲得排序列表。在步驟1530，對編碼的排序號碼進(jìn)行熵解碼。在步驟1535，使用排序號碼從補丁庫中獲取補丁索引。在步驟1540，確定是否完成(正在被處理的)所有的塊。如果已經(jīng)完成所有的塊，那么方法前進(jìn)到步驟1545。否貝U，方法返回到步驟1510。在步驟1545，輸出解碼的補丁索引。
除了排序號碼元數(shù)據(jù)，還需要將被修剪的塊的位置發(fā)送到解碼器側(cè)。這通過塊ID編碼進(jìn)行(參見圖13)。一個簡單的方式可以是只發(fā)送塊ID序列到解碼器側(cè)。塊的ID表示該塊在幀內(nèi)的坐標(biāo)。轉(zhuǎn)向圖16，參考標(biāo)號1600整體表示示例性的塊ID。還可以對被修剪的塊的ID序列進(jìn)行更加高效的編碼。由于被修剪的塊是平坦的，且不包含高頻分量，因此可以通過計算塊內(nèi)的顏色變化來檢測被修剪的塊。如果顏色變化小于閾值，那么該塊被識別為被修剪的塊。然而，由于該識別處理可能是不可靠的，因此仍然需要元數(shù)據(jù)以方便識別處理。首先，通過從高閾值開始確定該方差(variance)閾值。然后，該算法慢慢降低該方差閾值以使得所有被修剪的塊都能夠被識別程序識別出來，然而，在識別結(jié)果中可能存在假陽性塊。之后，如果假陽性塊的數(shù)目大于被修剪的塊的數(shù)目，那么保存被修剪的塊的ID，并發(fā)送到解碼器；否則，將假陽性的ID發(fā)送到解碼器側(cè)。用于識別平坦塊的方差閾值也發(fā)送到解碼器側(cè)以運行相同的識別程序?？梢詫D序列進(jìn)行排序以使得號碼遞增。
為了進(jìn)一步降低冗余度，采用差分編碼方案以首先計算某個ID號碼與其前一個ID號碼之間的差，并對該差序列進(jìn)行編碼。例如，假設(shè)ID序列是3、4、5、8、13、14，差分序列變成3、1、1、3、5、1。差分處理使得號碼更接近1，從而產(chǎn)生具有更小的熵的號碼分布。然后，可以使用熵編碼(例如，當(dāng)前實施例中使用的霍夫曼編碼)對該差分序列進(jìn)一步編碼。因此，最后的元數(shù)據(jù)的格式如下所示:
權(quán)利要求
1.一種設(shè)備，包括: 補丁庫創(chuàng)建器(145)，用于從視頻序列中的畫面的原始版本創(chuàng)建第一補丁庫以及從所述視頻序列中的所述畫面的重構(gòu)版本創(chuàng)建第二補丁庫，所述第一補丁庫和所述第二補丁庫中的每一個包括多個用于在對所述畫面的修剪版本進(jìn)行恢復(fù)的過程中替換一個或多個被修剪的塊的高分辨率替換補丁 ；以及 修剪器(105)，用于從所述第一補丁庫生成所述畫面的修剪版本； 元數(shù)據(jù)生成器(135)，用于從所述第二補丁庫生成在對所述畫面的修剪版本進(jìn)行恢復(fù)時使用的元數(shù)據(jù)；以及 編碼器(110，135)，用于對所述畫面的修剪版本和所述元數(shù)據(jù)進(jìn)行編碼。
2.如權(quán)利要求1所述 的設(shè)備,其中通過將所述畫面的原始版本劃分成多個塊,并分別用替換補丁替換所述多個塊中的至少一個塊來生成所述畫面的修剪版本，其中所述替換補丁中的所有像素具有相同的顏色值或低分辨率中的一種。
3.如權(quán)利要求2所述的設(shè)備，其中所述相同的顏色值等于所述多個塊中的至少一個塊內(nèi)的像素的顏色值的平均值。
4.如權(quán)利要求1所述的設(shè)備，其中所述第一補丁庫通過以下方式創(chuàng)建:將所述畫面的原始版本劃分成多個重疊的塊以形成訓(xùn)練數(shù)據(jù)集合；從所述訓(xùn)練集合中去除所述多個重疊的塊中的具有高于預(yù)先指定的閾值的高頻分量的任何重疊塊；以及將所述多個重疊的塊中剩余的塊聚類成多個聚類，其中所述多個重疊的塊中剩余的塊中的每一個塊形成所述多個高分辨率替換補丁中的相應(yīng)的補丁。
5.如權(quán)利要求4所述的設(shè)備，其中所述多個聚類中各個聚類的相應(yīng)的中心與在所述多個聚類中的各個聚類中包括的所述多個重疊的塊中的剩余的塊中的任何塊的平均值對應(yīng)。
6.如權(quán)利要求5所述的設(shè)備，其中在進(jìn)行所述聚類之前對所述多個重疊的塊中的剩余塊進(jìn)行縮減以獲得多個縮減的重疊塊，所述聚類在所述多個縮減的重疊塊上進(jìn)行，并且所述多個聚類中各個聚類的相應(yīng)中心與在所述多個聚類中各個聚類中包括的所述多個縮減的重疊塊中的任何塊的平均值對應(yīng)。
7.如權(quán)利要求1所述的設(shè)備，其中通過生成包括所述多個高分辨率補丁中各個補丁的平均顏色的特征向量，分別為在所述第二補丁庫中包括的所述多個高分辨率補丁中的每一個補丁創(chuàng)建簽名。
8.如權(quán)利要求7所述的設(shè)備，其中在所述多個高分辨率補丁中的各個補丁的特征向量中包括的所述平均顏色進(jìn)一步屬于與所述多個高分辨率補丁中各個補丁有關(guān)的周圍像素。
9.如權(quán)利要求1所述的設(shè)備，其中所述第一補丁庫包括多個補丁聚類，所述畫面的修剪版本通過下列方式生成:將所述畫面的原始版本劃分成多個非重疊的塊；基于從所述多個非重疊的塊中的每一個塊到所述多個補丁聚類中每一個聚類的相應(yīng)中心的各個距離度量，從所述多個補丁聚類中搜索用于所述多個非重疊的塊中的每一個塊的候選補丁聚類；基于一個或多個標(biāo)準(zhǔn)從所述候選補丁聚類中識別出最佳匹配補丁 ；以及在所述多個非重疊的塊中對應(yīng)的塊與所述最佳匹配補丁之間的差小于閾值差時，對所述多個非重疊的塊中的對應(yīng)的塊進(jìn)行修剪以獲得修剪的塊。
10.如權(quán)利要求9所述的設(shè)備，其中當(dāng)所述多個非重疊的塊中對應(yīng)的塊與所述最佳匹配補丁之間的差小于所述閾值差時，所述元數(shù)據(jù)包括所述最佳匹配補丁的補丁索引，所述元數(shù)據(jù)進(jìn)一步包括被修剪的塊的塊標(biāo)識符。
11.一種方法，包括: 從視頻序列中的畫面的原始版本創(chuàng)建(525 )第一補丁庫以及從所述視頻序列中的所述畫面的重構(gòu)版本創(chuàng)建第二補丁庫，所述第一補丁庫和所述第二補丁庫中的每一個包括多個用于在對所述畫面的修剪版本進(jìn)行恢復(fù)的過程中替換一個或多個被修剪的塊的高分辨率替換補??；以及 從所述第一補丁庫生成(810)所述畫面的修剪版本； 從所述第二補丁庫生成(820)在對所述畫面的修剪版本進(jìn)行恢復(fù)時使用的元數(shù)據(jù)；以及 對所述畫面的修剪版本和所述元數(shù)據(jù)進(jìn)行編碼(815，825 )。
12.如權(quán)利要求11所述的方法,其中通過將所述畫面的原始版本劃分(410)成多個塊，并分別用替換補丁替換所述多個塊中的至少一個塊來生成所述畫面的修剪版本，其中所述替換補丁中的所有像素具有相同的顏色值或低分辨率中的一種。
13.如權(quán)利要求12所述的方法，其中所述相同的顏色值等于所述多個塊中的至少一個塊內(nèi)的所述像素的顏色值的平均值。
14.如權(quán)利要求11所述的方法，其中所述第一補丁庫通過以下方式創(chuàng)建:將所述畫面的原始版本劃分成多個重疊的塊以形成訓(xùn)練數(shù)據(jù)集合；從所述訓(xùn)練集合中去除所述多個重疊的塊中的具有高于預(yù)先指定的閾值的高頻分量的任何重疊塊；以及將所述多個重疊的塊中剩余的塊聚 類成多個聚類，其中所述多個重疊的塊中剩余的塊中的每一個塊形成所述多個高分辨率替換補丁中的相應(yīng)的補丁。
15.如權(quán)利要求13所述的方法，其中所述多個聚類中各個聚類的相應(yīng)的中心與在所述多個聚類中的各個聚類中包括的所述多個重疊的塊中的剩余的塊中的任何塊的平均值對應(yīng)。
16.如權(quán)利要求14所述的方法，其中在進(jìn)行所述聚類之前對所述多個重疊的塊中的剩余塊進(jìn)行縮減以獲得多個縮減的重疊塊，所述聚類在所述多個縮減的重疊塊上進(jìn)行，并且所述多個聚類中各個聚類的相應(yīng)中心與在所述多個聚類中各個聚類中包括的所述多個縮減的重疊塊中的任何塊的平均值對應(yīng)。
17.如權(quán)利要求11所述的方法，其中通過生成包括所述多個高分辨率補丁中各個補丁的平均顏色的特征向量，分別為在所述第二補丁庫中包括的所述多個高分辨率補丁中的每一個補丁創(chuàng)建簽名。
18.如權(quán)利要求17所述的方法，其中在所述多個高分辨率補丁中的各個補丁的特征向量中包括的所述平均顏色進(jìn)一步屬于與所述多個高分辨率補丁中各個補丁有關(guān)的周圍像素。
19.如權(quán)利要求11所述的方法，其中所述第一補丁庫包括多個補丁聚類，所述畫面的修剪版本通過下列方式生成:將所述畫面的原始版本劃分成多個非重疊的塊；基于從所述多個非重疊的塊中的每一個塊到所述多個補丁聚類中每一個聚類的相應(yīng)中心的各個距離度量，從所述多個補丁聚類中搜索用于所述多個非重疊的塊中的每一個塊的候選補丁聚類；基于一個或多個標(biāo)準(zhǔn)從所述候選補丁聚類中識別出最佳匹配補丁 ；以及在所述多個非重疊的塊中對應(yīng)的塊與所述最佳匹配補丁之間的差小于閾值差時，對所述多個非重疊的塊中的對應(yīng)的塊進(jìn)行修剪以獲得修剪的塊。
20.如權(quán)利要求19所述的方法，其中當(dāng)所述多個非重疊的塊中對應(yīng)的塊與所述最佳匹配補丁之間的差小于所述閾值差時，所述元數(shù)據(jù)包括所述最佳匹配補丁的補丁索引，所述元數(shù)據(jù)進(jìn)一步包括被修剪的塊的塊標(biāo)識符。
21.—種設(shè)備,包括: 用于從視頻序列中的畫面的原始版本創(chuàng)建第一補丁庫以及從所述視頻序列中的所述畫面的重構(gòu)版本創(chuàng)建第二補丁庫的部件(145)，所述第一補丁庫和所述第二補丁庫中的每一個包括多個用于在對所述畫面的修剪版本進(jìn)行恢復(fù)的過程中替換一個或多個被修剪的塊的高分辨率替換補丁 ；以及 用于從所述第一補丁庫生成所述畫面的修剪版本的部件(105); 用于從所述第二補丁庫生成在對所述畫面的修剪版本進(jìn)行恢復(fù)時使用的元數(shù)據(jù)的部件(135);以及 用于對所述畫面的修剪版本和所述元數(shù)據(jù)進(jìn)行編碼的部件(110，135)。
22.如權(quán)利要求21所述的設(shè)備，其中通過將所述畫面的原始版本劃分成多個塊，并分別用替換補丁替換所述多個塊中的至少一個塊來生成所述畫面的修剪版本，其中所述替換補丁中的所有像素具有相同的顏色值或低分辨率中的一種。
23.如權(quán)利要求22所述的設(shè)備，其中所述相同的顏色值等于所述多個塊中的至少一個塊內(nèi)的所述像素的顏色值的平均值。
24.如權(quán)利要求21所述的設(shè)備，其中所述第一補丁庫通過以下方式創(chuàng)建:將所述畫面的原始版本劃分成多個重疊的塊以形成訓(xùn)練數(shù)據(jù)集合；從所述訓(xùn)練集合中去除所述多個重疊的塊中的具有高于預(yù)先指定的閾值的高頻分量的任何重疊塊；以及將所述多個重疊的塊中剩余的塊聚類成多個聚類，其中所述多個重疊的塊中剩余的塊中的每一個塊形成所述多個高分辨率替換補丁中的相應(yīng)的補丁。
25.如權(quán)利要求24所述的設(shè)備，其中所述多個聚類中各個聚類的相應(yīng)的中心與在所述多個聚類中的各個聚類中包括的所述多個重疊的塊中的剩余的塊中的任何塊的平均值對應(yīng)。
26.如權(quán)利要求25所述的設(shè)備，其中在進(jìn)行所述聚類之前對所述多個重疊的塊中的剩余塊進(jìn)行縮減以獲得多個縮減的重疊塊，所述聚類在所述多個縮減的重疊塊上進(jìn)行，并且所述多個聚類中各個聚類的相應(yīng)中心與在所述多個聚類中各個聚類中包括的所述多個縮減的重疊塊中的任何塊的平均值對應(yīng)。
27.如權(quán)利要求21所述的設(shè)備，其中通過生成包括所述多個高分辨率補丁中各個補丁的平均顏色的特征向量，分別為在所述第二補丁庫中包括的所述多個高分辨率補丁中的每一個補丁創(chuàng)建簽名。
28.如權(quán)利要求27所述的設(shè)備，其中在所述多個高分辨率補丁中的各個補丁的特征向量中包括的所述平均顏色進(jìn)一步屬于與所述多個高分辨率補丁中各個補丁有關(guān)的周圍像素。
29.如權(quán)利要求21所述的設(shè)備，其中所述第一補丁庫包括多個補丁聚類，所述畫面的修剪版本通過下列方式生成:將所述畫面的原始版本劃分成多個非重疊的塊；基于從所述多個非重疊的塊中的每一個塊到所述多個補丁聚類中每一個聚類的相應(yīng)中心的各個距離度量，從所述多個補丁聚類中搜索用于所述多個非重疊的塊中的每一個塊的候選補丁聚類；基于一個或多個標(biāo)準(zhǔn)從所述候選補丁聚類中識別出最佳匹配補丁 ；以及在所述多個非重疊的塊中對應(yīng)的塊與所述最佳匹配補丁之間的差小于閾值差時，對所述多個非重疊的塊中的對應(yīng)的塊進(jìn)行修剪以獲得修剪的塊。
30.如權(quán)利要求29所述的設(shè)備，其中當(dāng)所述多個非重疊的塊中對應(yīng)的塊與所述最佳匹配補丁之間的差小于所述閾值差時，所述元數(shù)據(jù)包括所述最佳匹配補丁的補丁索引，所述元數(shù)據(jù)進(jìn)一步包括被修剪的塊的塊標(biāo)識符。
全文摘要
提供了用于使用基于樣本的數(shù)據(jù)修剪以提升視頻壓縮效率的編碼視頻信號的方法和設(shè)備。一種用于對視頻序列中的畫面進(jìn)行編碼的設(shè)備包括補丁庫創(chuàng)建器(145)，用于從畫面的原始版本創(chuàng)建第一補丁庫以及從畫面的重構(gòu)版本創(chuàng)建第二補丁庫，第一補丁庫和第二補丁庫中的每一個包括多個用于在對畫面的修剪版本進(jìn)行恢復(fù)的過程中替換一個或多個被修剪的塊的高分辨率替換補丁。該設(shè)備還包括用于從所述第一補丁庫生成畫面的修剪版本的修剪器(105)以及用于從第二補丁庫生成元數(shù)據(jù)的元數(shù)據(jù)生成器(135)。元數(shù)據(jù)用于對畫面的修剪版本進(jìn)行恢復(fù)。該設(shè)備進(jìn)一步包括編碼器(110,135)，用于對畫面的修剪版本和元數(shù)據(jù)進(jìn)行編碼。
文檔編號H04N7/50GK103202018SQ201180054419
公開日2013年7月10日 申請日期2011年9月9日 優(yōu)先權(quán)日2010年9月10日
發(fā)明者張冬青, S.布哈加瓦希 申請人:湯姆遜許可公司