用于視頻譯碼的色彩殘差預測的制作方法
【專利說明】用于視頻譯碼的色彩殘差預測
[0001 ]本申請案主張2013年11月I日申請的第61/899,038號美國臨時申請案的權益，其全部內容以引用的方式并入本文中。
技術領域
[0002 ]本發(fā)明涉及視頻譯碼。
【背景技術】
[0003]數字視頻能力可并入到多種多樣的裝置中，包含數字電視、數字直播系統(tǒng)、無線廣播系統(tǒng)、個人數字助理(PDA)、膝上型或桌上型計算機、平板計算機、電子書閱讀器、數碼相機、數字記錄裝置、數字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話(所謂的“智能電話”)、視頻電話會議裝置、視頻串流裝置等。數字視頻裝置實施視頻壓縮技術，例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第 10部分高級視頻譯碼(AVC)定義的標準、目前正在開發(fā)的高效率視頻譯碼(HEVC)標準及此類標準的擴展中所描述的視頻壓縮技術。視頻裝置可通過實施此類視頻壓縮技術來更高效地發(fā)射、接收、編碼、解碼和/或存儲數字視頻信息。
[0004]視頻壓縮技術執(zhí)行空間(圖片內)預測和/或時間(圖片間)預測來減少或去除視頻序列中固有的冗余。對于基于塊的視頻譯碼，視頻切片(即，視頻幀或視頻幀的一部分)可分割成若干視頻塊，所述視頻塊也可被稱作樹塊、譯碼單元(CU)和/或譯碼節(jié)點。使用關于同一圖片中的相鄰塊中的參考樣本的空間預測來編碼圖片的經幀內譯碼(I)切片中的視頻塊。圖片的經幀間譯碼(P或B)切片中的視頻塊可使用相對于同一圖片中的相鄰塊中的參考樣本的空間預測或相對于其它參考圖片中的參考樣本的時間預測。圖片可被稱作幀，且參考圖片可被稱作參考幀。
[0005]空間或時間預測導致待譯碼塊的預測性塊。殘差數據表示待譯碼原始塊與預測性塊之間的像素差。經幀間譯碼塊是根據指向形成預測性塊的參考樣本塊的運動向量和指示經譯碼塊與預測性塊之間的差的殘差數據編碼的。根據幀內譯碼模式和殘差數據來編碼經幀內譯碼塊。為了進一步壓縮，可將殘差數據從像素域變換到變換域，從而產生殘差變換系數，可接著量化所述殘差變換系數。可掃描一開始按二維陣列排列的經量化變換系數，以便產生變換系數的一維向量，且可應用熵譯碼來實現更多壓縮。

【發(fā)明內容】

[0006]本發(fā)明與視頻譯碼和壓縮的領域有關。明確地說，本發(fā)明描述可用于使用除4:4:4外的色度子取樣格式(例如4: 2: 2或4: 2:0色度子取樣格式)來對視頻塊進行色彩殘差預測的技術。
[0007]在本發(fā)明的一個實例中，一種解碼視頻數據的方法，所述方法包括:解碼第一視頻數據塊，以產生經重構亮度殘差值塊和經預測色度殘差值塊，其中所述第一視頻數據塊具有4: 2:0或4: 2:2色度子取樣格式中的一者；以及執(zhí)行色彩殘差預測過程，以使用經重構亮度殘差值的子集作為經預測色度殘差值塊的亮度預測符來為第一視頻數據塊重構色度殘差值塊。
[0008]在一個實例揭示中，一種經配置以解碼視頻數據的設備，所述設備包括:視頻數據存儲器，其經配置以存儲與第一視頻數據塊有關的視頻信息；以及視頻解碼器，其經配置以解碼所述第一視頻數據塊，以產生經重構亮度殘差值塊和經預測色度殘差值塊，其中所述第一視頻數據塊具有4:2:0或4: 2:2色度子取樣格式中的一者，且執(zhí)行色彩殘差預測過程，以使用經重構亮度殘差值的子集作為所述經預測色度殘差值塊的亮度預測符來為第一視頻數據塊重構色度殘差值塊。
[0009]在本發(fā)明的另一實例中，一種編碼視頻數據的方法，所述方法包括:編碼第一視頻數據塊，以產生經重構亮度殘差值塊和經預測色度殘差值塊，其中所述第一視頻數據塊具有4: 2:0或4: 2:2色度子取樣格式中的一者；以及執(zhí)行色彩殘差預測過程，以使用經重構亮度殘差值的子集作為色度殘差值塊的亮度預測符來為第一視頻數據塊形成經預測色度殘差值塊。
[0010]在另一實例中，本發(fā)明描述一種存儲指令的計算機可讀存儲媒體，所述指令在被執(zhí)行時致使經配置以解碼視頻數據的裝置的一或多個處理器:解碼第一視頻數據塊，以產生經重構亮度殘差值塊和經預測色度殘差值塊，其中所述第一視頻數據塊具有4:2:0或4:2: 2色度子取樣格式中的一者;且執(zhí)行色彩殘差預測過程，以使用經重構亮度殘差值的子集作為經預測色度殘差值塊的亮度預測符來為第一視頻數據塊重構色度殘差值塊。
[0011]附圖和以下描述中陳述一或多個實例的細節(jié)。其它特征、目標和優(yōu)點將從所述描述和圖式以及所附權利要求書顯而易見。
【附圖說明】
[0012]圖1是說明可利用本發(fā)明中描述的技術的實例視頻編碼和解碼系統(tǒng)的框圖。
[0013]圖2是說明可實施本發(fā)明中描述的技術的實例視頻編碼器的框圖。
[0014]圖3是說明可實施本發(fā)明中描述的技術的實例視頻解碼器的框圖。
[0015]圖4是說明色度子取樣格式的概念圖。
[0016]圖5A是說明呈4:2:2色度子取樣格式的色度殘差值的亮度預測符的一個實例的概念圖。
[0017]圖5B是說明呈4:2:2色度子取樣格式的色度殘差值的亮度預測符的一個實例的概念圖。
[0018]圖5C是說明呈4:2:2色度子取樣格式的色度殘差值的亮度預測符的一個實例的概念圖。
[0019]圖6A是說明呈4:2:0色度子取樣格式的色度殘差值的亮度預測符的一個實例的概念圖。
[0020]圖6B是說明呈4:2:0色度子取樣格式的色度殘差值的亮度預測符的一個實例的概念圖。
[0021]圖7A是說明呈4:2:0色度子取樣格式的色度殘差值的亮度預測符的一個實例的概念圖。
[0022]圖7B是說明呈4:2:0色度子取樣格式的色度殘差值的亮度預測符的一個實例的概念圖。
[0023]圖8是說明本發(fā)明的實例編碼方法的流程圖。
[0024]圖9是說明本發(fā)明的實例解碼方法的流程圖。
【具體實施方式】
[0025]本發(fā)明與視頻譯碼和壓縮領域有關。明確地說，本發(fā)明描述可用于使用除4:4:4外的色度子取樣格式(例如4:2:2或4:2:0色度子取樣格式)來對視頻塊進行色彩殘差預測的技術。
[0026]色彩殘差預測是涉及從經重構亮度(Y)殘差值預測色度殘差值(例如YCrCb視頻塊中的Cr和Cb色度值兩者)的視頻編碼技術。由于視頻數據塊的亮度殘差值常常與色度殘差值相關，因此色度殘差值的進一步預測將產生較大的壓縮和增加的譯碼效率。
[0027]為了執(zhí)行色彩殘差預測，可首先從同一圖片內得另一塊的色度值(例如幀內預測)或從另一圖片中的另一塊的色度值(例如幀間預測)預測塊的色度值，從而形成色度殘差值。接著可從同一塊的經重構亮度殘差值進一步預測所述視頻數據塊的色度殘差值。通常，用于預測的亮度殘差值在用于預測之前經按比例縮放。
[0028]在某一視頻譯碼技術中，使用4:4:4色度子取樣格式來譯碼視頻數據塊。就是說，對于每一亮度(Y)值，存在一個對應紅色色度值(Cr)和一個對應藍色色度值(Cb)。因此，對于4:4:4視頻塊，在與每一色度值(Cr和Cb)相同的位置中存在一個對應亮度殘差值，其可用作色彩殘差預測的預測符。然而，其它視頻譯碼技術可使用色度子取樣格式，其使用比亮度分量少的色度分量(例如4: 2: 2色度子取樣或4: 2:0色度子取樣)。由此，用于色彩殘差預測的亮度分量不是自明的。本發(fā)明提出用于對具有比亮度分量少的色度分量的色度子取樣格式執(zhí)行色彩殘差預測的各種技術。
[0029]圖1是說明可實施本文所描述的技術中的一或多者的實例視頻編碼和解碼系統(tǒng)的框圖。如圖1中所示，系統(tǒng)10包含源裝置12，其提供在稍后時間將由目的地裝置14解碼的經編碼視頻數據。確切地說，源裝置12經由計算機可讀媒體16將視頻數據提供到目的地裝置
14。源裝置12和目的地裝置14可包括多種多樣的裝置中的任一者，包含桌上型計算機、筆記型(即，膝上型)計算機、平板計算機、機頂盒、電話手持機(例如所謂的“智能”電話)、所謂的“智能”平板計算機、電視機、相機、顯示裝置、數字媒體播放器、視頻游戲控制臺、視頻流式傳輸裝置或類似者。在一些情況下，可裝備源裝置12和目的地裝置14以用于無線通信。
[0030]目的地裝置14可經由計算機可讀媒體16接收待解碼的經編碼視頻數據。電腦可讀媒體16可包括能夠將經編碼的視頻數據從源裝置12移動到目的地裝置14的任一類型的媒體或裝置。在一個實例中，計算機可讀媒體16可包括通信媒體以使源裝置12能夠實時地將經編碼的視頻數據直接發(fā)射到目的地裝置14。可根據通信標準(例如，無線通信協(xié)議)來調制經編碼的視頻數據，并將其發(fā)射到目的地裝置14。通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一或多個物理傳輸線。通信媒體可形成基于分組的網絡(例如，局域網、廣域網或全球網絡，例如因特網)的部分。通信媒體可包含路由器、交換器、基站或任何其它可用于促進從源裝置12到目的地裝置14的通信的設備。
[0031]在一些實例中，經編碼數據可從輸出接口22輸出到存儲裝置(未圖示)。類似地，可通過輸入接口 28從存儲裝置存取經編碼數據。所述存儲裝置可包含多種分布式或本地存取式數據存儲媒體中的任一者，例如硬盤驅動器、藍光光盤、DVD、CD-ROM、快閃存儲器、易失性或非易失性存儲器，或用于存儲經編碼視頻數據的任何其它合適的數字存儲媒體。在另一實例中，存儲裝置可對應于可存儲源裝置12所產生的經編碼視頻的文件服務器或另一中間存儲裝置。目的地裝置14可從存儲裝置經由流式傳輸或下載來存取所存儲的視頻數據。文件服務器可為任何類型的能夠存儲經編碼的視頻數據且將經編碼的視頻數據發(fā)射到目的地裝置14的服務器。實例文件服務器包含網絡服務器(例如，用于網站)、FTP服務器、網絡附接存儲(NAS)裝置或本地磁盤驅動器。目的地裝置14可通過任何標準數據連接(包含因特網連接)來存取經編碼視頻數據。這可包含無線信道(例如，W1-Fi連接)、有線連接(例如，DSL、電纜調制解調器等)，或適合于存取存儲在文件服務器上的經編碼視頻數據的兩者的組合。經編碼視頻數據從存儲裝置的發(fā)射可為流式傳輸發(fā)射、下載發(fā)射或其組合。
[0032]本發(fā)明的技術未必限于無線應用或設定。所述技術可應用于視頻譯碼以支持多種多媒體應用中的任一者，例如空中電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、因特網流式視頻發(fā)射(例如，經由HTTP的動態(tài)自適應流式傳輸(DASH))、編碼到數據存儲媒體上的數字視頻、存儲在數據存儲媒體上的數字視頻的解碼或其它應用。在一些實例中，系統(tǒng)10可經配置以支持單向或雙向視頻傳輸，以支持例如視頻流式傳輸、視頻重放、視頻廣播和/或視頻電話等應用。
[0033]在圖1的實例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。目的地裝置14包含輸入接口28、視頻解碼器30和顯示裝置32。在其它實例中，源裝置和目的地裝置可包含其它組件或布置。舉例來說，源裝置12可從外部視頻源(例如，外部相機)接收視頻數據。同樣，目的地裝置14可與外部顯示裝置介接，而非包含集成式顯示裝置。
[0034]圖1的所說明系統(tǒng)10僅為一個實例。任何數字視頻編碼和/或解碼裝置均可執(zhí)行本文所描述的技術。盡管本發(fā)明的技術一般通過視頻編碼裝置來執(zhí)行，但是所述技術還可通過視頻編碼器/解碼器(通常被稱作“編碼解碼器”)來執(zhí)行。此外，本發(fā)明的技術還可由視頻預處理器執(zhí)行。源裝置12和目的地裝置14僅為源裝置12產生經譯碼視頻數據以用于發(fā)射到目的地裝置14的所述譯碼裝置的實例。在一些實例中，裝置12、14可以實質上對稱的方式操作，使得裝置12、14中的每一者包含視頻編碼和解碼組件。因此，系統(tǒng)10可支持裝置12、14之間的單向或雙向視頻發(fā)射以(例如)用于視頻流式傳輸、視頻重放、視頻廣播或視頻電話。
[0035]源裝置12的視頻源18可包含視頻捕獲裝置，例如攝像機、含有先前所捕獲視頻的視頻存檔和/或用于從視頻內容提供者接收視頻的視頻饋送接口。作為另一替代方案，視頻源18可產生基于計算機圖形的數據作為源視頻，或直播視頻、存檔視頻與計算機產生的視頻的組合。在一些情況下，如果視頻源18為攝像機，那么源裝置12和目的地裝置14可形成所謂的相機電話或視頻電話。然而，如上文所提到，本發(fā)明中所描述的技術可大體上適用于視頻譯碼，且可適用于無線和/或有線應用。在每一情況下，所俘獲、預先俘獲或電腦產生的視頻可由視頻編碼器20編碼。經編碼視頻信息可接著由輸出接口 22輸出到計算機可讀媒體16上。
[0036]計算機可讀媒體16可包含瞬時媒體，例如無線廣播或有線網絡發(fā)射，或存儲媒體(即，非暫時性存儲媒體)，例如硬盤、快閃驅動器、壓縮光盤、數字視頻光盤、藍光光盤或其它計算機可讀媒體。在一些實例中，網絡服務器(未圖示)可從源裝置12接收經編碼視頻數據，且例如經由網絡傳輸將經編碼視頻數據提供到目的地裝置14。類似地，媒體生產設施(例如，光盤沖壓設施)的計算裝置可從源裝置12接收經編碼的視頻數據，且生產含有經編碼的視頻數據的光盤。因此，在各種實例中，計算機可讀媒體16可理解為包含各種形式的一或多個計算機可讀媒體。
[0037]目的地裝置14的輸入接口28從計算機可讀媒體16接收信息。計算機可讀媒體16的信息可包含由視頻編碼器20定義的語法信息，所述語法信息也被視頻解碼器30使用，所述語法信息包含描述塊和其它經譯碼單元(例如，G0P)的特性和/或處理的語法元素。顯示裝置32將經解碼視頻數據顯示給用戶，且可包括多種顯示裝置中的任一者，例如陰極射線管(CRT)、液晶顯示器(IXD)、等離子顯示器、有機發(fā)光二極管(OLED)顯示器或另一類型的顯示
目.ο
[0038]如將在下文更詳細地闡釋，視頻編碼器20和/或視頻解碼器30可經配置以實施本發(fā)明的技術。作為一個實例，視頻編碼器20和/或視頻解碼器30可經配置以:編碼/解碼第一視頻數據塊，以產生經重