用于視頻流編碼的方法與裝置制造方法
【專利摘要】一種使用編碼方案對被分為宏塊的視頻流進行編碼的方法，所述視頻流包括透明度等級通道，所述方法包括：-將所述宏塊分類為內(nèi)部宏塊和轉(zhuǎn)變宏塊，對于所述內(nèi)部宏塊其由所述透明度信息通道提供的透明度值在實質(zhì)上一致，對于所述轉(zhuǎn)變宏塊其由透明度等級通道提供的透明度值在實質(zhì)上不一致；-為每一個所述內(nèi)部宏塊確定所述透明度值的統(tǒng)計值；并且-根據(jù)其各自的統(tǒng)計值，為每一個所述內(nèi)部宏塊配置所述編碼方案的相應參數(shù)。
【專利說明】用于視頻流編碼的方法與裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻編碼領(lǐng)域，并且尤其涉及帶有透明度信息的視頻流編碼領(lǐng)域。

【背景技術(shù)】
[0002] 透明度通道正在越來越多地在多種應用中使用以便將不同的直播視頻種子融合 成一個視頻流。
[0003]目前，尚無哪種方法能夠在為YUV/RGB通道以及可能的深度信息執(zhí)行編碼時有效 地考慮透明度信息。


【發(fā)明內(nèi)容】

[0004]因此，本發(fā)明實施例的目的為利用可用的透明度信息來改進編碼機制，尤其是降 低輸出視頻速率和/或計算復雜度。
[0005] 依照本發(fā)明的一個方面，提供了使用編碼方案對被分隔為宏塊的視頻流進行編碼 的方法，所述視頻流包括透明度等級通道，所述方法包括：將宏塊分類為內(nèi)部宏塊和轉(zhuǎn)變宏 塊，對于內(nèi)部宏塊，由透明度信息通道提供的透明度值實質(zhì)上是一致的，對于轉(zhuǎn)變宏塊，由 透明度等級通道提供的透明度值在實質(zhì)上不一致；確定每一個內(nèi)部宏塊的透明度值的統(tǒng)計 值；并且依據(jù)其各自的統(tǒng)計值，為每一個內(nèi)部宏塊配置編碼方案的相應參數(shù)。
[0006] 本申請全文中，術(shù)語"宏塊"被用來指明編碼方案的編碼單元。雖然術(shù)語"宏塊"在 H. 264建議中被定義，并且根據(jù)該建議典型地與編碼有關(guān)，該術(shù)語應被理解為包括在其他編 碼方案中的等同的編碼單元。
[0007] 依照本發(fā)明的方法的優(yōu)勢為在逐宏塊（macroblock-per-macroblock)的基礎(chǔ)上， 以將內(nèi)容的不透明度/透明度考慮在內(nèi)的方式編碼視頻流（即YUV/RGB通道以及可能的 深度信息）。因此，多數(shù)地包含透明度內(nèi)容的宏塊（對該宏塊從透明度值的平均值、中值或 其他相關(guān)的統(tǒng)計值來確定）可以更有效的并且較少定性（lessqualitative)的參數(shù)集合 進行編碼。根據(jù)已知的用于編碼器如H. 264和HEVC的慣例，這些參數(shù)被配置為"編碼提示 (encodinghints)"。根據(jù)本發(fā)明所述方法的進一步的優(yōu)勢為，其可辨別被視為一致的宏 ±夬--只要對他們的透明度進行考慮，通常來說比起那些在其中不透明度的（突然）轉(zhuǎn)變 的宏塊，編碼所述被視為一致的宏塊更有效率。
[0008] 在依照本發(fā)明的方法的實施例中，所述統(tǒng)計值為平均透明度等級或透明度等級的 中值，并且對所述參數(shù)的配置包括：判斷所述統(tǒng)計值是否超過預先確定的值；并且如果判 斷是肯定的，為對每一個內(nèi)部宏塊的編碼方案的參數(shù)進行配置以降低編碼復雜度。
[0009] 該實施例的優(yōu)勢為使用一個相對簡單的基于閾值的評估來確定是否為特別的內(nèi) 部宏塊降低編碼復雜度。所述"透明度等級"為一個表示宏塊中的像素的透明度等級的參 數(shù)，例如高"透明度等級"可理解為指高透明度的內(nèi)容。這樣的表述并非旨在排除透明度實 際上是通過"不透明度等級"（例如，"alpha"參數(shù)）編碼的實現(xiàn)，其中低"不透明度等級" 用來標識高透明度的內(nèi)容；在這種情況下，低"不透明度等級"對應高"透明度等級"。
[0010] 依照本發(fā)明的方法的實施例中，所述參數(shù)的配置包括使去區(qū)塊濾波器 (deblockingfilter)和自適應環(huán)路濾波器（adaptiveloopfilter)中的至少一個無效。 [0011] 在特別的實施例中，宏塊被組合為片段（slices)，所述片段表示被水平分割的幀 的部分，所述方法進一步包括使對包括轉(zhuǎn)變宏塊的每個片段的去區(qū)塊濾波器和自適應環(huán)路 濾波器中的至少一個無效。
[0012] 這些實施例是基于
【發(fā)明者】注意到例如在視頻流的實質(zhì)上透明部分中的區(qū)塊效應 沒有顯著的干擾。因此，這些實施例通過選擇性地停用去區(qū)塊濾波器和/或自適應環(huán)路濾 波器來提高編碼效率。
[0013] 在依照本發(fā)明的方法的實施例中，對參數(shù)的配置包括對16X16DC模式的內(nèi)部預 測的設(shè)置。
[0014] 該實施例是基于
【發(fā)明者】注意到在視頻流的實質(zhì)上透明部分中的粗插補不會顯著 地使整幅圖片降級。因此，該實施例通過選擇性地將插值引擎設(shè)置為簡略模式（coarser mode)來提高編碼效率。
[0015] 依照本發(fā)明的方法的實施例中，對參數(shù)的配置包括從運動估計模式轉(zhuǎn)換至？_31(1? 模式。
[0016] 該實施例是基于
【發(fā)明者】注意到視頻流的實質(zhì)上透明部分中的粗運動估計不會顯 著地使整幅圖片降級。因此，該實施例通過選擇性地停用運動估計來提高編碼效率。
[0017] 在特別的實施例中，所述方法進一步包括對每個轉(zhuǎn)變塊：將轉(zhuǎn)變塊分割成多個子 塊，所述分割被執(zhí)行以使包括透明度等級轉(zhuǎn)變的子塊的個數(shù)最小化。
[0018] 該實施例對透明度信息中的轉(zhuǎn)變的發(fā)生進行了考慮。該實施例的優(yōu)點為在精確地 表達轉(zhuǎn)變一其可能是銳變的一和有效地編碼底層顏色（以及可選的深度）信息之間達 到較好的平衡。作為施加分割的結(jié)果，所述不包括透明度等級轉(zhuǎn)變的子塊因此可被視為"內(nèi) 部子塊"，并且接受由上文描述的對"內(nèi)部塊"的處理。
[0019] 依照本發(fā)明的方法的實施例中，對參數(shù)的配置包括根據(jù)所述統(tǒng)計值配置施加至每 個內(nèi)部塊的壓縮的量，以使更透明的宏塊受到更多的壓縮。
[0020] 在特別的實施例中，所述方法進一步包括：為每一個轉(zhuǎn)變宏塊確定透明度值的統(tǒng) 計值；并且根據(jù)所述統(tǒng)計值配置對每個轉(zhuǎn)變宏塊施加的壓縮的量，以使更透明的宏塊受到 更多的壓縮。
[0021] 這些實施例的優(yōu)點為以在逐宏塊的基礎(chǔ)上對內(nèi)容的不透明度/透明度進行考慮 這樣的方式，以自適應壓縮率執(zhí)行視頻流（即，YUV/RGB通道和可能的深度信息）的編碼。 相應地，主要包含透明內(nèi)容的宏塊將被以更多的壓縮（例如，更高的QP值）來編碼，并且因 此，質(zhì)量較低。依照公知的編碼實踐，如H. 264和HEVC，這些參數(shù)被配置為"編碼提示"。
[0022] 根據(jù)本發(fā)明的一個方面，提供了包括用以執(zhí)行上述方法的軟件裝置的計算機程 序。
[0023] 根據(jù)本方面的一個方面，提供了用于編碼被劃分為宏塊的視頻流的裝置，所述視 頻流包括透明度等級通道，所述裝置包括：被配置為根據(jù)編碼方案編碼所述視頻流的視頻 編碼器；用于將宏塊分類為內(nèi)部宏塊和轉(zhuǎn)變宏塊的分類引擎，對于所述內(nèi)部宏塊，由透明度 信息通道提供的透明度值是在實質(zhì)上是一致的，對于所述轉(zhuǎn)變宏塊，由透明度等級通道提 供的透明度值不是在實質(zhì)上一致；用于為每一個內(nèi)部宏塊計算透明度值的統(tǒng)計值的處理 器；以及適于根據(jù)相應的統(tǒng)計值為每一個內(nèi)部宏塊配置視頻編碼器的參數(shù)的編碼提示生成 器。
[0024] 依照本發(fā)明的裝置的實施例中，所述統(tǒng)計值為平均透明度等級或透明度等級中 值，并且其中所述編碼提示生成器進一步適于：確定統(tǒng)計值是否超過了預先確定的值；并 且如果所述判斷是肯定的，為每一個內(nèi)部宏塊配置視頻編碼器的參數(shù)以降低編碼復雜度。
[0025] 依照本發(fā)明所述裝置的實施例中，所述參數(shù)的配置包括對根據(jù)所述統(tǒng)計值配置施 加至每個內(nèi)部宏塊的壓縮的量，以使更透明的宏塊受到更多的壓縮。
[0026] 在特別的實施例中，所述處理器進一步適于為所述轉(zhuǎn)變宏塊中的每一個確定透明 度值的統(tǒng)計值；并且所述編碼提示生成器進一步適于根據(jù)所述統(tǒng)計值配置施加至每個轉(zhuǎn)變 宏塊的壓縮的量，以使更透明的宏塊受到更多的壓縮。
[0027] 依照本發(fā)明的實施例的計算機程序和裝置的技術(shù)效果和優(yōu)點經(jīng)過必要地變更，對 應于那些現(xiàn)有的相關(guān)依照本發(fā)明的方法的相應實施例。

【專利附圖】

【附圖說明】
[0028] 現(xiàn)在僅以示例的方式并參考相應的附圖，對依照本發(fā)明的實施例的裝置和/或方 法的一些實施例進行描述，其中：
[0029] 圖1提供了依照本發(fā)明的方法的實施例的流程圖；以及
[0030] 圖2提供了依照本發(fā)明的裝置的實施例的示意圖。

【具體實施方式】
[0031] 本發(fā)明的實施例尤其是基于
【發(fā)明者】注意到旨在保留透明度的視頻流的部分可以 降低的質(zhì)量重建，同時在最終（融合的）視頻流的整體質(zhì)量上沒有明顯的降低。
[0032] 本發(fā)明的實施例還基于
【發(fā)明者】注意到這些部分的質(zhì)量的降低需求可有利地在編 碼步驟中被考慮，以降低編碼復雜度和/或視頻流的比特率。
[0033] 依照本發(fā)明的實施例，在編碼器側(cè)做出提高編碼效率的特定選擇還引起解碼過程 的復雜度的降低。
[0034] 雖然在下文本發(fā)明的實施例在H. 264以及HEVC編碼器環(huán)境中進行描述，這樣作 僅僅是為了清楚的目的，而并非旨在限定本發(fā)明的范圍。本領(lǐng)域技術(shù)人員可理解本發(fā)明的 原理同樣可應用到不同類型的基于塊的編碼器，所述編碼器為透明度信息的包含進行了考 慮。同樣，術(shù)語"alpha通道"（在公式中表示為α)被作為透明度信息通道的典型示例使 用，并非旨在限制本發(fā)明的編解碼器需特別地實際以"alpha通道"的名稱或形式提供透明 度息。
[0035] 在說明書中，將提到"實質(zhì)上透明的"像素、塊、宏塊，或片段。本領(lǐng)域技術(shù)人員需 認識到本發(fā)明的原理的應用沒有考慮其選擇以應用來確定像素是否為"實質(zhì)上透明的"的 精確閾值。在本發(fā)明的背景下，可能認為只有完全透明的像素為實質(zhì)上透明的。也有可能 認為不透明度小于（或等于）50%的像素或甚至小于（或等于）25%的像素為實質(zhì)上透明 的。還可能應用不同的閾值，其可低于或者高于50%不透明度。并且，不同的閾值可被施加 至本發(fā)明的不同階段。
[0036] 為闡明本發(fā)明的方面，并且不限制其范圍，對下面的數(shù)學公式進行介紹以便討論 可用的透明度信息。在與本發(fā)明于同一天以申請?zhí)朎P12305617. 8提交的標題為"Method andapparatusforencodingavideostreamhavingatransparencyinformation channel"的申請中提供了關(guān)于該公式進一步的細節(jié)，其內(nèi)容被全文引入作為參考。
[0037]Alpha圖像根據(jù)具有支持域的分隔區(qū)域和隱函數(shù)
[0038]F(x,y,z)=F(i,j,α)=〇
[0039] 來進行數(shù)學上的考慮。
[0040] 所述數(shù)學表示被定義為隱函數(shù)的成分。這些函數(shù)表示在具有（x，Y，z)坐標系的三 維空間中定義F(x，Υ，Ζ)函數(shù)，所述坐標系中（X，Υ)對相當于alpha像素的（i，j)像素坐 標，并且z坐標為在（i，j)處的alpha值。函數(shù)F例如可為半徑為r的球，如
[0041]F(x,y,z) =x2+y2+z2-r2=0
[0042] 函數(shù)F為（X，Y，Z)中的廣義多項式，其完全由他們的系mam,n,p來定義，例如

【權(quán)利要求】
1. 一種用于使用編碼方案對被分為宏塊的視頻流進行編碼的方法，所述視頻流包括透 明度等級通道，所述方法包括： -將所述宏塊分類為內(nèi)部宏塊和轉(zhuǎn)變宏塊，對于所述內(nèi)部宏塊，由所述透明度信息通道 提供的透明度值實質(zhì)上一致，對于所述轉(zhuǎn)變宏塊，由所述透明度等級通道提供的透明度值 實質(zhì)上不一致； -確定每一個所述內(nèi)部宏塊的所述透明度值的統(tǒng)計值；并且 -根據(jù)其各自的統(tǒng)計值，為每一個所述內(nèi)部宏塊配置所述編碼方案的相應參數(shù)。
2. 如權(quán)利要求1所述的方法，其中所述統(tǒng)計值為平均透明度等級或透明度等級中值， 并且其中對所述參數(shù)的所述配置包括： _確定所述統(tǒng)計值是否超出預先確定的值；并且 _如果所述判斷為肯定，為每一個所述內(nèi)部宏塊配置所述編碼方案的所述參數(shù)以降低 編碼見雜度。
3. 如權(quán)利要求2所述的方法，其中所述參數(shù)的所述配置包括至少禁用去區(qū)塊濾波器和 自適應環(huán)路濾波器中的一個。
4. 如權(quán)利要求3所述的方法，其中所述宏塊被組合為片段，所述片段表示被水平分割 的幀的部分，所述方法進一步包括為包括轉(zhuǎn)變宏塊的每個片段禁用所述去區(qū)塊濾波器和所 述自適應環(huán)路濾波器中的至少一個。
5. 如權(quán)利要求2所述的方法，其中所述參數(shù)的所述配置包括設(shè)置內(nèi)部預測為16 X 16DC 模式。
6. 如權(quán)利要求2所述的方法，其中所述參數(shù)的所述配置包括將運動估計模式切換為P_ SKIP模式。
7. 如權(quán)利要求6所述的方法，進一步包括，對于每個轉(zhuǎn)變塊： _將所述轉(zhuǎn)變塊分割為子塊，所述分割被執(zhí)行以使包括透明度等級轉(zhuǎn)變的子塊的數(shù)目 最小化。
8. 如上述權(quán)利要求中任意一項所述的方法，其中所述參數(shù)的所述配置包括：依據(jù)所述 統(tǒng)計值配置施加至每個內(nèi)部宏塊的壓縮的量，以使更透明的宏塊受到更多的壓縮。
9. 如權(quán)利要求8所述的方法，進一步包括： -為每一個所述轉(zhuǎn)變宏塊確定所述透明度值的統(tǒng)計值；并且 -依據(jù)所述統(tǒng)計值配置施加至每個轉(zhuǎn)變宏塊的壓縮的量，以使更透明的宏塊受到更多 的壓縮。
10. -種計算機程序，包括用于執(zhí)行上述權(quán)利要求中的任意一條所述的方法的軟件裝 置。
11. 一種用于對被分為宏塊的視頻流進行編碼的裝置，所述視頻流包括透明度等級通 道，所述裝置包括： -被配置為根據(jù)編碼方案編碼所述視頻流的視頻編碼器； -用于將所述宏塊分類為內(nèi)部宏塊和轉(zhuǎn)變宏塊的分類引擎，所述內(nèi)部宏塊，由所述透明 度信息通道提供的透明度值實質(zhì)上一致，對于所述轉(zhuǎn)變宏塊，由所述透明度等級通道提供 的透明度值實質(zhì)上不一致； -用于為每一個所述內(nèi)部宏塊計算所述透明度值的統(tǒng)計值的處理器；和 -適于依據(jù)其各自的統(tǒng)計值為每一個所述內(nèi)部宏塊配置所述視頻編碼器的參數(shù)的編碼 提示生成器。
12. 如權(quán)利要求11所示裝置，其中所述統(tǒng)計值為平均透明度等級或透明度等級中值， 并且其中所述編碼提示生成器進一步適于： _確定所述統(tǒng)計值是否超出預先確定的值；并且 _如果所述判斷為肯定，為每一個所述內(nèi)部宏塊配置所述視頻編碼器的所述參數(shù)以降 低編碼復雜度。
13. 如權(quán)利要求11-12中任意一項所述的裝置，其中所述參數(shù)的所述配置包括依據(jù)所 述統(tǒng)計值配置施加至每個內(nèi)部宏塊的壓縮的量，以使更透明的宏塊受到更多的壓縮。
14. 如權(quán)利要求13所述的裝置，其中所述處理器進一步適于為每一個所述轉(zhuǎn)變宏塊確 定所述透明度值的統(tǒng)計值；并且其中所述編碼提示生成器進一步適于依據(jù)所述統(tǒng)計值配置 施加至每個轉(zhuǎn)變宏塊的壓縮的量，以使更透明的宏塊受到更多的壓縮。
【文檔編號】H04N19/196GK104365098SQ201380027840
【公開日】2015年2月18日 申請日期:2013年5月23日 優(yōu)先權(quán)日:2012年6月1日
【發(fā)明者】C·史蒂文斯, P·龍當阿爾法塞, S·范布勒克, J-F·麥克 申請人:阿爾卡特朗訊公司