深度預(yù)測模式選擇方法及裝置的制造方法
【專利說明】
[oow] 相關(guān)申請(qǐng)
[0002] 本申請(qǐng)要求于2013年1月11日由顧舟葉等提交的、申請(qǐng)?zhí)枮?1/751，589、發(fā)明名 稱為"低復(fù)雜度帖內(nèi)編碼方法"的美國臨時(shí)專利申請(qǐng)的優(yōu)先權(quán)，其全部內(nèi)容通過引用結(jié)合在 本申請(qǐng)中。
技術(shù)領(lǐng)域
[0003] 本申請(qǐng)一般來說設(shè)及一種視頻編解碼的裝置、方法及計(jì)算機(jī)程序。
【背景技術(shù)】
[0004] 本節(jié)旨在提供權(quán)利要求中所引用的本發(fā)明的背景。本節(jié)的描述可包括可推行但不 一定已形成或推行的概念。因此，除非本文另有說明，本節(jié)所描述的并不是本申請(qǐng)的說明和 權(quán)利要求的現(xiàn)有技術(shù)，也不因包括在本節(jié)中而承認(rèn)為現(xiàn)有技術(shù)。
[0005] 即使在較短的影片中，需要預(yù)測的數(shù)據(jù)量也是龐大的，運(yùn)使得數(shù)據(jù)難W在有限的 帶寬上在通信網(wǎng)絡(luò)上通過流或其他方式進(jìn)行傳送。因此，在通過現(xiàn)代通信網(wǎng)絡(luò)傳送之前，視 頻數(shù)據(jù)通常會(huì)先經(jīng)過壓縮。數(shù)據(jù)傳輸前，視頻壓縮設(shè)備通常在源端使用軟件和/或硬件對(duì) 視頻數(shù)據(jù)進(jìn)行壓縮，從而減少呈現(xiàn)數(shù)字視頻圖像所需的數(shù)據(jù)量。經(jīng)過壓縮的數(shù)據(jù)在目的端 被視頻解壓縮設(shè)備接收，該視頻解壓縮設(shè)備對(duì)所述視頻數(shù)據(jù)進(jìn)行解壓縮。由于網(wǎng)絡(luò)資源有 限，而對(duì)視頻質(zhì)量的要求又不斷提高，需要有改進(jìn)的壓縮和解壓縮技術(shù)來提高壓縮率，而不 影響圖像質(zhì)量或?qū)D像質(zhì)量影響很少。
[0006] 視頻編碼系統(tǒng)可包括編碼器和解碼器，所述編碼器將輸入視頻變換成適于存儲(chǔ)/ 傳輸?shù)膲嚎s呈現(xiàn)，所述解碼器可將所述壓縮的視頻呈現(xiàn)解壓縮還原成可視形式。為使視頻 呈現(xiàn)更為緊湊，例如，為使視頻信息W低于其他情況可能需要的比特率進(jìn)行存儲(chǔ)/傳輸，所 述編碼器可丟棄原始視頻序列中的部分信息。
[0007] 當(dāng)前正在調(diào)研和開發(fā)各類提供=維（3D)視頻內(nèi)容的技術(shù)。研究尤其集中在各種 多視應(yīng)用，其中觀察者從特定視點(diǎn)只能看到一個(gè)立體視頻對(duì)，從不同視點(diǎn)又能看到另一立 體視頻對(duì)。運(yùn)類多視應(yīng)用的最可行方案之一是只將限量的單一或立體視頻及補(bǔ)充數(shù)據(jù)等輸 入視圖提供給解碼器側(cè)，由解碼器在本地對(duì)全部所需視圖進(jìn)行擅染（例如，合成），然后顯 示在顯示器上。
[0008] 3D視頻內(nèi)容編碼可使用各種視頻壓縮系統(tǒng)，如高級(jí)視頻編碼標(biāo)準(zhǔn)H. 264/AVC或 比264/AVC的多視視頻編碼擴(kuò)展MVC、高效視頻編碼標(biāo)準(zhǔn)肥VC或肥VC的多視擴(kuò)展加深度或 肥VC的3D擴(kuò)展。

【發(fā)明內(nèi)容】

[0009] 根據(jù)第一實(shí)施例，提供了一種用于對(duì)深度圖的塊進(jìn)行編碼的預(yù)測模式選擇方法， 所述方法包括：
[0010] 獲取編碼模式的有序列表，其中所述編碼模式的有序列表包括多種編碼模式，所 述編碼模式能用于所述塊的編碼；
[0011] 獲取多個(gè)深度建模模式值MM)，所述深度建模模式能用于所述塊的編碼；
[0012] 根據(jù)決策條件確定是否將所述多個(gè)DMM中的DMM添加到所述編碼模式的有序列 表。
[0013] 根據(jù)第二實(shí)施例，提供了一種裝置，包括至少一個(gè)處理器和至少一個(gè)包括計(jì)算機(jī) 程序代碼的內(nèi)存，其中所述至少一個(gè)內(nèi)存及所述計(jì)算機(jī)程序代碼用于，與所述至少一個(gè)處 理器一起，使所述裝置執(zhí)行W下操作：
[0014] 獲取編碼模式的有序列表，其中所述編碼模式的有序列表包括多種編碼模式，其 中每種編碼模式都能用于對(duì)深度圖的塊進(jìn)行編碼；
[0015] 獲取多個(gè)深度建模模式值MM)，其中每個(gè)深度建模模式都能用于所述塊的編碼；
[0016] 根據(jù)決策條件確定是否將所述多個(gè)DMM中的DMM添加到所述編碼模式的有序列 表。
[0017] 根據(jù)第S實(shí)施例，提供了一種裝置，包括：
[0018] 獲取編碼模式的有序列表的單元，其中所述編碼模式的有序列表包括多種編碼模 式，其中每種編碼模式都能用于對(duì)深度圖的塊進(jìn)行編碼；
[0019] 獲取多個(gè)深度建模模式值MM)的單元，其中每個(gè)深度建模模式都能用于所述塊的 編碼；
[0020] 根據(jù)決策條件確定是否將所述多個(gè)DMM中的DMM添加到所述編碼模式的有序列表 的單元。
【附圖說明】
[0021] 為了更完整地理解本發(fā)明，請(qǐng)結(jié)合附圖及具體實(shí)施例參考W下【附圖說明】，其中相 似的附圖標(biāo)號(hào)表示相似的部件。
[0022] 圖1為較佳視頻編碼器的一部分；
[0023] 圖2為模式選擇方法的一個(gè)實(shí)施例；
[0024] 圖3為模式選擇方法的另一個(gè)實(shí)施例；
[00巧]圖4為模式選擇方法的另一個(gè)實(shí)施例；
[00%] 圖5為模式選擇方法的另一個(gè)實(shí)施例；
[0027] 圖6為各模式選擇實(shí)施例中適用的決策條件的其他實(shí)施例；
[0028] 圖7為模式選擇方法的另一實(shí)施例的實(shí)驗(yàn)結(jié)果；
[0029] 圖8為電子設(shè)備的一個(gè)實(shí)施例的示意圖。
【具體實(shí)施方式】
[0030] 首先，應(yīng)理解，盡管W下對(duì)一個(gè)或多個(gè)實(shí)施例的實(shí)現(xiàn)方式進(jìn)行了舉例說明，但所公 開的系統(tǒng)和/或方法可通過任意多的已知或現(xiàn)有技術(shù)實(shí)現(xiàn)。本發(fā)明絕不限于W下所闡述的 實(shí)現(xiàn)方式、附圖和技術(shù)，包括本發(fā)明闡述和說明的典型設(shè)計(jì)及實(shí)現(xiàn)方式，而是可W在所附權(quán) 利要求及其所有同等替代的范圍內(nèi)進(jìn)行修改。
[0031] W下W-個(gè)視頻編碼設(shè)備為例對(duì)本發(fā)明的幾個(gè)實(shí)施例進(jìn)行描述。但是，要注意的 是本發(fā)明并不局限于該特定設(shè)備。事實(shí)上，所述不同實(shí)施例在任何需要對(duì)參考圖片處理進(jìn) 行改進(jìn)的情況都有廣泛應(yīng)用。例如，本發(fā)明可應(yīng)用于W下視頻編碼系統(tǒng)：流媒體系統(tǒng)、DVD播放器、數(shù)字電視接收機(jī)、個(gè)人視頻錄像機(jī)、個(gè)人電腦上的系統(tǒng)和計(jì)算機(jī)程序、手持電腦和 通訊設(shè)備，W及處理視頻數(shù)據(jù)的網(wǎng)元，如變碼器和云計(jì)算設(shè)備。
[0032] 比264/AVC標(biāo)準(zhǔn)由國際電信聯(lián)盟電信標(biāo)準(zhǔn)部aTU-T)的視頻編碼專家組（VCEG) 的聯(lián)合視頻組（JVT)及國際標(biāo)準(zhǔn)化組織（ISO)/國際電工委員會(huì)（IEC)的運(yùn)動(dòng)圖像專家組 (MPEG)開發(fā)。比264/AVC標(biāo)準(zhǔn)由上述兩大標(biāo)準(zhǔn)化組織發(fā)布，分別稱為ITU-T建議H. 264和 ISCVIEC國際標(biāo)準(zhǔn)14496-10,也稱為MPEG-4第10部分：高級(jí)視頻編碼（AVC).H. 264/AVC標(biāo) 準(zhǔn)已有很多版本，每個(gè)版本都為標(biāo)準(zhǔn)納入了新的擴(kuò)展或特性。運(yùn)些擴(kuò)展包括可伸縮視頻編 碼（SVC)及多視視頻編碼（MVC)。
[0033] 目前，MPEG和VCEG的視頻編碼聯(lián)合協(xié)作組（JCT-VC)正在進(jìn)行（高效視頻編碼 (肥VC)的標(biāo)準(zhǔn)化項(xiàng)目。肥VC標(biāo)準(zhǔn)的具體信息，可參考電氣電子工程師學(xué)會(huì)（I邸巧的文件 《高效視頻編碼（肥VC)標(biāo)準(zhǔn)概述》，該文件可在IE邸網(wǎng)站(http：//ieeexplore.ieee.org/ Xplore/home.isp)用數(shù)字對(duì)象標(biāo)識(shí)"10. 1109/TCSVT. 2012. 2221191"進(jìn)行訪問。該IE邸文 件的全部內(nèi)容都通過引用結(jié)合在本申請(qǐng)中。
[0034] 本節(jié)用H. 264/AVC和肥VC的一些關(guān)鍵定義、比特流和編碼結(jié)構(gòu)W及概念，對(duì)實(shí)現(xiàn) 各實(shí)施例的視頻編碼器、解碼器、編碼方法、解碼方法及比特流結(jié)構(gòu)進(jìn)行舉例說明。H. 264/ AVC的某些關(guān)鍵定義、比特流和編碼結(jié)構(gòu)W及概念與肥VC標(biāo)準(zhǔn)草案相同，因此將在下文統(tǒng) 一說明。但本發(fā)明并不限于H. 264/AVC或肥VC，且所述說明旨在闡明本發(fā)明可部分或全部 實(shí)現(xiàn)的一個(gè)可能的基礎(chǔ)。
[0035] 與很多早期的視頻編碼標(biāo)準(zhǔn)類似，H. 264/AVC和肥VC中規(guī)定了實(shí)現(xiàn)無差錯(cuò)比特流 的比特流語法和語義W及解碼過程。編碼過程雖然沒有規(guī)定，但編碼器必須產(chǎn)生符合要求 的比特流。比特流和解碼器是否符合要求可通過假想?yún)⒖冀獯a器（HRD)進(jìn)行驗(yàn)證。標(biāo)準(zhǔn)包 含有助于處理傳輸誤差和損失的編碼工具，但工具在編碼中的使用是可選的，且沒有對(duì)有 差錯(cuò)比特流的解碼過程進(jìn)行規(guī)定。
[0036] 比264/AVC或肥VC編碼器輸入及H. 264/AVC或肥VC解碼器輸出的基本單位分別 是圖片。在H. 264/AVC和肥VC中，圖片可W為帖或域。帖包括亮度樣本及對(duì)應(yīng)色度樣本組 成的矩陣。域是帖中樣本行的隔行集合，在源信號(hào)經(jīng)過交織處理時(shí)，可作為編碼器的輸入。 與亮度圖片比對(duì)時(shí)，色度圖片可進(jìn)行二次采樣。例如，在4:2:0采樣模式中，色度圖片的空 間分辨率在兩個(gè)坐標(biāo)軸上都是亮度圖片的空間分辨率的一半。
[0037] 在H. 264/AVC中，宏塊由16X16的亮度樣本塊及對(duì)應(yīng)的色度樣本塊組成。例如， 在4:2:0采樣模式中，宏塊的每個(gè)色度組件包含8x8的色度樣本塊。在H. 264/AVC中，圖片 被分割為一個(gè)或多個(gè)切片組，一個(gè)切片組包含一個(gè)或多個(gè)切片。在H. 264/AVC中，切片由特 定切片組內(nèi)進(jìn)行的光柵掃描中連續(xù)排列的整數(shù)個(gè)宏塊組成。
[003引在肥VC標(biāo)準(zhǔn)的一個(gè)草案中，視頻圖片被劃分為覆蓋圖片區(qū)域的編碼單元（CU)。CU由一個(gè)或多個(gè)預(yù)測單元（PU)及一個(gè)或多個(gè)變化單元（TU)組成，所述PU定義CU中樣本的 預(yù)測過程，所述TU定義CU中樣本的預(yù)測誤差編碼過程。通常，CU由方塊組成，所述方塊的 尺寸可從預(yù)定義的CU可能尺寸集中進(jìn)行選擇。最大尺寸的CU通常稱為LCU(最大編碼單 元），視頻圖片被劃分為不重疊的LCU。LCU可進(jìn)一步拆分為更小CU的組合，例如，通過對(duì) LCU及所得CU進(jìn)行遞歸拆分。每個(gè)拆分所得的CU通常有至少一個(gè)PU及至少一個(gè)與該P(yáng)U 相關(guān)聯(lián)的TU。每個(gè)PU和TU可進(jìn)一步拆分為更小的PU和TU，W分別增加預(yù)測的粒度及預(yù) 測誤差編碼過程。PU拆分可通過把CU拆分為四個(gè)等大的正方形PU或把CU拆分為豎直或 水平的對(duì)稱或不對(duì)稱的兩個(gè)矩形PU。圖片到CU的劃分W及CU到PU和TU的劃分，通常在 比特流中進(jìn)行指示，使解碼器能重現(xiàn)各單元的結(jié)構(gòu)。
[0039] 在肥VC標(biāo)準(zhǔn)的一個(gè)草案中，圖片可分割為矩形的圖塊，所述圖塊包含整數(shù)個(gè)LCU。 在肥VC標(biāo)準(zhǔn)的一個(gè)草案中，圖塊的分割構(gòu)成規(guī)則的網(wǎng)格，其中圖塊間的高度和寬帶相差最 多一個(gè)LCU。在肥VC標(biāo)準(zhǔn)的一個(gè)草案中，切片由整數(shù)個(gè)CU組成。CUW圖塊中或，如果沒有 使用圖塊，圖片中LCU的光柵掃描順序進(jìn)行掃描。在LCU內(nèi)，CU具有一定的掃描順序。
[0040] 在肥VC的工作草案（WD) 5中，圖片分割的關(guān)鍵定義及概念如下：分割指的是將一 個(gè)集合劃分為多個(gè)子集，使該集合中每個(gè)元素都正好是一個(gè)所述子集。
[0041] 肥VCWD5中的基本編碼單元叫做樹塊。樹塊為具有S個(gè)樣本陣列的圖片的一個(gè) 化N亮度樣本塊及兩個(gè)對(duì)應(yīng)的色度樣本塊；或者樹塊為單色圖片或用=種單獨(dú)的顏色平面 進(jìn)行編碼的圖片的一個(gè)化N樣本塊。樹塊可針對(duì)不同編碼和解碼過程進(jìn)行分割。對(duì)具有S 個(gè)樣本陣列的圖片進(jìn)行樹塊分割時(shí)得到的樹塊分區(qū)為一個(gè)化N亮度樣本塊及兩個(gè)對(duì)應(yīng)的 色度樣本塊；對(duì)單色圖片或用=種單獨(dú)的顏色平面進(jìn)行編碼的圖片進(jìn)行樹塊分割時(shí)得到的 樹塊分區(qū)為一個(gè)亮度樣本塊。每個(gè)樹塊都分配了一個(gè)分區(qū)信令，用來標(biāo)識(shí)用于帖內(nèi)或帖間 預(yù)測及用于變換編碼的塊大小。所述分割為遞歸的四分樹分割。所述四分樹的根節(jié)點(diǎn)與樹 塊相關(guān)聯(lián)。四分樹被不斷拆分，直至到達(dá)葉節(jié)點(diǎn)，葉節(jié)點(diǎn)被稱為編碼節(jié)點(diǎn)。編碼節(jié)點(diǎn)為兩個(gè) 樹的根節(jié)點(diǎn)，所述兩個(gè)樹為預(yù)測樹和變換樹。預(yù)測樹指定預(yù)測塊的位置和大小。預(yù)測樹和 相關(guān)預(yù)測數(shù)據(jù)稱為預(yù)測單元。變換樹指定變化塊的位置和大小。變換樹和相關(guān)變化數(shù)據(jù)稱 為變化單元。亮度和色度的拆分信息對(duì)于預(yù)測樹是相同的，但對(duì)變換樹可W相同也可W不 同。編碼節(jié)點(diǎn)及相關(guān)預(yù)測和變化單元共同組成編碼單元。 陽0創(chuàng)在肥VCWD5中，圖片被劃分為切片或圖塊。切片可W是樹塊序列，但（指所謂的 細(xì)粒度切片時(shí)）也可將樹塊內(nèi)變化單元和預(yù)測單元重合的位置作為其邊界。切片內(nèi)樹塊W 光柵掃描順序進(jìn)行編碼和解碼。對(duì)基礎(chǔ)編碼圖片，將每個(gè)圖片劃分為切片的過程即分割過 程。
[0043] 在肥VCWD5中，圖塊指的是同時(shí)出現(xiàn)在一列和一行的整數(shù)個(gè)樹塊，該樹塊在圖塊 內(nèi)W光柵掃描順序連續(xù)排列。對(duì)基礎(chǔ)編碼圖化將每個(gè)圖片劃分為圖塊的過程即分割過程。 圖塊在圖片內(nèi)W光柵掃描順序連續(xù)排列。盡管切片包含圖塊內(nèi)W光柵掃描順序連續(xù)排列的 樹塊，但是運(yùn)些樹塊卻不一定在圖片內(nèi)W光柵掃描順序連續(xù)排列。切片和圖塊不需包含相 同的樹塊序列。圖塊可包括多個(gè)切片中包含的樹塊。同樣，切片可包括多個(gè)圖塊中包含的 樹塊。
[0044] 在H. 264/AVC和HEVC中，可跨切片邊界禁用圖內(nèi)預(yù)測。由此，切片可看作將編碼 圖片拆分為獨(dú)立的可解碼片段的方式，因此切片經(jīng)常被當(dāng)作傳輸?shù)幕締挝?。很多情況下， 編碼器可在比特流中指示跨切片邊界禁用的圖內(nèi)預(yù)測類型，解碼器在確定可用預(yù)測源等操 作時(shí)考慮該信息。例如，如果相鄰宏塊或CU位于不同的切片，則可認(rèn)為來自該相鄰宏塊或 CU的樣本對(duì)帖內(nèi)預(yù)測不可用。
[0045] 語法元素可定義為比特流中呈現(xiàn)的數(shù)據(jù)元素。語法結(jié)構(gòu)可定義為在比特流中一同 W-定的順序呈現(xiàn)的零個(gè)或更多的語法元素。
[0046] 在一個(gè)肥VC草案中，還有第S種參數(shù)集類型，此處稱為自適應(yīng)參數(shù)集（APS)，其包 括在多個(gè)編碼切片中可能不會(huì)改變但在每個(gè)圖片或每幾個(gè)圖片等中可能改變的參數(shù)。在一 個(gè)肥VC草案中，AI^語法結(jié)構(gòu)包括與量化矩陣（QM)、自適應(yīng)樣本偏移（SAO)、自適應(yīng)環(huán)路濾 波（AL巧及去塊濾波相關(guān)聯(lián)的參數(shù)或語法元素。在一個(gè)肥VC草案中，AI^為NAL單元，其 編碼不W其他NAL單元為參考或預(yù)測。在APSNAL單元中包括標(biāo)識(shí)，即語法元素aps_id，切 片頭部也包括該標(biāo)識(shí)，用于指示特定的APS。
[0047] 比264/AVC和肥VC語法容許大量的參數(shù)集實(shí)例，每個(gè)實(shí)例由唯一的標(biāo)識(shí)符進(jìn)