行標(biāo) 識。為了限制參數(shù)集所需內(nèi)存用量，限制了參數(shù)集標(biāo)識的取值范圍。在H.264/AVC及一個 肥VC標(biāo)準(zhǔn)草案中，每個切片頭部都包括用于對包含該切片的圖片進(jìn)行解碼的圖片參數(shù)集的 標(biāo)識，并且每個圖片參數(shù)集都包含當(dāng)前活動的序列參數(shù)集的標(biāo)識。在肥VC標(biāo)準(zhǔn)中，切片頭 部還包含AI^標(biāo)識。因此，圖片和序列參數(shù)集的傳輸無需與切片的傳輸完全同步。相反，當(dāng) 前活動的序列和圖片參數(shù)可在其被參考前的任意時刻接收，運使得參數(shù)集能用比用于切片 數(shù)據(jù)的協(xié)議更可靠的機制進(jìn)行"帶外"傳輸。例如，參數(shù)集可為實時傳輸協(xié)議（RT巧會話的 會話描述中的參數(shù)。如果參數(shù)集在帶內(nèi)傳輸，可W進(jìn)行重傳，W提高誤差穩(wěn)定性。
[0048] SEINAL單元可包含一個或多個SEI報文，輸出圖片的解碼不需要該報文，但該 報文可在相關(guān)過程，如圖片輸出定時、擅染、誤差檢測、誤差隱藏及資源預(yù)約中起輔助作用。 比264/AVC和肥VC中指定了多個沈I報文，而且用戶數(shù)據(jù)沈I報文使組織和公司能定制其 SEI報文。比264/AVC和肥VC包含針對所指定沈I報文的語法和語義，但未定義接收端的 報文處理過程。因此，要求編碼器根據(jù)H. 264/AVC標(biāo)準(zhǔn)或肥VC標(biāo)準(zhǔn)創(chuàng)建沈I報文，而不要 求符合H. 264/AVC標(biāo)準(zhǔn)或肥VC標(biāo)準(zhǔn)的解碼器處理沈I報文的輸出順序符合該標(biāo)準(zhǔn)。將SEI 報文語法和語義納入H. 264/AVC和肥VC的一個原因在于使不同系統(tǒng)規(guī)范對補充信息做相 同解讀，從而實現(xiàn)互通。運意味著系統(tǒng)規(guī)范可W要求編碼端和解碼端同時使用特定的SEI 報文，此外也可W規(guī)定接收端對所述特定SEI報文的處理過程。
[0049] 編碼圖片是圖片的編碼呈現(xiàn)。比264/AVC編碼圖片包括圖片解碼所需的VCLNAL 單元。在H. 264/AVC中，編碼圖片可W是基礎(chǔ)編碼圖片或冗余編碼圖片?；A(chǔ)編碼圖片用 于有效比特流的解碼過程中，而冗余編碼圖片是一種冗余呈現(xiàn)，其僅在基礎(chǔ)編碼圖片無法 成功解碼時進(jìn)行解碼。HEVC草案中沒有對冗余編碼圖片進(jìn)行規(guī)范。
[0050] 在H. 264/AVC中，接入單元還可W包括輔助編碼圖片，所述輔助編碼圖片對基礎(chǔ) 編碼圖片進(jìn)行補充，可用于顯示等過程中。輔助編碼圖片可作為阿爾法通道或阿爾法平面 等指定解碼圖片樣本的透明度。阿爾法通道或平面可用于層級構(gòu)造或擅染系統(tǒng)，通過將至 少部分透明的圖片進(jìn)行疊加形成輸出圖片。輔助編碼圖片具有與單色冗余編碼圖片相同的 語法和語義。在H. 264/AVC中，輔助編碼圖片具有與基礎(chǔ)編碼圖片相同數(shù)量的宏塊。
[0051] 編碼視頻序列指的是按解碼順序從IDR接入單元（包括該IDR單元）到下一IDR 接入單元（不包括該IDR單元）或比特流末端中出現(xiàn)較早的一個的連續(xù)接入單元序列。 陽0巧圖片組（G(P)及其特點可定義如下。不管之前的圖片是否解碼，GOP都能解碼。開 放GOP是指，當(dāng)從開放GOP的組內(nèi)初始圖片進(jìn)行解碼時，在輸出順序中先于組內(nèi)初始圖片的 圖片可能不能正確解碼的一組圖片。也就是說，開放GOP的圖片（在帖間預(yù)測時）可能指 屬于前一GOP的圖片。比264/AVC解碼器能從H. 264/AVC比特流中的恢復(fù)點CEI報文中識 別開放GOP的組內(nèi)初始圖片。由于其編碼切片中使用特定的NAL單元類型，即CRANAL單 元，肥VC解碼器能識別開放GOP的組內(nèi)初始圖片。閉合GOP是指，當(dāng)從閉合GOP的組內(nèi)初始 圖片進(jìn)行解碼時，所有圖片都能正確解碼的一組圖片。也就是說，閉合GOP的任何圖片都不 屬于之前的G0P。在H. 264/AVC和肥VC中，閉合GOP從IDR接入單元開始。因此，閉合GOP 結(jié)構(gòu)具有比開放GOP結(jié)構(gòu)更好的誤差彈性，但也可能會降低壓縮效率。由于參考圖片的選 擇更為靈活，開放GOP結(jié)構(gòu)的壓縮效率可能更高。
[0053]比264/AVC和肥VC的比特流語法指示某一圖片是否作為其他圖片的帖間預(yù)測的 參考圖片。在H.264/AVC和肥VC中，任一編碼類型化P，B)的圖片都能作為參考圖片或非 參考圖片。NAL單元頭部指示NAL單元的類型W及NAL單元中包含的編碼切片是否為參考 圖片或非參考圖片的一部分。
[0054] 很多混合型視頻編解碼器，包括H. 264/AVC和肥VC，分兩個階段對視頻信息進(jìn)行 編碼。第一階段對某一圖片區(qū)域或"塊"的像素或樣本值進(jìn)行預(yù)測。運些像素或樣本值能 通過運動補償?shù)葯C制等進(jìn)行預(yù)測，運設(shè)及找到并指示之前已編碼的一個與正被編碼的塊緊 密對應(yīng)的視頻帖的區(qū)域。同時，像素或樣本值還能通過找到并指示空間區(qū)域關(guān)系的空間機 制進(jìn)行預(yù)測。
[0055] 利用已編碼圖像的圖像信息的預(yù)測方式也可稱為帖間預(yù)測，還可稱為時間預(yù)測和 運動補償。利用本圖像W內(nèi)的圖像信息的預(yù)測方式也可稱為帖內(nèi)預(yù)測。
[0056]第二階段對所預(yù)測的像素或樣本塊和原始像素或樣本塊的誤差進(jìn)行編碼。運可通 過使用指定的變換方式對像素或樣本塊的差值進(jìn)行變換來實現(xiàn)。運種變換可W是離散余弦 變換值CT)或其變體。對差值進(jìn)行變換后，對經(jīng)過變換的差值進(jìn)行量化和賭編碼。
[0057]通過改變量化過程的保真度，編碼器能控制像素或樣本呈現(xiàn)精度（即圖片的視覺 質(zhì)量）和得到的編碼視頻呈現(xiàn)的大小（即文件大小或傳輸比特率）之間的平衡。
[0058]解碼器通過與編碼器使用的用來形成像素或樣本塊的預(yù)測呈現(xiàn)預(yù)測機制相似的 預(yù)測機制（使用編碼器生成的存儲在壓縮圖像中的運動或空間信息）及預(yù)測誤差解碼（預(yù) 測誤差編碼的逆操作，目的是恢復(fù)空域的量化預(yù)測誤差信號）來預(yù)構(gòu)建輸出視頻。
[0059]經(jīng)過像素或樣本預(yù)測和誤差解碼過程后，解碼器將預(yù)測及預(yù)測誤差信號（像素或 樣本值）組合形成輸出視頻帖。
[0060] 在將輸出視頻傳遞給顯示和/或存儲作為視頻序列中后續(xù)圖片的預(yù)測參考之前， 解碼器（及編碼器）還可W使用其他濾波過程來提高輸出視頻的質(zhì)量。
[0061]視頻編碼器的巧偉淑例
[0062] 在對圖片或視頻帖中的塊或像素進(jìn)行編碼時，可通過帖間預(yù)測或帖內(nèi)預(yù)測基于一 個或多個已編碼參考塊生成預(yù)測塊。預(yù)測塊可為原始塊的預(yù)估版本。通過從預(yù)測塊中減去 原始塊或相反的操作，可生成駐留塊，駐留塊表示預(yù)測殘留或誤差。由于表示預(yù)測殘留所需 的數(shù)據(jù)量通常小于表示原始塊所需的數(shù)據(jù)量，可對駐留塊進(jìn)行編碼來實現(xiàn)更高壓縮率。
[0063] 然后，空域駐留塊的駐留值可轉(zhuǎn)換為頻域的變換系數(shù)。運種轉(zhuǎn)換可通過二維變換 實現(xiàn)，如與離散余弦變換值CT)高度類似的變換方式。在變換矩陣中，低索引變換系數(shù)（如 位于左上方區(qū)域）可與大空間特征值對應(yīng)，具有較大的幅值，而高索引變換系數(shù)（如位于右 下方區(qū)域）可與小空間特征值對應(yīng)，具有較小的幅值。進(jìn)一步地，可在變換舉矩陣采用包括 量化系數(shù)的量化矩陣（QM)，從而將所有變換系數(shù)轉(zhuǎn)化為量化的變換系數(shù)。通過量化，可降低 變換系數(shù)的幅度或幅值。某些高索引變換系數(shù)可降低至零，然后就可在后續(xù)的掃描和編碼 過程中直接跳過。
[0064] 較佳的視頻編碼器10的一部分如圖1所示，包括變換單元或模塊12、量化模塊14 及賭編碼器或編碼模塊16。盡管圖1沒有示出，但應(yīng)理解視頻編碼器10還可包括預(yù)測模 塊、解量化模塊、重建模塊等其他模塊。運行時，視頻編碼器10可獲取源圖片或視頻帖，所 述源圖片或視頻帖可包含多個視頻塊。為描述清晰，W-個源視頻塊為例進(jìn)行說明。要編 碼該視頻塊，可先生成預(yù)測塊，作為對該視頻塊的預(yù)估。如前所述，預(yù)測塊可由預(yù)測模塊通 過帖間或帖內(nèi)預(yù)測生成。然后，可計算源視頻塊和預(yù)測塊之間的差值生成駐留塊。變換模 塊12可將駐留塊轉(zhuǎn)變?yōu)樽儞Q系數(shù)。在變換過程中，將包括大特征值和小特征值的空域駐留 像素值轉(zhuǎn)換為頻域的變換系數(shù)，包括高頻頻段和低頻頻段。然后，量化模塊可采用量化矩陣 QM對變換系數(shù)進(jìn)行量化，生成量化的變換系數(shù)。進(jìn)而，量化的變換系數(shù)可由賭編碼模塊進(jìn)行 編碼，最后作為比特流的一部分從視頻編碼器10傳送出去。 陽0化]解碼器可W類似的方式運行，但至少部分是方向相反的。
[0066] 帖內(nèi)預(yù)測橫式編碼
[0067] 肥VC的帖內(nèi)預(yù)測模式編碼在IE邸文件《肥VC標(biāo)準(zhǔn)的帖內(nèi)編碼》中有詳細(xì)描述，該 文可使用數(shù)字對象標(biāo)識"10. 1109/TCSVT. 2012. 2221525"在IE邸網(wǎng)站進(jìn)行訪問。該IE邸 文件的全部內(nèi)容都通過引用結(jié)合在本申請中。
[0068] 肥VC帖內(nèi)編碼所采用的編碼結(jié)構(gòu)嚴(yán)格遵從編解碼的整體架構(gòu)。圖像被拆分為編 碼單元（CU)、預(yù)測單元（PU)及變換單元（TU)。CU表示用于區(qū)分帖內(nèi)和帖間編碼塊的四分 樹拆分區(qū)域。CU內(nèi)部可定義多個不重疊的PU,每個PU指定一個具有獨立預(yù)測參數(shù)的區(qū)域。 CU又進(jìn)一步拆分為變換單元的四分樹，每個變換單元TU有可能通過變換TU的大小進(jìn)行駐 留編碼。
[0069] 在平面模式（模式0)和DC模式（模式1)的帖內(nèi)預(yù)測模式基礎(chǔ)上，肥VC的一個草 案中引入了 33種角度預(yù)測模式（分別為模式2-34)。通過基于列表的方式，模式數(shù)量（35) 的增加實現(xiàn)了帖內(nèi)預(yù)測模式的高效編碼。針對每個預(yù)測單元，確定最可能的3種模式，用 運些模式構(gòu)建最可能模式（MPM)列表。最可能模式從相鄰PU,更具體地，左方和上方的相 鄰PU,的帖內(nèi)預(yù)測模式中進(jìn)行選擇。為避免列表項的重復(fù)，將左方和上方的相鄰PU的預(yù)測 模式進(jìn)行對比。如果兩者模式相同并等于平面或DC模式，則列表按平面、DC及角度（模式 26-垂直）的順序進(jìn)行構(gòu)建。如果兩者模式相同并等于某角度模式，則列表按該角度模式及 與其最接近的兩種角度模式進(jìn)行構(gòu)建。如果左方和上方的相鄰PU的帖內(nèi)預(yù)測模式不同，貝U 在列表中插入運兩種模式，并將第S種模式按上述順序設(shè)為平面、DC或角度（模式26-垂 直）。
[0070] 確定當(dāng)前PU的預(yù)測模式后，編碼器判斷MPM列表中是否存在該預(yù)測模式。如果存 在，僅指示列表中的索引號。否則，在進(jìn)行固定長度的二值化及旁路編碼處理后，再對當(dāng)前 預(yù)測模式進(jìn)行指示。MPM列表W外還有32種模式，運32種模式能用5個比特來適當(dāng)表示。 亮度帖內(nèi)預(yù)測模式的編碼由S種語法元素組成，分別是prev.intra.luma.pred.flag、mpm. idx和rem.intra.luma.pred.mode。其中，語法元素prev.intra.luma.pred.flag表示當(dāng) 前預(yù)測模式是否在MPM列表中。當(dāng)該標(biāo)志符等于0時，對語法元素rem.intra.luma.pred. mode進(jìn)行編碼，指示預(yù)測模式。當(dāng)該標(biāo)志符等于1時，對語法元素mpm.idx進(jìn)行編碼，由此 解碼器能通過構(gòu)建MPM列表得到當(dāng)前帖內(nèi)預(yù)測模式。
[0071] 盡管帖內(nèi)預(yù)測模式的增加能顯著改善性能，它同時也增加了率失真（RD)優(yōu)化過 程的復(fù)雜性。W下描述官方肥VC測試模式（HM) 6.0參考軟件所使用的編碼算法。
[0072] 歷軟件的編碼算法包括兩個階段。第一階段，由模式粗判決過程選擇N個最可能 候選模式。在此過程中，所有候選模式（35種模式）都通過W下開銷函數(shù)進(jìn)行評估： 陽07；3] C = Dwad+入-Rmode
[0074] 其中，Dh。康示PU經(jīng)哈達(dá)瑪化damard變換的駐留信號的絕對總量，Rmede表示預(yù)測 模式的比特數(shù)量。
[00巧]第二階段，在所述N個最佳后續(xù)模式中比較整體畑開銷，其中整體畑開銷包含用 于實際編碼過程的重建駐留信號。選擇RD開銷最低的預(yù)測模式作為最終的預(yù)測模式。其 中，N隨PU大小不同而不同。對4X4、8X8、16X16、32X32 及 64X64 的PU，N分別設(shè)為 {8, 8, 3, 3, 3}，W對預(yù)測和駐留數(shù)據(jù)優(yōu)化最重要的小塊尺寸進(jìn)行更徹底的捜索。注意，在本 階段可假定TU的大小等于可能的最大值，而不是允許進(jìn)行TU拆分，W降低復(fù)雜性。第二階 段后，采用所述最佳預(yù)測模式確定經(jīng)RD優(yōu)化的TU結(jié)構(gòu)。
[0076] 基于肥VC的S維（3D)視頻編碼 陽077] W下MPEG文件（MPEG編號m27310)的全部內(nèi)容都通過引用結(jié)合在本申請中。 JCT3V-B1005中由G.Tech、K.We即er、Y.Chen和S.Yea合作的《3D-HEVC測試模式2》，出版 于2012年12月23日中國上海。該文件可通過W下抓L地址進(jìn)行訪問：http://phenix. it-sudo曰ris.eu/ict3v/docenduser/currentdocument,php?id= 460〇
[0078] 當(dāng)前，聯(lián)合協(xié)作組的3D視頻擴展開發(fā)團隊（JCT-3V)正在開發(fā)幾個3D視頻編碼標(biāo) 準(zhǔn)，該團隊是IS0/IECMPEG和口U-TVCEG的聯(lián)合工作組。其目的在于視頻紋理和深度數(shù) 據(jù)的高效壓縮，W支持更大范圍的具有連續(xù)視覺適應(yīng)性的高級應(yīng)用和顯示。 陽079] 3D視頻要支持3D視頻應(yīng)用，其中3D顯示系統(tǒng)提供對可視畫面的3D深度感知。3D 顯示系統(tǒng)種類很多，包括需要專用眼鏡的傳統(tǒng)立體顯示系統(tǒng)，到更精良的不需要眼鏡的多 視自動立體影像顯示系統(tǒng)，再到提供多視角連續(xù)影像的全息顯示系統(tǒng)。在更高級的顯示系 統(tǒng)中，最好甚至必需采用自動的方式或通過與最終用戶的互動對深度感知進(jìn)行調(diào)整。因此， 由于3D效果的實現(xiàn)主要通過產(chǎn)生多個完整的視頻樣本陣列來形成視點依賴型圖片，相對 傳統(tǒng)立體顯示系統(tǒng)，數(shù)據(jù)吞吐量要大得多。運就給呈現(xiàn)格式和壓縮帶來了新的挑戰(zhàn)，而呈現(xiàn) 格式和壓縮應(yīng)通過盡可能少的比特來提供高質(zhì)量數(shù)據(jù)。實現(xiàn)運一目的的一種重要方法是在 視頻紋理中使用深度或不等性數(shù)據(jù)，然后就可W通過稱為基于圖像的擅染的合成方法用其 生成更多的視圖。在高級方法中，還能進(jìn)一步利用深度圖及其與視頻紋理的連貫性，對整體 3D視頻進(jìn)行更精簡的呈現(xiàn)。
[0080] JCT-3V團隊正進(jìn)行采用肥VC編碼技術(shù)的兩個3D視頻方案的開