用于不同顏色取樣格式和區(qū)塊尺寸的量化矩陣的制作方法
【專利摘要】提供了一種視頻編碼或解碼方法，所述方法可操作用于根據(jù)所選擇的量化步長和數(shù)據(jù)矩陣，通過量化視頻數(shù)據(jù)來生成量化的空間頻率數(shù)據(jù)的區(qū)塊，所述數(shù)據(jù)矩陣修改所述量化步長，以供在取樣的有序區(qū)塊內(nèi)的各個(gè)不同區(qū)塊位置中使用，所述方法相對(duì)于至少兩個(gè)不同的色度子取樣格式進(jìn)行操作；包括對(duì)于至少一個(gè)色度子取樣格式，相對(duì)于為色度子取樣格式的一個(gè)參考格式限定的一個(gè)或多個(gè)參考量化矩陣，限定一個(gè)或多個(gè)量化矩陣作為一個(gè)或多個(gè)預(yù)定修改。
【專利說明】用于不同顏色取樣格式和區(qū)塊尺寸的量化矩陣
[0001] 交叉引用相關(guān)申請(qǐng)
[0002] 本申請(qǐng)要求分別于更早提交日期2012年6月22日以及2012年4月26日在英國 知識(shí)產(chǎn)權(quán)局提交的GB1211069. 8以及GB 1207459. 7的權(quán)益，上述申請(qǐng)的全部內(nèi)容通過引用 被結(jié)合在本文中。

【技術(shù)領(lǐng)域】
[0003] 本公開有關(guān)數(shù)據(jù)編碼及解碼。

【背景技術(shù)】
[0004] 文中所提出的「【背景技術(shù)】」描述為了一般性地呈現(xiàn)本公開的背景的目的。目前具 名的發(fā)明人的工作（達(dá)其在此先前技術(shù)段落中所描述的程度、以及其無法另合格為申請(qǐng)時(shí) 的習(xí)知技術(shù)的描述的形態(tài)）不被明確地或暗示性地承認(rèn)為對(duì)抗本公開的習(xí)知技術(shù)。
[0005] 有數(shù)種視頻數(shù)據(jù)編碼及解碼系統(tǒng)，其涉及將視頻數(shù)據(jù)變換為頻域表示、將頻域系 數(shù)量化及接著將某形式的熵（entropy)編碼應(yīng)用至已量化的系數(shù)。如此可獲得視頻數(shù)據(jù)的 壓縮。相應(yīng)的解碼或解壓縮技術(shù)被應(yīng)用以恢復(fù)原始視頻數(shù)據(jù)的已重建版本。
[0006] 諸如那些于H. 264/MPEG-4高階視頻編碼（AVC)中所使用的當(dāng)前的視頻編解碼器 (編碼器-解碼器）主要藉由僅將介于連續(xù)視頻幀之間的差異編碼來獲得數(shù)據(jù)壓縮。這些 編解碼器使用所謂宏區(qū)塊的規(guī)律數(shù)組，其每個(gè)被使用為與先前視頻幀中的相應(yīng)宏區(qū)塊的比 較區(qū)，且宏區(qū)塊內(nèi)的圖像區(qū)接著依據(jù)介于視頻序列中的相應(yīng)的當(dāng)前與先前宏區(qū)塊間、或者 介于視頻序列的單一幀內(nèi)的相鄰宏區(qū)塊間所發(fā)現(xiàn)的移動(dòng)等級(jí)（level)而被編碼。
[0007] 高效率視頻編碼（HEVC)，亦已知為 H. 265 或 MPEG-H Part 2,是 H. 264/MPEG-4AVC 的一種已提議的后繼者。期望HEVC得以增進(jìn)質(zhì)量及加倍數(shù)據(jù)壓縮比（相較于H. 264)，并期 望其可縮放從128X96至7680X4320像素分辨率，約略等于從128kbit/s至800Mbit/s的 比特率。
[0008] 于HEVC中，一種所謂的4 :2 :0區(qū)塊結(jié)構(gòu)被提議給消費(fèi)者設(shè)備，其中各色度 (chroma)頻道中所使用的數(shù)據(jù)的量為亮度（luma)頻道中所使用的四分之一。這是因?yàn)橹?觀地人類對(duì)于亮度變化較顏色變化更為敏感，而因此得以使用較大的壓縮及/或較少的數(shù) 據(jù)于顏色頻道中而不會(huì)有主觀的質(zhì)量喪失。
[0009] HEVC以一種基于編碼單元（CU，其為可變尺寸結(jié)構(gòu)）的更有彈性技術(shù)來取代現(xiàn)存 H. 264及MPEG標(biāo)準(zhǔn)中所發(fā)現(xiàn)的宏區(qū)塊。
[0010] 因此，當(dāng)編碼視頻幀中的圖像數(shù)據(jù)時(shí)，⑶尺寸可響應(yīng)于明顯的圖像復(fù)雜度或檢測 的移動(dòng)等級(jí)而被選擇，以取代使用均勻分布的宏區(qū)塊。結(jié)果，可獲得明顯較大的壓縮于具有 少量移動(dòng)于幀之間的區(qū)中以及具有少量變化于幀之內(nèi)的區(qū)中，而同時(shí)可保留較佳的圖像質(zhì) 量于高幀間移動(dòng)或圖像復(fù)雜度的區(qū)域中。
[0011] 各⑶含有：圖像內(nèi)或圖像間預(yù)測類型的任一者的一個(gè)以上可變區(qū)塊尺寸的預(yù)測 單元（PU)、及其含有針對(duì)空間區(qū)塊變換及量化的系數(shù)的一個(gè)以上變換單元（TU)。
[0012] 再者，PU和TU區(qū)塊被提供給三個(gè)頻道的每一個(gè)：亮度（Y)，其為亮度或亮度頻道、 且其可被視為灰階頻道；及兩顏色差異或色彩（色度）頻道Cb和Cr。這些頻道提供亮度 頻道的灰階圖像的顏色。術(shù)語Y、亮度（luminance)及亮度被交替地使用于本說明書中，而 類似的術(shù)語Cb和Cr、色彩（chrominance)及色度被適當(dāng)?shù)亟惶媸褂?，注意其色彩或色度??？杀挥糜贑r和Cb的一者或兩者；而當(dāng)討論特定色彩頻道時(shí)其將由術(shù)語Cb或Cr來識(shí)別。
[0013] 一般而言，PU被視為頻道獨(dú)立的，除了其PU具有亮度部分及色度部分。一般而言， 此表示形成各頻道的PU的部分的樣本代表圖像的相同區(qū)，以致有固定的關(guān)系介于三個(gè)頻 道間的PU之間。例如，針對(duì)4 :2 :0視頻，亮度之8X8PU永遠(yuǎn)具有色度的相應(yīng)的4X4PU，其 TO的色度部分代表如亮度部分的相同區(qū)域，但由于4 :2 :0視頻中相較于亮度數(shù)據(jù)的4 :2 :0 色度數(shù)據(jù)之次取樣本質(zhì)而含有較少數(shù)的像素。兩色度頻道共享預(yù)測內(nèi)信息；而三個(gè)頻道共 享預(yù)測間信息。類似地，TU結(jié)構(gòu)亦具有固定關(guān)系于三個(gè)頻道之間。
[0014] 然而，針對(duì)專業(yè)的廣播及數(shù)字劇院設(shè)備，希望具有較少的壓縮（或較多的信息）于 色度頻道中，且此可影響當(dāng)前及已提議的HEVC處理將如何運(yùn)作。


【發(fā)明內(nèi)容】

[0015] 本公開應(yīng)對(duì)或減緩由此處理所發(fā)生的問題。
[0016] 本公開的形態(tài)及特征限定于后附申請(qǐng)專利范圍中。
[0017] 應(yīng)理解之前的一般性描述及之后的詳細(xì)描述為本技術(shù)的范例性的，而非限制性 的。

【專利附圖】

【附圖說明】
[0018] 本公開的更完整的理解以及許多其伴隨的優(yōu)點(diǎn)將隨著其藉由參考以下的詳細(xì)描 述（當(dāng)配合后附圖形而考慮時(shí)）變得更為了解而被輕易地獲得，其中 ：
[0019] 圖1概略地闡明一種使用視頻數(shù)據(jù)壓縮及解壓縮的音頻/視頻（A/V)數(shù)據(jù)傳輸及 接收系統(tǒng)；
[0020] 圖2概略地闡明一種使用視頻數(shù)據(jù)解壓縮的視頻顯示系統(tǒng)；
[0021] 圖3概略地闡明一種使用視頻數(shù)據(jù)壓縮及解壓縮的音頻/視頻儲(chǔ)存系統(tǒng)；
[0022] 圖4概略地闡明一種使用視頻數(shù)據(jù)解壓縮的視頻相機(jī)；
[0023] 圖5提供視頻數(shù)據(jù)壓縮及解壓縮設(shè)備的概略概視圖；
[0024] 圖6概略地闡明預(yù)測圖像的產(chǎn)生；
[0025] 圖7概略地闡明最大編碼單元（IXU);
[0026] 圖8概略地闡明一組四個(gè)編碼單元（CU);
[0027] 圖9和10概略地闡明將圖8的編碼單元次分割為較小的編碼單元；
[0028] 圖11概略地闡明預(yù)測單元（PU)的數(shù)組；
[0029] 圖12概略地闡明變換單元（TU)的數(shù)組；
[0030] 圖13概略地闡明部分編碼圖像；
[0031] 圖14概略地闡明一組可能的預(yù)測內(nèi)方向；
[0032] 圖15概略地闡明一組預(yù)測模式；
[0033] 圖16概略地闡明筆直對(duì)角掃描；
[0034] 圖17概略地闡明視頻壓縮設(shè)備；
[0035] 圖18a和18b概略地闡明可能的區(qū)塊尺寸；
[0036] 圖19概略地闡明來自色度及亮度區(qū)塊的共置信息的使用；
[0037] 圖20概略地闡明一種情況，其中來自一色度頻道的共置信息被用于另一色度頻 道；
[0038] 圖21概略地闡明用于LM-CHR0MA模式的像素；
[0039] 圖22概略地闡明一組亮度預(yù)測方向；
[0040] 圖23概略地闡明圖22的方向，如應(yīng)用于水平上稀疏的色度頻道；
[0041] 圖24概略地闡明映射至矩形色度像素?cái)?shù)組的圖22的方向；
[0042] 圖25-28概略地闡明亮度及色度像素內(nèi)插；
[0043] 圖29a和29b各自概略地闡明4 :2 :0及4 :2 :2的量化參數(shù)表；
[0044] 圖29c概略地闡明圖29a和29b的量化參數(shù)表的變化；
[0045] 圖30和31概略地闡明量化變異表；以及
[0046] 圖32到34概略地闡明修改量化矩陣（縮放列表）的方法。

【具體實(shí)施方式】
[0047] 現(xiàn)在參考圖形，圖1-4被提供以給出利用壓縮及/或解壓縮設(shè)備的設(shè)備或系統(tǒng)的 概略圖標(biāo)，以供配合本技術(shù)的實(shí)施例而描述于下。
[0048] 所有將描述于下的數(shù)據(jù)壓縮及/或解壓縮可被實(shí)施以硬件、以運(yùn)作在諸如通用計(jì) 算機(jī)等通用數(shù)據(jù)處理設(shè)備上的軟件，當(dāng)成諸如特定應(yīng)用集成電路（ASIC)或場可編程門陣 列（FPGA)等可編程硬件或當(dāng)成這些的組合。于其中實(shí)施例藉由軟件及/或固件來實(shí)施的 情況下，應(yīng)理解此類軟件及/或固件、及藉以儲(chǔ)存或提供此類軟件及/或固件的非瞬時(shí)數(shù)據(jù) 儲(chǔ)存媒體被視為本技術(shù)的實(shí)施例。
[0049] 圖1概略地闡明一種使用視頻數(shù)據(jù)壓縮及解壓縮的音頻/視頻數(shù)據(jù)傳輸及接收系 統(tǒng)。
[0050] 輸入音頻/視頻信號(hào)10被供應(yīng)至視頻數(shù)據(jù)壓縮設(shè)備20,其壓縮音頻/視頻信號(hào) 10的至少視頻成分以供傳輸沿著傳輸路由30,諸如纜線、光纖、無線鏈路等等。已壓縮信號(hào) 由解壓縮設(shè)備40所處理以提供輸出音頻/視頻信號(hào)50。針對(duì)返回路徑，壓縮設(shè)備60壓縮 音頻/視頻以供傳輸沿著傳輸路由30而至解壓縮設(shè)備70。
[0051] 壓縮設(shè)備20及解壓縮設(shè)備70可因此形成傳輸鏈路的一節(jié)點(diǎn)。解壓縮設(shè)備40及 壓縮設(shè)備60可形成傳輸鏈路的另一節(jié)點(diǎn)。當(dāng)然，于其中傳輸鏈路為單向的例子中，僅有節(jié) 點(diǎn)之一需要壓縮設(shè)備而另一節(jié)點(diǎn)僅需要解壓縮設(shè)備。
[0052] 圖2概略地闡明一種使用視頻數(shù)據(jù)解壓縮的視頻顯示系統(tǒng)。特別地，已壓縮音頻/ 視頻信號(hào)100由解壓縮設(shè)備110所處理以提供其可被顯示于顯示器120上的解壓縮信號(hào)。 解壓縮設(shè)備110可被實(shí)施為顯示器120的部分，例如被提供于與顯示設(shè)備相同的外殼內(nèi)。另 一方面，解壓縮設(shè)備110可被提供為（例如）所謂得機(jī)頂盒（STB)，注意：用詞「機(jī)上」并非 暗示機(jī)盒需設(shè)置相對(duì)于顯示器120之任何特定方位或位置；其僅為用以指示可連接至顯示 以當(dāng)作周邊裝置之裝置的本技術(shù)中所使用的術(shù)語。
[0053] 圖3概略地闡明一種使用視頻數(shù)據(jù)壓縮及解壓縮的音頻/視頻儲(chǔ)存系統(tǒng)。輸入音 頻/視頻信號(hào)130被供應(yīng)至壓縮設(shè)備140,其產(chǎn)生已壓縮信號(hào)以供由儲(chǔ)存裝置150所儲(chǔ)存， 諸如磁盤裝置、光盤裝置、磁帶裝置、固態(tài)儲(chǔ)存裝置（如半導(dǎo)體內(nèi)存或其他儲(chǔ)存裝置）。為了 播放，已壓縮數(shù)據(jù)被讀取自儲(chǔ)存裝置150并傳遞至解壓縮設(shè)備160以供解壓縮，以提供輸出 音頻/視頻信號(hào)170。
[0054] 應(yīng)理解：已壓縮或已編碼信號(hào)、及儲(chǔ)存該信號(hào)之儲(chǔ)存媒體被視為本技術(shù)的實(shí)施例。
[0055] 圖4概略地闡明一種使用視頻數(shù)據(jù)解壓縮的視頻相機(jī)。于圖4中，圖像捕獲設(shè)備 180,諸如電荷耦合裝置（CCD)圖像電感器及相關(guān)的控制和讀出電子電路，產(chǎn)生視頻信號(hào)， 其被傳遞至壓縮設(shè)備190。一麥克風(fēng)（或復(fù)數(shù)麥克風(fēng)）200產(chǎn)生一音頻信號(hào)以供被傳遞至壓 縮設(shè)備190。壓縮設(shè)備190產(chǎn)生已壓縮音頻/視頻信號(hào)210以便被儲(chǔ)存及/或傳輸（通常 顯示為儲(chǔ)存及/或傳輸220)。
[0056] 將描述于下的技術(shù)主要有關(guān)于視頻數(shù)據(jù)壓縮及解壓縮。應(yīng)理解：許多現(xiàn)有的技術(shù) 可配合將被描述的視頻數(shù)據(jù)壓縮技術(shù)而被用于音頻數(shù)據(jù)壓縮，以產(chǎn)生已壓縮音頻/視頻信 號(hào)。因此，將不提供音頻數(shù)據(jù)壓縮之各自的討論。亦應(yīng)理解：與視頻數(shù)據(jù)（特別是廣播質(zhì)量 視頻數(shù)據(jù)）相關(guān)的數(shù)據(jù)率一般是極高于與音頻數(shù)據(jù)相關(guān)的數(shù)據(jù)率（無論已壓縮或未壓縮）。 因此應(yīng)理解：未壓縮音頻數(shù)據(jù)可伴隨已壓縮視頻數(shù)據(jù)以形成已壓縮音頻/視頻信號(hào)。應(yīng)進(jìn) 一步理解：雖然目前的范例（圖1-4中所顯示者）有關(guān)音頻/視頻數(shù)據(jù)，但以下將描述的技 術(shù)可發(fā)現(xiàn)其應(yīng)用于僅處理（亦即，壓縮、解壓縮、儲(chǔ)存、顯示及/或傳輸）視頻數(shù)據(jù)的系統(tǒng)。 換言之，實(shí)施例可應(yīng)用于視頻數(shù)據(jù)壓縮而不一定具有任何相關(guān)的音頻數(shù)據(jù)處置。
[0057] 圖5提供視頻數(shù)據(jù)壓縮及解壓縮設(shè)備的概略概視圖。
[0058] 控制器343控制設(shè)備的整體操作及；特別當(dāng)針對(duì)壓縮模式時(shí)，控制試驗(yàn)編碼程序 (將描述于下）以選擇諸如CU、PU和TU區(qū)塊尺寸的操作的各種模式。
[0059] 輸入視頻信號(hào)300的連續(xù)圖像被供應(yīng)至相加器310及圖像預(yù)測器320。圖像預(yù)測 器320將參考圖6而被更詳細(xì)地描述于下。相加器310事實(shí)上執(zhí)行相減（負(fù)相加）操作， 其中其輸入視頻信號(hào)300于「+」輸入上及圖像預(yù)測器320的輸出于「-」輸入上，以致從輸 入圖像減去預(yù)測圖像。結(jié)果為產(chǎn)生代表介于實(shí)際與投影圖像間的差異的所謂殘留圖像信號(hào) 330。
[0060] 殘留圖像信號(hào)為何被產(chǎn)生的一原因說明如下。將描述的數(shù)據(jù)編碼方案（亦即將應(yīng) 用于殘留圖像信號(hào)的技術(shù)）傾向于更有效率地作用在當(dāng)待編碼的圖像中有較少「能量」時(shí)。 于此，術(shù)語「有效率地」指的是少量已編碼數(shù)據(jù)的產(chǎn)生；針對(duì)特定圖像質(zhì)量等級(jí)，希望產(chǎn)生 實(shí)際上盡可能少的數(shù)據(jù)。殘留圖像中所謂「能量」是有關(guān)殘留圖像中所含有的信息量。假 如預(yù)測圖像將全同于實(shí)際圖像，則兩者之間的差異（亦即，殘留圖像）將含有零信息（零能 量）且將極易于編碼成少量的已編碼數(shù)據(jù)。通常，假如可使預(yù)測程序合理地作用良好，則預(yù) 期殘留圖像數(shù)據(jù)將含有較輸入圖像更少的信息（較少能量）而因此將較易于編碼成少量的 已編碼數(shù)據(jù)。
[0061] 殘留圖像信號(hào)330被耦合至變換單元340,其產(chǎn)生殘留圖像數(shù)據(jù)的離散余弦變換 (DCT)表示。DCT技術(shù)本身是眾所周知的且將不會(huì)詳細(xì)地描述于此。然而，仍有將被更詳細(xì) 地描述于下的本設(shè)備中所使用的技術(shù)的形態(tài)，特別是有關(guān)于可應(yīng)用DCT操作的不同區(qū)塊的 數(shù)據(jù)的選擇。這些將參考圖7-12而被描述于下。
[0062] 變換單元340的輸出（亦即，針對(duì)圖像數(shù)據(jù)的各變換區(qū)塊的一組DCT系數(shù)）被供 應(yīng)至量化器350。各種量化技術(shù)為視頻數(shù)據(jù)壓縮之領(lǐng)域中所已知的，范圍涵蓋從藉由量化標(biāo) 度因子的簡單相乘直至復(fù)雜查找表之應(yīng)用，于量化參數(shù)的控制下。一般目標(biāo)是兩倍。首先， 量化程序減少已變換數(shù)據(jù)之可能值的數(shù)目。其次，量化程序可增加其已變換數(shù)據(jù)為零的值 的可能性。這兩者可使得熵編碼程序（將描述于下）更有效率地作用于產(chǎn)生少量的已壓縮 視頻數(shù)據(jù)。
[0063] 由掃描單元360施加一數(shù)據(jù)掃描程序。掃描程序的目的為重新排列量化的已變換 數(shù)據(jù)以將盡可能多的非零已量化已變換系數(shù)收集在一起，而當(dāng)然因而將盡可能多的零值系 數(shù)收集在一起收集。這些特征可容許有效率地施加所謂的運(yùn)行長度編碼或類似技術(shù)。因此， 掃描程序涉及從已量化已變換數(shù)據(jù)選擇系數(shù)，且特別是從相應(yīng)于一已依據(jù)「掃描順序」而被 變換并量化的圖像數(shù)據(jù)的區(qū)塊的系數(shù)的區(qū)塊，以致：(a)所有系數(shù)當(dāng)作掃描的部分而被選 擇一次；及（b)掃描常提供所欲的重新排列。一種可常提供有用結(jié)果的范例掃描順序是一 種所謂的筆直對(duì)角掃描順序。
[0064] 已掃描系數(shù)被接著傳遞至熵編碼器（EE) 370。再次地，可使用各種類型的熵編碼。 兩個(gè)范例是所謂的CABAC (背景適應(yīng)二進(jìn)制算術(shù)編碼）系統(tǒng)的變異及所謂的CAVLC(背景適 應(yīng)可變長度編碼）系統(tǒng)的變異。一般而言，CABAC被視為提供較佳的效率，且于某些研究中 已顯示出針對(duì)相當(dāng)圖像質(zhì)量（相較于CAVLC)之已編碼輸出數(shù)據(jù)的量提供10-20%的減少。 然而，CAVLC被視為代表相較于CABAC之復(fù)雜度更低甚多的等級(jí)（依照其實(shí)施方式）。注 意：掃描程序及熵編碼程序被顯示為分離的程序，但事實(shí)上可被結(jié)合或一起處理。亦即，數(shù) 據(jù)之讀入熵編碼器可發(fā)生以掃描順序。相應(yīng)的考慮適于以下將描述的各自的反向程序。注 意：本案申請(qǐng)時(shí)于考慮下的當(dāng)前的HEVC文件不再包括CAVLC系數(shù)編碼器之可能性。
[0065] 熵編碼器370的輸出，連同額外數(shù)據(jù)（以上所提及/或以下所討論），例如限定其 中預(yù)測器320產(chǎn)生預(yù)測圖像的方式，提供已壓縮的輸出視頻信號(hào)380。
[0066] 然而，亦提供返回路徑，因?yàn)轭A(yù)測器320本身的操作取決于已壓縮輸出數(shù)據(jù)的解 壓縮版本。
[0067] 此特征之原因如下。于適當(dāng)階段，在解壓縮程序（以下將描述）中，產(chǎn)生殘留數(shù)據(jù) 的解壓縮版本。此已解壓縮的殘留數(shù)據(jù)需被加至預(yù)測圖像以產(chǎn)生輸出圖像（因?yàn)樵細(xì)埩?數(shù)據(jù)為介于輸入圖像與預(yù)測圖像之間的差異）。為了使此程序是相當(dāng)?shù)模缃橛趬嚎s側(cè)與 解壓縮側(cè)之間，則由預(yù)測器320所產(chǎn)生的預(yù)測圖像應(yīng)是相同的于壓縮程序期間及于解壓縮 程序期間。當(dāng)然，在解壓縮時(shí)，設(shè)備對(duì)于原始輸入圖像不具有存取權(quán)，而僅對(duì)于解壓縮圖像 有。因此，于壓縮時(shí)，預(yù)測器320以壓縮圖像的解壓縮版本為其預(yù)測（至少，針對(duì)圖像間編 碼）的基礎(chǔ)。
[0068] 由熵編碼器370所執(zhí)行的熵編碼程序被視為「無損」，也就是說其可被反轉(zhuǎn)以達(dá)成 與其被首先供應(yīng)至熵編碼器370的完全相同的數(shù)據(jù)。因此，返回路徑可被實(shí)施在熵編碼階 段之前。確實(shí)，由掃描單元360所執(zhí)行的掃描程序亦被視為無損的，但于本實(shí)施例中，返回 路徑390是從量化器350的輸出至一互補(bǔ)反向量化器420的輸入。
[0069] -般而言，熵解碼器410、反轉(zhuǎn)掃描單元400、反向量化器420及反向變換單元430 提供熵編碼器370、掃描單元360、量化器350及變換單元340之各自的反向功能?，F(xiàn)在，將 繼續(xù)遍及壓縮程序的討論；用以解壓縮輸入已壓縮視頻信號(hào)的程序?qū)⒈环蛛x地討論于下。
[0070] 于壓縮程序中，掃描系數(shù)由返回路徑390從量化器350傳遞至反向量化器420,其 執(zhí)行掃描單元360之反向操作。反向量化及反向變換程序由單元420、430所執(zhí)行以產(chǎn)生壓 縮解壓縮的殘留圖像信號(hào)440。
[0071] 圖像信號(hào)440被加（于相加器450)至預(yù)測器320的輸出以產(chǎn)生重建的輸出圖像 460。此形成圖像預(yù)測器320的輸入，如以下將描述者。
[0072] 現(xiàn)在回到用以解壓縮一接收的已壓縮視頻信號(hào)470的程序，信號(hào)被供應(yīng)至熵解碼 器410并從該處至反轉(zhuǎn)掃描單元400、反向量化器420及反向變換單元430之鏈，在藉由相 加器450而被加至圖像預(yù)測器320的輸出以前。明確地，相加器450的輸出460形成輸出 的解壓縮視頻信號(hào)480。實(shí)際上，可在信號(hào)被輸出之前施加進(jìn)一步過濾。
[0073] 因此，圖5及6的設(shè)備可作用為壓縮設(shè)備或解壓縮設(shè)備。兩種類型的設(shè)備的功能 非常大量地重迭。掃描單元360及熵編碼器370未被使用于解壓縮模式，而預(yù)測器320 (其 將被詳細(xì)地描述于下）及其他單元的操作依循所接收的已壓縮比特流中所含有的模式及 參數(shù)，而非產(chǎn)生其本身的此類信息。
[0074] 圖6概略地闡明預(yù)測圖像的產(chǎn)生，及更明確地為圖像預(yù)測器320的操作。
[0075] 有兩種預(yù)測的基本模式：所謂的圖像內(nèi)預(yù)測及所謂的圖像間（或運(yùn)動(dòng)補(bǔ)償（MC)) 預(yù)測。
[0076] 圖像內(nèi)預(yù)測基于來自相同圖像內(nèi)的數(shù)據(jù)以執(zhí)行圖像的一區(qū)塊的內(nèi)容的預(yù)測。這相 應(yīng)于其他視頻壓縮技術(shù)中的所謂的I幀編碼。相對(duì)于I幀編碼（其中整個(gè)圖像均被內(nèi)編 碼），于本實(shí)施例中，可以逐區(qū)塊的方式來進(jìn)行介于內(nèi)-與間-編碼之間的選擇，雖然于其他 實(shí)施例中仍以逐圖像的方式進(jìn)行選擇。
[0077] 運(yùn)動(dòng)補(bǔ)償預(yù)測為圖像間預(yù)測的范例且利用其嘗試限定將被編碼于當(dāng)前圖像中的 圖像細(xì)節(jié)的來源（于另一鄰接或附近圖像中）的運(yùn)動(dòng)信息。因此，于一理想范例中，于預(yù)測 圖像中的圖像的一區(qū)塊的內(nèi)容可極簡單被編碼為一參考（運(yùn)動(dòng)向量），其指向一相鄰圖像 中位于相同或稍微不同位置上的相應(yīng)區(qū)塊。
[0078] 回到圖6,顯示兩個(gè)圖像預(yù)測配置（相應(yīng)于圖像內(nèi)及圖像間預(yù)測），其結(jié)果為于模 式信號(hào)510的控制下由多任務(wù)器500所選擇以提供預(yù)測圖像的區(qū)塊，以便供應(yīng)至相加器310 及450。其選擇的進(jìn)行根據(jù)哪個(gè)選擇提供最低「能量」（其，如上所討論，可被視為需要編碼 的信息內(nèi)容），且該選擇被發(fā)送給編碼器于已編碼輸出數(shù)據(jù)流之內(nèi)。圖像能量（于本文中） 可被檢測，例如，藉由從輸入圖像執(zhí)行預(yù)測圖像之兩版本的區(qū)域的試驗(yàn)相減、將差異圖像的 各像素值平方、加總平方值、及識(shí)別兩版本的哪個(gè)為導(dǎo)致相關(guān)于該圖像區(qū)域的差異圖像的 較低均方根值。
[0079] 于內(nèi)編碼系統(tǒng)中，實(shí)際預(yù)測基于其被接收為信號(hào)460的部分的圖像區(qū)塊來進(jìn)行， 換言之，預(yù)測基于已編碼-已解碼圖像區(qū)塊，以致可于解壓縮設(shè)備上進(jìn)行完全相同的預(yù)測。 然而，數(shù)據(jù)可由內(nèi)模式選擇器520獲取自輸入視頻信號(hào)300,以控制圖像內(nèi)預(yù)測器530的操 作。
[0080] 針對(duì)圖像間預(yù)測，運(yùn)動(dòng)補(bǔ)償（MC)預(yù)測器540使用運(yùn)動(dòng)信息，諸如由運(yùn)動(dòng)估計(jì)器550 從輸入視頻信號(hào)300所取得的運(yùn)動(dòng)向量。這些運(yùn)動(dòng)向量。那些運(yùn)動(dòng)向量藉由運(yùn)動(dòng)補(bǔ)償預(yù)測 器540而被施加至重建圖像460之已處理版本，以產(chǎn)生圖像間預(yù)測的區(qū)塊。
[0081] 現(xiàn)在將描述施加至信號(hào)460的處理。首先，信號(hào)由過濾器單元560所過濾，其將被 更詳細(xì)地描述于下。此涉及應(yīng)用「除區(qū)塊」過濾器以移除或至少嘗試減少由變換單元340 所執(zhí)行的區(qū)塊為基的處理及后續(xù)操作。亦可使用樣本調(diào)適補(bǔ)償（SAO)過濾器（進(jìn)一步描述 于下）。同時(shí)，可能應(yīng)用一種使用藉由處理重建信號(hào)460及輸入視頻信號(hào)300所取得的系數(shù) 的樣本回路過濾器。調(diào)適回路過濾器是一種過濾器類型，其（使用已知的技術(shù)）將調(diào)適過 濾器系數(shù)應(yīng)用于待過濾的數(shù)據(jù)。亦即，過濾器系數(shù)可根據(jù)各種因子而改變。定義應(yīng)使用哪 些過濾器系數(shù)的數(shù)據(jù)被包括為已編碼輸出數(shù)據(jù)流的部分。
[0082] 調(diào)適過濾代表用于圖像復(fù)原的回路內(nèi)過濾。IXU可由高達(dá)16個(gè)過濾器過濾，其針 對(duì)LCU內(nèi)的各CU取得過濾器的選擇及ALF開/關(guān)狀態(tài)（自適應(yīng)回路濾波器，見下文）。目 前控制在于LCU等級(jí)，而非CU等級(jí)。要注意的是，從一些實(shí)施方式中，可省略ALF。
[0083] 來自過濾器單元560的已過濾輸出實(shí)際上形成輸出視頻信號(hào)480,當(dāng)設(shè)備操作為 壓縮設(shè)備時(shí)。其亦被緩沖于一個(gè)以上圖像或幀儲(chǔ)存570中；連續(xù)圖像之儲(chǔ)存為運(yùn)動(dòng)補(bǔ)償預(yù) 測處理的必要條件，且特別是運(yùn)動(dòng)向量的產(chǎn)生。為了節(jié)省儲(chǔ)存需求，圖像儲(chǔ)存570中的儲(chǔ)存 圖像可被保持以壓縮形式并接著解壓縮以用于產(chǎn)生運(yùn)動(dòng)向量。為了此特定目的，可使用任 何已知的壓縮/解壓縮系統(tǒng)。儲(chǔ)存圖像被傳遞至內(nèi)插過濾器580,其產(chǎn)生已儲(chǔ)存圖像之較高 分辨率版本；于此范例中，中間樣本（次樣本）被產(chǎn)生以致：由內(nèi)插過濾器580所輸出的內(nèi) 插圖像的分辨率為針對(duì)4 :2 :0的亮度頻道而儲(chǔ)存于圖像儲(chǔ)存570中的圖像的分辨率的4倍 (于各維度）；以及為針對(duì)4 :2 :0之色彩頻道而儲(chǔ)存于圖像儲(chǔ)存570中的圖像的分辨率的8 倍（于各維度）。內(nèi)插圖像被傳遞為送至運(yùn)動(dòng)估計(jì)器550及亦送至運(yùn)動(dòng)補(bǔ)償預(yù)測器540的 輸入。
[0084] 于實(shí)施例中，提供進(jìn)一步的可選擇階段，其使用乘法器600而將輸入視頻信號(hào)的 數(shù)據(jù)值乘以四的因子（效果上僅將數(shù)據(jù)值向左移兩位）；及使用除法器或右移器610而施 加一相應(yīng)的除法操作（右移兩位）于設(shè)備的輸出處。因此，左移及右移純粹針對(duì)設(shè)備的內(nèi) 部操作而改變數(shù)據(jù)。此處置可提供較高的計(jì)算準(zhǔn)確度于設(shè)備內(nèi)，當(dāng)作減少任何數(shù)據(jù)舍入誤 差的效果。
[0085] 現(xiàn)在將描述其中圖像針對(duì)壓縮處理而被分割的方式。于基本等級(jí)上，一待壓縮圖 像被視為樣本的區(qū)塊的數(shù)組。針對(duì)本討論的目的，考慮下的最大此類區(qū)塊是所謂的最大編 碼單元（IXU) 700 (圖7)，其代表通常為64 X 64樣本的方形數(shù)組（IXU尺寸可由編碼器配置， 高達(dá)諸如由HEVC文件所定義的最大尺寸）。于此，討論有關(guān)亮度樣本。根據(jù)色彩模式，諸如 4 :4 :4、4 :2 :2、4 :2 :0或4 :4 :4 :4 (GBR+密鑰數(shù)據(jù)），將有相應(yīng)于亮度區(qū)塊的不同數(shù)目的相 應(yīng)色彩樣本。
[0086] 將描述三種基本的區(qū)塊類型：編碼單元、預(yù)測單元及變換單元。一般而言，IXU的 遞歸次劃分容許輸入圖像被分割成使得區(qū)塊尺寸及區(qū)塊編碼參數(shù)（諸如預(yù)測或殘留編碼 模式）可依據(jù)待編碼圖像的特定特性而被設(shè)定。
[0087] IXU可被次劃分為所謂的編碼單元（⑶）。編碼單元總是方形的且具有介于8X8 樣本與LCU 700的完整尺寸間的尺寸。編碼單元可被配置為一種樹狀結(jié)構(gòu)，以致第一次劃 分可發(fā)生如圖8中所示者，給定32X32樣本的編碼單元710 ;后續(xù)次劃分可接著依選擇性 方式而發(fā)生，以給定16X16樣本之某些編碼單元720 (圖9)及8X8樣本的潛在的某些編 碼單元730 (圖10)?？傊?，此程序可提供CU區(qū)塊的內(nèi)容調(diào)適的編碼樹狀結(jié)構(gòu)，其每一者可 如LCU -般大或者如8X8樣本一般小。輸出視頻數(shù)據(jù)的編碼基于編碼單元結(jié)構(gòu)而發(fā)生，也 就是說一 IXU被編碼、及接著該程序移至下一 IXU，依此類推。
[0088] 圖11概略地闡明預(yù)測單元（PU)的數(shù)組。預(yù)測單元為一基礎(chǔ)單元，用以攜載關(guān)于 圖像預(yù)測程序的信息、或者（換言之）被加至熵編碼殘留圖像數(shù)據(jù)以形成來自圖5的設(shè)備 的輸出視頻信號(hào)的額外數(shù)據(jù)。一般地，預(yù)測單元不限于形狀為方形。其可具有其他形狀，特 別是形成方形編碼單元之一的一半的矩形形狀（例如，8X8⑶可具有8X4或4X8PU)。利 用其匹配圖像特征之PU并非HEVC系統(tǒng)之強(qiáng)制部分，但一般目標(biāo)將是容許良好的編碼器匹 配相鄰預(yù)測單元的邊界以吻合（盡可能地）圖像中的實(shí)際物體的邊界，以致不同的預(yù)測參 數(shù)可被應(yīng)用于不同的實(shí)際物體。各編碼單元可含有一個(gè)以上預(yù)測單元。
[0089] 圖12概略地闡明變換單元（TU)的數(shù)組。變換單元為變換和量化程序的基礎(chǔ)單元。 變換可或不可為方形并得以具有4X4至32X32樣本的尺寸。各編碼單元可含有一個(gè)以上 變換單元。圖12中的縮寫SDIP-P表示一種所謂的短距離內(nèi)預(yù)測分割。于此配置中，僅使 用一維變換，所以4XN區(qū)塊被傳遞通過N變換，其中這些變換的輸入數(shù)據(jù)基于當(dāng)前SDIP-P 內(nèi)之先前解碼的相鄰區(qū)塊及先前解碼的相鄰線。在本案提出申請(qǐng)時(shí)SDIP-P尚未被包括于 HEVC 中。
[0090] 如上所述，編碼以一 IXU、接著下一 IXU的方式進(jìn)行，依此類推。于IXU內(nèi)，編碼以 ⑶接⑶地被執(zhí)行。于⑶內(nèi)，編碼的針對(duì)一 TU、接著下一 TU地執(zhí)行，依此類推。
[0091] 現(xiàn)在將討論內(nèi)預(yù)測程序。一般而言，內(nèi)預(yù)測涉及從相同圖像中之先前編碼及解碼 的樣本產(chǎn)生樣本的當(dāng)前區(qū)塊的預(yù)測（預(yù)測單元）。圖13概略地闡明部分編碼圖像800。于 此，圖像基于IXU而從左上至右下被編碼。部分透過完整圖像之處置而編碼的范例IXU被 顯示為區(qū)塊810。區(qū)塊810的左上半的陰影區(qū)820已被編碼。區(qū)塊810的內(nèi)容的圖像內(nèi)預(yù) 測可利用陰影區(qū)820的任一個(gè)但無法利用其下方的無陰影區(qū)域。然而，注意其針對(duì)當(dāng)前LCU 內(nèi)之各自的TU，以上所討論的編碼的階層順序（CU接CU然后TU接TU)表示可能有于當(dāng)前 LCU中并可用于的該TU的編碼的先前已編碼樣本，其為（例如）該TU的右上或左下。
[0092] 區(qū)塊810代表IXU ;如以上所討論，針對(duì)內(nèi)圖像預(yù)測處理的目的，此可被次劃分為 一組較小的預(yù)測單元及變換單元。當(dāng)前TU 830的一范例被顯示于IXU 810內(nèi)。
[0093] 內(nèi)圖像預(yù)測考慮在考慮當(dāng)前TU之前被編碼的樣本，諸如那些當(dāng)前TU的上方及/ 或左方的那些。來源樣本（從這些樣本預(yù)測所需樣本）可被置于不同位置上或者相對(duì)于當(dāng) 前TU的方向。為了決定哪個(gè)方向適于當(dāng)前預(yù)測單元，一樣本編碼器的模式選擇器520可測 試各候選方向的可用TU結(jié)構(gòu)的所有組合并選擇具有最佳壓縮效率之PU方向及TU結(jié)構(gòu)。
[0094] 圖象也可被編碼以「片（slice)」為基礎(chǔ)。于一范例中，一片為一水平相鄰族群的 IXU。但更一般而言，完整殘留圖像可形成一片，或者一片可為單一 IXU，或者一片可為一列 LCU，依此類推。片可提供對(duì)誤差的韌性，因?yàn)槠浔痪幋a為獨(dú)立單元。編碼器及解碼器被完 全地重設(shè)于片邊界。例如，內(nèi)預(yù)測不被執(zhí)行跨越片邊界；片邊界被視為針對(duì)此目的的圖像邊 界。
[0095] 圖14概略地闡明一組可能的（候選）預(yù)測方向。整組34個(gè)候選方向可用于8X8、 16X 16、32X32樣本的預(yù)測單元。4X4及64X64樣本的預(yù)測單元尺寸的特殊情況具有其 可用的一減少組的候選方向（各自的為17個(gè)候選方向及5個(gè)候選方向）。這些方向由相對(duì) 于當(dāng)前區(qū)塊位置的水平及垂直位移所決定，但被編碼為預(yù)測「模式」，其一組被顯示于圖15 中。注意：所謂的DC模式代表周圍的上及左邊樣本之簡單算術(shù)平均值。
[0096] 圖16概略地闡明所謂的筆直對(duì)角掃描，其為可由掃描單兀360所應(yīng)用的范例掃描 型態(tài)。于圖16中，該型態(tài)被顯示針對(duì)一范例區(qū)塊的8X8DCT系數(shù)，以其DC系數(shù)被置于該區(qū) 塊的左上位置840上，且增加水平和垂直空間頻率由在朝下及朝向左上位置840增加距離 時(shí)的系數(shù)所表示。可取代地使用其他替代的掃描順序。
[0097] 區(qū)塊配置和⑶、TO及TU結(jié)構(gòu)的變化將被討論如下。這些將被討論以圖17的設(shè)備 的背景，其在許多方面類似于如上討論的圖5及6中所闡明者。確實(shí)，已使用了許多相同的 參考數(shù)字，且將不進(jìn)一步地討論這些部分。
[0098] 針對(duì)圖5及6的主要顯著差異關(guān)于過濾器560 (圖6)，其在圖17中被更詳細(xì)地顯示 為包括除區(qū)塊過濾器1000及相關(guān)的編碼決定區(qū)塊1030、樣本調(diào)適補(bǔ)償（SA0)過濾器1010 及相關(guān)的系數(shù)產(chǎn)生器1040、和調(diào)適回路過濾器（ALF) 1020及相關(guān)的系數(shù)產(chǎn)生器1050。
[0099] 除區(qū)塊過濾器1000嘗試減少失真并增進(jìn)視覺質(zhì)量和預(yù)測性能，藉由使其當(dāng)使用 區(qū)塊編碼方案時(shí)可形成于CU、PU與TU邊界之間的尖銳邊緣平順化。
[0100] SA0過濾器1010將重建的像素分類為不同的范疇并接著嘗試藉由僅為各范疇的 像素增加補(bǔ)償以減少失真。像素強(qiáng)度及邊緣性質(zhì)被用于像素分類。為了進(jìn)一步增進(jìn)編碼效 率，一圖像可被劃分為用于補(bǔ)償參數(shù)之局部化的區(qū)。
[0101] ALF 1020嘗試復(fù)原已壓縮圖像，以致介于重建的與來源幀之間的差異被減至最 小。ALF的系數(shù)以幀為基礎(chǔ)來計(jì)算及傳輸。ALF可被應(yīng)用于整個(gè)幀或者局部區(qū)域。
[0102] 如上所述，已提議的HEVC文件使用已知為4 :2 :0技術(shù)的特定的色度取樣技術(shù)。4 : 2 :0方案可被用于本地/消費(fèi)者設(shè)備。然而，數(shù)種其他技術(shù)亦為可能的。
[0103] 特別地，一種所謂的4 :4 :4方案將適于專業(yè)廣播、主控（mastering)及數(shù)字劇院， 且理論上將具有最高的質(zhì)量及數(shù)據(jù)率。
[0104] 類似地，一種所謂的4 :2 :2方案可被用于具有某些保真度喪失的專業(yè)廣播、主控 及數(shù)字劇院。
[0105] 這些技術(shù)及其相應(yīng)可能的TO和TU區(qū)塊結(jié)構(gòu)被描述如下。
[0106] 此外，其他的技術(shù)包括4 :0:0單色技術(shù)。
[0107] 于4 :4 :4方案中，三個(gè)Y、Cb及Cr頻道的每一個(gè)均具有相同的樣本率。因此，原 則上，于此技術(shù)中將有如亮度數(shù)據(jù)的兩倍般多的色度數(shù)據(jù)。
[0108] 因此于HEVC中，于此技術(shù)中，三個(gè)Y、Cb及Cr頻道的每一個(gè)將具有其為相同尺寸 的相應(yīng)的PU和TU區(qū)塊；例如，8X8亮度區(qū)塊將具有針對(duì)兩個(gè)色度頻道的每一個(gè)的相應(yīng)的 8X8色度區(qū)塊。
[0109] 因此，于此技術(shù)中，通常將有直接的1 :1關(guān)系于各頻道中的區(qū)塊尺寸之間。
[0110] 于4:2:2方案中，兩個(gè)色度成分被取樣以亮度的取樣率的一半（例如，使用垂直 或水平次取樣，但為了本說明的目的，假設(shè)為水平次取樣）。因此，原則上，于此技術(shù)中將有 如亮度數(shù)據(jù)一般多的色度數(shù)據(jù)，雖然色度數(shù)據(jù)將被分開于兩個(gè)色度頻道之間。
[0111] 因此于HEVC中，于此技術(shù)中，Cb及Cr頻道將具有針對(duì)亮度頻道的不同尺寸的PU 和TU區(qū)塊；例如，8X8亮度區(qū)塊將具有針對(duì)各色度頻道的相應(yīng)的寬4X高8色度區(qū)塊。
[0112] 因此，應(yīng)注意：于次技術(shù)中，色度區(qū)塊可為非方形的，即使其相應(yīng)于方形亮度區(qū)塊。
[0113] 于當(dāng)前已提議的HEVC 4 :2 :0方案中，兩個(gè)色度成分被取樣以亮度的取樣率的四 分之一（例如，使用垂直及水平次取樣）。因此，原則上，于此技術(shù)中將有如亮度數(shù)據(jù)的一半 的色度數(shù)據(jù)，色度數(shù)據(jù)將被分裂于兩個(gè)色度頻道之間。
[0114] 因此于HEVC中，于此技術(shù)中，再次地Cb及Cr頻道將具有針對(duì)亮度頻道的不同尺 寸的PU和TU區(qū)塊。例如，8X8亮度區(qū)塊將具有針對(duì)各色度頻道的相應(yīng)的4X4色度區(qū)塊。
[0115] 上述技術(shù)于本技藝中口語地已知為「頻道比」，如以「4:2:0頻道比」;然而，從以上 描述應(yīng)理解：事實(shí)上此并非永遠(yuǎn)表示其Y、Cb及Cr頻道以該比例被壓縮或者被提供。因此 雖稱之為頻道比，此不應(yīng)被假設(shè)為照字面的。事實(shí)上，4 :2 :0技術(shù)的正確比例為4 :1 :1 (4 : 2 :2方案和4 :4 :4技術(shù)的比例是事實(shí)上正確的）。
[0116] 在參考圖18A和18B以討論特定的配置前，將概述或重述一些一般性術(shù)語。
[0117] 最大編碼單元（IXU)是根圖像標(biāo)的。通常，其涵蓋相當(dāng)于64X64亮度像素的區(qū)域。 其被遞歸地分裂以形成樹狀階層的編碼單元（⑶)。一般而言，三個(gè)頻道（一亮度頻道及二 色度頻道）具有相同的⑶樹狀階層。然而，如此一來，根據(jù)頻道比，一特定的亮度⑶可包 括針對(duì)相應(yīng)色度CU的不同數(shù)目的像素。
[0118] 于數(shù)狀階層的末端上的CU，亦即，得自遞歸分裂程序的最小CU被接著分裂為預(yù)測 單元（PU)。三個(gè)頻道（一亮度頻道及二色度頻道）具有相同的PU結(jié)構(gòu)，除了當(dāng)色度頻道的 相應(yīng)PU將具有太少樣本時(shí)，于此情況下該頻道僅有一 ro可用。此為可配置的，但常見地一 內(nèi)ro的最小尺寸為4樣本；一間PU的最小尺寸為4亮度樣本（或針對(duì)4 :2 :0為2色度樣 本）。針對(duì)任何頻道的至少一 PU最?、浅叽绲南拗瓶偸菈虼蟮摹?br> [0119] 葉⑶亦被分裂為變換單元（TU)。TU可以，及當(dāng)其為太大時(shí)（例如，超過32X32 樣本）時(shí)必須，被分裂為進(jìn)一步的TU。加諸一限制以致TU可被向下分裂至最大的樹狀深 度，目前配置為2層。亦即，針對(duì)各⑶不得有多于16個(gè)TU。一例示性的最小可容許TU尺 寸為4 X 4樣本及最大可容許TU尺寸為32 X 32樣本。再次，只要有可能則三個(gè)頻道具有相 同的TU結(jié)構(gòu)，但假如由于尺寸限制而使TU無法被分裂為針對(duì)既定頻道的特定深度，則其保 持于較大尺寸。所謂的非方形四倍樹狀變換配置（NSQT)是類似的，但分裂為四個(gè)TU的方 法無需為2X2而可為4X 1或1X4。
[0120] 參考圖18A及18B，針對(duì)⑶、PU及TU區(qū)塊概述可能的不同區(qū)塊尺寸，以「Y」指稱 亮度區(qū)塊而「C」一般性地指稱色度區(qū)塊的一代表者，及數(shù)字指稱像素?！搁g」指稱幀間預(yù)測 PU(相對(duì)于幀內(nèi)預(yù)測TO)。于許多情況下，僅顯示亮度區(qū)塊的區(qū)塊尺寸。相關(guān)色度區(qū)塊的相 應(yīng)尺寸關(guān)于依據(jù)頻道比的亮度區(qū)塊尺寸。因此，針對(duì)4 :4 :4,色度頻道具有如圖18A和18B 中所示的亮度區(qū)塊般的相同區(qū)塊尺寸。針對(duì)4 :2 :2及4 :2 :0,色度區(qū)塊將各具有較相應(yīng)亮 度區(qū)塊更少的像素，依據(jù)頻道比。
[0121] 圖18A和18B中所示的配置考慮四種可能的⑶尺寸：64X64、32X32、16X16及 8X8亮度像素，各自地。這些⑶的每一個(gè)均具有PU選項(xiàng)（顯示于行1140中）及TU選項(xiàng) (顯示于行1150中）的一相應(yīng)列。針對(duì)如上所限定的可能⑶尺寸，這些列選項(xiàng)各自被參照 為 1100、1110、1120 及 1130。
[0122] 注意：64X64為當(dāng)前的最大⑶尺寸，但此限制可能會(huì)改變。
[0123] 于各列1100…1130中，不同的PU選項(xiàng)被顯示可應(yīng)用于該⑶尺寸?？蓱?yīng)用于那些 PU配置的TU選項(xiàng)被顯示水平地與各自的PU選項(xiàng)對(duì)齊。
[0124] 注意：于數(shù)種情況下，提供多重TO選項(xiàng)。如以上所討論，設(shè)備選擇PU配置的目標(biāo) 在于匹配（盡可能地接近）圖像中之真實(shí)對(duì)象的邊界，以致不同的預(yù)測參數(shù)可被應(yīng)用于不 同的真實(shí)對(duì)象。
[0125] 區(qū)塊尺寸和形狀及TO是基于編碼器的決定，于控制器343的控制下。當(dāng)前方法涉 及針對(duì)許多方向進(jìn)行許多TU樹狀結(jié)構(gòu)的試驗(yàn)、取得各等級(jí)上的最佳「成本」。于此，成本可 被表示為得自各區(qū)塊結(jié)構(gòu)之失真、或噪聲、或誤差、或比特率的測量。因此，編碼器可嘗試在 以上所討論之樹狀結(jié)構(gòu)和階層下所容許者之內(nèi)的區(qū)塊尺寸和形狀之兩個(gè)以上（或及甚至 所有可能的）排列，在選擇其針對(duì)某所需的質(zhì)量測量提供最低比特率、或針對(duì)所需的比特 率提供最低失真（或誤差、或噪聲、或這些測量的組合）、或這些測量的組合的試驗(yàn)之一以 N / . 刖。
[0126] 給定特定TO配置的選擇，則各種等級(jí)的分裂可被應(yīng)用以產(chǎn)生相應(yīng)的TU。參考列 1100,于64X64PU的情況下，此區(qū)塊尺寸針對(duì)使用為TU是太大的，而因此第一等級(jí)的分裂 (從「等級(jí)〇」（未分裂）至「等級(jí)1」）是必要的，其導(dǎo)致四個(gè)32X32亮度TU的數(shù)組。這些 的每一個(gè)可接受樹狀階層中的進(jìn)一步分裂（從「等級(jí)1」至「等級(jí)2」）如所需，以其分裂在 變換或量化該TU被執(zhí)行前被履行。TU樹中之等級(jí)的最大數(shù)目由HEVC文件所限制（舉例而 言）。
[0127] 其他的選項(xiàng)被提供給TO尺寸及形狀于64X64亮度像素⑶的情況。這些被限制 僅使用以內(nèi)編碼圖像，以及（于某些情況下）以所謂的AMP選項(xiàng)啟用。AMP指的是非對(duì)稱運(yùn) 動(dòng)分割并容許PU被非對(duì)稱地分割。
[0128] 類似地，于某些情況下，選項(xiàng)被提供給TU尺寸及形狀。假如NQST(非方形四倍樹 狀變換，基本上容許非方形TU)被啟用，則分裂為等級(jí)1及/或等級(jí)2可被執(zhí)行如所示，而 假如NQST未被啟用，則TU尺寸依循該CU尺寸的各自的最大TU的分裂形態(tài)。
[0129] 類似的，選項(xiàng)被提供給其他⑶尺寸。
[0130] 除了圖18A和18B中所示的圖形表示以外，相同信息的數(shù)字部分被提供于后續(xù)表 中，雖然圖18A和18B中的表示被視為限定性的?！竛/a」指示其不容許的模式。水平像素尺寸 被首先引述。假如第三數(shù)字被提供，則其有關(guān)該區(qū)塊尺寸的例子的數(shù)目，如于（水平）X (垂 直）X (例子數(shù)）區(qū)塊。N為整數(shù)。
[0131]

【權(quán)利要求】
1. 一種視頻編碼或解碼方法，所述方法可操作用于根據(jù)所選擇的量化步長和數(shù)據(jù)矩 陣，通過量化視頻數(shù)據(jù)來生成量化的空間頻率數(shù)據(jù)的區(qū)塊，所述數(shù)據(jù)矩陣修改所述量化步 長，以供在取樣的有序區(qū)塊內(nèi)的各個(gè)不同區(qū)塊位置中使用，所述方法相對(duì)于至少兩個(gè)不同 的色度子取樣格式進(jìn)行操作； 所述方法包括： 對(duì)于至少一個(gè)色度子取樣格式，相對(duì)于為色度子取樣格式的一個(gè)參考格式限定的一個(gè) 或多個(gè)參考量化矩陣，限定一個(gè)或多個(gè)量化矩陣作為一個(gè)或多個(gè)預(yù)定修改。
2. 根據(jù)權(quán)利要求1所述的方法，其中，所述限定步驟包括限定一個(gè)或多個(gè)量化矩陣作 為值矩陣，從參考量化矩陣的多個(gè)值中插入每個(gè)值矩陣。
3. 根據(jù)權(quán)利要求1所述的方法，其中，所述限定步驟包括限定一個(gè)或多個(gè)量化矩陣作 為值矩陣，從參考量化矩陣的值中子取樣每個(gè)值矩陣。
4. 根據(jù)權(quán)利要求1到3中任一項(xiàng)所述的方法，其中，所述限定步驟包括限定一個(gè)或多個(gè) 量化矩陣作為相對(duì)于參考量化矩陣的相應(yīng)值的差值矩陣。
5. 根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述限定步驟包括限定一個(gè)或多個(gè) 量化矩陣作為參考量化矩陣的值的預(yù)定函數(shù)。
6. 根據(jù)權(quán)利要求5所述的方法，其中，所述預(yù)定函數(shù)是多項(xiàng)式函數(shù)。
7. 根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，包括： 提供參考指示器數(shù)據(jù)，用于相對(duì)于編碼的視頻數(shù)據(jù)表示所述參考量化矩陣。
8. 根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，包括： 提供參考指示器數(shù)據(jù)，用于相對(duì)于編碼的數(shù)據(jù)值表示所述一個(gè)或多個(gè)預(yù)定修改。
9. 根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述色度子取樣格式中的兩個(gè)是 4:4:4 和 4:2:2 格式。
10. 根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，包括在視頻數(shù)據(jù)取樣的區(qū)塊上進(jìn)行頻率 變換，以便生成頻率變換的取樣，作為經(jīng)受所述量化步驟的取樣的有序區(qū)塊。
11. 一種視頻編碼或解碼方法，所述方法可操作用于根據(jù)所選擇的量化步長和數(shù)據(jù)矩 陣，通過量化視頻數(shù)據(jù)來生成量化的空間頻率數(shù)據(jù)的區(qū)塊，所述數(shù)據(jù)矩陣修改所述量化步 長，以供在取樣的有序區(qū)塊內(nèi)的各個(gè)不同區(qū)塊位置中使用，所述方法相對(duì)于至少兩個(gè)不同 的色度子取樣格式進(jìn)行操作； 所述方法包括： 對(duì)于至少一個(gè)色度子取樣格式，根據(jù)在矩陣內(nèi)的系數(shù)位置，限定一個(gè)或多個(gè)量化矩陣 的矩陣系數(shù)。
12. 根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，至少一個(gè)矩陣是ΙχΝ矩陣。
13. -種視頻編碼或解碼方法，所述方法可操作用于根據(jù)所選擇的量化步長和數(shù)據(jù)矩 陣，通過量化視頻數(shù)據(jù)來生成量化的空間頻率數(shù)據(jù)的區(qū)塊，所述數(shù)據(jù)矩陣修改所述量化步 長，以供在取樣的有序區(qū)塊內(nèi)的各個(gè)不同區(qū)塊位置中使用，所述方法相對(duì)于至少兩個(gè)不同 的色度子取樣格式進(jìn)行操作； 所述方法包括： 相對(duì)于單個(gè)參考量化矩陣，限定作為一個(gè)或多個(gè)預(yù)定修改的至少兩個(gè)區(qū)塊尺寸的供使 用的量化矩陣。
14. 根據(jù)權(quán)利要求13所述的方法，其中，所述至少兩個(gè)區(qū)塊尺寸包括16x16區(qū)塊尺寸和 32x32區(qū)塊尺寸，并且其中，所述參考量化矩陣是8x8區(qū)塊尺寸的矩陣。
15. 根據(jù)權(quán)利要求14所述的方法，其中，所述至少一個(gè)其他區(qū)塊尺寸具有相應(yīng)的不同 參考矩陣。
16. 根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述矩陣是縮放列表。
17. -種計(jì)算機(jī)軟件，在由計(jì)算機(jī)執(zhí)行時(shí)，其使計(jì)算機(jī)執(zhí)行根據(jù)前述權(quán)利要求中任一項(xiàng) 所述的方法。
18. -種機(jī)器可讀永久性儲(chǔ)存介質(zhì)，其儲(chǔ)存根據(jù)權(quán)利要求17所述的軟件。
19. 一種數(shù)據(jù)信號(hào)，其包括根據(jù)權(quán)利要求1到16中任一項(xiàng)所述的方法生成的編碼數(shù)據(jù)。
20. -種視頻編碼設(shè)備，所述設(shè)備可操作用于根據(jù)所選擇的量化步長和數(shù)據(jù)矩陣，通過 量化視頻數(shù)據(jù)來生成量化的空間頻率數(shù)據(jù)的區(qū)塊，所述數(shù)據(jù)矩陣修改所述量化步長，以供 在取樣的有序區(qū)塊內(nèi)的各個(gè)不同區(qū)塊位置中使用，所述設(shè)備相對(duì)于至少兩個(gè)不同的色度子 取樣格式進(jìn)行操作； 所述設(shè)備包括： 矩陣生成器，被配置為對(duì)于至少一個(gè)色度子取樣格式，相對(duì)于為所述色度子取樣格式 的一個(gè)參考格式限定的一個(gè)或多個(gè)參考量化矩陣，生成一個(gè)或多個(gè)量化矩陣作為一個(gè)或多 個(gè)預(yù)定修改。
21. -種視頻編碼設(shè)備，所述設(shè)備可操作用于根據(jù)所選擇的量化步長和數(shù)據(jù)矩陣，通過 量化視頻數(shù)據(jù)來生成量化的空間頻率數(shù)據(jù)的區(qū)塊，所述數(shù)據(jù)矩陣修改所述量化步長，以供 在取樣的有序區(qū)塊內(nèi)的各個(gè)不同區(qū)塊位置中使用，所述設(shè)備相對(duì)于至少兩個(gè)不同的色度子 取樣格式進(jìn)行操作； 所述設(shè)備包括： 矩陣生成器，被配置為對(duì)于至少一個(gè)色度子取樣格式，根據(jù)在矩陣內(nèi)的系數(shù)位置，生成 一個(gè)或多個(gè)量化矩陣的矩陣系數(shù)。
22. -種視頻編碼設(shè)備，所述設(shè)備可操作用于根據(jù)所選擇的量化步長和數(shù)據(jù)矩陣，通過 量化視頻數(shù)據(jù)來生成量化的空間頻率數(shù)據(jù)的區(qū)塊，所述數(shù)據(jù)矩陣修改所述量化步長，以供 在取樣的有序區(qū)塊內(nèi)的各個(gè)不同區(qū)塊位置中使用，所述設(shè)備相對(duì)于至少兩個(gè)不同的色度子 取樣格式進(jìn)行操作； 所述設(shè)備包括： 矩陣生成器，被配置為相對(duì)于單個(gè)參考量化矩陣，生成作為一個(gè)或多個(gè)預(yù)定修改的至 少兩個(gè)區(qū)塊尺寸的供使用的量化矩陣。
23. 根據(jù)權(quán)利要求18或20所述的設(shè)備，包括數(shù)據(jù)發(fā)送器，被配置為將限定所述一個(gè)或 多個(gè)修改的數(shù)據(jù)發(fā)送給數(shù)據(jù)解碼設(shè)備。
24. 根據(jù)權(quán)利要求19所述的設(shè)備，包括數(shù)據(jù)發(fā)送器，被配置為將限定所述功能的數(shù)據(jù) 發(fā)送給數(shù)據(jù)解碼設(shè)備。
25. -種視頻解碼設(shè)備，所述設(shè)備可操作用于根據(jù)所選擇的量化步長和數(shù)據(jù)矩陣，通過 量化視頻數(shù)據(jù)來生成量化的空間頻率數(shù)據(jù)的區(qū)塊，所述數(shù)據(jù)矩陣修改所述量化步長，以供 在取樣的有序區(qū)塊內(nèi)的各個(gè)不同區(qū)塊位置中使用，所述設(shè)備相對(duì)于至少兩個(gè)不同的色度子 取樣格式進(jìn)行操作； 所述設(shè)備包括： 矩陣生成器，被配置為對(duì)于至少一個(gè)色度子取樣格式，相對(duì)于為色度子取樣格式的一 個(gè)參考格式限定的一個(gè)或多個(gè)參考量化矩陣，生成一個(gè)或多個(gè)量化矩陣作為一個(gè)或多個(gè)預(yù) 定修改。
26. -種視頻解碼設(shè)備，所述設(shè)備可操作用于根據(jù)所選擇的量化步長和數(shù)據(jù)矩陣，通過 量化視頻數(shù)據(jù)來生成量化的空間頻率數(shù)據(jù)的區(qū)塊，所述數(shù)據(jù)矩陣修改所述量化步長，以供 在取樣的有序區(qū)塊內(nèi)的各個(gè)不同區(qū)塊位置中使用，所述設(shè)備相對(duì)于至少兩個(gè)不同的色度子 取樣格式進(jìn)行操作； 所述設(shè)備包括： 矩陣生成器，被配置為對(duì)于至少一個(gè)色度子取樣格式，根據(jù)在矩陣內(nèi)的系數(shù)位置，生成 一個(gè)或多個(gè)量化矩陣的矩陣系數(shù)。
27. -種視頻解碼設(shè)備，所述設(shè)備可操作用于根據(jù)所選擇的量化步長和數(shù)據(jù)矩陣，通過 量化視頻數(shù)據(jù)來生成量化的空間頻率數(shù)據(jù)的區(qū)塊，所述數(shù)據(jù)矩陣修改所述量化步長，以供 在取樣的有序區(qū)塊內(nèi)的各個(gè)不同區(qū)塊位置中使用，所述設(shè)備相對(duì)于至少兩個(gè)不同的色度子 取樣格式進(jìn)行操作； 所述設(shè)備包括： 矩陣生成器，被配置為相對(duì)于單個(gè)參考量化矩陣，生成作為一個(gè)或多個(gè)預(yù)定修改的至 少兩個(gè)區(qū)塊尺寸的供使用的量化矩陣。
28. 根據(jù)權(quán)利要求25或27所述的設(shè)備，包括數(shù)據(jù)接收器，被配置為從數(shù)據(jù)編碼設(shè)備中 接收限定所述一個(gè)或多個(gè)修改的數(shù)據(jù)。
29. 根據(jù)權(quán)利要求26所述的設(shè)備，包括數(shù)據(jù)接收器，被配置為從數(shù)據(jù)編碼設(shè)備中接收 限定所述功能的數(shù)據(jù)。
30. -種視頻數(shù)據(jù)發(fā)送、接收、顯示、捕捉和/或儲(chǔ)存設(shè)備，其包括根據(jù)權(quán)利要求20到 29中任一項(xiàng)所述的設(shè)備。
【文檔編號(hào)】H04N19/186GK104285445SQ201380022425
【公開日】2015年1月14日 申請(qǐng)日期:2013年4月8日 優(yōu)先權(quán)日:2012年4月26日
【發(fā)明者】詹姆斯·亞歷山大·戈梅, 尼古拉斯·里安·桑德斯, 卡爾·詹姆斯·沙曼, 保羅·詹姆斯·西爾考克 申請(qǐng)人:索尼公司