用于視頻譯碼的簡化非正方形四叉樹變換的制作方法
【專利摘要】在一實(shí)例中，一種對(duì)視頻數(shù)據(jù)進(jìn)行解碼的方法包含確定用于預(yù)測(cè)與視頻數(shù)據(jù)塊相關(guān)聯(lián)的像素值的預(yù)測(cè)分割結(jié)構(gòu)。所述方法還包含確定用于將一或多個(gè)變換應(yīng)用于所述經(jīng)預(yù)測(cè)像素值的變換分割結(jié)構(gòu)。確定變換分裂結(jié)構(gòu)包含：分裂父代變換單元；在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)正方形變換后，即刻確定一或多個(gè)正方形變換以使得所述一或多個(gè)正方形變換中的每一者恰好對(duì)應(yīng)于一個(gè)預(yù)測(cè)分割區(qū)；及在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)非正方形變換后，即刻至少部分基于所述一或多個(gè)非正方形變換為非正方形而確定是否分裂所述一或多個(gè)非正方形變換。
【專利說明】用于視頻譯碼的簡化非正方形四叉樹變換
[0001] 本發(fā)明主張2012年4月16日申請(qǐng)的第61/625, 038號(hào)美國臨時(shí)申請(qǐng)案及2012年 4月23日申請(qǐng)的第61/637, 220號(hào)美國臨時(shí)申請(qǐng)案的權(quán)益，所述申請(qǐng)案中的每一者的全部內(nèi) 容以引用的方式并入本文中。

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及視頻譯碼。

【背景技術(shù)】
[0003] 可將數(shù)字視頻能力并入到多種多樣的裝置中，所述裝置包含數(shù)字電視、數(shù)字直播 系統(tǒng)、無線廣播系統(tǒng)、個(gè)人數(shù)字助理（PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子圖書 閱讀器、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩 式或衛(wèi)星無線電電話（所謂的"智能電話"）、視頻電話會(huì)議裝置、視頻串流裝置及其類似 者。數(shù)字視頻裝置實(shí)施視頻譯碼技術(shù)，例如由通^6-2、10^6-4、11^-1'!1.263或11^-1'!1.264/ MPEG-4第10部分高級(jí)視頻譯碼（AVC)所定義的標(biāo)準(zhǔn)、目前正在開發(fā)的高效率視頻譯碼 (HEVC)標(biāo)準(zhǔn)及這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的視頻譯碼技術(shù)。視頻裝置可通過實(shí)施此些視頻譯 碼技術(shù)而更有效地發(fā)射、接收、編碼、解碼及/或存儲(chǔ)數(shù)字視頻信息。
[0004] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測(cè)及/或時(shí)間（圖片間）預(yù)測(cè)以減少或移除 視頻序列中固有的冗余。對(duì)于基于塊的視頻譯碼來說，視頻切片（即，圖片或圖片的一部 分）可以分割成視頻塊，視頻塊還可被稱作樹塊、譯碼單元（CU)及/或譯碼節(jié)點(diǎn)。圖片的 經(jīng)幀內(nèi)譯碼（I)切片中的視頻塊是使用相對(duì)于同一圖片中的相鄰塊中的參考樣本的空間 預(yù)測(cè)來編碼。圖片的經(jīng)幀間譯碼（P或B)切片中的視頻塊可使用相對(duì)于同一圖片中的相鄰 塊中的參考樣本的空間預(yù)測(cè)，或相對(duì)于其它參考圖片中的參考樣本的時(shí)間預(yù)測(cè)。圖片可被 稱為幀，且參考圖片可被稱為參考幀。
[0005] 空間或時(shí)間預(yù)測(cè)產(chǎn)生用于待譯碼塊的預(yù)測(cè)性塊。殘余數(shù)據(jù)表示待譯碼原始?jí)K與預(yù) 測(cè)性塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測(cè)性塊的參考樣本塊的運(yùn)動(dòng)向量及 指示經(jīng)譯碼塊與預(yù)測(cè)性塊之間的差的殘余數(shù)據(jù)編碼的。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式 及殘余數(shù)據(jù)編碼的。為了進(jìn)一步壓縮，可以將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘 余變換系數(shù)，接著可以對(duì)殘余變換系數(shù)進(jìn)行量化?？梢話呙杵鸪跤枚S陣列布置的經(jīng)量化 變換系數(shù)，以便產(chǎn)生變換系數(shù)的一維向量，并且可以應(yīng)用熵譯碼以實(shí)現(xiàn)更多的壓縮。


【發(fā)明內(nèi)容】

[0006] -般來說，本發(fā)明描述用于在具有非正方形塊的情況下進(jìn)行視頻譯碼的技術(shù)。視 頻譯碼通常包含預(yù)測(cè)（例如，幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)）及殘余數(shù)據(jù)的譯碼（也被稱作預(yù)測(cè)誤 差）。殘余塊對(duì)應(yīng)于經(jīng)預(yù)測(cè)塊與實(shí)際視頻數(shù)據(jù)塊之間的逐像素差。殘余塊可對(duì)應(yīng)于變換單 元（TU)。描述產(chǎn)生經(jīng)預(yù)測(cè)塊的方式的數(shù)據(jù)可對(duì)應(yīng)于PU。
[0007] 在一些狀況下，視頻數(shù)據(jù)可使用非正方形塊（例如，用非正方形（也被稱作不對(duì) 稱）PU)來預(yù)測(cè)。本發(fā)明描述用于應(yīng)用變換以使得所述變換不會(huì)應(yīng)用于一個(gè)以上ro的技 術(shù)。舉例來說，本發(fā)明描述用于避免跨越預(yù)測(cè)分割邊界應(yīng)用變換的技術(shù)，此舉可提供增加的 譯碼效率。
[0008] 在一些狀況下，視頻數(shù)據(jù)可使用非正方形塊（例如，用非正方形TU)進(jìn)行變換。TU 的大小可由四叉樹數(shù)據(jù)結(jié)構(gòu)來描述。本發(fā)明描述用于簡化非正方形四叉樹變換（NSQT)的 技術(shù)。以此方式，這些技術(shù)可提供一種用于使用非正方形變換的簡化方案。
[0009] 在一實(shí)例中，一種方法包含：確定用于預(yù)測(cè)與視頻數(shù)據(jù)塊相關(guān)聯(lián)的像素值的預(yù)測(cè) 分割結(jié)構(gòu)，其中所述預(yù)測(cè)分割結(jié)構(gòu)包含一或多個(gè)非正方形分割區(qū)；及確定用于將一或多個(gè) 變換應(yīng)用于所述經(jīng)預(yù)測(cè)像素值的變換分割結(jié)構(gòu)。確定變換分裂結(jié)構(gòu)包含：分裂父代變換確 定變換分裂結(jié)構(gòu)包含：分裂父代變換單元；在確定所述變換分割結(jié)構(gòu)包括將所述父代變換 單元分裂成一或多個(gè)正方形變換后，即刻確定一或多個(gè)正方形變換以使得所述一或多個(gè)正 方形變換中的每一者恰好對(duì)應(yīng)于一個(gè)預(yù)測(cè)分割區(qū)；及在確定所述變換分割結(jié)構(gòu)包括將所述 父代變換單元分裂成一或多個(gè)非正方形變換后，即刻至少部分基于所述一或多個(gè)非正方形 變換為非正方形而確定是否分裂所述一或多個(gè)非正方形變換。所述方法還包含基于所述所 確定的變換分割結(jié)構(gòu)而對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行解碼。
[0010] 在另一實(shí)例中，一種對(duì)視頻數(shù)據(jù)進(jìn)行編碼的方法包含：確定用于預(yù)測(cè)與視頻數(shù)據(jù) 塊相關(guān)聯(lián)的像素值的預(yù)測(cè)分割結(jié)構(gòu)，其中所述預(yù)測(cè)分割結(jié)構(gòu)包含一或多個(gè)非正方形分割 區(qū)；及確定用于將一或多個(gè)變換應(yīng)用于所述經(jīng)預(yù)測(cè)像素值的變換分割結(jié)構(gòu)。確定變換分裂 結(jié)構(gòu)包含：分裂父代變換確定變換分裂結(jié)構(gòu)包含：分裂父代變換單元；在確定所述變換分 割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)正方形變換后，即刻確定一或多個(gè)正方形 變換以使得所述一或多個(gè)正方形變換中的每一者恰好對(duì)應(yīng)于一個(gè)預(yù)測(cè)分割區(qū)；及在確定所 述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)非正方形變換后，即刻至少部分 基于所述一或多個(gè)非正方形變換為非正方形而確定是否分裂所述一或多個(gè)非正方形變換。 所述方法還包含基于所述所確定的變換分割結(jié)構(gòu)而對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行編碼。
[0011] 在另一實(shí)例中，一種用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的設(shè)備包括一或多個(gè)處理器，所述 一或多個(gè)處理器經(jīng)配置以：確定用于預(yù)測(cè)與視頻數(shù)據(jù)塊相關(guān)聯(lián)的像素值的預(yù)測(cè)分割結(jié)構(gòu)， 其中所述預(yù)測(cè)分割結(jié)構(gòu)包含一或多個(gè)非正方形分割區(qū)；及確定用于將一或多個(gè)變換應(yīng)用于 所述經(jīng)預(yù)測(cè)像素值的變換分割結(jié)構(gòu)。確定變換分裂結(jié)構(gòu)包含：分裂父代變換單元；在確定 所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)正方形變換后，即刻確定一或 多個(gè)正方形變換以使得所述一或多個(gè)正方形變換中的每一者恰好對(duì)應(yīng)于一個(gè)預(yù)測(cè)分割區(qū)； 及在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)非正方形變換后，即 刻至少部分基于所述一或多個(gè)非正方形變換為非正方形而確定是否分裂所述一或多個(gè)非 正方形變換。所述一或多個(gè)處理器還經(jīng)配置以基于所述所確定的變換分割結(jié)構(gòu)對(duì)所述經(jīng)預(yù) 測(cè)像素值進(jìn)行譯碼。
[0012] 在另一實(shí)例中，一種用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的設(shè)備包含：用于確定用于預(yù)測(cè)與 視頻數(shù)據(jù)塊相關(guān)聯(lián)的像素值的預(yù)測(cè)分割結(jié)構(gòu)的裝置，其中所述預(yù)測(cè)分割結(jié)構(gòu)包含一或多個(gè) 非正方形分割區(qū)；及用于確定用于將一或多個(gè)變換應(yīng)用于所述經(jīng)預(yù)測(cè)像素值的變換分割結(jié) 構(gòu)的裝置。確定變換分裂結(jié)構(gòu)包含：分裂父代變換單元；在確定所述變換分割結(jié)構(gòu)包括將 所述父代變換單元分裂成一或多個(gè)正方形變換后，即刻確定一或多個(gè)正方形變換以使得所 述一或多個(gè)正方形變換中的每一者恰好對(duì)應(yīng)于一個(gè)預(yù)測(cè)分割區(qū)；及在確定所述變換分割結(jié) 構(gòu)包括將所述父代變換單元分裂成一或多個(gè)非正方形變換后，即刻至少部分基于所述一或 多個(gè)非正方形變換為非正方形而確定是否分裂所述一或多個(gè)非正方形變換。所述設(shè)備還包 含用于基于所述所確定的變換分割結(jié)構(gòu)對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行譯碼的裝置。
[0013] 在另一實(shí)例中，一種非暫時(shí)計(jì)算機(jī)可讀媒體在其上存儲(chǔ)有指令，所述指令在執(zhí)行 時(shí)致使一或多個(gè)處理器：確定用于預(yù)測(cè)與視頻數(shù)據(jù)塊相關(guān)聯(lián)的像素值的預(yù)測(cè)分割結(jié)構(gòu)，其 中所述預(yù)測(cè)分割結(jié)構(gòu)包含一或多個(gè)非正方形分割區(qū)；及確定用于將一或多個(gè)變換應(yīng)用于所 述經(jīng)預(yù)測(cè)像素值的變換分割結(jié)構(gòu)。確定變換分裂結(jié)構(gòu)包含：分裂父代變換單元；在確定所 述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)正方形變換后，即刻確定一或多 個(gè)正方形變換以使得所述一或多個(gè)正方形變換中的每一者恰好對(duì)應(yīng)于一個(gè)預(yù)測(cè)分割區(qū)；及 在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)非正方形變換后，即刻 至少部分基于所述一或多個(gè)非正方形變換為非正方形而確定是否分裂所述一或多個(gè)非正 方形變換。所述指令還致使所述一或多個(gè)處理器基于所述所確定的變換分割結(jié)構(gòu)對(duì)所述經(jīng) 預(yù)測(cè)像素值進(jìn)行譯碼。
[0014] 一或多個(gè)實(shí)例的細(xì)節(jié)陳述于隨附圖式及以下描述中。其它特征、目標(biāo)及優(yōu)勢(shì)將從 所述描述及所述圖式以及從權(quán)利要求書而顯而易見。

【專利附圖】

【附圖說明】
[0015] 圖1為說明可利用用于在視頻譯碼中應(yīng)用變換的技術(shù)的實(shí)例視頻編碼及解碼系 統(tǒng)的框圖。
[0016] 圖2為說明可實(shí)施用于在視頻譯碼中應(yīng)用變換的技術(shù)的視頻編碼器的實(shí)例的框 圖。
[0017] 圖3為說明可實(shí)施用于在視頻譯碼中應(yīng)用變換的技術(shù)的視頻解碼器的實(shí)例的框 圖。
[0018] 圖4A及4B為說明實(shí)例四叉樹及對(duì)應(yīng)最大譯碼單元（IXU)的概念圖。
[0019] 圖5為說明分割成各種子塊的實(shí)例塊的概念圖。
[0020] 圖6通常說明可與預(yù)測(cè)單元相關(guān)聯(lián)的分割模式。
[0021] 圖7說明用于圖6中所示的預(yù)測(cè)單元的強(qiáng)制變換分裂的實(shí)例。
[0022] 圖8說明用于圖6中所示的預(yù)測(cè)單元的強(qiáng)制變換分裂的另一實(shí)例。
[0023] 圖9說明根據(jù)本發(fā)明的方面的強(qiáng)制變換分裂的實(shí)例。
[0024] 圖10說明根據(jù)本發(fā)明的方面的用于對(duì)視頻數(shù)據(jù)塊進(jìn)行編碼的實(shí)例過程。
[0025] 圖11說明根據(jù)本發(fā)明的方面的用于對(duì)視頻數(shù)據(jù)塊進(jìn)行解碼的實(shí)例過程。
[0026] 圖12說明用于64x64譯碼單元（⑶）的實(shí)例TU分解。
[0027] 圖13說明用于32x32CU的實(shí)例TU分解。
[0028] 圖14說明用于16x16⑶的實(shí)例TU分解。
[0029] 圖15為說明根據(jù)本發(fā)明的方面的用于對(duì)當(dāng)前塊進(jìn)行編碼的實(shí)例方法的流程圖。
[0030] 圖16為說明根據(jù)本發(fā)明的方面的用于對(duì)當(dāng)前視頻數(shù)據(jù)塊進(jìn)行解碼的實(shí)例方法的 流程圖。
[0031] 圖17為說明根據(jù)本發(fā)明的方面的對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的實(shí)例的流程圖。

【具體實(shí)施方式】
[0032] 視頻譯碼裝置實(shí)施視頻壓縮技術(shù)以有效地對(duì)視頻數(shù)據(jù)進(jìn)行編碼及解碼。視頻壓縮 技術(shù)可包含應(yīng)用空間（幀內(nèi)）預(yù)測(cè)及/或時(shí)間（幀間）預(yù)測(cè)技術(shù)來減少或移除視頻序列中 所固有的冗余。視頻編碼器通常將原始視頻序列的每一圖片分割成被稱作視頻塊或譯碼單 元（CU)的矩形區(qū)，如下文較詳細(xì)描述。這些視頻塊可使用幀內(nèi)模式（I模式）或使用幀間 模式（P模式或B模式）來編碼。
[0033] 對(duì)于P模式及B模式，視頻編碼器首先搜索與在另一時(shí)間位置中的幀（其被稱作 參考幀且表示為F Mf)中正被編碼的塊類似的塊。視頻編碼器可將搜索限于自待編碼的塊 的某一空間移位。最佳匹配可使用二維（2D)運(yùn)動(dòng)向量（Λ Χ，Ay)來定位，其中ΛΧ為相對(duì) 于經(jīng)譯碼的塊的水平移位，且Ay為相對(duì)于經(jīng)譯碼的塊的垂直移位。運(yùn)動(dòng)向量與參考幀一 起可用以建構(gòu)預(yù)測(cè)單元（PU)，其也被稱作預(yù)測(cè)分割區(qū)或經(jīng)預(yù)測(cè)塊F pred :
[0034] Fpred(x,y) = Fref (χ+Δ x, y+Δ y)
[0035] 其中圖片內(nèi)的像素的位置由（x，y)表示。
[0036] 對(duì)于在I模式中編碼的塊，視頻編碼器可基于來自同一圖片內(nèi)的先前編碼的相鄰 塊的數(shù)據(jù)使用空間預(yù)測(cè)技術(shù)而形成經(jīng)預(yù)測(cè)塊。
[0037] 在任何狀況下，對(duì)于I模式及P或B模式兩者，預(yù)測(cè)誤差（S卩，經(jīng)編碼的塊及經(jīng)預(yù)測(cè) 塊中的像素值之間的差）可表示為例如離散余弦變換（DCT)等離散變換的一組加權(quán)基底函 數(shù)。變換可使用例如4x4、8x8或16x16及更大等不同大小的塊（變換單元（TU))來執(zhí)行。 變換塊的形狀并不需要總是為正方形。舉例來說，也可使用例如具有16x4、32x8等變換塊 大小的矩形形狀變換塊。
[0038] 在變換之后，隨后量化權(quán)重（S卩，變換系數(shù)）。量化引入信息的損耗，正因?yàn)槿绱耍?經(jīng)量化系數(shù)具有比原始變換系數(shù)低的精確度。壓縮比（即，用以表示原始序列及經(jīng)壓縮序 列的位數(shù)的比率）可通過調(diào)整在量化變換系數(shù)時(shí)使用的量化參數(shù)（QP)的值來控制。
[0039] 經(jīng)量化變換系數(shù)及運(yùn)動(dòng)向量為語法元素的實(shí)例，所述語法元素連同控制信息及可 能其它經(jīng)譯碼視頻信息一起形成視頻序列的經(jīng)譯碼表示。在一些情況下，視頻編碼器可對(duì) 語法元素進(jìn)行熵譯碼，由此進(jìn)一步減少其表示所需的位數(shù)。熵譯碼為無損操作，其旨在通過 利用語法元素的分布特性（例如，辨識(shí)一些符號(hào)出現(xiàn)的頻率超過其它符號(hào)）而最小化表示 發(fā)射或存儲(chǔ)的符號(hào)（例如，語法元素）所需要的位數(shù)。
[0040] 視頻編碼器還可再現(xiàn)經(jīng)譯碼圖片以計(jì)算對(duì)應(yīng)于重建構(gòu)誤差的失真。視頻編碼器可 在確定例如塊大小、塊分割策略、量化參數(shù)、譯碼模式及其類似者等各種譯碼因數(shù)時(shí)測(cè)量位 速率及失真量。塊分割策略可包含將CU分割成子CU，選擇PU大小及選擇TU大小。壓縮 比（即，用以表示原始序列及經(jīng)壓縮序列的位數(shù)的比率）可通過調(diào)整在量化變換系數(shù)時(shí)使 用的量化參數(shù)（QP)的值來控制。壓縮比還可取決于所使用的熵譯碼的方法。
[0041] 視頻解碼器可使用上文所論述的語法元素及控制信息來建構(gòu)用于對(duì)當(dāng)前幀進(jìn)行 解碼的預(yù)測(cè)性數(shù)據(jù)（例如，預(yù)測(cè)性塊）。舉例來說，視頻解碼器可將經(jīng)預(yù)測(cè)塊與經(jīng)壓縮預(yù)測(cè) 誤差相加。視頻解碼器可通過使用經(jīng)量化系數(shù)對(duì)變換基底函數(shù)進(jìn)行加權(quán)來確定經(jīng)壓縮預(yù)測(cè) 誤差。經(jīng)重建構(gòu)幀與原始幀之間的差被稱為重建構(gòu)誤差。
[0042] 如上所指出，例如視頻編碼器及視頻解碼器等視頻譯碼器可經(jīng)配置以使用各種大 小的塊，且所述塊可為非正方形。舉例來說，視頻編解碼器可使用為非正方形（例如，矩形） 的ro及TU。在一些情況下，非正方形塊可將復(fù)雜性引入至視頻譯碼過程。在一實(shí)例中，使 用一或多個(gè)非正方形PU及一或多個(gè)正方形TU對(duì)視頻數(shù)據(jù)塊進(jìn)行譯碼可產(chǎn)生應(yīng)用于一個(gè)以 上預(yù)測(cè)分割區(qū)的變換。此變換配置可影響譯碼效率。舉例來說，包含多個(gè)預(yù)測(cè)分割區(qū)（例 如，PU)的圖像的區(qū)可指示所述區(qū)中存在不連續(xù)性?？缭讲贿B續(xù)性（例如，跨越預(yù)測(cè)分割區(qū)） 應(yīng)用單一變換可產(chǎn)生影響譯碼效率的高頻噪聲。
[0043] 本發(fā)明的方面通常涉及將變換應(yīng)用于殘余視頻數(shù)據(jù)而不越過預(yù)測(cè)分割邊界。也 就是說，根據(jù)本發(fā)明的方面，例如視頻編碼器或視頻解碼器等視頻譯碼器可將一或多個(gè)正 方形變換應(yīng)用于非正方形預(yù)測(cè)分割區(qū)，以使得一或多個(gè)變換不會(huì)應(yīng)用于一個(gè)以上預(yù)測(cè)分割 區(qū)。因此，變換不會(huì)越過預(yù)測(cè)分割邊界，且視頻譯碼器可避免引入如上文所描述的可能高頻 噪聲。
[0044] 本發(fā)明通?？蓪㈩A(yù)測(cè)分割區(qū)稱作用單一預(yù)測(cè)技術(shù)（例如，幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)技 術(shù)）預(yù)測(cè)的圖片的區(qū)域。視頻數(shù)據(jù)塊可具有一或多個(gè)相關(guān)聯(lián)的預(yù)測(cè)分割區(qū)。在一些情況下， 預(yù)測(cè)分割區(qū)可與預(yù)測(cè)單元（PU)相關(guān)聯(lián)，如根據(jù)高效率視頻譯碼（HEVC)標(biāo)準(zhǔn)所描述。如上 所指出，預(yù)測(cè)分割區(qū)的形狀可為正方形或非正方形。
[0045] 在另一實(shí)例中，使用非正方形塊（包含非正方形變換塊）還可引入與指示塊的布 置相關(guān)聯(lián)的復(fù)雜性。舉例來說，在一些情況下，在位流中用信號(hào)發(fā)出非正方形TU的布置可 為相對(duì)復(fù)雜的。另外，例如HEVC標(biāo)準(zhǔn)等一些視頻譯碼標(biāo)準(zhǔn)可具有用于應(yīng)用非正方形變換的 相對(duì)復(fù)雜的規(guī)則。
[0046] 在一實(shí)例中，非正方形變換可分裂成四個(gè)非正方形變換（例如，32x8變換可分裂 成四個(gè)16x4變換）。在另一實(shí)例中，非正方形變換可分裂成四個(gè)正方形變換（例如，16x4 變換可分裂成四個(gè)4x4變換）。另外，在一些情況下，視頻譯碼器可在殘余四叉樹（RQT)的 深度1處應(yīng)用非正方形變換（如下文較詳細(xì)描述），而在另一實(shí)例中，視頻譯碼器可在RQT 的深度2處應(yīng)用非正方形變換。因此，視頻譯碼器可出于變換的目的使用正方形及非正方 形變換的組合來分裂塊，其布置可在經(jīng)編碼位流中相對(duì)復(fù)雜地指示。
[0047] 本發(fā)明的方面通常還涉及用于簡化非正方形變換的應(yīng)用的技術(shù)。舉例來說，根據(jù) 本發(fā)明的方面，例如視頻編碼器或視頻解碼器等視頻譯碼器可遵守與非正方形變換的結(jié)構(gòu) 相關(guān)聯(lián)的一或多個(gè)預(yù)定義規(guī)則。在一實(shí)例中，視頻譯碼器可避免分裂非正方形變換。換句 話說，在視頻譯碼器確定TU已分裂成至少一個(gè)非正方形TU時(shí)，視頻譯碼器可確定非正方形 TU不進(jìn)一步分裂。
[0048] 根據(jù)上文實(shí)例，在正方形變換分裂成四個(gè)非正方形變換時(shí)，分裂停止。因此，視頻 編碼器將不試圖進(jìn)一步分裂變換，且將不用信號(hào)發(fā)出指示四個(gè)非正方形變換是否分裂的任 何額外數(shù)據(jù)。同樣，視頻解碼器將不需要任何其它數(shù)據(jù)（例如在經(jīng)編碼位流中用信號(hào)發(fā)出） 來確定四個(gè)非正方形變換不進(jìn)一步分裂。
[0049] 因此，在此些實(shí)例中，非正方形變換的存在可解譯為不僅定義變換的非正方形形 狀，而且意味著關(guān)于非正方形TU的分裂的結(jié)束。在這些狀況下，對(duì)于此些非正方形變換可 以避免以其它方式用于分裂的額外發(fā)信號(hào)。舉例來說，可為非正方形變換除去"非分裂"或 "不分裂"旗標(biāo)。
[0050] 在另一實(shí)例中，非正方形變換可僅分裂成額外非正方形變換。也就是說，在將TU 分裂成非正方形變換之后，視頻譯碼器可繼續(xù)將非正方形變換分裂成非正方形變換，但可 能不將非正方形變換分裂成正方形變換。視頻譯碼器可繼續(xù)使用非正方形變換來分裂非正 方形變換直到達(dá)到最小變換大小限制為止。
[0051] 以此方式，本發(fā)明的技術(shù)可有助于減少與應(yīng)用非正方形變換相關(guān)聯(lián)的復(fù)雜性。舉 例來說，視頻譯碼器可實(shí)施基于是否將TU分裂成非正方形變換的一組規(guī)則，以減少正方形 及非正方形變換的可能組合的數(shù)目。這樣做可減少與用信號(hào)發(fā)出具有一或多個(gè)相關(guān)聯(lián)的非 正方形變換的塊的布置及/或結(jié)構(gòu)相關(guān)聯(lián)的復(fù)雜性。
[0052] 在一些狀況下，發(fā)信號(hào)所需的數(shù)據(jù)量也可通過消除用信號(hào)發(fā)出分裂結(jié)束的需要來 減少。舉例來說，可為非正方形變換除去"非分裂"或"不分裂"旗標(biāo)。在非正方形變換允 許分裂但所述分裂進(jìn)一步受限于非正方形大小或形狀的實(shí)例中，技術(shù)可減少用信號(hào)發(fā)出分 裂所需的語法元素的大小。舉例來說，如果將限制應(yīng)用于可使用的分裂的類型，那么可針對(duì) 一些狀況減少用信號(hào)發(fā)出分裂的類型所需的位深度。
[0053] 圖1為說明可利用用于在視頻譯碼中應(yīng)用變換的技術(shù)的實(shí)例視頻編碼及解碼系 統(tǒng)10的框圖。如圖1中所示，系統(tǒng)10包含源裝置12,其提供稍后將由目的地裝置14解碼 的經(jīng)編碼的視頻數(shù)據(jù)。明確地說，源裝置12經(jīng)由計(jì)算機(jī)可讀媒體16將視頻數(shù)據(jù)提供到目 的地裝置14。源裝置12和目的地裝置14可包括多種多樣的裝置中的任一者，包含桌上型 計(jì)算機(jī)、筆記型（即，膝上型）計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、電話手持機(jī)（例如所謂的"智 能"電話）、所謂的"智能"平板電腦、電視機(jī)、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控 制臺(tái)、視頻串流裝置或類似者。在一些情況下，源裝置12和目的地裝置14可能經(jīng)裝備以用 于無線通信。
[0054] 目的地裝置14可經(jīng)由計(jì)算機(jī)可讀媒體16接收待解碼的經(jīng)編碼的視頻數(shù)據(jù)。計(jì)算 機(jī)可讀媒體16可包括能夠?qū)⒔?jīng)編碼的視頻數(shù)據(jù)從源裝置12移動(dòng)到目的地裝置14的任何 類型的媒體或裝置。在一個(gè)實(shí)例中，計(jì)算機(jī)可讀媒體16可包括使得源裝置12能夠?qū)崟r(shí)將經(jīng) 編碼的視頻數(shù)據(jù)直接發(fā)射到目的地裝置14的通信媒體。經(jīng)編碼的視頻數(shù)據(jù)可以根據(jù)通信 標(biāo)準(zhǔn)（例如無線通信協(xié)議）得到調(diào)制，并且被發(fā)射到目的地裝置14。通信媒體可包括任何 無線或有線通信媒體，例如射頻（RF)頻譜或一或多個(gè)物理傳輸線。通信媒體可能形成分組 網(wǎng)絡(luò)（例如局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例如因特網(wǎng)）的一部分。通信媒體可包含路由器、 交換器、基站或任何其它可用于促進(jìn)從源裝置12到目的地裝置14的通信的設(shè)備。
[0055] 在一些實(shí)例中，經(jīng)編碼數(shù)據(jù)可以從輸出接口 22輸出到存儲(chǔ)裝置。類似地，可以通 過輸入接口從存儲(chǔ)裝置存取經(jīng)編碼數(shù)據(jù)。存儲(chǔ)裝置可包含多種分布式或本地存取的數(shù)據(jù)存 儲(chǔ)媒體中的任一者，例如硬盤驅(qū)動(dòng)器、藍(lán)光光盤、DVD、CD-ROM、快閃存儲(chǔ)器、易失性或非易失 性存儲(chǔ)器或任何其它用于存儲(chǔ)經(jīng)編碼的視頻數(shù)據(jù)的合適的數(shù)字存儲(chǔ)媒體。在另一實(shí)例中， 存儲(chǔ)裝置可以對(duì)應(yīng)于文件服務(wù)器或另一可存儲(chǔ)源裝置12產(chǎn)生的經(jīng)編碼視頻的中間存儲(chǔ)裝 置。目的地裝置14可經(jīng)由流式傳輸或下載從存儲(chǔ)裝置存取經(jīng)存儲(chǔ)的視頻數(shù)據(jù)。文件服務(wù) 器可為能夠存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)且將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任何類型的 服務(wù)器。實(shí)例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器（例如，用于網(wǎng)站）、FTP服務(wù)器、網(wǎng)絡(luò)附接存儲(chǔ) (NAS)裝置及本地磁盤驅(qū)動(dòng)器。目的地裝置14可以通過任何標(biāo)準(zhǔn)數(shù)據(jù)連接（包含因特網(wǎng)連 接）來存取經(jīng)編碼的視頻數(shù)據(jù)。這可包含適合于存取存儲(chǔ)于文件服務(wù)器上的經(jīng)編碼的視頻 數(shù)據(jù)的無線信道（例如，Wi-Fi連接）、有線連接（例如，DSL、電纜調(diào)制解調(diào)器等）或兩者的 組合。經(jīng)編碼的視頻數(shù)據(jù)從存儲(chǔ)裝置的發(fā)射可能是流式發(fā)射、下載發(fā)射或兩者的組合。
[0056] 本發(fā)明的技術(shù)不必限于無線應(yīng)用或設(shè)定。所述技術(shù)可以應(yīng)用于視頻譯碼并且支持 多種多媒體應(yīng)用中的任一者，例如空中協(xié)議電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、因特 網(wǎng)串流視頻發(fā)射（例如動(dòng)態(tài)自適應(yīng)HTTP串流（DASH))、經(jīng)編碼到數(shù)據(jù)存儲(chǔ)媒體上的數(shù)字視 頻，存儲(chǔ)在數(shù)據(jù)存儲(chǔ)媒體上的數(shù)字視頻的解碼，或其它應(yīng)用。在一些實(shí)例中，系統(tǒng)10可經(jīng)配 置以支持單向或雙向視頻發(fā)射，以支持例如視頻流式傳輸、視頻回放、視頻廣播及/或視頻 電話等應(yīng)用。
[0057] 在圖1的實(shí)例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。目的 地裝置14包括輸入接口 28、視頻解碼器30和顯示裝置32。根據(jù)本發(fā)明，源裝置12的視頻 編碼器20可經(jīng)配置以應(yīng)用用于在視頻譯碼中應(yīng)用變換的技術(shù)。在其它實(shí)例中，源裝置和目 的地裝置可包含其它組件或布置。舉例來說，源裝置12可以從外部視頻源18 (例如外部相 機(jī)）接收視頻數(shù)據(jù)。同樣，目的地裝置14可以與外部顯示裝置介接，而非包括集成顯示裝 置。
[0058] 圖1的說明的系統(tǒng)10只是一個(gè)實(shí)例。用于在視頻譯碼中應(yīng)用變換的技術(shù)可由任何 數(shù)字視頻編碼及/或解碼裝置執(zhí)行。盡管本發(fā)明的技術(shù)總體上通過視頻編碼裝置來執(zhí)行， 但是所述技術(shù)還可通過視頻編碼器/解碼器（通常被稱作"編解碼器"）執(zhí)行。此外，本發(fā) 明的技術(shù)還可通過視頻預(yù)處理器執(zhí)行。源裝置12及目的地裝置14僅為源裝置12在其中 產(chǎn)生經(jīng)譯碼視頻數(shù)據(jù)以供發(fā)射到目的地裝置14的此些譯碼裝置的實(shí)例。在一些實(shí)例中，裝 置12、14可以實(shí)質(zhì)上對(duì)稱的方式操作，使得裝置12、14中的每一者包含視頻編碼及解碼組 件。因此，系統(tǒng)10可支持視頻裝置12、14之間的單向或雙向視頻傳播以例如用于視頻流式 傳輸、視頻回放、視頻廣播或視頻電話。
[0059] 源裝置12的視頻源18可包含視頻俘獲裝置，例如攝像機(jī)、含有先前所俘獲視頻的 視頻檔案及/或用于從視頻內(nèi)容提供者接收視頻的視頻饋送接口。作為另一替代方案，視 頻源18可產(chǎn)生基于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻，或?qū)崨r視頻、存檔視頻與計(jì)算機(jī)產(chǎn)生的 視頻的組合。在一些情況下，如果視頻源18是攝像機(jī)，則源裝置12及目的地裝置14可形 成所謂的相機(jī)電話或視頻電話。然而，如上文所提及，本發(fā)明中所描述的技術(shù)可大體上適用 于視頻譯碼，且可應(yīng)用于無線及/或有線應(yīng)用。在每一情況下，可由視頻編碼器20編碼所 捕獲、預(yù)先捕獲或計(jì)算機(jī)產(chǎn)生的視頻。經(jīng)編碼視頻信息可接著通過輸出接口 22輸出到計(jì)算 機(jī)可讀媒體16上。
[0060] 計(jì)算機(jī)可讀媒體16可包含瞬時(shí)媒體，例如無線廣播或有線網(wǎng)絡(luò)發(fā)射，或存儲(chǔ)媒體 (也就是說，非暫時(shí)存儲(chǔ)媒體），例如硬盤、快閃驅(qū)動(dòng)器、壓縮光盤、數(shù)字視頻光盤、藍(lán)光光盤 或其它計(jì)算機(jī)可讀媒體。在一些實(shí)例中，網(wǎng)絡(luò)服務(wù)器（未圖示）可以從源裝置12接收經(jīng)編 碼的視頻數(shù)據(jù)，并且例如經(jīng)由網(wǎng)絡(luò)發(fā)射將經(jīng)編碼的視頻數(shù)據(jù)提供到目的地裝置14。類似地， 媒體生產(chǎn)設(shè)施（例如光盤沖壓設(shè)施）的計(jì)算裝置可以從源裝置12接收經(jīng)編碼的視頻數(shù)據(jù) 并且生產(chǎn)容納經(jīng)編碼的視頻數(shù)據(jù)的光盤。因此，在各種實(shí)例中，計(jì)算機(jī)可讀媒體16可以理 解為各種形式的一或多個(gè)計(jì)算機(jī)可讀媒體。
[0061] 目的地裝置14的輸入接口 28從計(jì)算機(jī)可讀媒體16接收信息。計(jì)算機(jī)可讀媒體16 的信息可包含通過視頻編碼器20定義的語法信息，所述語法信息還由視頻解碼器30使用， 包含描述塊和其它經(jīng)譯碼單元（例如G0P)的特性及/或處理的語法元素。顯示裝置32將 經(jīng)解碼視頻數(shù)據(jù)顯示給用戶，且可包括多種顯示裝置中的任一者，例如陰極射線管（CRT)、 液晶顯示器（LCD)、等離子顯示器、有機(jī)發(fā)光二極管（OLED)顯示器或另一類型的顯示裝置。 [0062] 視頻編碼器20和視頻解碼器30可以根據(jù)一種視頻譯碼標(biāo)準(zhǔn)（例如目前正在開發(fā) 的高效率視頻譯碼（HEVC)標(biāo)準(zhǔn)）來操作，并且可以符合HEVC測(cè)試模型（HM)?；蛘?，視頻 編碼器20和視頻解碼器30可以根據(jù)其它專有或業(yè)界標(biāo)準(zhǔn)來操作，所述標(biāo)準(zhǔn)例如是ITU-T H. 264標(biāo)準(zhǔn)，也被稱為MPEG-4,第10部分，高級(jí)視頻譯碼（AVC)，或此類標(biāo)準(zhǔn)的擴(kuò)展。然而， 本發(fā)明的技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)。視頻譯碼標(biāo)準(zhǔn)的其它實(shí)例包含MPEG-2和ITU-T H. 263。盡管圖1中未展示，但在一些方面中，視頻編碼器20及視頻解碼器30可各自與音 頻編碼器及解碼器集成，且可包含適當(dāng)多路復(fù)用器-多路分用器單元或其它硬件及軟件以 處置對(duì)共同數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻或視頻兩者的編碼。如果適用的話，多路復(fù)用 器-多路分用器單元可符合ITU H. 223多路復(fù)用器協(xié)議，或例如用戶數(shù)據(jù)報(bào)協(xié)議（UDP)等 其它協(xié)議。
[0063] ITU-T H. 264/MPEG-4(AVC)標(biāo)準(zhǔn)是作為被稱為聯(lián)合視頻小組（JVT)的集體聯(lián)盟的 產(chǎn)品而由ITU-T視頻譯碼專家組（VCEG)連同IS0/IEC移動(dòng)圖片專家組（MPEG)制定。在一 些方面中，本發(fā)明中描述的技術(shù)可應(yīng)用到大體符合H. 264標(biāo)準(zhǔn)的裝置。H. 264標(biāo)準(zhǔn)描述于 ITU-T研究組的日期為2005年3月的" ITU-T推薦H. 264,用于通用視聽服務(wù)的高級(jí)視頻譯 石馬，'（ITU-T Recommendation Η. 264, Advanced Video Coding for generic audiovisual services)中，其在本文中可稱為H. 264標(biāo)準(zhǔn)或H. 264規(guī)范或H.264/AVC標(biāo)準(zhǔn)或規(guī)范。聯(lián)合 視頻組（JVT)持續(xù)致力于擴(kuò)展H.264/MPEG-4AVC。
[0064] 視頻編碼器20及視頻解碼器30各自可實(shí)施為多種合適的編碼器電路中的任一 者，例如一或多個(gè)微處理器、數(shù)字信號(hào)處理器（DSP)、專用集成電路（ASIC)、現(xiàn)場(chǎng)可編程門 陣列（FPGA)、離散邏輯、軟件、硬件、固件或其任何組合。當(dāng)部分地用軟件實(shí)施所述技術(shù)時(shí)， 裝置可將用于所述軟件的指令存儲(chǔ)于合適的非暫時(shí)計(jì)算機(jī)可讀媒體中且使用一或多個(gè)處 理器用硬件執(zhí)行所述指令以執(zhí)行本發(fā)明的技術(shù)。視頻編碼器20及視頻解碼器30中的每一 者可包含在一或多個(gè)編碼器或解碼器中，所述編碼器或解碼器中的任一者可集成為相應(yīng)裝 置中的組合編碼器/解碼器（編解碼器）的部分。包含視頻編碼器20及/或視頻解碼器 30的裝置可包括集成電路、微處理器及/或無線通信裝置，例如蜂窩式電話。
[0065] 本發(fā)明可能總體上參考視頻編碼器20向另一裝置（例如視頻解碼器30) "用信 號(hào)發(fā)出"某些信息。但是，應(yīng)理解，視頻編碼器20可以通過使某些語法元素與視頻數(shù)據(jù)的 各種經(jīng)編碼部分相關(guān)聯(lián)來用信號(hào)發(fā)出信息。也就是說，視頻編碼器20可以通過將某些語法 元素存儲(chǔ)到視頻數(shù)據(jù)的各種經(jīng)編碼部分的標(biāo)頭來"用信號(hào)發(fā)出"數(shù)據(jù)。在一些情況下，此些 語法元素可在被視頻解碼器30接收和解碼之前，先被編碼和存儲(chǔ)（例如，存儲(chǔ)到存儲(chǔ)裝置 32)。因而，術(shù)語"發(fā)信號(hào)"可能總體上指代用于解碼經(jīng)壓縮的視頻數(shù)據(jù)的語法或其它數(shù)據(jù) 的通信，不論所述通信是實(shí)數(shù)或幾乎實(shí)時(shí)發(fā)生還是在一段時(shí)間中發(fā)生，例如可能在編碼時(shí) 將語法元素存儲(chǔ)到媒體上的時(shí)候發(fā)生，接著可以在存儲(chǔ)到這個(gè)媒體上之后的任何時(shí)間由解 碼裝置檢索。
[0066] JCT-VC正在努力開發(fā)HEVC標(biāo)準(zhǔn)。所述HEVC標(biāo)準(zhǔn)化努力是基于被稱作HEVC測(cè)試 模型（腿）的視頻譯碼裝置的進(jìn)化的模型。HM假設(shè)視頻譯碼裝置根據(jù)例如ITU-TH.264/AVC 相對(duì)于現(xiàn)存裝置的幾個(gè)額外能力。舉例來說，雖然H. 264提供了九種幀內(nèi)預(yù)測(cè)編碼模式，但 是HM可提供多達(dá)三十三種幀內(nèi)預(yù)測(cè)編碼模式。
[0067] -般來說，HM的工作模型描述圖片可以劃分成包含明度和色度樣本兩者的一連串 樹塊或最大譯碼單元（LCU)。位流內(nèi)的語法數(shù)據(jù)可以定義最大譯碼單位（LCU，其是就像素 數(shù)目來說的最大譯碼單位）的大小。切片包含譯碼次序的多個(gè)連續(xù)樹塊。圖片可以分割成 一或多個(gè)切片。每一樹塊可以根據(jù)四叉樹分裂成譯碼單元（CU)。一般來說，四叉樹數(shù)據(jù)結(jié) 構(gòu)包含每個(gè)CU -個(gè)節(jié)點(diǎn)，其中一個(gè)根節(jié)點(diǎn)對(duì)應(yīng)于所述樹塊。如果一個(gè)CU分裂成4個(gè)子CU， 那么對(duì)應(yīng)于⑶的節(jié)點(diǎn)包含4個(gè)葉節(jié)點(diǎn)，其中的每一者對(duì)應(yīng)于所述子⑶中的一者。
[0068] 四叉樹數(shù)據(jù)結(jié)構(gòu)的每一節(jié)點(diǎn)可以提供對(duì)應(yīng)CU的語法數(shù)據(jù)。舉例來說，四叉樹中的 一個(gè)節(jié)點(diǎn)可包括一個(gè)分裂旗標(biāo)，這表明對(duì)應(yīng)于所述節(jié)點(diǎn)的所述CU是否分裂成子CU?？梢匀?決于所述⑶是否分裂成子⑶來遞歸地定義⑶的語法元素。如果⑶不進(jìn)一步分裂，那么 將其稱為葉CU。在本發(fā)明中，葉CU的子CU也將被稱作葉CU，即使不存在原始葉CU的明確 分裂時(shí)也是如此。舉例來說，如果16x16大小的⑶不進(jìn)一步分裂，那么這四個(gè)8x8子⑶將 也被稱作葉⑶，雖然16x16⑶從未分裂。
[0069] ⑶具有類似于H. 264標(biāo)準(zhǔn)的宏塊的用途，但是⑶并不具有大小區(qū)別。舉例來說， 樹塊可以分裂成四個(gè)子節(jié)點(diǎn)（還稱為子CU)，并且每一子節(jié)點(diǎn)又可以是父代節(jié)點(diǎn)并且可以 分裂成另外四個(gè)子節(jié)點(diǎn)。最終的未分裂子節(jié)點(diǎn)（被稱作四叉樹的葉節(jié)點(diǎn)）包括譯碼節(jié)點(diǎn)，還 稱為葉CU。與經(jīng)譯碼位流相關(guān)聯(lián)的語法數(shù)據(jù)可以定義樹塊可以分裂的最大次數(shù)，被稱作最 大CU深度，并且還可定義譯碼節(jié)點(diǎn)的最小大小。因此，位流還可定義最小譯碼單位（SCU)。 本發(fā)明使用術(shù)語"塊"指代HEVC的上下文中的CU、PU或TU中的任一者，或者其它標(biāo)準(zhǔn)的上 下文中的類似數(shù)據(jù)結(jié)構(gòu)（例如，其在H. 264/AVC中的宏塊和子塊）。
[0070] CU包含譯碼節(jié)點(diǎn)和與所述譯碼節(jié)點(diǎn)相關(guān)聯(lián)的預(yù)測(cè)單元（PU)和變換單元（TU)。CU 的大小對(duì)應(yīng)于譯碼節(jié)點(diǎn)的大小并且形狀必須是正方形。CU的大小可以從8x8像素到具有最 大64x64像素或更大的樹塊的大小變動(dòng)。每一⑶可含有一或多個(gè)PU及一或多個(gè)TU。舉例 來說，與CU相關(guān)聯(lián)的語法數(shù)據(jù)可描述CU到一或多個(gè)PU的分割。劃分模式可以在CU被跳 過或經(jīng)直接模式編碼、幀內(nèi)預(yù)測(cè)模式編碼或幀間預(yù)測(cè)模式編碼之間有區(qū)別。PU可以分割成 非正方形形狀。舉例來說，與CU相關(guān)聯(lián)的語法數(shù)據(jù)還可描述CU根據(jù)四叉樹到一或多個(gè)TU 的分割。TU可以是正方形或非正方形（例如，矩形）形狀。
[0071] HEVC標(biāo)準(zhǔn)允許根據(jù)TU變換，TU可以針對(duì)不同⑶而有所不同。TU的大小通常是 基于針對(duì)經(jīng)分割LCU定義的給定CU內(nèi)的PU的大小而確定，但是情況可能并不總是如此。 TU通常與PU大小相同或小于PU。在一些實(shí)例中，對(duì)應(yīng)于⑶殘余樣本可以使用一種被稱為 "殘余四叉樹"(RQT)的四叉樹結(jié)構(gòu)細(xì)分成較小單元。RQT的葉節(jié)點(diǎn)可被稱為變換單元（TU)。 可以變換與TU相關(guān)聯(lián)的像素差值以產(chǎn)生變換系數(shù)，所述變換系數(shù)可以經(jīng)量化。
[0072] 未分裂的葉⑶可包含一或多個(gè)預(yù)測(cè)單元（PU)。一般來說，PU表示對(duì)應(yīng)于對(duì)應(yīng)⑶ 的全部或一部分的空間區(qū)域，并且可包含用于檢索PU的參考樣本的數(shù)據(jù)。此外，PU包含與 預(yù)測(cè)有關(guān)的數(shù)據(jù)。舉例來說，當(dāng)PU經(jīng)幀內(nèi)模式編碼時(shí)，用于PU的數(shù)據(jù)可以包含在殘余四叉 樹（RQT)中，殘余四叉樹可包含描述用于對(duì)應(yīng)于PU的TU的幀內(nèi)預(yù)測(cè)模式的數(shù)據(jù)。作為另一 實(shí)例，當(dāng)PU經(jīng)幀間模式編碼時(shí)，PU可包含定義PU的一或多個(gè)運(yùn)動(dòng)向量的數(shù)據(jù)。舉例來說， 定義PU的運(yùn)動(dòng)向量的數(shù)據(jù)可以描述運(yùn)動(dòng)向量的水平分量、運(yùn)動(dòng)向量的垂直分量、運(yùn)動(dòng)向量 的分辨率（例如，四分之一像素精度或八分之一像素精度）、運(yùn)動(dòng)向量指向的參考圖片及/ 或運(yùn)動(dòng)向量的參考圖片列表（例如，列表0、列表1或列表C)。
[0073] 具有一或多個(gè)TO的葉⑶還可包含一或多個(gè)變換單元（TU)。變換單元可以使用 RQT(還稱為TU四叉樹結(jié)構(gòu)）來指定，如上文所論述。舉例來說，分裂旗標(biāo)可以指示葉CU是 否分裂成四個(gè)變換單元。接著，每一變換單元可以進(jìn)一步分裂成更多個(gè)子TU。當(dāng)TU不進(jìn)一 步分裂時(shí)，其可被稱為葉TU。總體上，對(duì)于幀內(nèi)譯碼，所有屬于一個(gè)葉CU的葉TU共用相同 的幀內(nèi)預(yù)測(cè)模式。也就是說，總體上應(yīng)用相同幀內(nèi)預(yù)測(cè)模式來計(jì)算葉CU的所有TU的預(yù)測(cè) 值。對(duì)于幀內(nèi)譯碼，視頻編碼器可以使用幀內(nèi)預(yù)測(cè)模式針對(duì)每一葉TU計(jì)算殘余值，作為CU 的對(duì)應(yīng)于TU的部分與原始?jí)K之間的差。TU不必限于PU的大小。因而，TU可比PU大或小。 對(duì)于幀內(nèi)譯碼，PU可以與相同⑶的對(duì)應(yīng)葉TU設(shè)在同一位置。在一些實(shí)例中，葉TU的最大 大小可以對(duì)應(yīng)于對(duì)應(yīng)葉CU的大小。
[0074] 此外，葉⑶的TU還可與相應(yīng)四叉樹數(shù)據(jù)結(jié)構(gòu)（被稱作殘余四叉樹（RQT))相關(guān)聯(lián)。 也就是說，葉CU可包含指示葉CU如何分割成TU的四叉樹。TU四叉樹的根節(jié)點(diǎn)總體上對(duì)應(yīng) 于葉CU，而CU四叉樹的根節(jié)點(diǎn)總體上對(duì)應(yīng)于樹塊（或LCU)。未分裂的RQT的TU被稱作葉 TU。一般來說，本發(fā)明分別使用術(shù)語CU和TU指代葉CU和葉TU，除非以其它方式指出。
[0075] 視頻序列通常包含一系列圖片。圖片群組（G0P) -般包括一系列一或多個(gè)視頻圖 片。G0P可包含G0P的標(biāo)頭、圖片中的一或多者的標(biāo)頭或其它地方中的語法數(shù)據(jù)，其描述G0P 中包含的圖片的數(shù)目。圖片的每一切片可包含切片語法數(shù)據(jù)，其描述用于相應(yīng)切片的編碼 模式。視頻編碼器20通常對(duì)各個(gè)視頻切片內(nèi)的視頻塊進(jìn)行操作以便對(duì)視頻數(shù)據(jù)進(jìn)行編碼。 視頻塊可以對(duì)應(yīng)于CU內(nèi)的譯碼節(jié)點(diǎn)。視頻塊可以具有固定或變化的大小，并且根據(jù)指定譯 碼標(biāo)準(zhǔn)可以有不同大小。
[0076] 作為一實(shí)例，HM支持各種PU大小的預(yù)測(cè)。假設(shè)特定CU的大小是2Nx2N，則HM支 持2Nx2N或NxN的PU大小的幀內(nèi)預(yù)測(cè)，及2Nx2N、2NxN、Nx2N或NxN的對(duì)稱PU大小的幀間預(yù) 測(cè)。HM還支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的幀間預(yù)測(cè)的不對(duì)稱劃分。在 不對(duì)稱劃分中，不分割⑶的一個(gè)方向，但是另一方向分割成25 %和75 %。⑶的對(duì)應(yīng)于25 % 分割區(qū)的部分由"η"指示，接著是用"上方"、"下方"、"左側(cè)"或"右側(cè)"指示。因而，舉例來 說，"2NxnU"是指水平地分割的2Nx2NCU，其中上方有2ΝχΟ. 5Ν PU，而下方有2Nxl. 5NPU。
[0077] 在本發(fā)明中，"NxN"與"Ν乘Ν"可互換使用來根據(jù)垂直及水平尺寸指代視頻塊的像 素尺寸，例如，16x16像素或16乘16像素。一般來說，16x16塊將在垂直方向上具有16個(gè) 像素（y = 16)，且在水平方向上具有16個(gè)像素（X = 16)。同樣，NxN塊總體上在垂直方向 上具有N個(gè)像素，并且在水平方向上具有N個(gè)像素，其中N表示非負(fù)整數(shù)值。塊中的像素可 布置成行及列。此外，塊未必需要在水平方向與垂直方向上具有相同數(shù)目個(gè)像素。舉例來 說，塊可包括NxM像素，其中Μ未必等于N。
[0078] 在使用CU的PU的幀內(nèi)預(yù)測(cè)性或幀間預(yù)測(cè)性譯碼之后，視頻編碼器20可以計(jì)算 ⑶的TU的殘余數(shù)據(jù)。PU可包括描述在空間域（還稱為像素域）中產(chǎn)生預(yù)測(cè)性像素?cái)?shù)據(jù)的 方法或模式的語法數(shù)據(jù)，并且TU可包括在對(duì)殘余視頻數(shù)據(jù)應(yīng)用了變換（例如離散余弦變換 (DCT)、整數(shù)變換、小波變換或概念上類似的變換）變換域中的系數(shù)。所述殘余數(shù)據(jù)可以對(duì) 應(yīng)于未編碼圖片的像素與對(duì)應(yīng)于PU的預(yù)測(cè)值之間的像素差。視頻編碼器20可以形成包含 用于CU的殘余數(shù)據(jù)的TU，并且接著變換TU以產(chǎn)生用于CU的變換系數(shù)。
[0079] 在變換之后，視頻編碼器20可量化變換系數(shù)。量化總體上是指變換系數(shù)經(jīng)量化以 可能減少用于表示系數(shù)的數(shù)據(jù)量從而提供進(jìn)一步壓縮的過程。量化過程可減少與變換系數(shù) 中的一些或全部相關(guān)聯(lián)的位深度。舉例來說，η位值可在量化期間被下舍入到m位值，其中 η大于m〇
[0080] 在量化之后，視頻編碼器可以掃描變換系數(shù)，從包括經(jīng)量化變換系數(shù)的二維矩陣 產(chǎn)生一維向量。掃描可以經(jīng)過設(shè)計(jì)以將較高能量（并且因此較低頻率）的系數(shù)放置在陣列 正面，并且將較低能量（并且因此較高頻率）的系數(shù)放置在陣列的背面。在一些實(shí)例中，視 頻編碼器20可以利用預(yù)定義掃描次序來掃描經(jīng)量化變換系數(shù)以產(chǎn)生可被熵編碼的串行化 向量。在其它實(shí)例中，視頻編碼器20可以執(zhí)行自適應(yīng)掃描。在掃描經(jīng)量化變換系數(shù)以形成 一維向量之后，視頻編碼器20可以例如根據(jù)上下文自適應(yīng)可變長度譯碼（CAVLC)、上下文 自適應(yīng)二進(jìn)制算術(shù)譯碼（CABAC)、基于語法的上下文自適應(yīng)二進(jìn)制算術(shù)譯碼（SBAC)、概率 區(qū)間劃分熵（PIPE)譯碼或另一熵編碼方法對(duì)一維向量進(jìn)行編碼。視頻編碼器還20可對(duì)與 經(jīng)編碼的視頻數(shù)據(jù)相關(guān)聯(lián)的語法元素進(jìn)行熵編碼以供視頻解碼器30在對(duì)視頻數(shù)據(jù)解碼時(shí) 使用。
[0081] 為了執(zhí)行CABAC，視頻編碼器20可以向待發(fā)射的符號(hào)指派上下文模型內(nèi)的一個(gè)上 下文。舉例來說，所述上下文可以涉及符號(hào)的相鄰值是否為非零。為了執(zhí)行CAVLC，視頻編 碼器20可以選擇用于待發(fā)射的符號(hào)的可變長度碼。VLC中的碼字可經(jīng)建構(gòu)而使得相對(duì)短的 代碼對(duì)應(yīng)于更有可能的符號(hào)，而較長的代碼對(duì)應(yīng)于不太可能的符號(hào)。以此方式，使用VLC可 以舉例來說實(shí)現(xiàn)優(yōu)于對(duì)待發(fā)射的每一符號(hào)使用等長碼字的位節(jié)省。概率確定可基于指派給 符號(hào)的上下文。
[0082] 視頻編碼器20可例如在圖片標(biāo)頭、塊標(biāo)頭、切片標(biāo)頭或G0P標(biāo)頭中進(jìn)一步將例如 基于塊的語法數(shù)據(jù)、基于圖片的語法數(shù)據(jù)及基于G0P的語法數(shù)據(jù)等語法數(shù)據(jù)發(fā)送到視頻解 碼器30。G0P語法數(shù)據(jù)可描述相應(yīng)G0P中的數(shù)個(gè)圖片，且圖片語法數(shù)據(jù)可指示用以對(duì)對(duì)應(yīng) 圖片進(jìn)行編碼的編碼/預(yù)測(cè)模式。
[0083] 視頻解碼器30可在接收經(jīng)譯碼視頻數(shù)據(jù)后，即刻可執(zhí)行通常類似于關(guān)于視頻編 碼器20描述的編碼遍次的解碼遍次。舉例來說，在解碼過程期間，視頻解碼器30可接收表 示經(jīng)編碼視頻切片的視頻塊及相關(guān)聯(lián)語法元素的經(jīng)編碼視頻位流。視頻解碼器30可對(duì)位 流進(jìn)行解碼以產(chǎn)生經(jīng)量化系數(shù)、運(yùn)動(dòng)向量及其它語法元素。視頻解碼器30可以接收在視頻 切片層級(jí)及/或視頻塊層級(jí)處的語法元素。
[0084] 如上所指出，視頻編碼器20及/或視頻解碼器30可經(jīng)配置以使用各種大小的塊， 且所述塊可為非正方形。舉例來說，視頻編碼器20及/或視頻解碼器30可使用為非正方 形（例如，矩形）的PU及TU。
[0085] 在一些情況下，非正方形塊可將復(fù)雜性引入到視頻譯碼過程。舉例來說，使用一或 多個(gè)非正方形PU及一或多個(gè)正方形TU對(duì)視頻數(shù)據(jù)塊進(jìn)行譯碼可產(chǎn)生應(yīng)用于一個(gè)以上預(yù)測(cè) 分割區(qū)的變換，這可能影響譯碼效率。在另一實(shí)例中，在位流中用信號(hào)發(fā)出非正方形TU的 布置可為相對(duì)復(fù)雜的。另外，例如HEVC標(biāo)準(zhǔn)等一些視頻譯碼標(biāo)準(zhǔn)可具有用于應(yīng)用非正方形 變換的相對(duì)復(fù)雜的規(guī)則。
[0086] 本發(fā)明的方面通常涉及簡化非正方形變換的應(yīng)用。舉例來說，根據(jù)本發(fā)明的方面， 視頻編碼器20及/或視頻解碼器30可確定用于預(yù)測(cè)與包含一或多個(gè)非正方形分割區(qū)的視 頻數(shù)據(jù)塊相關(guān)聯(lián)的像素值的預(yù)測(cè)分割結(jié)構(gòu)。視頻編碼器20及/或視頻解碼器30還可確定 用于將一或多個(gè)變換應(yīng)用于經(jīng)預(yù)測(cè)像素值的變換分割結(jié)構(gòu)。在一些實(shí)例中，視頻編碼器20 及/或視頻解碼器30可將父代TU分裂成一或多個(gè)子TU。在變換分割結(jié)構(gòu)包含將父代TU 分裂成一或多個(gè)正方形變換時(shí)，視頻編碼器20及/或視頻解碼器30可確定一或多個(gè)正方 形變換以使得一或多個(gè)正方形變換中的每一者恰好對(duì)應(yīng)于一個(gè)預(yù)測(cè)分割區(qū)。在變換分割結(jié) 構(gòu)包含將父代TU分裂成一或多個(gè)非正方形變換時(shí)，視頻編碼器20及/或視頻解碼器30可 至少部分基于一或多個(gè)非正方形變換為非正方形而確定是否分裂一或多個(gè)非正方形變換。 視頻編碼器20及/或視頻解碼器30接著可基于所述所確定的變換分割結(jié)構(gòu)對(duì)經(jīng)預(yù)測(cè)像素 值進(jìn)行譯碼。
[0087] 舉例來說，關(guān)于確定一或多個(gè)正方形變換以使得一或多個(gè)正方形變換中的每一者 恰好對(duì)應(yīng)于一個(gè)預(yù)測(cè)分割區(qū)，根據(jù)本發(fā)明的方面，視頻編碼器20及/或視頻解碼器30可將 變換應(yīng)用于殘余視頻數(shù)據(jù)而不越過預(yù)測(cè)分割邊界。也就是說，根據(jù)本發(fā)明的方面，視頻編碼 器20及/或視頻解碼器30可將正方形變換應(yīng)用于具有一或多個(gè)非正方形分割區(qū)的PU，以 使得變換不會(huì)應(yīng)用于一個(gè)以上預(yù)測(cè)分割區(qū)。
[0088] 在一些情況下，可結(jié)合強(qiáng)制變換分裂過程來實(shí)施技術(shù)。舉例來說，如下文較詳細(xì)描 述，最大RQT深度可由視頻編碼器20選擇，且由視頻解碼器30使用高階語法用信號(hào)發(fā)出。 最大RQT深度限制變換分裂可出現(xiàn)的次數(shù)。舉例來說，如果將最大RQT深度設(shè)定成1，那么 僅存在一個(gè)變換選項(xiàng)，即深度0變換。
[0089] 然而，在一些情況下，視頻編碼器20及/或視頻解碼器30可基于預(yù)測(cè)分割邊界執(zhí) 行強(qiáng)制變換分裂（例如，超越設(shè)定的最大RQT深度）。舉例來說，如下文較詳細(xì)描述，深度0 變換具有CU的大小，且因此將橫跨任何非2Nx2N PU (例如，具有多個(gè)預(yù)測(cè)分割區(qū)的任何PU) 的預(yù)測(cè)分割邊界。因此，對(duì)于非2Nx2N PU，視頻編碼器20及/或視頻解碼器30可執(zhí)行強(qiáng)制 分裂以防止單一變換橫跨一個(gè)以上PU。
[0090] 然而，在非正方形變換不可用的情況下，執(zhí)行強(qiáng)制變換分裂仍可產(chǎn)生橫跨PU的一 個(gè)以上預(yù)測(cè)分割區(qū)的TU。舉例來說，如下文較詳細(xì)描述，某些預(yù)測(cè)模式（例如，不對(duì)稱運(yùn)動(dòng) 分割（AMP)模式）的強(qiáng)制變換分裂可致使變換橫跨運(yùn)動(dòng)邊界（使經(jīng)預(yù)測(cè)運(yùn)動(dòng)分割區(qū)獨(dú)立地 分開的邊界）。也就是說，將一個(gè)變換應(yīng)用于兩個(gè)不同預(yù)測(cè)分割區(qū)。
[0091] 在一些實(shí)例中，本發(fā)明的技術(shù)可應(yīng)用于強(qiáng)制變換分裂過程中。舉例來說，視頻編碼 器20及/或視頻解碼器30可在變換越過例如AMP運(yùn)動(dòng)邊界等預(yù)測(cè)分割邊界的任何時(shí)間執(zhí) 行強(qiáng)制分裂。在執(zhí)行強(qiáng)制分裂時(shí)，視頻編碼器20及/或視頻解碼器30可繼續(xù)分裂變換直 到所得變換不橫跨多個(gè)預(yù)測(cè)分割區(qū)（例如，變換恰好對(duì)應(yīng)于一個(gè)預(yù)測(cè)分割區(qū)）為止。以此 方式，視頻編碼器20及/或視頻解碼器30可使用不越過預(yù)測(cè)分割邊界的最大變換。
[0092] 關(guān)于基于非正方形變換為非正方形而確定是否分裂一或多個(gè)非正方形變換，根據(jù) 本發(fā)明的方面，視頻編碼器20及/或視頻解碼器可遵守一或多個(gè)預(yù)定規(guī)則以簡化非正方形 變換的應(yīng)用。在一實(shí)例中，視頻編碼器20及/或視頻解碼器可避免分裂非正方形變換。換 句話說，在視頻編碼器20及/或視頻解碼器確定TU已分裂成至少一個(gè)非正方形TU時(shí)，視 頻編碼器20及/或視頻解碼器可確定非正方形TU不進(jìn)一步分裂。
[0093] 下文表1中展示了實(shí)例。表1通常描述基于包含TU的⑶的大小的用于明度（Y) 及色度（υ，ν)τυ兩者的TU的準(zhǔn)許大小的實(shí)例。應(yīng)指出，色度塊通常相對(duì)于對(duì)應(yīng)明度塊降取 樣達(dá)四分之一像素分辨率。此外，RQT結(jié)構(gòu)包含在對(duì)應(yīng)于各種TU大小的各種深度處的節(jié)點(diǎn)， 其中深度0通常指示父代TU(例如，父代明度變換單元及/或父代色度變換單元）不分裂， 深度1指示父代TU分裂一次，且深度2指示在深度1處的TU進(jìn)一步分裂。根據(jù)上文所描 述的實(shí)例，在TU分裂成一或多個(gè)非正方形TU之后，非正方形TU不進(jìn)一步分裂。因此，表1 中"NA"條目可指示對(duì)應(yīng)深度歸因于父代TU為非正方形TU而不可用。
[0094] 表 1
[0095]

【權(quán)利要求】
1. 一種對(duì)視頻數(shù)據(jù)進(jìn)行解碼的方法，所述方法包括： 確定用于預(yù)測(cè)與視頻數(shù)據(jù)塊相關(guān)聯(lián)的像素值的預(yù)測(cè)分割結(jié)構(gòu)，其中所述預(yù)測(cè)分割結(jié)構(gòu) 包含一或多個(gè)非正方形分割區(qū)； 確定用于將一或多個(gè)變換應(yīng)用于所述經(jīng)預(yù)測(cè)像素值的變換分割結(jié)構(gòu)，其中確定變換分 裂結(jié)構(gòu)包含： 分裂父代變換單元； 在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)正方形變換后，即 刻確定一或多個(gè)正方形變換以使得所述一或多個(gè)正方形變換中的每一者恰好對(duì)應(yīng)于一個(gè) 預(yù)測(cè)分割區(qū)；及 在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)非正方形變換后， 即刻至少部分基于所述一或多個(gè)非正方形變換為非正方形而確定是否分裂所述一或多個(gè) 非正方形變換；及 基于所述所確定的變換分割結(jié)構(gòu)對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行解碼。
2. 根據(jù)權(quán)利要求1所述的方法，其中確定所述一或多個(gè)正方形變換包括分裂跨越所述 一或多個(gè)非正方形分割區(qū)的預(yù)測(cè)分割邊界而應(yīng)用的變換，而并不分裂不跨越預(yù)測(cè)分割邊界 而應(yīng)用的變換。
3. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括基于與所述視頻數(shù)據(jù)塊相關(guān)聯(lián)的譯碼特 性自適應(yīng)地啟用所述一或多個(gè)正方形變換的所述確定，所述譯碼特性包括與所述塊相關(guān)聯(lián) 的塊大小、圖片類型、圖片大小、預(yù)測(cè)模式、運(yùn)動(dòng)向量振幅及參考索引中的一者。
4. 根據(jù)權(quán)利要求1所述的方法，其中確定所述一或多個(gè)正方形變換包括確定用于將不 同大小的變換應(yīng)用于所述殘余值的變換分割結(jié)構(gòu)。
5. 根據(jù)權(quán)利要求4所述的方法，其中所述不同大小的變換包含至少一個(gè)變換，所述變 換具有小于由殘余四叉樹指示的最小變換大小的大小。
6. 根據(jù)權(quán)利要求1所述的方法，其中所述預(yù)測(cè)分割結(jié)構(gòu)包括大小為nLx2N、nRx2N、 2NxnU及2NxnD中的一者的預(yù)測(cè)單元。
7. 根據(jù)權(quán)利要求1所述的方法，其中確定是否分裂所述一或多個(gè)非正方形變換包括確 定所述一或多個(gè)非正方形變換無法進(jìn)一步分裂。
8. 根據(jù)權(quán)利要求1所述的方法，其中確定是否分裂所述一或多個(gè)非正方形變換包括確 定所述一或多個(gè)非正方形變換可僅進(jìn)一步分裂成其它非正方形TU。
9. 根據(jù)權(quán)利要求8所述的方法，其中所述父代變換單元包括明度父代變換單元，且其 中所述一或多個(gè)非正方形變換包括一或多個(gè)明度非正方形變換，所述方法進(jìn)一步包括： 將父代色度變換單元分裂成一或多個(gè)色度非正方形變換，其中所述父代色度變換單元 對(duì)應(yīng)于所述父代明度變換單元；及 分裂所述一或多個(gè)色度非正方形變換。
10. 根據(jù)權(quán)利要求1所述的方法，其中確定是否分裂所述一或多個(gè)非正方形變換包括 至少部分基于對(duì)應(yīng)于所述父代變換單元的譯碼單元的大小、包含所述父代變換單元的圖片 的類型、包含所述父代變換單元的所述圖片的像素分辨率及對(duì)應(yīng)于所述父代變換單元的所 述譯碼單元的塊類型中的一或多者確定是否分裂所述一或多個(gè)非正方形變換。
11. 一種對(duì)視頻數(shù)據(jù)進(jìn)行編碼的方法，所述方法包括： 確定用于預(yù)測(cè)與視頻數(shù)據(jù)塊相關(guān)聯(lián)的像素值的預(yù)測(cè)分割結(jié)構(gòu)，其中所述預(yù)測(cè)分割結(jié)構(gòu) 包含一或多個(gè)非正方形分割區(qū)； 確定用于將一或多個(gè)變換應(yīng)用于所述經(jīng)預(yù)測(cè)像素值的變換分割結(jié)構(gòu)，其中確定變換分 裂結(jié)構(gòu)包含： 分裂父代變換單元； 在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)正方形變換后，即 刻確定一或多個(gè)正方形變換以使得所述一或多個(gè)正方形變換中的每一者恰好對(duì)應(yīng)于一個(gè) 預(yù)測(cè)分割區(qū)；及 在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)非正方形變換后， 即刻至少部分基于所述一或多個(gè)非正方形變換為非正方形而確定是否分裂所述一或多個(gè) 非正方形變換；及 基于所述所確定的變換分割結(jié)構(gòu)對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行編碼。
12. 根據(jù)權(quán)利要求11所述的方法，其中確定所述一或多個(gè)正方形變換包括分裂跨越所 述一或多個(gè)非正方形分割區(qū)的預(yù)測(cè)分割邊界而應(yīng)用的變換，而并不分裂不跨越預(yù)測(cè)分割邊 界而應(yīng)用的變換。
13. 根據(jù)權(quán)利要求11所述的方法，其進(jìn)一步包括基于與所述視頻數(shù)據(jù)塊相關(guān)聯(lián)的譯碼 特性自適應(yīng)地啟用所述一或多個(gè)正方形變換的所述確定，所述譯碼特性包括與所述塊相關(guān) 聯(lián)的塊大小、圖片類型、圖片大小、預(yù)測(cè)模式、運(yùn)動(dòng)向量振幅及參考索引中的一者。
14. 根據(jù)權(quán)利要求11所述的方法，其中確定所述一或多個(gè)正方形變換包括確定用于將 不同大小的變換應(yīng)用于所述殘余值的變換分割結(jié)構(gòu)。
15. 根據(jù)權(quán)利要求14所述的方法，其中所述不同大小的變換包含至少一個(gè)變換，所述 變換具有小于由殘余四叉樹指示的最小變換大小的大小。
16. 根據(jù)權(quán)利要求11所述的方法，其中所述預(yù)測(cè)分割結(jié)構(gòu)包括大小為nLx2N、nRx2N、 2NxnU及2NxnD中的一者的預(yù)測(cè)單元。
17. 根據(jù)權(quán)利要求11所述的方法，其中確定是否分裂所述一或多個(gè)非正方形變換包括 確定所述一或多個(gè)非正方形變換無法進(jìn)一步分裂。
18. 根據(jù)權(quán)利要求11所述的方法，其中確定是否分裂所述一或多個(gè)非正方形變換包括 確定所述一或多個(gè)非正方形變換可僅進(jìn)一步分裂成其它非正方形TU。
19. 根據(jù)權(quán)利要求18所述的方法，其中所述父代變換單元包括明度父代變換單元，且 其中所述一或多個(gè)非正方形變換包括一或多個(gè)明度非正方形變換，所述方法進(jìn)一步包括： 將父代色度變換單元分裂成一或多個(gè)色度非正方形變換，其中所述父代色度變換單元 對(duì)應(yīng)于所述父代明度變換單元；及 分裂所述一或多個(gè)色度非正方形變換。
20. 根據(jù)權(quán)利要求11所述的方法，其中確定是否分裂所述一或多個(gè)非正方形變換包括 至少部分基于對(duì)應(yīng)于所述父代變換單元的譯碼單元的大小、包含所述父代變換單元的圖片 的類型、包含所述父代變換單元的所述圖片的像素分辨率及對(duì)應(yīng)于所述父代變換單元的所 述譯碼單元的塊類型中的一或多者確定是否分裂所述一或多個(gè)非正方形變換。
21. -種用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的設(shè)備，其包括一或多個(gè)處理器，所述處理器經(jīng)配置 以： 確定用于預(yù)測(cè)與視頻數(shù)據(jù)塊相關(guān)聯(lián)的像素值的預(yù)測(cè)分割結(jié)構(gòu)，其中所述預(yù)測(cè)分割結(jié)構(gòu) 包含一或多個(gè)非正方形分割區(qū)； 確定用于將一或多個(gè)變換應(yīng)用于所述經(jīng)預(yù)測(cè)像素值的變換分割結(jié)構(gòu)，其中確定變換分 裂結(jié)構(gòu)包含： 分裂父代變換單元； 在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)正方形變換后，即 刻確定一或多個(gè)正方形變換以使得所述一或多個(gè)正方形變換中的每一者恰好對(duì)應(yīng)于一個(gè) 預(yù)測(cè)分割區(qū)；及 在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)非正方形變換后， 即刻至少部分基于所述一或多個(gè)非正方形變換為非正方形而確定是否分裂所述一或多個(gè) 非正方形變換；及 基于所述所確定的變換分割結(jié)構(gòu)對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行譯碼。
22. 根據(jù)權(quán)利要求21所述的設(shè)備，其中為了確定所述一或多個(gè)正方形變換，所述一或 多個(gè)處理器經(jīng)配置以分裂跨越所述一或多個(gè)非正方形分割區(qū)的預(yù)測(cè)分割邊界而應(yīng)用的變 換，而并不分裂不跨越預(yù)測(cè)分割邊界而應(yīng)用的變換。
23. 根據(jù)權(quán)利要求21所述的設(shè)備，其中所述一或多個(gè)處理器經(jīng)進(jìn)一步配置以基于與所 述視頻數(shù)據(jù)塊相關(guān)聯(lián)的譯碼特性自適應(yīng)地啟用所述一或多個(gè)正方形變換的所述確定，所述 譯碼特性包括與所述塊相關(guān)聯(lián)的塊大小、圖片類型、圖片大小、預(yù)測(cè)模式、運(yùn)動(dòng)向量振幅及 參考索引中的一者。
24. 根據(jù)權(quán)利要求21所述的設(shè)備，其中為了確定所述一或多個(gè)正方形變換，所述一或 多個(gè)處理器經(jīng)配置以確定用于將不同大小的變換應(yīng)用于所述殘余值的變換分割結(jié)構(gòu)。
25. 根據(jù)權(quán)利要求24所述的設(shè)備，其中所述不同大小的變換包含至少一個(gè)變換，所述 變換具有小于由殘余四叉樹指示的最小變換大小的大小。
26. 根據(jù)權(quán)利要求21所述的設(shè)備，其中所述預(yù)測(cè)分割結(jié)構(gòu)包括大小為nLx2N、nRx2N、 2NxnU及2NxnD中的一者的預(yù)測(cè)單元。
27. 根據(jù)權(quán)利要求21所述的設(shè)備，其中為了確定是否分裂所述一或多個(gè)非正方形變 換，所述一或多個(gè)處理器經(jīng)配置以確定所述一或多個(gè)非正方形變換無法進(jìn)一步分裂。
28. 根據(jù)權(quán)利要求21所述的設(shè)備，其中為了確定是否分裂所述一或多個(gè)非正方形變 換，所述一或多個(gè)處理器經(jīng)配置以確定所述一或多個(gè)非正方形變換可僅進(jìn)一步分裂成其它 非正方形TU。
29. 根據(jù)權(quán)利要求28所述的設(shè)備，其中所述父代變換單元包括明度父代變換單元，且 其中所述一或多個(gè)非正方形變換包括一或多個(gè)明度非正方形變換，所述一或多個(gè)處理器經(jīng) 進(jìn)一步配置以： 將父代色度變換單元分裂成一或多個(gè)色度非正方形變換，其中所述父代色度變換單元 對(duì)應(yīng)于所述父代明度變換單元；及 分裂所述一或多個(gè)色度非正方形變換。
30. 根據(jù)權(quán)利要求21所述的設(shè)備，其中為了確定是否分裂所述一或多個(gè)非正方形變 換，所述一或多個(gè)處理器經(jīng)配置以至少部分基于對(duì)應(yīng)于所述父代變換單元的譯碼單元的大 小、包含所述父代變換單元的圖片的圖片類型、包含所述父代變換單元的所述圖片的像素 分辨率及對(duì)應(yīng)于所述父代變換單元的所述譯碼單元的塊類型中的一或多者確定是否分裂 所述一或多個(gè)非正方形變換。
31. 根據(jù)權(quán)利要求21所述的設(shè)備，其中為了對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行譯碼，所述一或 多個(gè)處理器經(jīng)配置以對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行編碼，其中對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行編碼包 括在經(jīng)編碼位流中提供所述經(jīng)預(yù)測(cè)像素值的指示。
32. 根據(jù)權(quán)利要求21所述的設(shè)備，其中為了對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行譯碼，所述一或 多個(gè)處理器經(jīng)配置以對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行解碼，其中對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行解碼包 括從經(jīng)編碼位流獲得所述經(jīng)預(yù)測(cè)像素值的指示。
33. -種用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的設(shè)備，所述設(shè)備包括： 用于確定用于預(yù)測(cè)與視頻數(shù)據(jù)塊相關(guān)聯(lián)的像素值的預(yù)測(cè)分割結(jié)構(gòu)的裝置，其中所述預(yù) 測(cè)分割結(jié)構(gòu)包含一或多個(gè)非正方形分割區(qū)； 用于確定用于將一或多個(gè)變換應(yīng)用于所述經(jīng)預(yù)測(cè)像素值的變換分割結(jié)構(gòu)的裝置，其中 確定變換分裂結(jié)構(gòu)包含： 分裂父代變換單元； 在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)正方形變換后，即 刻確定一或多個(gè)正方形變換以使得所述一或多個(gè)正方形變換中的每一者恰好對(duì)應(yīng)于一個(gè) 預(yù)測(cè)分割區(qū)；及 在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)非正方形變換后， 即刻至少部分基于所述一或多個(gè)非正方形變換為非正方形而確定是否分裂所述一或多個(gè) 非正方形變換；及 基于所述所確定的變換分割結(jié)構(gòu)對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行譯碼。
34. 根據(jù)權(quán)利要求33所述的設(shè)備，其中所述用于確定所述一或多個(gè)正方形變換的裝置 包括用于分裂跨越所述一或多個(gè)非正方形分割區(qū)的預(yù)測(cè)分割邊界而應(yīng)用的變換而并不分 裂不跨越預(yù)測(cè)分割邊界而應(yīng)用的變換的裝置。
35. 根據(jù)權(quán)利要求33所述的設(shè)備，其進(jìn)一步包括用于基于與所述視頻數(shù)據(jù)塊相關(guān)聯(lián)的 譯碼特性自適應(yīng)地啟用所述一或多個(gè)正方形變換的所述確定的裝置，所述譯碼特性包括與 所述塊相關(guān)聯(lián)的塊大小、圖片類型、圖片大小、預(yù)測(cè)模式、運(yùn)動(dòng)向量振幅及參考索引中的一 者。
36. 根據(jù)權(quán)利要求33所述的設(shè)備，其中所述用于確定所述一或多個(gè)正方形變換的裝置 包括用于確定用于將不同大小的變換應(yīng)用于所述殘余值的變換分割結(jié)構(gòu)的裝置。
37. 根據(jù)權(quán)利要求36所述的設(shè)備，其中所述不同大小的變換包含至少一個(gè)變換，所述 變換具有小于由殘余四叉樹指示的最小變換大小的大小。
38. 根據(jù)權(quán)利要求33所述的設(shè)備，其中所述預(yù)測(cè)分割結(jié)構(gòu)包括大小為nLx2N、nRx2N、 2NxnU及2NxnD中的一者的預(yù)測(cè)單元。
39. 根據(jù)權(quán)利要求33所述的設(shè)備，其中所述用于確定是否分裂所述一或多個(gè)非正方形 變換的裝置包括用于確定所述一或多個(gè)非正方形變換無法進(jìn)一步分裂的裝置。
40. 根據(jù)權(quán)利要求33所述的設(shè)備，其中所述用于確定是否分裂所述一或多個(gè)非正方形 變換的裝置包括用于確定所述一或多個(gè)非正方形變換可僅進(jìn)一步分裂成其它非正方形TU 的裝置。
41. 根據(jù)權(quán)利要求40所述的設(shè)備，其中所述父代變換單元包括明度父代變換單元，且 其中所述一或多個(gè)非正方形變換包括一或多個(gè)明度非正方形變換，所述設(shè)備進(jìn)一步包括： 用于將父代色度變換單元分裂成一或多個(gè)色度非正方形變換的裝置，其中所述父代色 度變換單元對(duì)應(yīng)于所述父代明度變換單元；及 用于分裂所述一或多個(gè)色度非正方形變換的裝置。
42. 根據(jù)權(quán)利要求33所述的設(shè)備，其中所述用于確定是否分裂所述一或多個(gè)非正方形 變換的裝置包括用于至少部分基于對(duì)應(yīng)于所述父代變換單元的譯碼單元的大小、包含所述 父代變換單元的圖片的類型、包含所述父代變換單元的所述圖片的像素分辨率及對(duì)應(yīng)于所 述父代變換單元的所述譯碼單元的塊類型中的一或多者確定是否分裂所述一或多個(gè)非正 方形變換的裝置。
43. -種非暫時(shí)計(jì)算機(jī)可讀媒體，其上存儲(chǔ)有指令，所述指令在執(zhí)行時(shí)致使一或多個(gè)處 理器： 確定用于預(yù)測(cè)與視頻數(shù)據(jù)塊相關(guān)聯(lián)的像素值的預(yù)測(cè)分割結(jié)構(gòu)，其中所述預(yù)測(cè)分割結(jié)構(gòu) 包含一或多個(gè)非正方形分割區(qū)； 確定用于將一或多個(gè)變換應(yīng)用于所述經(jīng)預(yù)測(cè)像素值的變換分割結(jié)構(gòu)，其中確定變換分 裂結(jié)構(gòu)包含： 分裂父代變換單元； 在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)正方形變換后，即 刻確定一或多個(gè)正方形變換以使得所述一或多個(gè)正方形變換中的每一者恰好對(duì)應(yīng)于一個(gè) 預(yù)測(cè)分割區(qū)；及 在確定所述變換分割結(jié)構(gòu)包括將所述父代變換單元分裂成一或多個(gè)非正方形變換后， 即刻至少部分基于所述一或多個(gè)非正方形變換為非正方形而確定是否分裂所述一或多個(gè) 非正方形變換；及 基于所述所確定的變換分割結(jié)構(gòu)對(duì)所述經(jīng)預(yù)測(cè)像素值進(jìn)行譯碼。
44. 根據(jù)權(quán)利要求43所述的非暫時(shí)計(jì)算機(jī)可讀媒體，其中為了確定所述一或多個(gè)正方 形變換，所述指令致使所述一或多個(gè)處理器分裂跨越所述一或多個(gè)非正方形分割區(qū)的預(yù)測(cè) 分割邊界而應(yīng)用的變換，而并不分裂不跨越預(yù)測(cè)分割邊界而應(yīng)用的變換。
45. 根據(jù)權(quán)利要求43所述的非暫時(shí)計(jì)算機(jī)可讀媒體，其進(jìn)一步包括致使所述一或多個(gè) 處理器基于與所述視頻數(shù)據(jù)塊相關(guān)聯(lián)的譯碼特性自適應(yīng)地啟用所述一或多個(gè)正方形變換 的所述確定的指令，所述譯碼特性包括與所述塊相關(guān)聯(lián)的塊大小、圖片類型、圖片大小、預(yù) 測(cè)模式、運(yùn)動(dòng)向量振幅及參考索引中的一者。
46. 根據(jù)權(quán)利要求43所述的非暫時(shí)計(jì)算機(jī)可讀媒體，其中為了確定所述一或多個(gè)正方 形變換，所述指令致使所述一或多個(gè)處理器確定用于將不同大小的變換應(yīng)用于所述殘余值 的變換分割結(jié)構(gòu)。
47. 根據(jù)權(quán)利要求46所述的非暫時(shí)計(jì)算機(jī)可讀媒體，其中所述不同大小的變換包含具 有小于由殘余四叉樹指示的最小變換大小的大小的至少一個(gè)變換。
48. 根據(jù)權(quán)利要求43所述的非暫時(shí)計(jì)算機(jī)可讀媒體，其中所述預(yù)測(cè)分割結(jié)構(gòu)包括大小 為nLx2N、nRx2N、2NxnU及2NxnD中的一者的預(yù)測(cè)單元。
49. 根據(jù)權(quán)利要求43所述的非暫時(shí)計(jì)算機(jī)可讀媒體，其中為了確定是否分裂所述一或 多個(gè)非正方形變換，所述指令致使所述一或多個(gè)處理器確定所述一或多個(gè)非正方形變換無 法進(jìn)一步分裂。
50. 根據(jù)權(quán)利要求43所述的非暫時(shí)計(jì)算機(jī)可讀媒體，其中為了確定是否分裂所述一或 多個(gè)非正方形變換，所述指令致使所述一或多個(gè)處理器確定所述一或多個(gè)非正方形變換可 僅進(jìn)一步分裂成其它非正方形TU。
51. 根據(jù)權(quán)利要求50所述的非暫時(shí)計(jì)算機(jī)可讀媒體，其中所述父代變換單元包括明度 父代變換單元，且其中所述一或多個(gè)非正方形變換包括一或多個(gè)明度非正方形變換，所述 一或多個(gè)處理器經(jīng)進(jìn)一步配置以： 將父代色度變換單元分裂成一或多個(gè)色度非正方形變換，其中所述父代色度變換單元 對(duì)應(yīng)于所述父代明度變換單元；及 分裂所述一或多個(gè)色度非正方形變換。
52. 根據(jù)權(quán)利要求43所述的非暫時(shí)計(jì)算機(jī)可讀媒體，其中為了確定是否分裂所述一或 多個(gè)非正方形變換，所述指令致使所述一或多個(gè)處理器至少部分基于對(duì)應(yīng)于所述父代變換 單元的譯碼單元的大小、包含所述父代變換單元的圖片的圖片類型、包含所述父代變換單 元的所述圖片的像素分辨率及對(duì)應(yīng)于所述父代變換單元的所述譯碼單元的塊類型中的一 或多者確定是否分裂所述一或多個(gè)非正方形變換。
【文檔編號(hào)】H04N19/122GK104285447SQ201380019938
【公開日】2015年1月14日 申請(qǐng)日期:2013年4月16日 優(yōu)先權(quán)日:2012年4月16日
【發(fā)明者】郭立威, 翔林·王, 馬爾塔·卡切維奇 申請(qǐng)人:高通股份有限公司