本申請(qǐng)是國(guó)際申請(qǐng)日為2011年10月10日、國(guó)際申請(qǐng)?zhí)枮閜ct/ep2011/067647,于2013年6月8日進(jìn)入中國(guó)國(guó)家階段的申請(qǐng)?zhí)枮?011800594042、發(fā)明創(chuàng)造名稱為“編碼器和編碼方法與解碼器和解碼方法”的申請(qǐng)的分案申請(qǐng)。
本申請(qǐng)涉及關(guān)于圖像和/或視頻編碼,特別是涉及支持塊分割和塊合并的編解碼器。
背景技術(shù):
許多圖像和/或視頻編解碼器以塊為單位處理圖像。例如,預(yù)測(cè)編解碼器使用塊顆粒度來達(dá)成下述兩方面的良好折衷:一方面極為精準(zhǔn)地設(shè)定以高空間分辨率設(shè)定的預(yù)測(cè)參數(shù),耗用過多預(yù)測(cè)參數(shù)的邊信息(sideinformation);另一方面則太過粗糙地設(shè)定預(yù)測(cè)參數(shù)導(dǎo)致因預(yù)測(cè)參數(shù)的較低空間分辨率所造成的編碼預(yù)測(cè)殘差所需的位的數(shù)量的增加。實(shí)際上,預(yù)測(cè)參數(shù)的最佳設(shè)定位于兩個(gè)極端之間的某處。
已經(jīng)做過若干的嘗試來獲得針對(duì)前文所列問題的最佳解決辦法。例如,代替使用將圖像細(xì)分成規(guī)則排列為列和行的塊的規(guī)則細(xì)分,多樹分割細(xì)分尋求針對(duì)對(duì)細(xì)分信息的合理需求來提高將圖像細(xì)分成塊的自由度。雖然如此,即使是多樹細(xì)分也需要極大量的數(shù)據(jù)的信號(hào)化,且即使在使用這樣的多樹細(xì)分之情況下,細(xì)分圖像的自由度也十分有限。
為了能夠更好地平衡一方面的信號(hào)化圖像細(xì)分所需的邊信息的量與另一方面的細(xì)分圖像的自由度,可使用塊合并以便增加信號(hào)化該合并信息所需的合理的額外數(shù)據(jù)量的可能的圖像細(xì)分?jǐn)?shù)量。對(duì)于塊合并,編碼參數(shù)需在比特流內(nèi)僅在一次內(nèi)被完整地發(fā)送,類似于彷佛所得的合并后的塊群組是該圖像的直接細(xì)分部分般。
但由于塊合并與塊細(xì)分的組合新造成的剩余冗余,仍然需要獲得更高的編碼效率。
技術(shù)實(shí)現(xiàn)要素:
如此,本發(fā)明的目標(biāo)是提供一種具提高的編碼效率的編碼概念。該目標(biāo)通過未決的獨(dú)立權(quán)利要求實(shí)現(xiàn)。
本發(fā)明的潛在構(gòu)思是如果對(duì)于圖像的當(dāng)前塊(對(duì)于該塊,比特流信號(hào)通信所支持的分割圖案之一)避免由塊合并而造成的分割的逆轉(zhuǎn),則可達(dá)成編碼效率的進(jìn)一步增高。具體地,若被信號(hào)通信的所支持的分割圖案之一指定將該塊細(xì)分成兩個(gè)或更多個(gè)細(xì)分塊(furtherblock),則執(zhí)行對(duì)全部細(xì)分塊的某些編碼參數(shù)候選的移除,但對(duì)在編碼順序中的細(xì)分塊中的第一細(xì)分塊除外。更明確言之,這些編碼參數(shù)候選被從針對(duì)相應(yīng)細(xì)分塊的編碼參數(shù)候選組中移除,該編碼參數(shù)候選的編碼參數(shù)與這樣一種細(xì)分塊中的任一細(xì)分塊所關(guān)聯(lián)的編碼參數(shù)相同:當(dāng)該種細(xì)分塊與相應(yīng)細(xì)分塊合并時(shí)將導(dǎo)致所支持的分割圖案之一。通過這種方法,避免了分割編碼與合并編碼之間的冗余,通過采用尺寸縮小的編碼參數(shù)候選組,可額外減少用于信號(hào)通信合并信息的信令開銷。此外,保持了塊分割與塊合并的結(jié)合的正面效果。即,由于結(jié)合了塊分割與塊合并,相較于沒有塊合并的情況,可獲得的分割圖案的種類增加。信號(hào)通信的開銷的增加維持在合理限制內(nèi)。最后,塊合并允許超越當(dāng)前塊的邊界而結(jié)合細(xì)分塊,因而提供了沒有塊合并就無法實(shí)現(xiàn)的顆粒度。
應(yīng)用與合并候選組略為不同觀點(diǎn),根據(jù)本發(fā)明的其他方面,以上所闡述的構(gòu)思彰顯自身于一種解碼器中,該解碼器被配置為解碼信號(hào)通信用于圖像中的當(dāng)前塊的所支持分割圖案之一的比特流,該解碼器被配置為如果該被信號(hào)通信的所支持分割圖案之一指定將當(dāng)前塊細(xì)分成兩個(gè)或多個(gè)細(xì)分塊,則對(duì)除了在編碼順序中的細(xì)分塊之中的第一細(xì)分塊外全部細(xì)分塊,從用于各個(gè)細(xì)分塊的候選塊組中移除當(dāng)與各個(gè)細(xì)分塊合并時(shí)將導(dǎo)致所支持分割圖案之一的候選塊。
一種被配置為解碼比特流(30)的解碼器(50),所述比特流信號(hào)通信用于圖像(20)中的當(dāng)前塊(40)的所支持分割圖案中的一個(gè),所述解碼器被配置為:如果被信號(hào)通信的所支持分割圖案中的一個(gè)指定所述當(dāng)前塊(40)被細(xì)分成兩個(gè)以上細(xì)分塊(50,60),則對(duì)于編碼順序(70)中除了所述細(xì)分塊中的第一細(xì)分塊以外的全部細(xì)分塊,從用于相應(yīng)的所述細(xì)分塊(60)的編碼參數(shù)候選組中,移除具有同與所述細(xì)分塊中當(dāng)與相應(yīng)的所述細(xì)分塊(60)合并時(shí)將導(dǎo)致所支持的分割圖案之一的任一個(gè)細(xì)分塊相關(guān)聯(lián)的編碼參數(shù)相同的編碼參數(shù)的編碼參數(shù)候選。
其中,所述解碼器(50)被配置為:如果未被移除的編碼參數(shù)候選的數(shù)目不為零,則根據(jù)所述未被移除的編碼參數(shù)候選中的一個(gè)來設(shè)定與所述相應(yīng)細(xì)分塊(60)相關(guān)聯(lián)的編碼參數(shù)。
其中,所述解碼器(50)被配置為:如果未被移除的編碼參數(shù)候選的數(shù)目不為零,則帶有或不帶有額外的提取地和/或帶有或不帶有根據(jù)時(shí)間距離定標(biāo)地,將與所述相應(yīng)細(xì)分塊相關(guān)聯(lián)的編碼參數(shù)設(shè)定為等于所述未被移除的編碼參數(shù)候選中的一個(gè)。
其中,所述解碼器被配置為支持用于所述當(dāng)前塊的內(nèi)部或相互間預(yù)測(cè)模式,并僅在所述當(dāng)前塊(40)被以相互間預(yù)測(cè)模式編碼的情況下進(jìn)行所述合并和移除。
其中,所述編碼參數(shù)是預(yù)測(cè)參數(shù),所述解碼器被配置為使用所述相應(yīng)細(xì)分塊(60)的所述預(yù)測(cè)參數(shù)以導(dǎo)出用于所述相應(yīng)細(xì)分塊(60)的預(yù)測(cè)信號(hào)。
其中,所述解碼器被配置為:根據(jù)用于相應(yīng)細(xì)分塊的未被移除的編碼參數(shù)候選的數(shù)目,如果用于所述相應(yīng)細(xì)分塊的未被移除的編碼參數(shù)候選的數(shù)目大于1,則僅期望所述比特流(30)包括指定所述未被移除的編碼參數(shù)候選中的哪一個(gè)被采用用于合并的語(yǔ)法元素。
其中,所述解碼器(50)被配置為基于與先前已解碼的塊相關(guān)聯(lián)的編碼參數(shù)確定用于所述相應(yīng)細(xì)分塊(60)的編碼參數(shù)候選組。
其中,所述解碼器(50)被配置為:至少部分基于與相鄰于所述相應(yīng)細(xì)分塊并分別位于所述當(dāng)前塊內(nèi)部和外部的先前已解碼的塊相關(guān)聯(lián)的所述編碼參數(shù),來確定用于所述相應(yīng)細(xì)分塊的編碼參數(shù)候選組。
其中,所述解碼器(50)被配置為:從除了被以內(nèi)部預(yù)測(cè)模式編碼的塊之外的先前已解碼塊的初始組中確定用于所述相應(yīng)細(xì)分塊的編碼參數(shù)候選組。
其中,所述解碼器(50)被配置為根據(jù)所述比特流(30)中所包含的細(xì)分信息將所述圖像(20)細(xì)分為編碼塊,所述編碼塊包括所述當(dāng)前塊。
其中,所述解碼器(50)被配置為根據(jù)所述比特流中所包含的進(jìn)一步細(xì)分信息將所述當(dāng)前塊(40)進(jìn)一步細(xì)分為一個(gè)或多個(gè)變換塊,并以所述變換塊為單位從比特流(30)中導(dǎo)出所述當(dāng)前塊(40)的殘差信號(hào)。
其中,所述解碼器被配置為:如果所述被信號(hào)通信的所支持分割圖案中的一個(gè)指定將所述塊細(xì)分成兩個(gè)細(xì)分塊,則對(duì)于編碼順序中的所述細(xì)分塊中的第二細(xì)分塊,從用于所述第二細(xì)分塊的編碼參數(shù)候選組中移除具有同與編碼順序中的所述細(xì)分塊中的第一細(xì)分塊相關(guān)聯(lián)的編碼參數(shù)相同的編碼參數(shù)的編碼參數(shù)候選。
其中,所支持的分割圖案包括無分割模式、水平分割模式和垂直分割模式,所述解碼器被配置為:如果所述被信號(hào)通信的所支持分割圖案中的一個(gè)指定將所述塊細(xì)分為四個(gè)細(xì)分塊,則對(duì)于編碼順序中的所述細(xì)分塊中的第四塊,從用于所述第四細(xì)分塊的編碼參數(shù)候選組中,移除具有同與所述細(xì)分塊中位于與所述第四細(xì)分塊相同行中的一個(gè)細(xì)分塊相關(guān)聯(lián)的編碼參數(shù)相同的編碼參數(shù)的編碼參數(shù)候選,前提是所述細(xì)分塊中在不同行中的另外兩個(gè)具有與其相關(guān)聯(lián)的彼此相等的編碼參數(shù),以及對(duì)于所述第四塊,從用于所述第四細(xì)分塊的編碼參數(shù)候選組中,移除具有同與所述細(xì)分塊中位于與所述第四細(xì)分塊相同列中的一個(gè)細(xì)分塊相關(guān)聯(lián)的編碼參數(shù)相同的編碼參數(shù)的編碼參數(shù)候選,前提是所述細(xì)分塊中在不同列中的另外兩個(gè)具有與其相關(guān)聯(lián)的彼此相等的編碼參數(shù)。
一種被配置為將圖像(20)編碼為比特流(30)的編碼器(10),所述編碼器被配置為:在比特流(30)中信號(hào)通信用于當(dāng)前塊(40)的所支持的分割圖案中的一個(gè);以及如果被信號(hào)通信的所支持的分割圖案中的一個(gè)指定將所述當(dāng)前塊(40)分割為兩個(gè)以上的細(xì)分塊(50,60),則對(duì)于編碼順序(70)中除了所述細(xì)分塊中的第一細(xì)分塊(50)外的所有細(xì)分塊(60),從用于相應(yīng)所述細(xì)分塊(60)的編碼參數(shù)候選組中,移除具有同與所述細(xì)分塊中當(dāng)與所述相應(yīng)細(xì)分塊合并時(shí)將導(dǎo)致所支持的分割圖案之一的任一個(gè)細(xì)分塊相關(guān)聯(lián)的編碼參數(shù)相同的編碼參數(shù)的編碼參數(shù)候選。
一種被配置為解碼比特流的解碼器,所述比特流信號(hào)通信用于圖像當(dāng)前塊的所支持分割圖案中的一個(gè),所述解碼器被配置為:如果被信號(hào)通信的所支持分割圖案中的一個(gè)指定將所述塊分割為兩個(gè)以上細(xì)分塊,則對(duì)于編碼順序中除所述細(xì)分塊中的第一細(xì)分塊外的所有細(xì)分塊,從用于相應(yīng)細(xì)分塊的候選塊組中,移除當(dāng)與所述相應(yīng)細(xì)分塊合并時(shí)將導(dǎo)致所支持分割圖案之一的候選塊。
其中,所述解碼器被配置為:如果未被移除的候選塊的數(shù)目不為零,則通過根據(jù)與一個(gè)候選塊相關(guān)聯(lián)的編碼參數(shù)設(shè)定所述相應(yīng)細(xì)分塊的編碼參數(shù),將所述相應(yīng)細(xì)分塊與所述未被移除的候選塊中的一個(gè)合并。
其中,所述解碼器被配置為:如果未被移除的候選塊的數(shù)目不為零,則通過帶有或不帶有額外提取和/或根據(jù)時(shí)間距離定標(biāo)地設(shè)定所述相應(yīng)細(xì)分塊的編碼參數(shù)等于與一個(gè)候選塊相關(guān)聯(lián)的編碼參數(shù)。
其中,所述解碼器被配置為支持用于所述當(dāng)前塊的內(nèi)部和相互間預(yù)測(cè)模式并僅在所述當(dāng)前塊以相互間預(yù)測(cè)模式被編碼的情況下進(jìn)行所述合并和所述移除。
其中,所述編碼參數(shù)是預(yù)測(cè)參數(shù),所述解碼器被配置為使用所述相應(yīng)細(xì)分塊的所述預(yù)定參數(shù)以導(dǎo)出用于所述相應(yīng)細(xì)分塊的預(yù)定信號(hào)。
其中,所述解碼器被配置為:根據(jù)用于相應(yīng)細(xì)分塊的未被移除的候選塊的數(shù)目,如果用于所述相應(yīng)細(xì)分塊的未被移除的編碼參數(shù)候選塊的數(shù)目大于1,則僅期望所述比特流(30)包括指出所述未被移除的編碼參數(shù)候選塊中的哪一個(gè)被采用用于合并的語(yǔ)法元素。
其中,所述解碼器被配置為在先前已解碼的塊中確定用于所述相應(yīng)細(xì)分塊的候選塊組。
其中,所述解碼器被配置為:從與所述相應(yīng)細(xì)分塊相鄰的先前已解碼塊的初始組中確定用于所述相應(yīng)細(xì)分塊的候選塊組,所述初始組包括分別在所述當(dāng)前塊內(nèi)部和外部的相鄰塊。
其中,所述解碼器被配置為:從除了被以內(nèi)部預(yù)測(cè)模式編碼的塊之外的先前已解碼塊的初始組中確定用于所述相應(yīng)細(xì)分塊的候選塊組。
其中,所述解碼器被配置為:根據(jù)所述比特流中所包含的細(xì)分信息將所述圖像細(xì)分成編碼塊,所述編碼塊包括所述當(dāng)前塊。
其中,所述解碼器被配置為:根據(jù)進(jìn)一步細(xì)分信息將所述當(dāng)前塊進(jìn)一步細(xì)分為一個(gè)或多個(gè)變換塊,并以所述變換塊為單位從比特流中導(dǎo)出所述當(dāng)前塊的殘差信號(hào)。
一種被配置為將圖像(20)編碼成比特流(30)的編碼器,所述編碼器被配置為:在比特流(30)內(nèi)信號(hào)通信用于當(dāng)前塊(40)的所支持分割圖案中的一個(gè);以及如果被信號(hào)通信的所支持分割圖案中的一個(gè)指定將所述塊細(xì)分為兩個(gè)以上細(xì)分塊,則對(duì)于編碼順序中除所述細(xì)分塊中的第一細(xì)分塊外的所有細(xì)分塊,從用于相應(yīng)所述細(xì)分塊的候選塊組中,移除當(dāng)與相應(yīng)所述細(xì)分塊合并時(shí)將導(dǎo)致所支持分割圖案之一的候選塊。
一種用于解碼比特流(30)的方法,所述比特流信號(hào)通信用于圖像(20)的當(dāng)前塊(40)的所支持分割圖案中的一個(gè),所述方法包括:如果被信號(hào)通信的所支持分割圖案中的一個(gè)指定將所述塊(40)細(xì)分為兩個(gè)以上細(xì)分塊(50,60),則對(duì)于編碼順序(70)中除了所述細(xì)分塊中的第一細(xì)分塊外的所有細(xì)分塊,從用于相應(yīng)所述細(xì)分塊(60)的編碼參數(shù)候選組中,移除具有同與所述細(xì)分塊中的當(dāng)與相應(yīng)所述細(xì)分塊(60)合并時(shí)將導(dǎo)致所支持的分割圖案之一的任一個(gè)細(xì)分塊相關(guān)聯(lián)的編碼參數(shù)相同的編碼參數(shù)的編碼參數(shù)候選。
一種用于將圖像(20)編碼為比特流(30)的方法,所述方法包括:在比特流(30)內(nèi)信號(hào)通信用于當(dāng)前塊(40)的所支持分割圖案中的一個(gè);以及如果被信號(hào)通信的所支持分割圖案中的一個(gè)指定將所述塊(40)細(xì)分為兩個(gè)以上細(xì)分塊(50,60),則對(duì)于編碼順序(70)中除了所述細(xì)分塊中的第一細(xì)分塊(50)外的所有細(xì)分塊(60),從用于相應(yīng)所述細(xì)分塊(60)的編碼參數(shù)候選組中,移除具有同與所述細(xì)分塊中的當(dāng)與相應(yīng)所述細(xì)分塊合并時(shí)將導(dǎo)致所支持的分割圖案之一的任一個(gè)細(xì)分塊相關(guān)聯(lián)的編碼參數(shù)相同的編碼參數(shù)的編碼參數(shù)候選。
一種具有程序代碼的計(jì)算機(jī)程序,所述程序代碼用于當(dāng)在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行以上所述的方法。
本發(fā)明的優(yōu)勢(shì)的實(shí)現(xiàn)方式是所附從屬權(quán)利要求的主題。
附圖說明
將關(guān)于附圖更詳細(xì)地在下面描述本發(fā)明的優(yōu)選實(shí)施方式,其中:
圖1示出根據(jù)一種實(shí)施方式的編碼器的框圖;
圖2示出根據(jù)一種實(shí)施方式的解碼器的框圖;
圖3示出圖1的編碼器的可能的內(nèi)部結(jié)構(gòu)框圖;
圖4示出圖2的解碼器的可能的內(nèi)部結(jié)構(gòu)框圖;
圖5a示意性地示出使圖像細(xì)分成樹根塊、編碼單元(塊)及預(yù)測(cè)單元(分割區(qū)間(partitions));
圖5b示出根據(jù)示例性的示例將圖5a所示的樹根塊降為分割區(qū)間級(jí)別的細(xì)分樹;
圖6示出了根據(jù)一種實(shí)施方式的可能的所支持分割圖案組的實(shí)施方式;
圖7示出了當(dāng)使用根據(jù)第6圖之塊分割時(shí),有效地通過結(jié)合塊合并與塊分割所得的可能的分割圖案;
圖8示意性地示出根據(jù)一種實(shí)施方式的用于skip/direct模式的候選塊;
圖9到圖11b示出根據(jù)一種實(shí)施方式的語(yǔ)法的語(yǔ)法部分;以及
圖12示意性地示出根據(jù)一實(shí)施方式一個(gè)區(qū)間之鄰近區(qū)間的界定。
具體實(shí)施方式
關(guān)于下文的說明,須注意每當(dāng)結(jié)合不同的示圖使用相同的附圖標(biāo)記時(shí),只要從一幅圖到另一幅圖的這樣的說明的轉(zhuǎn)移不與該另一幅圖的其余說明相沖突,則關(guān)于出現(xiàn)在這些示圖之一中的相應(yīng)元件的說明將同等適用于其他示圖。
圖1示出了根據(jù)本發(fā)明的一種實(shí)施方式的編碼器10。編碼器10被配置為將圖像20編碼成比特流30。當(dāng)然圖像20可以是視頻的一部分,在這種情況下,編碼器將是視頻編碼器。
圖像20包括當(dāng)前由編碼器10編碼的塊40。如圖1所示,圖像20可包括多于一個(gè)的塊40。例如,圖像20可以被細(xì)分成塊40的規(guī)則排列使得塊40如圖1示例性所示地排列為列和行。然而,將圖像20細(xì)分成塊40的其他細(xì)分也屬可能。更明確言之,將圖像20細(xì)分成塊40的細(xì)分可以是固定的,即通過缺省配置對(duì)解碼器已知,或可在比特流30內(nèi)信號(hào)通信給解碼器。更明確言之,圖像20的塊40大小各異。例如,諸如四元樹細(xì)分這樣的多樹細(xì)分可應(yīng)用于圖像20,或施加至將圖像20細(xì)分為規(guī)則排列的樹根塊的規(guī)則預(yù)細(xì)分,以獲得塊40,在這種情況下,塊40形成多樹細(xì)分的葉塊。
總而言之,編碼器10被配置為在比特流30內(nèi)部信號(hào)通信用于當(dāng)前塊40的所支持分割圖案之一。即,例如就某個(gè)速率失真優(yōu)化意義而言,編碼器10判定是否應(yīng)進(jìn)一步分割塊40,及判定應(yīng)對(duì)當(dāng)前塊40使用所支持分割圖案中的哪一個(gè)以調(diào)整在圖像20的當(dāng)前塊40內(nèi)的某些編碼參數(shù)所設(shè)定的顆粒度。如以下詳述,編碼參數(shù)例如可表征諸如相互間預(yù)測(cè)參數(shù)的預(yù)測(cè)參數(shù)。這樣的相互間預(yù)測(cè)參數(shù)例如可包括參考圖像指數(shù)、移動(dòng)向量等。所支持的分割圖案例如可包括:無分割模式,即這樣一種選項(xiàng),根據(jù)該選項(xiàng)當(dāng)前塊40不再被進(jìn)一步分割;水平分割模式,即這樣一種選項(xiàng),根據(jù)該選項(xiàng)當(dāng)前塊40沿水平延伸線被細(xì)分成上部或頂部和底部或下部;以及垂直分割模式,即這樣一種選項(xiàng),根據(jù)該選項(xiàng)當(dāng)前塊40沿垂直延伸線垂直細(xì)分成左部和右部。此外,所支持的分割圖案之一還包括這樣一種選項(xiàng),根據(jù)該選項(xiàng)當(dāng)前塊40進(jìn)一步規(guī)則地細(xì)分成四個(gè)細(xì)分塊,每個(gè)細(xì)分塊占當(dāng)前塊40的四分之一。此外,分割可適用于圖像20的全部塊40或僅其適當(dāng)子集,諸如具有與其相關(guān)的諸如相互間預(yù)測(cè)參數(shù)這樣的某個(gè)編碼模式的子集。此外,對(duì)塊的分割區(qū)間應(yīng)用合并的可能的塊組可通過對(duì)可執(zhí)行合并的各塊40的比特流信號(hào)化來約束,有關(guān)是否對(duì)塊分割區(qū)間可進(jìn)行合并。當(dāng)然,此種信號(hào)化也可個(gè)別地針對(duì)每個(gè)潛在合并候選分割區(qū)間進(jìn)行。此外,根據(jù)例如塊的大小、在塊40為多樹細(xì)分葉塊的情況下塊40的細(xì)分程度、及其組合或其個(gè)體,所支持的分割圖案的不同子集可被塊40利用。
換言之,雖然圖像20細(xì)分成塊從而實(shí)現(xiàn)細(xì)分,特別是塊40可固定或在比特流中被信號(hào)通信,但用于當(dāng)前塊40的分割圖案在比特流30內(nèi)以分割信息的形式被信號(hào)通信。因此,分割信息可視為將圖像20細(xì)分成塊40的細(xì)分的一種延伸。另一方面,仍然保有將圖像20細(xì)分成塊40的細(xì)分的原始顆粒度的額外關(guān)聯(lián)性。例如,編碼器10可被配置為在比特流30內(nèi)信號(hào)化以塊40所界定的顆粒度被用于圖像20的相應(yīng)部分或塊40的編碼模式,同時(shí)編碼器10被配置為以由針對(duì)相應(yīng)塊40所選的相應(yīng)分割圖案所界定的提高后的(更精細(xì))顆粒度來變更在相應(yīng)塊40內(nèi)的相應(yīng)編碼模式的編碼參數(shù)。例如,以塊40的顆粒度信號(hào)通信的編碼模式可有內(nèi)部預(yù)測(cè)模式、相互間預(yù)測(cè)模式等不同模式,諸如時(shí)間性相互間預(yù)測(cè)模式、互訪(inter-view)預(yù)測(cè)模式等。然后與對(duì)相應(yīng)塊40進(jìn)行分割所得的一個(gè)或多個(gè)子塊(分割區(qū)間)關(guān)聯(lián)的編碼參數(shù)種類取決于分配給相應(yīng)塊40的編碼模式。例如,對(duì)于內(nèi)編碼塊40,編碼參數(shù)可包括這樣一種空間方向,沿該方向圖像20的先前解碼部分的圖像內(nèi)容被用于填補(bǔ)相應(yīng)塊40。在相互間編碼塊40的情況下,編碼參數(shù)可包括特別是用于移動(dòng)補(bǔ)償預(yù)測(cè)的移動(dòng)向量等。
圖1具體示出當(dāng)前塊40細(xì)分成兩個(gè)細(xì)分(較小)塊50和60。更明確言之,示例性示出垂直分割模式。較小塊50和60也可稱作子塊50和60或分割區(qū)間50和60或預(yù)測(cè)單元50和60。更明確言之,編碼器10被配置為在被信號(hào)通信的所支持的分割圖案之一指定當(dāng)前塊40被細(xì)分為兩個(gè)或多個(gè)細(xì)分塊50和60這樣的情況下,對(duì)于除了編碼順序中細(xì)分塊50和60中的第一細(xì)分塊以外的全部細(xì)分塊,從針對(duì)相應(yīng)細(xì)分塊的編碼參數(shù)候選組中移除編碼參數(shù)候選,該編碼參數(shù)候選具有與這樣一種細(xì)分塊中的任一細(xì)分塊相關(guān)的編碼參數(shù)相同的編碼參數(shù):該種細(xì)分塊當(dāng)與相應(yīng)的細(xì)分塊合并時(shí)將得到所支持的分割圖案之一。更精確言之,對(duì)于所支持的分割圖案中的每一個(gè),在所得一個(gè)或多個(gè)分割區(qū)間50及60中界定編碼順序。在圖1中,編碼順序以箭頭70舉例說明,界定左分割區(qū)間50系比右分割區(qū)間60更早編碼。在水平分割模式的情況中,可界定上分割區(qū)間比下分割區(qū)間更早編碼??偠灾?,編碼器10被配置為針對(duì)編碼順序70中的第二分割區(qū)間60,從用于相應(yīng)第二分割區(qū)間60的編碼參數(shù)候選組中移除具有與第一分割區(qū)間50關(guān)聯(lián)的編碼參數(shù)相同編碼參數(shù)的編碼參數(shù)候選以避免合并的結(jié)果,換言之,分割區(qū)間50和60二者具有與其關(guān)聯(lián)的相同編碼參數(shù)的事實(shí)實(shí)際上可通過以較低編碼率為當(dāng)前塊40選擇無分割模式而同等地獲得。
更明確言之,編碼器10被配置為以有效方式使用塊合并連同塊分割??紤]塊合并,編碼器10針對(duì)每個(gè)分割區(qū)間50和60確定相應(yīng)的編碼參數(shù)候選組。編碼器可被配置為基于與先前解碼的塊關(guān)聯(lián)的編碼參數(shù),針對(duì)每個(gè)分割區(qū)間50和60確定編碼參數(shù)候選組。更明確言之,在編碼參數(shù)候選組內(nèi)的至少部分的編碼參數(shù)候選可等于,即可采用先前解碼的分割區(qū)間的編碼參數(shù)。此外或可選地,至少部分的編碼參數(shù)候選可通過適當(dāng)組合諸如中位值、平均值等而從與多于一個(gè)的先前解碼的分割區(qū)間關(guān)聯(lián)的編碼參數(shù)候選中導(dǎo)出。但因編碼器10被配置為執(zhí)行編碼參數(shù)候選的縮小的組的確定,且若在移除后留下多于一個(gè)的這樣的編碼參數(shù)候選,針對(duì)相應(yīng)非第一分割區(qū)間60在剩余未被移除的編碼參數(shù)候選中的選擇取決于一個(gè)未被移除的或擇定的編碼參數(shù)候選,以設(shè)定與相應(yīng)分割區(qū)間關(guān)聯(lián)的編碼參數(shù),則編碼器10被配置為執(zhí)行移除以使將有效地導(dǎo)致分割區(qū)間50和60的重新結(jié)合的編碼參數(shù)候選被移除。換言之,有效地避免這樣一種語(yǔ)法系(syntaxconstellations),根據(jù)該語(yǔ)法系有效分割情況被以相比僅通過單獨(dú)使用分割信息直接信號(hào)通信此種分割的情況更復(fù)雜地編碼。
此外,隨著編碼參數(shù)候選組的變小,由于這些候選集合中的成員數(shù)目較少,故將合并信息編碼成比特流30所需的邊信息的量減少。更明確言之,因解碼器能夠以與圖1編碼器相同的方式?jīng)Q定編碼參數(shù)候選組并在隨后縮小該組,圖1的編碼器10可通過下述方式采用編碼參數(shù)候選的縮小組:例如,使用更少的比特位來將語(yǔ)法元素插入比特流30;指定未被移除的編碼參數(shù)候選中的哪一個(gè)將被用于合并中。當(dāng)然,若針對(duì)相應(yīng)分割區(qū)間的未被移除的編碼參數(shù)候選的數(shù)目只有一個(gè),則可完全禁止將語(yǔ)法元素導(dǎo)入比特流30內(nèi)。總而言之,由于合并,亦即根據(jù)未被移除的編碼參數(shù)候選的余下的一個(gè)或擇定的一個(gè)來設(shè)定與相應(yīng)分割區(qū)間關(guān)聯(lián)的編碼參數(shù),編碼器10能夠禁止相應(yīng)分割區(qū)間的編碼參數(shù)完整地重新插入比特流30,籍此也減少了邊信息。根據(jù)本案之某些實(shí)施方式,編碼器10可被配置為在比特流30內(nèi)信號(hào)化用以提取相應(yīng)分割區(qū)間的編碼參數(shù)候選的剩余一個(gè)或擇定一個(gè)的提取信息。
根據(jù)前述圖1的說明,編碼器10被配置為通過比較合并候選的編碼參數(shù)與該分割區(qū)間的編碼參數(shù)來確定將被移除的合并候選,與該分割區(qū)間的合并將獲得另一所支持的分割圖案。在圖1的例示性情況下,例如假設(shè)左分割區(qū)間50的編碼參數(shù)形成針對(duì)右分割區(qū)間60的編碼參數(shù)候選組中的一個(gè)成員,則這種編碼參數(shù)候選的處理方式將有效地移除至少一個(gè)編碼參數(shù)候選。但當(dāng)其他編碼參數(shù)候選等于左分割區(qū)間50的編碼參數(shù)時(shí),這些其他的編碼參數(shù)候選也可被移除。但根據(jù)本發(fā)明的另一實(shí)施方式,編碼器10可被配置為針對(duì)于編碼順序中的每個(gè)第二個(gè)及隨后的分割區(qū)間,確定候選塊組,從該候選塊組中移除當(dāng)與相應(yīng)的分割區(qū)間合并時(shí)得到所支持的分割圖案之一的該一個(gè)或多個(gè)候選塊。某種程度上,這意味著以下情況。編碼器10可被配置為確定用于相應(yīng)分割區(qū)間50或60(即在編碼順序中的第一和隨后項(xiàng))的合并候選,使得候選組中的每個(gè)成員具有當(dāng)前塊40或先前被編碼的塊40中的任一個(gè)的與其關(guān)聯(lián)的恰一個(gè)分割區(qū)間,其中該候選采用所關(guān)聯(lián)分割區(qū)間中的相應(yīng)編碼參數(shù)。例如,候選組的每個(gè)成員可等于、即采用先前編碼的分割區(qū)間的這樣的編碼參數(shù)中的一個(gè),或可至少?gòu)膬H僅一個(gè)這樣的先前編碼的分割區(qū)間的編碼參數(shù)導(dǎo)出,諸如通過使用額外發(fā)送的提取信息而額外定標(biāo)(scale)或提取。但編碼器10也可被配置為將這樣的候選組伴有其他成員或候選,即已經(jīng)從多于一個(gè)的先前編碼的分割區(qū)間的編碼參數(shù)的組合導(dǎo)出的編碼參數(shù)候選,或已經(jīng)通過修改諸如只取一個(gè)移動(dòng)參數(shù)列表的編碼參數(shù)這樣從一個(gè)先前編碼的分割區(qū)間的編碼參數(shù)導(dǎo)出的編碼參數(shù)候選。針對(duì)“組合的”成員,在相應(yīng)候選成員與相應(yīng)分割區(qū)間的編碼參數(shù)之間并不是1:1關(guān)聯(lián)。根據(jù)圖1描述的第一可選方式,編碼器10可被配置為從整個(gè)候選組中移除其編碼參數(shù)等于區(qū)間50的編碼參數(shù)全部候選。根據(jù)圖1描述的后述可選方式,編碼器10可被配置為只移除與區(qū)間50關(guān)聯(lián)的候選組的成員。協(xié)調(diào)兩個(gè)觀點(diǎn),編碼器10可被配置為從候選組部分移除顯示對(duì)某個(gè)(例如鄰近)先前編碼區(qū)間的1:1關(guān)聯(lián)的候選,而不將移除(及搜尋具有相等編碼參數(shù)的候選)延伸至具有通過組合所得編碼參數(shù)的候選的其余部分。但當(dāng)然,若一個(gè)組合也將導(dǎo)致冗余表征,則這可通過從該列表中移除冗余編碼參數(shù)而予解決,或通過也對(duì)組合候選執(zhí)行冗余查核而予解決。
在已經(jīng)描述根據(jù)本發(fā)明的一個(gè)實(shí)施方式的編碼器后,參考圖2,描述根據(jù)一實(shí)施方式的解碼器80。圖2的解碼器80被配置為解碼比特流30,如前述,比特流30信號(hào)通信針對(duì)圖像20的當(dāng)前塊40的所支持分割圖案之一。解碼器80被配置為若被信號(hào)通信的支持分割圖案之一指定當(dāng)前塊40細(xì)分成兩個(gè)或多個(gè)分割區(qū)間50和60,則針對(duì)于編碼順序70中分割區(qū)間里的第一區(qū)間50除外的全部區(qū)間,即針對(duì)圖1和圖2所示實(shí)例的分割區(qū)間60,從針對(duì)相應(yīng)分割區(qū)間的編碼參數(shù)候選組中,移除編碼參數(shù)與任一分割區(qū)間關(guān)聯(lián)的編碼參數(shù)相同或相等的編碼參數(shù)候選,當(dāng)這些分割區(qū)間合并相應(yīng)分割區(qū)間時(shí)將導(dǎo)致所支持的分割圖案之一,即,未曾在比特流30中被信號(hào)化,但是是所支持的分割圖案之一。
換言之,解碼器功能大致上與圖1描述的編碼器功能一致。例如,解碼器80可被配置為若未被移除的編碼參數(shù)候選的數(shù)目為非零,則根據(jù)未被移除的參數(shù)候選之一設(shè)定與相應(yīng)區(qū)間60關(guān)聯(lián)的編碼參數(shù)。例如,解碼器80設(shè)定區(qū)間60的編碼參數(shù),有或無額外提取地、和/或有或無根據(jù)編碼參數(shù)引入的時(shí)間距離而定標(biāo)地,使其等于未被移除的編碼參數(shù)候選之一。例如,未被移除的候選中,欲合并的編碼參數(shù)候選可以關(guān)聯(lián)另一個(gè)參考圖像指數(shù),而非針對(duì)區(qū)間60在比特流30內(nèi)部明確信號(hào)通信的參考圖像指數(shù)。在該種情況下,編碼參數(shù)候選的編碼參數(shù)可界定移動(dòng)向量,每個(gè)有關(guān)于相應(yīng)的參考圖像指數(shù),而解碼器80可被配置為根據(jù)兩個(gè)參考圖像指數(shù)間的比值而定標(biāo)最終擇定的未被移除的編碼參數(shù)候選的移動(dòng)向量。如此,根據(jù)前文剛才所述的可選方式,被應(yīng)用于合并的編碼參數(shù)將涵蓋移動(dòng)參數(shù),而參考圖像指數(shù)將從其分離。但如前述,根據(jù)另一實(shí)施方式,參考圖像指數(shù)也可成為應(yīng)用于合并的編碼參數(shù)的一部分。
同樣也適用于圖1的編碼器及圖2的解碼器,其中合并動(dòng)作限于被相互間預(yù)測(cè)的塊40。據(jù)此,解碼器80和編碼器10可被配置為針對(duì)當(dāng)前塊40支持內(nèi)部和相互間預(yù)測(cè)模式,且只在當(dāng)前塊40以相互間預(yù)測(cè)模式編碼的情況下才進(jìn)行候選的合并及移除。據(jù)此,只有這樣的相互間預(yù)測(cè)的被先前編碼的分割區(qū)間的編碼/預(yù)測(cè)參數(shù)可用來決定/組成候選列表。
如前文已經(jīng)討論,編碼參數(shù)可以是預(yù)測(cè)參數(shù),解碼器80可被配置為使用分割區(qū)間50和60的預(yù)測(cè)參數(shù)來導(dǎo)出相應(yīng)區(qū)間的預(yù)測(cè)信號(hào)。當(dāng)然,編碼器10也以相同方式執(zhí)行預(yù)測(cè)信號(hào)的導(dǎo)出。但編碼器10還設(shè)定編碼參數(shù)以及在比特流30內(nèi)部的全部其他語(yǔ)法元素來在適度優(yōu)化方面取得某些優(yōu)化。
此外,如前文已述,編碼器可被配置為只在針對(duì)該相應(yīng)分割區(qū)間未被移除的編碼參數(shù)候選的數(shù)目大于1的情況下,才將指數(shù)插入未被移除的編碼參數(shù)候選。據(jù)此,根據(jù)例如針對(duì)區(qū)間60的未被移除的編碼參數(shù)候選的數(shù)目,若未被移除的編碼參數(shù)候選的數(shù)目大于1,則解碼器80可被配置為只預(yù)期比特流30包括指定未被移除的編碼參數(shù)候選中的哪一個(gè)用于合并的一語(yǔ)法元素。但如前述,通過使用組合編碼參數(shù)、即被經(jīng)由組合多于一個(gè)或多于兩個(gè)的被先前編碼的分割區(qū)間的編碼參數(shù)導(dǎo)出的參數(shù),延伸候選列表/集合,同時(shí)限制候選組表現(xiàn)縮減至經(jīng)由采用或推導(dǎo)恰一個(gè)先前編碼的分割區(qū)間的編碼參數(shù)而獲得的這些候選,通??膳懦l(fā)生候選組數(shù)目小于2的情況。相反情況亦屬可能,即通常移除與導(dǎo)致另一所支持的分割圖案的這些分割區(qū)間相同值的全部編碼參數(shù)候選。
有關(guān)于確定方面,解碼器80的動(dòng)作如同編碼器10。換言之,解碼器80可被配置為基于與先前解碼的分割區(qū)間關(guān)聯(lián)的編碼參數(shù),針對(duì)在編碼順序70中在第一分割區(qū)間50之后的區(qū)間確定編碼參數(shù)候選組。換言之,編碼順序不僅在相應(yīng)塊40的區(qū)間50和60之中界定,同時(shí)也在圖像20本身的塊40之中界定。如此,在區(qū)間60之前已經(jīng)編碼的全部分割區(qū)間對(duì)于后續(xù)分割區(qū)間中的任一個(gè)(諸如圖2的區(qū)間60)來說被用作為決定編碼參數(shù)候選組的基礎(chǔ)。如前文已述,編碼器和解碼器可在某個(gè)空間和/或時(shí)間環(huán)境下,限制用于分割區(qū)間的編碼參數(shù)候選組的決定。例如,解碼器80可被配置為基于與相應(yīng)的非第一分割區(qū)間鄰近的先前已解碼分割區(qū)間關(guān)聯(lián)的編碼參數(shù),確定用于非第一分割區(qū)間60的編碼參數(shù)候選組,其中這樣的分割區(qū)間可位于當(dāng)前塊40的外部和內(nèi)部。當(dāng)然,可針對(duì)于編碼順序中的第一分割區(qū)間執(zhí)行對(duì)合并候選的確定。只是并未進(jìn)行移除。
與圖1的描述一致,解碼器80可被配置為針對(duì)先前已解碼分割區(qū)間的初始組中的相應(yīng)的非第一分割區(qū)間60,確定編碼參數(shù)候選組,但以內(nèi)部預(yù)測(cè)模式編碼者除外。
此外,當(dāng)編碼器將細(xì)分信息導(dǎo)入比特流來將圖像20細(xì)分成塊40時(shí),解碼器80可被配置為根據(jù)比特流30的細(xì)分信息而恢復(fù)將圖像20細(xì)分成這樣的編碼塊40的細(xì)分。
有關(guān)圖1和圖2,須注意當(dāng)前塊40的殘差信號(hào),可以以與由關(guān)于編碼參數(shù)的分割區(qū)間所界定的顆粒度不同的顆粒度,經(jīng)由比特流30而發(fā)送。例如,圖1的編碼器10可被配置為以與分割區(qū)間50和60的分割并行或獨(dú)立的方式將塊40細(xì)分成一或多個(gè)變換塊。編碼器可通過額外細(xì)分信息針對(duì)塊40信號(hào)化相應(yīng)的變換塊細(xì)分。解碼器80轉(zhuǎn)而可被配置為根據(jù)比特流里的額外細(xì)分信息來恢復(fù)將塊40進(jìn)一步細(xì)分成一或多個(gè)變換塊的細(xì)分,并以這樣的變換塊為單位而從該比特流導(dǎo)出當(dāng)前塊40的殘差信號(hào)。變換塊分割的意義可以是在編碼器的諸如dct這樣的變換及在解碼器的相對(duì)應(yīng)的諸如idct這樣的反變換分別地在塊40的每個(gè)變換塊內(nèi)部執(zhí)行。為了將圖像20重構(gòu)為塊40,然后編碼器10分別組合諸如相加通過在相應(yīng)分割區(qū)間50和60施加的編碼參數(shù)所導(dǎo)出的預(yù)測(cè)信號(hào)和殘差信號(hào)。但須注意殘差編碼可能并未涉及任何變換及反變換,及例如預(yù)測(cè)殘差反而在空間域編碼。
在后文描述額外實(shí)施方式的進(jìn)一步可能細(xì)節(jié)之前,將就圖3和圖4說明圖1和圖2的編碼器和解碼器可能的內(nèi)部結(jié)構(gòu)。圖3示例性地顯示如何可在內(nèi)部組成編碼器10。如圖所示,編碼器10可包括減法器108、變換器100及比特流產(chǎn)生器102,如圖3指示可執(zhí)行熵編碼。元件108、100及102在接收?qǐng)D像20的輸入端112與輸出前述比特流30的輸出端114間串聯(lián)。更明確言之,減法器108的非反相輸入端連接至輸入端112,變換器100連接在減法器108與比特流產(chǎn)生器102的第一輸入端間,又有一輸出端連接至輸出端114。圖3的編碼器10進(jìn)一步包括反變換器104,加法器110以所述順序串聯(lián)至變換器100的輸出端。編碼器10進(jìn)一步包括預(yù)測(cè)器106,其連接在加法器110的一輸出端與加法器110的另一輸入端與該減法器108的反相輸入端間。
圖3的元件互動(dòng)如下:預(yù)測(cè)器106預(yù)測(cè)圖像20部分,預(yù)測(cè)結(jié)果、即預(yù)測(cè)信號(hào)被施加至減法器108的反相輸入端。減法器108的輸出端又表示預(yù)測(cè)信號(hào)與相應(yīng)圖像20部分間的差,亦即殘差信號(hào)。殘差信號(hào)接受變換器100的變換編碼。換言之,變換器100可進(jìn)行諸如dct等的變換,并針對(duì)變換殘差信號(hào)、即變換系數(shù)進(jìn)行后續(xù)的量化,因而獲得變換系數(shù)水平。反變換器104重構(gòu)由變換器100輸出的最終殘差信號(hào)而獲得重構(gòu)的殘差信號(hào),該重構(gòu)殘差信號(hào)相對(duì)應(yīng)于除因變換器100量化所致信息遺失外的輸入變換器100的殘差信號(hào)。重構(gòu)后殘差信號(hào)與預(yù)測(cè)信號(hào)相加作為預(yù)測(cè)器106的輸出結(jié)果使得圖像20的相應(yīng)部分的重構(gòu),且從加法器110輸出端前傳至預(yù)測(cè)器106輸入端。預(yù)測(cè)器106以前述不同模式操作,諸如內(nèi)部預(yù)測(cè)模式、相互間預(yù)測(cè)模式等。預(yù)測(cè)模式和由預(yù)測(cè)器106施加的相對(duì)應(yīng)編碼或預(yù)測(cè)參數(shù)獲得的預(yù)測(cè)信號(hào)由預(yù)測(cè)器106而前傳至熵編碼器102用以被插入比特流。
相對(duì)應(yīng)于關(guān)于編碼器可能被顯示在圖3的可能構(gòu)造,圖2的解碼器80內(nèi)部結(jié)構(gòu)的可能體現(xiàn)顯示于圖4。如圖所示,解碼器80可包括:比特流提取器150,其如圖4所示被實(shí)現(xiàn)為熵解碼器;反變換器152;及加法器154;這些元件以所述順序連接在解碼器的輸入端158與輸出端160間。此外,圖4的解碼器包括連接在加法器154輸出端與其另一輸入端間的預(yù)測(cè)器156。熵解碼器150連接至預(yù)測(cè)器156的參數(shù)輸入端。
簡(jiǎn)短描述圖4解碼器的功能,熵解碼器150用來提取包含在比特流30的全部信息。所使用的熵編碼方案可以是可變長(zhǎng)度編碼或算術(shù)編碼。由此,熵解碼器150從比特流恢復(fù)表示殘差信號(hào)的變換系數(shù)水平,并前傳給反變換器152。此外,熵解碼器150從該比特流恢復(fù)全部編碼模式和關(guān)聯(lián)的編碼參數(shù)并前傳給預(yù)測(cè)器156。此外,分割信息及合并信息由提取器150從比特流提取。反變換后的、即重構(gòu)后的殘差信號(hào)與如預(yù)測(cè)器156所導(dǎo)出的預(yù)測(cè)信號(hào)由加法器154組合,諸如相加,該加法器154又轉(zhuǎn)而在輸出端160輸出這樣被恢復(fù)的重構(gòu)后的信號(hào)并前傳給預(yù)測(cè)器156。
從比較圖3與圖4顯然易知,元件152、154及156在功能上相對(duì)應(yīng)于圖3的元件104、110及106。
在以上的圖1到圖4的描述中,有關(guān)圖像20可能的細(xì)分及變更涉及編碼圖像20的若干參數(shù)中的相對(duì)應(yīng)粒度已經(jīng)呈現(xiàn)若干不同可能性。一個(gè)這樣的可能性再度根據(jù)圖5a和圖5b進(jìn)行描述。圖5a顯示圖像20的一部分。根據(jù)圖5a的實(shí)施方式,編碼器及解碼器被配置為首先將圖像20細(xì)分成樹根塊200。一個(gè)這樣的樹根塊顯示在圖5a中。將圖像20細(xì)分成樹根塊的細(xì)分如虛線例示說明成列及成行規(guī)則地進(jìn)行。樹根塊200的大小可由編碼器擇定并通過比特流30信號(hào)通信給解碼器。另外,這樣的樹根塊200的大小可通過缺省設(shè)置被固定。樹根塊200通過使用四元樹分割而細(xì)分來獲得前述塊40,可稱作為編碼塊或編碼單元。這樣的編碼塊或編碼單元以細(xì)實(shí)線畫在圖5a中。由此,編碼器使細(xì)分信息伴隨各個(gè)樹根塊200,及將細(xì)分信息插入比特流。該細(xì)分信息指示樹根塊200如何細(xì)分成塊40。以這樣的塊40的顆粒度或以這樣的塊40為單位,在圖像20內(nèi)部變換預(yù)測(cè)模式。如前文指示,每個(gè)塊40或具有諸如相互間預(yù)測(cè)模式這樣的某個(gè)預(yù)測(cè)模式的每個(gè)塊被伴以分割信息,該分割信息是關(guān)于哪個(gè)所支持分割圖案被用于相應(yīng)塊40。在圖5a的例示說明例中,針對(duì)多個(gè)編碼塊40,選用非分割模式使得編碼塊40空間上重合相對(duì)應(yīng)分割區(qū)間。換言之,編碼塊40目前為具有與其關(guān)聯(lián)的相應(yīng)預(yù)測(cè)參數(shù)組的分割區(qū)間。預(yù)測(cè)參數(shù)的分類又取決于與相應(yīng)編碼塊40關(guān)聯(lián)的模式。但其它編碼塊被示例性顯示為進(jìn)一步分割。在樹根塊200右上角的編碼塊40例如顯示為分割成四個(gè)分割區(qū)間,而在樹根塊200右下角的編碼塊具體顯示為垂直分割成兩個(gè)分割區(qū)間。分割成分割區(qū)間的細(xì)分以虛線顯示。圖5a還顯示這樣界定的分割區(qū)間中的編碼順序。如圖所示,采用深度優(yōu)先的橫過順序??缭綐涓鶋K邊界,編碼順序可以以掃描順序繼續(xù),由此,樹根塊200的各列以逐列方式從圖像20的頂至底掃描。通過這樣的方式,某個(gè)分割區(qū)間有最大機(jī)會(huì)具有與先前已編碼分割區(qū)間相鄰的頂邊界及左邊界。每個(gè)塊40或具有諸如相互間預(yù)測(cè)模式這樣的某個(gè)預(yù)測(cè)模式的各個(gè)塊可在該比特流內(nèi)部具有合并開關(guān)指示符,該指示符指示對(duì)其中相對(duì)應(yīng)的分割區(qū)間是否已經(jīng)啟動(dòng)合并。須注意將塊分割成區(qū)間/預(yù)測(cè)單元的分割可限于至多兩個(gè)分割區(qū)間的分割,只有針對(duì)最小可能的塊40的塊大小,此一規(guī)則才有例外。在使用四元樹分割來獲得塊40的情況下,避免將圖像20細(xì)分成塊40的細(xì)分信息和將塊40細(xì)分成分割區(qū)間的分割信息間的冗余。可選地,只允許分割成一個(gè)或二個(gè)分割區(qū)間,包括或不包括非對(duì)稱者。
圖5b顯示細(xì)分樹。實(shí)線顯示樹根塊200的細(xì)分,而虛線象征四元樹細(xì)分的葉塊的分割,其為編碼塊40。換言之,編碼塊的分割表示一種四元細(xì)分的延伸。
如前文已提到,每個(gè)編碼塊40可并行地細(xì)分成變換塊,故變換塊可表示相應(yīng)編碼塊40的不同細(xì)分。未顯示于圖5a和圖5b,對(duì)這些變換塊中的每一個(gè),可單獨(dú)進(jìn)行變換來變換編碼塊的殘差信號(hào)。
后文中將說明本發(fā)明的其他實(shí)施方式。雖然前述實(shí)施方式的關(guān)注焦點(diǎn)集中在一方面塊合并與另一方面塊分割之間的關(guān)系,后文描述也包括本案與本編解碼器已知的其他編碼原理諸如skip/direct模式有關(guān)的方面。不過,后文描述不應(yīng)視為只描述單獨(dú)的實(shí)施方式、即與前文描述分開的實(shí)施方式。反而后文描述也揭示前述實(shí)施方式的可能體現(xiàn)細(xì)節(jié)。據(jù)此,后文描述使用前文已述圖式的元件符號(hào),使得后述相應(yīng)可能實(shí)現(xiàn)方式也界定前述實(shí)施方式可能的變化。大部分這樣的變化可個(gè)別地移轉(zhuǎn)至前述實(shí)施方式。
換言之,本案實(shí)施方式描述了通過合并與特定樣本組(即塊)關(guān)聯(lián)的語(yǔ)法元素出于發(fā)送關(guān)聯(lián)的編碼參數(shù)目的而減少影像及視頻編碼應(yīng)用中的邊信息率的方法。本案實(shí)施方式特別可考慮合并語(yǔ)法元素與圖像部分分割成多個(gè)分割圖案的組合,及與skip/direct模式的組合,其中編碼參數(shù)從當(dāng)前塊的空間和/或時(shí)間鄰近關(guān)系推定。結(jié)合不同分割圖案及skip/direct模式,對(duì)此前述實(shí)施方式可經(jīng)修改來實(shí)現(xiàn)樣本組(即塊)的合并。
此外,在描述此等變化例及進(jìn)一步細(xì)節(jié)之前,呈現(xiàn)圖像及視頻編解碼器的綜論。
在圖像及視頻編碼應(yīng)用中,圖像關(guān)聯(lián)的樣本數(shù)組通常分割成特定樣本組(或樣本集合),該樣本組可表征矩形塊或正方形塊或包括任意形狀區(qū)域、三角形、或任何其它形狀的任何其他樣本群。樣本數(shù)組的細(xì)分可通過語(yǔ)法加以固定,或細(xì)分(至少部分)在比特流內(nèi)部被信號(hào)通信。為了將用以信號(hào)通信細(xì)分信息的邊信息率維持為低,語(yǔ)法通常只允許有限的選擇數(shù)目,結(jié)果導(dǎo)致單純分割諸如塊細(xì)分成更小塊。常用的分割方案將方形塊分割成四個(gè)小方形塊,或分割成兩個(gè)相等大小矩形塊,或分割成兩個(gè)不同大小矩形塊,此處實(shí)際上采用的分割是在比特流內(nèi)部信號(hào)通信。樣本組關(guān)聯(lián)于特定編碼參數(shù),可指定預(yù)測(cè)信息或殘差編碼模式等。在視頻編碼應(yīng)用中,常進(jìn)行分割出于移動(dòng)表征的目的。全部塊樣本(在分割圖案內(nèi)部)關(guān)聯(lián)于同一個(gè)移動(dòng)參數(shù)組,該組可包括指定預(yù)測(cè)類型(例如列表0、列表1、或雙向預(yù)測(cè);和/或平移(translational)或仿射(affine)預(yù)測(cè)或關(guān)于不同移動(dòng)模型的預(yù)測(cè))的參數(shù)、指定所采用的參考圖像的參數(shù)、通常發(fā)送給預(yù)測(cè)器作為差值的指定相對(duì)于參考圖像移動(dòng)(例如位移向量、仿射移動(dòng)參數(shù)向量、或針對(duì)任何其它移動(dòng)模型的移動(dòng)參數(shù)向量)的參數(shù)、指定移動(dòng)參數(shù)準(zhǔn)確度(例如半樣本或四分之一樣本準(zhǔn)確度)的參數(shù)、指定參考樣本信號(hào)權(quán)值(例如用于照明補(bǔ)償目的)的參數(shù)、或指定內(nèi)插濾波器的參考,該內(nèi)插濾波器被用來導(dǎo)出當(dāng)前塊40的移動(dòng)補(bǔ)償預(yù)測(cè)信號(hào)。假設(shè)對(duì)于每個(gè)樣本組,已發(fā)送編碼參數(shù)(例如用以指定預(yù)測(cè)和/或殘差編碼)。為了提高編碼效率,本發(fā)明提出一種將兩個(gè)或多個(gè)樣本組合并成為所謂樣本組群組的方法和特定實(shí)施方式。該群組的全部樣本組共享相同編碼參數(shù),編碼參數(shù)可連同群組中的相同組中的一個(gè)被一起發(fā)送。通過此方式,無需對(duì)該樣本組群組的各個(gè)樣本組分別發(fā)送編碼參數(shù),反而編碼參數(shù)只對(duì)整個(gè)樣本組群組發(fā)送一次。結(jié)果,用以發(fā)送編碼參數(shù)的邊信息率減低,及總編碼效率提高。至于另一可選方式,可對(duì)樣本組群組的一個(gè)或多個(gè)樣本組發(fā)送用于編碼參數(shù)中的一個(gè)或多個(gè)的額外提取。提取可施加至一群組的全部樣本組或只施加至被發(fā)送的樣本組。
本發(fā)明的實(shí)施方式具體有關(guān)于合并處理與講塊分割成多個(gè)子塊50和60(如前述)的組合。通常圖像或視頻編碼系統(tǒng)支持塊40的多種分割圖案。例如,方形塊可不分割,或可被分割成具有相等尺寸的四個(gè)方形塊,或分割成具有相等尺寸的兩個(gè)矩形塊(方形塊可垂直或水平平分),或分割成具有不同尺寸(水平地或垂直地)的矩形塊。所述分割圖案具體例示例性說明于圖6。除了前文描述外,分割可能涉及甚至多于一個(gè)分割層級(jí)。例如,方形子塊可選擇性地運(yùn)用相同分割圖案更進(jìn)一步分割。當(dāng)此種分割處理組合允許(方形或矩形)塊與例如其鄰近塊中之一者組合的合并處理組合時(shí),出現(xiàn)的議題是通過分割圖案與合并信號(hào)的不同組合可達(dá)成相同的結(jié)果所得分割。因此,相同信息可使用不同碼字在比特流發(fā)送,這顯然就編碼效率而言并非最佳。舉個(gè)簡(jiǎn)單例,發(fā)明人考慮未經(jīng)進(jìn)一步分割的方形塊(如顯示于圖6左上角)。通過發(fā)送該塊40并未細(xì)分的語(yǔ)法元素可直接信號(hào)通信此一分割。但通過發(fā)送指定本塊例如細(xì)分成兩個(gè)垂直(或水平)對(duì)齊的矩形塊50和60的語(yǔ)法元素,也可信號(hào)通信相同圖案。然后發(fā)明人發(fā)送合并信息,指定該矩形塊中的第二個(gè)合并第一個(gè)矩形塊,結(jié)果獲得恰與信號(hào)通信該塊未經(jīng)進(jìn)一步劃分時(shí)相同的分割。經(jīng)由首先指定該塊被細(xì)分成四個(gè)方形子塊及然后,發(fā)送有效合并全部四塊的合并信息,也可達(dá)成相同目的。此一構(gòu)思顯然并非最佳(原因在于發(fā)明人以不同碼字用來信號(hào)通信相同情況)。
本發(fā)明的實(shí)施方式描述這樣一種構(gòu)思和可能性,其減低邊信息率并由此提高合并構(gòu)思與針對(duì)塊提供不同分割圖案構(gòu)思的組合的編碼效率。若注意圖6的實(shí)例分割圖案,則當(dāng)發(fā)明人禁止(亦即從比特流語(yǔ)法規(guī)格中排除)矩形塊合并第一矩形塊的情況下,可避免以兩個(gè)矩形塊“模擬”未由任一種分割圖案進(jìn)一步分割的方塊。當(dāng)更深入注意該項(xiàng)議題,通過合并第二矩形塊和與第一矩形塊相同參數(shù)(例如指定預(yù)測(cè)信息)關(guān)聯(lián)的任何其它鄰近塊(亦即非第一矩形塊),也可能“模擬”未經(jīng)細(xì)分圖案。本發(fā)明的實(shí)施方式規(guī)定發(fā)送合并信息的條件,當(dāng)合并參數(shù)導(dǎo)致也可通過信號(hào)通信所支持的分割圖案之一實(shí)現(xiàn)的圖案時(shí),特定合并參數(shù)的發(fā)送被從比特流語(yǔ)法中排除。舉個(gè)實(shí)例,若如圖1和圖2所示,當(dāng)前分割圖案指定細(xì)分成兩個(gè)矩形塊例如在發(fā)送第二塊、即圖1和圖2的60的合并信息前,可查核哪個(gè)可能的合并候選具有與第一矩形塊、即圖1和圖2的50相同的參數(shù)(例如用以指定預(yù)測(cè)信號(hào)的參數(shù))。及具有相同移動(dòng)參數(shù)的全部候選(包括第一矩形塊本身)被從合并候選組中移除。被發(fā)送以用于信號(hào)通信合并信息的碼字或標(biāo)記適用于所得候選組。若因參數(shù)查核而候選組變成空,則不發(fā)送合并信息。若候選組只由一個(gè)條目組成,則只信號(hào)通信該塊是否被合并,但候選無需信號(hào)通信,原因在于可在解碼器側(cè)等導(dǎo)出。針對(duì)前述實(shí)例相同構(gòu)思也被采用來分割圖案,將方形塊劃分成四個(gè)小方形塊。此處,合并標(biāo)記的發(fā)送被調(diào)整為指定無細(xì)分的分割圖案以及指定細(xì)分成相等大小的兩個(gè)矩形塊的兩個(gè)分割圖案中的任意一個(gè)均不可通過合并標(biāo)記的組合而實(shí)現(xiàn)。雖然發(fā)明人描述的構(gòu)思大部分基于在具特定分割圖案的前述實(shí)例,但顯然相同構(gòu)思(避免由另一分割圖案與相對(duì)應(yīng)合并信息組合的特定分割圖案規(guī)格)也可采用于分割圖案之任何其他集合。
相比于只允許分割的構(gòu)思而言,所述發(fā)明的優(yōu)點(diǎn)是對(duì)于信號(hào)通信將圖像分割成與相同參數(shù)關(guān)聯(lián)的部分的分割(例如用以指定預(yù)測(cè)信號(hào))來說,提供了更大的自由度。舉個(gè)實(shí)例,從經(jīng)細(xì)分的較大塊的方形塊合并所得額外分割圖案被顯示于圖7。但須注意通過合并額外的鄰近塊(先前經(jīng)細(xì)分的塊的外部)可達(dá)成遠(yuǎn)更多的所得圖案。只有少數(shù)碼字用于信號(hào)通信分割信息及合并信息,提供多個(gè)分割可能性,編碼器可在比率失真的意義上(例如通過最小化特定比率失真措施)選擇最佳選項(xiàng)(針對(duì)給定編碼器復(fù)雜度)。一個(gè)辦法其中只有一個(gè)分割圖案(例如細(xì)分成相等大小的四個(gè)塊)被提供來組合合并方法,相比于該辦法,本方法的優(yōu)點(diǎn)是可由短碼字替代數(shù)個(gè)細(xì)分及合并標(biāo)記來信號(hào)通信常用圖案(如同例如具不同尺寸的矩形)。
須考慮的另一方面是,在某方面而言,合并構(gòu)思類似出現(xiàn)在視頻編碼設(shè)計(jì)中的skip或direct模式。在skip/direct模式中,基本上并未針對(duì)當(dāng)前塊發(fā)送移動(dòng)參數(shù),而是從空間和/或時(shí)間鄰近關(guān)系推定。在skip/direct模式的特定有效構(gòu)思中,從空間和/或時(shí)間鄰近關(guān)系產(chǎn)生移動(dòng)參數(shù)候選(參考幀指數(shù)、位移向量等)的列表,此列表的指數(shù)傳輸指定選擇哪個(gè)候選參數(shù)。針對(duì)雙向預(yù)測(cè)方塊(或多假設(shè)幀),可針對(duì)每個(gè)參考列表信號(hào)通信單獨(dú)的候選??赡艿暮蜻x可包括當(dāng)前塊的頂塊、當(dāng)前塊的左塊、當(dāng)前塊的左上塊、當(dāng)前塊的右上塊、多個(gè)這樣的候選中的平均預(yù)測(cè)、在一個(gè)或多個(gè)先前參考幀里的共同定位的塊(或任何其他已編碼塊,或由已編碼塊獲得的組合)。當(dāng)結(jié)合合并構(gòu)思與skip/direct模式時(shí),須確保skip/direct模式及合并模式二者皆不應(yīng)包括相同候選。此項(xiàng)目的可通過不同的配置實(shí)現(xiàn)??梢栽试Sskip/direct模式(例如具有比合并模式更多個(gè)候選)只用于特定塊(例如具有比規(guī)定尺寸更大的尺寸,或只用于方形塊等),而這些塊不支持合并模式。或者可移除skip/direct模式,而全部候選(包括表征用于空間/時(shí)間鄰近塊的參數(shù)組合的這樣的參數(shù))被加至合并模式作為候選。這樣的選項(xiàng)也在前文基于圖1至5敘述如前。加大的候選組可只用于特定塊(大小大于給定的最小尺寸,或方形塊等),在此處對(duì)于其他塊,使用縮小的候選組?;蛘咦鳛橛忠蛔冃卫?,合并模式被用于縮小的候選組(例如只有頂及左鄰近塊),額外候選(例如左上模式、共同定位塊等)被用于skip/direct模式。又在此種配置中,只有特定塊(大小大于給定之最小尺寸,或方形塊等)才允許skip/direct模式,而合并模式允許用于更大的塊組。此種組合的優(yōu)點(diǎn)是針對(duì)不同塊的大小提供用于信號(hào)通信重復(fù)使用原已傳輸參數(shù)(例如用來指定預(yù)測(cè))的多個(gè)選項(xiàng)。舉個(gè)實(shí)例,針對(duì)較大的方形塊提供更多選項(xiàng),原因在于這里額外耗費(fèi)的比特率使得比率失真效率增加。針對(duì)較小塊,提供較小的選項(xiàng)組。此處候選組的增加并未帶來比率失真效率的任何增益,原因在于信號(hào)通信擇定的候選所需要的每個(gè)比特位的樣本比值小之故。
如前述,本發(fā)明的實(shí)施方式也提供具有產(chǎn)生比特流的較大自由度的編碼器,原因在于合并方法顯著增加對(duì)于圖像的樣本數(shù)組選擇分割的可能數(shù)目。因編碼器可在更多選項(xiàng)間作選擇,例如用于最小化特定比率失真測(cè)量值,故可提高編碼效率。舉個(gè)實(shí)例,可通過細(xì)分與合并的組合來表示的若干額外圖案(例如圖7的圖案)可被額外測(cè)試(使用相對(duì)應(yīng)塊大小用于移動(dòng)估計(jì)及模式?jīng)Q策),通過純粹分割(圖6)和通過分割與合并(圖7)所提供的圖案中的最佳者可基于特定比率失真測(cè)量值而被選擇。此外,對(duì)于每個(gè)塊,可測(cè)試與已編碼候選組中的任一個(gè)合并是否獲得特定比率失真測(cè)量值的增加,然后在編碼程序期間設(shè)定相對(duì)應(yīng)合并標(biāo)記。具體而言,操作編碼器有數(shù)個(gè)可能性。在簡(jiǎn)單辦法中,編碼器可首先確定樣本數(shù)組的最佳細(xì)分(如同于業(yè)界現(xiàn)有編碼方案)。然后可對(duì)于每個(gè)樣本組檢測(cè)其與另一樣本組或另一樣本組群組合并是否減低特定比率失真成本測(cè)量值。此時(shí),可重新估計(jì)(例如通過執(zhí)行新的移動(dòng)搜尋)與合并樣本組群組關(guān)聯(lián)的預(yù)測(cè)參數(shù),或針對(duì)所考慮的樣本組群組,可評(píng)估已經(jīng)針對(duì)當(dāng)前樣本組及候選樣本組(或樣本組群組)決定的預(yù)測(cè)參數(shù)。在更全面性辦法中,可針對(duì)額外候選樣本組群組評(píng)估特定比率失真成本測(cè)量值。舉個(gè)特定實(shí)例,當(dāng)測(cè)試多個(gè)可能分割圖案(例如參考圖6)時(shí),可額外測(cè)試通過分割與合并(例如參考圖7)的組合表示的部分或全部圖案。換言之,針對(duì)全部圖案,進(jìn)行特定移動(dòng)估算及模式確定處理,并選擇獲得最小比率失真測(cè)量值的圖案。該處理也可組合前述低復(fù)雜度的處理,因此針對(duì)所得塊,額外測(cè)試與已編碼塊(例如圖6及圖7的圖案外部)的合并,獲得比率失真測(cè)量值的減小。
后文中,諸如對(duì)于圖1和圖3的編碼器和圖2和圖4的解碼器描述前述實(shí)施方式的某個(gè)可能詳細(xì)的實(shí)現(xiàn)。如前所述,同等適用于圖像及視頻編碼。如前文描述,圖像或用于圖像的特定樣本數(shù)組集合可分解成塊,這樣的塊與特定編碼參數(shù)關(guān)聯(lián)。圖像通常由多個(gè)樣本數(shù)組組成。此外,圖像也可與額外輔助樣本數(shù)組關(guān)聯(lián),該樣本數(shù)組例如可指定透明信息或深度對(duì)映圖。圖像的樣本數(shù)組(包括輔助樣本數(shù)組)可組合成一個(gè)或多個(gè)所謂的平面群組,此處各個(gè)平面群組由一個(gè)或多個(gè)樣本數(shù)組組成。圖像的平面群組可獨(dú)立編碼,或若該圖像與多于一個(gè)平面群組關(guān)聯(lián),則以來自相同圖像的其它平面群組的預(yù)測(cè)進(jìn)行編碼。各個(gè)平面群組通常分解成多個(gè)塊。塊(或樣本數(shù)組的相對(duì)應(yīng)塊)通過圖像間預(yù)測(cè)或通過圖像內(nèi)預(yù)測(cè)而預(yù)測(cè)。塊可具不同尺寸,且可以是正方形或矩形。將圖像分割成多個(gè)塊的分割可通過語(yǔ)法固定,或可能(至少部分地)在比特流里信號(hào)通信。經(jīng)常發(fā)送語(yǔ)法元素,以信號(hào)通信預(yù)定大小塊的細(xì)分。這樣的語(yǔ)法元素可指定一個(gè)塊是否且如何細(xì)分成較小塊且關(guān)聯(lián)編碼參數(shù),例如出于預(yù)測(cè)的目的??赡艿姆指顖D案的實(shí)例被顯示于圖6。對(duì)于一個(gè)塊的全部樣本(或相對(duì)應(yīng)樣本數(shù)組塊),以某種方式指定相關(guān)聯(lián)的編碼參數(shù)的解碼。在該實(shí)例中,一個(gè)塊的全部樣本使用同一個(gè)預(yù)測(cè)參數(shù)組預(yù)測(cè),諸如參考指數(shù)(識(shí)別在已編碼圖像集中的參考圖像)、移動(dòng)參數(shù)(指定參考圖像與當(dāng)前圖像之間的塊的移動(dòng)測(cè)量值)、指定內(nèi)插濾波器的參數(shù)、內(nèi)部預(yù)測(cè)模式等。移動(dòng)參數(shù)可以以具有水平及垂直成分的位移向量表征,或通過更高次冪移動(dòng)參數(shù)表征,諸如由六個(gè)成分組成的仿射移動(dòng)參數(shù)。也可能多于一個(gè)的特定預(yù)測(cè)參數(shù)組(諸如參考指數(shù)及移動(dòng)參數(shù))與單一的塊關(guān)聯(lián)。在該種情況下,針對(duì)各個(gè)特定預(yù)測(cè)參數(shù)組,產(chǎn)生對(duì)于該塊(或相對(duì)應(yīng)樣本數(shù)組塊)的單一中間預(yù)測(cè)信號(hào),及最終預(yù)測(cè)信號(hào)通過包括迭加中間預(yù)測(cè)信號(hào)的組合建立。相對(duì)應(yīng)加權(quán)參數(shù)及可能也包括常數(shù)補(bǔ)償值(加至加權(quán)和)可針對(duì)圖像或參考圖像或參考圖像組而固定,或可包括在用于相對(duì)應(yīng)塊的預(yù)測(cè)參數(shù)組中。原始?jí)K(或相對(duì)應(yīng)樣本數(shù)組塊)與其預(yù)測(cè)信號(hào)間的差也稱作殘差信號(hào),通常是經(jīng)變換及量化的。二維變換經(jīng)常被施加至殘差信號(hào)(或殘差塊的相對(duì)應(yīng)樣本數(shù)組)。對(duì)于變換編碼,已經(jīng)使用特定預(yù)測(cè)參數(shù)組的塊(或相對(duì)應(yīng)樣本數(shù)組塊)在應(yīng)用變換前,可更進(jìn)一步分開。變換塊可等于或小于用于預(yù)測(cè)的塊。也可能變換塊包括用于預(yù)測(cè)的塊中的多于一個(gè)的塊。不同變換塊可具不同大小,變換塊可表示正方形或矩形塊。在前述圖1至5的實(shí)例中,已發(fā)現(xiàn)一方面,第一細(xì)分的葉節(jié)點(diǎn)、即編碼塊40,可并列地進(jìn)一步分割成界定編碼參數(shù)粒度的分割區(qū)間,另一方面二維變換被個(gè)別地施加于其它的變換塊。變換后,所得變換系數(shù)經(jīng)量化,獲得所謂的變換系數(shù)水平。變換系數(shù)水平以及預(yù)測(cè)參數(shù)及若存在時(shí)的細(xì)分信息被熵編碼。
在現(xiàn)有技術(shù)的圖像及視頻編碼標(biāo)準(zhǔn)中,由語(yǔ)法所提供的細(xì)分圖像(或平面群組)成為塊的可能性極為有限。通常只可指定預(yù)定大小的塊是否(并可能地如何)細(xì)分成更小塊。舉個(gè)實(shí)例,在h.264中的最大塊大小為16x16。16x16塊又稱宏塊,在第一步驟中各個(gè)圖像被分割成多個(gè)宏塊。對(duì)于各個(gè)16x16宏塊,可信號(hào)通信其是否被編碼為16x16塊,或編碼成兩個(gè)16x8塊,或編碼成兩個(gè)8x16塊,或編碼成四個(gè)8x8塊。若一個(gè)16x16塊細(xì)分成四個(gè)8x8塊,則這樣的8x8塊可各自被編碼成一個(gè)8x8塊,或編碼成兩個(gè)8x4塊,或編碼成兩個(gè)4x8塊,或編碼成四個(gè)4x4塊。在現(xiàn)有技術(shù)的圖像及視頻編碼標(biāo)準(zhǔn)中,指定分割成塊的可能性小集合具有的優(yōu)點(diǎn)是用以信號(hào)通信細(xì)分信息的邊信息率可維持為小,但如后文所述,也有缺點(diǎn)是例如發(fā)送塊的預(yù)測(cè)參數(shù)要求的比特率可變得極大。用以信號(hào)通信預(yù)測(cè)信息的邊信息率確實(shí)通常表示顯著量的用于塊的總比特率。及當(dāng)此邊信息減少時(shí)可提高編碼效率,例如可使用較大塊尺寸而達(dá)成。也可能相比于h.264增加所支持的分割圖案組。例如,圖6闡釋的分割圖案可提供全部尺寸(或擇定尺寸)的方形塊。視頻序列的實(shí)際影像或圖像由具特定性質(zhì)的任意形狀對(duì)象組成。舉個(gè)實(shí)例,這樣對(duì)象或?qū)ο蟛糠值奶卣髟谟讵?dú)特的質(zhì)地或獨(dú)特的移動(dòng)。通??舍槍?duì)此種對(duì)象或?qū)ο蟛糠质┘酉嗤A(yù)測(cè)參數(shù)組。但對(duì)象邊界通常不與大型預(yù)測(cè)塊(例如于h.264的16x16宏塊)的可能塊邊界一致。編碼器通常確定導(dǎo)致特定比率失真成本測(cè)量值的最小值的細(xì)分(在可能的有限組中)。對(duì)于任意形狀的對(duì)象,這樣可能導(dǎo)致大量小塊。當(dāng)提供如上多個(gè)分割圖案(如所述)時(shí)此項(xiàng)陳述仍然成立。須注意分割圖案數(shù)量不應(yīng)變得過大,否則將要求大量邊信息和/或編碼器/解碼器復(fù)雜度來信號(hào)通信及處理這些圖案。這樣,任意形狀的對(duì)象常因分割而導(dǎo)致大量小塊。且因這些小塊各自關(guān)聯(lián)一個(gè)需被傳輸?shù)念A(yù)測(cè)參數(shù)組,則邊信息率可變成占總比特率的顯著部分。但因小塊中的多個(gè)仍然表示相同對(duì)象的區(qū)域或?qū)ο蟛糠?,多個(gè)所得塊的預(yù)測(cè)參數(shù)為相同或極為類似。直觀地,當(dāng)語(yǔ)法延伸使得不僅允許細(xì)分一塊,同時(shí)也合并細(xì)分后所得的二或多個(gè)塊時(shí)可提高編碼效率。結(jié)果,將獲得以相同預(yù)測(cè)參數(shù)編碼的塊群組。這種塊群組的預(yù)測(cè)參數(shù)只須編碼一次。在前述圖1至5的實(shí)例中,若進(jìn)行合并,即縮小的候選組并未消失,則例如當(dāng)前塊40的編碼參數(shù)不被發(fā)送。換言之,編碼器不發(fā)送與當(dāng)前塊關(guān)聯(lián)的編碼參數(shù),解碼器并不預(yù)測(cè)比特流30含有當(dāng)前塊40的編碼參數(shù)。反而,根據(jù)其特定實(shí)施方式,只有提取信息可傳遞給被合并的當(dāng)前塊40。也對(duì)圖像20的其他編碼塊40進(jìn)行候選組的測(cè)定及其縮小和合并等。不過,編碼塊沿編碼鏈形成編碼塊群組,其中針對(duì)這樣的群組的編碼參數(shù)在比特流里只完整發(fā)送一次。
如果通過減少編碼預(yù)測(cè)參數(shù)數(shù)目省下的比特率大于額外耗用來編碼合并信息的比特率,則所述合并確實(shí)導(dǎo)致編碼效率增高。更進(jìn)一步值得一提的是,所述語(yǔ)法延伸(用于合并)對(duì)編碼器提供選擇將圖像或平面群組分割成多個(gè)塊的分割的額外自由度。編碼器并不限于先做細(xì)分,然后核查所得塊中的若干是否具有相同預(yù)測(cè)參數(shù)組。作為一個(gè)簡(jiǎn)單的可選方式,編碼器可首先確定作為現(xiàn)有技術(shù)的編碼方法的細(xì)分。然后可對(duì)各塊查核與其鄰近塊(或相關(guān)聯(lián)的已確定的塊群組)中的一個(gè)的合并是否減低比率失真成本測(cè)量值。此時(shí),與新塊群組關(guān)聯(lián)的預(yù)測(cè)參數(shù)可重新估計(jì)(例如通過執(zhí)行新移動(dòng)搜尋),或針對(duì)當(dāng)前塊及鄰近塊或塊群組已經(jīng)決定的預(yù)測(cè)參數(shù)可對(duì)新塊群組加以評(píng)估。編碼器也可直接查核由分開與合并的組合所提供的圖案(的子集);即對(duì)如前述所得形狀進(jìn)行移動(dòng)估計(jì)及模式確定。合并信息可以以塊為基準(zhǔn)而信號(hào)通信。有效地,合并也可解釋為針對(duì)當(dāng)前塊預(yù)測(cè)參數(shù)的推定,其中,推定的預(yù)測(cè)參數(shù)被設(shè)定為等于鄰近塊中的一個(gè)的預(yù)測(cè)參數(shù)。
此時(shí),須注意不同分割圖案與合并信息的組合可導(dǎo)致相同形狀(與相同參數(shù)關(guān)聯(lián))。此點(diǎn)顯然并非最佳,原因在于相同消息可以通過不同的碼字的組合發(fā)送。為了避免(或減少)此項(xiàng)缺點(diǎn),本發(fā)明的實(shí)施方式描述了一個(gè)構(gòu)思,禁止相同形狀(關(guān)聯(lián)一特定參數(shù)組)通過不同分割及合并語(yǔ)法元素來被信號(hào)通信。因此,針對(duì)全部先前細(xì)分塊的全部塊(在編碼順序中的第一個(gè)除外),在編碼器及解碼器(諸如10及50)中檢查全部合并候選,合并是否將導(dǎo)致圖案可通過分割而無合并信息地被信號(hào)通信。此點(diǎn)為真的全部候選塊被從合并候選組中移除,所發(fā)送的合并信息適用于所得候選組。若無剩余候選,則不發(fā)送合并信息;若剩余一個(gè)候選,則只發(fā)送指定該塊是否合并的標(biāo)記。用于更進(jìn)一步示例性說明這一構(gòu)思,一個(gè)較佳實(shí)施方式敘述如下。所述實(shí)施方式關(guān)于其中只允許分割的構(gòu)思的優(yōu)點(diǎn)是提供更大的自由度用以信號(hào)通信將一圖像分割成與相同參數(shù)(例如用以指定預(yù)測(cè)信號(hào))關(guān)聯(lián)的部分的分割。相比于其中只提供一個(gè)分割圖案(例如細(xì)分成四個(gè)具相等大小的塊)組合合并方法,該方法的優(yōu)點(diǎn)是:常用圖案(例如不同尺寸的矩形)可通過短碼字替代數(shù)個(gè)細(xì)分標(biāo)記及合并標(biāo)記進(jìn)行信號(hào)通信。
現(xiàn)有技術(shù)的編碼標(biāo)準(zhǔn)如h.264也含特殊的相互間預(yù)測(cè)模式被稱作skip及direct模式,其中指定預(yù)測(cè)的參數(shù)由從空間和/或時(shí)間鄰近塊而完全推定。skip與direct之間的差異是skip模式發(fā)送不含殘差信號(hào)的額外信號(hào)。在多個(gè)提出的skip/direct模式改進(jìn)中,替代單一候選(如同于h.264),從當(dāng)前塊的空間和/或時(shí)間鄰近關(guān)系推定可能的候選列表??赡艿暮蜻x可包括當(dāng)前塊的頂塊、當(dāng)前塊的左塊、當(dāng)前塊的左上塊、當(dāng)前塊的右上塊、多個(gè)這樣的候選的中值(median)預(yù)測(cè)值、在一個(gè)或多個(gè)先前參考的幀中的共同定位塊(或任何其它已編碼塊,或由已編碼塊獲得的組合)。用于與合并模式組合,須確保skip/direct模式及合并模式二者皆不應(yīng)包括相同候選。這可通過如上所提到的不同的配置實(shí)現(xiàn)。所述組合的優(yōu)點(diǎn)是為信號(hào)通信提供多種選擇,對(duì)于不同塊的大小提供已發(fā)送的參數(shù)(例如用以指定預(yù)測(cè))的重復(fù)使用。
本發(fā)明的實(shí)施方式的一個(gè)優(yōu)點(diǎn)是通過將鄰近塊合并成為塊群組而減低發(fā)送預(yù)測(cè)參數(shù)所要求的比特率,這里每個(gè)塊群組關(guān)聯(lián)一獨(dú)特編碼參數(shù)組,例如預(yù)測(cè)參數(shù)或殘差編碼參數(shù)。合并信息在比特流內(nèi)部被信號(hào)通信(除了細(xì)分信息之外,如果存在的話)。組合不同的分割圖案及skip/direct模式,可確保skip/direct模式和所提供的圖案中并無任一個(gè)通過發(fā)送相對(duì)應(yīng)的合并信息而被“仿真”。本發(fā)明的實(shí)施方式的一個(gè)優(yōu)點(diǎn)是從編碼參數(shù)中減少邊信息率而使編碼效率提高。本發(fā)明的實(shí)施方式可應(yīng)用于影像和視頻編碼應(yīng)用中,其中樣本組與特定的編碼參數(shù)或預(yù)測(cè)參數(shù)相關(guān)聯(lián)。目前描述的合并處理也延伸至三維或更多維。例如,在數(shù)幅視頻圖像里的塊群組可被合并成一個(gè)塊群組。也可應(yīng)用至光域編碼中的4d壓縮。另一方面,也可用于1d信號(hào)中的壓縮,其中,1d信號(hào)被分割,而給定的分割被合并。
本發(fā)明的實(shí)施方式還有關(guān)于一種在影像及視頻編碼應(yīng)用中減低邊信息率之方法。在影像及視頻編碼應(yīng)用中,特定樣本組(可表示矩形或正方形塊或任意形狀區(qū)域或任何其它樣本集合)通常關(guān)聯(lián)特定編碼參數(shù)組。對(duì)于這樣的樣本集合中的每一個(gè),編碼參數(shù)被包括在比特流中。編碼參數(shù)可表示預(yù)測(cè)參數(shù),指定如何運(yùn)用已編碼樣本而預(yù)測(cè)相對(duì)應(yīng)的樣本組。將圖像的樣本數(shù)組分割成多個(gè)樣本組的分割可通過語(yǔ)法固定,或可由比特流內(nèi)部的相對(duì)應(yīng)細(xì)分信息信號(hào)通信??稍试S一個(gè)塊的多個(gè)分割圖案。樣本集合的編碼參數(shù)以語(yǔ)法所給定的預(yù)定順序發(fā)送。本發(fā)明的實(shí)施方式也提出了一種方法,通過該方法可針對(duì)當(dāng)前樣本組信號(hào)通信,該當(dāng)前樣本組與一個(gè)或多個(gè)其他樣本組合并(例如出于預(yù)測(cè)目的)成樣本組群組。因此,相對(duì)應(yīng)合并信息的可能數(shù)值組適用于所采用的分割圖案,該特定分割圖案無法由其他分割圖案與相對(duì)應(yīng)合并信息的組合表示。樣本組群組的編碼參數(shù)只需發(fā)送一次。在特定實(shí)施方式中,若當(dāng)前樣本組與編碼參數(shù)已經(jīng)發(fā)送的樣本組(或樣本組群組)合并,則不發(fā)送當(dāng)前樣本組的編碼參數(shù);代替地,當(dāng)前樣本組的編碼參數(shù)被設(shè)定為等于與當(dāng)前樣本組合并的樣本組(或樣本組群組)的編碼參數(shù)。作為可選方式,對(duì)于當(dāng)前樣本組可發(fā)送用于編碼參數(shù)中的一個(gè)或多個(gè)的額外提取;提取可施加至一個(gè)群組的全部樣本組或只施加至其被發(fā)送的樣本組。
在優(yōu)選實(shí)施方式中,對(duì)于每個(gè)樣本組,全部先前已編碼樣本組的集合被稱作“原因樣本組的集合”。可用來合并當(dāng)前樣本組的這樣的樣本集合被稱作“候選樣本組的集合”且總是“原因樣本組的集合”的子集。該子集如何形成的方式可以是由解碼器已知,或可在比特流內(nèi)部被指定??偠灾幋a器10及解碼器80確定欲縮減的候選組。如果當(dāng)前樣本組被編碼,而其候選樣本組的集合為非空,信號(hào)通信(或?qū)С?當(dāng)前樣本組是否與該候選樣本組的集合中的一個(gè)樣本組合并,且若是,則信號(hào)通信是哪一個(gè)樣本集合(若存在有多于一個(gè)的候選)。否則無法對(duì)該塊使用合并。合并將導(dǎo)致同樣可由分割圖案所直接指定的形狀的候選塊從候選集合中排除,來避免由分割信息與合并數(shù)據(jù)的不同組合而呈現(xiàn)相同形狀。換言之,如前述,就圖1至5而言通過移除個(gè)別候選而縮小候選集合。
在優(yōu)選的實(shí)施方式中,候選樣本組的集合數(shù)目為零,或更多樣本組含有至少特定數(shù)目(可以是1或2或甚至以上)的表示在當(dāng)前樣本組內(nèi)部的任何樣本的直接空間鄰近樣本的非零的樣本。在本發(fā)明的另一優(yōu)選實(shí)施方式中,候選樣本組的集合可額外地(或排它地)包括含有至少特定數(shù)目(可以是1或2或甚至以上)的具有相同空間所在位置的非零的樣本,即包括候選樣本組和當(dāng)前接受合并的當(dāng)前樣本組二者,但包含在不同圖像中。在本發(fā)明的另一優(yōu)選實(shí)施方式中,候選樣本組的集合可從當(dāng)前圖像內(nèi)部或其它圖像的先前已處理數(shù)據(jù)而導(dǎo)出。導(dǎo)出方法可包括與當(dāng)前圖像的特定方向及影像梯度關(guān)聯(lián)的空間方向信息,諸如變換系數(shù),或可包括時(shí)間方向信息,諸如鄰近移動(dòng)表征。由在接收器可用的這樣的數(shù)據(jù)及其它數(shù)據(jù)及邊信息(若存在時(shí)),可導(dǎo)出候選樣本組的集合。(從原先候選組)移除候選將使得與可通過特定分割圖案表示的相同形狀被在編碼器及解碼器以相同方式導(dǎo)出,使得編碼器及解碼器以確切相同方式導(dǎo)出用以合并的最終候選集合。
在一個(gè)優(yōu)選的實(shí)施方式中,所考慮的樣本組為矩形塊或正方形塊。那么,合并的樣本組表示矩形塊和/或正方形塊的集合。在本發(fā)明的另一優(yōu)選實(shí)施方式中,所考慮的樣本組是為任意形狀的圖像區(qū)域,而合并樣本組表示任意形狀圖像區(qū)域的集合。
在一個(gè)優(yōu)選的實(shí)施方式中,對(duì)于每個(gè)樣本組發(fā)送一個(gè)或多個(gè)語(yǔ)法元素,指定該樣本組是否合并另一樣本組(可以是已經(jīng)合并的樣本組的群組的一部分),及哪一個(gè)候選樣本組的集合被采用于合并。但若候選集合為空(例如因移除候選所致,該候選將產(chǎn)生可由不同分割圖案信號(hào)通信的分割但無合并),則不發(fā)送該語(yǔ)法元素。
在一個(gè)優(yōu)選的實(shí)施方式中,一或二個(gè)語(yǔ)法元素被傳送用來指定合并信息。第一語(yǔ)法元素指定當(dāng)前樣本組是否與另一樣本組合并。唯有當(dāng)?shù)谝徽Z(yǔ)法元素指定當(dāng)前樣本組與另一樣本集合合并時(shí)才發(fā)送的第二語(yǔ)法元素指定候選樣本組的集合中的哪一個(gè)被采用于合并。在一個(gè)優(yōu)選的實(shí)施方式中,唯有當(dāng)導(dǎo)出候選樣本組的集合不為空白(在可能移除將產(chǎn)生分割而該分割可通過不同分割圖案信號(hào)通信而無合并的候選)時(shí),才發(fā)送第一語(yǔ)法元素。在另一優(yōu)選實(shí)施方式中,唯有當(dāng)導(dǎo)出的候選樣本組的集合含有多于一個(gè)樣本組時(shí),才發(fā)送第二語(yǔ)法元素。在本發(fā)明的又一優(yōu)選實(shí)施方式中,唯有當(dāng)導(dǎo)出的候選樣本組的集合中的至少兩個(gè)樣本組關(guān)聯(lián)不同的編碼參數(shù)時(shí),才發(fā)送第二語(yǔ)法元素。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施方式中,用于樣本組的合并信息被在預(yù)測(cè)參數(shù)(或更概略言之,與樣本集合關(guān)聯(lián)的特定編碼參數(shù))之前編碼。唯有當(dāng)合并信息信號(hào)通信當(dāng)前樣本組不與另一樣本組合并時(shí)才發(fā)送預(yù)測(cè)參數(shù)或編碼參數(shù)。
在另一優(yōu)選的實(shí)施方式中,用于樣本組的合并信息被在已經(jīng)發(fā)送預(yù)測(cè)參數(shù)的子集(或更概略言之,與樣本集合關(guān)聯(lián)的特定編碼參數(shù))后編碼。該預(yù)測(cè)參數(shù)子集可由一個(gè)或多個(gè)參考圖像指數(shù)、或移動(dòng)參數(shù)向量中的一個(gè)或多個(gè)分量、或參考指數(shù)及移動(dòng)參數(shù)向量的一個(gè)或多個(gè)分量等所組成。已發(fā)送的預(yù)測(cè)參數(shù)或編碼參數(shù)子集被用來導(dǎo)出(縮小的)候選樣本組的集合。舉個(gè)實(shí)例,可求出已編碼預(yù)測(cè)參數(shù)或編碼參數(shù)與之前候選樣本組的集合的相對(duì)應(yīng)預(yù)測(cè)參數(shù)或編碼參數(shù)間的差測(cè)量值。唯有計(jì)算得到的差測(cè)量值小于或等于預(yù)定或?qū)С龅呐R界值的這樣的樣本組被包括在最終的(縮小的)候選樣本組的集合中。臨界值可基于計(jì)算得到的差測(cè)量值導(dǎo)出?;蚺e另一個(gè)實(shí)例,只選擇差測(cè)量值被最小化的這樣的樣本組?;蚧诓顪y(cè)量值只選擇一個(gè)樣本組。在后述情況下,可以以只指定當(dāng)前樣本組是否與單個(gè)候選樣本組合并的方式來縮小合并信息。
下列優(yōu)選實(shí)施方式是針對(duì)表示矩形塊及正方形塊的樣本組而描述的,但可以以直接的方式擴(kuò)充至任意形狀區(qū)域或其他樣本集合。
1.初始候選塊組的導(dǎo)出
本節(jié)初始樣本組的導(dǎo)出是有關(guān)于初始候選組的導(dǎo)出。全部候選塊中的若干候選塊之后可通過下述方式移除:通過分析相關(guān)聯(lián)的參數(shù)(例如預(yù)測(cè)信息),及對(duì)合并將導(dǎo)致也可通過使用另一分割圖案獲得的最終分割的這樣的候選塊進(jìn)行移除。該處理將在下一小節(jié)說明。
在一種優(yōu)選的實(shí)施方式中,初始候選塊組形成如下。始于當(dāng)前塊的左上樣本位置,導(dǎo)出其左鄰樣本位置及其右鄰樣本位置。初始候選塊組只有至多兩個(gè)成員,即原因塊組中含有兩個(gè)樣本位置中的一個(gè)的那些塊。如此,初始候選塊組可以只有當(dāng)前塊的左上樣本位置的兩個(gè)鄰近塊作為其成員。
在本發(fā)明的另一優(yōu)選實(shí)施方式中,初始候選塊組通過下述全部塊給定:這些塊在當(dāng)前塊之前已經(jīng)編碼,且含有表示當(dāng)前塊的任何樣本的直接空間鄰近塊(直接空間鄰近塊可限于直接左鄰近塊和/或直接頂鄰近塊和/或直接右鄰近塊和/或直接底鄰近塊)的一個(gè)或多個(gè)樣本。在本發(fā)明的另一優(yōu)選實(shí)施方式中,初始候選塊組確實(shí)額外地(或排它地)包括這樣的塊,該塊含有一或多個(gè)樣本位于與當(dāng)前塊的任一個(gè)樣本相同的位置,但被包含在不同的(已編碼的)圖像中。在本發(fā)明的另一優(yōu)選實(shí)施方式中,初始候選塊組表示前述(鄰近)塊集合的一個(gè)子集。候選塊的子集可以是固定、信號(hào)通信的或?qū)С龅?。候選塊的子集的導(dǎo)出可以考慮針對(duì)圖像中或其他圖像中所做決策。舉個(gè)實(shí)例,與其他候選塊相同(或極為相似的)編碼參數(shù)相關(guān)聯(lián)的塊可能不包括于初始候選塊集合。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施方式中,初始候選塊集合是針對(duì)前述實(shí)施方式中的一個(gè)導(dǎo)出的,但有下列限制:唯有使用移動(dòng)補(bǔ)償預(yù)測(cè)(相互間預(yù)測(cè))的塊才能成為候選塊集合的成員。即內(nèi)部編碼塊不被包括于(初始)候選集合。
如前文已述,可通過用于塊合并的額外候選而擴(kuò)充候選列表,諸如通過組合雙預(yù)測(cè)合并候選、非定標(biāo)雙預(yù)測(cè)合并候選、及零移動(dòng)向量。
初始候選塊集合的導(dǎo)出由編碼器及解碼器二者以相同方式進(jìn)行。
2.最終候選塊組的導(dǎo)出
導(dǎo)出初始候選組后,在初始候選組內(nèi)部的候選塊相關(guān)聯(lián)的參數(shù)被分析,合并將導(dǎo)致可通過使用不同分割圖案表示的分割這樣的合并候選被移除。若可被合并的樣本數(shù)組具有不同形狀和/或尺寸,則可能存在有可通過至少兩個(gè)不同碼字描述的相同的分割。例如,如果編碼器確定將樣本數(shù)組分開成兩個(gè)樣本數(shù)組,則通過合并兩個(gè)樣本數(shù)組可逆轉(zhuǎn)此分開。為了避免這種冗余的描述,根據(jù)允許的特定塊形狀及分開來約束用于合并的候選塊組。另一方面,樣本數(shù)組的所許可形狀可受用于合并的特定候選列表所限。分開及合并的工具二者可一起設(shè)計(jì),使得在二者的組合中避免冗余描述。
在本發(fā)明中的一個(gè)優(yōu)選實(shí)施方式中,圖6闡釋的分開模型(或分割模型)組支持方形塊。若具特定尺寸的方形塊被分開成具相等大小的四個(gè)較小方形塊(圖6的左下圖案),則該分割圖案組可施加至結(jié)果所得的四個(gè)方形塊,使得可指定分級(jí)分割。
導(dǎo)出初初始候選塊組后,候選列表的縮小如下述進(jìn)行。
-若該當(dāng)前塊被進(jìn)一步分割(圖6的左上圖案),則初始候選列表不縮小。即全部初始候選表示用于合并的最終候選。
-若當(dāng)前塊被分割成恰兩個(gè)任意尺寸塊,則這兩個(gè)塊中的一個(gè)被在另一者之前編碼,可通過語(yǔ)法決定。針對(duì)第一編碼塊,初始候選組不縮小。但針對(duì)第二編碼塊,具有與第一塊相同相關(guān)聯(lián)的參數(shù)的全部候選塊被從候選組中移除(包括第一編碼塊)。
-若一個(gè)塊被分割成四個(gè)具相等大小的方形塊,則前三個(gè)塊(以編碼順序表示)的初始候選列表不縮小。全部初始候選列表的塊也存在于最終候選列表。但對(duì)于編碼順序中的第四(最末)塊,以下適用:
-若在與當(dāng)前塊不同行(在圖6的左下示例說明的分割方案中)的這樣的塊具有相同相關(guān)聯(lián)的參數(shù)(例如移動(dòng)參數(shù)),則具有與當(dāng)前塊同一行的已編碼塊相同移動(dòng)參數(shù)的全部候選被從候選組中移除(這包括同一行的塊)。
-若在與當(dāng)前塊不同列(在圖6的左下示例說明的分割方案中)的這樣的塊具有相同相關(guān)聯(lián)的參數(shù)(例如移動(dòng)參數(shù)),則具有與當(dāng)前塊同一列的已編碼塊相同移動(dòng)參數(shù)的全部候選被從候選組中移除(這包括同一列的塊)。
在低復(fù)雜度實(shí)施方式的變形例(使用圖6的分割圖案)中,候選列表的縮小被如下述進(jìn)行。
-若當(dāng)前塊未被進(jìn)一步分割(圖6的左上圖案),則初始候選列表不被縮小。即,全部初始候選表示用于合并的最終候選。
-若當(dāng)前塊被分割成恰兩個(gè)任意尺寸的塊,則此兩個(gè)塊中的一個(gè)是在另一個(gè)之前被編碼,其由語(yǔ)法確定。針對(duì)第一編碼塊,初始候選組不縮小。但針對(duì)第二編碼塊,該分割圖案的第一編碼塊被從候選組移除。
-若一個(gè)塊被分割成四個(gè)具相等大小的方形塊,則前三個(gè)塊(以編碼順序表示)的初始候選組不縮小。全部初始候選組的塊也存在于最終候選組。但在編碼順序中的第四(最末)塊,以下適用:
-若針對(duì)被后來編碼的另一行中塊(當(dāng)前塊以外),合并信息信號(hào)通信其與該行的第一編碼塊合并,則與當(dāng)前塊同一行的塊被從候選組移除。
-若針對(duì)被后來編碼的另一列中塊(當(dāng)前塊以外),合并信息信號(hào)通信其與該列的第一編碼塊合并,則與當(dāng)前塊同一列的塊被從候選組移除。
在另一優(yōu)選實(shí)施方式中,支持圖6闡釋的相同分割圖案,但不含將方形塊分割成具相等大小的兩個(gè)矩形塊的圖案。候選組的縮小如前述以實(shí)施方式中的任一個(gè)所述進(jìn)行,但塊分裂成四個(gè)方形塊的圖案例外。此處,全部初始候選皆可用于全部子塊,或只有最末編碼子塊的候選列表受約束如下。若先前已編碼的三個(gè)塊被與相同參數(shù)關(guān)聯(lián),則與該參數(shù)關(guān)聯(lián)的全部候選被從候選列表中移除。在低復(fù)雜度版本中,若三個(gè)先前已編碼子塊已經(jīng)合并在一起,則最后編碼子塊無法與該三個(gè)子塊中的任一個(gè)合并。
在另一優(yōu)選實(shí)施方式中,支持針對(duì)一個(gè)塊(或任何其它樣本數(shù)組集合形式)的不同分割圖案組。針對(duì)未分割的樣本數(shù)組集合,初始候選組的全部候選可用于合并。若一個(gè)樣本數(shù)組被恰分割成兩個(gè)樣本數(shù)組,針對(duì)于編碼順序中的第一樣本數(shù)組,初始候選列表的全部候選被插入最終候選列表。針對(duì)于編碼順序中的第二樣本數(shù)組,具有與第一樣本數(shù)組相同關(guān)聯(lián)參數(shù)的全部候選皆被移除?;蛟诘蛷?fù)雜度版本中,只有第一樣本數(shù)組被從候選組中移除。針對(duì)將樣本數(shù)組分開成多于兩個(gè)樣本數(shù)組的分割圖案,候選的移除取決于另一分割圖案是否可以以當(dāng)前分割圖案及相對(duì)應(yīng)合并信息仿真。候選的移除程序遵照明確如前述的構(gòu)思,但考慮實(shí)際上支持的候選圖案。
在又一優(yōu)選實(shí)施方式中,若針對(duì)特定塊支持skip/direct模式,同樣也呈現(xiàn)skip/direct模式的候選的合并候選被從候選列表中移除。此項(xiàng)移除可置換前述候選塊的移除,或連同前述候選塊移除一起使用。
3.與skip/direct模式組合
skip/direct模式可支持全部或只特定塊大小和/或塊形狀。候選塊組被用于skip/direct模式。skip與direct之間的差異為是否發(fā)送殘差信息。推定skip與direct的參數(shù)(例如用于預(yù)測(cè))等于相對(duì)應(yīng)候選中的任一個(gè)。候選是通過將指數(shù)發(fā)送入候選列表而被選擇。
在一個(gè)優(yōu)選的實(shí)施方式中,用于skip/direct的候選列表可含有不同候選。一個(gè)實(shí)例被示例說明于圖8。候選列表可包括下列候選(當(dāng)前塊以xi標(biāo)示):
-中部(median)(介于左、上、角隅間)
-左塊(li)
-上塊(ai)
-角隅塊(依序:右上(ci1)、左下(ci2)、左上(ci3))
-在不同的但已編碼圖像中的并列(collocated)塊
在一個(gè)優(yōu)選實(shí)施方式中,合并候選包括li(左塊)及ai(上塊)。選擇這樣的合并候選要求小量邊信息來信號(hào)通信當(dāng)前塊與哪一個(gè)塊合并。
下列符號(hào)被用來描述下列實(shí)施方式:
-set_mvp_ori是用于skip/direct模式的候選組。該組由{中部、左、上、角隅、并列}組成,其中中部為中值(在左、上及角隅的有序集合中的中間值),而并列是由最靠近的參考幀給定且根據(jù)時(shí)間距離定標(biāo)(scale)。
-set_mvp_comb是用于skip/direct模式組合塊合并處理的候選組。
針對(duì)優(yōu)選實(shí)施方式,skip/direct模式與塊合并模式間的組合可以以原始候選組處理。如此表示skip/direct模式具有與其單獨(dú)被激勵(lì)時(shí)的相同候選組。組合這兩個(gè)模式的關(guān)注焦點(diǎn)是來自于信號(hào)通信幀間(interframe)邊信息的互補(bǔ)性。盡管實(shí)際上這模式使用鄰近塊信息來改進(jìn)當(dāng)前塊的信號(hào)化,但塊合并模式只處理左及上鄰近塊,而skip/direct模式處理高達(dá)五個(gè)候選。主要互補(bǔ)性在于處理鄰近信息的不同辦法。塊合并處理保有針對(duì)全部參考列表的完整鄰近信息組。這表示塊合并保有來自其鄰近塊的完整邊信息,而不只是參考列表的移動(dòng)向量,而skip/direct模式針對(duì)各個(gè)參考列表分開地處理預(yù)測(cè)參數(shù),并針對(duì)各個(gè)參考列表發(fā)送指數(shù)入候選列表。即針對(duì)雙預(yù)測(cè)圖像,發(fā)送兩個(gè)指數(shù)來信號(hào)通信針對(duì)參考列表0的一個(gè)候選和參考列表1的一個(gè)候選。
在另一優(yōu)選實(shí)施方式中,被稱作set_mvp_comb的一個(gè)候選組可針對(duì)skip/direct模式組合塊合并模式而被找出。該組合組為原始組(set_mvp_ori)的一部分且允許對(duì)用于skip/direct模式的信號(hào)通信進(jìn)行縮減,原因在于候選列表:set_mvp_comb的縮減。應(yīng)從原始列表(set_mvp_ori)中移除的候選是那些對(duì)塊合并處理為冗余者或不常用者。
在另一優(yōu)選實(shí)施方式中,skip/direct模式與塊合并處理間的組合可以以組合候選集合(set_mvp_comb)處理,該集合為不含中部的原始集合(set_mvp_ori)。因針對(duì)中部用于skip/direct模式觀察得效率低,故縮減原始列表帶來了編碼效率的改進(jìn)。
在另一優(yōu)選實(shí)施方式中,skip/direct模式與塊合并的組合可以以組合候選組(set_mvp_comb)處理,該組合集合為只含角隅和/或只含并列作為候選的原始集合(set_mvp_ori)。
在另一優(yōu)選實(shí)施方式中,skip/direct模式與塊合并處理的組合可以以組合候選組處理,該組合集合為只含角隅及并列作為候選的set_mvp_ori。如前文已述,盡管skip/direct模式與塊合并間的互補(bǔ)性,應(yīng)從列表中移除的候選是那些對(duì)塊合并處理的候選來說是冗余的候選。這些候選是左及上。組合候選組(set_mvp_comb)可縮減成只有兩個(gè)候選:角隅及并列。使用該候選組set_mvp_comb的skip/direct模式與塊合并處理組合,獲得幀間邊信息的信號(hào)通信的效率的高度提升。在本實(shí)施方式中,skip/direct模式與塊合并模式不共享任何候選塊。
在其他實(shí)施方式中,可使用skip/direct模式與塊合并的略不同組合??赡茉试Sskip/direct模式(例如具有比合并模式更多個(gè)候選)只用于特定塊(例如具有比指定尺寸更大的尺寸,或只針對(duì)方形塊等),而不支持該塊的合并模式?;騭kip/direct模式可被移除而全部候選(包括表示空間/時(shí)間鄰近塊的參數(shù)組合的這樣的參數(shù))被加至合并模式作為候選。該選項(xiàng)已經(jīng)描述在圖1到5。加大的候選集合可只用在特定塊(尺寸大于給定最小尺寸,或方形塊等),而針對(duì)其他塊則被使用縮小的候選組?;蜃鳛橛忠蛔冃卫?,合并模式被用在縮減的候選組(例如只有上及左鄰近塊),而其他候選(例如左上鄰近塊、共同定位塊等)被用于skip/direct模式。又在這樣的配置中,skip/direct模式只允許用于特定塊(尺寸大于給定最小尺寸,或方形塊等),而合并模式允許用于更大型的塊組。
4.合并信息的發(fā)送
針對(duì)優(yōu)選的候選,特別針對(duì)圖1至5的實(shí)施方式,適用后文說明。假設(shè)只有含有當(dāng)前塊的左上樣本的左及上鄰近樣本的兩個(gè)塊被視為候選。若最終候選塊組(在如前述移除候選后)不為空,則信號(hào)通信一個(gè)被稱作merge_flag的標(biāo)記,指定當(dāng)前塊是否合并任一個(gè)候選塊。若merge_flag等于0(用于“偽”),則該塊不與其候選塊中的一個(gè)合并,全部編碼參數(shù)被尋常傳送。若merge_flag系等于1(用于“真”),則適用后述。若候選塊組含有一個(gè)且唯一個(gè)塊,則該候選塊被用來合并。否則候選塊組含有恰兩個(gè)塊。若這兩個(gè)塊的預(yù)測(cè)參數(shù)相同,則該預(yù)測(cè)參數(shù)被用于當(dāng)前塊。否則(兩個(gè)塊有不同預(yù)測(cè)參數(shù))信號(hào)通信被稱作merge_left_flag的標(biāo)記。若merge_left_flag等于1(用于“真”),則從該候選塊組中選定含有當(dāng)前塊的左上樣本位置的左鄰近樣本位置的該塊。若merge_left_flag等于0(用于“偽”),則從候選塊組中選出另一個(gè)(即上鄰近)塊。選定塊的預(yù)測(cè)參數(shù)用于當(dāng)前塊。在另一實(shí)施方式中,發(fā)送信號(hào)通信合并處理的組合語(yǔ)法元素。在另一實(shí)施方式中,發(fā)送merge_left_flag而與兩個(gè)候選塊是否具有相同預(yù)測(cè)參數(shù)無關(guān)。
須注意語(yǔ)法元素merge_left_flag也可定名為merge_index,原因在于其功能是檢索在未被移除候選中的擇定者。
在另一優(yōu)選實(shí)施方式中,多于兩個(gè)塊可包括于候選塊集合。合并信息(即是否合并一塊,及若是則合并哪個(gè)候選塊)是通過一個(gè)或多個(gè)語(yǔ)法元素信號(hào)通信。此處,碼字組取決于最終候選組的候選數(shù)目,且以在編碼器及解碼器處相同的方式擇定。在一個(gè)實(shí)施方式中,合并信息使用一個(gè)語(yǔ)法元素發(fā)送。在另一實(shí)施方式中,一個(gè)語(yǔ)法元素指定該塊是否合并任一個(gè)候選塊(比較前述merge_flag)。該標(biāo)記只有在候選塊組不為空時(shí)發(fā)送。第二語(yǔ)法元素信號(hào)通信哪個(gè)候選塊用來合并;只有當(dāng)?shù)谝徽Z(yǔ)法元素信號(hào)通信當(dāng)前塊與候選塊中的一個(gè)合并時(shí)才發(fā)送。在本發(fā)明的一個(gè)優(yōu)選實(shí)施方式中,只有當(dāng)候選塊組含有多于一個(gè)候選塊時(shí)和/或當(dāng)該候選塊中的任一個(gè)具有與該候選塊中之任何其它候選塊不同的預(yù)測(cè)參數(shù)時(shí)才發(fā)送。語(yǔ)法可取決于給定多少候選塊和/或取決于不同預(yù)測(cè)參數(shù)如何關(guān)聯(lián)候選塊。
如同針對(duì)direct模式,可能增加用于塊合并的候選組。
如在其他優(yōu)選實(shí)施方式中所述,第二語(yǔ)法元素合并指數(shù)只有在候選列表含有多于一個(gè)候選時(shí)才發(fā)送。這要求在剖析合并指數(shù)前導(dǎo)出列表,防止并行進(jìn)行這兩個(gè)處理。為了實(shí)現(xiàn)剖析產(chǎn)出量的增加,且為了就傳輸誤差而言使得剖析處理更穩(wěn)健,通過針對(duì)各個(gè)指數(shù)值使用固定碼字及固定候選數(shù)目,可移除這種相依性。若該數(shù)目無法通過候選的選擇而達(dá)成,則可導(dǎo)出附屬候選來完成列表。這些額外候選可包括從已在列表上的可能不同候選的移動(dòng)參數(shù)建立的所謂組合候選,及零移動(dòng)向量。
在另一優(yōu)選實(shí)施方式中,用以信號(hào)通信候選組中的哪個(gè)塊的語(yǔ)法在編碼器及解碼器處同時(shí)調(diào)試。例如,若給定三個(gè)合并塊選擇,這三個(gè)選擇只存在于語(yǔ)法且考慮用于熵編碼。全部其它選擇的機(jī)率被視為0,熵編解碼器在編碼器及解碼器處同時(shí)調(diào)整。
由于合并處理結(jié)果而被推定的預(yù)測(cè)參數(shù)可表示與一個(gè)塊關(guān)聯(lián)的完整預(yù)測(cè)參數(shù)組,或可表示這樣的預(yù)測(cè)參數(shù)的子集(例如使用多假設(shè)預(yù)測(cè)的一個(gè)塊中的一個(gè)假設(shè)的預(yù)測(cè)參數(shù))。
在一個(gè)優(yōu)選的實(shí)施方式中,與合并信息有關(guān)的語(yǔ)法元素使用上下文(context)模型化進(jìn)行熵編碼。語(yǔ)法元素可由前述merge_flag及merge_left_flag組成。
在一個(gè)優(yōu)選的實(shí)施方式中,三個(gè)上下文模型中的一個(gè)用來編碼merge_flag。所使用的上下文模型merge_flag_ctx被導(dǎo)出如下。若候選塊組含有兩個(gè)成員,則merge_flag_ctx的值等于兩個(gè)候選塊的merge_flag值之和。若候選塊組含有一個(gè)成員,則merge_flag_ctx的值等于該候選塊的merge_flag值的兩倍。
在一個(gè)優(yōu)選的實(shí)施方式中,merge_left_flag使用單個(gè)機(jī)率模型編碼。
可使用編碼merge_idx(merge_left_flag)的不同上下文模型。
在其他實(shí)施方式中,可使用不同上下文模型。非二元語(yǔ)法元素可對(duì)應(yīng)至一個(gè)序列二元符號(hào)(倉(cāng)(bin))。某些語(yǔ)法元素或語(yǔ)法元素倉(cāng)的上下文模型可基于已發(fā)送的鄰近塊的語(yǔ)法元素或候選塊數(shù)目或其它測(cè)量值導(dǎo)出,而其他語(yǔ)法元素或語(yǔ)法元素倉(cāng)可以固定上下文模型編碼。
5.編碼器操作
合并構(gòu)思的包括為編碼器提供產(chǎn)生比特流的較大自由度,原因在于合并方法以當(dāng)然增加的信號(hào)通信開銷量來增加選擇分割用于一個(gè)圖像的樣本數(shù)組的可能性數(shù)目??赏ㄟ^細(xì)分與合并的組合表示的部分或全部額外圖案(例如圖7的圖案,當(dāng)支持圖6的分割圖案時(shí))可被額外測(cè)試(使用相對(duì)應(yīng)塊大小用于移動(dòng)估計(jì)及模式?jīng)Q定),及由純粹分割(圖6)及分割與合并(圖7)所提供的圖案中的最優(yōu)者可基于特定比率失真測(cè)量值被選擇。此外,針對(duì)每個(gè)塊,可測(cè)試合并任何已編碼候選組是否獲得特定比率失真測(cè)量值的減低,及然后在編碼過程中設(shè)定相對(duì)應(yīng)的合并標(biāo)記。
在另一優(yōu)選實(shí)施方式中,編碼器可首先確定樣本數(shù)組的最佳細(xì)分(如同現(xiàn)有技術(shù)編碼方案)。然后可針對(duì)各個(gè)樣本組核查合并另一樣本組或另一群組樣本組是否減低特定比率失真成本測(cè)量值。此時(shí),與合并樣本組的群組相關(guān)聯(lián)的預(yù)測(cè)參數(shù)可重新估計(jì)(例如通過進(jìn)行新移動(dòng)搜尋),或已經(jīng)對(duì)當(dāng)前樣本組及用于合并的候選樣本組(或樣本組群組)確定的預(yù)測(cè)參數(shù)可對(duì)所考慮的樣本組群組進(jìn)行評(píng)估。
在另一優(yōu)選實(shí)施方式中,特定比率失真成本測(cè)量值可針對(duì)額外候選樣本組群組評(píng)估。舉個(gè)特定實(shí)例,當(dāng)測(cè)試各個(gè)可能的分割圖案(例如參考圖6)時(shí),可額外測(cè)試可由分割與合并的組合(例如參考圖7)表示的部分或全部圖案。即,針對(duì)全部圖案,進(jìn)行特定移動(dòng)估計(jì)及模式確定,選擇獲得最小比率失真測(cè)量值的圖案。此項(xiàng)處理也與前述低復(fù)雜度處理組合,因此針對(duì)所得塊,額外地測(cè)試與已編碼塊合并(例如在圖6及圖7的圖案外部)是否獲得比率失真測(cè)量值的減低。
在另一優(yōu)選實(shí)施方式中,編碼器測(cè)試可以以優(yōu)先級(jí)由分割與合并表示的不同圖案,及通過給定實(shí)時(shí)要求測(cè)試盡可能多的圖案。優(yōu)先級(jí)也可基于已編碼塊及所選分割圖案修改。
將前面提到的實(shí)施方式轉(zhuǎn)換為特定語(yǔ)法的一個(gè)方式被在后文就下列圖式解說。更明確言之,圖9至圖11b顯示利用前述實(shí)施方式的語(yǔ)法的不同部分。更明確言之,根據(jù)如下提到的實(shí)施方式,圖像20首先向上分割成編碼樹塊,其圖像內(nèi)容使用圖9所示語(yǔ)法coding_tree編碼。如圖所示,針對(duì)entropy_coding_mode_flag=1,例如有關(guān)上下文適應(yīng)性二元算術(shù)編碼模式或另一種特定熵編碼模式,當(dāng)前編碼樹塊的四元樹細(xì)分通過在記號(hào)400處稱作split_coding_unit_flag的標(biāo)記而在語(yǔ)法部分coding_tree內(nèi)部信號(hào)通信。如圖9所示,根據(jù)后述實(shí)施方式,樹根塊被細(xì)分為,如圖9所示,由split_coding_unit_flag以深度優(yōu)先橫過順序被信號(hào)通信。每當(dāng)?shù)竭_(dá)葉節(jié)點(diǎn),即表示編碼單元,立即使用語(yǔ)法函數(shù)coding_unit編碼。由圖9可知,注意于402的條件子句,檢查當(dāng)前split_coding_unit_flag設(shè)定與否。若是,則遞歸呼叫函數(shù)coding_tree,結(jié)果使得分別在編碼器及解碼器處又一split_coding_unit_flag的進(jìn)一步發(fā)送/提取。若否,即若split_coding_unit_flag=0,則圖5a的樹根塊200的當(dāng)前子塊為葉塊,為了編碼此一編碼單元,在404調(diào)用圖10的函數(shù)coding_unit。
在本描述實(shí)施方式中,使用前述選項(xiàng),由此合并單純可用于相互間預(yù)測(cè)模式可資利用的圖像。換言之,內(nèi)部編碼截割片/圖像絕不使用合并。由圖10可見,此處唯有在截割片類型不等于內(nèi)部圖像截割片類型的情況下,才在406發(fā)送標(biāo)記merge_flag。根據(jù)本發(fā)明,合并只有關(guān)于相互間預(yù)測(cè)相關(guān)的預(yù)測(cè)參數(shù)。根據(jù)本發(fā)明,merge_flag被對(duì)整個(gè)編碼單元40信號(hào)通信,也向解碼器信號(hào)通信針對(duì)當(dāng)前編碼單元的某個(gè)分割模式,即無分割模式。據(jù)此,函數(shù)prediction_unit在408被調(diào)用,標(biāo)示當(dāng)前編碼單元作為預(yù)測(cè)單元。但這并非切換成合并選項(xiàng)的唯一可能。反而若在406未設(shè)定與整個(gè)編碼單元有關(guān)的merge_flag,則非內(nèi)部圖像截割片的編碼單元的預(yù)測(cè)類型在410由語(yǔ)法元素pred_type被信號(hào)通信,取決于在當(dāng)前編碼單元未被進(jìn)一步分割的情況下,例如在412處針對(duì)當(dāng)前編碼單元的任何分割呼叫函數(shù)prediction_unit。在圖10中,只顯示四個(gè)不同分割選項(xiàng),但也可利用圖6所示的其他分割選項(xiàng)。另一種可能是分割選項(xiàng)part_nxn無法取得反而利用其他者。圖10中使用的分割模式名稱與圖6所示分割選項(xiàng)之間的關(guān)聯(lián)是通過個(gè)體分割選項(xiàng)下方的相應(yīng)下標(biāo)指示于圖6中。針對(duì)每個(gè)分割調(diào)用函數(shù)prediction_unit,諸如在前述編碼順序的分割區(qū)間50及60中。函數(shù)prediction_unit從在414核查merge_flag開始。若merge_flag被設(shè)定,則在416無可避免地出現(xiàn)merge_index。在步驟414核查被用于檢查如在406被信號(hào)化的整個(gè)編碼單元相關(guān)的merge_flag已經(jīng)設(shè)定與否。若否,則在418再度信號(hào)化merge_flag;若后者被設(shè)定,則在420接著出現(xiàn)merge_index,指示針對(duì)當(dāng)前分割區(qū)間的合并候選。再次,只有在當(dāng)前編碼單元的當(dāng)前預(yù)測(cè)模式為相互間預(yù)測(cè)模式(參考422)的情況下,merge_flag才在418對(duì)當(dāng)前分割區(qū)間信號(hào)化。
如從圖11a和圖11b可見,根據(jù)本發(fā)明,在424針對(duì)當(dāng)前編碼單元傳輸使用中的預(yù)測(cè)參數(shù)只有在合并并不用在本預(yù)測(cè)單元時(shí)進(jìn)行。
雖然圖9至圖11b的實(shí)施方式的前文描述已經(jīng)描述大部分函數(shù)及語(yǔ)義,若干額外信息呈示如下。
merge_flag[x0][y0]指定針對(duì)當(dāng)前編碼單元(參考附圖的50及60)的相互間預(yù)測(cè)參數(shù)是否被從鄰近相互間預(yù)測(cè)分割區(qū)間推定。數(shù)組指數(shù)x0、y0指定所考慮的預(yù)測(cè)塊的左上亮度樣本(參考附圖的50及60)相對(duì)于圖像的左上亮度樣本(參考附圖的20)的位置(x0,y0)。
merge_flag[x0][y0]指定合并候選列表的合并候選指數(shù),在這里x0、y0指定所考慮的預(yù)測(cè)塊的左上亮度樣本相對(duì)于圖像的左上亮度樣本的位置(x0,y0)。
雖然在前文圖9至圖11b的描述中并未特別指示,但合并候選或合并候選列表在本實(shí)施方式中不僅使用空間上鄰近預(yù)測(cè)單元/分割區(qū)間的編碼參數(shù)或預(yù)測(cè)參數(shù)具體決定,同時(shí)也通過使用時(shí)間上鄰近且先前已編碼圖像的時(shí)間上鄰近的分割區(qū)間的預(yù)測(cè)參數(shù)而形成候選列表。此外,空間上和/或時(shí)間上鄰近預(yù)測(cè)單元/分割區(qū)間的預(yù)測(cè)參數(shù)的組合使用且包括在合并候選列表中。當(dāng)然也可只使用其子集。更明確言之,圖12顯示確定空間鄰近者、即空間鄰近分割區(qū)間或預(yù)測(cè)單元的一個(gè)可能性。圖12具體顯示預(yù)測(cè)單元或分割區(qū)間60及恰相鄰分割區(qū)間60邊界500的像素b0至b2及a0和a1,換言之,b2對(duì)角線相鄰于分割區(qū)間60的左上像素,b1位于分割區(qū)間60垂直上方且相鄰于右上像素,b0位于分割區(qū)間60右上像素的對(duì)角線,a1位于分割區(qū)間60水平左方且相鄰于左下像素,a0位于分割區(qū)間60的左下像素的對(duì)角線。包括像素b0至b2及a0和a1中的至少一個(gè)的分割區(qū)間形成空間鄰近者,其預(yù)測(cè)參數(shù)形成合并候選。
為了執(zhí)行這些將導(dǎo)致也可被利用的另一分割模式的候選的前述移除,可使用下列函數(shù):
更明確言之,若下列條件中的任一個(gè)為真,則候選n,即植基于涵蓋像素n=(b0、b1、b2、a0、a1),亦即位置(xn,yn)的預(yù)測(cè)單元/分割區(qū)間的編碼/預(yù)測(cè)參數(shù)被從候選列表移除(請(qǐng)參考圖6分割模式partmode及相對(duì)應(yīng)分割指數(shù)partidx檢索在編碼單元內(nèi)部的相應(yīng)區(qū)間):
-當(dāng)前預(yù)測(cè)單元的partmode是part_2nxn且partidx等于1,及涵蓋亮度位置(xp,yp-1)(partidx=0)及亮度位置(xn,yn)(cand.n)的預(yù)測(cè)單元具有相同移動(dòng)參數(shù):
mvlx[xp,yp-1]==mvlx[xn,yn]
refidxlx[xp,yp-1]==refidxlx[xn,yn]
predflaglx[xp,yp-1]==predflaglx[xn,yn]
-當(dāng)前預(yù)測(cè)單元的partmode為part_nx2n且partidx等于1,涵蓋亮度位置(xp-1,yp)(partidx=0)及亮度位置(xn,yn)(cand.n)的預(yù)測(cè)單元具有相同移動(dòng)參數(shù):
mvlx[xp-1,yp]==mvlx[xn,yn]
refidxlx[xp-1,yp]==refidxlx[xn,yn]
predflaglx[xp-1,yp]==predflaglx[xn,yn]
-當(dāng)前預(yù)測(cè)單元的partmode是part_nxn且partidx等于3,涵蓋亮度位置(xp-1,yp)(partidx=2)及亮度位置(xp-1,yp-1)(partidx=0)的預(yù)測(cè)單元具有相同移動(dòng)參數(shù):
mvlx[xp-1,yp]==mvlx[xp-1,yp-1]
refidxlx[xp-1,yp]==refidxlx[xp-1,yp-1]
predflaglx[xp-1,yp]==predflaglx[xp-1,yp-1]
涵蓋亮度位置(xp,yp-1)(partidx=1)和亮度位置(xn,yn)(cand.n)的預(yù)測(cè)單元具有相同移動(dòng)參數(shù):
mvlx[xp,yp-1]==mvlx[xn,yn]
refidxlx[xp,yp-1]==refidxlx[xn,yn]
predflaglx[xp,yp-1]==predflaglx[xn,yn]
-當(dāng)前預(yù)測(cè)單元的partmode是part_nxn且partidx等于3,涵蓋亮度位置(xp,yp-1)(partidx=1)及亮度位置(xp-1,yp-1)(partidx=0)的預(yù)測(cè)單元具有相同移動(dòng)參數(shù):
mvlx[xp,yp-1]==mvlx[xp-1,yp-1]
refidxlx[xp,yp-1]==refidxlx[xp-1,yp-1]
predflaglx[xp,yp-1]==predflaglx[xp-1,yp-1]
涵蓋亮度位置(xp-1,yp)(partidx=2)及亮度位置(xn,yn)(cand.n)的預(yù)測(cè)單元具有相同移動(dòng)參數(shù):
mvlx[xp-1,yp]==mvlx[xn,yn]
refidxlx[xp-1,yp]==refidxlx[xn,yn]
就此方面而言,請(qǐng)注意位置或所在位置(xp,yp)標(biāo)示當(dāng)前分割區(qū)間/預(yù)測(cè)單元的最頂上像素。換言之,根據(jù)第一項(xiàng),查驗(yàn)全部編碼參數(shù)候選,該候選已經(jīng)通過直接采用鄰近預(yù)測(cè)單元、即預(yù)測(cè)單元n的相應(yīng)編碼參數(shù)導(dǎo)出。但其他額外編碼參數(shù)候選可以以相同方式檢查其是否等于將導(dǎo)致獲得也由該語(yǔ)法所支持的另一分割圖案的相應(yīng)預(yù)測(cè)單元的編碼參數(shù)。根據(jù)剛才所述實(shí)施方式,編碼參數(shù)的相等涵蓋查驗(yàn)移動(dòng)向量亦即mvlx、參考指數(shù)亦即refixlx、及預(yù)測(cè)標(biāo)記predflaglx的相等性,指示與參考列表x而x為0至1相關(guān)聯(lián)的參數(shù)、即移動(dòng)向量及參考指數(shù)用于相互間預(yù)測(cè)。
請(qǐng)注意剛才所述用于移除鄰近預(yù)測(cè)單元/分割區(qū)間的編碼參數(shù)候選的可能性也適用于圖6右半所示支持的非對(duì)稱分割模式的情況。在這種情況下,模式part_2nxn可表示全部水平細(xì)分模式,part_nx2n可相對(duì)應(yīng)于全部垂直細(xì)分模式。此外,模式part_nxn可從所支持的分割模式或分割圖案中排除,在這種情況下,只須進(jìn)行最開始兩個(gè)移除檢查。
有關(guān)圖9至12的實(shí)施方式,也須注意可能從候選列表中排除內(nèi)部預(yù)測(cè)分割區(qū)間,換言之,其編碼參數(shù)當(dāng)然不包括在候選列表中。
此外,注意三個(gè)上下文可用在merge_flag及merge_index。
雖然已經(jīng)在裝置的上下文中描述若干方面,但顯然這些方面也表示相對(duì)應(yīng)的方法的描述,其中,塊或裝置相對(duì)應(yīng)于方法步驟或方法步驟的特征結(jié)構(gòu)。同理,在方法步驟上下文中描述的方面也表示相對(duì)應(yīng)塊的描述或相對(duì)應(yīng)設(shè)備的項(xiàng)目或特征結(jié)構(gòu)。部分或全部方法步驟可通過(或使用)硬件設(shè)備執(zhí)行,例如微處理器、可規(guī)劃計(jì)算機(jī)、或電子電路。在若干實(shí)施方式中,最重要方法步驟中的某一個(gè)或某多個(gè)可由此種設(shè)備執(zhí)行。
根據(jù)某些實(shí)現(xiàn)方式的需求,本發(fā)明的實(shí)施方式可被以硬件或軟件實(shí)現(xiàn)。這些實(shí)現(xiàn)方式可使用下列數(shù)字儲(chǔ)存介質(zhì)(例如軟盤、dvd、藍(lán)光盤、cd、rom、prom、eprom、eeprom、或閃存)執(zhí)行,這些數(shù)字存儲(chǔ)介質(zhì)將可電子讀取的控制信號(hào)儲(chǔ)存其上,該控制信號(hào)與可編程計(jì)算機(jī)系統(tǒng)協(xié)作(或能夠協(xié)作)以執(zhí)行相應(yīng)的方法。因此,數(shù)字儲(chǔ)存介質(zhì)可以是計(jì)算機(jī)可讀的。
根據(jù)本發(fā)明的若干實(shí)施方式包括具有可電子讀取的控制信號(hào)的數(shù)據(jù)載體,該控制信號(hào)能夠與可編程計(jì)算機(jī)系統(tǒng)協(xié)作以執(zhí)行此處所述方法中的一個(gè)。
大致上,本發(fā)明的實(shí)施方式可實(shí)現(xiàn)為具有程序代碼的計(jì)算機(jī)程序產(chǎn)品,該程序代碼系可操作用來當(dāng)計(jì)算機(jī)程序產(chǎn)品在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行方法中的一個(gè)。程序代碼例如可儲(chǔ)存在機(jī)器可讀取載體上。
其他實(shí)施方式包括儲(chǔ)存在機(jī)器可讀取載體上用以執(zhí)行此處所述方法中的一個(gè)的計(jì)算機(jī)程序。
換言之,本發(fā)明方法的實(shí)施方式因此是一種具有程序代碼的計(jì)算機(jī)程序,當(dāng)該計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)該程序代碼用于執(zhí)行此處所述方法中的一個(gè)。
因此本發(fā)明方法的又一實(shí)施方式為數(shù)據(jù)載體(或數(shù)字儲(chǔ)存媒體,或計(jì)算機(jī)可讀取媒體)包括記錄于其上的用于執(zhí)行此處所述方法中的一個(gè)的計(jì)算機(jī)程序。該數(shù)據(jù)載體、數(shù)字儲(chǔ)存介質(zhì)或記錄介質(zhì)典型為具體有形和/或非暫時(shí)性的。
因此本發(fā)明方法的又一實(shí)施方式是表征用于執(zhí)行此處所述方法中的一個(gè)的計(jì)算機(jī)程序的數(shù)據(jù)流或序列信號(hào)。該數(shù)據(jù)流或序列信號(hào)例如可被配置為經(jīng)由數(shù)據(jù)通訊連接傳遞,例如經(jīng)由互聯(lián)網(wǎng)。
又一實(shí)施方式包括被配置為或適用于執(zhí)行此處所述方法中的一個(gè)的處理工具,例如計(jì)算機(jī)或可編程邏輯設(shè)備。
又一實(shí)施方式包括其上安裝用于執(zhí)行此處所述方法中的一個(gè)的計(jì)算機(jī)程序的計(jì)算機(jī)。
根據(jù)本發(fā)明的又一實(shí)施方式包括被配置為傳遞(例如電子地或光學(xué)地)用于執(zhí)行此處所述方法中的一個(gè)的計(jì)算機(jī)程序至接收器的裝置或系統(tǒng)。接收器例如可以是計(jì)算機(jī)、移動(dòng)設(shè)備、存儲(chǔ)設(shè)備等。裝置或系統(tǒng)例如可包括用于傳遞計(jì)算機(jī)程序至接收器的文件服務(wù)器。
在若干實(shí)施方式中,可編程邏輯設(shè)備(例如現(xiàn)場(chǎng)可編程門陣列)可用來執(zhí)行此處所述方法的部分或全部功能。在某些實(shí)施方式中,現(xiàn)場(chǎng)可編程門陣列可與微處理器協(xié)作來執(zhí)行此處所述方法中的一個(gè)。一般而言,該等方法優(yōu)選地可由任一種硬件裝置執(zhí)行。
前述實(shí)施方式僅供舉例說明本發(fā)明的原理。須了解此處描述的配置及細(xì)節(jié)的修改與變更對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。因此,其僅受所附申請(qǐng)專利權(quán)利要求的范圍所限而不受以對(duì)本發(fā)明實(shí)施方式的描述和說明的形式呈現(xiàn)的具體細(xì)節(jié)的限制。