用于高效片頭處理的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于對(duì)數(shù)據(jù)進(jìn)行編碼的系統(tǒng)和方法，更具體地涉及一種用于對(duì)具有高效視頻編碼數(shù)據(jù)的片頭進(jìn)行生成和處理的系統(tǒng)和方法。
【背景技術(shù)】
[0002]與媒體節(jié)目的生成、傳輸和再現(xiàn)關(guān)聯(lián)的技術(shù)正在快速增長。這些技術(shù)包括允許對(duì)媒體節(jié)目的數(shù)字版本進(jìn)行編碼以將其壓縮成非常小的尺寸并且促進(jìn)其傳輸、存儲(chǔ)、接收和回放的編碼方案。這些技術(shù)應(yīng)用在個(gè)人視頻記錄器(PVR)、視頻點(diǎn)播(VOD)、多頻道媒體節(jié)目提供、交互性移動(dòng)電話和媒體節(jié)目傳輸中。
[0003]在沒有壓縮的情況下，數(shù)字媒體節(jié)目通常太大而不能以商業(yè)上可接受的成本來傳輸和/或存儲(chǔ)。然而，這樣的節(jié)目的壓縮已經(jīng)使得這樣的數(shù)字媒體節(jié)目的傳輸和存儲(chǔ)不僅商業(yè)上可行，而且很普通。
[0004]首先，媒體節(jié)目的傳輸涉及通過高帶寬傳輸介質(zhì)、諸如有線電視和衛(wèi)星來傳輸?shù)牡椭林械确直媛蕡D像。然而，這樣的傳輸已經(jīng)演進(jìn)到包括較低帶寬傳輸介質(zhì)、諸如經(jīng)由計(jì)算機(jī)網(wǎng)絡(luò)、WiF1、移動(dòng)TV以及第三代(3G)網(wǎng)絡(luò)和第四代(4G)網(wǎng)絡(luò)向固定設(shè)備和移動(dòng)設(shè)備的因特網(wǎng)傳輸。另外，這樣的傳輸還演進(jìn)到包括高清媒體節(jié)目、諸如高清電視(HDTV)，這些節(jié)目具有巨大的傳輸帶寬和存儲(chǔ)要求。
[0005]高效視頻編碼(HEVC)編碼標(biāo)準(zhǔn)(或H.265)是IS0/IEC MPEG標(biāo)準(zhǔn)化組織頒布的最新編碼標(biāo)準(zhǔn)。HEVC之前的編碼標(biāo)準(zhǔn)包括H.262/MPEG-2和隨后的H2.64/MPEG-4高級(jí)視頻編碼(AVC)標(biāo)準(zhǔn)。H.264/MPEG-4在包括高清(HD)電視的很多應(yīng)用中已經(jīng)基本上代替了H.262/MPEG-2 AEVC即使在立體或多視圖實(shí)施例中也支持比HD高的分辨率，并且更適合移動(dòng)設(shè)備、諸如平板式個(gè)人計(jì)算機(jī)。與HEVC有關(guān)的另外的信息可以在由Gary J.Sullivan、Jens-Rainer 0hm、Woo_Jin Han和Thomas Wiegand在2012年 12月的IEEE Transact1n onCircuits and Systems for Video Technology上的公開 “Overview of the HighEfficiency Video Coding(HEVC)StandarcT中找到，其由此通過引用并入本文中。
[0006]如在其他編碼標(biāo)準(zhǔn)中，HEVC兼容數(shù)據(jù)的比特流結(jié)構(gòu)和語法是標(biāo)準(zhǔn)化的，使得符合標(biāo)準(zhǔn)的每個(gè)解碼器在被提供相同輸入時(shí)將產(chǎn)生相同輸出。被合并到HEVC標(biāo)準(zhǔn)中的特征中的一些特征包括片的定義和處理，其中的一個(gè)或多個(gè)片可以一起包括視頻序列中的圖片中的一個(gè)圖片。該視頻序列包括多個(gè)圖片，并且每個(gè)圖片可以包括一個(gè)或多個(gè)片。片包括獨(dú)立片和從屬片。獨(dú)立片(下文中簡稱為片)為在熵編碼、信號(hào)預(yù)測和殘留信號(hào)構(gòu)造方面可以與相同圖片的其他片獨(dú)立地解碼的數(shù)據(jù)結(jié)構(gòu)。這一數(shù)據(jù)結(jié)構(gòu)允許在數(shù)據(jù)丟失的情況下對(duì)事件重新同步?！耙蕾嚻睘樵试S將關(guān)于片的信息(諸如波前入口或片內(nèi)圖塊(tile)有關(guān)的信息)攜帶至網(wǎng)絡(luò)層，從而使得數(shù)據(jù)可用于系統(tǒng)更快地處理分段的片的結(jié)構(gòu)。依賴片主要用于低延遲編碼。
[0007]片的編碼和解碼根據(jù)片頭中所包括的信息來執(zhí)行。片頭包括用于讀取在對(duì)片進(jìn)行解碼時(shí)使用的數(shù)據(jù)和標(biāo)記的語法和邏輯。由于任何給定視頻流通常包括成千個(gè)圖片，并且每個(gè)圖片可以包含一個(gè)或多個(gè)片，所以使用該頭的語法和邏輯可以對(duì)于被執(zhí)行以編碼并且稍后對(duì)視頻流進(jìn)行解碼的處理負(fù)荷有顯著影響。因此，需要一種將對(duì)于解碼和使用片頭所需的處理最小化的片頭語法和邏輯。本發(fā)明滿足這一需要。

【發(fā)明內(nèi)容】

[0008]為了解決以上描述的要求，本文檔公開一種可用于處理系統(tǒng)中的方法，該處理系統(tǒng)用于對(duì)包括多個(gè)圖片的序列進(jìn)行解碼，該多個(gè)圖片中的每個(gè)圖片可分割成一個(gè)或多個(gè)片，該一個(gè)或多個(gè)片中的每個(gè)片至少部分根據(jù)片頭來處理。在一個(gè)實(shí)施例中，該方法包括:根據(jù)片類型數(shù)據(jù)確定一個(gè)或多個(gè)片中的片是否為間預(yù)測片;如果該片被確定為圖片間預(yù)測片，則伴隨著僅用以將該間預(yù)測片識(shí)別為P類型片或者B類型片的進(jìn)一步的片類型測試被執(zhí)行而執(zhí)行以下操作:(a)確定序列時(shí)間運(yùn)動(dòng)矢量預(yù)測符標(biāo)記是否指示圖片被布置在其中的序列能夠使用至少一個(gè)時(shí)間運(yùn)動(dòng)矢量預(yù)測符來編碼；(b)如果該序列時(shí)間運(yùn)動(dòng)矢量預(yù)測符標(biāo)記指示圖片被布置在其中的序列能夠使用至少一個(gè)時(shí)間運(yùn)動(dòng)矢量預(yù)測符來編碼，則讀取片/圖片時(shí)間運(yùn)動(dòng)矢量預(yù)測啟用標(biāo)記，該片/圖片時(shí)間運(yùn)動(dòng)矢量預(yù)測啟用標(biāo)記指示該片被布置在其中的圖片使用至少一個(gè)時(shí)間運(yùn)動(dòng)矢量預(yù)測符來編碼；(C)讀取參考圖片超負(fù)荷標(biāo)記，該參考圖片超負(fù)荷標(biāo)記指示片頭中是否包括描述具有至少一個(gè)參考圖片的至少一個(gè)參考圖片列表的最大索引的數(shù)據(jù)；(d)如果所讀取的參考圖片超負(fù)荷標(biāo)記指示存在描述具有至少一個(gè)參考圖片的至少一個(gè)參考圖片列表的最大索引的數(shù)據(jù)，則讀取該數(shù)據(jù)；(e)只有當(dāng)至少一個(gè)參考圖片未被隱含地定義時(shí)，才讀取參考圖片列表修改信息；(f)如果該片為B類型片，則讀取指示運(yùn)動(dòng)矢量補(bǔ)償預(yù)測中所使用的運(yùn)動(dòng)矢量差異的結(jié)構(gòu)的信息；(g)只有當(dāng)該片頭中存在定義用于該片的熵編碼的情境變量的初始化的信息時(shí)，才讀取定義該情境變量的初始化的信息；(h)根據(jù)所讀取的片/圖片時(shí)間運(yùn)動(dòng)矢量預(yù)測啟用標(biāo)記來確定該片是否使用至少一個(gè)時(shí)間運(yùn)動(dòng)矢量預(yù)測符來編碼；(i)只有當(dāng)該片使用至少一個(gè)時(shí)間運(yùn)動(dòng)矢量預(yù)測符來編碼時(shí)，才至少部分根據(jù)該片為P類型片還是B類型片來讀取描述與至少一個(gè)時(shí)間運(yùn)動(dòng)矢量預(yù)測關(guān)聯(lián)的片的至少一個(gè)參考圖片的信息；(j)根據(jù)該片為B類型片還是P類型片來應(yīng)用加權(quán)預(yù)測；以及(k)根據(jù)該片頭來確定用于該片的合并時(shí)間運(yùn)動(dòng)矢量預(yù)測候選的最大數(shù)目。
[0009]在另一實(shí)施例中，該方法包括用于對(duì)以上描述的序列進(jìn)行編碼的操作，并且該操作包括對(duì)頭中的一個(gè)或多個(gè)片中的片的片類型數(shù)據(jù)進(jìn)行編碼，該片類型數(shù)據(jù)指示片類型；對(duì)片頭邏輯進(jìn)行編碼以便對(duì)用于對(duì)片內(nèi)的塊進(jìn)行編碼的初始值進(jìn)行解碼;對(duì)片頭邏輯進(jìn)行編碼以便根據(jù)片頭來對(duì)解塊濾波器參數(shù)進(jìn)行解碼;對(duì)片頭邏輯進(jìn)行編碼以便根據(jù)從片頭讀取的片類型數(shù)據(jù)來確定一個(gè)或多個(gè)片中的片是否為間預(yù)測片;對(duì)片頭邏輯進(jìn)行編碼以便如果該片被確定為圖片間預(yù)測片則伴隨著僅用以將該間預(yù)測片識(shí)別為P類型片或者B類型片的進(jìn)一步的片類型測試被執(zhí)行而執(zhí)行包括以上步驟(a)-(k)的操作。
[0010]已經(jīng)討論的特征、功能和優(yōu)點(diǎn)可以在本發(fā)明的各種實(shí)施例中獨(dú)立地實(shí)現(xiàn)，或者可以在又一其他實(shí)施例中組合，該其他實(shí)施例的進(jìn)一步細(xì)節(jié)可以參考以下描述和附圖。
【附圖說明】
[0011 ]現(xiàn)在參考附圖，其中貫穿附圖相似的附圖標(biāo)記代表對(duì)應(yīng)的部件:
[0012]圖1是描繪可以用于傳輸和/或存儲(chǔ)和取回音頻和/或視頻信息的視頻編碼-解碼系統(tǒng)示例性實(shí)施例的圖；
[0013]圖2A是其中向另一位置發(fā)送并且在該另一位置接收編碼AV信息的編解碼系統(tǒng)的一個(gè)實(shí)施例的圖；
[0014]圖2B是描繪其中編碼信息被存儲(chǔ)并且稍后被取回用于呈現(xiàn)的編解碼系統(tǒng)、下文中稱為編解碼存儲(chǔ)系統(tǒng)的示例性實(shí)施例的圖；
[0015]圖3是圖示源編碼器的一個(gè)實(shí)施例的框圖；
[0016]圖4是描繪AV信息的圖片、諸如圖片序列中的圖片中的一個(gè)圖片的圖；
[0017]圖5是示出將編碼樹塊示例性劃分成編碼單元的圖；
[0018]圖6是圖示用于圖5所示的編碼樹塊劃分的代表性四叉樹和數(shù)據(jù)參數(shù)的表示的圖；
[0019]圖7是圖示將編碼單元?jiǎng)澐殖梢粋€(gè)或多個(gè)預(yù)測單元的圖；
[0020]圖8是示出被劃分成四個(gè)預(yù)測單元的編碼單元以及關(guān)聯(lián)的變換單元集的圖；
[0021]圖9是示出用于與圖8的示例中的編碼單元關(guān)聯(lián)的變換單元的RQT編碼樹的圖；
[0022]圖10是圖示預(yù)測單元的空間預(yù)測的圖；
[0023]圖11是圖示時(shí)間預(yù)測的圖；
[0024]圖12是圖示運(yùn)動(dòng)矢量預(yù)測(MVP)的使用的圖；
[0025]圖13圖示使用參考圖片列表的示例；
[0026]圖14是圖示由編碼器根據(jù)上述標(biāo)準(zhǔn)執(zhí)行的過程的圖；
[0027]圖15描繪由解碼器根據(jù)新興的HEVC標(biāo)準(zhǔn)在解碼時(shí)使用collocated_from_10_flag；
[0028]圖16A至圖16C是呈現(xiàn)基線片頭邏輯和語法的圖；
[0029]圖17A和圖17B呈現(xiàn)圖示改進(jìn)的片頭語法的一個(gè)實(shí)施例的語法圖；
[0030]圖18A和圖18B是圖示可以根據(jù)圖17A和17B所示的片頭來執(zhí)行的示例性操作的圖；
[0031]圖19A和圖19B呈現(xiàn)圖示改進(jìn)的片頭語法的另一實(shí)施例的語法圖；
[0032]圖20A和圖20B呈現(xiàn)圖示改進(jìn)的片頭語法的另一實(shí)施例的語法圖；以及
[0033]圖21圖示可以用于實(shí)現(xiàn)本發(fā)明的實(shí)施例的示例性處理系統(tǒng)。
【具體實(shí)施方式】
[0034]在以下描述中對(duì)附圖進(jìn)行參考，該附圖形成以下描述的一部分并且通過說明的方式示出本發(fā)明的若干實(shí)施例。應(yīng)當(dāng)理解，可以利用其它實(shí)施例并且可以在不偏離本發(fā)明的范圍的情況下進(jìn)行結(jié)構(gòu)變化。
[0035]視聽信息收發(fā)和存儲(chǔ)
[0036]圖1是描繪可以用于傳輸和/或存儲(chǔ)和取回音頻和/或視頻信息的視頻編碼-解碼(編解碼)系統(tǒng)100的示例性實(shí)施例的圖。該編解碼系統(tǒng)100包括編碼系統(tǒng)104和解碼系統(tǒng)112，該編碼系統(tǒng)104接受視聽(AV)信息102并且處理該AV信息102以生成編碼(壓縮)AV信息106，該解碼系統(tǒng)112處理該編碼AV信息106以產(chǎn)生恢復(fù)AV信息114。由于編碼過程和解碼過程不是無損的，所以恢復(fù)AV信息114與初始AV信息102不一致，但是伴隨著編碼過程和參數(shù)的明智選擇，恢復(fù)AC信息114與未處理AC信息102之間的差異對(duì)于人類感知而言是可接受的。
[0037]編碼AC信息106通常在解碼和呈現(xiàn)之前傳輸或存儲(chǔ)和取回，這由收發(fā)(發(fā)送和接收)或存儲(chǔ)/取回系統(tǒng)108來執(zhí)行。收發(fā)損失可能很明顯，但是存儲(chǔ)/取回?fù)p失通常很小或者不存在，因此向解碼系統(tǒng)112提供的收發(fā)AC信息110通常與編碼AC信息106相同或者基本相同。
[0038]圖2A是其中向另一位置發(fā)送并且在另一位置接收編碼AV信息106的編解碼系統(tǒng)200A的一個(gè)實(shí)施例的圖。傳輸段230將輸入AV信息102變換成適合傳輸?shù)男盘?hào)并且通過傳輸信道212向接收段232傳輸經(jīng)變換的信號(hào)。接收段232接收經(jīng)傳輸?shù)男盘?hào)，并且將所接收的信號(hào)變換成恢復(fù)AV信息114用于呈現(xiàn)。如以上所討論的，由于編碼和傳輸損失和誤差，恢復(fù)AV信息114可能比向傳輸段230提供的AV信號(hào)102具有更差的質(zhì)量。然而，可以包括誤差校正系統(tǒng)以降低或消除這樣的誤差。例如，可以通過添加冗余信息來對(duì)編碼AV信息106進(jìn)行前向糾錯(cuò)(FEC)編碼，并且可以將這樣的冗余信息用于識(shí)別和消除在接收段232中的誤差。
[0039]傳輸段102包括用以對(duì)AV信息102的多個(gè)源進(jìn)行編碼的一個(gè)或多個(gè)源編碼器202。該源編碼器202主要出于壓縮目的來對(duì)AV信息102進(jìn)行編碼以產(chǎn)生編碼AV信息106，并且該源編碼器202可以包括例如存儲(chǔ)實(shí)施編解碼、諸如MPEG-l、MPEG-2、MPEG-4 AVC/H.264、HEVC或類似編解碼的指令的相關(guān)存儲(chǔ)器和處理器，這在下面進(jìn)一步描述。
[0040]編解碼系統(tǒng)200A還可以包括圖2A中用虛線示出的可選元件。這些可選元件包括視頻多路復(fù)用編碼器204、編碼控制器208、和視頻解多路復(fù)用解碼器218?？蛇x視頻多路復(fù)用編碼器204根據(jù)由可選編碼控制器208提供的一個(gè)或多個(gè)參數(shù)對(duì)來自關(guān)聯(lián)的多個(gè)源編碼器202的編碼AV信息106進(jìn)行多路復(fù)用。這樣的多路復(fù)用通常在時(shí)間域中并且基于數(shù)據(jù)分組來實(shí)現(xiàn)。
[0041]在一個(gè)實(shí)施例中，視頻多路復(fù)用編碼器204包括統(tǒng)計(jì)多路復(fù)用器，其合并來自多個(gè)源編碼器202的編碼AV信息106以使傳輸所需的帶寬最小化。這是可能的，因?yàn)閬碜悦總€(gè)源編碼器202的編碼AV信息106的瞬時(shí)比特率根據(jù)AV信息102的內(nèi)容隨著時(shí)間能夠變化很大。例如，對(duì)具有大量細(xì)節(jié)和運(yùn)動(dòng)的場景(例如運(yùn)動(dòng)事件)通常比具有極少運(yùn)動(dòng)或細(xì)節(jié)的場景(例如縱向?qū)υ?以更高的比特率來編碼。由于每個(gè)源編碼器202可能產(chǎn)生具有很高瞬時(shí)比特率的信息，而另一源編碼器202可能產(chǎn)生具有很低瞬時(shí)比特率的信息，并且由于編碼控制器208可以命令源編碼器202根據(jù)影響瞬時(shí)比特率的某些性能參數(shù)來對(duì)AV信息106進(jìn)行編碼，所以來自(每個(gè)具有時(shí)間上變化的瞬時(shí)比特率的)源編碼器106中的每個(gè)源編碼器的信號(hào)能夠以最優(yōu)方式被組合在一起以使多路復(fù)用流205的瞬時(shí)比特率最小化。
[0042]如以上所描述的，源編碼器202和視頻多路復(fù)用編碼器204可以可選地由編碼控制器208來控制以使組合視頻信號(hào)的瞬時(shí)比特率最小化。在一個(gè)實(shí)施例中，這使用來自傳輸緩沖器206的信息來實(shí)現(xiàn)，該傳輸緩沖器206暫時(shí)存儲(chǔ)編碼視頻信號(hào)并且可以指示緩沖器206的充滿。這允許在源編碼器202或視頻多路復(fù)用編碼器204處執(zhí)行的編碼能夠是傳輸緩沖器206中剩余的存儲(chǔ)空間的函數(shù)。
[0043]傳輸段230還可以包括傳輸編碼器210，其還對(duì)視頻信號(hào)進(jìn)行編碼以便向接收段232進(jìn)行傳輸。傳輸編碼針對(duì)選擇的傳輸介質(zhì)可以包括例如上述FEC編碼和/或多路復(fù)用方案中的編碼。例如，如果傳輸為衛(wèi)星或地面發(fā)射器，則傳輸編碼器114可以在經(jīng)由正交幅度調(diào)制(QAM)或類似調(diào)制技術(shù)傳輸之前將信號(hào)編碼成信號(hào)星座。另外，如果編碼視頻信號(hào)要經(jīng)由因特網(wǎng)協(xié)議設(shè)備和因特網(wǎng)來用流發(fā)送，則傳輸根據(jù)適當(dāng)?shù)膮f(xié)議對(duì)信號(hào)進(jìn)行編碼。此外，如下面進(jìn)一步描述，如果編碼信號(hào)要經(jīng)由移動(dòng)電話來傳輸，則使用適當(dāng)?shù)木幋a協(xié)議。
[0044]接收段232包括傳輸解碼器214，該傳輸解碼器214用以使用解碼方案來接收由傳輸編碼器210所編碼的信號(hào)，該解碼方案與在傳輸編碼器210中所使用的編碼方案互補(bǔ)。經(jīng)解碼的接收信號(hào)可以由可選接收緩沖器216來暫時(shí)存儲(chǔ)，并且如果該接收信號(hào)包括多個(gè)視頻信號(hào)，則由視頻多路復(fù)用解碼器218對(duì)該接收信號(hào)進(jìn)行多路復(fù)用解碼以從由視頻多路復(fù)用編碼器204所多路復(fù)用的視頻信號(hào)中提取感興趣的視頻信號(hào)。最后，將該感興趣的視頻信號(hào)由源解碼器220使用解碼方案或者