專利名稱：編碼和/或解碼具有n比特阿爾法平面的數(shù)碼視頻的方法和/或裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明主要涉及到數(shù)碼視頻，尤其涉及用于編碼和/或解碼具有n比特阿爾法平面的數(shù)碼視頻的方法和/或裝置。
背景技術(shù)：
阿爾法分量(有時(shí)稱為雜邊(matte)或基調(diào))可視為像素的第四個(gè)色彩分量。阿爾法分量指定像素的不透明、半透明或透明的程度。阿爾法分量通常用于控制色彩混合，并在視頻系統(tǒng)中通常被視為單獨(dú)的輸出信號(hào)。
阿爾法通道可用于很多專業(yè)生產(chǎn)環(huán)境。例如，SMPTE(動(dòng)畫和電視工程師協(xié)會(huì))定義了雙通道HD-SDI(高清晰度串行數(shù)據(jù)接口)和SD-SDI(標(biāo)準(zhǔn)清晰度串行數(shù)據(jù)接口)用于無(wú)壓縮運(yùn)送/傳輸。SMPTE還定義了無(wú)壓縮文件存儲(chǔ)的S268標(biāo)準(zhǔn)。
參照?qǐng)D1，系統(tǒng)10示出視頻和阿爾法存儲(chǔ)/傳輸?shù)某Ｒ?guī)方法。視頻信號(hào)被引入編碼器12。編碼器12將壓縮比特流引入存儲(chǔ)器或解碼器裝置14。阿爾法分量被引入阿爾法解碼器14。阿爾法解碼器14將一個(gè)灰度比特流引入存儲(chǔ)器或解碼器裝置18。因?yàn)楸忍亓魇仟?dú)立編碼并存儲(chǔ)的，所以需要完全相同的存儲(chǔ)和解碼裝置14和18以及完全相同的存儲(chǔ)和解碼裝置12和16。
數(shù)碼視頻壓縮的許多常用標(biāo)準(zhǔn)(例如H.262、H.263、MPEG-2)不提供對(duì)編碼N比特(例如8、10或12比特)阿爾法平面的明確支持。H.264標(biāo)準(zhǔn)已經(jīng)修改，以包括對(duì)阿爾法以及視頻的明確支持(例如在保真度范圍擴(kuò)展(FRExt)中)。利用除H.264之外的當(dāng)前方案，實(shí)現(xiàn)阿爾法通道信息以及壓縮圖像序列的傳輸和/或存儲(chǔ)的應(yīng)用程序通常將阿爾法信息編碼為單獨(dú)的只有亮度(灰度)的比特流和/或文件。盡管H.264 FRExt擴(kuò)展為阿爾法和視頻提供了共同支持，裝置需要與有待批準(zhǔn)的標(biāo)準(zhǔn)的每一方面都兼容。
一般地，將阿爾法編碼為單獨(dú)的通道和/或文件是不方便的，并需要兩個(gè)單獨(dú)比特流或者兩個(gè)單獨(dú)文件來(lái)表示組合信號(hào)。在一實(shí)際實(shí)現(xiàn)中，在處理這些數(shù)據(jù)流時(shí)額外的資源就會(huì)成倍地增加(例如，解壓縮比特流需要兩個(gè)解碼器，而編碼比特流需要兩個(gè)編碼器)。并且，阿爾法和視頻信號(hào)之間的定時(shí)信息的同步和維護(hù)顯得更加困難。
亟待實(shí)現(xiàn)一種不依靠H.264擴(kuò)展的用于編碼具有N比特阿爾法平面的數(shù)碼視頻的系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明涉及一種用于產(chǎn)生壓縮數(shù)碼視頻比特流的方法，包含以下步驟接收表示視頻信號(hào)的第一子序列、接收表示阿爾法信號(hào)的第二子序列、并響應(yīng)第一子序列和第二子序列產(chǎn)生壓縮數(shù)碼視頻比特流。該壓縮數(shù)碼視頻比特流(i)包括來(lái)自所述視頻信號(hào)的信息以及來(lái)自阿爾法信號(hào)的信息，并(ii)遵從所定義的傳輸標(biāo)準(zhǔn)。
本發(fā)明的目的、特征和優(yōu)點(diǎn)包括用于編碼數(shù)碼視頻的方法和/或裝置，該數(shù)碼視頻可(i)包括N比特的阿爾法平面，(ii)無(wú)需成倍增加編碼/解碼硬件便可實(shí)現(xiàn)，和/或(iii)與一個(gè)或一個(gè)以上的H.264標(biāo)準(zhǔn)的修改版兼容。


參閱以下詳細(xì)說明書、所附權(quán)利要求書以及附圖，本發(fā)明的這些以及其他的目的、特征和優(yōu)點(diǎn)將會(huì)顯而易見，附圖包括圖1是示出常規(guī)的阿爾法分量編碼系統(tǒng)的框圖；圖2是本發(fā)明的一較佳實(shí)施例的框圖；以及圖3是示出眾多視頻幀以及眾多阿爾法幀的示圖。
具體實(shí)施例方式
參照?qǐng)D2，系統(tǒng)100的框圖根據(jù)本發(fā)明的較佳實(shí)施例示出。系統(tǒng)100一般包括編碼器102、傳輸和/或存儲(chǔ)媒介104以及解碼器106。該編碼器具有可接收信號(hào)(例如視頻VIDEO)的輸入端110和可接收信號(hào)(例如阿爾法ALPHA)的輸入端112。該信號(hào)VIDEO可能是未經(jīng)壓縮的視頻信號(hào)。該信號(hào)ALPHA可表示視頻信號(hào)的每個(gè)像素的不透明、半透明或透明的程度。編碼器102可具有提交信號(hào)(例如比特流BITSTREAM)的輸出端104。信號(hào)BITSTREAM是已壓縮的比特流。信號(hào)BITSTREAM既可包括來(lái)自信號(hào)VIDEO的視頻信息，也可包括來(lái)自信號(hào)ALPHA的阿爾法信息。信號(hào)BITSTREAM被提交給傳輸和/或存儲(chǔ)媒介104。
如果準(zhǔn)備傳輸信號(hào)BITSTREAM(例如通過電纜電視網(wǎng)絡(luò)、衛(wèi)星傳輸系統(tǒng)、無(wú)線電波傳輸系統(tǒng)等)，則框104可實(shí)現(xiàn)為傳輸媒介。如果準(zhǔn)備存儲(chǔ)信號(hào)BITSTREAM用于將來(lái)回放(例如在數(shù)碼視頻錄像機(jī)、網(wǎng)絡(luò)電視制作設(shè)備等中)，則框104可實(shí)現(xiàn)為存儲(chǔ)媒介。存儲(chǔ)媒介可用不同的方式來(lái)實(shí)現(xiàn)，諸如用一個(gè)或多個(gè)硬盤驅(qū)動(dòng)器、一個(gè)或多個(gè)光盤驅(qū)動(dòng)器。在傳輸和/或存儲(chǔ)配置中，框104將信號(hào)(例如，BITSTREAM2)提交給解碼器106的輸入端116。信號(hào)BITSTREAM2與信號(hào)BITSTREAM相似，并且既包括來(lái)自信號(hào)VIDEO的視頻信息，也包括來(lái)自信號(hào)ALPHA的阿爾法信息。解碼器106可具有提交信號(hào)(例如VIDEO2)的輸出端120，以及提交信號(hào)(例如ALPHA2)的輸出端122。信號(hào)VIDEO2和信號(hào)ALPHA2是信號(hào)VIDEO和信號(hào)ALPHA的復(fù)制信號(hào)。取決于所實(shí)現(xiàn)的傳輸模式，信號(hào)VIDEO2和ALPHA2是信號(hào)信號(hào)VIDEO和ALPHA的有損或無(wú)損復(fù)制。
最近標(biāo)準(zhǔn)化的國(guó)際視頻編碼標(biāo)準(zhǔn)ISO/IEC14496-102003/IS(AVC)和ITU-TRec.H.264，都用“保真度范圍擴(kuò)展”進(jìn)行了修改。對(duì)這些標(biāo)準(zhǔn)的新的修改(ISO/IEC14496-10 Amd1，和TU-T Rec.H.264/AVC(保真度范圍擴(kuò)展))包括(i)支持4:2:2、4:4:4、以及灰度色彩空間以及(ii)對(duì)10比特和12比特像素深度的支持(除先前支持的4:2:0的8比特視頻之外)。
已修改的和原來(lái)未經(jīng)修改的標(biāo)準(zhǔn)都明確支持單個(gè)比特流和/或文件內(nèi)所包含的獨(dú)立子序列。可以理解，這些符合標(biāo)準(zhǔn)的子序列都明確地支持已壓縮視頻中的時(shí)間和計(jì)算的可縮放性(例如，通過對(duì)解碼過程的時(shí)間子采樣)。標(biāo)準(zhǔn)中的注釋表明，對(duì)象的質(zhì)量期望隨著解碼層數(shù)量的增長(zhǎng)而提高。還可以理解，子序列對(duì)訣竅模式是有用的(例如，增大的解碼/回放速率)，以支持編碼器和解碼器的多任務(wù)和并行實(shí)現(xiàn)(例如，在幀水平上并行)，并支持代碼轉(zhuǎn)換和速率轉(zhuǎn)換中靈活性增加(通過識(shí)別哪個(gè)子序列可獨(dú)立操縱)。本發(fā)明使用可用于支持子序列的語(yǔ)法來(lái)接納視頻和阿爾法分量作為單個(gè)比特流。已壓縮的視頻信號(hào)可以是一個(gè)子序列(例如SUB1)，而阿爾法分量可以是另一個(gè)子序列(例如SUB2)。除了將子序列實(shí)現(xiàn)為SUB1和SUB2之外，本發(fā)明還可以實(shí)現(xiàn)若干附加因素，以便將阿爾法和視頻組合成單個(gè)比特流。
本發(fā)明提議使用提供子序列支持的一種機(jī)制，來(lái)把已壓縮的視頻信號(hào)和相關(guān)聯(lián)的阿爾法通道結(jié)合成單個(gè)的壓縮通道。本發(fā)明使用在經(jīng)修改和擴(kuò)展的MPEG-AVC/H.264標(biāo)準(zhǔn)中所提供的語(yǔ)法結(jié)構(gòu)。
特別地，各個(gè)子序列可用AVC/H264標(biāo)準(zhǔn)中的獨(dú)特ID來(lái)識(shí)別。其它信息可隱式或顯式地傳送，來(lái)標(biāo)識(shí)哪個(gè)子序列傳送視頻信息以及哪個(gè)子序列傳送相關(guān)聯(lián)的阿爾法信息。這可采用外部指定的慣例形式(例如，定制的SEI“補(bǔ)充增強(qiáng)信息”消息)，或可隱式推斷(根據(jù)一慣例)。例如，阿爾法表示為灰度子序列而視頻表示為彩色格式時(shí)是一慣例。然而，所使用的特定慣例可作改變以符合特殊實(shí)現(xiàn)的設(shè)計(jì)標(biāo)準(zhǔn)?；蛘撸墒褂帽忍亓髡Z(yǔ)法元素的保留、未指定和/或新定義的值來(lái)明確發(fā)出視頻和阿爾法子序列的提交信號(hào)。
分別指定兩個(gè)單獨(dú)的子序列SUB1和SUB2，一個(gè)是視頻而另一個(gè)是阿爾法。灰度阿爾法子序列和彩色視頻子序列將在子序列數(shù)據(jù)相關(guān)性分層結(jié)構(gòu)中表示為獨(dú)立的子序列(例如在這兩個(gè)子序列中不應(yīng)該有交互預(yù)測(cè))。圖3示出了眾多信號(hào)VIDEO幀和信號(hào)ALPHA幀。這些幀從左至右按遞增輸出順序示出。每個(gè)信號(hào)上面的箭頭表示獨(dú)立的位移補(bǔ)償。
可使用的一可能慣例是要實(shí)現(xiàn)與單個(gè)視頻幀相關(guān)聯(lián)的顯示和/或輸出的定時(shí)信息，以表明信號(hào)ALPHA的哪個(gè)灰度幀與信號(hào)VIDEO的每個(gè)特定幀相關(guān)聯(lián)?？蓪?shí)現(xiàn)用于確保特定視頻幀與相關(guān)聯(lián)的阿爾法成分的正確關(guān)聯(lián)的一種機(jī)制。如果所選擇的慣例允許編碼器102靈活指定阿爾法和視頻的輸出時(shí)間，則在緩沖方面有利(例如，在標(biāo)準(zhǔn)中指定的HRD“假設(shè)參考解碼器”模型)。例如，慣例可選擇阿爾法幀受到總是緊跟在相關(guān)聯(lián)視頻幀之后(按輸出順序)的限制。顯示時(shí)間通常將保持與相關(guān)聯(lián)視頻幀所指定的一致(而不是可以其它方式獨(dú)立關(guān)聯(lián)于阿爾法幀的任何其它顯示時(shí)間信息)。然后輸出的精確定時(shí)可通過編碼器102來(lái)計(jì)算，以最好地利用HRD對(duì)概況文件和在編碼中比特流的層次上指定的功能。
通過使用H.264/AVC標(biāo)準(zhǔn)的功能(該標(biāo)準(zhǔn)可以使兩個(gè)或多個(gè)單獨(dú)編碼的子序列在單個(gè)比特流中表示)，本發(fā)明可提供視頻和相關(guān)聯(lián)阿爾法在單個(gè)比特流中的組合壓縮表示。
本發(fā)明可僅限制阿爾法和視頻使其都包含在同一比特流中，該比特流允許在很多重要方面對(duì)阿爾法和視頻有極大靈活性和獨(dú)立控制。例如，本發(fā)明可允許阿爾法和視頻有不同的比特深度，盡管通常阿爾法會(huì)具有至少與視頻相同的比特?cái)?shù)。此外，本發(fā)明明確允許相對(duì)于視頻保真度改變阿爾法保真度的能力，這是很多應(yīng)用程序所需要的性能。一般而言，信號(hào)VIDEO和信號(hào)ALPHA的保真度可指相關(guān)聯(lián)的比特深度和色彩分辨率(除此以外，還有特定的比特率和量化器的取值)。另外，本發(fā)明還明確允許對(duì)阿爾法和視頻有獨(dú)立的位移補(bǔ)償和模式判定，這是另一需要特征，因?yàn)榘柗膳c視頻相當(dāng)不同地動(dòng)作。
只要包含組合阿爾法和視頻子序列的比特流遵從特定概況文件的H.264/AVC的要求，并且在特定水平上(有關(guān)比特率、緩沖器大小等)可用支持單個(gè)壓縮比特流的單個(gè)裝置來(lái)解碼和編碼組合信號(hào)。通常在由H.264/AVC標(biāo)準(zhǔn)已在多個(gè)比特流的語(yǔ)法內(nèi)提供的之外無(wú)需其它的定時(shí)和/或同步。
顯示問題未在H.264標(biāo)準(zhǔn)中指定。與阿爾法一起傳輸?shù)囊曨l的輸入和輸出可使用由不支持阿爾法的裝置提供的之外的其它能力。然而，本發(fā)明將與已驗(yàn)證能進(jìn)行該標(biāo)準(zhǔn)所用的編碼和/或解碼任務(wù)的任何裝置兼容。這種兼容裝置(無(wú)任何修改)通常能進(jìn)行視頻加阿爾法的編碼和/或解碼任務(wù)。
通過將視頻和阿爾法組合成單個(gè)比特流，就可以大大簡(jiǎn)化編輯、接合、廣告插入、統(tǒng)計(jì)多路復(fù)用、以及很多其它處理。本發(fā)明可在現(xiàn)有的解決方案上實(shí)現(xiàn)重大的系統(tǒng)簡(jiǎn)化和成本控制的可能。
應(yīng)當(dāng)理解，除H.264/AVC外的提供了充分的靈活性以在單個(gè)比特流內(nèi)表示至少兩個(gè)可獨(dú)立解碼的子序列(一個(gè)彩色(視頻)另一個(gè)灰度(阿爾法))的視頻編碼格式可提供實(shí)現(xiàn)本發(fā)明的適當(dāng)方法。
雖然本發(fā)明已參照其較佳實(shí)施例進(jìn)行了具體的示出和描述，本領(lǐng)域技術(shù)人員將理解，可在形式和細(xì)節(jié)上作各種變化而不背離本發(fā)明的精神和范圍。
權(quán)利要求
1.一種用于產(chǎn)生壓縮數(shù)碼視頻比特流的方法，其特征在于，包括以下步驟(A)接收表示視頻信號(hào)的第一子序列；(B)接收表示阿爾法信號(hào)的第二子序列；以及(C)響應(yīng)所述第一子序列和所述第二子序列產(chǎn)生壓縮數(shù)碼視頻比特流，其中所述壓縮數(shù)碼視頻比特流(i)包括來(lái)自所述視頻信號(hào)的信息和來(lái)自所述阿爾法信號(hào)的信息并且(ii)遵從所定義的傳輸標(biāo)準(zhǔn)。
2.如權(quán)利要求1所述的方法，其特征在于，所述方法用視頻編碼器/解碼器來(lái)實(shí)現(xiàn)。
3.如權(quán)利要求1所述的方法，其特征在于，所述視頻信息和所述阿爾法信息可在無(wú)交互預(yù)測(cè)地實(shí)現(xiàn)。
4.如權(quán)利要求1所述的方法，其特征在于，所述方法在所述視頻信號(hào)和所述阿爾法信號(hào)之間提供獨(dú)立的位移補(bǔ)償。
5.如權(quán)利要求1所述的方法，其特征在于，所述方法在所述視頻信號(hào)和所述阿爾法信號(hào)之間提供獨(dú)立的保真度補(bǔ)償。
6.如權(quán)利要求1所述的方法，其特征在于，所述壓縮數(shù)碼視頻信號(hào)包含足夠的用于解碼的定時(shí)信息。
7.一種用于產(chǎn)生壓縮數(shù)碼視頻比特流的裝置，其特征在于，包括一裝置，用于接收表示視頻信號(hào)的第一子序列；一裝置，用于接收表示阿爾法信號(hào)的第二子序列；以及一裝置，用于響應(yīng)所述第一子序列和所述第二子序列產(chǎn)生所述壓縮數(shù)碼視頻比特流，其中所述壓縮數(shù)碼視頻比特流(i)包括來(lái)自所述視頻信號(hào)的信息和來(lái)自所述阿爾法信號(hào)的信息并且(ii)遵從所定義的傳輸標(biāo)準(zhǔn)。
8.如權(quán)利要求7所述的裝置，其特征在于，所述裝置用視頻編碼器/解碼器來(lái)實(shí)現(xiàn)。
9.一種裝置，其特征在于，包括第一輸入端，被配置成接收表示視頻信號(hào)的第一子序列；第二輸入端，被配置成接收表示阿爾法信號(hào)的第二子序列；以及一輸出端，被設(shè)置成響應(yīng)所述第一子序列和所述第二子序列產(chǎn)生壓縮數(shù)碼視頻比特流，其中，所述壓縮數(shù)碼視頻比特流(i)包括來(lái)自所述視頻信號(hào)的信息和來(lái)自所述阿爾法信號(hào)的信息并且(ii)遵從所定義的傳輸標(biāo)準(zhǔn)。
10.如權(quán)利要求9所述的裝置，其特征在于，所述裝置用視頻編碼器/解碼器來(lái)實(shí)現(xiàn)。
11.如權(quán)利要求9所述的裝置，其特征在于，所述裝置在所述視頻信號(hào)和所述阿爾法信號(hào)之間提供獨(dú)立的位移補(bǔ)償。
12.如權(quán)利要求9所述的裝置，其特征在于，所述裝置在所述視頻信號(hào)和所述阿爾法信號(hào)之間提供獨(dú)立的保真度補(bǔ)償。
全文摘要
一種用于產(chǎn)生壓縮數(shù)碼視頻比特流的方法，包括以下步驟接收表示視頻信號(hào)的第一子序列，接收表示阿爾法信號(hào)的第二子序列，并響應(yīng)第一子序列和第二子序列產(chǎn)生壓縮數(shù)碼視頻比特流。該壓縮數(shù)碼視頻比特流(i)包括來(lái)自所述視頻信號(hào)的信息和來(lái)自所述阿爾法信號(hào)的信息并且(ii)遵從所定義的傳輸標(biāo)準(zhǔn)。
文檔編號(hào)H04N7/26GK1756358SQ20051009956
公開日2006年4月5日 申請(qǐng)日期2005年9月7日 優(yōu)先權(quán)日2004年9月7日
發(fā)明者L·L·溫格 申請(qǐng)人:Lsi羅吉克公司