專利名稱：色彩空間編碼框架的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體，尤其涉及用于處理視頻格式的色彩空間編碼框架。
背景技術(shù)：
消費(fèi)者電子產(chǎn)品的市場在不斷變化。市場不斷變化的一個原因是消費(fèi)者需要其電子設(shè)備中更高的視頻質(zhì)量。作為結(jié)果，制造商設(shè)計更高分辨率的視頻設(shè)備。為支持更高分辨率的視頻設(shè)備，設(shè)計了提供更好視覺質(zhì)量的更好的視頻格式。
有兩種派生主要視頻格式的主要色彩空間。第一種色彩空間通常被稱為RGB(紅綠藍(lán))色彩空間(后文稱為RGB)。RGB在計算機(jī)監(jiān)視器、照相機(jī)、掃描儀等中使用。RGB色彩空間具有與其關(guān)聯(lián)的若干格式。每一格式包括表示每一像素的紅、綠、藍(lán)色度的值。在一種格式中，每一值是一個8比特的字節(jié)。因此，每一像素消耗24比特(8比特(R)+8比特(G)+8比特(B))。在另一格式中，每一值為10比特。因此每一像素消耗30比特。
另一色彩空間較廣泛地在電視系統(tǒng)中使用，并通常稱為YCbCr色彩空間或YUV色彩空間(后文稱為YUV)。在許多方面，在給定的帶寬上，與RGB相比，YUV提供更好的視頻質(zhì)量，因?yàn)閅UV考慮到人類眼睛對像素的亮度中的變化比其色彩變化更敏感。作為結(jié)果，可對色彩差異信號二次采樣(sub-sample)以實(shí)現(xiàn)帶寬節(jié)省。由此，與YUV色彩空間相關(guān)聯(lián)的視頻格式的每一個都對每一像素具有一亮度值(Y)，并可在兩個或多個像素之間共享一色彩值(由U和V表示)。U(Cb)的值表示B-Y之間的藍(lán)色度差，V(Cr)的值表示R-Y之間的紅色度差。綠色度的值可從Y、U和V值中導(dǎo)出。YUV色彩空間壓倒性地在視頻編碼領(lǐng)域中使用。
當(dāng)前存在若干種YUV格式。圖1-5示出了更常見YUV格式中的五種分別為YUV444、YUV422、YUV420、YUV411和YUV410。圖1-5圖形上分別示出了陣列100-500。所示的陣列的每一個都是8×8的塊陣列。然而，陣列可以是任何尺寸，并且不必要為正方形。陣列中的每一塊(由點(diǎn)表示)表示一像素陣列。為方便起見并保持常規(guī)視頻技術(shù)一致，以下討論將每一塊描述為表示一個像素(如，像素P1-P4)。因此，在后文中，當(dāng)涉及陣列100-500時，術(shù)語像素將與術(shù)語塊交換使用。像素基于目標(biāo)視頻格式所需的采樣被組合成宏塊(如，宏塊MB1-MBN)。圖1-3示出了每一宏塊具有4個像素(如，P1-P4)。圖4-5示出了每一宏塊具有16個像素(如，P1-P16)。現(xiàn)在詳細(xì)討論每一YUV格式。
圖1圖形地示出了YUV444格式。在YUV444格式中，每一像素由Y、U和V值表示。例如，對于像素P1，YUV444格式包括Y1值的8比特、U1值的8比特以及V1值的8比特。由此，每一像素由24比特表示。由于這一格式對每一像素消耗24比特，其它YUV格式被從YUV444格式向下采樣，使得每像素的比特數(shù)量得以減少。每像素的比特的減少提供了流效率中的改進(jìn)。然而，向下采樣導(dǎo)致視頻質(zhì)量的對應(yīng)降低。
圖2圖形地示出了YUV422格式。在YUV422格式中，每一像素由Y值表示。然而，與YUV444格式相反，U和V值可任選地被過濾然后被向下采樣。過濾和向下采樣可使用已知的技術(shù)同時執(zhí)行。陣列200通過將陣列200中的每一第二水平像素為已被采樣，概念地示出了向下采樣的結(jié)果。所采樣的像素用陣列200中的“X”表示。由此，像素P1和P3的每一個由24個比特表示。然而，像素P2和P4的每一個由8個比特表示(僅Y值)。YUV422格式中每像素的比特的平均數(shù)是16比特((24+24+8+8)/4)。YUV422是分組的YUV色彩空間，它意味著Y、U和V樣值是交織的。通常，支持YUV422格式的標(biāo)準(zhǔn)，如MPEG-2和MPEG-4將所有色度塊一起編碼。例如，用于MPEG-2的YUV422格式將YUV422數(shù)據(jù)作為Y1 U1 Y2V1儲存在存儲器中，其中，Y1和Y2分別表示像素P1和P2的亮度值。Y1和Y2表示兩個亮度塊。U1和V1表示兩個色度塊。
圖3圖形地示出了YUV420格式。陣列300通過將陣列300中的每一第二水平和每一第二垂直像素示出為已被編碼，概念地示出了從YUV444格式可任選過濾和向下采樣的結(jié)果。再次，已采樣的像素用陣列300中的“X”表示。由此，對于YUV420格式，僅像素P1由24個比特表示。像素P2-P4的每一個由8個比特表示(僅Y值)。YUV420格式中每像素的平均比特數(shù)是20比特((24+8+8+8)/4)。YUV420是平面格式，不是分組格式。由此，YUV420數(shù)據(jù)儲存在存儲器中，使得所有的Y數(shù)據(jù)被首先儲存，然后是U數(shù)據(jù)，然后是所有的V數(shù)據(jù)。因此，有四個亮度塊、一個U色度塊和一個V色度塊。
圖4圖形地示出了YUV411格式。陣列400通過將陣列400中每一第四水平像素示出為已被采樣，概念地示出了從YUV444格式可任選過濾和向下采樣的結(jié)果。由此，像素P1、P5、P9和P13的每一個由24個比特表示，其它12個像素由8個比特表示。YUV411格式中每像素的平均比特數(shù)是20比特。
圖5圖形地示出了YUV410格式。陣列500通過將陣列500中的每一第四水平像素和每一第四垂直像素示出為已被編碼，概念地示出了從YUV444格式可任選過濾和向下采樣的結(jié)果。由此，僅像素P1由24比特表示，其它15個像素由8個比特表示。YUV410格式中每像素的平均比特數(shù)是10比特。
由此，基于所期望的質(zhì)量和可用的傳輸帶寬，電子設(shè)備制造商可設(shè)計其電子設(shè)備用這些和其它格式的任一個來操作。然而，稍后當(dāng)傳輸帶寬增加和/或消費(fèi)者開始需要更高質(zhì)量的視頻時，現(xiàn)有的電子設(shè)備無法支持更高質(zhì)量的視頻格式。例如，當(dāng)前許多數(shù)字電視機(jī)、機(jī)頂盒和其它設(shè)備被設(shè)計成用YUV420視頻格式操作。為滿足不同類別的消費(fèi)者，需要容納兩種視頻格式。
電視臺可廣播較高質(zhì)量的視頻格式(如，YUV422)和較低質(zhì)量的視頻格式(如，YUV420)。然而，這一選項對電視廣播是昂貴的，因?yàn)樗婕霸趦蓚€不同的頻道上具有同一內(nèi)容，它消耗了有價值的頻道資源。由此，當(dāng)前在服務(wù)器側(cè)或客戶機(jī)側(cè)，將較高分辨率的格式代碼轉(zhuǎn)換成較低分辨率的格式。圖6所示是代碼轉(zhuǎn)換過程的框圖。代碼轉(zhuǎn)換器600接受輸入格式，如格式A(如，YUV422)，并輸出輸出格式，如格式B(如，YUV420)。在代碼轉(zhuǎn)換過程中，解碼整個視頻輸入格式，它包括Y、U和V分量。Y分量必須連同UV分量一起解碼，因?yàn)閁V分量是經(jīng)運(yùn)動補(bǔ)償?shù)?，并且所得的運(yùn)動矢量只能通過解碼Y分量來獲取。由此，解碼亮度塊和所有的色度塊以獲得輸入格式中原始視頻的重建版本。然后，對色度分量向下采樣以將輸入格式轉(zhuǎn)化成期望的輸出格式。最后，再次對新生成的視頻進(jìn)行編碼以生成輸出格式(格式B)中的比特流。這一代碼轉(zhuǎn)換過程是昂貴的，因?yàn)樗话愕刃в谝粋€編碼器加上一個解碼器。存在快速代碼轉(zhuǎn)換過程，但是一般會導(dǎo)致質(zhì)量損失。
代碼轉(zhuǎn)換器600可在客戶機(jī)側(cè)、服務(wù)器側(cè)或另一位置上存在。如果代碼轉(zhuǎn)換過程在客戶機(jī)側(cè)執(zhí)行，則預(yù)訂高質(zhì)量視頻的消費(fèi)者可訪問高質(zhì)量視頻，而其它消費(fèi)者可訪問較低質(zhì)量的視頻。如果代碼轉(zhuǎn)換過程在服務(wù)器側(cè)執(zhí)行，則沒有消費(fèi)者可訪問高質(zhì)量視頻。沒有一個選項是最優(yōu)的，因?yàn)榇a轉(zhuǎn)換過程十分昂貴，且一般導(dǎo)致質(zhì)量降低。因此，需要一種提供高質(zhì)量視頻而維持與現(xiàn)有較低質(zhì)量視頻設(shè)備的操作的更好的解決方案。

發(fā)明內(nèi)容
本色彩空間編碼框架提供了一個或多個視頻格式之間的轉(zhuǎn)換，而無需使用代碼轉(zhuǎn)換器。包括依照第一色彩空間采樣格式來格式化的色彩信息的視頻信息流被拆分成一基礎(chǔ)流和一增強(qiáng)流?；A(chǔ)流依照第二色彩空間采樣格式來格式化。增強(qiáng)流包括當(dāng)與基礎(chǔ)流組合時能夠重建第一格式的增強(qiáng)信息。在編碼過程中，增強(qiáng)流可使用與基礎(chǔ)信息流有關(guān)的空間信息來增強(qiáng)。已編碼的基礎(chǔ)流和已編碼的增強(qiáng)流的輸出流可以是交織的、串接的，或可包括用于已編碼的基礎(chǔ)流和已編碼的增強(qiáng)流的獨(dú)立的文件。


圖1-5是從YUV色彩空間衍生的各種編碼格式的一系列圖形描述。
圖6是用于在兩種不同的視頻格式之間轉(zhuǎn)換的代碼轉(zhuǎn)換器的框圖。
圖7示出了可使用本示例性編碼框架的示例性計算裝置。
圖8是用于依照示例性色彩空間編碼框架將第一視頻編碼幀分離成多個流的色彩分離器的框圖。
圖9是用于依照示例性色彩空間編碼框架將多個流合并成第一視頻已格式的色彩合成器的框圖。
圖10是第一視頻編碼格式以及在色度塊被圖8所示的色彩分離器從第一視頻編碼格式分離之后的多個流的圖形表示。
圖11是結(jié)合了本色彩空間編碼框架的編碼器的框圖。
圖12是結(jié)合了本色彩空間編碼框架的解碼器的框圖。
圖13是用于發(fā)送圖11和12所示的多個比特流的示例性比特流的圖形表示。
圖14是用于發(fā)送圖11和12所示的多個比特流的另一示例性比特流的圖形表示。
圖15-20示出了適用于結(jié)合圖8和9的示例性整數(shù)提升結(jié)構(gòu)。
具體實(shí)施例方式
簡言之，本色彩空間編碼框架提供另一種從一輸入視頻編碼格式創(chuàng)建多個數(shù)據(jù)流的方法。多個數(shù)據(jù)流包括一對應(yīng)于第二視頻編碼格式的基礎(chǔ)流，以及包含從輸入視頻編碼格式獲取的增強(qiáng)信息的至少一個增強(qiáng)流。通過使用本發(fā)明，多媒體系統(tǒng)可克服將輸入視頻格式代碼轉(zhuǎn)換成其它視頻格式以支持各種電子設(shè)備的需求。在閱讀以下描述之后，可以理解，使用本色彩空間編碼框架，被配置成使用較低質(zhì)量格式操作的電子設(shè)備可容易地丟棄周期性的色度塊，而仍可正確地顯示所得的視頻。以下討論使用了YUV422和YUV420視頻格式來描述本編碼框架。然而，視頻編碼領(lǐng)域的技術(shù)人員可以理解，本編碼框架可用其它視頻格式，以及可被分離成具有類似于包含在視頻格式的色度塊中的信息的信息的塊的其它多媒體格式來操作。
由此，以下描述陳述了一個具體的示例性編碼框架。其它示例性編碼框架可包括本具體實(shí)施例的特征和/或其它特征，其目標(biāo)是消除對轉(zhuǎn)化多媒體格式(如，視頻格式)的代碼轉(zhuǎn)換的需求，并向電子設(shè)備提供多媒體格式。
以下詳細(xì)描述被劃分成若干部分。第一部分描述了結(jié)合本編碼框架的示例性計算裝置。第二部分描述了編碼框架內(nèi)的個別元素。第三部分描述了依照本色彩空間編碼框架編碼和解碼的示例性比特流。
示例性計算裝置圖7示出了可使用本示例性編碼框架的示例性計算裝置。計算裝置的一個示例包括令電視機(jī)能夠變?yōu)閷σ蛱鼐W(wǎng)的用戶接口，并令電視機(jī)能夠接受并解調(diào)數(shù)字電視(DRV)廣播的機(jī)頂盒。在另一配置中，示例性計算裝置可從機(jī)頂盒分離，并向機(jī)頂盒提供輸入。計算裝置的另一示例包括視頻記錄裝置，如數(shù)碼攝錄機(jī)或數(shù)碼相機(jī)。在非?；镜呐渲弥?，計算裝置700通常包括至少一個處理單元702和系統(tǒng)存儲器704。根據(jù)計算裝置的確切配置和類型，系統(tǒng)存儲器704可以是易失的(如RAM)、非易失的(如ROM、閃存等)或兩者的某一組合。系統(tǒng)存儲器704通常包括操作系統(tǒng)705、一個或多個應(yīng)用程序706，并且可包括程序數(shù)據(jù)707。web瀏覽器可包括在操作系統(tǒng)705或程序模塊706之一內(nèi)。web瀏覽器允許計算裝置通過因特網(wǎng)通信。
計算裝置700可具有另外的特征或功能。例如，計算裝置700也可包括另外的數(shù)據(jù)存儲設(shè)備(可移動和/或不可移動)，如磁盤、光盤或磁帶。這類另外的存儲在圖7中由可移動存儲709和不可移動存儲710示出。計算機(jī)存儲媒質(zhì)可包括以用于儲存如計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)等信息的任一方法和技術(shù)實(shí)現(xiàn)的易失和非易失、可移動和不可移動媒質(zhì)。系統(tǒng)存儲器704、可移動存儲709和不可移動存儲710都是計算機(jī)存儲媒質(zhì)的示例。計算機(jī)存儲媒質(zhì)包括但不限于，RAM、ROM、EEPROM、閃存或其它存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其它光存儲、磁盒、磁帶、磁盤存儲或其它磁存儲設(shè)備、或可以用來儲存期望的信息并可由計算裝置700訪問的任一其它媒質(zhì)。計算裝置700也可具有(多個)輸入設(shè)備712，如鍵盤、鼠標(biāo)、輸入筆、語音輸入設(shè)備、觸摸輸入設(shè)備等等。也可包括(多個)輸出設(shè)備714，如顯示器、揚(yáng)聲器、打印機(jī)等等。這些設(shè)備在本領(lǐng)域中是眾所周知的，并且不需要在此詳細(xì)討論。計算裝置700也可具有用于視頻和音頻解碼并用于處理的依照本發(fā)明的編碼框架執(zhí)行的一個或多個設(shè)備(如，芯片)。
計算裝置700也包含允許裝置如通過網(wǎng)絡(luò)與其它計算裝置718進(jìn)行通信的通信連接116。通信連接716是通信媒質(zhì)的一個示例。通信媒質(zhì)通常可以諸如載波或其它傳輸機(jī)制等已調(diào)制數(shù)據(jù)信號中的計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)實(shí)施，并包括任一信息傳送媒質(zhì)。術(shù)語“已調(diào)制數(shù)據(jù)信號”指以對信號中的信息進(jìn)行編碼的方式設(shè)置或改變其一個或多個特征的信號。作為示例而非局限，通信媒質(zhì)包括有線媒質(zhì)，如有線網(wǎng)絡(luò)或直接連線連接，以及無線媒質(zhì)，如聲學(xué)、RF、紅外和其它無線媒質(zhì)。由此，通信媒質(zhì)包括電話線和電纜。本發(fā)明使用的術(shù)語計算機(jī)可讀媒質(zhì)包括存儲媒質(zhì)和通信媒質(zhì)。
示例性編碼框架圖8是用于將第一視頻編碼格式(如，格式A)分離成多個流(如，基礎(chǔ)格式B流和增強(qiáng)格式B流)的色彩分離器800的框圖。現(xiàn)在描述用于從格式A分離基礎(chǔ)流的過程。本領(lǐng)域的技術(shù)人員可以理解在從較高分辨率向下采樣到較低分辨率之前執(zhí)行低通濾波以提高向下采樣格式的質(zhì)量的常用慣例。由此，色彩分離器800可包括可任選低通濾波器804。低通濾波器可以是各種商用低通濾波器的任一種。例如，可使用對MPEG-4的運(yùn)動圖像專家組(MPEG)所提議的低通濾波器。MPEG-4低通濾波器的系數(shù)如下c＝[5/32，11/32，11/32，5/32]?？蛇x地，色彩分離器800可保留YUV值，而不處理YUV值通過低通濾波器804。從格式A分離基礎(chǔ)流的過程也包括向下采樣器808。向下采樣器808被配置成對期望的輸出格式隨指定的每一行和列保持色度塊。格式A到基礎(chǔ)格式B的轉(zhuǎn)換對本領(lǐng)域的技術(shù)人員是已知的，并且在當(dāng)今被普遍執(zhí)行。向下采樣器808的結(jié)果是基礎(chǔ)格式B流(如，YUV420)。
在另一實(shí)施例中，濾波器804和向下采樣器808也可被組合成一卷積操作。一般而言，卷積包括乘法、加法和移位的組合。一個示例性卷積操作如下Lk＝c0*f2k+c1*f2k+1+c2*f2k+2+c3*f2k+3公式1其中，k＝0，1，2，...，n-1。
Hk＝d0*f2k+d1*f2k*f2k+1+d2*f2k+2+d3*f2k+3公式2其中，k＝0，1，2，...，n-1。
在邊界像素上，可應(yīng)用鏡像擴(kuò)展。用于對存在偶數(shù)個抽頭應(yīng)用鏡像擴(kuò)展的一個示例性方法如下f-2＝f1，f-1＝f0，f2n＝f2n-1，f2n+1x＝f2n-2公式3用于對存在奇數(shù)個抽頭應(yīng)用鏡像擴(kuò)展的另一示例性方法如下f-2＝f2，f-1＝f1，f2n＝f2n-2，f2n+1＝f2n-3公式4在公式1-4中，n是UV信號的垂直維度，fk對應(yīng)于格式A色度塊中位置k處的像素值。Lk和Hk表示所得的基礎(chǔ)格式B和增強(qiáng)格式B流的位置k處的像素值。
現(xiàn)在描述用于從格式A分離增強(qiáng)流的過程。色彩分離器800可包括可任選高通濾波器806。一個示例性高通濾波器806可具有以下系數(shù)d＝[5/12，11/12，-11/12，-5/12]?？蛇x地，色彩分離器800可保持來自第一視頻編碼格式的YUV值，而不應(yīng)用濾波器806。從格式A分離增強(qiáng)流的過程包括向下采樣器810。在一個實(shí)施例中，向下采樣器810被配置成保持向下采樣器808不保持的所有行。例如，當(dāng)將YUV424轉(zhuǎn)換成YUV420時，向下采樣器810保持高通濾波器的輸出的所有偶數(shù)行。在過去，在代碼轉(zhuǎn)換過程中，這些“額外”色度塊僅被丟棄。然而，依照本色彩空間編碼框架，這些“額外”色度塊變?yōu)樵鰪?qiáng)格式B流。如后文詳細(xì)描述的，通過在單獨(dú)的流中保留這些“額外”色度塊，可避免當(dāng)在兩種格式之間轉(zhuǎn)換時的低效率代碼轉(zhuǎn)換過程。
在另一實(shí)施例中，濾波器806和向下采樣器810可被組合成一類似于上文用公式1-4和對應(yīng)的文字所描述的卷積操作的卷積操作。
在另一示例性實(shí)施例中，可應(yīng)用生成兩個期望的輸出格式的小波變換(即，分解和向下采樣)基礎(chǔ)格式B和增強(qiáng)格式B。例如，可應(yīng)用修改的9/7 Daubechies小波變換。描述9/7小波的額外信息可從JPEG-2000參考中獲得。標(biāo)準(zhǔn)9/7Daubechies小波變換(即，濾波加向下采樣)將格式A轉(zhuǎn)換成格式B和增強(qiáng)格式B。低通分解濾波器系數(shù)和高通分解濾波器系統(tǒng)為
L(9)0.026748757411，-0.016864118443，-0.0782232665290.266864118443，0.602949018236，0.266864118443，-0.078223266529，-0.016864118443，0.026748757411H(7)0.045635881557，-0.028771763114，-0.295635881557，0.557543526229，-0.295635881557，-0.028771763114，0.045635881557為確保變換過程中最小精度丟失，使用一整數(shù)提升模式來實(shí)現(xiàn)9/7小波變換。整數(shù)提升模式采用該過程中每一中間結(jié)果，并通過舍入、上限(ceiling)、下限(flooring)或限幅(clipping)將該結(jié)果轉(zhuǎn)換成一整數(shù)。一個示例性整數(shù)提升結(jié)構(gòu)1500在圖15中示出。處理從左到右地執(zhí)行。在圖15中，點(diǎn)x0～x9表示格式A的原始像素。點(diǎn)l0～l4表示格式B中的像素。點(diǎn)h0～h4表示增強(qiáng)格式B中的像素。曲線箭頭表示鏡像擴(kuò)展。具有符號(α、β等)的有向分支表示應(yīng)用第一乘數(shù)為與可適用符號相關(guān)聯(lián)的系數(shù)、且第二乘數(shù)為它所離開的節(jié)點(diǎn)的值的乘法操作。水平分支表示應(yīng)用對一個節(jié)點(diǎn)的值到下一階段的無縮放的進(jìn)位操作。在一個節(jié)點(diǎn)合并的分支意味著這些分支中所傳送的所有值被相加在一起以生成合并節(jié)點(diǎn)的值?？蓱?yīng)用對值k的修改以確保格式B的所得的系數(shù)在范圍
之內(nèi)。
當(dāng)格式A對應(yīng)于YUV422，基礎(chǔ)格式對應(yīng)于YUV420時，色彩分離器800的結(jié)果在圖10中示出。圖10示出了依照圖2所示的第一視頻編碼格式(如，視頻編碼格式Y(jié)UV422)采樣的陣列200。每一宏塊(如，宏塊MB1)包括四個亮度塊和兩個色度塊一個用于U，一個用于V。格式Y(jié)UV422中一個宏塊的內(nèi)存布局需要四個亮度塊和四個色度塊Y1 Y2 Y3 Y4 U1 V1 U2 V2。如果該YUV422格式需要由接受YUV420格式(圖3示出)的電子設(shè)備適用，則在過去，將YUV422格式輸入到對每一色彩塊解碼的代碼轉(zhuǎn)換器，代碼轉(zhuǎn)換器解碼每一色度塊、操縱色彩塊然后再次對色彩塊進(jìn)行編碼。
然而，適用本色彩空間編碼框架，以一種新方式對YUV422進(jìn)行編碼，它通常在陣列10000中被描述為格式B，它包括基礎(chǔ)B和增強(qiáng)B。與丟棄不需要的色度塊的現(xiàn)有的轉(zhuǎn)換方法相反，本色彩空間編碼框架重新排列色度塊，使得輸出本質(zhì)上具有兩個或多個流。第一個流包括基礎(chǔ)格式的色度塊，如YUV420，它在色彩分離器800中通過可任選低通濾波器804和向下采樣器806生成。第二個流包括來自輸入格式，但不由基礎(chǔ)格式使用的額外色度塊。由此，第一個流包括與基礎(chǔ)格式相關(guān)聯(lián)的一組完整的色度塊，以確?；A(chǔ)格式是完全自包含的。第二個流在色彩分離器800中通過可任選高通濾波器806和向下采樣器810生成。由此第二個流表示增強(qiáng)流，它與第一個流一起重建了輸入流(格式A)。如圖形地所描述的，基礎(chǔ)流和增強(qiáng)流的創(chuàng)建可通過打亂色度塊(像素)來作出，它對色度分量的布局進(jìn)行操縱。
圖9是用于將基礎(chǔ)格式B流和增強(qiáng)格式B流合并成第一視頻編碼格式(如，格式A)的色彩合成器的框圖。色彩合成器900包括用于處理輸入到色彩合成器900的基礎(chǔ)格式B流的向上采樣器904和可任選合成濾波器908。另外，色彩合成器900包括可用于處理輸入到色彩合成器900的增強(qiáng)格式B流的向上采樣器906和可任選合成濾波器910。色彩合成器912也包括在向上采樣和濾波之后將輸出合并成期望的第一視頻編碼格式的合并器912。在涉及YUV424和YUV420格式的一個示例性實(shí)施例中，合并器912將兩個合成濾波器的輸出相加以重建YUV424視頻流。
向上采樣器904在需要時填充輸入的流?？扇芜x合成濾波器908可采用以下系數(shù)c′＝[-5/12，11/12，11/12，-5/12]。
向上采樣器806也在需要時填充其輸入流。可任選合成濾波器910可采用以下系數(shù)d′＝[-5/31，11/32，-11/32，5/32]。向上采樣器904和合成濾波器908可被合并成以下卷積操作f2k＝2*(c0′*Lk+c2′*Lk-1+d0′*Hk+d2′*Hk-1) 公式5其中，k＝0，1，2，...，n-1。
f2k+1＝2*(c1′*Lk+c3′*Lk-1+d1′*Hk+d3′*Hk-1)公式6其中，k＝0，1，2，...，n-1。
向上采樣器904和906分別執(zhí)行向下采樣器806和810的完全反向的操作。對于在806和810中丟棄的行，904和906填充零。在向上采樣器之后，信號被回復(fù)到原始分辨率。
在邊界像素上，可應(yīng)用鏡像擴(kuò)展。用于對當(dāng)存在偶數(shù)個抽頭時應(yīng)用鏡像擴(kuò)展的一個示例性方法如下L-1＝L0，H-1＝H0公式7用于對當(dāng)存在奇數(shù)個抽頭時應(yīng)用鏡像擴(kuò)展的另一示例性方法如下L-1＝L1，H-1＝H1公式8在公式5-8中，n是UV信號的垂直維度，fk對應(yīng)于格式A色度的位置k處的像素值。Lk和Hk表示所得的基礎(chǔ)格式B和增強(qiáng)格式B流的位置k處的像素值。
在解碼器1200的另一實(shí)施例中，執(zhí)行反向9/7小波變換(即，向上采樣和濾波)以從基礎(chǔ)格式B和增強(qiáng)格式B重建格式A視頻。低通合成合成濾波器和高通合成濾波器系數(shù)如下L(7)-0.045635881557，-0.028771763114，0.295635881557，0.557543526229，0.295635881557，-0.028771763114，-0.045635881557H(9)0.026748757411，
0.016864118443，-0.078223266529，-0.266864118443，0.602949018236，-0.0266864118443，-0.0788223266529，0.016864118443，0.026748757411圖16示出了與反向修改的9/7 Daubechies小波變換相關(guān)聯(lián)的對應(yīng)的整數(shù)提升結(jié)構(gòu)1600。對圖15定義的符號描述整數(shù)提升結(jié)構(gòu)1600。
編碼器1100和解碼器1200可使用各種小波變換來實(shí)現(xiàn)。例如，可使用修改的5/3 Daubechies小波變換。圖17-18分別示出了與修改的5/3 Daubechies小波變換和反向修改的5/3 Daubechies小波變換相關(guān)聯(lián)的整數(shù)提升結(jié)構(gòu)1700和1800。再次，對圖15定義的符號描述整數(shù)提升結(jié)構(gòu)1700和1800。
對應(yīng)的低通分解濾波器系數(shù)和高通分解濾波器系數(shù)為L(5)-1/8，1/4，3/4，1/4，-1/8H(3)-1/4，1/2，-1/4低通合成濾波器系數(shù)和高通合成濾波器系數(shù)為L(3)1/4，1/2，1/4H(5)-1/8，-1/4，3/4，-1/4，-1/8在另一示例性實(shí)現(xiàn)中，可使用7/5小波變換。圖19-20分別示出了與7/5小波變換和反向7/5小波變換相關(guān)聯(lián)的整數(shù)提升結(jié)構(gòu)1900和2000。再次，對圖15定義的符號描述整數(shù)提升結(jié)構(gòu)1900和2000。
對應(yīng)的低通分解濾波器系數(shù)和高通分解濾波器系數(shù)為L(7)0.0012745098039216，0.0024509803921569，0.2487254901960785，0.4950980392156863，
0.2487254901960785，0.0024509803921569，0.0012745098039216H(5)-0.1300000000000000，-0.2500000000000000，0.7600000000000000，-0.2500000000000000，-0.1300000000000000低通合成濾波器系數(shù)和高通合成濾波器系數(shù)如下L(5)-0.1300000000000000，0.2500000000000000，0.7600000000000000，0.2500000000000000，-0.1300000000000000H(7)-0.0012745098039216，0.0024509803921569，-0.2487254901960785，0.4950980392156863，-0.2487254901960785，0.0024509803921569，-0.0012745098039216圖11是依照本色彩空間編碼框架操作的編碼器1100的框圖。編碼器1100包括基礎(chǔ)格式編碼器(一般在框1120內(nèi)表示)、增強(qiáng)格式編碼器(一般在框1140內(nèi)表示)以及輸出比特流形成器1160。另外，編碼器1100可包括圖8所示并在上文描述的色彩分離器800。編碼器1100是一種計算裝置，如圖7所示的，它以硬件、軟件或硬件/軟件的任一組合，以生成輸入到圖12所示并在下文描述的相關(guān)聯(lián)的解碼器的期望比特流的方式實(shí)現(xiàn)基礎(chǔ)格式編碼器、增強(qiáng)格式編碼器、比特流形成器和可任選色彩分離器800的功能。
總體上，編碼器1100依照本色彩空間編碼框架處理兩個流-基礎(chǔ)流和增強(qiáng)流。編碼器1100的一個優(yōu)點(diǎn)是提供額外的預(yù)測編碼模式、空間預(yù)測(SP)以及幀內(nèi)和幀間預(yù)測編碼模式的能力。如后文詳細(xì)描述的，編碼器1100使用來自同一幀的基礎(chǔ)色度塊為增強(qiáng)色度塊提供空間預(yù)測。由于增強(qiáng)色度塊和基礎(chǔ)色度塊之間的高相關(guān)性，空間預(yù)測(SP)可提供一種十分有效的預(yù)測模式。
在一個實(shí)施例中，編碼器1100接受從色彩分離器800生成的輸出流。在另一實(shí)現(xiàn)中，色彩分離器800包括在編碼器800內(nèi)。對于任一實(shí)施例，色彩分離器800接受以第一編碼格式1106-稱為格式A-編碼的輸入。第一編碼格式1106的生成以對視頻編碼領(lǐng)域的技術(shù)人員已知的常規(guī)方式執(zhí)行。在某些情況下，第一編碼格式的生成通過轉(zhuǎn)換來自另一色彩空間，如RGB色彩空間的格式來完成。當(dāng)出現(xiàn)這一情況時，使用色彩空間轉(zhuǎn)換器(CSC)1104。色彩空間轉(zhuǎn)換器1104接受與其它色彩空間相關(guān)聯(lián)的輸入1102(如，RGB輸入)。色彩空間轉(zhuǎn)換器1104然后將輸入1102轉(zhuǎn)換成期望的第一編碼格式1106。色彩空間轉(zhuǎn)換器1104可使用用于從一個色彩空間轉(zhuǎn)換到另一色彩空間的任一常規(guī)機(jī)制。例如，當(dāng)轉(zhuǎn)換是在RGB色彩空間和YUV色彩空間之間時，色彩空間轉(zhuǎn)換器1104可應(yīng)用通常被表示為一組三個方程式或由矩陣表示的已知變換。由該標(biāo)準(zhǔn)之一定義的一組已知的方程式如下Y＝0.299×R+0.587×G+0.114×BU＝-0.299×R-0.587×G+0.866×BY＝0.701×R-0.587×G-0.114×B變換也是可逆的，使得給定一組YUV值，可獲取一組RGB值。當(dāng)必需色彩空間轉(zhuǎn)換時，由色彩分離器800執(zhí)行的操作可與色彩空間轉(zhuǎn)換器1104中執(zhí)行的處理相組合。色彩分離器800和色彩空間轉(zhuǎn)換器1804可作為元件包括在編碼器1100內(nèi)?？蛇x地，編碼器1100可接受由色彩分離器800生成的輸出。
如上文結(jié)合圖8所描述的，色彩分離器800被配置成輸出一基礎(chǔ)格式流1108和至少一個增強(qiáng)格式流1110。基礎(chǔ)格式流1108通過基礎(chǔ)編碼器1120處理，增強(qiáng)格式流通過增強(qiáng)編碼器1140處理。
基礎(chǔ)編碼器1120是用于基礎(chǔ)格式流1108的任一常規(guī)編碼器。一般而言，基礎(chǔ)編碼器1120試圖將作為基礎(chǔ)比特流(B-BS)輸出的數(shù)據(jù)量最小化，它通常通過某一媒質(zhì)發(fā)送，使得可播放所編碼的視頻。常規(guī)基礎(chǔ)編碼器1120包括常規(guī)元件，如離散余弦變換(DCT)1122、量化(Q)過程1124、可變長度編碼(VLC)過程1126、反量化(Q-1)過程1128、反向DCT(ICT)1130、幀緩沖器1132、運(yùn)動補(bǔ)償預(yù)測(MCP)過程1134以及運(yùn)動估計(ME)過程1136。盡管基礎(chǔ)編碼器1120的元件是眾所周知的，仍將簡要描述這些元件以幫助了解本色彩空間編碼框架。
然而，在描述常規(guī)基礎(chǔ)編碼器1120之前，定義貫穿以下描述所使用的術(shù)語。幀指的是組成圖像的行。幀內(nèi)幀(I幀)指的是近使用來自一個幀內(nèi)的信息編碼的幀。幀間幀，也稱為預(yù)測幀(P幀)指的是使用來自一個以上幀編碼的幀。
基礎(chǔ)編碼器1120接受基礎(chǔ)格式1108的幀。該幀將僅使用來自其本身的信息來編碼。因此，該幀被稱為I幀。由此，I幀前進(jìn)通過將I幀轉(zhuǎn)換成DCT系數(shù)的離散余弦變換1122。這些DCT系數(shù)被輸入到量化過程1124，以形成量化的DCT系數(shù)。量化的DCT系數(shù)然后被輸入到可變長度編碼器(VLC)1126，以生成基礎(chǔ)比特流(B-BS)的一部分。量化的DCT系數(shù)也被輸入到反量化過程1128和反向DCT1130。結(jié)果儲存在幀緩沖器1132中，擔(dān)當(dāng)P幀的參考。
基礎(chǔ)編碼器1120通過向儲存在幀緩沖器1132中的結(jié)果應(yīng)用運(yùn)動估計(ME)過程1136來處理P幀。運(yùn)動估計過程1136被配置成查找一時間預(yù)測(TP)，它被稱為經(jīng)運(yùn)動補(bǔ)償?shù)念A(yù)測(MCP)1134。將MCP 1134與I幀進(jìn)行比較，其差(即，余量)前進(jìn)通過與I幀相同的過程。以運(yùn)動矢量(MV)形式的經(jīng)運(yùn)動補(bǔ)償?shù)念A(yù)測(MCP)1134被輸入到可變長度編碼器(VLC)，并生成基礎(chǔ)比特流(B-BS)的另一部分。最后，向MCP 1134添加反向量化差數(shù)據(jù)以形成重建的幀。用重建的幀更新幀緩沖器，擔(dān)當(dāng)下一P幀的參考。重要的是注意，所得的基礎(chǔ)比特流(B-BS)與當(dāng)今現(xiàn)有的解碼基礎(chǔ)流B格式的設(shè)備中可用的常規(guī)解碼器完全在句法上兼容。
增強(qiáng)編碼器1140試圖將作為增強(qiáng)比特流(E-BS)輸出的數(shù)據(jù)量最小化。這一增強(qiáng)比特流通常通過某一媒質(zhì)發(fā)送，并可任選地被解碼，以播放較高質(zhì)量的編碼視頻。盡管先前未預(yù)想在編碼器1100內(nèi)具有增強(qiáng)編碼器1140，然而增強(qiáng)編碼器1140包括可以與上文對基礎(chǔ)編碼器所描述的相同方式操作的若干常規(guī)元件。常規(guī)元件包括離散余弦變換(DCT)1142、量化(Q)過程1144、可變長度編碼(VLC)過程1146、反量化(Q-1)過程1148、反向DCT(IDCT)1150、幀緩沖器1152以及經(jīng)運(yùn)動補(bǔ)償?shù)念A(yù)測(MCP)過程1154?？梢宰⒁獾?，運(yùn)動估計過程不包括在增強(qiáng)編碼器1140內(nèi)，因?yàn)樵鰪?qiáng)流不包括包含Y分量的任何亮度塊。運(yùn)動矢量(MV)從Y分量導(dǎo)出。然而，依照本色彩空間編碼框架，增強(qiáng)編碼器1140包括選擇性地預(yù)測P幀的模式選擇開關(guān)1158。開關(guān)1158可選擇從根據(jù)儲存在幀緩沖器1152中的增強(qiáng)流生成的前一參考預(yù)測P幀，或可選擇使用來自儲存幀緩沖器1132中當(dāng)前幀的基礎(chǔ)流的參考“空間地”預(yù)測(SP)P幀?？臻g預(yù)測提供一種十分有效的預(yù)測方法，這是由于增強(qiáng)流中的增強(qiáng)色度塊和基礎(chǔ)流中的色度塊之間的高相關(guān)性。由此，本色彩空間編碼框架與傳統(tǒng)的編碼機(jī)制相比，提供了預(yù)測編碼中更高的效率，并獲得性能的提高。增強(qiáng)編碼器1140的輸出是增強(qiáng)比特流(E-BS)。
盡管單獨(dú)示出了基礎(chǔ)編碼器1120和增強(qiáng)編碼器1140中的常規(guī)元件，然而在一個實(shí)施例中，基礎(chǔ)編碼器1120和增強(qiáng)編碼器1140可共享相同的常規(guī)元件的一個或多個。例如，作為具有兩個DCT 1122和1142的替代，可由基礎(chǔ)編碼器1120和增強(qiáng)編碼器1140共同使用一個DCT。由此，依照本色彩空間編碼框架開發(fā)編碼器在硬件、軟件或任一組合中需要最小的額外努力來容納增強(qiáng)流。另外，可向本色彩空間編碼框架容易地應(yīng)用對基礎(chǔ)編碼器1120所開發(fā)的其它高級的編碼技術(shù)。例如，本色彩空間編碼框架可在存在雙向預(yù)測幀(B幀)時操作。
輸出比特流形成器1160將增強(qiáng)比特流(E-BS)與基礎(chǔ)比特流(B-BS)組合，以形成最終的輸出比特流。最終輸出比特流的示例性格式在圖13和14中示出，并結(jié)合這些附圖描述。
圖12是結(jié)合本色彩空間編碼框架的解碼器的框圖。總體上，解碼器1200可執(zhí)行一簡單的比特流截斷以獲取較低質(zhì)量的視頻格式。由此，昂貴的代碼轉(zhuǎn)換過程不是必需的。一般而言，解碼器1200反轉(zhuǎn)了編碼器1100所執(zhí)行的過程。解碼器1200接受基礎(chǔ)比特流(B-BS)和增強(qiáng)比特流(E-BS)。基礎(chǔ)比特流和增強(qiáng)比特流可用包括在解碼器內(nèi)或在解碼器外部的輸入比特流分析器1202來分析。解碼器1200包括一基礎(chǔ)格式解碼器(一般在框1220內(nèi)表示)以及一增強(qiáng)格式解碼器(一般在框1240內(nèi)表示)?；A(chǔ)解碼器1220處理基礎(chǔ)比特流，增強(qiáng)解碼器1240處理增強(qiáng)比特流。另外，解碼器1200可包括圖9所示并在上文描述的色彩合成器900。解碼器1200是一種計算裝置，如圖7所示的，它以產(chǎn)生期望格式A 1260的方式以硬件、軟件或硬件/軟件的任一組合實(shí)現(xiàn)基礎(chǔ)格式解碼器、增強(qiáng)格式解碼器和可任選色彩合成器900的功能。
總體上，解碼器1200輸入依照本色彩空間編碼框架生成的兩個流-基礎(chǔ)比特流(B-BS)和增強(qiáng)比特流(E-BS)。解碼器1200具有解碼由編碼器1100提供的預(yù)測編碼模式、空間預(yù)測(SP)的能力。
在一個實(shí)施例中，解碼器1200包括色彩合成器900。在另一實(shí)施例中，色彩合成器900是與解碼器1200分離的設(shè)備。對于任一實(shí)施例，色彩合成器900接受包含基礎(chǔ)格式的亮度塊和色度塊的值，以及增強(qiáng)格式的色度塊的值的兩個流，并如結(jié)合圖9所解釋的將它們合并成格式A 1260。在某些情況下，格式A 1260被轉(zhuǎn)換成另一色彩空間的格式，如RGB色彩空間。當(dāng)這一情況出現(xiàn)時，使用色彩空間轉(zhuǎn)換器(CSC)1262。色彩空間轉(zhuǎn)換器1262接受格式A 1260作為輸入，并將輸入1260轉(zhuǎn)換成輸出1264(如，RGB輸出)，它與其它色彩空間相關(guān)聯(lián)。色彩空間轉(zhuǎn)換器1262可使用用于從一個色彩空間轉(zhuǎn)換到另一色彩空間的任一常規(guī)機(jī)制。例如，當(dāng)轉(zhuǎn)換是在RGB色彩空間和YUV色彩空間之間時，色彩空間轉(zhuǎn)換器1262可如上所述地應(yīng)用已知的變換。當(dāng)需要色彩空間轉(zhuǎn)換時，由色彩合成器900執(zhí)行的處理可與色彩空間轉(zhuǎn)換器1262中執(zhí)行的處理向組合。色彩合成器900和色彩空間轉(zhuǎn)換1262可作為元件包括在解碼器1200內(nèi)。可選地，解碼器1200可向外部色彩合成器900提供輸入。
基礎(chǔ)解碼器1220是用于基礎(chǔ)比特流(B-BS)的任一常規(guī)解碼器。一般而言，基礎(chǔ)解碼器1220重建由基礎(chǔ)編碼器1120編碼的YUV值。常規(guī)基礎(chǔ)解碼器1220包括常規(guī)元件，如可變長度解碼(VLD)過程1222、反量化(Q-1)過程1224、反向離散余弦變換(IDCT)1226、幀緩沖器1228以及經(jīng)運(yùn)動補(bǔ)償?shù)念A(yù)測(MCP)過程1230。再次，基礎(chǔ)解碼器1220的元件是眾所周知的。因此，將簡要描述這些元件以幫助理解本色彩空間編碼框架。
基礎(chǔ)解碼器1220將基礎(chǔ)比特流輸入到可變長度解碼器(VLD)1222，以檢索運(yùn)動矢量(MV)和量化的DCT系數(shù)。量化的DCT系數(shù)被輸入到反量化過程1224和反向DCT 1226，以形成差值數(shù)據(jù)。差值數(shù)據(jù)被添加到其經(jīng)運(yùn)動補(bǔ)償?shù)念A(yù)測1230，以形成輸入到色彩合成器900的重建的比特流。該結(jié)果也儲存在幀緩沖器1228中，以擔(dān)當(dāng)用于解碼P幀的參考。
增強(qiáng)解碼器1240重建由增強(qiáng)編碼器1140編碼的UV值。盡管先前未預(yù)想在解碼器1200內(nèi)具有增強(qiáng)解碼器1240，然而增強(qiáng)解碼器1240包括以與上文對基礎(chǔ)解碼器1220所描述的同一方式操作的若干常規(guī)元件。增強(qiáng)解碼器1240包括常規(guī)元件，如可變長度解碼(VLD)過程1242、反量化(Q-1)過程1244、反向離散余弦變換(DCT)1246、幀緩沖器1248以及經(jīng)運(yùn)動補(bǔ)償?shù)念A(yù)測(MPC)過程1250。
增強(qiáng)比特流通過增強(qiáng)解碼器1240的流程與基礎(chǔ)解碼器1220相同，除差值可選擇性地添加到其經(jīng)運(yùn)動補(bǔ)償?shù)念A(yù)測(MCP)或添加到其空間預(yù)測(SP)之外，如由模式信息開關(guān)1252所確定的。增強(qiáng)解碼器1240的結(jié)果是包含當(dāng)前幀的“額外”色度塊的值的重建的增強(qiáng)流。
基礎(chǔ)流和增強(qiáng)流然后被輸入到色彩合成器，它如上所述地處理該流以重建格式A。盡管單獨(dú)示出了基礎(chǔ)解碼器1220和增強(qiáng)解碼器1240中的常規(guī)元件，然而在一個實(shí)施例中，基礎(chǔ)解碼器1220和增強(qiáng)解碼器1240可共享相同的常規(guī)元件的一個或多個。例如，作為具有兩個反向DCT 1226和1246的替代，可由基礎(chǔ)解碼器1220和增強(qiáng)解碼器1240同時使用一個反向DCT。由此，依照本發(fā)明的色彩空間編碼框架開發(fā)解碼器需要硬件、軟件或任一組合中的最小額外努力來容納增強(qiáng)流。另外，可容易地向本色彩空間編碼框架應(yīng)用對基礎(chǔ)解碼器1220開發(fā)的其它高級的解碼技術(shù)。例如，本色彩空間編碼框架可在存在雙向預(yù)測幀(B幀)時操作。
由此，通過使用本色彩空間編碼框架來編碼格式，可通過比特截斷，而非昂貴的代碼轉(zhuǎn)換過程實(shí)現(xiàn)兩種格式之間的轉(zhuǎn)換。由此，在格式上無需執(zhí)行代碼轉(zhuǎn)換過程以從一種格式轉(zhuǎn)換成另一種格式。
示例性比特流考慮圖11所示的輸出比特流形成過程1160可以多種方式組織基礎(chǔ)比特流(B-BS)和增強(qiáng)比特流(E-BS)。圖13和14示出了兩個示例性比特流。為方便起見，示例性比特流示出了涉及增強(qiáng)比特流的基礎(chǔ)比特流的組織，而省略了通常包括在傳輸流分組中的其它信息，如分組標(biāo)識符、序列號等等。另外，示例性比特流可包括指示該比特流支持格式A和基礎(chǔ)格式B的指示符。
圖13是用于發(fā)送圖11和12所示的多個比特流的示例性比特流1300的圖形表示。總體上，比特流1300將增強(qiáng)比特流(E-BS)嵌入到基礎(chǔ)比特流(B-BS)之內(nèi)。由此，比特流1300包括B-BS信息1302、1304和1306，它們與E-Bs信息1312、1314和1316交替。實(shí)際上，如果基礎(chǔ)比特流對應(yīng)于YUV 420格式，而增強(qiáng)比特流1300包括YUV422格式的色度塊，則比特流1300允許YUV422解碼器順序地解碼所有的幀。然而，解碼比特流1300的YUV420解碼器必須跳過E-BS幀。比特流1300適合流/廣播應(yīng)用。
圖14是用于發(fā)送圖11和12所示的多個比特流的另一示例性比特流1400的圖形表示?？傮w上，比特流1400將增強(qiáng)比特流串接到基礎(chǔ)比特流的末尾。由此，比特流1400包括基礎(chǔ)比特流的連續(xù)幀(如，幀1402、1404、1406)，其后跟隨增強(qiáng)比特流的連續(xù)幀(如，幀1412、1414、1416)。實(shí)際上，如果基礎(chǔ)比特流對應(yīng)于YUV420格式，而增強(qiáng)比特流包括YUV422格式的色度塊，則比特流1400允許YUV420解碼器順序地解碼所有的幀，而不會遇到增強(qiáng)比特流。YUV420可在解碼了所有基礎(chǔ)比特幀(如，1402、1404、1406)之后終止解碼過程。然而，YUV422解碼器必須在前進(jìn)到下一幀之前搜尋并解碼基礎(chǔ)比特流和增強(qiáng)比特流。YUV422解碼器可使用兩個指針來順序地訪問基礎(chǔ)比特流和增強(qiáng)比特流。比特流1400適合下載并播放應(yīng)用。
比特流1400也可被分離成不同的個別文件。在本實(shí)施例中，基礎(chǔ)比特流表示獨(dú)立的流，并可完全由YUV420解碼，而不需要對現(xiàn)有YUV420的任何修改。YUV422解碼器將同時處理兩個比特流文件。比特流1400可有利地在視頻記錄設(shè)備內(nèi)實(shí)現(xiàn)，如數(shù)碼視頻攝錄機(jī)。比特流1400將允許同時記錄高質(zhì)量和低質(zhì)量流。如果消費(fèi)者認(rèn)識到可能期望額外的記錄但已消耗了現(xiàn)有的媒質(zhì)，則數(shù)碼視頻攝錄機(jī)上的選項可允許消費(fèi)者方便地刪除高質(zhì)量流并保留低質(zhì)量流，使得額外的記錄得以繼續(xù)。
以上描述陳述了結(jié)合所附權(quán)利要求書中所描述的元件的色彩空間編碼框架的具體實(shí)施例。該實(shí)施例以細(xì)節(jié)描述，以滿足法定需求。然而，該描述本身并不意味著局限本專利的范圍。相反，發(fā)明人考慮到本發(fā)明也可結(jié)合現(xiàn)有或未來技術(shù)以其它方式實(shí)施，以包括類似于本文檔所描述的那些元件或元件組合的不同的元件或元件組合。
權(quán)利要求
1.一種方法，其特征在于，它包括接收一包括依照第一色彩空間采樣格式而格式化的色彩信息、具有預(yù)定數(shù)量比特的視頻信息流；將所述視頻信息流拆分成一依照第二色彩空間采樣格式來格式化的、具有少于所述預(yù)定數(shù)量的比特的基礎(chǔ)信息流、及一增強(qiáng)信息流；以及提供所述基礎(chǔ)信息流和所述增強(qiáng)信息流中的至少一個的一指示符，它指示用于依照所述第一色彩空間采樣格式或所述第二色彩空間采樣格式提供視頻信息的能力。
2.如權(quán)利要求1所述的方法，其特征在于，它還包括使用與所述基礎(chǔ)信息流有關(guān)的空間信息對所述增強(qiáng)信息流進(jìn)行編碼。
3.如權(quán)利要求1所述的方法，其特征在于，它還包括使用與所述基礎(chǔ)信息流有關(guān)的空間信息，或使用與所述增強(qiáng)信息流有關(guān)的先前的參考，對所述增強(qiáng)信息流選擇性地進(jìn)行編碼。
4.如權(quán)利要求1所述的方法，其特征在于，它還包括將所述基礎(chǔ)信息流編碼成一基礎(chǔ)編碼比特流，將所述增強(qiáng)信息流編碼成一增強(qiáng)編碼比特流，并將所述基礎(chǔ)編碼比特流與所述增強(qiáng)編碼比特流組合成一輸出比特流。
5.如權(quán)利要求4所述的方法，其特征在于，所述輸出比特流包括一所述增強(qiáng)編碼比特流和所述基礎(chǔ)編碼比特流的交織流。
6.如權(quán)利要求4所述的方法，其特征在于，所述輸出比特流包括一所述增強(qiáng)編碼比特流和所述基礎(chǔ)編碼比特流的串接流。
7.如權(quán)利要求6所述的方法，其特征在于，所述增強(qiáng)編碼比特流跟隨在所述基礎(chǔ)編碼比特流之后。
8.如權(quán)利要求4所述的方法，其特征在于，所述輸出比特流包括用于所述增強(qiáng)編碼比特流的第一文件，以及用于所述基礎(chǔ)編碼比特流的第二文件。
9.如權(quán)利要求1所述的方法，其特征在于，所述色彩信息包括色度塊。
10.如權(quán)利要求1所述的方法，其特征在于，所述第一色彩空間采樣格式包括YUV422格式，所述第二色彩空間采樣格式包括YUV420格式。
11.一種具有計算機(jī)可執(zhí)行指令的計算機(jī)可讀媒質(zhì)，其特征在于，所述指令包括將第一多媒體格式轉(zhuǎn)換成一基礎(chǔ)流以及一增強(qiáng)流，所述基礎(chǔ)流對應(yīng)于另一多媒體格式，所述增強(qiáng)流包括當(dāng)其與所述基礎(chǔ)流組合時重建所述第一多媒體格式的信息。
12.如權(quán)利要求11所述的計算機(jī)可讀媒質(zhì)，其特征在于，所述多媒體格式包括一編碼視頻格式。
13.如權(quán)利要求11所述的計算機(jī)可讀媒質(zhì)，其特征在于，將所述第一多媒體格式轉(zhuǎn)換成所述基礎(chǔ)流和所述增強(qiáng)流包括在所述基礎(chǔ)流中儲存與所述其它多媒體格式相關(guān)聯(lián)的色度塊、及在所述增強(qiáng)流中儲存不與所述其它多媒體格式相關(guān)聯(lián)的色度塊。
14.如權(quán)利要求11所述的計算機(jī)可讀媒質(zhì)，其特征在于，它還包括將所述基礎(chǔ)流編碼成一基礎(chǔ)編碼比特流、將所述增強(qiáng)流編碼成一增強(qiáng)編碼比特流、以及將所述基礎(chǔ)編碼比特流與所述增強(qiáng)編碼比特流組合成一輸出比特流。
15.如權(quán)利要求14所述的計算機(jī)可讀媒質(zhì)，其特征在于，所述輸出比特流包括一所述增強(qiáng)編碼比特流和所述基礎(chǔ)編碼比特流的交織流。
16.如權(quán)利要求14所述的計算機(jī)可讀媒質(zhì)，其特征在于，所述輸出比特流包括一所述增強(qiáng)編碼比特流和所述基礎(chǔ)編碼比特流的串接流。
17.如權(quán)利要求16所述的計算機(jī)可讀媒質(zhì)，其特征在于，所述增強(qiáng)編碼比特流跟隨在所述基礎(chǔ)編碼比特流之后。
18.如權(quán)利要求14所述的計算機(jī)可讀媒質(zhì)，其特征在于，所述輸出比特流包括用于所述增強(qiáng)編碼比特流的第一文件、及用于所述基礎(chǔ)編碼比特流的第二文件。
19.一種裝置，其特征在于，它包括一基礎(chǔ)編碼器，用于對依照第一色彩空間采樣格式來格式化的基礎(chǔ)信息流進(jìn)行編碼；以及一增強(qiáng)編碼器，用于對包含在所述第一色彩空間采樣格式中不具備的色彩空間信息的增強(qiáng)信息流進(jìn)行編碼。
20.如權(quán)利要求19所述的裝置，其特征在于，所述增強(qiáng)編碼器使用與所述基礎(chǔ)信息流有關(guān)的空間信息對所述增強(qiáng)信息流進(jìn)行編碼。
21.如權(quán)利要求19所述的裝置，其特征在于，它還包括一輸出流形成器，它將所述已編碼的增強(qiáng)信息流和所述已編碼的基礎(chǔ)信息流組合成一輸出流。
22.如權(quán)利要求21所述的裝置，其特征在于，所述輸出流包括與所述已編碼的基礎(chǔ)信息流交織的所述已編碼的增強(qiáng)信息流。
23.如權(quán)利要求21所述的裝置，其特征在于，所述輸出流包括串接到所述已編碼的基礎(chǔ)信息流上的所述已編碼的增強(qiáng)信息流。
24.如權(quán)利要求21所述的裝置，其特征在于，所述輸出流包括包含所述已編碼的增強(qiáng)信息流的第一文件、及包含所述已編碼的基礎(chǔ)信息流的第二文件。
25.如權(quán)利要求24所述的裝置，其特征在于，所述裝置包括數(shù)碼攝像機(jī)。
26.一種裝置，其特征在于，它包括一基礎(chǔ)解碼器，用于解碼與第一色彩空間采樣格式相關(guān)聯(lián)的已編碼基礎(chǔ)比特流；以及一增強(qiáng)解碼器，用于解碼包含在所述第一色彩空間采樣格式中不可用的色彩空間信息的已編碼的增強(qiáng)比特流。
27.如權(quán)利要求26所述的裝置，其特征在于，所述增強(qiáng)解碼器使用涉及所述已編碼的基礎(chǔ)比特流的空間信息解碼所述已編碼的增強(qiáng)比特流。
28.如權(quán)利要求26所述的裝置，其特征在于，它還包括一合成器，用于從所述已編碼的增強(qiáng)比特流和所述已編碼的基礎(chǔ)比特流生成第二色彩空間采樣格式。
29.如權(quán)利要求26所述的裝置，其特征在于，所述裝置包括機(jī)頂盒。
30.一種裝置，其特征在于，它包括一用于接收視頻信息的輸入端；一用于依照一色彩空間采樣格式來格式化所述視頻信息的一部分、并依照另一格式來格式化所述視頻信息的另一部分的電路；以及一用于儲存所述視頻信息的所述部分以及所述視頻信息的所述其它部分的電路。
31.如權(quán)利要求30所述的裝置，其特征在于，用于格式化的所述電路包括可編程電路。
32.如權(quán)利要求30所述的裝置，其特征在于，用于儲存的所述電路包括可編程電路。
33.如權(quán)利要求30所述的裝置，其特征在于，所述輸入包括傳感器。
34.如權(quán)利要求30所述的裝置，其特征在于，所述輸入包括至少一個CCD陣列。
全文摘要
一種提供一個或多個視頻格式之間轉(zhuǎn)換而不使用代碼轉(zhuǎn)換器的編碼框架。包括依照第一色彩空間采樣格式來格式化的色彩信息的視頻信息流被拆分成一基礎(chǔ)流和一增強(qiáng)流?；A(chǔ)流依照第二色彩空間采樣格式被格式化。增強(qiáng)流包括當(dāng)與基礎(chǔ)流組合時重建第一格式的增強(qiáng)信息。在編碼過程中，增強(qiáng)流可使用與基礎(chǔ)信息流有關(guān)的空間信息來編碼。已編碼的基礎(chǔ)流和已編碼的增強(qiáng)流的輸出流可以是交織的、串接的，或包括用于已編碼的基礎(chǔ)流和已編碼的增強(qiáng)流的獨(dú)立的文件。
文檔編號H04N1/64GK1627830SQ20041009749
公開日2005年6月15日 申請日期2004年11月29日 優(yōu)先權(quán)日2003年12月10日
發(fā)明者吳楓, 沈國斌, 袁祿軍, 李世鵬 申請人:微軟公司