專利名稱：利用視頻嵌入式縮放技術(shù)的降低復(fù)雜度的完全分辨率視頻解碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻壓縮技術(shù)，更確切地講，涉及到一種使用嵌入式縮放和外部比例變換技術(shù)相結(jié)合的解碼技術(shù)，以便達(dá)到降低譯碼的計(jì)算復(fù)雜性之目的。
運(yùn)用離散預(yù)弦變換(DCT)的視頻壓縮是一種在諸多國(guó)際標(biāo)準(zhǔn)中如MPEG-1、MPEG-2、MPEG-4、H.262已經(jīng)被采用的技術(shù)。其中MPEG-2在DVD、衛(wèi)星DTV廣播和美國(guó)數(shù)字電視ATSC標(biāo)準(zhǔn)中使用的最為廣泛。


圖1表示MPEG視頻譯碼器的一個(gè)實(shí)例。MPEG視頻譯碼器是基于MPEG的消費(fèi)視頻產(chǎn)品的重要組成部分。這類產(chǎn)品中，期望在保證視頻質(zhì)量的同時(shí)盡量降低譯碼器的復(fù)雜性。
本發(fā)明涉及對(duì)視頻比特流在使用嵌入式縮放的第一分辨率上進(jìn)行譯碼，并結(jié)合使用外部比例變換功能，從而達(dá)到降低譯碼的計(jì)算復(fù)雜性之目的。根據(jù)此發(fā)明，殘留誤差幀在第二個(gè)較低的分辨率上生成。運(yùn)動(dòng)補(bǔ)償幀也同樣在第二個(gè)較低的分辨率上生成。其后，將殘留誤差幀和運(yùn)動(dòng)補(bǔ)償幀相組合生成視頻幀。此外，視頻幀擴(kuò)展到第一分辨率。
根據(jù)本發(fā)明，擴(kuò)展可以選擇包括重復(fù)像素值和線性插補(bǔ)等的一系列技術(shù)之一來(lái)完成。而且，擴(kuò)展是在與縮小殘留誤差幀的相同方向上進(jìn)行的。在此發(fā)明所列舉的一個(gè)實(shí)例中，擴(kuò)展是在水平方向上進(jìn)行的。
在此涉及的有關(guān)圖表，通篇所對(duì)應(yīng)各部分的參照數(shù)字均是統(tǒng)一的圖1為MPEG譯碼器的框圖。
圖2為根據(jù)本發(fā)明的譯碼器的一個(gè)實(shí)例框圖。
圖3為根據(jù)本發(fā)明的譯碼器的另一個(gè)實(shí)例框圖，以及圖4為根據(jù)本發(fā)明所構(gòu)成的系統(tǒng)的一個(gè)實(shí)例框圖。
本發(fā)明涉及結(jié)合使用外部比例變換技術(shù)的嵌入式縮放的譯碼，以達(dá)到降低譯碼的計(jì)算復(fù)雜性之目的。根據(jù)本發(fā)明，視頻比特流使用嵌入式縮放以降低的輸出分辨率被譯碼。然后利用外部比例變換技術(shù)將視頻輸出提高到顯示分辨率。由于嵌入式縮放可以在較低分辨率上執(zhí)行反向離散余弦變換(IDCT)和運(yùn)動(dòng)補(bǔ)償(MC)，因此，可以降低譯碼的總體計(jì)算復(fù)雜性。
圖2表示根據(jù)本發(fā)明的一種譯碼器的實(shí)例?？梢钥闯觯g碼器有一個(gè)由可變長(zhǎng)度譯碼器(VLD)2、反向掃描和反向量化(ISIQ)/濾波塊14，8×8IDCT塊16以及抽樣塊18構(gòu)成的第一個(gè)通道。
在運(yùn)行中，VLD2將對(duì)輸入的視頻比特流譯碼，從而生成運(yùn)動(dòng)向量(MV)和DCT系數(shù)。然后，ISIQ/濾波塊14反向掃描并反向量化從VLD2接收的DCT系數(shù)。在MPBG-2中，執(zhí)行反向“之”字形掃描。最后，IDCT/濾波塊14執(zhí)行濾波，從而消除DCT系數(shù)中的高頻率部分。
在這個(gè)實(shí)施例中，8×8IDCT塊16以8×8的塊執(zhí)行反向離散變換，生成像素值塊。在執(zhí)行IDCT之后，抽樣模塊18以預(yù)先確定的采樣率對(duì)8×8IDCT模塊16的輸出采樣，以便降低要被譯碼的視頻幀的分辨率。根據(jù)本發(fā)明，抽樣模塊18可以在水平、垂直方向上或兩個(gè)方向上對(duì)像素值采樣。
根據(jù)所需要的內(nèi)部變換水平來(lái)選擇抽樣塊18的采樣率。在這個(gè)實(shí)施例中，因?yàn)槭褂昧?/4像素MC單元，為了提供“1/2”的輸出分辨率，因此，采樣率為“2”。但是，根據(jù)本發(fā)明，也可以選擇其它采樣率，以便得到不同的分辨率，如“1/4”或“1/8”。在抽樣模塊18輸出端，生成分辨率降低的已被譯碼的I幀和殘留誤差幀?？梢钥闯觯@些幀送到加法器8的一側(cè)。
正如可以進(jìn)一步看到的，譯碼器還包括一個(gè)由VLD2、縮小單元20、1/4像素MC22單元和幀存儲(chǔ)器12構(gòu)成的第二通道。在運(yùn)行過(guò)程中，縮小單元20按在第一個(gè)通道的縮小值按比例縮小由VLD2得到的運(yùn)動(dòng)向量(MV)的。這使運(yùn)動(dòng)補(bǔ)償可以在降低的分辨率上實(shí)現(xiàn)，從而與在第一通道生成的幀相匹配。在這個(gè)實(shí)施例中，運(yùn)動(dòng)向量MV按系數(shù)“2”比例減少，從而與抽樣塊18的采樣率相匹配。
根據(jù)按比例減小的MV，1/4像素MV單元22對(duì)儲(chǔ)存在幀12中的先前幀進(jìn)行運(yùn)動(dòng)補(bǔ)償。在這個(gè)例子中，因?yàn)镸V已經(jīng)按系數(shù)“2”比例減小，所以運(yùn)動(dòng)補(bǔ)償將在“1/4”分辨率上執(zhí)行。在1/4像素MV單元22的輸出端，生成了分辨率已經(jīng)降低的運(yùn)動(dòng)補(bǔ)償幀。可以看出的，這些幀送到加法器8的另一側(cè)。
在運(yùn)行過(guò)程中，加法器8組合了來(lái)自第一個(gè)和第二通道的幀，生成分辨率降低的視頻幀?？梢钥闯?，從加法器8輸出的視頻幀被送到外部擴(kuò)展單元24。由于擴(kuò)展單元24被置于譯碼環(huán)路外，因此它是外部的。擴(kuò)展單元24將視頻幀的分辨率提高到全顯示分辨率。分辨率的提高與譯碼環(huán)路內(nèi)發(fā)生的分辨率的下降成比例。在這個(gè)實(shí)施例中，擴(kuò)展單元24使視頻幀的分辨率按系數(shù)“2”提高。
此外，擴(kuò)展單元24可以根據(jù)內(nèi)部的縮小情況在水平、垂直方向上或同時(shí)在這兩個(gè)方向上提高分辨率。例如，如果比特流原來(lái)的分辨率為“720×480”，在內(nèi)部縮小處理時(shí)降低至“360×480”，則擴(kuò)展單元24應(yīng)該在水平方向上將分辨率從“360×480”提高到“720×480”。
圖3表示了根據(jù)此發(fā)明的另一種譯碼器的實(shí)例。除了第一個(gè)通道外，圖2和圖1的譯碼器相同?？梢钥闯觯诒緦?shí)例中，第一個(gè)通道包括VLD2、ISIQ/濾波/調(diào)整比例塊14和4×4IDCT塊26。所以，在本實(shí)例中，IDCT是在降低的分辨率上執(zhí)行的，從而進(jìn)一步減少了解碼的計(jì)算復(fù)雜性。
在運(yùn)行過(guò)程中，ISIQ/濾波/調(diào)整比例塊40反向掃描并反向量化從VLD2接收到的DCT系數(shù)。IDCT/濾波/調(diào)整比例模塊40也執(zhí)行濾波從而將高頻從DCT系數(shù)中消除。但是，在這個(gè)實(shí)例中，IDCT/濾波/調(diào)整比例塊40同時(shí)也對(duì)從VLD2接收的DCT系數(shù)進(jìn)行縮小。在本實(shí)例中，IDCT/濾波/調(diào)整比例塊40將從VLD2接收到的8×8DCT塊縮小為4×4塊。
然后，4×4IDCT塊26對(duì)4×4塊執(zhí)行反向離散變換，從而生成像素值塊。這時(shí)，4×4IDCT塊26的輸出被送到加法器8的輸入端之一。
正如上一個(gè)例子，加法器8將來(lái)自第一個(gè)和第二通道的幀組合起來(lái)生成分辨率降低的視頻幀。如前所述，第一個(gè)通道2、40、26生成了解碼的I幀和殘留誤差幀，而第二通道12，20，22生成運(yùn)動(dòng)補(bǔ)償幀。擴(kuò)展單元24將視頻幀的分辨率提高至顯示的全分辨率。在本實(shí)例中，擴(kuò)展器也是同時(shí)在水平和垂直兩個(gè)方向上按系數(shù)“2”提高分辨率。
根據(jù)本發(fā)明，圖2-3的譯碼器可以通過(guò)硬件、軟件或二者結(jié)合的方式實(shí)現(xiàn)。如果通過(guò)軟件實(shí)現(xiàn)，推薦擴(kuò)展器24使用簡(jiǎn)單的擴(kuò)展技術(shù)，如重復(fù)像素值或利用線性內(nèi)插。在其它具體實(shí)施方案中，擴(kuò)展器24也可以硬件實(shí)現(xiàn)，因此可以使用更復(fù)雜的技術(shù)。例如，在PHILIPSTRIEMEDIA芯片中，用一個(gè)專用的協(xié)處理器來(lái)實(shí)現(xiàn)縮放。這種協(xié)處理器使用可編程的5抽頭濾波器配置，像其中附加素值基于5個(gè)像素的加權(quán)平均值被計(jì)算。
所以，可以使用該專用處理器實(shí)現(xiàn)擴(kuò)展單元24，而譯碼器的其余部分可以在軟件中實(shí)現(xiàn)，并可以在PHILIPS TRIEMEDIA處理器的CPU內(nèi)核上運(yùn)行。
圖4表示了使用嵌入式縮放和外部擴(kuò)展功能相結(jié)合的解碼技術(shù)的系統(tǒng)的一個(gè)例子。例如，本系統(tǒng)可以代表電視、機(jī)頂盒、臺(tái)式計(jì)算機(jī)、膝上或掌上計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、視頻/圖像存儲(chǔ)設(shè)備如盒式錄像機(jī)(VCR)、數(shù)字視頻錄像機(jī)(DVR)、TiVO設(shè)備等，以及這些設(shè)備的部分或者它們和其它設(shè)備的組合。該系統(tǒng)包括一個(gè)或多個(gè)視頻源28，一個(gè)或多個(gè)輸入/輸出設(shè)備36，一個(gè)處理器30，一個(gè)存儲(chǔ)器32和一個(gè)顯示器38。
視頻/圖像源28可以是例如電視接收機(jī)、VCR或其它視頻/圖像存儲(chǔ)設(shè)備。視頻/圖像源28也可以是從一個(gè)或多個(gè)服務(wù)器接收視頻信號(hào)的一個(gè)或多個(gè)網(wǎng)絡(luò)連接，例如因特網(wǎng)這樣的全球計(jì)算機(jī)通信網(wǎng)、廣域網(wǎng)、城市網(wǎng)、城域網(wǎng)、地面廣播網(wǎng)、有線網(wǎng)、衛(wèi)星網(wǎng)、無(wú)線網(wǎng)、電話網(wǎng)，以及這些網(wǎng)的一部分或者它們和其它類型網(wǎng)絡(luò)的組合。
輸入/輸出設(shè)備36、處理器30和存儲(chǔ)器32通過(guò)通信媒體34進(jìn)行通信。通信媒體34可以是比如總線、通信網(wǎng)、一個(gè)或多個(gè)內(nèi)部電路連接、電路板或其它設(shè)備，以及這些設(shè)備的部分或它們與其它通信媒體的組合。從視頻/圖像源28接收到的輸入視頻數(shù)據(jù)在處理器30中按照存儲(chǔ)在存儲(chǔ)器32中的一個(gè)或多個(gè)軟件程序進(jìn)行處理，以生成視頻/圖像輸出到顯示器38。
在一個(gè)實(shí)施例中，使用嵌入式縮放和外部比例變換功能相結(jié)合的解碼技術(shù)是通過(guò)由系統(tǒng)執(zhí)行的計(jì)算機(jī)可讀代碼實(shí)現(xiàn)的。代碼可以儲(chǔ)存在存儲(chǔ)器32中或從儲(chǔ)存媒體如CS-ROM或軟盤讀出/下載。在其它實(shí)施例中，可以使用硬件電路代替或與軟件指令結(jié)合來(lái)實(shí)現(xiàn)本發(fā)明。
上面我們用幾個(gè)特例介紹了此發(fā)明，但應(yīng)該認(rèn)識(shí)到，不能認(rèn)為此發(fā)明局僅限于在此列舉的實(shí)例。例如，我們也利用MPEG-2框架介紹此發(fā)明。但是，必須注意的是，在此介紹的理念和方法對(duì)任何DCT/運(yùn)動(dòng)預(yù)測(cè)方案也是適用的。就更普遍的意義而言，圖片類型有不同的相互依賴性時(shí)任何基于幀的視頻壓縮技術(shù)都是適用的。因此，本發(fā)明應(yīng)涵蓋相關(guān)的各種結(jié)構(gòu)和改進(jìn)，包括所附權(quán)利要求的精神實(shí)質(zhì)和范圍。
權(quán)利要求
1.用于以第一分辨率解碼視頻比特流的方法，包括以下步驟在第二較低分辨率上生成殘留誤差幀；在第二較低分辨率生成運(yùn)動(dòng)補(bǔ)償幀；組合殘留誤差幀和運(yùn)動(dòng)補(bǔ)償幀，以生成視頻幀；將視頻幀提高到第一分辨率。
2.權(quán)利要求1的方法，其中生成殘留誤差幀包括執(zhí)行8×8逆離散變換，從而生成像素值。
3.權(quán)利要求2的方法，其中以預(yù)先確定的采樣率對(duì)像素值采樣。
4.權(quán)利要求1的方法，其中生成殘留誤差幀包括執(zhí)行完成4×4逆離散變換。
5.權(quán)利要求1的方法，其中生成運(yùn)動(dòng)補(bǔ)償幀包括以預(yù)先確定的系數(shù)縮小運(yùn)動(dòng)向量，從而生成按比例運(yùn)動(dòng)向量。
6.權(quán)利要求5的方法，其中運(yùn)動(dòng)補(bǔ)償以成比例的運(yùn)動(dòng)向量為基礎(chǔ)進(jìn)行。
7.權(quán)利要求1的方法，其中通過(guò)由重復(fù)像素值和線性插值法構(gòu)成的一組技術(shù)中所選擇一種方法實(shí)現(xiàn)提高。
8.權(quán)利要求1的方法，其中在水平方向?qū)崿F(xiàn)提高。
9.權(quán)利要求1的方法，其中在殘留誤差幀分辨率減小的同一方向上實(shí)現(xiàn)提高。
10.一種存儲(chǔ)媒體包括用于第一分辨率視頻比特串譯碼的碼，包括用于生成第二較低分辨率的殘留誤差幀的代碼；用于生成第二較低分辨率的運(yùn)動(dòng)補(bǔ)償幀的代碼；用于組合殘留誤差幀和運(yùn)動(dòng)補(bǔ)償幀從而生成視頻幀的代碼；以及將視頻幀擴(kuò)展到第一分辨率的代碼。
11.一種用于以第一分辨率解碼視頻比特串的設(shè)備，包括生成第二較低分辨率的殘留誤差幀的裝置；生成第二較低分辨率的運(yùn)動(dòng)補(bǔ)償幀的裝置；組合殘留誤差幀和運(yùn)動(dòng)補(bǔ)償幀從而生成視頻幀的裝置；以及將視頻幀的分辨率提高到第一分辨率的裝置。
12.一種對(duì)第一分辨率解碼視頻比特流的裝置，包括生成第二較低的分辨率的殘留誤差幀的第一個(gè)通道；生成第二較低的分辨率的運(yùn)動(dòng)補(bǔ)償幀的第二通道；合并殘留誤差幀和運(yùn)動(dòng)補(bǔ)償幀，從而生成視頻幀的加法器；以及將視頻幀的分辨率從第二分辨率提高到第一分辨率的擴(kuò)展部件。
全文摘要
本發(fā)明主要涉及利用嵌入式縮放技術(shù)以及外部比例變換功能對(duì)第一分辨率視頻流進(jìn)行譯碼，從而達(dá)到簡(jiǎn)化譯碼的計(jì)算復(fù)雜性的目的。根據(jù)本發(fā)明，生成第二較低分辨率的殘留誤差幀。運(yùn)動(dòng)補(bǔ)償也在第二較低的分辨率生成。然后，殘留誤差幀和運(yùn)動(dòng)補(bǔ)償幀結(jié)合起來(lái)生成視頻幀。最后，將頻幀的分辨率按比例提高到第一分辨率。
文檔編號(hào)H04N7/26GK1535538SQ02814790
公開日2004年10月6日 申請(qǐng)日期2002年6月25日 優(yōu)先權(quán)日2001年7月24日
發(fā)明者藍(lán)澤華, 鐘準(zhǔn) 申請(qǐng)人:皇家菲利浦電子有限公司