專利名稱：先進(jìn)電視中時(shí)域和分辨率的分層方法
技術(shù)領(lǐng)域：
本發(fā)明涉及本發(fā)明一般涉及電子通信系統(tǒng)，并具體涉及一種具有壓縮圖象幀的時(shí)域(Temporal)和分辨率分層的先進(jìn)電子通信系統(tǒng)。
2相關(guān)技術(shù)說明美國目前使用NTSC標(biāo)準(zhǔn)進(jìn)行電視傳輸。不過，已經(jīng)計(jì)劃用一種先進(jìn)電視標(biāo)準(zhǔn)來代替NTSC標(biāo)準(zhǔn)。例如，到這個(gè)文件為止，先進(jìn)電視業(yè)務(wù)顧問委員會(huì)(ACATS)正在計(jì)劃使U.S采用數(shù)字標(biāo)準(zhǔn)的清晰度和24Hz、30Hz、60Hz以及60Hz隔行掃描的先進(jìn)電視格式。顯然這些幀頻是想持續(xù)(并且因此相兼容)現(xiàn)存的60Hz(或59.94Hz)的NTSC電視顯示率。顯然，當(dāng)顯示具有每秒24幀的時(shí)域速率(fps)的電影時(shí)，則指定“3-2下降”(3-2Pulldown)用于在60Hz顯示裝置上顯示。盡管，ACATS提供一種可從可能的制式中選擇的菜單，每個(gè)菜單只編碼或解碼單一的分辨率和幀頻。由于這些制式的顯示或運(yùn)動(dòng)速率相互之間不是整數(shù)倍地相關(guān)，因此從一個(gè)向另一個(gè)轉(zhuǎn)換是很困難的。
另外，目前的ACATS建議并沒有提供一種與計(jì)算機(jī)顯示相兼容的關(guān)鍵性能力。這些所建議的圖象運(yùn)動(dòng)速率是基于可追溯至本世紀(jì)初期的數(shù)據(jù)的歷史速率。如果打算進(jìn)行“凈化-打算”，則這些數(shù)據(jù)未必會(huì)被選中。在計(jì)算機(jī)工業(yè)中，顯示裝置在近十年中采用了任意的速率，在70至80Hz范圍中的速率已被證明是最優(yōu)的，72和75Hz是最常用的速率。遺憾的是ACATS所建議的30和60Hz速率不能與72或75Hz合作，結(jié)果損害了時(shí)域特性。
另外，由于在高幀頻處規(guī)定要有1000線以上的分辨率，因此本領(lǐng)域的技術(shù)人員建議采用幀隔行掃描，但是基于該理論，在常規(guī)6MHz廣播電視頻道的有效的18-19M比特/秒之內(nèi)這種圖象是不能被壓縮的。
如果能采用一種單一信號(hào)制式，它包含所有希望的標(biāo)準(zhǔn)和高清晰度分辨率，則這是人們所特別希望的。不過，為了在常規(guī)6MHz廣播電視頻道的帶寬限制之內(nèi)，就需要幀頻(時(shí)域)和分辨率(空間域)都被壓縮(或“可伸縮性”)。一種用來提供如此可測量性的具體方法是MPEG-2標(biāo)準(zhǔn)。不幸的是，MPEG-2內(nèi)的規(guī)定的時(shí)域和空域可伸縮性特征并不足夠有效地適應(yīng)U.S先進(jìn)電視的需要。因此，針對(duì)基于時(shí)域(幀頻)和空域(分辨率)分層的U.S先進(jìn)電視的目前的ACATS建議是無效的，并因此需要獨(dú)立的制式。
本發(fā)明克服該ACATS建議的這些和其它問題。
發(fā)明概要本發(fā)明提供一種圖象壓縮的方法和裝置，在高質(zhì)量的高幀頻可證明實(shí)現(xiàn)好于1000線分辨率圖象壓縮。而且，在一個(gè)常規(guī)電視廣播頻道的有效帶寬之內(nèi)還能實(shí)現(xiàn)以這種分辨率以這種高幀頻的時(shí)域和分辨率的可測量性。該發(fā)明的技術(shù)有效地實(shí)現(xiàn)由ACATS為先進(jìn)電視所建議的壓縮率的兩倍。
圖象內(nèi)容最好是以72fps的初始或基本幀頻獲取。然后產(chǎn)生一個(gè)MPEG-2數(shù)據(jù)流，它包括(1)一個(gè)基層，最好只使用MPEG-2P幀編碼，包括一個(gè)低分辨率(例如，1024×512像素)，低幀頻(24或36Hz)比特流；(2)一個(gè)可任選的基礎(chǔ)分辨率時(shí)間增強(qiáng)層，只使用MPEG-2B幀來編碼，包括一個(gè)低分辨率(例如，1024×512像素)，高幀頻(72Hz)比特流；(3)一個(gè)可任選的基礎(chǔ)時(shí)域高分辨率層，最好只使用MPEG-2P幀優(yōu)先地編碼，包括一個(gè)高分辨率(例如2K×2K像素)，低幀頻(24×36Hz)比特流；(4)一個(gè)可任選的高分辨率時(shí)域增強(qiáng)層，只使用MPEG-2B幀來編碼，包括一個(gè)高分辨率(例如，2K×1K像素)，高幀頻(72Hz)比特流。
本發(fā)明提供能夠顯著地改善ACATS計(jì)劃的一些關(guān)鍵技術(shù)屬性，并包括用單一分層的分辨率和幀頻代替多個(gè)的分辨率和幀頻；為了在一個(gè)6MHz電視頻道內(nèi)以高幀頻(72Hz)實(shí)現(xiàn)好于2兆像素圖象的1000線分辨率，不需要隔行掃描；通過72fps的主幀頻的使用可與計(jì)算機(jī)顯示相兼容；以及，比目前針對(duì)先進(jìn)電視的未分層的ACATS制式計(jì)劃更強(qiáng)的穩(wěn)健性，因?yàn)楫?dāng)碰到“重點(diǎn)”圖象內(nèi)容時(shí)，所有的有效比特被分配至一個(gè)較低的分辨率基層。
本發(fā)明的優(yōu)選實(shí)施例的細(xì)節(jié)是由下面的附圖和說明書來體現(xiàn)的。對(duì)于本領(lǐng)域技術(shù)人員來說一旦了解了本發(fā)明的這些細(xì)節(jié)，則許多附加創(chuàng)新和改變將變得很顯然。
附圖的簡要說明

圖1是表示用于使24fps和36fps內(nèi)容以60Hz顯示的下降速率(pulldown rate)的一個(gè)時(shí)序圖。
圖2是一個(gè)第一優(yōu)選的MPEG-2編碼圖。
圖3是一個(gè)第二優(yōu)選的MPEG-2編碼圖。
圖4是表示按照本發(fā)明的優(yōu)選實(shí)施例的時(shí)域?qū)咏獯a的方框圖。
圖5是表示以60Hz隔行掃描輸入至一個(gè)36Hz和72Hz都能輸出的一個(gè)轉(zhuǎn)換器的一個(gè)方框圖。
圖6是表示用于24或36Hz的一個(gè)基礎(chǔ)MPEG-2層的“主模板”(master template)的一個(gè)框圖。
圖7是示出利用MPEG-2使用分級(jí)分辨率可測量性的一個(gè)基礎(chǔ)分辨率模板的增強(qiáng)的一個(gè)框圖。
圖8是示出優(yōu)選的分層分辨率編碼過程的一個(gè)框圖。
圖9是示出優(yōu)選的分層分辨率解碼過程的一個(gè)框圖。
圖10是示出按照本發(fā)明的用于一個(gè)解碼器的分辨率和時(shí)域可測量性的一個(gè)組合的一個(gè)方框圖。
發(fā)明的詳細(xì)說明在各種圖中相同的參考數(shù)字表示相同的單元。通過本說明書，所示出的優(yōu)選實(shí)施例和例子應(yīng)該被當(dāng)做范例看待，而非對(duì)本發(fā)明的限制。一個(gè)時(shí)域速率系列的目的經(jīng)過考慮了現(xiàn)有技術(shù)的問題以后，并采用本發(fā)明，為了規(guī)定一個(gè)未來數(shù)字電視系統(tǒng)而定義了下面的目的·最佳地顯示高分辨率傳統(tǒng)的24幀/每秒電影，·平滑運(yùn)動(dòng)獲取快速移動(dòng)圖象類型，諸如體育運(yùn)動(dòng)，·既可以在現(xiàn)有的模擬NTSC顯示裝置也可以在以72或75Hz上工作的計(jì)算機(jī)兼容顯示裝置上平滑顯示體育運(yùn)動(dòng)和相似的圖象。
·諸如新聞和室內(nèi)劇，較少有快速移動(dòng)圖象，對(duì)它進(jìn)行適當(dāng)?shù)牡行У倪\(yùn)動(dòng)獲取。
·經(jīng)一個(gè)轉(zhuǎn)換盒到現(xiàn)有的NTSC顯示裝置上適當(dāng)?shù)仫@示所有新的數(shù)字型圖象。
·在計(jì)算機(jī)兼容顯示裝置上高質(zhì)量地顯示所有新數(shù)字型的圖象。
·如果60Hz數(shù)字標(biāo)準(zhǔn)或高分辨率顯示裝置進(jìn)入市場，也能在這些顯示裝置上適當(dāng)或高質(zhì)量地顯示出來。
由于在除了24Hz的電影速率以外的任何速率60Hz和72/75Hz是根本上不兼容的，如果消取72/75或者消取60作為顯示速率，則這將是最好的結(jié)局。由于72或75Hz是N.I.I.(National InfornationInfrastructure)和計(jì)算機(jī)應(yīng)用所需的幀頻，因此，去掉60Hz幀頻做為根本的廢除將是最面向未來的。不過，在廣播和電視工業(yè)中有許多競爭，并且存在一個(gè)很大的需求量，即，任何新數(shù)字電視基礎(chǔ)是基于60Hz(和30Hz)的。這就導(dǎo)致在電視、廣播和計(jì)算機(jī)工業(yè)之間激烈的爭辨。
另外，在廣播和電視工業(yè)中的一些利益所堅(jiān)持的隔行掃描60Hz格式加寬了與計(jì)算機(jī)顯示需求的之間的距離。由于數(shù)字電視系統(tǒng)的類似計(jì)算機(jī)應(yīng)用需要運(yùn)行掃描顯示，因此當(dāng)顯示隔行掃描信號(hào)時(shí)就需要去隔行掃描器(de-interlacer)。由于在每個(gè)這種接收裝置中都將需要去隔行掃描器，因此存在關(guān)于去隔行掃描器的造價(jià)和質(zhì)量的很大爭論。除了去隔行掃描以外，幀頻轉(zhuǎn)換也影響成本和質(zhì)量。例如，NTSC-PAL和PAL-NTSC轉(zhuǎn)換器依舊是非常昂貴的并且轉(zhuǎn)換操作對(duì)于很多公用型景物仍是不可靠的。由于隔行掃描的課目是一個(gè)復(fù)雜并且疑難的主題，并且為了試圖論述該問題和時(shí)域速率的課目，因此本發(fā)明是在一個(gè)沒有隔行掃描的數(shù)字電視標(biāo)準(zhǔn)的方面上進(jìn)行介紹的。
選擇最佳時(shí)域速率差頻問題(beat Droblem)。如果生成具有等于該顯示速率(分別是72或75Hz)的一個(gè)運(yùn)動(dòng)速率的攝像或者模擬的圖象，則將會(huì)在72或75Hz顯示裝置上產(chǎn)生最佳顯示，并且反之亦然。同樣，在一個(gè)60Hz顯示裝置上的最佳運(yùn)動(dòng)保真度將來自于一個(gè)60Hz攝像或模擬圖象。用60Hz顯示裝置來顯示72Hz或75Hz的發(fā)生幀頻，結(jié)果分別地導(dǎo)致12Hz或15Hz的差頻，經(jīng)過運(yùn)動(dòng)分解，可以消除這種差拍，但是運(yùn)動(dòng)分解是昂貴的并且不精確的，經(jīng)常導(dǎo)致可視的人工痕跡和時(shí)域的混疊。在缺少運(yùn)動(dòng)分解的情況下，差頻支配著可察覺的顯示速率，使12或15差拍出現(xiàn)以提供比24Hz還低的低精確運(yùn)動(dòng)。這樣，24Hz構(gòu)成一個(gè)在60與72Hz之間的固有的時(shí)域公分母。盡管75Hz比60Hz有一個(gè)稍高15Hz差拍，其運(yùn)動(dòng)仍然不象24Hz一樣平滑，并且除非24Hz速率提高到25Hz，否則在75Hz和24Hz之間不存在積分關(guān)系。(在歐洲50Hz圖象中，經(jīng)常以25Hz即快4％地放映電影，這就能夠使電影顯示在75Hz顯示裝置上)。
在每個(gè)接收裝置缺少運(yùn)動(dòng)分解的情況下，在72或75Hz顯示裝置上的60Hz運(yùn)動(dòng)，以及在60Hz顯示裝置上的75或72Hz運(yùn)動(dòng)，將比24Hz圖象更不平滑。因此，72/75Hz和60Hz運(yùn)動(dòng)都不適于到達(dá)包括72或75Hz和60Hz顯示裝置的一個(gè)多元顯示總體。
3-2下降(3-2Pulldown)。由于在電視電影(電影至視頻)轉(zhuǎn)換處理過程中，組合了視頻效果的“3-2下降”的使用，使在選擇一個(gè)最佳幀頻過程中出現(xiàn)了另一個(gè)困難。在這樣的轉(zhuǎn)換過程中，該3-2下降模式重復(fù)3次第一幀(或場)，然后重復(fù)2次下一幀，然后重復(fù)3次下一幀，然后重復(fù)2次下一幀，等等。這就是24fps電影在電視上以60Hz(實(shí)際上，對(duì)于NTSC彩色為59.94Hz)顯示的原因。即，在一秒鐘內(nèi)每12對(duì)2幀電影被顯示5次。圖1示出該3-2下降模式。
經(jīng)過某些估算，在視頻上所有電影的大部分具有相當(dāng)大的部分，已經(jīng)以59.94Hz視頻場頻對(duì)這些部分做出調(diào)整以顯示24fps電影。這種調(diào)整包括“掃視和掃描”(pan-and scan)、色校正以及標(biāo)題滾動(dòng)。另外，為了適合在一個(gè)給定的廣播時(shí)刻表之內(nèi)，許多電影是經(jīng)過降低幀或者裁剪場景的開頭和結(jié)尾的時(shí)間調(diào)整的。這些操作使得該3-2下降處理過程不可逆，這是因?yàn)?9.94Hz和24Hz運(yùn)動(dòng)都存在。這使得很難利用MPEG-2標(biāo)準(zhǔn)來壓縮電影。幸運(yùn)的是，這種問題限于現(xiàn)有NTSC-分辨率內(nèi)容，這是因?yàn)椴淮嬖谔嗬?-2下降的較高分辨率數(shù)字電影的文庫。
運(yùn)動(dòng)模糊(motion blur)。為了進(jìn)一步探測發(fā)現(xiàn)一個(gè)高于24Hz的共用時(shí)域速率的問題，注意在運(yùn)動(dòng)圖象的獲取過程中的運(yùn)動(dòng)模糊是很有意義的，在每幀的一部分周期內(nèi)打開攝像傳感器和電影膠片來感測一個(gè)移動(dòng)圖象。在電影攝像機(jī)和許多視頻攝像機(jī)上，這種曝光的周期是可調(diào)的。電影攝像機(jī)需要一段時(shí)間來推進(jìn)電影，并且通常限于只以360度中的約210度，或者58％占空度打開。在具有CCD傳感器的視頻攝像機(jī)上，經(jīng)常需要一部分的幀時(shí)間從傳感器“讀”圖象。這種時(shí)間可以在幀時(shí)間的10％-50％之間變化。在一些傳感器中，在這種讀出時(shí)間內(nèi)，必須使用一個(gè)電子快門來斷開光線。這樣，CCD傳感器的占空度經(jīng)常從50％至90％變化，并且在一些攝像機(jī)中，它是可調(diào)的。如果需要，有時(shí)可以調(diào)整該光快門以減少該占空度。不過，對(duì)于電影和視頻，最常用的傳感器占空度是50％。
優(yōu)選的速率考慮這種問題，可以考慮僅使用來自以60、72或75Hz獲取的圖象序列的一些幀，利用二、三或四等等中的一幀，可以導(dǎo)出表1所示的亞速率速率1/2速率 1/3速率 1/4速率 1/5速率 1/6速率75Hz37.525 18.2515 12.572Hz36 24 18 14.41260Hz30 20 15 12 10表115Hz的速率是在60和75Hz之間的一個(gè)統(tǒng)一速率。12Hz速率是在60和72Hz之間的一個(gè)統(tǒng)一速率。不過，一個(gè)需要大于24Hz的需求取消了這些頻率。24Hz不是共同的，但是3-2下降的使用已經(jīng)逐步被工業(yè)所采納，以便在60Hz顯示裝置上顯示。因而僅僅30、36和37.5Hz是候選速率。由30Hz與75Hz有一個(gè)7.5Hz的差拍。并且與72Hz有一個(gè)6Hz差拍，因此作為一個(gè)候選它是無用的。
當(dāng)在60和72/25Hz顯示裝置上顯示時(shí)，36和37.5Hz的運(yùn)動(dòng)速率成為用于比24Hz內(nèi)容更平滑運(yùn)動(dòng)的首要候選。這些速率都比24Hz快約50％并且更平滑。由于37.5Hz的速率既不適于60也不適于72Hz，因此必須取消它，只剩下36Hz具有所需要的時(shí)域速率特征。(如果電視的60Hz顯示頻率能夠提高4％到62.5Hz，則可以使用37.5Hz的運(yùn)動(dòng)速率。注意60Hz的后面，62.5Hz不常出現(xiàn)-甚至存在用于新電視系統(tǒng)的那些建議的非常過時(shí)的59.94Hz速率。不過，如果將要做出這樣的改變，本發(fā)明的另一方面將適合該37.5Hz速率)。
剩下24、36、60和72Hz的速率做為一個(gè)時(shí)域速率系列的候選。如上所述，72和60Hz的速率不能用做分配速率，這是因?yàn)楫?dāng)在這兩個(gè)速率之間轉(zhuǎn)換時(shí)，比使用24Hz作為分配速率更不平滑。假設(shè)我們正在找一個(gè)比24Hz快的速率。因此，36Hz是用于使用60和72/75Hz顯示裝置的一個(gè)主要的、統(tǒng)一運(yùn)動(dòng)獲取以及圖象分配速率的一個(gè)首要候選。
如上所注，用于24Hz內(nèi)容的該3-2下降模式重復(fù)3次第一幀(或場)、然后重復(fù)兩次下一幀，然后重復(fù)3次下一幀，然后重復(fù)兩次下一幀，等等，每個(gè)模式最佳地應(yīng)該按照一個(gè)2-1-2模式被重復(fù)。這可以由表2和表1中看到。速率 幀數(shù)60H 1234567891024H 111223334436H 1123344566表236Hz和60Hz之間的這種關(guān)系只適用于真正的36Hz內(nèi)容。如果是隔行掃描，則60Hz內(nèi)容可“存儲(chǔ)”在36Hz內(nèi)，但是沒有運(yùn)動(dòng)分解和重建則不能從60Hz中適當(dāng)?shù)厣?6Hz。不過，在為運(yùn)動(dòng)尋找一個(gè)新的速率中，36Hz在60Hz上提供比24Hz所達(dá)到的稍微平滑的運(yùn)動(dòng)，而且在72Hz顯示裝置上提供明顯更好的圖象運(yùn)動(dòng)平滑性能。36Hz是用于一個(gè)主要的、統(tǒng)一運(yùn)動(dòng)獲取以及圖象分配速率的一個(gè)最佳速率，用來與60和72Hz顯示裝置使用，在這種顯示裝置上，顯示比24Hz內(nèi)容更平滑的運(yùn)動(dòng)。
盡管36Hz迎合上述的目標(biāo)，但不是唯一合適的獲取頻率。因?yàn)椴荒軓?0Hz是簡單地提取出36Hz,60Hz不能為獲取提供一個(gè)合適的速率。不過，72Hz可用于獲取，用每隔一幀然后用作36Hz分配的基礎(chǔ)。從使用72Hz內(nèi)容的每隔一幀得到的運(yùn)動(dòng)模糊將是以36Hz獲取的運(yùn)動(dòng)模糊的一半。對(duì)從72Hz的每隔兩幀顯示的運(yùn)動(dòng)模糊的測定表明以24Hz斷續(xù)的選通是不能采用的。不過，使用從72Hz中每隔一幀用于36Hz顯示對(duì)于眼睛來說與36Hz原來的獲取相比并不是不能采用的。
這樣，通過以72Hz獲取，36Hz給予在72Hz顯示裝置上提供非常平滑運(yùn)動(dòng)的機(jī)會(huì)，同時(shí)通過使用72Hz原來獲取內(nèi)容的隔一幀來實(shí)現(xiàn)一個(gè)36Hz分配速率并且然后利用2-1-2下降以導(dǎo)出一個(gè)60Hz圖象，36Hz在60Hz顯示裝置上提供比24Hz內(nèi)容更好的運(yùn)動(dòng)。總之，表3示出依照本發(fā)明的用于獲取和分配的該優(yōu)選的最佳時(shí)域速率。
優(yōu)選的速率獲取分配 最佳顯示裝置可允許的顯示裝置72Hz36Hz+36Hz72Hz 60Hz
表3這也是值得注意的，即利用從一個(gè)72Hz攝像機(jī)的隔一幀的這種技術(shù)可以利用一個(gè)增加的運(yùn)動(dòng)模糊占空度。正常的以72Hz的50％占空度引出一個(gè)以36Hz的25％占空度，這已經(jīng)可論證地被允許了，并且在60Hz和72Hz顯示裝置上再現(xiàn)超過24Hz的一個(gè)顯示的改善。不過，如果把占空度提高至75-90％范圍之內(nèi)，則36Hz取樣就會(huì)更開始接近更通用的50％占空度。例如，通過利用“后備存儲(chǔ)”(backing store)CCD設(shè)計(jì)可以實(shí)現(xiàn)占空比的提高該“后備存儲(chǔ)”CCD設(shè)計(jì)有一個(gè)短的遮光時(shí)間，產(chǎn)生一個(gè)高的占空度?？梢圆捎冒?2CCD復(fù)用設(shè)計(jì)在內(nèi)的其它方法。
修改的MPEG-2壓縮為了有效地存儲(chǔ)和分配，應(yīng)該壓縮具有該優(yōu)選的36Hz的時(shí)域速率的數(shù)字源內(nèi)容。本發(fā)明的該優(yōu)選的壓縮的格式是利用一個(gè)MPEG-2標(biāo)準(zhǔn)的新的變型來實(shí)現(xiàn)的。
MPEG-2基礎(chǔ)。MPEG-2是定義一種視頻語法的一種國際視頻壓縮標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)提供了以更復(fù)雜的編碼的數(shù)據(jù)的方法再現(xiàn)圖象順序的一種有效的途徑。編碼的比特的語言就是該“語法”。例如，一些令牌(token)可以再現(xiàn)一整個(gè)64取樣的塊。MPEG還描述了使已編碼的比特從該復(fù)雜的表示變換成為原來的圖象順序的“原始”制式的一種解碼(重建)過程。例如，在該編碼的比特流中的一個(gè)標(biāo)記符表示后續(xù)的比特是用一種離散余弦變換(DCT)算法還是用一種預(yù)測算法來解碼。這些包括該解碼過程的算法是由MPEG所定義的語義來規(guī)定的。這種語法能用于探測通用的視頻特性，諸如空間冗余、時(shí)間冗余、均勻運(yùn)動(dòng)、空間掩蔽等等。實(shí)際上，MPEG-2定義了一種程序設(shè)計(jì)語言以及一種數(shù)據(jù)格式。一種MPEG-2解碼器必須能夠?qū)σ环N輸入的數(shù)據(jù)流進(jìn)行語法分析和解碼，但是一旦該數(shù)據(jù)流遵守MPEG-2語法，則可以采用廣泛的各種各樣可能的數(shù)據(jù)結(jié)構(gòu)和壓縮技術(shù)。本發(fā)明通過導(dǎo)出用于使用MPEG-2標(biāo)準(zhǔn)的時(shí)域和分辨度換算的一種新的裝置和方法來利用這種靈活性。
MPEG-2使用一種幀內(nèi)和幀間的壓縮的方法。在絕大多數(shù)視頻景物中，當(dāng)在前景中發(fā)生動(dòng)作時(shí)其背景保持相對(duì)地靜止。背景可能會(huì)移動(dòng)，但許多景物是重復(fù)的。MPEG-2通過產(chǎn)生一個(gè)稱為I(即內(nèi)部)幀的參照幀來開始它的壓縮處理。I幀是不必參考其它幀而被壓縮的并且因此包含一個(gè)完整的視頻信息幀。I幀提供入口點(diǎn)進(jìn)入一個(gè)數(shù)據(jù)流用于隨機(jī)存取，但是可以僅僅被中等地壓縮。通常，每隔10至15幀就在比特流中放置表示I幀的數(shù)據(jù)。因此，由于僅僅屬于參考I幀的幀的一小部分與歸類在一起的I幀有差別，因此僅僅捕獲、壓縮和存儲(chǔ)該差異。兩種型式的幀用于這樣的差異-P(即預(yù)測)幀和B(即雙向內(nèi)捕)幀。
P幀通常參照一個(gè)過去的幀(或者一個(gè)I幀或者一個(gè)前面的P幀)進(jìn)行編碼，并且，通常將被用作給未來的P幀的一個(gè)參照。P幀接收相當(dāng)高的壓縮。B幀圖象提供最高的壓縮但為了編碼通常過去幀和未來參考都需要。雙向幀從不做為參照幀。
P幀內(nèi)的宏塊也可以利用幀內(nèi)編碼來單獨(dú)地編碼。B幀內(nèi)的宏塊也可以利用幀內(nèi)編碼、向前預(yù)測編碼、向后預(yù)測編碼、或者既向前也向后、或者雙向內(nèi)插、預(yù)測編碼來單獨(dú)地編碼。一個(gè)宏塊是由四個(gè)8×8DCT塊連同P幀的一個(gè)運(yùn)動(dòng)矢量以及B幀的一個(gè)或兩個(gè)運(yùn)動(dòng)矢量集聚成的一個(gè)16×16象素。
編碼以后，一個(gè)MPEG數(shù)據(jù)流就包括I、P和B幀的一個(gè)序列。一個(gè)序列可能由幾乎任何I、P和B幀的模式組成(在它們的位置上存在一些小型語法限制)。不過，在工業(yè)實(shí)踐中這是常用的以具有一個(gè)固定的模式(例如IBBPBBPBBPBBPBB)。
做為本發(fā)明的一個(gè)重要部分，即產(chǎn)生包含一個(gè)基層、至少一個(gè)可任選的時(shí)域增強(qiáng)層以及一個(gè)可任選的分辨率增強(qiáng)層的一個(gè)MPEG2數(shù)據(jù)流。下面將詳細(xì)描述這些層中的每一個(gè)。
時(shí)域可伸縮性(temporal scalability)基層。使用該基層以攜帶36Hz源內(nèi)容，在該優(yōu)選的實(shí)施例中，兩種MPEG-2幀順序中的一個(gè)可用于該基層LBPBPBP或者IPPPPPP。后面的模式是最優(yōu)選的，這是因?yàn)槿绻€需解碼24Hz電影的話，解碼器將只需解碼P幀而不必解碼B幀，因此降低了所需的存儲(chǔ)帶寬。
72Hz時(shí)域增強(qiáng)型層。當(dāng)利用MPEG-2壓縮時(shí)，如果P幀距離是偶數(shù)的話，嵌入一個(gè)36Hz時(shí)域增強(qiáng)型層做為用于36Hz基層的MPEG-2序列之內(nèi)的B幀這是可能的。這允許36Hz顯示裝置和72Hz顯示裝置都支持的單一數(shù)據(jù)流。例如，兩種層都可被解碼以產(chǎn)生一個(gè)用于計(jì)算機(jī)顯示器的72Hz信號(hào)，而僅僅該基層可以被解碼并轉(zhuǎn)換以產(chǎn)生用于電視機(jī)的60Hz信號(hào)。
在優(yōu)選實(shí)施例中，IPBBBPBBBPBBBP或者IPBPBPBPB的MPEG-2編碼模式都允許用只含有時(shí)域增強(qiáng)型B幀的一個(gè)單獨(dú)的流中的另外的幀來代替，以處理36Hz至72Hz。圖2和3分別示出這些編碼模式。圖3的2幀P間隔編碼模式還有一個(gè)輔加的優(yōu)點(diǎn)，即如果還需解碼24Hz電影的話，則36Hz解碼器只需解碼P幀而不解碼B幀，因此降低了所需的存儲(chǔ)帶寬。
對(duì)高分辨率圖象的研究已經(jīng)建議對(duì)于絕大多數(shù)圖象類型來說圖3的2幀P間隔是最佳的。即，圖3的結(jié)構(gòu)顯示出提供用于60和72Hz都支持的該最佳時(shí)域結(jié)構(gòu)，同時(shí)在現(xiàn)代72Hz計(jì)算機(jī)兼容顯示裝置上提供卓越的結(jié)果。這種結(jié)構(gòu)允許兩種數(shù)字流，一個(gè)是以36Hz用于基層，一個(gè)以36Hz用于增強(qiáng)層B幀以實(shí)現(xiàn)72Hz。圖4中表示了這個(gè)，它以方框圖的形式示出36Hz基層MPEG-2解碼器50僅僅解碼P幀以產(chǎn)生36Hz輸出，然后該36Hz輸出準(zhǔn)備被或者轉(zhuǎn)變至60Hz顯示裝置或者轉(zhuǎn)變至72Hz顯示裝置。一個(gè)可任選的第二解碼器52僅僅解碼B幀以產(chǎn)生第二36Hz輸出，該36Hz輸出當(dāng)與基層解碼器50的36Hz輸出組合時(shí)結(jié)果形成一個(gè)72Hz輸出(下面討論一種組合的方法)，在另一實(shí)施例中，一個(gè)快速M(fèi)PEG-2解碼器50能夠都解碼用于基層的P幀和用于增強(qiáng)層的B幀。
最佳主制式。一些公司正在制做以約11M像素/秒運(yùn)行的MPEG-2解碼芯片。MPEG-2標(biāo)準(zhǔn)針對(duì)分辨率和幀頻已經(jīng)定義了一些“輪廓”(profile)。盡管這些輪廓頑固地偏向于計(jì)算機(jī)非兼容制式諸如60Hz、無正方像素、以及隔行掃描，但是許多芯片制造商似乎正在開發(fā)操作在“主輪廓，主平面”(main-profile main level)上的解碼芯片。這些輪廓定義，至少水平分辨率達(dá)到720像素、至少垂直分辨率在高達(dá)25Hz處達(dá)到576線，以及在高到30Hz處幀頻達(dá)到480線，還規(guī)定了從近似1.5M比特/秒至約10M比特/秒的一個(gè)很寬范圍的數(shù)據(jù)速率。不過，從芯片的角度來說，主要的目標(biāo)是解碼像素的速率。主平面、主輪廓像素速率是約10.5M像素/秒。
盡管在芯片制造商中存在變更，但絕大多數(shù)MPEG-2解碼器芯片實(shí)際上將工作在13M像素/秒，給予快的支持存儲(chǔ)。一些解碼器芯片將快到20M像素/秒或更快。使得CPU芯片能以一個(gè)給出的成本每年趨向于獲得50％的改善或者更高，在MPEG-2解碼器芯片的像素速率中可以期望一些臨近限度的靈活性。
表4示出一些希望的分辨率和幀頻、以及它們相應(yīng)的像素速率分辨率 幀頻 像素速率XY(Hz) (M像素/秒)640 480 3611.1720 486 3612.6720 486 30(用于比較) 10.5704 480 3612.2704 480 30(用于比較) 10.1680 512 3612.51024 512 2412.6表4所有這些制式都可以被MPEG-2解碼器芯片利用它產(chǎn)生至少12.6M像素/秒。幾乎所有目前的芯片都能實(shí)現(xiàn)非常需要的36Hz的640×480像素的制式，因?yàn)樗乃俾适?1.1M像素/秒。一個(gè)寬屏1024×512圖象可以通過一個(gè)1.5∶1壓縮被壓縮成680×512圖象，并且如果能處理12.5M像素/秒的話，則能36Hz來支持。當(dāng)MPEG-2解碼器芯片可以處理約18.9M像素/秒時(shí)，非常希望的1024×512的矩形像素寬屏樣板可以達(dá)到36Hz。這將變得更合理，如果24Hz和36Hz內(nèi)容只用P幀編碼，使得在72Hz時(shí)域增強(qiáng)層解碼器中只需要B幀。只利用P幀的解碼器要求更少的存儲(chǔ)容量和存儲(chǔ)寬度，它使得19M像素/秒的目標(biāo)更容易達(dá)到。1024×512分辨率樣板將更經(jīng)常用于24fps的2.35∶1和1.85∶1的寬高比的電影。這樣內(nèi)容只需11.8M像素/秒，它應(yīng)該在絕大多數(shù)現(xiàn)有的主水平-主輪廓解碼器的范圍之內(nèi)。
在圖6中以24或36Hz的基層的一種“主樣板”(master template)的方式示出了所有這些制式。因此，本發(fā)明提供一種與現(xiàn)有技術(shù)相比能適應(yīng)各種各樣寬高比和時(shí)域分辨率的獨(dú)特的方法。(下面是一個(gè)主樣板的進(jìn)一步討論)。
利用一個(gè)具有雙倍的上述規(guī)定的像素速率的一個(gè)芯片或者使用相平行的輔助存取解碼器存儲(chǔ)的一個(gè)第二芯片能夠解碼產(chǎn)生72Hz的B幀的時(shí)域增強(qiáng)型層。在本發(fā)明的指導(dǎo)下，至少存在兩種方法用于增強(qiáng)型層和基層數(shù)據(jù)流的合并以插入該交替的B幀。第一，利用MPEG-2傳輸層來進(jìn)行合并而不被解碼器芯片察覺。可以把關(guān)于兩種PIDS(程序IDS)的該MPEG-2傳輸包認(rèn)做包含了基層和增強(qiáng)型層，并可以把這些流的內(nèi)容簡便地傳輸給一個(gè)雙速率能力解碼器芯片，或者給恰當(dāng)構(gòu)形的一對(duì)常規(guī)速率解碼器。第二，利用在MPEG-2數(shù)據(jù)流中的“數(shù)據(jù)劃分”特性代替從MPEG-2系統(tǒng)發(fā)出的傳輸層這也是可以的。該數(shù)據(jù)劃分特性允許把B幀標(biāo)記成屬于在MPEG-2已壓縮的數(shù)據(jù)流之內(nèi)的一個(gè)不同的級(jí)，并且因此可被標(biāo)識(shí)以使只支持時(shí)域基層速率的36Hz解碼器忽略它。
由MPEG-2視頻壓縮所定義的時(shí)域可伸縮性并不如本發(fā)明的簡便B幀劃分優(yōu)秀。該MPEG-2時(shí)域可伸縮性僅僅向前參考前面的P或B幀，并因此對(duì)這里所建議的向前和向后都參考的B幀編碼來說缺乏有效的可利用性。另外，單純利用B幀做為時(shí)域增強(qiáng)層提供一種比在MPEG-2內(nèi)所定義的時(shí)域可伸縮性更簡單并更有效的時(shí)域可伸縮性。盡管如此，這種使用B幀做為時(shí)域可伸縮性的機(jī)理完全依從MPEG-2。經(jīng)過關(guān)于B幀的數(shù)據(jù)劃分或者交替的PID′s，識(shí)別這些B幀做為一個(gè)增強(qiáng)型層的兩種方法也是完全兼容的。
50/60Hz時(shí)域增強(qiáng)型層。除了或者做為上述的72Hz時(shí)域增強(qiáng)型層(編碼一個(gè)36Hz信號(hào))的另一種，可以按相似的方式把一個(gè)60Hz時(shí)域增強(qiáng)型層(編碼一個(gè)24Hz信號(hào))加至36Hz基層。對(duì)于編碼現(xiàn)有的60Hz隔行掃描的視頻內(nèi)容來說60Hz時(shí)域增強(qiáng)型層是相當(dāng)有用的。
絕大多數(shù)60Hz隔行掃描內(nèi)容是按模擬的、D1或D2制式的NTSC視頻帶。也有小部分日本HDTV(SMPTE 240/260M)。也有此制式工作的攝像機(jī)。按照一種公知的方法可以處理任何這樣的60Hz隔行掃描制式以使信號(hào)被去隔行掃描并且?guī)l轉(zhuǎn)換。這種處理包含非常復(fù)雜的圖象認(rèn)識(shí)技術(shù)，相似于自動(dòng)控制觀測。即使利用非常完善的技術(shù)，由于算法和不時(shí)的得出人為現(xiàn)象(artifact)，通常時(shí)域混疊將導(dǎo)致“誤認(rèn)識(shí)”。注意圖象捕獲的典型的50％占空度意味著攝像機(jī)一半時(shí)間“不看”。在電影中的“反向車輪”(“back ward wagon wheels”)就是由于這種時(shí)域欠抽樣的通常作法的時(shí)域混疊的一個(gè)例子。沒有人工輔助重建這樣的人工因素通常是不能消除的。因此，將會(huì)總存在不能自動(dòng)地校正的情況。不過，運(yùn)動(dòng)轉(zhuǎn)換使得當(dāng)前的技術(shù)應(yīng)該對(duì)大多數(shù)內(nèi)容有效。
單個(gè)高清晰度攝像機(jī)或者磁帶式機(jī)器的價(jià)格與這樣一個(gè)轉(zhuǎn)換器的造價(jià)是一樣的。因此，在具有幾個(gè)攝像機(jī)和磁帶式機(jī)器的一個(gè)演播室中，這樣轉(zhuǎn)換的成本變得適中。不過，進(jìn)行這樣充分地處理目前是在家庭和辦公產(chǎn)品的預(yù)算之外的。因此，最好是在初始的演播室內(nèi)完成關(guān)于現(xiàn)有內(nèi)容的去隔行掃描和轉(zhuǎn)換幀頻的復(fù)雜的處理過程。這在圖5中示出，它以一個(gè)方框圖的形式表示了從攝像機(jī)60或者其它源(諸如非電影視頻帶60)輸入的60Hz隔行掃描的信號(hào)輸入至轉(zhuǎn)換器64，它包括了一個(gè)去隔行掃描功能和一個(gè)幀頻轉(zhuǎn)換功能并能夠輸出一個(gè)36Hz信號(hào)(只有36Hz基層)和一個(gè)72Hz信號(hào)(36Hz基層加上來自時(shí)域增強(qiáng)型層的36Hz)。
作為輸出一個(gè)72Hz信號(hào)(36Hz基層加上來自時(shí)域增強(qiáng)型層的36Hz)的另一個(gè)選擇，可以采用這種轉(zhuǎn)換處理以在36Hz基層上產(chǎn)生一個(gè)第二MPEG-2 24Hz時(shí)域增強(qiáng)型層，它能夠再生原始的60Hz信號(hào)，不過已去隔行掃描。如果相似的量化處理被用于60Hz時(shí)域增強(qiáng)型層B幀，則由于存在更少的B幀，因此數(shù)據(jù)速率應(yīng)該比72Hz時(shí)域增強(qiáng)型層稍微少一些。
美國所感興趣的大量主要的節(jié)目是低分辨率NTSC。目前，在大多數(shù)家庭電視上大多數(shù)NTSC信號(hào)被質(zhì)量降低地觀看。另外，觀眾已開始接收受利用3-2下降而在電視上顯示電影的方式中所固有的這種時(shí)域損傷。幾乎所有的早期電視是根據(jù)每秒24幀的電影而制作的。因此，只有體育新聞和其它視頻-原始節(jié)目需要按這種方法處理。通過對(duì)信號(hào)高質(zhì)量的去隔行掃描所伴隨的提高，極大地補(bǔ)償了轉(zhuǎn)換這些節(jié)目至36/72Hz制式所帶來的人工因素和損失。
注意在60Hz(或59。94Hz)場中固有的運(yùn)動(dòng)模糊應(yīng)該非常類似于在72Hz幀中的運(yùn)動(dòng)模糊。因此，提供一個(gè)基層和增強(qiáng)型層的這種技術(shù)，按運(yùn)動(dòng)模糊觀點(diǎn)來看，應(yīng)該似乎與72Hz起因相似。因此，當(dāng)隔行掃描的60Hz NTSC內(nèi)容被處理成一種36Hz基層，加上來自時(shí)域增強(qiáng)型層的24Hz，并且以60Hz顯示時(shí)。幾乎沒有觀眾將注意到差別，除非可能做為一種稍稍的改善，不過那些購買了新的72Hz數(shù)字逐行掃描電視的人當(dāng)觀看NTSC時(shí)，會(huì)注意到小的改善，而當(dāng)觀看以72Hz獲取或組織的內(nèi)容時(shí)會(huì)注意到一個(gè)大的改善。即使在72Hz顯示裝置上顯示的已解碼的36Hz基層看起來也將與高質(zhì)量的數(shù)字NTSC一樣的好，代替了具有一個(gè)更慢的幀頻的隔行掃描的產(chǎn)物。
把現(xiàn)有的PAL 50Hz內(nèi)容轉(zhuǎn)換成一個(gè)第二MPEG-2增強(qiáng)型層中也使用相同的處理方式。在這樣的轉(zhuǎn)換之前把PAL視頻帶最大地放慢至48Hz。活動(dòng)著的PAL需要利用分別不關(guān)聯(lián)的50、36和72Hz的速率來轉(zhuǎn)換。目前僅僅在廣播信號(hào)的源處買得起這樣的轉(zhuǎn)換單元，而在家庭和辦公室中的每個(gè)接收裝置目前并沒有實(shí)施。
分辨率可伸縮性這是可能的即利用使用MPEG-2的分層的分辨率可伸縮性來增強(qiáng)基層分辨率模板以實(shí)現(xiàn)建在一個(gè)基層之上的更高的分辨率。增強(qiáng)型的使用可以實(shí)現(xiàn)1.5×和2×基層的分辨率。分兩個(gè)步驟，通過使用3/2然后4/3，或者可以是兩個(gè)步驟的一個(gè)單一的因素，可以實(shí)現(xiàn)雙分辨率。圖7中表示了這種步驟。
通過產(chǎn)生一個(gè)分辨率增強(qiáng)型層做為一個(gè)獨(dú)立的MPEG-2流并且對(duì)該層進(jìn)行MPEG-2壓縮能夠?qū)崿F(xiàn)分辨率增強(qiáng)的處理。這種技術(shù)與MPEG-2所定義的已證明是相當(dāng)?shù)托实摹翱臻g可伸縮性”不同。不過，MPEG-2包含所有的構(gòu)造一個(gè)有效的分層分辨率以提供空間可伸縮性的工具。圖8示出本發(fā)明的優(yōu)選的分層分辨率編碼過程。圖9示出本發(fā)明的優(yōu)選的分層分辨率解碼過程。
分辨率層編碼。在圖8中，在每個(gè)方向上一個(gè)初始的2K×1K圖象80被按常規(guī)方式濾波成1/2分辨率以產(chǎn)生一個(gè)1024×516基層81，然后利用常規(guī)MPEG-2算法壓縮該基層81產(chǎn)生一個(gè)適合傳輸?shù)腗PEG-2基層82。重要的是，在這種壓縮步驟期間可以使用全部MPEG-2運(yùn)動(dòng)壓縮。然后利用常規(guī)的MPEG-2算法解壓縮同樣的信號(hào)還原成1024×512圖象83。該1024×512圖象83被擴(kuò)展。(例如，通過像素復(fù)制或者最好利用諸如樣條內(nèi)插的更好的濾波器)成一個(gè)第一2K×1K放大型84。
同樣，做為一個(gè)可選步驟，把該已濾波的1024×512基層81擴(kuò)展成一個(gè)第二2K×1K放大型85。從初始的2K×1K圖象80減去該第二2K×1K放大型85以產(chǎn)生一個(gè)表示在初始的高分辨率圖象80與初始的基層圖象81之間的分辨率的最高倍頻程(top Octave)的圖象。把結(jié)果的圖象可任選地乘以一個(gè)銳度系數(shù)或者一個(gè)加權(quán)，并且與初始2K×1K圖象80與第二2K×1K放大型85的差值相加以產(chǎn)生一個(gè)中心-加權(quán)的2K×1K增強(qiáng)型層源圖象86。然后根據(jù)常規(guī)的MPEG-2算法壓縮這種增強(qiáng)型層源圖象86，產(chǎn)生適合傳輸?shù)囊粋€(gè)單獨(dú)的MPEG-2分辨率增強(qiáng)型層87。重要的是，在這種壓縮步驟期間可以使用全部MPEG-2運(yùn)動(dòng)壓縮。
分辨率層解碼。在圖9中，利用常規(guī)MPEG-2算法解壓縮基層82還原成1024×512圖象90。該1024×512圖象90擴(kuò)展成一個(gè)第一2K×1K圖象91。同時(shí)，利用常規(guī)MPEG-2算法解壓縮該分辨率增強(qiáng)型層87還原成一個(gè)第二2K×1K圖象92。然后第一2K×1K圖象91和第二2K×1K圖象92相加以產(chǎn)生一個(gè)高分辨率2K×1K圖象93。
超過MPEG-2的改善。大體上，通過擴(kuò)展已解碼的基層，找出初始圖象與已解碼的基層之間的差并進(jìn)行壓縮，就產(chǎn)生了該增強(qiáng)型層。不過，一個(gè)已壓縮的分辨率增強(qiáng)型層也可以可任選地在解碼之后與基層相加以在解碼器中產(chǎn)生一個(gè)更高分辨率的圖象。本發(fā)明的分層分辨率編碼過程與MPEG-2空間可伸縮性有幾方面的差異。
·增強(qiáng)型層差分圖象被壓縮成它自己的MPEG-2數(shù)據(jù)流，用I、B和P幀。這種差異代表了MPEG-2空間可伸縮性無效的地方，但按所建議的，分辨率是有效的之處的主要原因。MPEG-2中所定義的空間可伸縮性允許編碼一個(gè)較上層作為該較上層圖象與該擴(kuò)展了的基層之間的差異，或者作為一個(gè)已運(yùn)動(dòng)補(bǔ)償實(shí)際圖象的MPEG-2數(shù)據(jù)流，或者兩者的組合。不過，這些編碼方法都是無效的。因?yàn)楸景l(fā)明中，與基層的差異應(yīng)該被認(rèn)做該差異的I幀，它與一個(gè)已運(yùn)動(dòng)補(bǔ)償?shù)牟罘謭D象相比較是無效的。MPEG-2中所定義的上層編碼也是無效的。因?yàn)樗c完全的上層的編碼是一樣的。如在本發(fā)明中，已運(yùn)動(dòng)補(bǔ)償?shù)牟罘謭D象的編碼因此明顯地更加有效。
·由于增強(qiáng)型層是一種獨(dú)立的MPEG-2數(shù)據(jù)流，MPEG-2系統(tǒng)傳輸層(或者另外相似的機(jī)構(gòu))必須被用來復(fù)用基層和加強(qiáng)型層。
·擴(kuò)展和分辨率降低濾波可以是一種高斯或者樣條功能，它比MPEG-2空間可伸縮性中所規(guī)定的雙線內(nèi)插更加優(yōu)秀。
·在優(yōu)選的實(shí)施例中在較低和較高層之間圖象寬高比必須相匹配。在MPEG-2空間可伸縮性中，擴(kuò)展寬度和/或高度是允許的。由于有效性的需要，因此在優(yōu)選的實(shí)施例中這樣的擴(kuò)展是不允許的。
·由于有效性的需要，以及在增強(qiáng)型層中使用的極罕見的壓縮，因此該增強(qiáng)型層的整個(gè)區(qū)域不編碼。通常，從增強(qiáng)型層排除的區(qū)域?qū)⑹沁吔鐓^(qū)域。這樣，在優(yōu)選實(shí)施例中2K×1K增強(qiáng)型層源圖象86是中心加權(quán)的。在優(yōu)選實(shí)施例中，使用衰落功能(諸如線性加權(quán))以使增強(qiáng)型層“滑”(feather)向圖象的中心并遠(yuǎn)離邊界邊緣，以避免在圖象中的不連續(xù)的變換。另外，可以采用確定具有肉眼將觀察的細(xì)節(jié)的區(qū)域的任何人工或者自動(dòng)方法，以選擇需要詳細(xì)細(xì)節(jié)的區(qū)域并排除不需要的多余細(xì)節(jié)的區(qū)域。所有圖象具有基層水平的詳細(xì)細(xì)節(jié)，因此顯示所有圖象。只有特別感興趣的區(qū)域受益于增強(qiáng)型層。在不存在其它準(zhǔn)則的情況，如上面所述的中心-加權(quán)實(shí)施例，可以把幀的邊緣或者邊界從增強(qiáng)型中排除。MPEG-2參數(shù)“較低-層-預(yù)測-水平或垂直補(bǔ)償”參數(shù)用作為標(biāo)識(shí)的負(fù)整數(shù)，與“水平或垂直-亞取樣-系數(shù)-m或n”值相結(jié)合，可用來規(guī)定增強(qiáng)型層矩形的總尺寸和在擴(kuò)展的基層內(nèi)的位置。
·把-個(gè)銳度系統(tǒng)加到該增強(qiáng)型層上以補(bǔ)償在凈化期間所發(fā)生的銳度損失。必須注意只使用這些參數(shù)存儲(chǔ)初始圖象的清晰度和銳度而不增強(qiáng)該圖象。如上面圖8有關(guān)方面所示，該銳度系數(shù)是初始高分辨率圖象80與初始基層圖象81(經(jīng)擴(kuò)展之后)之間分辨率的“高倍頻”。這種高倍頻圖象除了包含分辨率的高倍頻的銳度和細(xì)節(jié)以外，還將含有許多噪聲。加入太多的這種圖象可導(dǎo)致在已運(yùn)動(dòng)補(bǔ)償?shù)脑鰪?qiáng)型層編碼過程中的不穩(wěn)定性。應(yīng)該加入的數(shù)量取決于在初始圖象中噪聲的程度。一個(gè)典型的加權(quán)值是0.25。對(duì)于有噪聲的圖象，銳度不應(yīng)該加入，并且甚至在壓縮之前，利用用于保存細(xì)節(jié)的常規(guī)抑制噪聲技術(shù)來抑制增強(qiáng)型層的初始中的噪聲。這也是合理的。
·在基層和增強(qiáng)層上利用關(guān)于從36Hz至72Hz的時(shí)域增強(qiáng)型的B幀來內(nèi)部混合時(shí)域和分辨率可伸縮性。以此方式，由于可得到兩級(jí)時(shí)間可伸縮性的選擇。四級(jí)解碼操作能具有兩層分辨率可伸縮性。
這些差異代表了超過MPEG-2空間和時(shí)間可伸縮性的顯著改善。不過，這些差異仍然與解碼器芯片相一致，盡管在解碼器中可能需要附加的邏輯以便在如圖9所示的分辨率增加型解碼過程中進(jìn)行擴(kuò)展和加法。這種附加邏輯與較低效的MPEG-2空間可伸縮法所需的相一致。
可任選的分辨率增強(qiáng)型層的非MPEG-2編碼。針對(duì)分辨率增強(qiáng)型層使用一種不同于MPEG-2的壓縮技術(shù)這是可能的。另外，針對(duì)分辨率增強(qiáng)型不必使用與基層所用的相同的壓縮技術(shù)。例如，當(dāng)差異層被編碼時(shí)，可以使用經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膲K子波來非常有效地匹配和跟蹤細(xì)節(jié)。即使由于改變了差異的數(shù)量使得子波布局的最有效位置在顯示屏周圍跳動(dòng)，但在低幅增強(qiáng)型層中也將不會(huì)被察覺到。另外，不必覆蓋整個(gè)圖象-只需把子波放置在細(xì)節(jié)上。該子波可以由圖象中的細(xì)節(jié)區(qū)域來引導(dǎo)它們的布局。該布局也可以偏離邊界。
多重分辨率增強(qiáng)型層。按這里正在討論的比特速率，已經(jīng)成功地證明只有在一個(gè)基層(1024×512×72fps)和一個(gè)單一分辨率增強(qiáng)型層上，才能以18.5M比特/秒對(duì)按每秒72幀的2M像素(2048×1024)進(jìn)行編碼。不過，從分辨率增強(qiáng)型層編碼的進(jìn)一步精加工所得到的預(yù)先改善的效率應(yīng)該允許多個(gè)分辨率增強(qiáng)型層。例如，可以想象一個(gè)按512×256的基層可以被四層分辨-增強(qiáng)成1024×512,1536×768，以及2048×1024。借助現(xiàn)有的MPEG-2編碼按每秒24幀的電影幀頻這是可以實(shí)現(xiàn)的。在高頻率諸如每秒72幀的速率，在分辨率增強(qiáng)型層的編碼過程中MPEG-2不能提供有效的效率以允許目前的這些層。
主版制作格式(mastering formats)利用一個(gè)處于或接近2048×1024像素的樣板，能夠?yàn)楦鞣N各樣的釋出制式產(chǎn)生一個(gè)單數(shù)字活動(dòng)圖象版格式源。如圖6所示，一個(gè)2K×1K樣板可以有效地支持1.85∶1和2.35∶1的共同寬屏幕寬高比。一個(gè)2K×1K樣板也可以適應(yīng)1.33∶1和其它的寬高比。
盡管整數(shù)(尤其是2倍)和簡單的分?jǐn)?shù)(3/2或4/3)是在分辨率分層處理中最有效的等級(jí)大小，利用任意比例來完成任何所需的分辨率分層也是可以的。不過，利用一個(gè)2048×1024樣板，或者接近的樣板，不僅提供一種高質(zhì)量的數(shù)字主版制式，而且從兩倍基層(1K×512)中可提供許多其它常規(guī)的分辨率，包括NTSC、U.S電視標(biāo)準(zhǔn)。
按照更高的分辨率，諸如4K×2K、4K×3K或4K×1K來掃描電影也是可能的。利用任選的分辨率增強(qiáng)，這些較高的分辨率可以從一個(gè)接近2K×1K的中心主版制式分辨率中產(chǎn)生。這種針對(duì)電影的增強(qiáng)型層將都包括圖象細(xì)節(jié)、增益以及其它噪聲源(諸如掃描器噪聲)。由于這種噪聲，在增強(qiáng)型層中壓縮這些非常高分辨率的壓縮技術(shù)將需要使用代替MPEG-2型壓縮技術(shù)的另外技術(shù)。幸運(yùn)的是，存在其它的壓縮技術(shù)，可以用它來壓縮這種噪聲信號(hào)，同時(shí)在圖象中仍保持所希望的細(xì)節(jié)。這種壓縮技術(shù)的一個(gè)例子是運(yùn)動(dòng)補(bǔ)償子波或者運(yùn)動(dòng)補(bǔ)償系數(shù)(fractals)。
最好，應(yīng)該按照電影的幀頻產(chǎn)生數(shù)字制版格式，如果從現(xiàn)有的電影中(即按照每秒24幀)產(chǎn)生的話。3-2下降和隔行掃描的共同使用將不適合數(shù)字電影主版。對(duì)于新的數(shù)字電子內(nèi)容，人們希望在不久的將來停止使用60Hz隔行掃描，而代之以與計(jì)算機(jī)更兼容的幀頻，諸如72Hz，如同這里所建議的一樣。應(yīng)該按照獲取該圖象的任何頻率來制作數(shù)字圖象主版，無論是72Hz、60Hz、36Hz、37.5Hz、50Hz或者其它速率。
作為用于所有電子釋放格式的一個(gè)單數(shù)字源畫面制式的一個(gè)主版制作格式的概念有別于現(xiàn)有的常規(guī)，PAL、NTSC、信箱、掃視-和-掃描、以及其它主版通常全都是由一個(gè)電影原版獨(dú)立地制作成的。該主版制作格式的使用允許電影和數(shù)字/電子節(jié)目都被制作一次，以便釋出各種各樣的分辨率和格式。
組合的分辨率和時(shí)域增強(qiáng)型層如上所述，時(shí)域和分辨率增強(qiáng)分層兩者可以組合。時(shí)域增強(qiáng)型是通過解碼B幀來提供的，分辨率增強(qiáng)型層也有兩個(gè)時(shí)域?qū)?，并因此也含有B幀。
對(duì)于24fps電影，最有效并最低成本的解碼器可以只使用P幀，因此存儲(chǔ)器和存儲(chǔ)器帶寬都可最小化，而且通過刪除B幀解碼簡化了解碼器。這樣，根據(jù)本發(fā)明，可以利用不具備B幀解碼能力的解碼器對(duì)按24fps的電影和按36fps的先進(jìn)電視進(jìn)行解碼。如圖3所示，然后可以在P幀之間使用B幀，以產(chǎn)生72Hz的較高時(shí)域?qū)?，可以由第二解碼器來解碼該B幀。這種解碼器也是簡化的，這是因?yàn)橹恍杞獯aB幀。
這樣分層方式也可用于增強(qiáng)的分辨率層，它同樣可以只利用24和36fps速率的P幀和I幀。通過在分辨率增強(qiáng)型層內(nèi)加入B幀解碼，該分辨率增強(qiáng)型層能加入高分辨率的72Hz的全時(shí)域速率。
圖10示出有關(guān)一個(gè)解碼器的組合的分辨率和時(shí)域可伸縮性的任選項(xiàng)。這個(gè)例子也示出了用于實(shí)現(xiàn)本發(fā)明的空間一時(shí)間分層的先進(jìn)電視的一個(gè)幾乎18M比特/秒數(shù)據(jù)流的比例的分配。
在圖10中，一個(gè)基層MPEG-21024×512像素?cái)?shù)據(jù)流(在優(yōu)選實(shí)施例中只含有P幀)被送至一個(gè)基本分辨率解碼器100。對(duì)于P幀需要幾乎5M比特/秒的帶寬。該基本分辨率解碼器100可以按24或36fps解碼。該基本分辨率解碼器100的輸出包括低分辨率、低幀頻圖象(按照24或36Hz的1024×512)。
來自相同數(shù)據(jù)流的B幀被語法分析出來并供給一個(gè)基本分辨率時(shí)域增強(qiáng)型層解碼器102。對(duì)于這種B幀需要幾乎3M比特/秒的帶寬。該基本分辨率解碼器100的輸出也耦合至?xí)r域增強(qiáng)型層解碼器102。該時(shí)域增強(qiáng)型層解碼器102能按36fps進(jìn)行解碼。時(shí)域增強(qiáng)型層解碼器102的組合輸出包括低分辨率、高幀頻圖象(按照72Hz的1024×512像素)。
也是在圖10中，一個(gè)分辨率增強(qiáng)型層MPEG-22K×1K數(shù)據(jù)流(在優(yōu)選實(shí)施例中只含有P幀)被送至一個(gè)基本時(shí)域高分辨率增強(qiáng)型層解碼器104。對(duì)于該P(yáng)幀需要幾乎6M比特/秒的帶寬。該基本分辨率解碼器100的輸出也耦合至該高分辨率增強(qiáng)型層解碼器104。該高分辨率增強(qiáng)型層解碼器104能按24或36fps進(jìn)行解碼。該高分辨率增強(qiáng)型層解碼器104的輸出包括高分辨率、低幀頻圖象(按照24或36Hz的2K×1K像素)。
來自相同數(shù)據(jù)流的B幀被語法分析出來并供給一個(gè)高分辨率時(shí)域增強(qiáng)型層解碼器106。對(duì)于這樣的B幀需要幾乎4M比特/秒的帶寬。該高分辨率增強(qiáng)型層解碼器104的輸出被耦合至高分辨率時(shí)域增強(qiáng)型層解碼器106。時(shí)域增強(qiáng)型層解碼器102的輸出也耦合至高分辨率時(shí)域增強(qiáng)型層解碼器106。該高分辨率時(shí)域增強(qiáng)型層解碼器106能按照36fps進(jìn)行解碼。該高分辨率時(shí)域增強(qiáng)型層解碼器106的組合的輸出包括高分辨率、高幀頻圖象(按照72Hz的2K×1K像素)。
注意由這種可伸縮編碼機(jī)理得到的壓縮速率例是非常高的、顯示出極好的壓縮效率。在表5中列出針對(duì)圖10中范例的每個(gè)時(shí)域和可伸縮性任選項(xiàng)的這些速率。這些速率是基于按24比特/像素的源RGB像素的。(如果帶入系數(shù)常規(guī)4∶2∶2編碼的16比特/像素或者常規(guī)4∶2∶0編碼的12比特/像素，則壓縮比例將分別為3/4和1/2
表5由兩種因素能夠?qū)崿F(xiàn)這些高壓縮速率1)高幀頻72Hz圖象的高時(shí)域相關(guān)性；2)高分辨率2K×1K圖象的高空間相關(guān)性；3)分辨率增強(qiáng)技術(shù)應(yīng)用于圖象的重要部分(例如，中心部分)而非不重要部分(例如，幀的邊緣)。
這些因素是通過采用MPEG-2編碼語法強(qiáng)度從本發(fā)明的分層壓縮技術(shù)中探索出來的。這些強(qiáng)度包括雙直接內(nèi)插的關(guān)于時(shí)域可伸縮性的B幀。通過在基層和增強(qiáng)型層兩者中都使用運(yùn)動(dòng)矢量，MPEG-2語法還提供有效的運(yùn)動(dòng)表示法(efficent motion representation)。直到高噪聲和快速圖象變化的某個(gè)閾值，通過運(yùn)動(dòng)壓縮和DCT量化相結(jié)合，在增強(qiáng)型層內(nèi)MPEG-2還能有效地編碼細(xì)節(jié)代替噪聲。在這個(gè)閾值之上，該數(shù)據(jù)帶寬被最好地分配給基層。依照本發(fā)明當(dāng)使用這些機(jī)能時(shí)它們共同作用以產(chǎn)生很高的效率和有效的編碼，它既是時(shí)域性的也是空間性的可伸縮。
當(dāng)與CCIR601數(shù)字視頻的5M比特/秒相比較時(shí)，表5中的壓縮速率是相當(dāng)高的。一個(gè)原因是由于隔行掃描而導(dǎo)致的某種相關(guān)性的損失。隔行掃描消極地影響預(yù)測順序幀和場的能力，還消極地影響垂直相鄰像素之間的關(guān)聯(lián)。因此，這里描述的，壓縮效率的增長是由于不存在隔行掃描。
由本發(fā)明所實(shí)現(xiàn)的大的壓縮速率可以看成是每個(gè)MPEG-2宏塊可用來編碼的比特?cái)?shù)的透視。如前所述，宏塊是由四個(gè)8×8DCT塊、和一個(gè)P幀運(yùn)動(dòng)矢量以及一個(gè)或兩個(gè)B幀運(yùn)動(dòng)矢量共同組成的一個(gè)16×16像素。表6示出關(guān)于每層的適合每宏塊的比特。
表6
在增強(qiáng)型層中每個(gè)宏塊可用來編碼的比特?cái)?shù)少于在基層中的比特?cái)?shù)。這是恰如其分的，因?yàn)閷?duì)于基層來說它希望盡可能好的質(zhì)量。運(yùn)動(dòng)矢量需要8比特左右，余下10至25比特給宏塊型碼和所有4個(gè)8×8DCT塊的DC和AC系數(shù)。這些余下空間只給少數(shù)“關(guān)鍵的”AC系數(shù)。這樣，據(jù)統(tǒng)計(jì)，每個(gè)宏塊可利用的絕大多數(shù)信息一定來自一個(gè)增強(qiáng)型層的前面的幀。
很容易發(fā)現(xiàn)按照這些壓縮速度的MPEG-2空間可伸縮性之所以無效的原因，是因?yàn)闆]有足夠的數(shù)據(jù)空間可用來編碼足夠的DC和AC系數(shù)以再現(xiàn)由增強(qiáng)型差異圖象所代表的詳細(xì)的高倍頻程。這些倍頻程主要是用15至18水平和垂直AC系數(shù)來表示的。因此如果每DCT塊只有少數(shù)可利用的比特，則不能獲得這些參數(shù)。
這里所描述的系統(tǒng)通過利用來自前面增強(qiáng)型差異幀的運(yùn)動(dòng)補(bǔ)償預(yù)測來提高它的效率。這對(duì)于在時(shí)域和分辨率(空間)分層編碼中提供極好的結(jié)果是顯著有效的。
適度惡化。這里描述的時(shí)域劃分和分辨率劃分技術(shù)對(duì)于利用一個(gè)2K×1K初始源以每秒72幀正常運(yùn)行的內(nèi)容來說是很好的。這些技術(shù)還很好地處理以24fps運(yùn)行的以電影為基礎(chǔ)的內(nèi)容。不過，在高幀頻處，當(dāng)編碼一個(gè)非常象噪聲的圖象時(shí)，或者當(dāng)在一個(gè)圖象流內(nèi)存在大量的散粒中斷(shot cuts)時(shí)，增強(qiáng)型層可能會(huì)損失有效編碼所必需的幀間相關(guān)性。這樣的損失是很容易檢測的，因?yàn)橐粋€(gè)典型的MPEG-2編碼/解碼器的緩沖-充滿度/速率-控制將試圖將量化器設(shè)置為非常近似的設(shè)置。當(dāng)碰到這種情況時(shí)，所有的通常用來編碼分辨率增強(qiáng)型層的比特可以被分配給基層，因?yàn)闉榱司幋a應(yīng)力(stressful)內(nèi)容，基層將需要盡可能多的比特。例如，按照72幀/秒來傳輸約0.5與0.33M像素/秒之間的基層，則結(jié)果的像素速率將是24至36M像素/秒?；鶎涌衫玫乃斜忍匾?8.5M比特/秒提供額外的約0.5至0.67M比特/幀，它應(yīng)該足夠用來很好地編碼，即使針對(duì)應(yīng)力內(nèi)容。
在絕大多數(shù)極端的情況下，即每幀都非常像噪聲和/或每幾幀就發(fā)生中斷的情況下，在基層中適度惡化甚至不必進(jìn)一步的分辨率損失這是可能的。通過移去B幀編碼時(shí)域增強(qiáng)型層就可以達(dá)到這種適度惡化，并且因此允許以36fps的基層的、I幀和P幀使用所有可利用的帶寬。這種每個(gè)基層幀可使用的增加的數(shù)據(jù)量是在約1.0與1.5M比特/幀之間(取決于基層的分辨率)。在極端的應(yīng)力編碼條件作用下，這種適度惡化將仍然以相當(dāng)高質(zhì)量的基層分辨率產(chǎn)生相當(dāng)好的36fps的運(yùn)動(dòng)再現(xiàn)速率。不過，如果基層量化器在按36fps約18.5M比特/秒的條件下仍然以一個(gè)粗調(diào)水平運(yùn)行的話，則基層幀頻可以動(dòng)平衡地降至24、18甚至12fps(在1.5和4M比特/幀之間它將是可利用的)即使最病態(tài)的活動(dòng)圖象型，它應(yīng)該能夠控制，在這種情況中改變幀頻的方法是現(xiàn)有技術(shù)中公知的。
U.S先進(jìn)電視的當(dāng)前建議并不允許這些適應(yīng)惡化的方法，并且因此不能如本發(fā)明的系統(tǒng)那樣在重要內(nèi)容上很好地工作。
在大多數(shù)MPEG-2解碼器中，由輸出緩沖深度來控制自適應(yīng)的量化級(jí)。按照本發(fā)明的分辨率增強(qiáng)型層中所包括的高壓縮比，這種機(jī)理可能不會(huì)最佳地起作用?？梢允褂酶鞣N各樣的技術(shù)來優(yōu)化至最恰當(dāng)?shù)膱D象區(qū)的數(shù)據(jù)的分配。理論上最簡單的技術(shù)是在分辨率增強(qiáng)型層上進(jìn)行預(yù)先(pre-pass)編碼，以便集中統(tǒng)計(jì)并找出應(yīng)該預(yù)留的細(xì)節(jié)。從預(yù)先編碼中得出的結(jié)果可以用來設(shè)置適合的量化，以便優(yōu)選在分辨率增強(qiáng)型層中的細(xì)節(jié)預(yù)留。該設(shè)置也可以人為地偏置以便在圖象上形成非均勻性，從而使圖象細(xì)節(jié)偏置分配至主要屏幕區(qū)，而遠(yuǎn)離幀的極邊緣處的宏塊。
除了保留一個(gè)按高幀頻的增強(qiáng)型層邊界以外，其它地方不再需要這些調(diào)整，這是因?yàn)椴挥眠@樣的改善現(xiàn)有的解碼器就能很好地起作用。不過，在增強(qiáng)型層編碼器中這些進(jìn)一步的改善是有一些額外效果的。
總結(jié)選擇36Hz做為一個(gè)新的共同基礎(chǔ)時(shí)域速率看來是最佳的，對(duì)這種幀頻的使用的論證表明對(duì)于60Hz和72Hz顯示的顯示裝置來說它提供了超出24Hz的顯著改善。利用來自72Hz圖象獲取的隔一幀可以產(chǎn)生36Hz的圖象。它允許36Hz的一個(gè)基層(最好利用P幀)與36Hz的一個(gè)時(shí)域增強(qiáng)型層相合并以實(shí)現(xiàn)一個(gè)72Hz顯示。
本發(fā)明不局限于72Hz的“未來展望”(future-looking)速率，同時(shí)還為60Hz模擬NTSC顯示裝置提供轉(zhuǎn)換。如果其它的正在討論的“僅僅被動(dòng)式娛樂”(passive-entertainment-only)(非計(jì)算機(jī)兼容)60Hz制式被接受，則本發(fā)明還允許為其它60Hz顯示提供轉(zhuǎn)換。
通過利用一個(gè)分辨率增強(qiáng)型層的單獨(dú)的MPEG-2圖象數(shù)據(jù)流，可以實(shí)現(xiàn)分辨率可伸縮性。分辨率可伸縮性可以利用B幀趨近于基層分辨率和增強(qiáng)型分辨率層中都提供時(shí)域可伸縮性。
這里所描述的發(fā)明具有許多特別需要的特點(diǎn)。
在U.S先進(jìn)電視進(jìn)程中所包含的一些方案中已經(jīng)申明了這些特點(diǎn)，在地面廣播中可獲得的近似18.5M比特/秒的高清晰度分辨率既不能實(shí)現(xiàn)分辨率可伸縮性也不能實(shí)現(xiàn)時(shí)域可伸縮性。不過，本發(fā)明在這種可獲得的數(shù)據(jù)速率內(nèi)既能實(shí)現(xiàn)時(shí)域可伸縮性也能實(shí)現(xiàn)空間分辨率可伸縮性。
并且已經(jīng)申明，在該可獲得的18.5M比特/秒數(shù)據(jù)速率之內(nèi)不使用隔行掃描不能實(shí)現(xiàn)高幀頻的2M像素。不過，不僅實(shí)現(xiàn)分辨率可伸縮性而且實(shí)現(xiàn)時(shí)域可伸縮性，它能以72幀/秒提供2M像素。
除了提供這些能力以外，特別是與先進(jìn)電視的目前建議相比，本發(fā)明還非常堅(jiān)固耐用。當(dāng)碰到非常重要圖象內(nèi)容時(shí)，通過把大多數(shù)的或者所有比特分配至基層使得它成為可能。這種重要內(nèi)容的特點(diǎn)是既象噪聲又非?？斓刈兓?。在這種情況下，肉眼不能看與分辨度的增強(qiáng)層有關(guān)的細(xì)節(jié)。由于該比特被供給基層，所再現(xiàn)的幀明顯地比先進(jìn)電視的目前建議更精確，它使用一個(gè)單一固定的較高的分辨率。
因此，該發(fā)明的系統(tǒng)使感性和編碼效率都最佳化，同時(shí)提供最大的可視反響。這種系統(tǒng)按照多數(shù)人已經(jīng)認(rèn)為是不可能的一種分辨率和幀頻特性來提供一種非常清楚的圖象?？梢韵嘈旁摪l(fā)明的系統(tǒng)可能會(huì)優(yōu)于ACATS所建議的先進(jìn)電視制式。除了這種可預(yù)見的優(yōu)越性能之外，本發(fā)明還提供該相當(dāng)高價(jià)值的時(shí)域和分辨率分層特性。
可以用硬件或軟件、或者硬件和軟件兩者相結(jié)合的形式來實(shí)現(xiàn)該發(fā)明。不過，最好用在可編程計(jì)算機(jī)上執(zhí)行的計(jì)算機(jī)程序來實(shí)現(xiàn)該發(fā)明，這種可編程計(jì)算機(jī)的每個(gè)包括一個(gè)處理器、一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)(包括易失性的和非易失性的存儲(chǔ)器和/或存儲(chǔ)單元)、至少一個(gè)輸入裝置以及至少一個(gè)輸出裝置。把程序碼加至輸入數(shù)據(jù)以執(zhí)行這里所描述的功能并產(chǎn)生一個(gè)輸出信息。把該輸出信息加至已知類型的一個(gè)或多個(gè)輸出裝置。
每個(gè)程序最好是按可與一個(gè)計(jì)算機(jī)系統(tǒng)通信的一個(gè)高級(jí)程序或面向目標(biāo)可編程語言來實(shí)現(xiàn)。不過，如果需要，這些程序也可以用匯編或機(jī)器語言來實(shí)現(xiàn)。總之，該語言可以是一種匯編或翻譯語言。
每個(gè)這樣的計(jì)算機(jī)程序最好是存儲(chǔ)在由一種普通的或?qū)Ｓ玫目删幊逃?jì)算機(jī)來讀取的一種存儲(chǔ)介質(zhì)或裝置上(例如ROM或軟磁盤)，當(dāng)計(jì)算機(jī)讀取該存儲(chǔ)介質(zhì)或裝置以執(zhí)行這里所描述的處理過程時(shí)，這樣的計(jì)算機(jī)程序用于配置和操作該計(jì)算機(jī)。也可以把該發(fā)明的系統(tǒng)看成是一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，配置有一種計(jì)算機(jī)程序，該存儲(chǔ)介質(zhì)中如此配置使得一種計(jì)算機(jī)按照一種特殊并且預(yù)定義的方式來操作以執(zhí)行這里描述的功能。
已經(jīng)描述了本發(fā)明的許多實(shí)施例。不過，應(yīng)該明白在不脫離本發(fā)明的精神和范圍下可以做出各種各樣的變更。例如，當(dāng)該優(yōu)選實(shí)施例使用MPEG-2編碼和解碼時(shí)，該發(fā)明將工作在任何能提供B幀、P幀和層的等效物的比較標(biāo)準(zhǔn)下。另外，很小的偏離(小于1Hz)于上述給出的精確的頻率和幀率通常將不會(huì)明顯地響應(yīng)本發(fā)明。因此，應(yīng)該明白的是，本發(fā)明并不局限于特別示出的實(shí)施例，而僅由附加的權(quán)利要求書的范圍所局限。
權(quán)利要求
1．一種用于獲取和壓縮視頻信息的方法，包括以下步驟(a)按照從近似的36fps、72fps和75fps之中選出的一種初始幀頻，獲取多個(gè)幀中的視頻圖象；(b)把該獲取的視頻圖象編碼成一種壓縮的數(shù)據(jù)流，包括(1)一個(gè)基層，包含具有相當(dāng)?shù)偷姆直媛屎蛷慕频?4Hz、36Hz以及37.5Hz之中選出的一種幀頻的一種已編碼的比特流；(2)可任選地，至少一個(gè)時(shí)域增強(qiáng)型層，包含具有相當(dāng)?shù)偷姆直媛屎蛷慕频?0Hz、72Hz和75Hz之中選出的一種幀頻的一種已編碼的比特流；(3)可任選地，至少一個(gè)高分辨率增強(qiáng)型層，包含具有相當(dāng)高的分辨率和從近似的24Hz、36Hz以及37.5Hz之中選出的一種幀頻的一種已編碼的比特流；(4)可任選地，至少一個(gè)高分辨率時(shí)域增強(qiáng)型層，包含具有相當(dāng)高的分辨率和從近似的72Hz以及75Hz之中選出的一種幀頻的一種已編碼的比特流。
2．如權(quán)利要求2所要求的方法，其中該已壓縮的數(shù)據(jù)流具有不大于19M比特/秒的比特率。
3．如權(quán)利要求1所要求的方法，其中該已壓縮的數(shù)據(jù)流是利用MPEG-2壓縮方式來編碼的。
4．如權(quán)利要求3所要求的方法，其中只利用MPEG-2壓縮P幀來編碼該基層。
5．如權(quán)利要求3所要求的方法，其中只利用MPEG-2壓縮B幀來編碼每個(gè)時(shí)域增強(qiáng)型層。
6．如權(quán)利要求3所要求的方法，其中只利用MPEG-2壓縮P幀來編碼每個(gè)高分辨率增強(qiáng)型層。
7．如權(quán)利要求3所要求的方法，其中只利用MPEG-2壓縮B幀來編碼每個(gè)高分辨率時(shí)域增強(qiáng)型層。
8．如權(quán)利要求1所要求的方法，還包括利用一種2-1-2下降速率從該已壓縮的數(shù)據(jù)流的基層在近似60Hz提取用于顯示的幀的步驟。
9．如權(quán)利要求1所要求的方法，其中該基層具有從近似的640×480像素、近似的720×486像素、近似的704×480像素、近似的680×512像素以及近似的1024×512像素之中選出的一種分辨率。
10．如權(quán)利要求1所要求的方法，其中至少一個(gè)分辨率增強(qiáng)型層在每個(gè)維上具有兩倍于基層的分辨率。
11．如權(quán)利要求1所要求的方法，其中至少一個(gè)分辨率增強(qiáng)型層增強(qiáng)只在該基層的一個(gè)中央?yún)^(qū)域中的該基層的像素。
12．一種用于產(chǎn)生用于視頻信息的主制式的方法，包括以下步驟(a)產(chǎn)生一種單一數(shù)字源圖象制式，具有近似36Hz的幀頻的基層、當(dāng)與基層相結(jié)合時(shí)的近似72Hz的幀頻的時(shí)域增強(qiáng)型層以及近似2048×1024像素的分辨率；以及(b)由該單一數(shù)字源圖象制式導(dǎo)出所有后續(xù)的顯示格式。
13．一種用于把在一些幀中按照一種初始的幀頻所獲取的視頻信息進(jìn)行壓縮的裝置，該初始的幀頻是從近似的36fps、72fps和75fps之中選出的，該裝置包括用于把所獲取的視頻幀編碼并輸出成為一種已壓縮的數(shù)據(jù)流的編碼器，該已壓縮的數(shù)據(jù)流包括(a)一個(gè)基層，包含具有相當(dāng)?shù)偷姆直媛屎蛷慕频?4Hz、36Hz以及37.5Hz之中選擇出的一個(gè)幀頻的已編碼的比特流；(b)可任選地，至少一個(gè)時(shí)域增強(qiáng)型層，包含具有相當(dāng)?shù)偷姆直媛屎蛷慕频?0Hz、72Hz以及75Hz之中選擇出的一個(gè)幀頻的已編碼的比特流；(c)可任選地，至少一個(gè)高分辨率增強(qiáng)型層，包含具有相當(dāng)高的分辨率和從近似的24Hz、36Hz以及37.5Hz之中選擇出的一個(gè)幀頻的已編碼的比特流；(d)可任選地，至少一個(gè)高分辨率增強(qiáng)型層，包含具有相當(dāng)高的分辨率和從近似的72Hz與75Hz之中選擇出的一個(gè)幀頻的已編碼的比特流。
14．一種用于把在一些幀中按照一種初始的幀頻來獲取的視頻信息進(jìn)行壓縮的的計(jì)算機(jī)程序，該初始的幀頻是從近似的36fps、72fps以及75fps之中選擇出的，在一種可由計(jì)算機(jī)系統(tǒng)讀取的介質(zhì)中存儲(chǔ)的該計(jì)算機(jī)程序，用于當(dāng)讀取時(shí)配置該計(jì)算機(jī)系統(tǒng)并且由該計(jì)算機(jī)系統(tǒng)來執(zhí)行以完成以下功能(a)把所獲取的視頻幀編碼成包括以下部分的一種已壓縮的數(shù)據(jù)流，它包括(1)一個(gè)基層，包含具有相當(dāng)?shù)偷姆直媛屎蛷慕频?4Hz、36Hz以及37.5Hz之中選擇出的一個(gè)幀頻的已編碼的比特流；(2)可任選地，至少一個(gè)時(shí)域增強(qiáng)型層，包含具有相當(dāng)?shù)偷姆直媛屎蛷慕频?0Hz、72Hz以及75Hz之中選擇出的一個(gè)幀頻的已編碼的比特流；(3)可任選地，至少一個(gè)高分辨率增強(qiáng)型層，包含具有相當(dāng)高的分辨率和從近似的24Hz、36Hz以及37.5Hz之中選擇出的一個(gè)幀頻的已編碼的比特流；(4)可任選地，至少一個(gè)高分辨率時(shí)域增強(qiáng)型層，包含具有相當(dāng)高的分辨率和從近似的72Hz與75Hz之中選擇出的一個(gè)幀頻的已編碼的比特流；(b)輸出該已壓縮的數(shù)據(jù)流。
15．一種計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)，配置有用于把在一些幀中按照一種初始的幀頻來獲取的視頻信息進(jìn)行壓縮的一種計(jì)算機(jī)程序，該初始幀頻是從近似的36fps、72fps和75fps之中選擇出的，在存儲(chǔ)介質(zhì)中如此配置以使得計(jì)算機(jī)按照一種特殊的并且預(yù)定義的方式進(jìn)行操作來完成以下功能(a)把所獲取的視頻幀編碼成包括以下部分的一種已壓縮的數(shù)據(jù)流，它包括(1)一個(gè)基層，包含具有相當(dāng)?shù)偷姆直媛屎蛷慕频?4Hz、36Hz以及37.5之中選擇出的一個(gè)幀頻的已編碼的比特流；(2)可任選地、至少一個(gè)時(shí)域增強(qiáng)型層，包含具有相當(dāng)?shù)偷姆直媛屎蛷慕频?0Hz、72Hz以及75Hz之中選擇出的一個(gè)幀頻的已編碼的比特流；(3)可任選地，至少一個(gè)高分辨率增強(qiáng)型層，包含具有相當(dāng)高的分辨率和從近似的24Hz、36Hz以及37.5Hz之中選擇出的一個(gè)幀頻的已編碼的比特流，(4)可任選地，至少一個(gè)高分辨率時(shí)域增強(qiáng)型層，包含具有相當(dāng)高的分辨率和從近似的72Hz與75Hz之中選擇出的一個(gè)幀頻的已編碼的比特流；(b)輸出該已壓縮的數(shù)據(jù)流。
全文摘要
一種圖象壓縮的方法和裝置,證明它可以高質(zhì)量在高幀頻處實(shí)現(xiàn)好于1000線分辨率的圖象壓縮、隨后產(chǎn)生一個(gè)MPEG－2數(shù)據(jù)流,它包括:(1)一個(gè)基層(100),只用MPEG－2P幀優(yōu)選地編碼,包括一個(gè)低分辨率(例如,1024×512像素),低幀頻(24或36Hz)比特流;(2)一個(gè)可任選的基礎(chǔ)分辨率時(shí)域增強(qiáng)層,只用MPEG－2B幀來編碼,包括一個(gè)低分辨率(例如,1024×512像素),高幀頻(72Hz)比特流;(3)一個(gè)可任選的基礎(chǔ)時(shí)域高分辨率增強(qiáng)型層(104),只用MPEG－2P幀優(yōu)選地編碼,包括高分辨率(例如,2K×1K像素),低幀頻(24或36Hz)比特流;(4)一個(gè)可任選的高分辨率時(shí)域增強(qiáng)層(106),只用MPGEG－2B幀來編碼,包括高分辨率(例如,2K×1K像素),高幀頻(72Hz)比特流。
文檔編號(hào)H04N5/44GK1219255SQ9719321
公開日1999年6月9日 申請(qǐng)日期1997年1月24日 優(yōu)先權(quán)日1996年1月30日
發(fā)明者G·E·德莫斯 申請(qǐng)人:德莫格拉夫克斯公司