專利名稱：獲得增強(qiáng)譯碼的降低分辨率的視頻信號(hào)的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及編碼的高清晰度(HD)視頻信號(hào)的譯碼，以獲得例如適合于記錄或產(chǎn)生畫中畫(PIP)或其他降低分辨率顯示的增強(qiáng)譯碼的視頻信號(hào)。
本領(lǐng)域公知的電視接收機(jī)在顯示從一個(gè)基本電視頻道中獲得的相對大的圖像時(shí)，也同時(shí)顯示從輔助電視頻道獲得的較小的畫中畫(PIP)。在高清晰度電視(HDTV)接收機(jī)的情況下，接收機(jī)必須包括一個(gè)相對復(fù)雜而昂貴的譯碼器，該譯碼器符合在高清晰度顯示中實(shí)時(shí)地譯碼接收的編碼HD視頻信號(hào)的MPEG ISO 13818-2標(biāo)準(zhǔn)。然而，因?yàn)镻IP很小，所以不需要提供高清晰度的PIP顯示，因?yàn)橛^眾本來就不能分辨高清晰度PIP的較高清晰度部分。因此，為了提供PIP，HDTV接收機(jī)可以提供仍然符合ISO 13818-2標(biāo)準(zhǔn)的較低分辨率的第二較簡單和較少花費(fèi)的譯碼器。
本領(lǐng)域的一種公知的方法是提供一種較低分辨率的第二譯碼器，它比提供高清晰度顯示的譯碼器簡單一些而且花費(fèi)較少，它在三個(gè)美國專利5,614,952、5,614,957和5,635,985中公開，這三個(gè)專利分別于1997年3月25日、1997年3月25日和1997年6月3日授予Boyce等人。
共同未決的美國專利申請系列號(hào)09/349,865于1999年7月8日申請，并且轉(zhuǎn)讓給如本申請相同的受讓人，它的描述引導(dǎo)到適用于從接收的編碼HD視頻信號(hào)實(shí)時(shí)地獲得PIP顯示的較低分辨率的第二譯碼器的方法，與Boyce等人公開的第二譯碼器相比，它實(shí)現(xiàn)起來明顯的簡單并且較少花費(fèi)，但仍然符合ISO13818-2標(biāo)準(zhǔn)。
本發(fā)明的系統(tǒng)涉及到譯碼包括頻域系數(shù)的壓縮的圖像數(shù)據(jù)，這些系數(shù)定義以第一分辨率表示一個(gè)圖像的像素值塊以用降低的第二分辨率提供圖像。該系統(tǒng)包括一個(gè)運(yùn)動(dòng)補(bǔ)償單元(MCU)處理器，它響應(yīng)于一個(gè)選擇的頻域系數(shù)的子集，用于獲得降低的第二分辨率的圖像。運(yùn)動(dòng)補(bǔ)償單元(MCU)處理器以低于第一分辨率而高于降低的第二分辨率的中間的第三分辨率使用表示圖像數(shù)據(jù)的像素值塊。


圖1是一個(gè)示出可變長度譯碼器(VLD)的功能方框圖，它響應(yīng)于輸入HDMPEG數(shù)據(jù)位流，提供第一選擇的MPEG數(shù)據(jù)輸出到PIP譯碼裝置和第二選擇的MPEG數(shù)據(jù)輸出到IID譯碼裝置；圖1a示出一個(gè)由圖1的HD譯碼裝置使用的包含64個(gè)DCT系數(shù)的8×8塊，圖1b示出一個(gè)由圖1的PIP譯碼裝置用于逐行掃描序列的，包含圖1a所示64個(gè)DCT系數(shù)的特定的10個(gè)DCT系數(shù)的8×8塊，圖1c示出一個(gè)由圖1的PIP譯碼裝置用于隔行掃描序列的，包含圖1a所示64個(gè)DCT系數(shù)的特定的10個(gè)DCT系數(shù)的8×8塊；圖2是一個(gè)包括本發(fā)明特性的圖1 PIP譯碼裝置實(shí)施例的簡化功能方框圖；圖3是一個(gè)詳細(xì)示出圖2增強(qiáng)的MCU處理裝置的功能方框圖；圖4是一個(gè)示出由圖3基于DCT的上升采樣裝置實(shí)現(xiàn)的計(jì)算處理的概念圖；以及圖5是一個(gè)示出由圖3基于DCT的下降采樣裝置實(shí)現(xiàn)的計(jì)算處理的概念圖。
圖1示出了VLD100、PIP譯碼裝置102和HD譯碼裝置104。根據(jù)公知的MPEG ISO 13818-2標(biāo)準(zhǔn)的說明，VLD100對于包括一個(gè)MPEG I、P和B幀序列的輸入編碼HD MPEG數(shù)據(jù)的響應(yīng)是傳送由量化離散余弦變換(DCT)系數(shù)的每個(gè)連續(xù)8×8塊定義的編碼圖像信息作為到HD譯碼裝置104的輸入。另外，根據(jù)公知的MPEG ISO 13818-2標(biāo)準(zhǔn)的說明，在HD譯碼裝置104完成的功能中首先是進(jìn)行每個(gè)連續(xù)8×8 DCT系數(shù)塊的逆量化并且隨后進(jìn)行每個(gè)連續(xù)8×8塊DCT系數(shù)的逆離散余弦變換(IDCT)。最后，在該P(yáng)幀或B幀上已經(jīng)完成IDCT之后，HD譯碼裝置104必須對于每個(gè)P幀和雙向預(yù)測B幀完成運(yùn)動(dòng)補(bǔ)償。
圖1a示出一個(gè)8×8的DCT系數(shù)塊，其中(1)系數(shù)DCT0，0(位于8×8塊的左上角)的值表示在進(jìn)行DCT之前由一個(gè)相應(yīng)8×8像素塊的64個(gè)值所定義圖像的平均(DC)值(即水平頻率和垂直頻率是0)，(2)系數(shù)DCT7，7(位于8×8塊的右下角)的值表示在進(jìn)行DCT之前由一個(gè)相應(yīng)8×8像素塊的64個(gè)值所定義圖像的最高水平頻率和最高垂直頻率分量。對于HD圖像的情況，所有或幾乎所有包括圖1a從DCT0，0到DCT7，7的64個(gè)DCT系數(shù)可以具有非零值。這導(dǎo)致需要相當(dāng)大量的圖像處理計(jì)算來實(shí)時(shí)地完成IDCT。另外，運(yùn)動(dòng)補(bǔ)償還涉及大量的實(shí)時(shí)圖像處理計(jì)算。因此，HD譯碼裝置104需要大約96兆位的存儲(chǔ)器以在顯示之前臨時(shí)存儲(chǔ)MPEG譯碼圖像幀。HD譯碼裝置104需要這些幀的運(yùn)動(dòng)補(bǔ)償以重構(gòu)用于顯示的精確圖像。這樣，HD譯碼裝置104的物理實(shí)現(xiàn)是相當(dāng)昂貴的。
返回到圖1，VLD100對于輸入編碼HD MPEG數(shù)據(jù)的另一響應(yīng)是僅僅傳送由每個(gè)連續(xù)8×8塊的較低頻率定義的、量化DCT系數(shù)的相對小的給定數(shù)量定義的編碼圖像信息作為到PIP譯碼裝置102的輸入。應(yīng)該注意PIP處理和圖像以及術(shù)語PIP本身在這里用于包括任何形式的降低分辨率的圖像和處理并且不僅僅是電視PIP圖像的生成。盡管在前面所述專利申請S.N 09/349,865中描述的PIP譯碼裝置的優(yōu)選指導(dǎo)實(shí)例僅使用6個(gè)最低頻率量化的DCT系數(shù)，但在下面詳細(xì)描述的增強(qiáng)質(zhì)量的PIP譯碼裝置102的優(yōu)選指導(dǎo)實(shí)例中使用10個(gè)DCT系數(shù)，包括圖1b所示的逐行掃描使用的DCT0，0、DCT1，0、DCT2，0、DCT3，0、DCT0，1、DCT1，1、DCT2，1、DCT0，2、DCT1，2和DCT0，3，或者是另一種情況，包括圖1c所示的隔行掃描使用的DCT0，0、DCT1，0、DCT2，0、DCT0，1、DCT1，1、DCT0，2、DCT0，3、DCT0，4、DCT0，5和DCT0，6，因此對于增強(qiáng)的PIP顯示提供了較好的高頻響應(yīng)。更準(zhǔn)確地說，由VLD100接收的PIP位流已經(jīng)由VLD-PIP分析器(為了簡化圖1起見未示出)進(jìn)行預(yù)分析去除PIP譯碼器不需要的位流DCT系數(shù)。
圖2所示增強(qiáng)質(zhì)量的PIP譯碼裝置102實(shí)施例的簡化功能方框圖包括行程譯碼器(RLD)200、逆量化器(IQ)202、單位增強(qiáng)IDCT與濾波和像素抽取處理裝置204、基本層加法器205B、增強(qiáng)層加法器205E、基本和增強(qiáng)層抽取像素存儲(chǔ)器206、增強(qiáng)層編碼器207、增強(qiáng)的運(yùn)動(dòng)補(bǔ)償單元(MCU)處理裝置208和采樣速率轉(zhuǎn)換器210。雖然圖2的簡化功能方框圖沒有示出控制這個(gè)增強(qiáng)質(zhì)量的PIP譯碼裝置102實(shí)施例的操作的裝置，但應(yīng)該理解符合ISO 13818-2標(biāo)準(zhǔn)要求的適當(dāng)?shù)目刂蒲b置包括在這個(gè)實(shí)施例的物理實(shí)現(xiàn)中。
為說明起見，下面對部件200、202、204、205B、205E、206、207、208和210的描述假定這些部件中每一個(gè)根據(jù)上面討論的優(yōu)選指導(dǎo)實(shí)例來操作。
在這個(gè)例子中，RLD 200使用在ISO 13818-2標(biāo)準(zhǔn)中定義的2個(gè)掃描模式對于每個(gè)8×8編碼塊輸出10個(gè)DCT系數(shù)。如由逐行_序列標(biāo)記狀態(tài)確定的，在圖1b中對于逐行掃描以及在圖1c中對于隔行掃描說明了每個(gè)8×8塊內(nèi)10個(gè)DCT系數(shù)的定位。在圖1b的逐行序列的情況下，如果對于當(dāng)前圖像來自圖像編碼擴(kuò)展的交替_掃描標(biāo)記是0，則10個(gè)DCT系數(shù)相應(yīng)于按1維掃描順序的系數(shù)0，1，2，3，4，5，6，7，8，9，而如果交替_掃描標(biāo)記是1，則所關(guān)心的10個(gè)DCT系數(shù)是按掃描順序的系數(shù)0，1，2，3，4，5，6，7，8，20。在圖1c隔行序列的情況下，如果對于當(dāng)前圖像來自圖像編碼擴(kuò)展的交替_掃描標(biāo)記是0，則10個(gè)DCT系數(shù)相應(yīng)于按1維掃描順序的系數(shù)0，1，2，3，4，5，9，10，20，21，而如果交_替掃描標(biāo)記是1，則所關(guān)心的10個(gè)DCT系數(shù)是按掃描順序的系數(shù)0，1，2，3，4，5，6，10，11，12。根據(jù)交替_掃描和逐行_序列標(biāo)記的值，存在有兩種行程值，這兩種值在RLD 200中的含意與在ISO 13818-2標(biāo)準(zhǔn)中的描述是不同的。對于逐行序列，如果交替_掃描標(biāo)記是0，則一個(gè)為10的行程值表示PIP譯碼器102所需的系數(shù)全是0并且沒有后續(xù)非零系數(shù)。類似地，如果交替_掃描標(biāo)記是1，則一個(gè)為21的行程值表示譯碼器102所需的系數(shù)全是0并且沒有后續(xù)非零的系數(shù)。對于隔行序列，如果交替_掃描標(biāo)記是0，則一個(gè)為22的行程值表示PIP譯碼器102所需的系數(shù)全是0并且沒有后續(xù)非零系數(shù)。類似地，如果交替_掃描標(biāo)記是1，則一個(gè)為13的行程值表示譯碼器102所需的系數(shù)全是0并且之后沒有非零的系數(shù)。表1對于逐行序列的兩個(gè)可能的交替_掃描標(biāo)記值，歸納了行程值10和21的含意，表2對于隔行序列的兩個(gè)可能的交替_掃描標(biāo)記值，歸納了行程值13和22的含意。所有其他被RLD 200遇到的交替_掃描/行程值的組合如ISO 13818-2標(biāo)準(zhǔn)中描述的進(jìn)行解釋。
表1-對于逐行序列由RLD 200對行程＝10和行程＝21的解釋
表2-對于隔行序列由RLD 200對行程＝13和行程＝22的解釋
IQ 202根據(jù)圖1b所示逐行序列和圖1c所示隔行序列的10個(gè)DCT系數(shù)執(zhí)行ISO 13818-2標(biāo)準(zhǔn)中描述的逆量化運(yùn)算和飽和度。逆量化過程的失配控制部分是不需要的。通常，需要一個(gè)要求三個(gè)獨(dú)立步驟的擴(kuò)展計(jì)算過程將在IQ 202輸出的8×8塊中的編碼頻域信息轉(zhuǎn)換為空間域圖像信息，該圖像信息包含降低分辨率的PIP顯示圖像的較小抽取像素塊的相應(yīng)值。第一步是確定每個(gè)8×8圖像信息塊的64個(gè)(即最大像素密度)像素值的每一個(gè)的值作為逆量化的DCT系數(shù)值的IDCT函數(shù)。以后，第二步驟是低通濾波，緊隨著是第三步驟像素抽取，可以在每個(gè)連續(xù)8×8塊的像素上執(zhí)行以提供所需的較小塊的抽取像素。例如，對于逐行掃描情況的交替水平和垂直濾波的像素的抽取可能導(dǎo)致在像素密度上減少75％。類似地，對于隔行掃描情況的水平方向上4個(gè)連續(xù)濾波的像素中抽取3個(gè)也可能導(dǎo)致在像素密度上減少75％。這樣，在任何一種情況下，對于亮度像素以及色度像素執(zhí)行這樣一種抽取可能導(dǎo)致對于它們中每一個(gè)在像素密度上從每個(gè)8×8塊的64個(gè)減少到每個(gè)8×8塊只有16個(gè)。然而，為了實(shí)現(xiàn)這種常規(guī)的三步計(jì)算過程所需的硬件量較大，因此也是較昂貴的。
根據(jù)前面所述專利申請S.N.09/349,865，這里公開的單位IDCT、濾波和像素抽取處理裝置能夠?qū)Q 202輸出的、包含在一個(gè)8×8塊中逆量化DCT系數(shù)的編碼的相應(yīng)值轉(zhuǎn)換為單步計(jì)算過程中較小抽取像素塊。這樣，由裝置204實(shí)現(xiàn)這個(gè)單步計(jì)算過程所需的硬件量是較小的，因此，與前面所述常規(guī)的三步計(jì)算過程相比是較便宜的。
特別地，根據(jù)專利申請S.N.09/349,865，它的抽取像素存儲(chǔ)器(因?yàn)槭窍袼爻槿?，所以它要求的存?chǔ)容量的大小僅僅是相應(yīng)的未抽取像素存儲(chǔ)器容量大小的1/4)包括若干單獨(dú)的緩沖器。這些緩沖器的每一個(gè)能夠臨時(shí)存儲(chǔ)抽取的亮度和色度像素。符合ISO 13818-2標(biāo)準(zhǔn)，抽取像素存儲(chǔ)器包括一個(gè)或多個(gè)用于存儲(chǔ)抽取像素的緩沖器，這些抽取像素定義了重構(gòu)的幀內(nèi)編碼(I)、預(yù)測編碼(P)和/或雙向預(yù)測編碼(B)幀或場圖像。另外，在加法器中把來自MCU處理裝置的像素值的運(yùn)動(dòng)補(bǔ)償預(yù)測宏塊輸出加到單位IDCT、濾波和像素抽取處理裝置中獲得的每個(gè)相應(yīng)的宏塊輸出上。從加法器輸出的累加的像素值存儲(chǔ)到抽取像素存儲(chǔ)器的第一緩沖器中。這第一緩沖器可以是一個(gè)先進(jìn)先出(FIFO)緩沖器，其中存儲(chǔ)的抽取像素可以根據(jù)下面兩種情況中的一種重新排序，(1)寫到第一緩沖器和(2)從第一緩沖器讀出并且寫到抽取像素存儲(chǔ)器的另一個(gè)緩沖器中。在當(dāng)前P或B幀或場的情況下，抽取像素存儲(chǔ)器包括一個(gè)緩沖器，用于存儲(chǔ)輸入到MCU處理裝置的宏塊以提供運(yùn)動(dòng)補(bǔ)償。
根據(jù)本發(fā)明原理，為了獲得高質(zhì)量運(yùn)動(dòng)補(bǔ)償和改進(jìn)PIP圖像質(zhì)量，將兩層抽取的像素分別存儲(chǔ)在基本和增強(qiáng)層抽取像素存儲(chǔ)器206是有益的。這兩層中的第一層是抽取像素的基本層，而這兩層中的第二層是亮度宏塊抽取像素的向量量化值的增強(qiáng)層，在P圖像的譯碼期間它們用在增強(qiáng)的MCU處理裝置208中。增強(qiáng)層用于提供比僅僅使用基本層的抽取像素獲得的更高分辨率的降低分辨率的圖像。用下面詳細(xì)描述的方式，由增強(qiáng)的MCU處理裝置208使用基本層和這個(gè)增強(qiáng)層。
現(xiàn)在詳細(xì)地描述用于實(shí)現(xiàn)本發(fā)明的IDCT、濾波和像素抽取處理裝置204、增強(qiáng)層編碼器207和增強(qiáng)的MCU處理裝置208的優(yōu)選實(shí)施例。
對于每個(gè)逐行掃描和隔行掃描使用的每個(gè)基本和增強(qiáng)層，單位增強(qiáng)的IDCT、濾波和像素抽取處理裝置204提供下面16組抽取的像素值(每組是一個(gè)包括10個(gè)DCT系數(shù)值的函數(shù))。
逐行掃描，抽取像素值的基本層組g1(0，0)＝[8DCT0，0+10DCT1，0+7DCT2，0+4DCT3，0+10DCT0，1+13DCT1，1+9DCT2，1+7DCT0，2+9DCT1，2+4DCT0，3]/64g1(1，0)＝[8DCT0，0+4DCT1，0-7DCT2，0-9DCT3，0+10DCT0，1+5DCT1，1-9DCT2，1+7DCT0，2+4DCT1，2+4DCT0，3]/64g1(2，0)＝[8DCT0，0-4DCT1，0-7DCT2，0+9DCT3，0+10DCT0，1-5DCT1，1-9DCT2，1+7DCT0，2-4DCT1，2+4DCT0，3]/64g1(3，0)＝[8DCT0，0-10DCT1，0+7DCT2，0-4DCT3，0+10DCT0，1-13DCT1，1+9DCT2，1+7DCT0，2-9DCT1，2+4DCT0，3]/64g1(0，1)＝[8DCT0，0+10DCT1，0+7DCT2，0+4DCT3，0+4DCT0，1+5DCT1，1+4DCT2，1-7DCT0，2-9DCT1，2-9DCT0，3]/64g1(1，1)＝[8DCT0，0+4DCT1，0-7DCT2，0-9DCT3，0+4DCT0，1+2DCT1，1-4DCT2，1-7DCT0，2-4DCT1，2-9DCT0，3]/64g1(2，1)＝[8DCT0，0-4DCT1，0-7DCT2，0+9DCT3，0+4DCT0，1-2DCT1，1-4DCT2，1-7DCT0，2+4DCT1，2-9DCT0，3]/64g1(3，1)＝[8DCT0，0-10DCT1，0+7DCT2，0-4DCT3，0+4DCT0，1-5DCT1，1+4DCT2，1
-7DCT0，2+9DCT1，2-9DCT0，3]/64g1(0，2)＝[8DCT0，0+10DCT1，0+7DCT2，0+4DCT3，0-4DCT0，1-5DCT1，1-4DCT2，1-7DCT0，2-9DCT1，2+9DCT0，3]/64g1(1，2)＝[8DCT0，0+4DCT1，0-7DCT2，0-9DCT3，0-4DCT0，1-2DCT1，1+4DCT2，1-7DCT0，2-4DCT1，2+9DCT0，3]/64g1(2，2)＝[8DCT0，0-4DCT1，0-7DCT2，0+9DCT3，0-4DCT0，1+2DCT1，1+4DCT2，1-7DCT0，2+4DCT1，2+9DCT0，3]/64g1(3，2)＝[8DCT0，0-10DCT1，0+7DCT2，0-4DCT3，0-4DCT0，1+5DCT1，1-4DCT2，1-7DCT0，2+9DCT1，2+9DCT0，3]/64g1(0，3)＝[8DCT0，0+10DCT1，0+7DCT2，0+4DCT3，0-10DCT0，1-13DCT1，1-9DCT2，1+7DCT0，2+9DCT1，2-4DCT0，3]/64g1(1，3)＝[8DCT0，0+4DCT1，0-7DCT2，0-9DCT3，0-10DCT0，1-5DCT1，1+9DCT2，1+7DCT0，2+4DCT1，2-4DCT0，3]/64g1(2，3)＝[8DCT0，0-4DCT1，0-7DCT2，0+9DCT3，0-10DCT0，1+5DCT1，1+9DCT2，1+7DCT0，2-4DCT1，2-4DCT0，3]/64g1(3，3)＝[8DCT0，0-10DCT1，0+7DCT2，0-4DCT3，0-10DCT0，1+13DCT1，1-9DCT2，1+7DCT0，2-9DCT1，2-4DCT0，3]/64逐行掃描，抽取像素值的增強(qiáng)層組g0(0，0)＝
/64g0(1，0)＝
/64g0(2，0)＝
/64g0(3，0)＝
/64g0(0，2)＝
/64g0(1，2)＝
/64g0(2，2)＝
/64g0(3，2)＝
/64g0(0，4)＝
/64g0(1，4)＝
/64g0(2，4)＝
/64g0(3，4)＝
/64g0(0，6)＝
/64g0(1，6)＝
/64g0(2，6)＝
/64g0(3，6)＝
/64隔行掃描，抽取像素值的基本層組g1(0，0)＝[8DCT0，0+7DCT1，0+11DCT0，1+10DCT1，1+10DCT0，2+0DCT2，0+9DCT0，3+8DCT0，4+6DCT0，5+4DCT0，6]/64g1(1，0)＝[8DCT0，0-7DCT1，0+11DCT0，1-10DCT1，1+10DCT0，2+0DCT2，0+9DCT0，3+8DCT0，4+6DCT0，5+4DCT0，6]/64g1(0，1)＝[8DCT0，0+7DCT1，0+9DCT0，1+9DCT1，1+4DCT0，2+0DCT2，0-2DCT0，3-8DCT0，4-11DCT0，5-10DCT0，6]/64g1(1，1)＝[8DCT0，0-7DCT1，0+9DCT0，1-9DCT1，1+4DCT0，2+0DCT2，0-2DCT0，3-8DCT0，4-11DCT0，5-10DCT0，6]/64g1(0，2)＝[8DCT0，0+7DCT1，0+6DCT0，1+6DCT1，1-4DCT0，2+0DCT2，0
-11DCT0，3-8DCT0，4+2DCT0，5+10DCT0，6]/64g1(1，2)＝[8DCT0，0-7DCT1，0+6DCT0，1-6DCT1，1-4DCT0，2+0DCT2，0-11DCT0，3-8DCT0，4+2DCT0，5+10DCT0，6]/64g1(0，3)＝[8DCT0，0+7DCT1，0+2DCT0，1+2DCT1，1-10DCT0，2+0DCT2，0-6DCT0，3+8DCT0，4+9DCT0，5-4DCT0，6]/64g1(1，3)＝[8DCT0，0-7DCT1，0+2DCT0，1-2DCT1，1-10DCT0，2+0DCT2，0-6DCT0，3+8DCT0，4+9DCT0，5-4DCT0，6]/64g1(0，4)＝[8DCT0，0+7DCT1，0-2DCT0，1-2DCT1，1-10DCT0，2+0DCT2，0+6DCT0，3+8DCT0，4-9DCT0，5-4DCT0，6]/64g1(1，4)＝[8DCT0，0-7DCT1，0-2DCT0，1+2DCT1，1-10DCT0，2+0DCT2，0+6DCT0，3+8DCT0，4-9DCT0，5-4DCT0，6]/64g1(0，5)＝[8DCT0，0+7DCT1，0-6DCT0，1-6DCT1，1-4DCT0，2+0DCT2，0+11DCT0，3-8DCT0，4-2DCT0，5+10DCT0，6]/64g1(1，5)＝[8DCT0，0-7DCT1，0-6DCT0，1+6DCT1，1-4DCT0，2+0DCT2，0+11DCT0，3-8DCT0，4-2DCT0，5+10DCT0，6]/64g1(0，6)＝[8DCT0，0+7DCT1，0-9DCT0，1-9DCT1，1+4DCT0，2+0DCT2，0+2DCT0，3-8DCT0，4+11DCT0，5-10DCT0，6]/64g1(1，6)＝[8DCT0，0-7DCT1，0-9DCT0，1+9DCT1，1+4DCT0，2+0DCT2，0+2DCT0，3-8DCT0，4+11DCT0，5-10DCT0，6]/64g1(0，7)＝[8DCT0，0+7DCT1，0-11DCT0，1-10DCT1，1+10DCT0，2+0DCT2，0-9DCT0，3+8DCT0，4-6DCT0，5+4DCT0，6]/64g1(1，7)＝[8DCT0，0-7DCT1，0-11DCT0，1+10DCT1，1+10DCT0，2+0DCT2，0-9DCT0，3+8DCT0，4-6DCT0，5+4DCT0，6]/64隔行掃描，抽取像素值的增強(qiáng)層組g0(0，0)＝
/64g0(2，0)＝
/64g0(0，1)＝
/64g0(2，1)＝
/64g0(0，2)＝
/64g0(2，2)＝
/64g0(0，3)＝
/64g0(2，3)＝
/64g0(0，4)＝
/64g0(2，4)＝
/64g0(0，5)＝
/64g0(2，5)＝
/64g0(0，6)＝
/64g0(2，6)＝
/64g0(0，7)＝
/64g0(2，7)＝
/64用下面的方式導(dǎo)出上述“抽取像素值的逐行掃描組”和上述“抽取像素值的隔行掃描組”中的每一個(gè)1.如果DCTu，v表示具有水平頻率下標(biāo)u和垂直頻率下標(biāo)v的DCT系數(shù)，則用于譯碼在最大分辨率(這里x＝0，…，N-1；y＝0，…，N-1)下表示f(x，y)的一個(gè)塊的IDCT方程式由下式給出f(x,y)=2NΣu=0N-1Σv=0N-1C(u)C(v)DCTu,vcos(2x+1)uπ2Ncos(2y+1)vπ2N----(1)]]>2.僅僅使用圖1b示出的10個(gè)DCT系數(shù)，給出用于逐行掃描序列的近似方程式(2)
3.僅僅使用圖1c示出的10個(gè)DCT系數(shù)，給出用于隔行掃描序列的近似方程式(3)
4.令方程式(2)和(3)的右邊用f(x，y)表示。在逐行掃描(即逐行_序列標(biāo)記是1)的情況下，根據(jù)下面的方程式(4)計(jì)算基本層的值g1′(x，y)并且根據(jù)下面方程式(5)計(jì)算增強(qiáng)層的值g0′(x，y)。g1′(x,y)=14[f′(2x,2y)+f′(2x+1,2y)+f′(2x,2y+1)+f′(2x+1,2y+1)]----(4)]]>這里x＝0，…，3；y＝0，…，3。g0′(x,y)=14[f′(2x,y)+f′(2x+1,y)-f′(2x,y+1)-f′(2x+1,y+1)]----(5)]]>這里x＝0，…，3；y＝0，2，4，6。
更準(zhǔn)確地說，方程式(4)的g1′(x，y)定義了在最大分辨率8×8塊的一個(gè)2×2塊部分中安排的一組4個(gè)相鄰像素(或預(yù)測誤差)值的平均值。方程式(5)的值g0′(x，y)定義了在最大分辨率8×8塊的一個(gè)2×2塊部分中安排的一條垂直線的第一組2個(gè)相鄰水平像素(或預(yù)測誤差)值的平均值和隨后的垂直線的第二組2個(gè)相鄰水平像素(或預(yù)測誤差)值的平均值之間的差值。通過將方程式(2)代入方程式(4)，在g1′(x，y)中用數(shù)字值代替x和y，代入N＝8，用有理值近似DCT系數(shù)的加權(quán)因子，獲得上面的“逐行掃描，抽取像素值的基本層組”的16個(gè)方程式g1(0，0)到g1(3，3)。以類似的方式，通過將方程式(2)代入方程式(5)，在g0′(x，y)中用數(shù)字值代替x和y，代入N＝8，用有理值近似DCT系數(shù)的加權(quán)因子，獲得上面的“逐行掃描，抽取像素值的增強(qiáng)層組”的16個(gè)方程式g0(0，0)到g0(3，6)。雖然增強(qiáng)層的有效像素抽取僅僅是2個(gè)(而不是基本層的4個(gè)有效像素抽取)，但是等式g0(x，y+1)＝-g0(x，y)對于y＝0，2，4，6成立，使得不需要計(jì)算具有奇數(shù)垂直下標(biāo)的增強(qiáng)層值。這樣對于逐行掃描I或P圖像的每個(gè)8×8亮度塊僅需要計(jì)算16個(gè)獨(dú)立的g0(x，y)增強(qiáng)層值。另外，因?yàn)檫@16個(gè)g0(x，y)增強(qiáng)層值是余值，所以它們傾向于具有小的動(dòng)態(tài)范圍。
在隔行掃描(即逐行_序列標(biāo)記是0)的情況下，根據(jù)下面的方程式(6)計(jì)算基本層的值g1′(x，y)并且根據(jù)下面方程式(7)計(jì)算增強(qiáng)層的值g0′(x，y)。g1′(x,y)=14[f′(4x,y)+f′(4x+1,y)+f′(4x+2,y)+f′(4x+3,y)]----(6)]]>這里x＝0，1；y＝0，…，7。g0′(x,y)=14[f′(2x,y)+f′(2x+1,y)-f′(2x+2,y)-f′(2x+3,y)]----(7)]]>這里x＝0，2；y＝0，…，7。
在一個(gè)8×8塊的隔行掃描情況下，方程式(6)的g1′(x，y)定義了在8×8塊的一個(gè)4×1塊部分中安排的一組4個(gè)相鄰像素(或預(yù)測誤差)值的平均值。方程式(7)的值g0′(x，y)定義了在8×8塊的一個(gè)4×1塊部分中安排的一個(gè)垂直線的第一組2個(gè)相鄰水平像素(或預(yù)測誤差)值的平均值和相同垂直線的第二組下一個(gè)2個(gè)相鄰水平像素(或預(yù)測誤差)值的平均值之間的差值。通過將方程式(3)代入方程式(6)，在g1′(x，y)中用數(shù)字值代替x和y，用8代替N，用有理值近似于DCT系數(shù)的加權(quán)因子，獲得在“隔行掃描，抽取像素值的基本層組”上的16個(gè)方程式g1(0，0)到g1(1，7)。以類似的方式，通過將方程式(3)代入方程式(7)，在g0′(x，y)中用數(shù)字值代替x和y，代入N＝8，用有理值近似DCT系數(shù)的加權(quán)因子，獲得上面的“隔行掃描，抽取像素值的增強(qiáng)層組”的16個(gè)方程式g0(0，0)到g0(2，7)。雖然增強(qiáng)層的有效像素抽取僅僅是2個(gè)(而不是基本層的4個(gè)有效像素抽取)，但是等式g0(x+1，y)＝-g0(x，y)對于x＝0和x＝2成立，使得不需要計(jì)算具有奇數(shù)水平下標(biāo)的增強(qiáng)層值。這樣，對于隔行掃描I或P圖像的每個(gè)8×8亮度塊僅需要計(jì)算16個(gè)獨(dú)立的g0(x，y)增強(qiáng)層值。另外，因?yàn)檫@16個(gè)g0(x，y)增強(qiáng)層值是余值，所以它們傾向于具有小的動(dòng)態(tài)范圍。
返回到圖2，單元204將包含I、P以及B亮度和色度g1(x，y)基本層抽取像素值的連續(xù)8×8塊的輸出以一個(gè)預(yù)定順序作為第一輸入傳送到基本層加法器205B(對于非編碼的塊，所有這樣的值為零)。這個(gè)預(yù)定順序包括8×8像素亮度塊的每一2×2陣列和兩個(gè)色度塊中每一個(gè)的抽取像素值，這些塊形成由增強(qiáng)的MCU處理裝置208使用的抽取宏塊。另外，單元208將一個(gè)基本層抽取像素值的相應(yīng)塊p1(x，y)以這個(gè)相同預(yù)定順序作為第二輸入施加到基本層加法器205B(對于內(nèi)部編碼宏塊，所有這樣的值為零)。作為從基本層加法器205B的和輸出獲得的基本層抽取像素值的塊s1(x，y)隨后存儲(chǔ)在存儲(chǔ)器206中。
單元204將包含I和P亮度g0(x，y)增強(qiáng)層抽取像素值的輸出以先前提到的抽取像素宏塊預(yù)定順序作為第一輸入傳送到增強(qiáng)層加法器205E(對于非編碼的塊，所有這樣的值為零)。另外，在P亮度像素的情況下，單元208將64個(gè)p0(x，y)增強(qiáng)層抽取像素值的相應(yīng)宏塊以這個(gè)相同預(yù)定順序作為第二輸入施加到加法器205E(對于內(nèi)部編碼宏塊，所有這樣的值為零)。在I和P圖像的譯碼期間，作為從加法器205E的和輸出獲得的64個(gè)s0(x，y)增強(qiáng)層抽取像素值的宏塊作為一個(gè)輸入施加到增強(qiáng)層編碼器207，并且隨后來自編碼器207的編碼輸出位字存儲(chǔ)在存儲(chǔ)器206中。
具有較高分辨率的增強(qiáng)層的宏塊一般包括128個(gè)抽取的亮度像素值。然而，因?yàn)樯鲜龅膶τ谥鹦袙呙栊蛄泻透粜袙呙栊蛄械膶ΨQ等式，在塊s0(x，y)中獨(dú)立抽取的增強(qiáng)層像素值的數(shù)量從128減少到64。因此，預(yù)定的順序使得僅有一半增強(qiáng)層抽取的像素值需要由增強(qiáng)層編碼器207考慮。這些增強(qiáng)層值被使用簡單的向量量化器成對編碼，每對值由一個(gè)8位碼字表示。因?yàn)樵谝粋€(gè)宏塊中有64個(gè)增強(qiáng)層值要被編碼，所以每個(gè)宏塊用于增強(qiáng)層的存儲(chǔ)位數(shù)是32×8＝256位。在優(yōu)選實(shí)施例中，32個(gè)碼字被組合到來自編碼器207的兩個(gè)128位輸出字中用于存儲(chǔ)在存儲(chǔ)器206。
對于逐行序列，在塊s0(x，y)中每對水平相鄰值作為一個(gè)二維向量編碼，而對于隔行序列，在s0(x，y)中每對垂直相鄰(在相同的場內(nèi))值作為一個(gè)二維向量編碼。令v0和v1為一對被一起編碼的值。在附錄A中詳細(xì)地描述了為了編碼v0和v1對由編碼器207使用的計(jì)算過程。在對于s0(x，y)中每對值完成這個(gè)過程以后，碼字被組合到兩個(gè)128位字中，這兩個(gè)128位字形成編碼器207的輸出，被存儲(chǔ)在存儲(chǔ)器206中。
再次返回到圖2，存儲(chǔ)器206提供(1)基本層輸出d1(x，y)到單元208(d1(x，y)在內(nèi)容上類似于提供到存儲(chǔ)器206的基本層輸入s1(x，y))以及(2)增強(qiáng)層輸出到單元208(在內(nèi)容上類似于到存儲(chǔ)器206的增強(qiáng)層輸入)。
為了增強(qiáng)的MCU處理裝置208形成一個(gè)預(yù)測塊，從存儲(chǔ)器206取出一個(gè)像素值塊。從存儲(chǔ)的參考圖像讀取的基本層像素值表示為d1(x，y)。只有當(dāng)形成的預(yù)測塊是用于P圖像中亮度分量時(shí)所需的增強(qiáng)層余值表示為d0(x，y)。因?yàn)樵鰪?qiáng)層樣本以編碼的形式存儲(chǔ)在存儲(chǔ)器206，所以從存儲(chǔ)器206輸入到單元208的輸出的增強(qiáng)層數(shù)據(jù)由增強(qiáng)層譯碼器300譯碼(圖3)以獲得d0(x，y)值。單元208分別形成單獨(dú)的亮度或色度輸出用于相應(yīng)于頂部和底部場預(yù)測塊的場預(yù)測操作。在雙向預(yù)測宏塊中，這些操作分別對于正向和反向預(yù)測實(shí)現(xiàn)并且如ISO 13818-2標(biāo)準(zhǔn)描述的組合其結(jié)果。在下面由單元208實(shí)現(xiàn)的計(jì)算過程操作的詳細(xì)描述中，符號(hào)/表示將趨近于負(fù)的無窮大的結(jié)果截?cái)嗟恼麛?shù)除法，而符號(hào)//表示將趨進(jìn)于零的結(jié)果截?cái)嗟恼麛?shù)除法，符號(hào)％表示模數(shù)運(yùn)算符，它被定義為如果x是一個(gè)負(fù)數(shù)而M是一個(gè)正數(shù)，則x％M＝M-((x//M)*M-x)。
在可以從存儲(chǔ)器206讀取樣本塊之前，確定塊的位置和大小。在參考圖像中像素值塊的位置由參考圖像中塊開始的水平和垂直坐標(biāo)(即期上角)規(guī)定。對于基本層，這些坐標(biāo)是圖像的下標(biāo)，該圖像對于隔行序列是1/4的水平、最大的垂直分辨率，對于逐行序列是1/2的水平、1/2的垂直分辨率。對于增強(qiáng)層，這些坐標(biāo)是圖像的下標(biāo)，該圖像對于隔行和逐行序列都是1/2的水平、最大的垂直分辨率。
為了在參考圖像中定位塊d1(x，y)和d0(x，y)，需要被譯碼的宏塊的運(yùn)動(dòng)向量。位流中運(yùn)動(dòng)向量數(shù)據(jù)的譯碼、運(yùn)動(dòng)向量預(yù)測器的更新、以及在不包含編碼運(yùn)動(dòng)向量的非內(nèi)部宏塊(即跳過的宏塊)運(yùn)動(dòng)向量的選擇都如ISO 13818-2標(biāo)準(zhǔn)中描述的由單元208實(shí)現(xiàn)。令xb和yb是譯碼的宏塊的最大分辨率的水平和垂直位置，并且令mv＝(dx，dy)是譯碼的運(yùn)動(dòng)向量，使得如果該序列被以最大分辨率譯碼，則在最大分辨率的參考亮度圖像位置(xb+(dx/2))，(yb+(dy/2))的像素值塊可以從存儲(chǔ)器讀取并且用于形成亮度預(yù)測。類似地，需要在參考色度圖像位置(xb/2+(dx//2)，yb/2+(dy//2))的色度值塊來形成對于最大分辨率模式的2個(gè)色度分量中每一個(gè)的預(yù)測。
使用xb、yb、dx和dy來確定需用于單元208中運(yùn)動(dòng)補(bǔ)償?shù)膲K的參考圖像中的位置。表3示出用于各種預(yù)測模式的塊的位置。需用于單元208中運(yùn)動(dòng)補(bǔ)償?shù)膲K的大小在表4中規(guī)定。表4的基本層入口給出塊d1(x，y)的大小，而表4的增強(qiáng)層入口給出塊d0(x，y)的大小。
表3-增強(qiáng)的MCU處理裝置208中運(yùn)動(dòng)補(bǔ)償所需的塊的位置
表4-增強(qiáng)的MCU處理裝置208中運(yùn)動(dòng)補(bǔ)償所需的塊的大小圖3示出根據(jù)單元208從存儲(chǔ)器206讀取的亮度樣本實(shí)現(xiàn)的處理。如圖3所示，單元208的亮度處理部分包括增強(qiáng)層譯碼器裝置300，增強(qiáng)層像素重構(gòu)裝置302、基于DCT的上升采樣裝置304、最大分辨率塊選擇裝置306、基于DCT的下降采樣裝置308和兩層輸出形成裝置310。這些增強(qiáng)的MCU處理裝置208的部件使用存儲(chǔ)在存儲(chǔ)器206的I和P幀的降低分辨率的塊以形成對于譯碼宏塊的預(yù)測。
圖3的上述結(jié)構(gòu)完成從存儲(chǔ)器206輸入到單元208的亮度像素值的計(jì)算過程。這個(gè)計(jì)算過程在附錄B到G中進(jìn)行了詳細(xì)的描述。然而，簡單地說，譯碼器300沒有將輸入的128位字組合到16個(gè)構(gòu)成的8位碼字。使用附錄B中描述的計(jì)算過程的譯碼器300獲得d0(x，y)作為輸出。使用附錄C中描述的計(jì)算過程的增強(qiáng)層像素重構(gòu)裝置302相應(yīng)輸入到單元208的d1(x，y)和從譯碼器300輸出的d0(x，y)獲得r0(x，y)作為輸出。使用附錄D中描述的計(jì)算過程的基于DCT的上升采樣裝置304以最大分辨率水平上升采樣r0(x，y)輸入，以獲得r(x，y)。使用附錄E中描述的計(jì)算過程的最大分辨率塊選擇裝置306使用r(x，y)以獲得預(yù)測p(x，y)的最大分辨率塊作為輸出。使用附錄F中描述的計(jì)算過程的基于DCT的下降采樣裝置308以一半水平分辨率水平地下降采樣p(x，y)輸入以獲得q(x，y)。使用附錄G中描述的計(jì)算過程的塊q(x，y)作為一個(gè)輸入施加到兩層輸出形成裝置310，以獲得由單元208提供的到圖2所示的加法器205B和205E的輸出p1(x，y)和p0(x，y)。雖然色度預(yù)測所需的計(jì)算過程沒有在圖3中示出，但它們在附錄H中被詳細(xì)地描述。
再次返回到圖2，包括定義每個(gè)連續(xù)圖像場或幀的基本層像素的視頻信號(hào)從存儲(chǔ)器206輸出并且輸入到獲得顯示視頻信號(hào)輸出的采樣速率轉(zhuǎn)換器210。從單元210輸出的顯示視頻信號(hào)表示PIP顯示圖像。舉例來說，假定PIP顯示的大小預(yù)定占據(jù)整個(gè)HD顯示大小在水平方向的1/3和垂直方向的1/3。如果HD位流的初始分辨率是1920×1080隔行的，則PIP譯碼幀(其中在水平方向的像素?cái)?shù)量已經(jīng)按一個(gè)因子3/4抽取)是480×1080隔行的。假定一個(gè)1920×1080隔行的HD顯示，顯示的PIP幀應(yīng)該是640×360隔行的。因此，在這個(gè)例子中，存儲(chǔ)在存儲(chǔ)器的譯碼幀必須通過采樣速率轉(zhuǎn)換器210在水平方向上按因子4/3以及在垂直方向上由因子1/3按比例伸縮。
在本發(fā)明實(shí)現(xiàn)的實(shí)施例中，用于以編碼形式存儲(chǔ)1/2分辨率的增強(qiáng)層的一個(gè)存儲(chǔ)器中所需的額外容量是僅將1.98兆位加到存儲(chǔ)1/4分辨率的基本層所需的17.8兆位。這樣，包括編碼的1/2分辨率的增強(qiáng)層增加了基本和增強(qiáng)層抽取像素存儲(chǔ)器所需的存儲(chǔ)容量與19.78兆位相比是一個(gè)較小量(即只比11％多一點(diǎn))。
附錄A增強(qiáng)層編碼器207在下面的過程中，用于編碼每對增強(qiáng)層值v0、v1，符號(hào)“DIV”表示將結(jié)果四舍五入取整為最接近的整數(shù)的整數(shù)除法。
首先，值v0、v1被限制在范圍[-45，45]。然后8位碼字C如下面?zhèn)未a所示計(jì)算如果(v0＞-4 AND v0＜4 AND v1＞-4 AND v1＜4)C＝7*(v1+3)+v0+211否則如果(v1＜v0-25)v0＝(v0+v1+25)/2v1＝v0-25
否則如果(v1＞v0+25)v0＝(v0+v1-25)/2v1＝v0+25v0＝5*(v0DIV 5)v1＝5*(v1DIV 5)C＝104-2*v1-v0/5碼字C是存儲(chǔ)在存儲(chǔ)器中的表示v0、v1對的值。
附錄B增強(qiáng)層譯碼器300在從基本和增強(qiáng)層存儲(chǔ)器206讀出的一個(gè)128位增強(qiáng)層字未組合到16個(gè)單獨(dú)的8位碼字之后，每個(gè)碼字可以如下面描述的譯碼。令C為一個(gè)要被譯碼的碼字并且令b0和b1為通過譯碼C獲得的值。然后下面的偽碼示出應(yīng)該如何計(jì)算b0和b1如果(C＜204)b0＝70-5*(C/11)-5*(C％11)b1＝45-5*(C/11)否則b0＝(C-208)％7-3b1＝(C-208)/7-3每個(gè)譯碼的碼字用于填在一部分d0(x，y)中。對于逐行序列，來自參考圖像中奇數(shù)下標(biāo)行的d0(x，y)的行通過對于適當(dāng)譯碼的碼字值求反而獲得。類似地，對于隔行序列，來自參考圖像中奇數(shù)下標(biāo)列的d0(x，y)的列通過對于適當(dāng)譯碼的碼字值求反而獲得。
附錄C增強(qiáng)層像素重構(gòu)裝置302使用從增強(qiáng)層譯碼器300輸出的塊d0(x，y)以及從基本和增強(qiáng)層存儲(chǔ)器206讀出的塊d1(x，y)，以增強(qiáng)層分辨率(即1/2的水平、最大垂直的分辨率)的像素值可以重構(gòu)P圖像和B圖像。對于P圖像，如附錄B描述的獲得d0(x，y)；對于B圖像，假定對于所有的x和y d0(x，y)為0。
對于逐行序列，用于組合2層的方程式如下給出r0(x，2y)＝d1(x，y)+d0(x，2y)r0(x，2y+1)＝d1(x，y)+d0(x，2y+1)這里x＝0，…，11；y＝0，…，8。
對于隔行序列，用于組合2層的方程式如下給出r0(2x，y)＝d1(x，y)+d0(2x，y)r0(2x+1，y)＝d1(x，y)+d0(2x+1，y)這里對于16×8的預(yù)測，x＝0，…，5；y＝0，…，8，而對于16×16的預(yù)測x＝0，…，5；y＝0，…，16。
使用上面的方程式獲得的塊r0(x，y)包含在一半水平分辨率下的增強(qiáng)層像素，使得增強(qiáng)層像素仍然需要通過一個(gè)水平的因子2上升采樣以達(dá)到最大分辨率。
附錄D基于DCT的上升采樣裝置304基于DCT的上升采樣裝置304將r0(x，y)每一行的12個(gè)輸入像素值線性地轉(zhuǎn)換為以最大分辨率表示r(x，y)每一行的24個(gè)輸出像素值。如圖4所示，在一行中的12個(gè)像素值在具有4個(gè)像素值的3個(gè)組中計(jì)算處理，這里12個(gè)輸入像素值被分為3組W1、W2和W3。對于3組中的每一個(gè)，DCT是一個(gè)4點(diǎn)的DCT，跟隨著一個(gè)將4個(gè)零加到該4點(diǎn)DCT輸出的尾部的零填充器，從該零填充器產(chǎn)生一個(gè)8點(diǎn)輸出。對于3組中每一個(gè)的IDCT是一個(gè)8點(diǎn)IDCT，它產(chǎn)生包括3個(gè)組Z1、Z2和Z3的最大分辨率表示r(x，y)每一行的24個(gè)輸出像素值，其中對于3組中每一個(gè)的輸出像素值包括8個(gè)像素值。
圖4所示的線性變換可以通過方程式Zj＝(1/64)AWj，j＝1，2和3給出的3個(gè)矩陣向量乘法來計(jì)算實(shí)現(xiàn)，這里A=76-188-24723-931260-113-65618-4-41856-63-1160123-92347-28-1876]]>在r0(x，y)的輸入像素值的每一行上實(shí)現(xiàn)這種線性變換的結(jié)果是在最大分辨率的r(x，y)輸出像素值的塊。
附錄E最大分辨率塊選擇裝置306表示為p(x，y)的最后16×16或16×8最大分辨率預(yù)測塊必須由r(x，y)獲得，使用運(yùn)動(dòng)向量(dx，dy)來選擇r(x，y)中像素的子集，如果需要?jiǎng)t使用半個(gè)像素的插值。更準(zhǔn)確地說，如果在r(x，y)中左上角像素具有坐標(biāo)(0，0)，并且r(x，y)的坐標(biāo)以半個(gè)像素的精度規(guī)定，則最后預(yù)測塊的左上角對于逐行序列是r(dx％16，dy％4)，而對于隔行序列是r(dx％16，dy％2)。因?yàn)閞(x，y)的坐標(biāo)以半個(gè)像素的精度規(guī)定，所以dx％M或dy％M(M＝2，4，16)的奇數(shù)值表示必須實(shí)現(xiàn)如ISO 13818-2標(biāo)準(zhǔn)描述的半個(gè)像素插值。
附錄F基于DCT的下降采樣裝置308基于DCT的下降采樣裝置308將p(x，y)的每一行從16個(gè)像素線性地轉(zhuǎn)換為8個(gè)像素。如圖5所示，16像素行首先分為具有8個(gè)像素的兩個(gè)組，U1和U2。對于2組中每一個(gè)，DCT是一個(gè)8點(diǎn)的DCT，接下來是一個(gè)將DCT中最后4點(diǎn)丟棄的截?cái)?。用?組中每一個(gè)的IDCT是一個(gè)4點(diǎn)IDCT，它產(chǎn)生包括2組V1和V2的一半分辨率表示q(x，y)每一行的8個(gè)輸出像素值，其中對于2組中每一個(gè)的輸出像素值包括4個(gè)像素值。圖5示出的基于DCT的下降采樣裝置308的計(jì)算處理輸出是一個(gè)8個(gè)像素的集合，由V1和V2的級聯(lián)形成。
圖5示出的線性變換可以如方程式Zj＝BUj，j＝1和2給出的2個(gè)矩陣向量乘法來計(jì)算完成，這里B=38236-3-221-1-91230289-6-444-4-69283012-9-112-2-362338]]>以最大分辨率在p(x，y)的輸入像素值的每一行上實(shí)現(xiàn)這種線性變換的結(jié)果是在一半水平分辨率的q(x，y)輸出像素值的塊。
附錄G兩層輸出形成裝置310在下面的過程中，符號(hào)“DIV”表示將結(jié)果四舍五入取整為最接近的整數(shù)的整數(shù)除法。對于逐行序列，使用下面的方程式獲得表示為p1(x，y)的MCU的基本層輸出。
p1(x，y)＝(q(x，2y)+q(x，2y+1))DIV 128其中x＝0，…，7；y＝0，…，7。
對于隔行序列，使用下面的方程式獲得表示為p1(x，y)的MCU的基本層輸出。
p1(x，y)＝(q(2x，y)+q(2x+1，y))DIV 128這里對于16×8預(yù)測，x＝0，…，3；y＝0，…，7，而對于16×16預(yù)測，x＝0，…，3；y＝0，…，15。
對于逐行序列使用下面的方程式獲得表示為p0(x，y)并且僅僅對于P圖像計(jì)算的MCU增強(qiáng)層輸出。
p0(x，y)＝(q(x，y)-q(x，y+1))DIV 128這里x＝0，…，7；y＝0，2，4，…，12，14。
對于隔行序列使用下面的方程式獲得表示為p0(x，y)并且僅僅對于P圖像計(jì)算的MCU增強(qiáng)層輸出。
p0(x，y)＝(q(x，y)-q(x+1，y))DIV 128
這里對于16×8預(yù)測，x＝0，2，4，6；y＝0，…，7，而對于16×16預(yù)測，x＝0，2，4，6；y＝0，…，15。
如圖2所示，MCU基本層輸出p1(x，y)作為一個(gè)輸入施加到加法器205B，而MCU增強(qiáng)層輸出p0(x，y)作為一個(gè)輸入施加到加法器205E。
附錄H形成色度分量的預(yù)測塊在下面的過程中，符號(hào)“DIV”表示將結(jié)果四舍五入取整為最接近的整數(shù)的整數(shù)除法。如果形成的預(yù)測塊用于色度分量，則使用像素的重復(fù)操作上升采樣樣本d1(x，y)到最大的分辨率。然后如果需要，則使用具有半個(gè)像素插值的運(yùn)動(dòng)向量(dx，dy)選擇最后的最大分辨率的8×8或8×4的預(yù)測塊。最后，下降采樣最大分辨率預(yù)測以提供要被存儲(chǔ)在基本和增強(qiáng)層存儲(chǔ)器206的基本層預(yù)測。
對于逐行序列，使用下面的方程式實(shí)現(xiàn)將基本層塊d1(x，y)變換為最大分辨率塊r(x，y)的像素重復(fù)操作。
r(x，y)＝d1(x/2，y/2)這里x＝0，…，9；y＝0，…，9。
對于隔行序列，使用下面的方程式實(shí)現(xiàn)將基本層塊d1(x，y)變換為最大分辨率塊r(x，y)的像素重復(fù)操作。
r(x，y)＝d1(x/4，y)這里對于8×4的預(yù)測，x＝0，…，11；y＝0，…，4，而對于8×8的預(yù)測，x＝0，…，11；y＝0，…，8。
由r(x，y)獲得最后的8×8或8×4最大分辨率塊p(x，y)。這個(gè)最后塊的左上角對于逐行序列是r((dx//2)％4，(dy//2)％4)，對于隔行序列是r((dx//2)％8，(dy//2)％2)。(dx//2)％M或(dy//2)％M(M＝2，4，8)的奇數(shù)值表示半個(gè)像素插值是需要的。
通過下降采樣p(x，y)獲得基本層預(yù)測塊p1(x，y)。對于逐行序列，用于執(zhí)行這種下降采樣的方程式是p1(x，y)＝(p(2x，2y)+p(2x+1，2y)+p(2x，2y+1)+p(2x+1，2y+1))DIV 4
這里x＝0，…，3；y＝0，…，3。對于隔行序列，用于實(shí)現(xiàn)這種下降采樣的方程式是p1(x，y)＝(p(4x，y)+p(4x+1，y)+p(4x+2，y)+p(4x+3，y))DIV 4這里對于8×4的預(yù)測，x＝0，1；y＝0，…，3，而對于8×8的預(yù)測，x＝0，1；y＝0，…，7。
如圖2所示，MCU基本層輸出p1(x，y)作為一個(gè)輸入施加到加法器205B。
權(quán)利要求
1.一種用于譯碼包括頻域系數(shù)的壓縮圖像數(shù)據(jù)的設(shè)備，這些系數(shù)定義以第一分辨率表示一個(gè)圖像的像素值塊以提供以降低的第二分辨率顯示的圖像，所述設(shè)備的特征在于第一裝置(102)，響應(yīng)選擇的所述頻域系數(shù)子集，以獲得所述降低的第二分辨率的所述圖像用于顯示以及包括，增強(qiáng)的運(yùn)動(dòng)補(bǔ)償單元(MCU)處理裝置(208)；以及第二裝置(204，205B，205E，206，207)，通過以中間第三分辨率表示所述圖像的像素值塊來操作所述增強(qiáng)的MCU處理裝置，第三分辨率低于所述第一分辨率和高于所述降低的第二分辨率。
2.如權(quán)利要求1所述的設(shè)備，其特征在于所述降低的第二分辨率實(shí)際上是所述第一分辨率的1/4；以及所述第二裝置以中間第三分辨率操作所述增強(qiáng)的MCU處理，第三分辨率實(shí)際上是所述第一分辨率的1/2。
3.如權(quán)利要求1所述的設(shè)備，其特征在于以所述降低的第二分辨率來顯示的所述圖像是一個(gè)逐行掃描圖像。
4.如權(quán)利要求1所述的設(shè)備，其特征在于以所述降低的第二分辨率來顯示的所述圖像是一個(gè)隔行掃描圖像。
5.如權(quán)利要求1所述的設(shè)備，其特征在于所述增強(qiáng)的MCU處理裝置響應(yīng)以所述降低的第二分辨率表示所述圖像的基本層像素宏塊輸入值并且響應(yīng)以所述中間第三分辨率表示所述圖像的像素值，來獲得運(yùn)動(dòng)補(bǔ)償基本層預(yù)測宏塊輸出像素值作為第一輸出以及運(yùn)動(dòng)補(bǔ)償增強(qiáng)層預(yù)測宏塊輸出像素余值作為第二輸出。
6.如權(quán)利要求5所述的設(shè)備，其特征在于所述第二裝置包括響應(yīng)所述選擇的所述頻域系數(shù)的子集以及響應(yīng)所述運(yùn)動(dòng)補(bǔ)償基本層宏塊輸出像素值和所述增強(qiáng)層宏塊輸出像素余值的第三裝置，用于獲得所述基本層宏塊輸入像素值和所述編碼的增強(qiáng)層宏塊輸入像素余值。
7.如權(quán)利要求1所述的設(shè)備，其特征在于所述第二裝置包括一個(gè)基本和增強(qiáng)層抽取的像素存儲(chǔ)器；單位增強(qiáng)的逆離散余弦變換(IDCT)、濾波和像素抽取處理裝置，響應(yīng)選擇的頻域系數(shù)子集，用于獲得以所述降低的第二分辨率表示所述圖像的輸出像素值的基本層塊作為第一輸出以及以所述中間第三分辨率表示所述圖像的輸出像素余值的輸出增強(qiáng)層塊作為第二輸出；第四裝置，包括第一加法器，用于加上來自所述增強(qiáng)的MCU處理裝置的所述運(yùn)動(dòng)補(bǔ)償基本層宏塊輸出像素值的相應(yīng)像素值和來自所述單位IDCT、濾波和像素抽取處理裝置的輸出像素值的所述基本層塊，用于獲得作為基本層數(shù)據(jù)存儲(chǔ)在所述基本和增強(qiáng)層抽取像素存儲(chǔ)器中的值。第五裝置，包括第二加法器和一個(gè)增強(qiáng)層編碼器，用于將來自所述增強(qiáng)的MCU處理裝置的所述運(yùn)動(dòng)補(bǔ)償?shù)脑鰪?qiáng)層宏塊輸出像素余值的相應(yīng)像素余值加到來自所述單位IDCT、濾波和像素抽取處理裝置的輸出像素余值的所述增強(qiáng)層塊上，得到來自所述第二加法器的和輸出，用于所述增強(qiáng)層編碼器進(jìn)行編碼，以獲得作為編碼增強(qiáng)層數(shù)據(jù)存儲(chǔ)在所述基本和增強(qiáng)層抽取像素存儲(chǔ)器中的第二輸入值。第六裝置，用于將來自所述基本和增強(qiáng)層抽取像素存儲(chǔ)器的所述基本層像素宏塊輸入值提供到所述增強(qiáng)的MCU處理裝置，并且用于將從所述存儲(chǔ)的編碼增強(qiáng)層數(shù)據(jù)獲得的所述編碼的增強(qiáng)層像素宏塊輸入余值作為第二輸入施加到所述增強(qiáng)的MCU處理裝置。
8.如權(quán)利要求1所述的設(shè)備，其特征在于所述頻域系數(shù)定義在所述第一分辨率的圖像信息，該圖像信息包括表示內(nèi)部編碼的(I)和預(yù)測編碼的(P)逐行掃描圖像的像素值亮度塊。
9.如權(quán)利要求7所述的設(shè)備，其特征還在于第七裝置包括一個(gè)采樣率轉(zhuǎn)換器，用于從輸出像素值的基本層塊獲得正在進(jìn)行顯示的視頻信號(hào)。
10.如權(quán)利要求1所述的設(shè)備，其特征還在于所述降低的第二分辨率實(shí)際上是所述第一分辨率的1/4。所述中間第三分辨率實(shí)際上是所述第一分辨率的1/2。
11.在譯碼以表示第一分辨率圖像的像素塊的形式壓縮的圖像數(shù)據(jù)的系統(tǒng)中，一種方法的特征在于包括下列步驟以中間第三分辨率產(chǎn)生表示圖像像素塊的數(shù)據(jù)，第三分辨率低于所述第一分辨率但高于所述降低的第二分辨率；以所述第三分辨率從所述中間第三分辨率數(shù)據(jù)補(bǔ)充的所述降低的第二分辨率的像素塊數(shù)據(jù)產(chǎn)生運(yùn)動(dòng)補(bǔ)償像素塊數(shù)據(jù)；以及從所述第三分辨率的所述運(yùn)動(dòng)補(bǔ)償像素塊數(shù)據(jù)獲得表示所述降低的第二分辨率的所述圖像的像素?cái)?shù)據(jù)。
12.如權(quán)利要求11所述的方法，其特征在于除了I和B幀以外對P幀執(zhí)行權(quán)利要求18的步驟。
13.如權(quán)利要求11所述的方法，其特征在于對P幀以及(a)I幀和(b)B幀中的一個(gè)實(shí)現(xiàn)權(quán)利要求18的步驟。
14.如權(quán)利要求11所述的方法，其特征還在于包括步驟以所述第三分辨率上升采樣所述像素塊數(shù)據(jù)來提供所述第一分辨率的圖像數(shù)據(jù)。
15.如權(quán)利要求14所述的方法，其特征還在于包括步驟下降采樣所述第一分辨率的所述上升采樣的像素塊數(shù)據(jù)以提供所述第二分辨率的圖像數(shù)據(jù)。
16.如權(quán)利要求14所述的方法，其特征還在于包括步驟下降采樣所述第一分辨率的所述上升采樣的像素塊數(shù)據(jù)以提供所述中間第三分辨率的數(shù)據(jù)。
17.如權(quán)利要求11所述的方法，其特征在于所述第三分辨率的所述像素塊數(shù)據(jù)包括剩余數(shù)據(jù)。
全文摘要
一種改進(jìn)的圖像處理系統(tǒng)(204,205B,205E,206,207)涉及到譯碼包括頻域系數(shù)的壓縮圖像數(shù)據(jù),這些系數(shù)定義以第一分辨率表示一個(gè)圖像的像素值塊以便從選擇的頻域系數(shù)的子集提供以降低的第二分辨率顯示的圖像。該設(shè)備包括一個(gè)增強(qiáng)的運(yùn)動(dòng)補(bǔ)償單元(MCU)(208),對以低于第一分辨率但高于降低的第二分辨率的中間第三分辨率表示圖像的像素值塊進(jìn)行控制。
文檔編號(hào)H04N7/50GK1274235SQ0010831
公開日2000年11月22日 申請日期2000年5月11日 優(yōu)先權(quán)日1999年5月11日
發(fā)明者瑪麗·L·科默, 托馬斯·E·霍蘭德 申請人:湯姆森特許公司