專利名稱：預(yù)測(cè)運(yùn)動(dòng)和紋理數(shù)據(jù)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種方法，用于根據(jù)與低分辨率逐行(progressive) 序列的圖像相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)以及適當(dāng)情況下的紋理數(shù)據(jù)，針對(duì)高分 辨率隔行(interlaced)序列的圖像，產(chǎn)生至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符以及適 當(dāng)情況下的至少一個(gè)紋理預(yù)測(cè)符。
背景技術(shù)：
巳知具有空間可擴(kuò)展性的分級(jí)編碼方法。可擴(kuò)展性表示使信息交 錯(cuò)以使得信息可以以多個(gè)分辨率和/或質(zhì)量等級(jí)解碼的能力。更具體 地，將這種編碼方法所產(chǎn)生的數(shù)據(jù)流分成若干層，具體為基本層和一 個(gè)或多個(gè)增強(qiáng)層。這些方法具體用于使單一數(shù)據(jù)流適應(yīng)可變傳輸條件 (帶寬、誤差比等)，以及適應(yīng)客戶的預(yù)期和客戶接收機(jī)變化的能力 (CPU、顯示設(shè)備的規(guī)格等)。在空間可擴(kuò)展性的具體情況中，可以獨(dú) 立于數(shù)據(jù)流中與高分辨率圖像對(duì)應(yīng)的部分，對(duì)數(shù)據(jù)流中與序列的低分 辨率圖像對(duì)應(yīng)的部分進(jìn)行解碼。另一方面，可以只根據(jù)數(shù)據(jù)流中與低 分辨率圖像對(duì)應(yīng)的部分，對(duì)數(shù)據(jù)流中與序列的高分辨率圖像對(duì)應(yīng)的部 分進(jìn)行解碼。具有空間可擴(kuò)展性的分級(jí)編碼使得可以對(duì)相對(duì)于低分辨率圖像 的、被稱為基本層的第一數(shù)據(jù)部分進(jìn)行編碼，以及根據(jù)該基本層，對(duì) 相對(duì)于高分辨率圖像的、被稱為增強(qiáng)層的第二數(shù)據(jù)部分進(jìn)行編碼。通 常情況下，根據(jù)傳統(tǒng)的預(yù)測(cè)模式(例如，雙向預(yù)測(cè)模式、直接預(yù)測(cè)模 式、前向預(yù)測(cè)模式等)對(duì)高分辨率圖像的每一宏塊進(jìn)行時(shí)間預(yù)測(cè)，或 者實(shí)際上根據(jù)層間預(yù)測(cè)模式進(jìn)行預(yù)測(cè)。在后一種情況中，與高分辨率 圖像的像素塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)(例如，宏塊到塊的劃分、可能的運(yùn) 動(dòng)向量、以及參考圖像索引)以及適當(dāng)情況下的紋理數(shù)據(jù)，是根據(jù)與低分辨率圖像的像素塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)以及紋理數(shù)據(jù)分別推導(dǎo)或繼 承而來(lái)的。然而，已知方法不允許在低分辨率序列為逐行而高分辨率 序列為隔行的情況下產(chǎn)生這樣的預(yù)測(cè)符。發(fā)明內(nèi)容本發(fā)明的目的是克服現(xiàn)有技術(shù)中的至少一個(gè)缺點(diǎn)。本發(fā)明具體涉及一種方法，用于針對(duì)高分辨率隔行圖像序列(被 稱為高分辨率序列)中的圖像中的至少一個(gè)像素塊，根據(jù)與低分辨率 逐行圖像序列(被稱為低分辨率序列)中的圖像相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)， 產(chǎn)生至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符。每一隔行圖像包括與底場(chǎng)交錯(cuò)的頂場(chǎng)。每 一逐行圖像和隔行圖像中的每一場(chǎng)具有與其相關(guān)聯(lián)的時(shí)間參考。該方 法使得可以-如果所述高分辨率序列的時(shí)間頻率等于所述低分辨率序列的時(shí) 間頻率，則針對(duì)所述至少一個(gè)像素塊根據(jù)下列數(shù)據(jù)產(chǎn)生至少一個(gè)運(yùn)動(dòng) 預(yù)測(cè)符 根據(jù)與具有與所述高分辨率圖像的頂場(chǎng)相同的時(shí)間參考的 低分辨率圖像中的至少一個(gè)像素塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)；禾口/ 或 根據(jù)與具有與所述高分辨率圖像的底場(chǎng)相同的時(shí)間參考的 低分辨率圖像中的至少一個(gè)像素塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)；-如果高分辨率序列的時(shí)間頻率等于所述低分辨率序列的時(shí)間頻 率的兩倍，則針對(duì)所述至少一個(gè)像素塊，根據(jù)與具有與所述高分辨率 圖像的頂場(chǎng)相同的時(shí)間參考的低分辨率圖像中的至少一個(gè)像素塊相關(guān) 聯(lián)的運(yùn)動(dòng)數(shù)據(jù)，產(chǎn)生至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符。有利地，如果高分辨率序列的時(shí)間頻率等于低分辨率序列的時(shí)間 頻率，則通過(guò)用圖像的水平方向上的水平層間比和圖像的垂直方向上 的垂直層間比，對(duì)與具有與高分辨率圖像的頂場(chǎng)相同的時(shí)間參考的低 分辨率圖像中的至少一個(gè)像素塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行子采樣，產(chǎn)生 至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符。根據(jù)另一實(shí)施例，如果高分辨率序列的時(shí)間頻率等于低分辨率序列的時(shí)間頻率，則通過(guò)利用圖像的水平方向上的水平層間比和圖像的 垂直方向上的垂直層間比，對(duì)與具有與高分辨率圖像的底場(chǎng)相同的時(shí) 間參考的低分辨率圖像中的至少一個(gè)像素塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行子 采樣，產(chǎn)生至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符。根據(jù)另一實(shí)施例，如果高分辨率序列的時(shí)間頻率等于低分辨率序 列的時(shí)間頻率的兩倍，則通過(guò)利用圖像的水平方向上的水平層間比和 圖像的垂直方向上的垂直層間比，對(duì)與具有與高分辨率圖像的頂場(chǎng)相 同的時(shí)間參考的低分辨率圖像中的至少一個(gè)像素塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù) 進(jìn)行子采樣，針對(duì)至少一個(gè)像素塊，產(chǎn)生至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符。根據(jù)本發(fā)明的方法使得可以-如果高分辨率序列的時(shí)間頻率等于低分辨率序列的時(shí)間頻率， 則針對(duì)至少一個(gè)像素塊，根據(jù)下列數(shù)據(jù)產(chǎn)生至少一個(gè)紋理預(yù)測(cè)符 根據(jù)與具有與高分辨率圖像的頂場(chǎng)相同的時(shí)間參考的低分 辨率圖像中的至少一個(gè)像素塊相關(guān)聯(lián)的紋理數(shù)據(jù)；和/或 根據(jù)與具有與高分辨率圖像的底場(chǎng)相同的時(shí)間參考的低分 辨率圖像中的至少一個(gè)像素塊相關(guān)聯(lián)的紋理數(shù)據(jù)；和/或 根據(jù)與具有與高分辨率圖像中的底場(chǎng)或頂場(chǎng)之一相同的時(shí) 間參考的低分辨率圖像中的至少一個(gè)像素塊中的每一個(gè)相 關(guān)聯(lián)的紋理數(shù)據(jù)；以及-如果高分辨率序列的時(shí)間頻率等于低分辨率序列的時(shí)間頻率的 兩倍，則針對(duì)至少一個(gè)像素塊，根據(jù)與具有與高分辨率圖像的頂場(chǎng)相 同的時(shí)間參考的低分辨率圖像中的至少一個(gè)像素塊相關(guān)聯(lián)的紋理數(shù) 據(jù)，產(chǎn)生至少一個(gè)紋理預(yù)測(cè)符。優(yōu)選地，與低分辨率圖像相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)包括運(yùn)動(dòng)向量。 有利地，該方法由從低分辨率圖像編碼高分辨率圖像的方法以及 從低分辨率圖像解碼高分辨率圖像的方法使用。優(yōu)選地，根據(jù)MPEG-4 AVC標(biāo)準(zhǔn)編碼低分辨率圖像。


通過(guò)參考附圖所給出的絕非限制性的示例性實(shí)施例及有益實(shí)施方式，更好地理解并例證了本發(fā)明，在附圖中圖1表示低分辨率圖像逐行序列以及具有兩倍于低分辨率序列的 時(shí)間頻率的高分辨率圖像隔行序列；圖2表示低分辨率圖像逐行序列以及與低分辨率序列具有相同時(shí) 間頻率的高分辨率圖像隔行序列；圖3示出了根據(jù)本發(fā)明在低分辨率圖像序列為逐行、且高分辨率 圖像序列為隔行的情況下產(chǎn)生紋理預(yù)測(cè)符的方法；圖4示出了根據(jù)本發(fā)明在低分辨率圖像序列為逐行、且高分辨率圖像序列為隔行的情況下產(chǎn)生運(yùn)動(dòng)預(yù)測(cè)符的方法；圖5示出了在低分辨率圖像中的兩個(gè)宏塊MB1和MB2的圖像的 水平方向上的系數(shù)為2的子采樣以及所得到的針對(duì)相應(yīng)預(yù)測(cè)符宏塊 MB_pred的劃分。
具體實(shí)施方式
本發(fā)明涉及一種層間預(yù)測(cè)方法，該方法在于針對(duì)高分辨率隔行 圖像的有序序列(稱作高分辨率序列)中的圖像，根據(jù)低分辨率逐行 圖像的有序序列(稱作低分辨率序列)中的圖像，產(chǎn)生運(yùn)動(dòng)預(yù)測(cè)符以 及在適當(dāng)情況下產(chǎn)生紋理預(yù)測(cè)符。序列被分成圖像組(GOP)。每一高 分辨率圖像包括與底場(chǎng)(bottom field)交錯(cuò)的頂場(chǎng)(top field)。在圖 1和圖2中，索引為k的隔行圖像由標(biāo)記為kT的頂場(chǎng)以及標(biāo)記為kB 的底場(chǎng)組成，逐行圖像由其索引k標(biāo)記。時(shí)間參考與逐行序列中的每 一圖像以及隔行序列中的每一場(chǎng)相關(guān)聯(lián)。具有相同時(shí)間參考的高分辨 率圖像的場(chǎng)(稱作高分辨率場(chǎng))與低分辨率圖像在垂直方向上重合。 低分辨率圖像(也被標(biāo)記為L(zhǎng)R圖像)具有寬度w (w表示像素或列 的數(shù)目)和高度2h (2h表示像素或行的數(shù)目，意味著2乘以h)。高 分辨率圖像(也被標(biāo)記為HR圖像)具有寬度W (W表示像素或列的 數(shù)目)和高度2H (2H表示像素或行的數(shù)目，意味著2乘以H)。高分 辨率圖像中的每一場(chǎng)都具有寬度W和高度H。在所述實(shí)施例中，隔行 圖像可以以場(chǎng)圖像模式編碼，即每一個(gè)場(chǎng)被編碼為單獨(dú)的圖像，或者 隔行圖像甚至可以以幀圖像模式編碼，即兩個(gè)場(chǎng)被一起編碼。圖像中的行從O開(kāi)始編號(hào)，因此第一行是偶數(shù)行，以及第二行(編號(hào)為l) 為奇數(shù)行。因此，本發(fā)明在于針對(duì)高分辨率序列中的圖像或者針對(duì)圖像中 的至少一個(gè)像素塊，產(chǎn)生至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符以及在適當(dāng)?shù)那闆r下產(chǎn) 生至少一個(gè)紋理預(yù)測(cè)符。與高分辨率圖像或者與高分辨率圖像中的至 少一個(gè)像素塊相關(guān)聯(lián)的紋理預(yù)測(cè)符是與其每一個(gè)像素紋理數(shù)據(jù)(例如， 亮度值，以及在適當(dāng)?shù)那闆r下，色度值)相關(guān)聯(lián)的圖像或預(yù)測(cè)塊，所 述紋理數(shù)據(jù)是根據(jù)用于對(duì)紋理進(jìn)行子采樣的方法，根據(jù)至少一個(gè)圖像 (或場(chǎng))或低分辨率圖像中的至少一個(gè)像素塊(或場(chǎng)中的至少一個(gè)像 素塊)相關(guān)聯(lián)的紋理數(shù)據(jù)而產(chǎn)生的，用于對(duì)紋理進(jìn)行子采樣的方法例如應(yīng)用于紋理的ESS方法(ESS代表擴(kuò)展空域可縮放性)，在J. Reichd、 H. Schwarz、 M. Wien的名為"Joint Scalable Video Model JSVM3 Annex-S"的、標(biāo)記為JVT-P202的ISO/IEC MPEG & ITU-T VCEG文 檔的S.8.3.6.4和S.8.5.14.2節(jié)中描述了 ESS方法。下文將此文檔標(biāo)記 為JSVM3。與高分辨率圖像或者與高分辨率圖像中的至少一個(gè)像素塊 相關(guān)聯(lián)的運(yùn)動(dòng)預(yù)測(cè)符定義為與運(yùn)動(dòng)數(shù)據(jù)(例如， 一種劃分，可能的參 考圖像索引，使得可以識(shí)別運(yùn)動(dòng)向量所指向的參考圖像)相關(guān)聯(lián)的預(yù) 測(cè)圖像或預(yù)測(cè)塊。運(yùn)動(dòng)預(yù)測(cè)符是根據(jù)運(yùn)動(dòng)子采樣方法，根據(jù)與至少一 個(gè)圖像(或場(chǎng))或低分辨率圖像中的至少一個(gè)像素塊(或場(chǎng)中的至少 一個(gè)像素塊)相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)產(chǎn)生的，運(yùn)動(dòng)子采樣方法例如應(yīng)用 于運(yùn)動(dòng)的ESS方法，其在JSVM3的S.8.4.1.6.3節(jié)中描述；或者下面 所要描述的改進(jìn)ESS方法，其源自應(yīng)用于運(yùn)動(dòng)的ESS方法。具體地， 在圖3中標(biāo)記為MESS的改進(jìn)ESS方法使得可以處理高和/或低分辨 率隔行序列。更具體地，改進(jìn)ESS方法使得可以處理高分辨率圖像的 高度或?qū)挾刃∮诘头直媛蕡D像的高度或?qū)挾鹊那闆r。圖2示出了這種 情況，在圖2中，高分辨率圖像的頂場(chǎng)或底場(chǎng)的高度H (H=540)小 于低分辨率幀圖像的高度2h (2h=720)。此外，當(dāng)分級(jí)編碼或解碼方 法使用根據(jù)本發(fā)明的預(yù)測(cè)方法時(shí)，改進(jìn)ESS方法使得可以有利地避免 運(yùn)動(dòng)預(yù)測(cè)符包括無(wú)效運(yùn)動(dòng)向量，即指向不可用的參考圖像的向量)。例 如，參考圖2，低分辨率圖像5可以在時(shí)間上參照較早處理的低分辨率圖像6。然而，高分辨率場(chǎng)2B不能參照高分辨率場(chǎng)3T，在處理場(chǎng) 2B時(shí)，高分辨率場(chǎng)3T仍不可用。
根據(jù)改進(jìn)ESS方法，中間運(yùn)動(dòng)預(yù)測(cè)符是在圖像的垂直方向、在圖 像的水平方向或者在兩個(gè)方向上，對(duì)與低分辨率圖像相關(guān)聯(lián)的運(yùn)動(dòng)數(shù) 據(jù)，更具體為與低分辨率圖像中的每一宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)，進(jìn)行 系數(shù)為2的子采樣而產(chǎn)生的。只要所述中間預(yù)測(cè)符的高度高于高分辨 率圖像的高度，就在圖像的垂直方向上重復(fù)系數(shù)為2的子采樣方法， 以及只要所述中間預(yù)測(cè)符的寬度大于高分辨率圖像的寬度，就在圖像 的水平方向上重復(fù)系數(shù)為2的子采樣方法。子采樣具體在于將與像素 塊相關(guān)聯(lián)的運(yùn)動(dòng)向量的坐標(biāo)除以二。例如，參考圖5，基于低分辨率 圖像中可以被劃分為像素塊的兩個(gè)宏塊MB1或MB2，產(chǎn)生中間運(yùn)動(dòng) 預(yù)測(cè)符的宏塊MB。宏塊中像素塊的大小在所述宏塊上方示出。例如， 在圖5中的第二行，宏塊MB1沒(méi)有被劃分，宏塊MB2被劃分為兩個(gè) 測(cè)量為8個(gè)像素乘以16個(gè)像素的塊(表示為8X16)，并將根據(jù)這兩 個(gè)宏塊所產(chǎn)生的宏塊MB劃分為4個(gè)8X8的塊，其中的兩個(gè)8X8的 塊被劃分為4X8的塊。使得參考圖像的索引在宏塊MB內(nèi)的8X8像 素大小的塊之間變得均勻，并且按照與在JSVM3中所描述的應(yīng)用于 運(yùn)動(dòng)的ESS層間預(yù)測(cè)方法相同的方式刪除宏塊MB內(nèi)的隔離的幀內(nèi)類 型塊。
通過(guò)應(yīng)用層間比在圖像的水平方向上等于工以及在圖像的垂直
w,
方向上等于！的ESS方法，根據(jù)這樣所產(chǎn)生的最終中間運(yùn)動(dòng)預(yù)測(cè)符，
產(chǎn)生與高分辨率圖像相關(guān)聯(lián)的運(yùn)動(dòng)預(yù)測(cè)符，其中w,和2&分別是所產(chǎn)生 的最終中間運(yùn)動(dòng)預(yù)測(cè)符的寬度和高度。此外，對(duì)于每一個(gè)預(yù)測(cè)宏塊， 改進(jìn)運(yùn)動(dòng)向量繼承方法，以便不產(chǎn)生無(wú)效運(yùn)動(dòng)向量，即指向在時(shí)間分 解過(guò)程中不可用的場(chǎng)或幀圖像的向量。在這種情況下，如果與預(yù)測(cè)宏 塊MB』red相關(guān)聯(lián)的所有運(yùn)動(dòng)向量全部無(wú)效，則不對(duì)該宏塊進(jìn)行層間 運(yùn)動(dòng)預(yù)測(cè)。否則(即，如果至少一個(gè)向量有效)，則使用應(yīng)用于運(yùn)動(dòng)的 ESS預(yù)測(cè)方法。
10如圖1至4所示，根據(jù)本發(fā)明的方法是針對(duì)圖像來(lái)描述的，但是 也可應(yīng)用于圖像的一部分，特別是像素塊(例如宏塊)。圖3中的左邊
部分示出了與圖1中的索引為k的高分辨率圖像相關(guān)聯(lián)的紋理預(yù)測(cè)符
的產(chǎn)生。這些紋理預(yù)測(cè)符是在低分辨率序列的時(shí)間頻率等于高分辨率
序列的時(shí)間頻率的一半的情況下(例如，低分辨率序列是采取CIF格 式(即，—規(guī)定為352X288像素，30Hz)的逐行序列，而高分辨率序 列是采取SD格式(即，720X576像素，60Hz)的隔行序列)如下產(chǎn) 生的
通過(guò)應(yīng)用層間比在圖像的水平方向上等于工、在圖像的垂直方 向上等于E的ESS方法，根據(jù)索引為k的低分辨率圖像的紋理數(shù)據(jù)，
2/2
產(chǎn)生30測(cè)量為WX2H的幀紋理預(yù)測(cè)符；以及
針對(duì)高分辨率圖像中的頂場(chǎng)，通過(guò)在垂直方向上對(duì)在前一步驟 中產(chǎn)生的幀紋理預(yù)測(cè)符進(jìn)行子采樣，即通過(guò)保留其偶數(shù)行，產(chǎn)生31 測(cè)量為WXH的紋理預(yù)測(cè)符。
在這一特定情況下，針對(duì)底場(chǎng)，不產(chǎn)生紋理預(yù)測(cè)符。如果先于頂 場(chǎng)對(duì)底場(chǎng)進(jìn)行編碼("底場(chǎng)優(yōu)先"模式)，則針對(duì)頂場(chǎng)，不產(chǎn)生紋理預(yù) 測(cè)符，而針對(duì)高分辨率圖像中的底場(chǎng)，通過(guò)在垂直方向上對(duì)幀紋理預(yù) 測(cè)符進(jìn)行子采樣(即，通過(guò)保留其奇數(shù)行)，產(chǎn)生測(cè)量為WXH的紋 理預(yù)測(cè)符。
圖3的右邊部分示出了在低分辨率序列和高分辨率序列的時(shí)間頻 率相等的情況下(例如，低分辨率序列是采取720p格式(即，測(cè)量為 1280X720像素，60Hz)的逐行序列，以及高分辨率序列是采取1080i 格式(即，1920X540像素，60Hz)的隔行序列)產(chǎn)生與圖2中的索 引為k的高分辨率圖像相關(guān)聯(lián)的紋理預(yù)測(cè)符
通過(guò)應(yīng)用層間比在圖像的水平方向上等于工、在圖像的垂直方 向上等于！的ESS方法，根據(jù)索引為2k的低分辨率圖像的紋理數(shù)據(jù)，
2/7
ii產(chǎn)生32測(cè)量為WX2H的第一中間幀紋理預(yù)測(cè)符； 針對(duì)高分辨率圖像中的頂場(chǎng)，通過(guò)在垂直方向上對(duì)在前一步驟 中產(chǎn)生的第一中間幀紋理預(yù)測(cè)符進(jìn)行子采樣，即通過(guò)保留其偶數(shù)行，產(chǎn)生34測(cè)量為WXH的紋理預(yù)測(cè)符； 通過(guò)應(yīng)用層間比在圖像的水平方向上等于f、在圖像的垂直方向上等于！的ESS方法，根據(jù)索引為2k+l的低分辨率圖像的紋理數(shù)據(jù)，產(chǎn)生33測(cè)量為WX2H的第二中間幀紋理預(yù)測(cè)符； 針對(duì)高分辨率圖像中的底場(chǎng)，通過(guò)在垂直方向上對(duì)在前一步驟 中產(chǎn)生的第二中間幀紋理預(yù)測(cè)符進(jìn)行子采樣，即通過(guò)保留其奇數(shù)行， 產(chǎn)生35測(cè)量為WXH的紋理預(yù)測(cè)符；以及 通過(guò)對(duì)分別與底場(chǎng)和頂場(chǎng)相關(guān)聯(lián)的紋理預(yù)測(cè)符進(jìn)行交錯(cuò)，產(chǎn)生 36測(cè)量為WX2H的幀紋理預(yù)測(cè)符。然而，對(duì)于當(dāng)前GOP中的最后一個(gè)圖像，測(cè)量為WX2H的幀紋 理預(yù)測(cè)符是通過(guò)應(yīng)用層間比在圖像的水平方向上等于1、在圖像的垂 直方向上等于2的ESS方法，根據(jù)與高分辨率圖像的頂場(chǎng)相關(guān)聯(lián)的紋 理預(yù)測(cè)符而產(chǎn)生的。高分辨率序列的GOP中的最后一個(gè)底場(chǎng)(在圖2中標(biāo)記為4B) 沒(méi)有預(yù)測(cè)符，因?yàn)橄鄳?yīng)的低分辨率圖像(在圖2中標(biāo)記為9)屬于下 —個(gè)GOP。在低分辨率序列的時(shí)間頻率等于高分辨率序列的時(shí)間頻率的一 半時(shí)，如圖4所示，按照下列方式產(chǎn)生與圖1中的索引為k的高分辨率圖像相關(guān)聯(lián)的運(yùn)動(dòng)預(yù)測(cè)符 針對(duì)高分辨率圖像中的頂場(chǎng)，通過(guò)應(yīng)用層間比在圖像的水平方向上等于！、在圖像的垂直方向上等于^的上述改進(jìn)ESS方法，根據(jù)索引為k的低分辨率圖像的運(yùn)動(dòng)數(shù)據(jù)，產(chǎn)生40測(cè)量為WXH的運(yùn) 動(dòng)預(yù)測(cè)符； 通過(guò)應(yīng)用層間比在圖像的水平方向上等于二、在圖像的垂直方
向上等于E的上述改進(jìn)ESS方法，根據(jù)索引為k的低分辨率圖像的
2/2
運(yùn)動(dòng)數(shù)據(jù)，產(chǎn)生41測(cè)量為WX2H的幀運(yùn)動(dòng)預(yù)測(cè)符。
在這一特定情況下，針對(duì)底場(chǎng)，不產(chǎn)生運(yùn)動(dòng)預(yù)測(cè)符。如果先于頂
場(chǎng)而對(duì)底場(chǎng)進(jìn)行編碼("底場(chǎng)優(yōu)先"模式)，則針對(duì)頂場(chǎng)，不產(chǎn)生紋理
預(yù)測(cè)符，而針對(duì)底場(chǎng)，通過(guò)在垂直方向上對(duì)幀運(yùn)動(dòng)預(yù)測(cè)符進(jìn)行子采樣 (即，通過(guò)保留其奇數(shù)行)，產(chǎn)生測(cè)量為WXH的運(yùn)動(dòng)預(yù)測(cè)符。
在其他情況下，即如果低分辨率序列和高分辨率序列的時(shí)間頻率
相等，則如圖4所示，按照下列方式產(chǎn)生圖2中的索引為k的高分辨
率圖像的運(yùn)動(dòng)預(yù)測(cè)符-
針對(duì)高分辨率圖像中的頂場(chǎng)，通過(guò)應(yīng)用層間比在圖像的水平方
向上等于^、在圖像的垂直方向上等于4"的上述改進(jìn)ESS方法，根
據(jù)索引為2k的低分辨率圖像的運(yùn)動(dòng)數(shù)據(jù)，產(chǎn)生42測(cè)量為WXH的運(yùn) 動(dòng)預(yù)測(cè)符；適當(dāng)產(chǎn)生的參考圖像索引除以2;
針對(duì)高分辨率圖像的底場(chǎng)，通過(guò)應(yīng)用層間比在圖像的水平方向
上等于工、在圖像的垂直方向上等于^的上述改進(jìn)ESS方法，根據(jù)
索引為2k+l的低分辨率圖像的運(yùn)動(dòng)數(shù)據(jù)，產(chǎn)生43測(cè)量為WXH的運(yùn) 動(dòng)預(yù)測(cè)符；適當(dāng)產(chǎn)生的參考圖像索引除以2;以及
通過(guò)應(yīng)用層間比在圖像的水平方向上等于！、在圖像的垂直方
向上等于E的改進(jìn)ESS方法，根據(jù)索引為2k或2k+l的低分辨率圖
像的運(yùn)動(dòng)數(shù)據(jù)，產(chǎn)生測(cè)量為WX2H的幀運(yùn)動(dòng)預(yù)測(cè)符。
根據(jù)變體，產(chǎn)生(標(biāo)記為44和45)測(cè)量為WX2H的兩個(gè)幀運(yùn)動(dòng) 預(yù)測(cè)符(在圖4中標(biāo)為Pl和P2)，其中通過(guò)應(yīng)用層間比在圖像的水平方向上等于二、在圖像的垂直方向上等于^的改進(jìn)ESS方法，根據(jù)索引為2k的低分辨率圖像產(chǎn)生一個(gè)幀運(yùn)動(dòng)預(yù)測(cè)符Pl，根據(jù)索引為 2k+l的圖像產(chǎn)生另一個(gè)幀運(yùn)動(dòng)預(yù)測(cè)符P2。根據(jù)變體，針對(duì)序列中的每一個(gè)GOP的最后一個(gè)圖像，不產(chǎn)生 紋理和運(yùn)動(dòng)預(yù)測(cè)符。實(shí)際上，為了產(chǎn)生針對(duì)該圖像的運(yùn)動(dòng)和紋理預(yù)測(cè) 符，必須對(duì)低分辨率序列中的相應(yīng)GOP和下一個(gè)GOP進(jìn)行解碼和存 儲(chǔ)，如圖1和圖2所示。如果該方法由編碼方法使用，則可以產(chǎn)生所有的運(yùn)動(dòng)預(yù)測(cè)符(紋 理預(yù)測(cè)符)，以根據(jù)給定準(zhǔn)則(例如速率失真準(zhǔn)則)選擇最適當(dāng)?shù)囊粋€(gè)。 如果所述方法由解碼方法使用，則產(chǎn)生單一運(yùn)動(dòng)預(yù)測(cè)符(單一紋理預(yù) 測(cè)符)，在比特流中指定預(yù)測(cè)符的類型。當(dāng)然，本發(fā)明不局限于上述示例性實(shí)施例。具體地，本領(lǐng)域的技 術(shù)人員可以對(duì)上述實(shí)施例進(jìn)行任意變化，并將其合以便得益于其不同 優(yōu)點(diǎn)。例如，根據(jù)本發(fā)明的方法可應(yīng)用于高分辨率圖像的一部分。實(shí) 際上，可以根據(jù)與低分辨率圖像中的像素塊相關(guān)聯(lián)的運(yùn)動(dòng)和/或紋理數(shù) 據(jù)，產(chǎn)生針對(duì)高分辨圖像的像素塊(例如，測(cè)量為16X16像素的宏塊) 的運(yùn)動(dòng)和/或紋理預(yù)測(cè)符。類似地，已經(jīng)在首先顯示隔行圖像的頂場(chǎng)的 情況下("頂場(chǎng)優(yōu)先"情況)描述了本發(fā)明，并且本發(fā)明可以直接擴(kuò)展 至通過(guò)使頂場(chǎng)和底場(chǎng)反轉(zhuǎn)首先顯示底場(chǎng)的情況("底場(chǎng)優(yōu)先"情況)。 此外，本發(fā)明還可以擴(kuò)展至若干高分辨率序列(即，若干增強(qiáng)層)的 情況。此外，本發(fā)明可以有利地由對(duì)圖像或視頻序列進(jìn)行編碼或解碼 的方法使用。優(yōu)選地，根據(jù)在文檔ISO/IEC 14496-10 ("Information technology — Coding of audio-visual objects — Part 10: Advanced Video Coding")中所定義的MPEG4 AVC編碼標(biāo)準(zhǔn)對(duì)低分辨率圖像序列進(jìn)行 編碼。
權(quán)利要求
1.一種用于針對(duì)被稱為高分辨率序列的高分辨率隔行圖像序列中的圖像中的至少一個(gè)像素塊，根據(jù)被稱為低分辨率序列的低分辨率逐行圖像序列中的圖像相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)，產(chǎn)生至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符的方法，每一隔行圖像包括與底場(chǎng)交錯(cuò)的頂場(chǎng)，每一逐行圖像和隔行圖像中的每一場(chǎng)具有與其相關(guān)聯(lián)的時(shí)間參考，所述方法的特征在于-如果所述高分辨率序列的時(shí)間頻率等于所述低分辨率序列的時(shí)間頻率，則針對(duì)所述至少一個(gè)像素塊根據(jù)下列數(shù)據(jù)產(chǎn)生所述至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符●根據(jù)與具有與所述高分辨率圖像的頂場(chǎng)相同的時(shí)間參考的低分辨率圖像的至少一個(gè)像素塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)(42，44)；和/或●根據(jù)與具有與所述高分辨率圖像的底場(chǎng)相同的時(shí)間參考的低分辨率圖像的至少一個(gè)像素塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)(43，45)；-如果所述高分辨率序列的時(shí)間頻率等于所述低分辨率序列的時(shí)間頻率的兩倍，則針對(duì)所述至少一個(gè)像素塊，根據(jù)與具有與所述高分辨率圖像的頂場(chǎng)相同的時(shí)間參考的低分辨率圖像的至少一個(gè)像素塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)，產(chǎn)生所述至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符(40，41)。
2. 根據(jù)權(quán)利要求1所述的方法，其中，如果所述高分辨率序列的時(shí) 間頻率等于所述低分辨率序列的時(shí)間頻率，則通過(guò)利用圖像的水平方 向上的水平層間比和圖像的垂直方向上的垂直層間比，對(duì)與具有與所 述高分辨率圖像的頂場(chǎng)相同的時(shí)間參考的低分辨率圖像中的所述至少 一個(gè)像素塊相關(guān)聯(lián)的所述運(yùn)動(dòng)數(shù)據(jù)進(jìn)行子采樣(42， 44)，產(chǎn)生所述至 少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符。
3. 根據(jù)權(quán)利要求1所述的方法，其中，如果所述高分辨率序列的時(shí) 間頻率等于所述低分辨率序列的時(shí)間頻率，則通過(guò)利用圖像的水平方 向上的水平層間比和圖像的垂直方向上的垂直層間比，對(duì)與具有與所 述高分辨率圖像的底場(chǎng)相同的時(shí)間參考的低分辨率圖像中的所述至少一個(gè)像素塊相關(guān)聯(lián)的所述運(yùn)動(dòng)數(shù)據(jù)進(jìn)行子采樣(43， 45)，產(chǎn)生所述至 少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符。
4. 根據(jù)權(quán)利要求1所述的方法，其中，如果所述高分辨率序列的時(shí)間頻率等于所述低分辨率序列的時(shí)間頻率的兩倍，則針對(duì)所述至少一 個(gè)像素塊，通過(guò)利用圖像的水平方向上的水平層間比和圖像的垂直方 向上的垂直層間比，對(duì)與具有與所述高分辨率圖像的頂場(chǎng)相同的時(shí)間 參考的低分辨率圖像中的所述至少一個(gè)像素塊相關(guān)聯(lián)的所述運(yùn)動(dòng)數(shù)據(jù)進(jìn)行子采樣(40， 41)，產(chǎn)生所述至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符。
5. 根據(jù)權(quán)利要求1所述的方法，其中-如果所述高分辨率序列的時(shí)間頻率等于所述低分辨率序列的時(shí) 間頻率，則針對(duì)所述至少一個(gè)像素塊，根據(jù)下列數(shù)據(jù)產(chǎn)生至少一個(gè)紋理預(yù)測(cè)符 根據(jù)與具有與所述高分辨率圖像的頂場(chǎng)相同的時(shí)間參考的 低分辨率圖像中的所述至少一個(gè)像素塊相關(guān)聯(lián)的紋理數(shù)據(jù)(32， 34);和/或 根據(jù)與具有與所述高分辨率圖像的底場(chǎng)相同的時(shí)間參考的 低分辨率圖像中的所述至少一個(gè)像素塊相關(guān)聯(lián)的紋理數(shù)據(jù)(33， 35);和/或 根據(jù)與具有與所述高分辨率圖像的底場(chǎng)或頂場(chǎng)之一相同的 時(shí)間參考的低分辨率圖像中的所述至少一個(gè)像素塊中的每一個(gè)相關(guān)聯(lián)的紋理數(shù)據(jù)(36);以及-如果所述高分辨率序列的時(shí)間頻率等于所述低分辨率序列的時(shí) 間頻率的兩倍，則針對(duì)所述至少一個(gè)像素塊，根據(jù)與具有與所述 高分辨率圖像的頂場(chǎng)相同的時(shí)間參考的低分辨率圖像中的所述至 少一個(gè)像素塊相關(guān)聯(lián)的紋理數(shù)據(jù)，產(chǎn)生至少一個(gè)紋理預(yù)測(cè)符。
6. 根據(jù)權(quán)利要求1至5之一所述的方法，其中，與低分辨率圖像相 關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)包括運(yùn)動(dòng)向量。
7. 根據(jù)權(quán)利要求1至6之一所述的方法，其中，所述方法由從低分 辨率圖像編碼高分辨率圖像的方法使用。
8. 根據(jù)權(quán)利要求7所述的方法，其中，根據(jù)MPEG-4AVC標(biāo)準(zhǔn)編碼低分辨率圖像。
9.根據(jù)權(quán)利要求1至6之一所述的方法，其中，所述方法由從低 分辨率圖像解碼高分辨率圖像的方法使用。
全文摘要
本發(fā)明涉及一種方法，用于分別根據(jù)與低分辨率逐行圖像序列中的圖像相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)、紋理數(shù)據(jù)，針對(duì)隔行圖像序列中的圖像中的至少一個(gè)像素塊，產(chǎn)生至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)符和至少一個(gè)紋理預(yù)測(cè)符。
文檔編號(hào)H04N7/26GK101322412SQ200680045439
公開(kāi)日2008年12月10日 申請(qǐng)日期2006年11月23日 優(yōu)先權(quán)日2005年12月5日
發(fā)明者尼古拉斯·比爾丹, 格溫埃利·馬康, 皮埃爾·達(dá)古瓦 申請(qǐng)人:湯姆森許可貿(mào)易公司