專利名稱：用于運動補償?shù)淖匀怀尚螀^(qū)域的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻壓縮領(lǐng)域。
背景技術(shù)：
通過去除圖像之間的時間冗余可以實現(xiàn)對視頻序列的高壓縮增益。例 如，為了對圖像進行編碼，基于先前經(jīng)過編碼的圖像產(chǎn)成對將要編碼的圖 像的時間預(yù)測。比較該時間預(yù)測和實際圖像以得出預(yù)測誤差，并且對該預(yù) 測誤差進行編碼。所述預(yù)測可以利用傳統(tǒng)的基于塊的運動估計及補償法來 完成。運動補償及估計法被用于在一個或多個參考圖像中找出參考塊，以預(yù) 測相應(yīng)目標塊在目標圖像中的位置，從而使得僅僅需要對目標的運動矢量 和預(yù)測余量進行編碼。這些方法執(zhí)行塊匹配來確定參考圖像中與目標圖像 中的相應(yīng)目標塊最相似的參考像素塊。參考塊和相應(yīng)目標塊之間的像素距 離就是該目標塊的運動矢量。運動補償過程以將目標圖像和參考圖像柵格化成固定大小的塊開始。 圖1示出通常應(yīng)用于參考和目標圖像的兩種標準形狀定義。第一種定義110通過利用不重疊的16x16像素塊來柵格化圖像。第二種定義120利用 了 4x4的塊。這些位于目標和參考圖像的預(yù)定區(qū)域中的固定大小的塊與圖 像中對象的形狀和位置無關(guān)。通常，目標圖像中的像素被精確分配到一個塊中。這種一一對應(yīng)的映 射被稱為柵格化。每個塊被分配一個運動矢量，該運動矢量用于將該塊映 射到參考圖像的對應(yīng)部分中。然后，通過利用由運動矢量定義的映射形成 經(jīng)補償圖像(該圖像接近目標圖像)，以確定出相應(yīng)的參考塊，然后，把 像素值從參考塊復(fù)制到由目標塊定義的區(qū)域。余量校正進行編碼。假設(shè)編碼器和解碼器都選取相同的參考圖像。因此， 僅僅通過發(fā)送運動矢量和余量校正來完成視頻編碼。成功的視頻編碼器通過利用有限計算資源均衡許多因素來生成高質(zhì)量 的目標圖像。在所有這些因素中，參考數(shù)據(jù)的選擇或許對視頻質(zhì)量最為重 要，而且在計算資源方面也耗費最大。例如，如果對象從參考圖像中的一 個位置移動到目標圖像中的另一位置，則運動矢量應(yīng)當(dāng)能夠?qū)⒃搶ο髲膮?考圖像映射到目標圖像。然而，傳統(tǒng)的運動補償法利用了用于映射很難與運動對象的邊界對應(yīng) 的預(yù)定塊的運動矢量。由于預(yù)定塊的形狀與參考圖像中運動對象的自然輪 廓無關(guān)，因此，運動矢量對部分與該運動對象無關(guān)并且部分與該運動對象 有關(guān)的參考塊進行映射。這導(dǎo)致經(jīng)補償圖像的誤差增加。因此，需要一種確定參考圖像中運動對象的自然輪廓的方法，以改進 運動補償?shù)馁|(zhì)量。發(fā)明內(nèi)容一種用于不規(guī)則運動補償?shù)姆椒?，該方法包括以下步驟利用參考圖 像中對象的輪廓將該參考圖像柵格化成多個不規(guī)則形狀，并且通過為每個 不規(guī)則形狀分配一個運動矢量而將每個不規(guī)則形狀映射到目標圖像的特定 位置。


本發(fā)明是通過示例來描述的，并且通過參考下面結(jié)合附圖的描述將會 更好地理解本發(fā)明，在附圖中圖1示出通常應(yīng)用于目標圖像的兩種標準形狀定義。圖2示出利用運動補償法進行視頻編碼的示例，其中，所述運動補償 法利用了不規(guī)則成形區(qū)域和不規(guī)則間隔的運動矢量。圖3示出用于找出參考圖像中對象的自然輪廓的方法的示例。 圖4示出利用圖3的方法產(chǎn)生的不規(guī)則形狀的示例。圖5示出與固定大小塊組合的不規(guī)則形狀的示例。圖6示出利用不規(guī)則運動補償法執(zhí)行視頻編碼以對視頻數(shù)據(jù)圖像進行 編碼的示例；圖7示出利用不規(guī)則補償法對圖像進行解碼的示例。 圖8示出利用不規(guī)則補償法的系統(tǒng)的示例。
具體實施方式
在下面的描述中，參考了形成本申請的一部分的附圖，在附圖中示出 了可以實施本發(fā)明的具體實施例。應(yīng)當(dāng)理解，可以利用其它實施例，并且 在不脫離本發(fā)明的范圍內(nèi)可以作出各種結(jié)構(gòu)改變。例如，本領(lǐng)域的技術(shù)人 員將明白用于描述各個實施例的術(shù)語場、幀、圖像或畫面在結(jié)合視頻數(shù)據(jù) 使用時一般是可以互換的。運動補償法利用了根據(jù)參考圖像的內(nèi)容動態(tài)確定的不規(guī)則形狀。每個 不規(guī)則形狀確定出與參考圖像中一部分自然對象對應(yīng)的一組像素。因此， 該形狀的邊界對應(yīng)于至少一部分對象的邊界，而不是對應(yīng)于與對象無關(guān)的 預(yù)定塊。當(dāng)運動補償法將運動矢量分配給不規(guī)則形狀時，所得到的映射自 動對齊不規(guī)則形狀的邊界和目標圖像的邊界，從而降低補償誤差。圖2中示出了視頻編碼器中使用利用不規(guī)則形狀進行運動補償?shù)氖?例。在210中，編碼器找出參考圖像中對象的自然輪廓并且根據(jù)該自然輪 廓生成不規(guī)則形狀，以替代傳統(tǒng)運動補償中預(yù)定的固定大小的塊。在220 中，為每個不規(guī)則形狀分配一個運動矢量，以將該形狀映射到目標圖像的 特定位置。在230中，在目標圖像中定義固定大小的塊。在240中，為每 個固定大小的塊分配一個運動矢量，以將其映射到參考圖像的特定位置。 在250中，組合不規(guī)則形狀的運動矢量和固定大小的塊的運動矢量。在 255中，運動矢量選擇法從不規(guī)則形狀和固定大小的塊的組合的運動矢量 中選擇一組符合失真率標準的運動矢量。在一些實施例中，該選擇法確定 出對于被映射到多個形狀或根本沒有被映射到形狀的每個目標像素的補償 值。在260中，將該組運動矢量和參考圖像發(fā)送給解碼器。在270中，在 解碼器中生成不規(guī)則形狀。在280中，形成經(jīng)補償圖像。更具體地描述210，圖3示出用于找出參考圖像中對象的輪廓線的方法的示例。在305中，將參考圖像劃分成與圖像特征無關(guān)的初始像素組。 在310中，為每個初始像素組計算組統(tǒng)計量(group statistic)。組統(tǒng)計量 的一個示例是顏色變量顏色變量二變量(Y) =2*變量(U) +2*變量(V) 其中，變量(Y)是應(yīng)用于該組內(nèi)像素的亮度分量的變量的統(tǒng)計度量，而 變量(U)和變量(V)是該組內(nèi)像素的色差分量的變量。在315中，如果達到停止標準，則該方法在320中結(jié)束。停止標準的 示例包括預(yù)定的重復(fù)次數(shù)、改變次數(shù)、所有一致性測量。另一示例是時 限。當(dāng)該方法結(jié)束時，當(dāng)前組被輸出用作參考形狀。否則，在322中，選擇一個像素作為用于改變組的候選像素。在一些 實施例中，該像素是被隨機(偽隨機)選擇的、根據(jù)預(yù)定順序選擇的或者 利用選擇規(guī)則選擇的。在325中，該方法判斷該像素是否是另一組中至少 一個像素的鄰居。如果不是，則該方法返回322以選擇另一候選像素。如果是，則在330中，對每個近鄰組作出候選像素改變。例如， 一個 組(組A)中的候選像素可以是三個組(組B、 C、 D)的鄰居。為了判斷 候選像素改變是否會導(dǎo)致組A的顏色變量減小以及其它組的顏色變量增 大，在335中針對每次候選像素改變計算候選像素一致性得分。例如，在 330中，候選像素改變將候選像素從其當(dāng)前組(組A)移動到其近鄰組的 一個(例如，組B)中。然后，在335中針對該候選像素改變?yōu)榻MA和組 B計算候選像素一致性得分。在330中還對組C和組D作出候選像素改 變，并且在335中還針對該候選像素改變計算候選像素一致性得分。在一個實施例中，候選像素一致性得分記錄去除了候選像素的組和添 加候選像素的組的最大顏色變量。 一致性得分越小，得到的組被認為越一 致。例如，當(dāng)組A的起始顏色變量相對較高并且根據(jù)候選像素改變而減 小，并且組B的顏色變量相對較小并且根據(jù)候選像素改變而增大時，候選 像素一致性得分相對較低。在340中，確定最佳候選像素一致性得分。在一些實施例中，最佳候 選像素一致性得分源于極小化最大準則(minmax criteria):最佳得分是產(chǎn) 生最小的最大顏色變量的得分。在342中，該方法判斷最佳候選像素一致性得分是否優(yōu)于當(dāng)前的一致性得分，如果是，則在345中將該像素移動到 另一組，并且在350中更新所有組統(tǒng)計量，以反映此次改變。否則，不作 出改變，并且該方法返回到315。在執(zhí)行用于找出參考圖像的自然輪廓的方法之后，預(yù)定塊從與圖像特 征無關(guān)的像素轉(zhuǎn)變成遵從圖像特征的不規(guī)則形狀像素。每個得到的不規(guī)則 形狀像素不一定是一個連通集。在圖4中示出了利用圖3的方法生成的不 規(guī)則形狀的示例。參考圖像430中的初始像素組410被轉(zhuǎn)變成具有與參考 圖像的特征有關(guān)的輪廓線的不規(guī)則形狀像素組420。在一些實施例中，初 始組410具有預(yù)定的形狀(例如塊狀)，或者是從另一源(例如先前被編 碼的圖像)輸入的。在該示例中，本方法輸出作為分離的像素組420的不 規(guī)則形狀。如果需要，可以通過限制重復(fù)的總次數(shù)或者通過按照一致性得 分促進連通性來控制分離。如果目標像素被映射到多個形狀，則利用這多個形狀來確定目標像素 值。目標圖像中的多個區(qū)域可以被映射到單個參考圖像中的多個形狀，因 為用于找出參考圖像中對象的自然輪廓的方法將參考圖像柵格化，而不是 把目標圖像柵格化。相反地，在目標圖像中可能存在不能映射到不規(guī)則柵 格化的參考圖像中的任何像素的像素。在一些實施例中，根據(jù)多個參考形狀中參考像素值的平均值(該值作 為目標像素的補償值)來確定映射成多個參考形狀的目標像素的值。例 如，用于計算N個參考像素值的平均值的遞歸公式在預(yù)先不知道參考形狀 的總數(shù)時特別有用。也就是說，給定^ (其是^x『 像素值的平均 值)，利用，歸修正公式來計算；+,:—、 w JV+1 / =~~^^ 并存儲移動平均值，^，以及參考形狀的連續(xù)個數(shù)W。在一些實施例中，利用預(yù)定值(例如，128)或者內(nèi)插值來補償不能 映射到任何參考像素的像素。替代地，生成覆蓋整個目標圖像的固定大小 的塊。然后，組合用于固定大小的塊的運動矢量和用于不規(guī)則形狀的運動 矢量。例如，如圖5所示，運動矢量512將不規(guī)則形狀510從參考圖像 515映射到目標圖像530中匹配像素形狀517。運動矢量522將預(yù)定的固定大小的塊527從目標圖像530映射到參考圖像525中匹配的固定大小的塊 520。運動矢量512和522的方向表示在哪里進行了初始形狀柵格化。在預(yù) 定的固定大小的塊527的情況中，該柵格化對應(yīng)于目標圖像530中的預(yù)定 區(qū)域。這樣，當(dāng)生成固定大小的塊527的運動矢量522時，檢查參考圖像 525中的搜索區(qū)域529，以確定出參考塊520從相應(yīng)固定大小目標塊527的 位移。在不規(guī)則形狀510的情況中，該柵格化是對參考圖像515執(zhí)行的。 當(dāng)生成不規(guī)則形狀510的運動矢量512時，檢查目標圖像530中的搜索區(qū) 域519，以確定出匹配形狀517從參考圖像515中相應(yīng)不規(guī)則形狀510的 位移。不規(guī)則形狀的運動矢量和固定大小的塊的運動矢量在被組合時形成一 組候選運動矢量。運動矢量選擇法從候選運動矢量組中選擇從失真率來說 近似最優(yōu)的運動矢量。所選擇的運動矢量形成不規(guī)則布局的運動矢量，這 些矢量然后被發(fā)送到解碼器。解碼器然后利用這些不規(guī)則形狀的運動矢量 和預(yù)定義的固定大小的塊的運動矢量以及參考圖像形成經(jīng)補償圖像。解碼器可以從形狀定義庫中檢索固定大小的塊的形狀，或者固定大小 的塊的形狀定義可以被發(fā)送給解碼器。然而，不規(guī)則形狀的形狀不被發(fā)送 給解碼器，以減少發(fā)送的數(shù)據(jù)量。替代地，在解碼器中利用圖3所示的方 法生成每個不規(guī)則形狀的定義。由于編碼器和解碼器二者都具有相同的參 考圖像，因此，它們能夠推導(dǎo)出同樣的形狀信息，而無需通過對參考圖像 應(yīng)用同樣的方法生成不規(guī)則形狀來發(fā)送額外的位。因此，不需要將不規(guī)則 形狀的定義從編碼器發(fā)送到解碼器。在一些實施例中，少數(shù)指定停止標準 的位(例如，重復(fù)執(zhí)行的次數(shù))被發(fā)送給解碼器，以保證編碼器和解碼器 之間同步。在一個實施例中，補償法用于對視頻數(shù)據(jù)圖像(或者幀、或者場)進 行編碼的視頻編碼中，如圖6所示。在610中，編碼器接收輸入的目標圖 像。(包含與目標圖像有關(guān)的解碼圖像數(shù)據(jù)的一組參考圖像在編碼處理中 對編碼器可用，并且在解碼處理中對解碼器可用)。在620中，編碼器利用圖2和圖3的方法生成與目標圖像有關(guān)的不規(guī)則形狀和不規(guī)則樣本或分布的運動矢量。在630中，樣本布局信息(例如，表示該布局的位)被發(fā) 送給解碼器。在640中，時間預(yù)測濾波處理應(yīng)用于不規(guī)則運動矢量樣本布局，以產(chǎn) 生成對目標圖像的預(yù)測。在650中，對該運動矢量值進行編碼，并將其發(fā) 送給解碼器。在660中，生成余量，余量是目標圖像的實際目標數(shù)據(jù)減去 來自自適應(yīng)過濾處理的預(yù)測誤差。在670中，對余量進行編碼，并且在 680中發(fā)送給解碼器。在另一實施例中，不規(guī)則布局的運動矢量和不規(guī)則補償法用于對視頻 數(shù)據(jù)圖像(或者幀、或者場)進行解碼，如圖7所示。在710中，接收經(jīng) 過編碼的余量。在720中，解碼器對所接收到的經(jīng)過編碼的余量進行解 碼。在730中，解碼器接收樣本布局信息、參考圖像和運動矢量值，并且 利用圖3的方法生成不規(guī)則形狀。然后，在740中，解碼器應(yīng)用自適應(yīng)時 間濾波過程來產(chǎn)生時間預(yù)測。在750中，通過將經(jīng)過解碼的余量添加到時 間預(yù)測中而生成經(jīng)過解碼的目標圖像。圖8是利用圖2和圖3的方法生成和利用不規(guī)則形狀的系統(tǒng)的示例。數(shù)字視頻照相機810以電子形式捕獲圖像，并且利用壓縮設(shè)備820處 理圖像，其中，壓縮設(shè)備620在壓縮和編碼處理中利用運動補償法。經(jīng)過 編碼的圖像通過電子傳輸介質(zhì)830被發(fā)送到數(shù)字回放設(shè)備840。由解碼設(shè) 備850對圖像進行解碼，其中，在解碼處理中，解碼設(shè)備850利用圖3的 方法。照相機810是包括本發(fā)明的實施例的多種圖像處理裝置(例如，其 它圖像捕獲設(shè)備、圖像編輯器、圖像處理器、個人和商用計算機平臺等 等)中的示例性的一種。同樣，解碼設(shè)備850是對圖像數(shù)據(jù)進行解碼的多 種設(shè)備中的示例性的一種。雖然依照特定系統(tǒng)環(huán)境中的示例性實施例描述了本發(fā)明，但是本領(lǐng)域 技術(shù)人員將會明白在不脫離所附權(quán)利要求的精神和范圍內(nèi)可以在其它和不 同硬件和軟件環(huán)境中按照多種方式來實施本發(fā)明。
權(quán)利要求
1.一種由電子數(shù)據(jù)處理器執(zhí)行的方法，包括利用參考圖像中的對象的輪廓將該參考圖像柵格化成多個不規(guī)則形狀；并且通過為每個不規(guī)則形狀分配一個運動矢量而將每個不規(guī)則形狀映射到目標圖像的位置。
2. 如權(quán)利要求1所述的方法，還包括 將所述目標圖像柵格化成多個固定大小的塊；通過為每個固定大小的塊分配一個運動矢量而將所述固定大小的塊映 射到所述參考圖像的區(qū)域中；并且將所述固定大小的塊的運動矢量和所述不規(guī)則形狀的運動矢量組合成 組合運動矢量組。
3. 如權(quán)利要求1所述的方法，還包括 將所述運動矢量發(fā)送到解碼器；并且利用所發(fā)送的所述運動矢量和所述參考圖像形成經(jīng)補償圖像。
4. 如權(quán)利要求3所述的方法，其中，利用所發(fā)送的運動矢量和所述參 考圖像形成經(jīng)補償圖像包括利用解碼器將所述參考圖像柵格化成所述多個不規(guī)則形狀。
5. 如權(quán)利要求4所述的方法，其中，第一不規(guī)則形狀的一部分和第二不規(guī)則形狀的一部分被映射到所述經(jīng)補償圖像中的重疊位置，所述方法還包括利用所述第一不規(guī)則形狀和所述第二不規(guī)則形狀確定所述重疊位置中 的每個像素的值。
6. —種裝置，包括不規(guī)則形狀生成器，用于利用參考圖像中的對象的輪廓將該參考圖像 柵格化成多個不規(guī)則形狀；以及運動矢量分配裝置，用于通過為每個不規(guī)則形狀分配一個運動矢量而 將每個不規(guī)則形狀映射到目標圖像的位置。
7. 如權(quán)利要求6所述的裝置，還包括固定大小柵格化裝置，用于將所述目標圖像柵格化成多個固定大小塊；固定大小塊分配裝置，用于通過為每個固定大小塊分配一個運動矢量而將所述固定大小塊映射到所述參考圖像的區(qū)域；以及組合器，用于將所述固定大小塊的運動矢量和所述不規(guī)則形狀的運動 矢量組合成組合運動矢量組。
8. 如權(quán)利要求6所述的裝置，還包括發(fā)送器，用于發(fā)送所述運動矢量和所述參考圖像；以及 解碼器，用于接收所發(fā)送的所述運動矢量，并且利用所發(fā)送的所述運 動矢量和所述參考圖像形成經(jīng)補償圖像。
9. 如權(quán)利要求8所述的裝置，其中，所述解碼器被配置用于將所述參 考圖像柵格化成所述多個不規(guī)則形狀。
10. 如權(quán)利要求9所述的裝置，其中，所述解碼器被配置用于將第一不 規(guī)則形狀的一部分和第二不規(guī)則形狀的一部分映射到所述經(jīng)補償圖像中的 重疊位置，所述解碼器還被配置用于利用所述第一不規(guī)則形狀和所述第二 不規(guī)則形狀確定所述重疊位置中的每個像素的值。
11. 一種存儲指令計算程序的計算機可讀介質(zhì)，所述指令計算程序在 被處理系統(tǒng)執(zhí)行時使該系統(tǒng)執(zhí)行包括以下步驟的方法利用參考圖像中的對象的輪廓將該參考圖像柵格化成多個不規(guī)則形 狀；并且通過為每個不規(guī)則形狀分配一個運動矢量而將每個不規(guī)則形狀映射到 目標圖像的位置。
12. 如權(quán)利要求11所述的計算機可讀介質(zhì)，還包括 將所述目標圖像柵格化成多個固定大小的塊；通過為每個固定大小的塊分配一個運動矢量而將所述固定大小的塊映 射到所述參考圖像的區(qū)域中；并且將所述固定大小的塊的運動矢量和所述不規(guī)則形狀的運動矢量組合成 組合運動矢量組。
13. 如權(quán)利要求11所述的計算機可讀介質(zhì)，還包括 將所述運動矢量和所述參考圖像發(fā)送到解碼器；并且 利用所發(fā)送的所述運動矢量和所述參考圖像形成經(jīng)補償圖像。
14. 如權(quán)利要求13所述的計算機可讀介質(zhì)，其中，利用所發(fā)送的所述運動矢量和所述參考圖像形成經(jīng)補償圖像包括-利用解碼器將所述參考圖像柵格化成所述多個不規(guī)則形狀。
15. 如權(quán)利要求14所述的計算機可讀介質(zhì)，其中，第一不規(guī)則形狀的 一部分和第二不規(guī)則形狀的一部分被映射到所述經(jīng)補償圖像中的重疊位 置，還包括利用所述第一不規(guī)則形狀和所述第二不規(guī)則形狀確定所述重疊位置中 的每個像素的值。
全文摘要
一種用于不規(guī)則運動補償?shù)姆椒?，該方法包括以下步驟利用參考圖像中的對象的輪廓將該參考圖像柵格化成多個不規(guī)則形狀，并且通過為每個不規(guī)則形狀分配一個運動矢量而將每個不規(guī)則形狀映射到目標圖像的位置。
文檔編號H04N11/02GK101263713SQ200680033788
公開日2008年9月10日 申請日期2006年9月7日 優(yōu)先權(quán)日2005年9月16日
發(fā)明者苗周榮, 詹姆斯·J·卡里格, 馬里奧·帕尼科尼 申請人:索尼電子有限公司