專利名稱：用于編碼和解碼視頻圖像的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像的編碼和解碼，且更具體地，涉及用于編碼和解碼 視頻圖像的方法和設(shè)備，其中使用每個(gè)輸入圖像幀的背景圖像，并通過使用 另 一圖像幀的背景圖像而更新任何一個(gè)圖像幀缺少的背景區(qū)域，因此生成并 存儲(chǔ)參考背景圖像，并且每個(gè)圖像幀中的目標(biāo)(object)圖像被存儲(chǔ)為參考 目標(biāo)圖像，并然后，通過使用所存儲(chǔ)的參考背景圖像和參考目標(biāo)圖像，執(zhí)行 運(yùn)動(dòng)估計(jì)和補(bǔ)償。
背景技術(shù)：
在ITU-T H.264/MPEG-4高級(jí)視頻編碼(AVC ) ^L頻編解碼器中，通過 關(guān)于塊單元中的采樣數(shù)據(jù)執(zhí)行預(yù)測(cè)而獲得預(yù)測(cè)塊，并變換和量化預(yù)測(cè)塊，從 而壓縮視頻數(shù)據(jù)。
存在兩種類型的預(yù)測(cè)方法，幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)。在幀內(nèi)預(yù)測(cè)的情況中， 通過使用存在于當(dāng)前片段(slice)中的并已被編碼和解碼的已恢復(fù)相鄰塊的 數(shù)據(jù)執(zhí)行預(yù)測(cè)。在幀間預(yù)測(cè)的情況中，從一個(gè)或多個(gè)先前使用基于塊的運(yùn)動(dòng) 補(bǔ)償編碼的4見頻幀或場(chǎng)而生成預(yù)測(cè)圖#>。具體地，與先前的一見頻壓縮標(biāo)準(zhǔn)不 同，H.264支持各種塊大小(從16 x 16至4 x 4 )和詳盡的子采樣運(yùn)動(dòng)矢量。 主簡檔(profile)和擴(kuò)展筒檔支持B-片段和加權(quán)預(yù)測(cè)視頻數(shù)據(jù)，其中該加權(quán) 預(yù)測(cè)視頻數(shù)據(jù)通過預(yù)測(cè)、變換和量化而壓縮，進(jìn)一步通過熵編碼處理來壓縮， 并生成了位流。
當(dāng)移動(dòng)目標(biāo)存在于圖像幀內(nèi)時(shí)，在當(dāng)前圖像幀內(nèi)可出現(xiàn)在前一 圖像幀中 沒出現(xiàn)的區(qū)域。 一示例是在前一圖像幀中由先運(yùn)動(dòng)目標(biāo)隱藏而在當(dāng)前圖像幀 中新出現(xiàn)的背景。在傳統(tǒng)MPEG-2或MPEG-4中，當(dāng)執(zhí)行P畫面的幀間預(yù)測(cè)
時(shí)，僅使用位于緊鄰前面的I畫面或P畫面執(zhí)行運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償。然而，在H.264中，為了增加編碼效率，通過使用多個(gè)參考圖像幀執(zhí)行運(yùn)動(dòng)預(yù)測(cè)和補(bǔ) 償。即，根據(jù)H.264標(biāo)準(zhǔn)，存儲(chǔ)最近編碼的多個(gè)圖像幀，其數(shù)量等于或大于 l并等于或小于16,并通過使用所有參考圖像幀，執(zhí)行運(yùn)動(dòng)預(yù)測(cè)。然后，確 定具有最小成本的參考圖像幀作為當(dāng)前期望執(zhí)行運(yùn)動(dòng)估計(jì)的塊的參考圖像 幀。這是因?yàn)楹芸赡艿氖?，?dāng)使用多個(gè)參考圖像幀時(shí)，移動(dòng)目標(biāo)沒有隱藏被 隱藏且沒有出現(xiàn)在緊鄰當(dāng)前幀之前的圖像幀內(nèi)的某部分背景，而該部分背景 出現(xiàn)在緊鄰當(dāng)前圖像幀前面的圖像幀之前的其他圖像幀內(nèi)。
然而，當(dāng)使用多個(gè)參考圖像幀時(shí)，出現(xiàn)的問題在于運(yùn)動(dòng)預(yù)測(cè)單元的計(jì)算 量和存儲(chǔ)參考圖像幀的存儲(chǔ)空間與參考圖像幀的數(shù)量成正比增加。
同時(shí)，由于運(yùn)動(dòng)估計(jì)所需的計(jì)算量的原因，在以與當(dāng)前圖像幀的目標(biāo)區(qū) 域的位置對(duì)應(yīng)的參考圖像幀的位置為中心的預(yù)定大小的搜索區(qū)域中執(zhí)行運(yùn) 動(dòng)估計(jì)。對(duì)該情況中，當(dāng)移動(dòng)目標(biāo)非常突然地移動(dòng)時(shí)，其中出現(xiàn)運(yùn)動(dòng)的圖像 區(qū)域位于參考圖像幀的搜索區(qū)域之外，以致通過運(yùn)動(dòng)估計(jì)不能形成預(yù)測(cè)圖 像。在水平方向或垂直方向反復(fù)移動(dòng)目標(biāo)的情況中，在時(shí)間上位于很早的參 考圖像的搜索區(qū)域范圍中可以找到類似于移動(dòng)目標(biāo)的區(qū)域。然而，因?yàn)槿缟?所述可用的參考圖像幀的數(shù)量有限，所以存在通過運(yùn)動(dòng)估計(jì)不能形成預(yù)測(cè)圖 像的一些情況。
此外，當(dāng)移動(dòng)目標(biāo)的形狀在預(yù)定周期中變化但是該目標(biāo)的預(yù)定形狀反復(fù) 出現(xiàn)在周期中時(shí)，例如，如在行走的人的情況中，當(dāng)人的形狀在每個(gè)幀內(nèi)變 化、但預(yù)定的運(yùn)動(dòng)在預(yù)定周期中重復(fù)時(shí)，可以通過使用多個(gè)參考圖像幀執(zhí)行 移動(dòng)目標(biāo)的運(yùn)動(dòng)估計(jì)，因此增加了編碼的效率。然而，由于運(yùn)動(dòng)估計(jì)所需的 計(jì)算量和存儲(chǔ)空間的限制，可以使用的參考圖像幀的數(shù)量很有限。

發(fā)明內(nèi)容
本發(fā)明提供編碼和解碼圖像的方法和設(shè)備，其中使用每個(gè)輸入圖像幀的 背景圖像，并通過使用另 一圖像幀的背景圖像更新任何一個(gè)圖像幀缺少的背 景區(qū)域，從而生成并存儲(chǔ)參考背景圖像，存儲(chǔ)每個(gè)圖像幀的目標(biāo)圖像為參考 目標(biāo)圖像，并然后通過使用所存儲(chǔ)的參考背景圖像和參考目標(biāo)圖像，執(zhí)行運(yùn) 動(dòng)估計(jì)和補(bǔ)償，從而增加編碼效率而不需要極大的增加存儲(chǔ)器的大小。
根據(jù)本發(fā)明一方面，提供了一種用于編碼圖像的方法，包括將當(dāng)前圖像幀劃分為背景區(qū)域和目標(biāo)區(qū)域；比較當(dāng)前圖像幀和前一圖像幀，從而確定
背景區(qū)域或目標(biāo)區(qū)域在當(dāng)前圖像幀和前一 圖像幀之間是否已改變；根據(jù)確定 的結(jié)果，通過使用當(dāng)前圖像幀的背景區(qū)域，更新從前一圖像幀的背景生成的 參考背景圖像，并存儲(chǔ)所更新的參考背景圖像；以及通過使用更新的參考背 景圖像而執(zhí)行當(dāng)前圖像幀之后的圖像幀的運(yùn)動(dòng)估計(jì)。
根據(jù)本發(fā)明的另一方面，提供了一種用于編碼圖像的設(shè)備，包括區(qū)域 分離單元，將當(dāng)前圖像幀劃分為背景區(qū)域和目標(biāo)區(qū)域；確定單元，比較當(dāng)前 圖像幀和前一 圖像幀，從而確定背景區(qū)域或目標(biāo)區(qū)域在當(dāng)前圖像幀和前一 圖 像幀之間是否改變；更新單元，根據(jù)確定的結(jié)果，通過使用當(dāng)前圖像幀的背 景區(qū)域，更新從前一圖像幀的背景生成的參考背景圖像，并存儲(chǔ)更新的參考 背景圖像；以及運(yùn)動(dòng)估計(jì)單元，通過使用更新的參考背景圖像而執(zhí)行當(dāng)前圖 像幀之后的圖像幀的運(yùn)動(dòng)估計(jì)。
根據(jù)本發(fā)明的又一方面，提供了一種用于解碼圖像的方法，包括從包 括第一圖像幀和第二圖像幀的至少兩個(gè)圖像幀的每個(gè)中分離背景區(qū)域和目 標(biāo)區(qū)域，該兩個(gè)圖像幀在解碼當(dāng)前圖像幀之前被恢復(fù)；比較所恢復(fù)的第一圖 像幀和第二圖像幀，并確定背景區(qū)域或目標(biāo)區(qū)域在第一圖像幀和第二圖像幀 之間是否改變；根據(jù)確定的結(jié)果，通過使用第一圖像幀和第二圖像幀的背景， 更新從先前恢復(fù)的圖像幀的背景區(qū)域生成的參考背景圖像，并存儲(chǔ)所更新的 參考背景圖像；以及通過使用所更新的參考背景圖像，執(zhí)行當(dāng)前圖像幀的運(yùn) 動(dòng)補(bǔ)償。
根據(jù)本發(fā)明的又一方面，提供了一種用于解碼圖像的設(shè)備，包括區(qū)域 分離單元，從包括第一圖像幀和第二圖像幀的至少兩個(gè)圖像幀的每個(gè)中分離 背景區(qū)域和目標(biāo)區(qū)域，該兩個(gè)圖像幀在解碼當(dāng)前圖像幀之前被恢復(fù)；確定單 元，比較所恢復(fù)的第一圖像幀和第二圖像幀，并確定背景區(qū)域或目標(biāo)區(qū)域在 第一圖像幀和第二圖像幀之間是否改變；更新單元，根據(jù)確定的結(jié)果，通過 使用第 一圖像幀和第二圖像幀的背景，更新從先前恢復(fù)的圖像幀的背景區(qū)域 生成的參考背景圖像；存儲(chǔ)單元，存儲(chǔ)所更新的參考背景圖像；以及運(yùn)動(dòng)補(bǔ) 償單元，通過使用所更新的參考背景圖像，執(zhí)行當(dāng)前圖像幀的運(yùn)動(dòng)補(bǔ)償。


通過參考附圖描述本發(fā)明的詳細(xì)示范實(shí)施例，本發(fā)明的上面和其他特點(diǎn)和優(yōu)點(diǎn)將變得更加明顯，其中
圖1A至圖1C是圖示了根據(jù)本發(fā)明實(shí)施例的被輸入到用于編碼圖像的 設(shè)備中的序列圖像幀的示例的示意圖2A是圖示了根據(jù)本發(fā)明實(shí)施例、通過使用圖1A至圖1C所示的圖像 幀生成的參考背景圖像的的示例的示意圖2B是圖示了根據(jù)本發(fā)明實(shí)施例、從圖1A至圖1C所示的圖像幀提取 的參考目標(biāo)圖像的示例的示意圖3是圖示了根據(jù)本發(fā)明實(shí)施例、用于編碼圖像的設(shè)備的結(jié)構(gòu)的框圖4是圖示了根據(jù)本發(fā)明實(shí)施例的參考圖像生成單元的結(jié)構(gòu)的詳細(xì)框
圖5是圖示了根據(jù)本發(fā)明實(shí)施例被依次輸入到用于編碼圖像的設(shè)備中的 兩個(gè)圖像幀的示例的示意圖6A和圖6B是分別圖示了根據(jù)本發(fā)明實(shí)施例、從圖5圖示的圖像幀 的任意時(shí)間(t-l)輸入的圖像幀分離的背景圖像和目標(biāo)圖像的示意圖6C和圖6D是分別圖示了根據(jù)本發(fā)明實(shí)施例、從圖5圖示的圖像幀 的時(shí)間t輸入的圖像幀分離的背景圖像和目標(biāo)圖像的示意圖7是圖示了根據(jù)本發(fā)明實(shí)施例的用于編碼圖像的方法的流程圖8是圖示了根據(jù)本發(fā)明實(shí)施例的用于解碼圖像的設(shè)備的結(jié)構(gòu)的框以及
圖9是圖示了根據(jù)本發(fā)明實(shí)施例的用于解碼圖像的方法的流程圖。
具體實(shí)施例方式
現(xiàn)在，將參考附圖更全面地描述本發(fā)明，附圖中示出了本發(fā)明的示范實(shí) 施例。
圖1A至圖1C是圖示了根據(jù)本發(fā)明實(shí)施例的被依次輸入到用于編碼圖 像的設(shè)備中的圖像幀的示例的示意圖。圖2A是圖示了根據(jù)本發(fā)明實(shí)施例、 通過使用圖1A至圖1C所示的圖像幀生成的參考背景圖像的的示例的示意 圖，以及圖2B是圖示了根據(jù)本發(fā)明實(shí)施例、通過使用圖1A至圖1C所示的 圖像幀生成的參考目標(biāo)圖像的示例的示意圖。
當(dāng)目標(biāo)移動(dòng)時(shí)，可以暴露在任意時(shí)間由圖像幀中的目標(biāo)隱藏的背景區(qū) 域，并且在另一時(shí)間的圖像幀中，可以獲的先前隱藏的背景區(qū)域中的信息。例如，參考圖1A至圖1C,時(shí)間(t-2)的圖像幀中的汽車隱藏背景區(qū)域11。然而，隨著汽車在水平方向移動(dòng)，可以在下一時(shí)間(t-l)的圖像幀中獲得背景區(qū)域ll。類似地，可以在先前時(shí)間(t-2)的圖像幀中或隨后時(shí)間t的圖像幀 中獲得時(shí)間(t-l)的圖像幀中由汽車隱藏的背景區(qū)域12。
根據(jù)如上所述的傳統(tǒng)技術(shù)，當(dāng)估計(jì)由移動(dòng)目標(biāo)所隱藏的背景圖像的運(yùn)動(dòng) 時(shí)，使用先前被編碼并然后被恢復(fù)的多個(gè)參考圖像幀。即，為了預(yù)測(cè)與當(dāng)前 圖像幀中的每個(gè)塊最類似的區(qū)域，執(zhí)行利用多個(gè)參考圖像幀的運(yùn)動(dòng)估計(jì)，從 而形成預(yù)測(cè)的圖像。
參考圖2A和2B,在根據(jù)本發(fā)明實(shí)施例的用于編碼和解碼圖像的方法和 設(shè)備中，當(dāng)執(zhí)行與圖1A至1C所圖示的輸入圖像幀有關(guān)的運(yùn)動(dòng)估計(jì)和補(bǔ)償 時(shí)，通過使用已經(jīng)編碼的其他先前圖像幀的背景來獲得由移動(dòng)目標(biāo)等隱藏的 背景區(qū)域，從而生成僅由背景圖像形成的參考背景圖像。此外，存儲(chǔ)在前一 圖像幀中檢測(cè)的目標(biāo)圖像，作為參考目標(biāo)圖像。然后，通過使用所存儲(chǔ)的參 考背景圖像和參考目標(biāo)圖像，執(zhí)行運(yùn)動(dòng)估計(jì)和補(bǔ)償，從而增加編碼效率。
圖3是圖示了根據(jù)本發(fā)明實(shí)施例、用于編碼圖像的設(shè)備的結(jié)構(gòu)的框圖。
參考圖3,根據(jù)當(dāng)前實(shí)施例的用于編碼圖像的設(shè)備300包括編碼控制單 元310、變換編碼單元320、變換解碼單元330、參考圖像生成單元340、運(yùn) 動(dòng)補(bǔ)償單元350、運(yùn)動(dòng)估計(jì)單元360和熵編碼單元370。
由通過將一個(gè)幀或多個(gè)幀劃分為預(yù)定大小的區(qū)域而獲得的塊形成輸入 圖像，其中以預(yù)定的時(shí)間間隔從諸如攝像機(jī)的預(yù)定圖像拾取裝置輸入一個(gè)幀 或多個(gè)幀。幀包括通過連續(xù)掃描方法獲得的連續(xù)掃描幀以及通過隔行掃描方 法獲得的場(chǎng)或隔行掃描幀。下文中將說明的圖像數(shù)據(jù)包括連續(xù)掃描幀、隔行 掃描幀、場(chǎng)、塊結(jié)構(gòu)的畫面、和通過將幀劃分為預(yù)定大小的區(qū)域而獲得的分 割單元。
如果輸入圖像數(shù)據(jù)，編碼控制單元310根據(jù)是否執(zhí)行輸入圖像的運(yùn)動(dòng)補(bǔ) 償來確定編碼類型(幀內(nèi)編碼或幀間編碼)，并向第一開關(guān)(Sl)輸出對(duì)應(yīng) 于該確定的控制信號(hào)。當(dāng)執(zhí)行運(yùn)動(dòng)補(bǔ)償時(shí)，需要在當(dāng)前輸入圖像之前或之后 輸入的圖像數(shù)據(jù)，并閉合第一開關(guān)(S1)。當(dāng)不執(zhí)行運(yùn)動(dòng)補(bǔ)償時(shí)，不需要之 前或之后輸入的圖像數(shù)據(jù)，并斷開第一開關(guān)(S1)。如果閉合第一開關(guān)(S1), 從輸入圖像和前一或后一圖像獲得的差別圖像數(shù)據(jù)(殘余)被輸入到變換編 碼單元320。如果斷開第一開關(guān)(Sl),僅有輸入圖像被輸入到變換編碼單元320。變換編碼單元320根據(jù)預(yù)定的量化步驟來量化通過對(duì)輸入圖像數(shù)據(jù) 進(jìn)行變換編碼獲得的變換系數(shù)值，并獲得作為由量化的變換系數(shù)值形成的2-維(2D )數(shù)據(jù)的N x M數(shù)據(jù)。所使用的變換的示例是離散余弦變換(DCT )。 根據(jù)預(yù)定的量化步驟來執(zhí)行所述量化。
同時(shí)，因?yàn)樗斎氲牟⒃谧儞Q編碼單元320中被編碼的圖像數(shù)據(jù)可以用 作后一輸入圖像數(shù)據(jù)的運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紨?shù)據(jù)，所以變換解碼單元330執(zhí)行圖 像數(shù)據(jù)的去量化和逆變換編碼的處理，然后，將結(jié)果輸入到參考圖像生成單 元340。
參考圖像生成單元340存儲(chǔ)先前編碼并然后恢復(fù)的圖像幀，作為參考圖 像幀。同樣，如后面將描述的，參考圖像生成單元340將先前編碼并然后恢 復(fù)的每一個(gè)圖像幀劃分為背景區(qū)域和目標(biāo)區(qū)域。參考圖像生成單元340通過 利用另 一 圖像幀的背景區(qū)域而獲得任何 一 個(gè)圖像幀缺少的背景區(qū)域來生成 參考背景圖像。此外，參考圖像生成單元340單獨(dú)地存儲(chǔ)所分離的目標(biāo)區(qū)域 為參考目標(biāo)圖像。
如果從變換解碼單元330輸出的數(shù)據(jù)是差別圖像數(shù)據(jù)，則編碼控制單元 310閉合第二開關(guān)(S2),使得從變換解碼單元330輸出的差別圖像數(shù)據(jù)可 以被相加到運(yùn)動(dòng)補(bǔ)償單元350的輸出，并然后，可以將相加的結(jié)果輸入并存 儲(chǔ)在參考圖像生成單元340中，從而可以將該結(jié)果用作后一圖像幀的參考圖 像幀。
運(yùn)動(dòng)估計(jì)單元360比較輸入圖像數(shù)據(jù)和在參考圖像生成單元340中存儲(chǔ) 的數(shù)據(jù)，從而尋找最近似于當(dāng)前輸入數(shù)據(jù)的數(shù)據(jù)，并然后輸出通過比較所找 到的數(shù)據(jù)和輸入圖像數(shù)據(jù)而計(jì)算的運(yùn)動(dòng)向量(MV)。通過參考至少一個(gè)參考 圖像幀來獲得運(yùn)動(dòng)向量。即，可以如傳統(tǒng)技術(shù)一樣通過參考多個(gè)過去和/或未 來的圖像幀來計(jì)算運(yùn)動(dòng)向量。具體地，根據(jù)當(dāng)前實(shí)施例的運(yùn)動(dòng)估計(jì)單元360 將當(dāng)前希望編碼的圖像幀劃分為背景區(qū)域和目標(biāo)區(qū)域，并然后可以通過使用 由參考圖像生成單元從先前的圖像幀生成的參考背景圖像和參考目標(biāo)圖像 而執(zhí)行運(yùn)動(dòng)估計(jì)。
如果運(yùn)動(dòng)估計(jì)單元360所生成的運(yùn)動(dòng)向量被傳輸給參考圖像生成單元 340,則參考圖像生成單元340向運(yùn)動(dòng)補(bǔ)償單元350輸出運(yùn)動(dòng)向量所指明的 參考圖像幀、或者參考背景圖像或參考目標(biāo)圖像的對(duì)應(yīng)區(qū)域的數(shù)據(jù)。
基于輸入數(shù)據(jù)，運(yùn)動(dòng)補(bǔ)償單元350生成與當(dāng)前正被編碼的圖像數(shù)據(jù)對(duì)應(yīng)
的運(yùn)動(dòng)補(bǔ)償值，并輸出該值。
熵編碼單元370接收從變換編碼單元320輸出的已量化的變換系數(shù)值的 輸入、和從運(yùn)動(dòng)估計(jì)單元360輸出的與運(yùn)動(dòng)向量有關(guān)的信息，并且還接收解 碼所需的其他信息項(xiàng)的輸入，諸如由編碼控制單元310提供的編碼類型信息、 量化步驟信息等。然后，熵編碼單元370通過對(duì)輸入進(jìn)行編碼而輸出由最后 獲得的位流。
現(xiàn)在，將說明多個(gè)輸入圖像幀的編碼操作。對(duì)來自多個(gè)圖像幀的第一圖 像幀進(jìn)行幀內(nèi)預(yù)測(cè)編碼，并然后，恢復(fù)第一圖像幀并將其存儲(chǔ)在參考圖像生 成單元340中。如后面將描述的，參考圖像生成單元340具有存儲(chǔ)單元，用 于存儲(chǔ)從先前的圖像幀生成的參考背景圖像和參考目標(biāo)圖像、以及在先前被 編碼后恢復(fù)的圖像幀。
根據(jù)第二輸入的圖像幀，運(yùn)動(dòng)估計(jì)單元360將輸入的圖像幀劃分為塊單 元。然后，通過使用先前被編碼、恢復(fù)并存儲(chǔ)在參考圖像生成單元340中的 圖像幀，運(yùn)動(dòng)估計(jì)單元360執(zhí)行運(yùn)動(dòng)估計(jì)，借此獲得每個(gè)塊的的運(yùn)動(dòng)信息， 諸如運(yùn)動(dòng)向量。
參考圖像生成單元340通過使用圖像幀的運(yùn)動(dòng)信息，將塊單元中的每個(gè) 圖像幀劃分為背景塊和目標(biāo)塊。為了劃分存在于圖像幀中的背景區(qū)域和目標(biāo) 區(qū)域，可以利用多種算法。例如，在參考圖像生成單元340中，執(zhí)行當(dāng)前圖 像幀的運(yùn)動(dòng)估計(jì)，并計(jì)算存在于當(dāng)前圖像幀中的塊的運(yùn)動(dòng)向量的幅度。然后， 改變量等于或大于預(yù)定閾值的塊可以被確定為目標(biāo)塊，而改變量小于預(yù)定闊 值的塊被確定為背景塊。此外，參考圖像生成單元340可以計(jì)算作為一個(gè)圖 像幀中的塊的運(yùn)動(dòng)向量的代表值的全局運(yùn)動(dòng)向量，并然后，確定其中塊的全 局運(yùn)動(dòng)向量和運(yùn)動(dòng)向量之間的差等于或大于預(yù)定閾值的塊作為目標(biāo)塊，而確 定其中所述差小于預(yù)定閾值的塊作為背景塊。為了獲得全局運(yùn)動(dòng)向量，可以 獲得一個(gè)圖像幀中的每個(gè)運(yùn)動(dòng)向量的直方圖，并然后，可以使用代表多個(gè)運(yùn) 動(dòng)向量的均值作為全局運(yùn)動(dòng)向量。
此外，參考圖像生成單元340比較當(dāng)前圖像幀和前一 圖像幀的背景區(qū)域， 并然后，參考圖像生成單元340通過使用當(dāng)前圖像幀具有而前一圖像幀缺少 的背景區(qū)域，來取代前一圖像幀的背景區(qū)域，并將更新的背景圖像存儲(chǔ)在存 儲(chǔ)單元中作為參考背景圖像。在每個(gè)輸入圖像幀中反復(fù)執(zhí)行該處理，借此持 續(xù)更新參考背景圖像。
如果用于存儲(chǔ)目標(biāo)塊的存儲(chǔ)空間是有限的，則當(dāng)存儲(chǔ)空間滿了時(shí)刪除已存儲(chǔ) 最長時(shí)間的目標(biāo)塊，并存儲(chǔ)新的目標(biāo)塊。
現(xiàn)在，將參考

參考圖像生成單元340的詳細(xì)結(jié)構(gòu)和操作。
圖4是圖示了根據(jù)本發(fā)明實(shí)施例的參考圖像生成單元的結(jié)構(gòu)的詳細(xì)框圖。
參考圖4，根據(jù)當(dāng)前實(shí)施例的參考圖像生成單元400包括區(qū)域分離單元 410、確定單元420、更新單元430和存儲(chǔ)單元440。存儲(chǔ)單元440存儲(chǔ)先前 被編碼并然后被恢復(fù)的前一圖像幀441。此外，存儲(chǔ)單元440存儲(chǔ)僅僅由通 過利用另 一 圖像幀的背景區(qū)域更新任何一個(gè)圖像幀缺少的背景區(qū)域生成的 背景圖像所形成的參考背景圖像442、以及由分離的目標(biāo)區(qū)域形成的參考目 標(biāo)圖像443。
圖5是圖示了根據(jù)本發(fā)明實(shí)施例被依次輸入到用于編碼圖像的設(shè)備中的 兩個(gè)圖像幀的示例的示意圖。圖6A和圖6B是分別圖示了根據(jù)本發(fā)明實(shí)施 例、從圖5圖示的圖像幀的任意時(shí)間(t-l )輸入的圖像幀(下文稱為"(t-l ) 圖像幀")分離的背景圖像和目標(biāo)圖像的示意圖。圖6C和圖6D是分別圖示 了根據(jù)本發(fā)明實(shí)施例、從圖5圖示的圖像幀的時(shí)間t輸入的圖像幀(下文稱 為"t圖像幀")分離的背景圖像和目標(biāo)圖像的示意圖。
區(qū)域分離單元410計(jì)算關(guān)于當(dāng)前圖像幀的塊的運(yùn)動(dòng)估計(jì)結(jié)果而生成的每 個(gè)塊的運(yùn)動(dòng)向量的幅度，并比較塊的幅度和預(yù)定閾值，借此從當(dāng)前圖像幀分 離背景區(qū)域和目標(biāo)區(qū)域。例如，參考圖5，通過使用t圖像幀的運(yùn)動(dòng)估計(jì)結(jié) 果，圖像分離單元410計(jì)算t圖像幀中每個(gè)塊的運(yùn)動(dòng)向量的幅度。以這個(gè)方 式，圖像分離單元410可以檢測(cè)運(yùn)動(dòng)向量等于或大于預(yù)定閾值的塊作為包括 移動(dòng)目標(biāo)的塊53。這是因?yàn)榫哂幸苿?dòng)目標(biāo)的塊具有比背景區(qū)域的運(yùn)動(dòng)向量相 對(duì)大的運(yùn)動(dòng)向量。類似地，區(qū)域分離單元410計(jì)算(t-l)圖像幀中每個(gè)塊的 運(yùn)動(dòng)向量的幅度，并通過比較塊的幅度和預(yù)定閾值，區(qū)域分離單元410可以 檢測(cè)包括移動(dòng)目標(biāo)的塊51 。
為了確定在由于圖像拾取設(shè)備(諸如攝象機(jī))的運(yùn)動(dòng)導(dǎo)致發(fā)生的搖鏡頭 (panning)圖像幀中存在的目標(biāo)，區(qū)域分離單元410計(jì)算表示存在于圖像幀 中的塊的運(yùn)動(dòng)向量的全局運(yùn)動(dòng)向量，并可確定其中全局運(yùn)動(dòng)向量和塊的運(yùn)動(dòng) 向量之間的差等于或大于預(yù)定閾值的塊作為目標(biāo)塊，以及確定其中所述差小
于預(yù)定閾值的塊為背景塊。即，對(duì)于搖鏡頭圖像情形，通過確定圖像幀的塊 的整體運(yùn)動(dòng)，確定搖鏡頭的方向，并然后，通過考慮所確定的搖鏡頭方向， 確定具有不同運(yùn)動(dòng)的塊為目標(biāo)區(qū)域。這里，可以使用圖像幀中所有塊的運(yùn)動(dòng) 向量的均值作為全局運(yùn)動(dòng)向量。
參考圖6A至6D,區(qū)域分離單元410將(t-l)圖像幀劃分為目標(biāo)區(qū)域 61和背景區(qū)域60,并將分離的(t-l)目標(biāo)區(qū)域61存儲(chǔ)在存儲(chǔ)單元440中為參 考目標(biāo)圖像。此外，區(qū)域分離單元410將t圖像幀劃分為目標(biāo)區(qū)域63和背景 區(qū)域64,并將分離的t目標(biāo)區(qū)域63存儲(chǔ)在存儲(chǔ)單元440中作為另一參考目 標(biāo)圖像。如上所述，在存儲(chǔ)單元440中依次存儲(chǔ)從每個(gè)圖像幀提取的目標(biāo)圖 像，并如果存儲(chǔ)空間已滿，通過取代已存儲(chǔ)最長時(shí)間的目標(biāo)圖像而存儲(chǔ)新的 目標(biāo)。
確定單元420比較在區(qū)域分離單元410中從每個(gè)圖像幀分離的背景區(qū)域 和目標(biāo)區(qū)域，并確定作為在當(dāng)前圖像幀和前一圖像幀二者中的背景區(qū)域的區(qū) 域、從背景區(qū)域改變到目標(biāo)區(qū)域的區(qū)域、以及從目標(biāo)區(qū)域改變到背景區(qū)域的 區(qū)域。
再次參考圖5，當(dāng)目標(biāo)移動(dòng)時(shí)，與(t-l)圖像幀的目標(biāo)區(qū)域51對(duì)應(yīng)的t 圖像幀中的區(qū)域52成為背景區(qū)域。此外，t圖像幀的目標(biāo)區(qū)域53是前一(t-l ) 圖像幀中的背景區(qū)域，但當(dāng)目標(biāo)移動(dòng)時(shí)，背景區(qū)域被改變?yōu)槟繕?biāo)區(qū)域。
更新單元430根據(jù)確定單元420的確定結(jié)果，通過使用當(dāng)前圖像幀的背 景區(qū)域，更新從先前圖像幀的背景區(qū)域生成的參考背景圖像。更具體地，首 先，關(guān)于在前一圖像幀和當(dāng)前圖像幀二者中都被確定為背景區(qū)域的區(qū)域，計(jì) 算前一圖像幀的塊的清晰度(clearness)和與前一圖像幀的塊對(duì)應(yīng)的當(dāng)前圖 像幀的塊的清晰度，并用更清楚的塊取代參考背景圖像中對(duì)應(yīng)于該塊的區(qū) 域。這是通過使用更清楚的圖像生成參考背景圖像，因?yàn)橛捎跀z象機(jī)的微小 搖晃導(dǎo)致的輕微模糊圖像可存在于時(shí)間上連續(xù)的圖像幀中。為了檢測(cè)圖像的 清晰度，可使用用于檢測(cè)圖像中的邊緣的各種算法。這是因?yàn)闄z測(cè)邊緣在清 楚圖像中比在模糊圖像中更容易。
在當(dāng)前實(shí)施例中，作為檢測(cè)圖像清晰度的方法，使用提取圖像中的高頻 分量的方法。當(dāng)檢測(cè)高頻分量時(shí)，可以使用多種頻率變換方法，諸如離散余 弦變換(DCT)或小波變換。更新單元430將在前一圖像幀和當(dāng)前圖像幀二 者中都確定為背景的區(qū)域變換至頻域，并然后，通過比較當(dāng)前圖像幀的高頻分量和前一圖像幀的高頻分量，更新單元430選擇具有較高高頻分量的圖像
幀作為具有更清楚畫面質(zhì)量的圖像。然后，通過用具有較高高頻分量的圖像
幀取代參考背景圖像幀的對(duì)應(yīng)區(qū)域，更新單元430更新參考背景圖像。例如， 參考圖6A和6C,更新單元430將在(t-l )圖像幀和t圖像幀二者中都被確 定為是背景區(qū)域的塊66a和66b變換至頻域，并通過比較塊66a和66b的高 頻分量，更新單元430選擇具有較高高頻分量的塊。更新單元430用選擇的 塊取代參考背景圖像的區(qū)域，借此更新參考背景圖像。
此外，更新單元430通過使用在前一圖像幀中被確定為目標(biāo)區(qū)域而在當(dāng) 前圖像幀中被確定為背景區(qū)域的區(qū)域，來取代參考背景圖像的對(duì)應(yīng)區(qū)域，借 此更新參考背景圖像。再參考圖6A和6C,附圖標(biāo)記61指明的區(qū)域是(t-l) 圖像幀中的目標(biāo)區(qū)域，并被改變?yōu)閠圖像幀中的背景區(qū)域。因此，從目標(biāo)區(qū) 域改變?yōu)楸尘皡^(qū)域的區(qū)域是由前一參考背景圖像中的目標(biāo)隱藏的部分，從而 在前一參考背景圖像中被省略。更新單元430用當(dāng)前圖像幀的對(duì)應(yīng)背景區(qū)域 取代前一圖像幀中被目標(biāo)隱藏的區(qū)域，從而更新參考背景圖像。更新單元430 對(duì)輸入圖像幀重復(fù)執(zhí)行該處理，從而持續(xù)更新在存儲(chǔ)單元440中存儲(chǔ)的參考 背景圖像442。
同樣，在存儲(chǔ)單元440中，存儲(chǔ)從每個(gè)圖像幀提取的各個(gè)形狀的參考目 標(biāo)圖像443。例如，如圖6B和6D所示，從每個(gè)圖像幀分離的各個(gè)形狀的參 考目標(biāo)圖像51和53被存儲(chǔ)為參考目標(biāo)圖像443。由更新單元430生成的參 考背景圖像442和從每個(gè)圖像幀分離的參考目標(biāo)圖像443用于未來圖像幀的 運(yùn)動(dòng)估計(jì)和補(bǔ)償。以這個(gè)方式，當(dāng)單獨(dú)存儲(chǔ)從每個(gè)圖像幀分離的目標(biāo)圖像時(shí)， 可通過使用參考目標(biāo)圖像來更準(zhǔn)確地預(yù)測(cè)具有改變的運(yùn)動(dòng)的目標(biāo)。
圖7是圖示了根據(jù)本發(fā)明實(shí)施例的用于編碼圖像的方法的流程圖。 參考圖7,在操作710,將當(dāng)前圖像幀劃分為背景區(qū)域和目標(biāo)區(qū)域。如 上所述，可以通過檢測(cè)當(dāng)前圖像幀的每個(gè)塊的運(yùn)動(dòng)向量的幅度、并比較每個(gè) 塊的幅度和預(yù)定閾值來識(shí)別背景和目標(biāo)。此外，計(jì)算代表當(dāng)前圖像幀中的所 有塊的運(yùn)動(dòng)向量的全局運(yùn)動(dòng)向量，并然后，可以將其中全局運(yùn)動(dòng)向量和塊運(yùn) 動(dòng)向量之間的差等于或大于預(yù)定閾值的塊確定為目標(biāo)塊，并可以將剩余塊確 定為背景塊。
在操作720,比較當(dāng)前圖像幀和前一圖像幀，從而確定在當(dāng)前圖像幀和 前一圖像幀二者中均保持為背景區(qū)域的區(qū)域、從背景區(qū)域改變?yōu)槟繕?biāo)區(qū)域的區(qū)域、以及從目標(biāo)區(qū)域改變?yōu)楸尘皡^(qū)域的區(qū)域。
在操作730，對(duì)于在當(dāng)前圖像幀和前一圖像幀二者中均保持為背景區(qū)域 的區(qū)域的情形，從當(dāng)前圖像幀和前一 圖像幀中選擇具有更高清晰度的圖像， 并通過使用所選擇的圖像取代參考背景圖像，從而更新參考背景圖像。此外， 對(duì)于從背景區(qū)域改變?yōu)槟繕?biāo)區(qū)域的區(qū)域的情形，將當(dāng)前圖像幀的目標(biāo)區(qū)域作
為參考目標(biāo)區(qū)域單獨(dú)存儲(chǔ)在存儲(chǔ)單元440中。對(duì)于從目標(biāo)區(qū)域改變?yōu)楸尘皡^(qū) 域的區(qū)域的情形，在前一圖像幀的背景區(qū)域中省略該區(qū)域，并因此通過使用 前一圖像幀的背景區(qū)域，填充在前一圖像幀中省略的背景區(qū)域，從而更新參 考背景圖像。
在操作740,針對(duì)隨后的圖像幀重復(fù)執(zhí)行上面的處理，持續(xù)更新參考背 景圖像和參考目標(biāo)圖像。以這個(gè)方式，通過在處理當(dāng)前圖像幀之前使用通過 上面的處理生成的參考背景圖像和參考目標(biāo)圖像，執(zhí)行運(yùn)動(dòng)估計(jì)，從而生成 預(yù)測(cè)圖像，并變換在預(yù)測(cè)圖像和原始圖像之間的差別，從而執(zhí)行量化和熵編 碼。
圖8是圖示了根據(jù)本發(fā)明實(shí)施例的用于解碼圖像的設(shè)備的結(jié)構(gòu)的框圖。
參考圖8,根據(jù)當(dāng)前實(shí)施例的用于解碼圖像的設(shè)備800是接收由圖3所 示的編碼設(shè)備300所編碼的位流并解碼該位流的設(shè)備，并包括用于解復(fù)用 (demuxing)位流的解復(fù)用單元810、熵解碼單元820、以及變換解碼單元 850。此外，用于解碼圖像的設(shè)備800包括解釋編碼類型信息的編碼類型信 息解釋單元830和解釋運(yùn)動(dòng)向量的運(yùn)動(dòng)向量解釋單元840。
通過解復(fù)用單元810將位流解復(fù)用為熵編碼量化變換系數(shù)、運(yùn)動(dòng)向量信 息、編碼類型信息等。熵解碼單元820對(duì)已熵編碼的變換系數(shù)進(jìn)行熵解碼， 并輸出已量化的變換系數(shù)。變換解碼單元850對(duì)已量化的變換系數(shù)進(jìn)行變換 -解碼。恢復(fù)的圖像數(shù)據(jù)被存儲(chǔ)在參考圖像生成單元860中用于運(yùn)動(dòng)補(bǔ)償。
同時(shí)，編碼類型信息解釋單元830發(fā)現(xiàn)位流的編碼類型，并如果類型是 需要運(yùn)動(dòng)補(bǔ)償?shù)膸g類型，則編碼類型信息解釋單元830閉合第三開關(guān) (S30 )。相應(yīng)地，乂人運(yùn)動(dòng)補(bǔ)償單元870輸出的運(yùn)動(dòng)補(bǔ)償值被相加到從變換解 碼單元850輸出的數(shù)據(jù)，并獲得恢復(fù)的圖像數(shù)據(jù)。運(yùn)動(dòng)向量解釋單元840提 供由根據(jù)運(yùn)動(dòng)向量信息獲得的運(yùn)動(dòng)向量指明的位置，并且運(yùn)動(dòng)補(bǔ)償單元870 根據(jù)由運(yùn)動(dòng)向量指明的參考圖像數(shù)據(jù)生成運(yùn)動(dòng)補(bǔ)償值，并輸出運(yùn)動(dòng)補(bǔ)償值。
具體地，參考圖像生成單元860使用先前恢復(fù)的圖像幀來生成參考背景圖像和參考目標(biāo)圖像，并存儲(chǔ)所生成的圖像。除了參考圖像生成單元860使 用所恢復(fù)的圖像外，參考圖像生成單元860的結(jié)構(gòu)和操作類似于圖像編碼設(shè) 備的圖4所示的參考圖像生成單元400。
即，參考圖像生成單元860從在解碼當(dāng)前圖像幀之前恢復(fù)的第 一圖像幀 和第二圖像幀的每一個(gè)分離背景區(qū)域和目標(biāo)區(qū)域。通過比較第一圖像幀和第 二圖像幀，參考圖像生成單元860確定在第 一 圖像幀和第二圖像幀二者中保 持為背景區(qū)域的區(qū)域、從背景區(qū)域改變?yōu)槟繕?biāo)區(qū)域的區(qū)域、以及從目標(biāo)區(qū)域 改變?yōu)楸尘皡^(qū)域的區(qū)域。然后，根據(jù)確定結(jié)果，參考圖像生成單元860使用 第一圖像幀和第二圖像幀的背景，更新從先前恢復(fù)的圖像幀的背景區(qū)域生成 的參考背景圖像。如上所述，對(duì)于在第一圖像幀和第二圖像幀二者中都保持 為背景區(qū)域的區(qū)域，從第 一 圖像幀和第二圖像幀中選擇具有較高清晰度的圖 像，并通過使用所選擇的圖像，取代參考背景圖像，借此更新參考背景圖像。 此外，對(duì)于從背景區(qū)域改變?yōu)槟繕?biāo)區(qū)域的區(qū)域，獨(dú)立地在參考圖像生成單元 860的存儲(chǔ)單元中存儲(chǔ)第二圖像幀的目標(biāo)區(qū)域?yàn)閰⒖寄繕?biāo)區(qū)域。對(duì)于從目標(biāo) 區(qū)域改變?yōu)楸尘皡^(qū)域的區(qū)域，在第一圖像幀的背景區(qū)域中省略該區(qū)域，并通 過使用第二圖像幀的背景區(qū)域，填充第一圖像幀中省略的背景區(qū)域，借此更 新參考背景圖像。
當(dāng)編碼類型信息解釋單元830中確定的并正被解碼的圖像幀使用從先前 的圖像幀生成的參考背景圖像或參考目標(biāo)圖像時(shí)，運(yùn)動(dòng)補(bǔ)償單元870通過使 用參考圖像生成單元840所生成的參考背景圖像或參考目標(biāo)圖像來執(zhí)行運(yùn)動(dòng) 補(bǔ)償，并生成預(yù)測(cè)圖像。
圖9是圖示了根據(jù)本發(fā)明實(shí)施例的用于解碼圖像的方法的流程圖。 參考圖9,在操作910,在包括第一圖像幀和第二圖像幀的至少兩個(gè)圖 像幀的每個(gè)中分離背景區(qū)域和目標(biāo)區(qū)域，該兩個(gè)圖像幀在當(dāng)前圖像幀之前恢復(fù)。
在操作920,通過比較所恢復(fù)的第一圖像幀和第二圖像幀，確定在第一 圖像幀和第二圖像幀二者中保持為背景區(qū)域的區(qū)域、從背景區(qū)域改變?yōu)槟繕?biāo) 區(qū)域的區(qū)域、以及從目標(biāo)區(qū)域改變?yōu)楸尘皡^(qū)域的區(qū)域。
在操作930，根據(jù)操作920的確定結(jié)果，通過使用第一圖像幀和第二圖 像幀的背景區(qū)域更新從所有圖像幀的背景區(qū)域生成的參考背景圖像，并存儲(chǔ) 更新的參考背景圖像。
在操作940,通過使用更新的參考背景圖像，執(zhí)行當(dāng)前圖像幀的運(yùn)動(dòng)補(bǔ) 償，借此生成恢復(fù)的預(yù)測(cè)圖像，并將所恢復(fù)的預(yù)測(cè)圖像相加到位流中的剩余 分量中，借此恢復(fù)圖像。
根據(jù)上述的本發(fā)明，不需要增加存儲(chǔ)參考圖像的存儲(chǔ)器的大小，可以減 少當(dāng)執(zhí)行運(yùn)動(dòng)估計(jì)和補(bǔ)償時(shí)所需的計(jì)算的復(fù)雜性，并且當(dāng)使用多個(gè)參考幀時(shí) 可以增加編碼效率。
即，通過使用先前的圖像幀，可以持續(xù)更新并存儲(chǔ)參考背景圖像和參考 目標(biāo)圖像。然后，通過使用參考背景圖像和參考目標(biāo)圖像，可以執(zhí)行運(yùn)動(dòng)估 計(jì)和補(bǔ)償。以這個(gè)方式，不需要存儲(chǔ)多個(gè)參考圖像，并通過僅使用更新的參 考背景圖像，可以生成預(yù)測(cè)圖像，并增強(qiáng)編碼效率。
此外，在目標(biāo)的情況中，通過使用參考目標(biāo)圖像，可以容易地執(zhí)行運(yùn)動(dòng) 估計(jì)和補(bǔ)償而不增加搜索區(qū)域。對(duì)于其形狀改變的目標(biāo)，通過使用在存儲(chǔ)單元中存儲(chǔ)的多個(gè)參考目標(biāo)圖像，可生成預(yù)測(cè)圖像，借此增加編碼效率。
本發(fā)明還可以體現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī) 可讀記錄介質(zhì)是可以存儲(chǔ)計(jì)算機(jī)系統(tǒng)此后可讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)的例子包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器 (RAM)、 CD-ROM、磁帶、軟盤和光數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì) 還可分布在耦接計(jì)算機(jī)系統(tǒng)的網(wǎng)絡(luò)上，以便以分布形式存儲(chǔ)并運(yùn)行計(jì)算機(jī)可 讀代碼。
雖然已參考本發(fā)明的示范實(shí)施例具體表示和描述了本發(fā)明，但是本領(lǐng)域 的普通技術(shù)人員將理解，在不背離由接下來的權(quán)利要求限定的本發(fā)明的精神 和范圍的情況下，可以在其中進(jìn)行形式和細(xì)節(jié)上的各種改變。示范實(shí)施例應(yīng) 該僅僅被認(rèn)為是描述意義而不用于限制。因此，不由本發(fā)明的詳細(xì)描述而由 附加的權(quán)利要求限定本發(fā)明的范圍，以及范圍內(nèi)的所有差別可以理解為包括 在本發(fā)明中。
權(quán)利要求
1、一種用于編碼圖像的方法，包括將當(dāng)前圖像幀劃分為背景區(qū)域和目標(biāo)區(qū)域；比較當(dāng)前圖像幀和前一圖像幀，從而確定背景區(qū)域或目標(biāo)區(qū)域在當(dāng)前圖像幀和前一圖像幀之間是否已改變；根據(jù)確定的結(jié)果，通過使用當(dāng)前圖像幀的背景區(qū)域，更新從前一圖像幀的背景生成的參考背景圖像，并存儲(chǔ)所更新的參考背景圖像；以及通過使用更新的參考背景圖像而執(zhí)行當(dāng)前圖像幀之后的圖像幀的運(yùn)動(dòng)估計(jì)。
2、 如權(quán)利要求1所述的方法，其中將當(dāng)前圖像幀劃分為背景區(qū)域和目 標(biāo)區(qū)域的步驟包括執(zhí)行當(dāng)前圖像幀的基于塊的運(yùn)動(dòng)估計(jì)，并生成運(yùn)動(dòng)向量； 計(jì)算當(dāng)前圖像幀的每個(gè)運(yùn)動(dòng)向量的幅度；以及對(duì)于其中塊的運(yùn)動(dòng)向量的幅度等于或大于預(yù)定闊值的塊，確定該塊包括 在目標(biāo)區(qū)域中，以及對(duì)于其中塊的運(yùn)動(dòng)向量的幅度小于預(yù)定閾值的塊，確定 該塊包括在背景區(qū)域中。
3、 如權(quán)利要求1所述的方法，其中將當(dāng)前圖像幀劃分為背景區(qū)域和目 標(biāo)區(qū)域的步驟包括執(zhí)行當(dāng)前圖像幀的基于塊的運(yùn)動(dòng)估計(jì)，并生成運(yùn)動(dòng)向量； 計(jì)算表示當(dāng)前圖像幀中的塊的所有運(yùn)動(dòng)向量的全局運(yùn)動(dòng)向量；以及在當(dāng)前圖像幀的塊中，將全局運(yùn)動(dòng)向量和塊的運(yùn)動(dòng)向量之間的差等于或 大于預(yù)定閾值的塊確定為目標(biāo)區(qū)域，將全局運(yùn)動(dòng)向量和塊的運(yùn)動(dòng)向量之間的 差小于預(yù)定閾值的塊確定為背景區(qū)域。
4、 如權(quán)利要求l所述的方法，其中更新參考背景圖像的步驟包括 計(jì)算在當(dāng)前圖像幀和前一圖像幀二者中都被確定為背景區(qū)域的區(qū)域的清晰度；從當(dāng)前圖像幀和前 一 圖像幀的背景區(qū)域中選擇具有較高清晰度的背景 區(qū)域；以及用所選擇的背景區(qū)域取代在參考背景圖像中與所選擇的背景區(qū)域?qū)?yīng) 的區(qū)域，從而更新參考背景圖像。
5、 如權(quán)利要求4所述的方法，其中選擇具有較高清晰度的背景區(qū)域的 步驟包括將當(dāng)前圖像幀和前一圖像幀變換至頻域；以及比較當(dāng)前圖像幀和前一 圖像幀的高頻分量，并在當(dāng)前圖像幀和前一 圖像 幀之間選擇具有較高高頻分量的背景區(qū)域，作為具有較高清晰度的背景區(qū) 域。
6、 如權(quán)利要求1所述的方法，其中在更新參考背景圖像的步驟中，用 當(dāng)前圖像幀的背景區(qū)域取代與當(dāng)前圖像幀的背景區(qū)域?qū)?yīng)的參考背景圖像 的區(qū)域，其中所述參考背景圖像的區(qū)域被確定為在前一 圖像幀中的目標(biāo)區(qū)域 和當(dāng)前圖像幀中的背景區(qū)域，從而更新參考背景圖像。
7、 如權(quán)利要求1所述的方法，還包括存儲(chǔ)當(dāng)前圖像幀的目標(biāo)區(qū)域作為 參考目標(biāo)圖像，其中所述目標(biāo)區(qū)域在前一圖像幀中被確定為背景區(qū)域而在當(dāng) 前圖像幀中被確定為目標(biāo)區(qū)域。
8、 一種用于編碼圖像的設(shè)備，包括區(qū)域分離單元，將當(dāng)前圖像幀劃分為背景區(qū)域和目標(biāo)區(qū)域；確定單元，比較當(dāng)前圖像幀和前一圖像幀，從而確定背景區(qū)域或目標(biāo)區(qū) 域在當(dāng)前圖像幀和前一 圖像幀之間是否改變；更新單元，根據(jù)確定的結(jié)果，通過使用當(dāng)前圖像幀的背景區(qū)域，更新從 前一圖像幀的背景生成的參考背景圖像，并存儲(chǔ)更新的參考背景圖像；以及運(yùn)動(dòng)估計(jì)單元，通過使用更新的參考背景圖像而執(zhí)行當(dāng)前圖像幀之后的圖像幀的運(yùn)動(dòng)估計(jì)。
9、 如權(quán)利要求8所述的設(shè)備，其中區(qū)域分離單元包括 運(yùn)動(dòng)向量幅度計(jì)算單元，使用通過執(zhí)行當(dāng)前圖像幀的基于塊的運(yùn)動(dòng)估計(jì)而生成的運(yùn)動(dòng)向量，來計(jì)算當(dāng)前圖像幀的每個(gè)塊的運(yùn)動(dòng)向量的幅度；以及區(qū)域確定單元，將其中塊的運(yùn)動(dòng)向量的幅度等于或大于預(yù)定閾值的塊確 定為包括在目標(biāo)區(qū)域中的塊，并將其中塊的運(yùn)動(dòng)向量的幅度小于預(yù)定闞值的 塊確定為包括在背景區(qū)域中的塊。
10、 如權(quán)利要求8所述的設(shè)備，其中區(qū)域分離單元包括 全局運(yùn)動(dòng)向量計(jì)算單元，計(jì)算表示當(dāng)前圖像幀的所有塊的運(yùn)動(dòng)向量的全局運(yùn)動(dòng)向量；以及區(qū)域確定單元，在當(dāng)前圖像幀的塊之中，將全局運(yùn)動(dòng)向量和塊的運(yùn)動(dòng)向 量之間的差等于或大于預(yù)定閾值的塊確定為目標(biāo)區(qū)域，并將全局運(yùn)動(dòng)向量和 塊的運(yùn)動(dòng)向量之間的差小于預(yù)定閾值的塊確定為背景區(qū)域。
11、 如權(quán)利要求8所述的設(shè)備，其中更新單元包括更新區(qū)域選擇單元，計(jì)算在當(dāng)前圖像幀和前一 圖像幀二者中都被確定為 背景區(qū)域的區(qū)域的清晰度，并從當(dāng)前圖像幀和前一 圖像幀的背景區(qū)域中選擇 具有較高清晰度的背景區(qū)域；以及更新單元，用所選擇的背景區(qū)域取代在參考背景圖像中與所選擇的背景 區(qū)域?qū)?yīng)的區(qū)域，從而更新參考背景圖像。
12、 如權(quán)利要求11所述的設(shè)備，其中更新區(qū)域選擇單元將當(dāng)前圖像幀 和前一圖像幀變換至頻域，比較當(dāng)前圖像幀和前一圖像幀的高頻分量，并在 當(dāng)前圖像幀和前一 圖像幀之間選擇具有較高高頻分量的背景區(qū)域作為具有 較高清晰度的背景區(qū)域。
13、 如權(quán)利要求8所述的設(shè)備，其中更新單元用當(dāng)前圖像幀的背景區(qū)域 取代在前一圖像幀中被確定為目標(biāo)區(qū)域而在當(dāng)前圖像幀中被確定為背景區(qū) 域的、與當(dāng)前圖像幀的背景區(qū)域?qū)?yīng)的參考背景圖像的區(qū)域，從而更新參考 背景圖像。
14、 如權(quán)利要求8所述的設(shè)備，其中存儲(chǔ)單元存儲(chǔ)當(dāng)前圖像幀的目標(biāo)區(qū) 域作為參考目標(biāo)圖像，其中所述目標(biāo)區(qū)域在前 一 圖像幀中被確定為背景區(qū)域 而在當(dāng)前圖像幀中被確定為目標(biāo)區(qū)域。
15、 一種用于解碼圖像的方法，包括從包括第一圖像幀和第二圖像幀的至少兩個(gè)圖像幀的每個(gè)中分離背景 區(qū)域和目標(biāo)區(qū)域，該兩個(gè)圖像幀在解碼當(dāng)前圖像幀之前被恢復(fù)；比較所恢復(fù)的第 一圖像幀和第二圖像幀，并確定背景區(qū)域或目標(biāo)區(qū)域在 第 一 圖像幀和第二圖像幀之間是否改變；根據(jù)確定的結(jié)果，通過使用第一圖像幀和第二圖像幀的背景，更新從先 前恢復(fù)的圖像幀的背景區(qū)域生成的參考背景圖像，并存儲(chǔ)所更新的參考背景 圖像；以及通過使用所更新的參考背景圖像，執(zhí)行當(dāng)前圖像幀的運(yùn)動(dòng)補(bǔ)償。
16、 如權(quán)利要求15所述的方法，其中從第一圖像幀和第二圖像幀的每 一個(gè)中分離背景區(qū)域和目標(biāo)區(qū)域的步驟包括通過使用包括在輸入位流中的第 一 圖像幀和第二圖像幀的塊的運(yùn)動(dòng)向量，確定包括在第一圖像幀和第二圖像幀中的每個(gè)塊的運(yùn)動(dòng)向量的幅度；以及對(duì)于其中塊的運(yùn)動(dòng)向量的幅度等于或大于預(yù)定閾值的塊，確定該塊包括 在目標(biāo)區(qū)域中，以及對(duì)于其中塊的運(yùn)動(dòng)向量幅度小于預(yù)定閾值的塊，確定該 塊包括在背景區(qū)域中。
17、 如權(quán)利要求15所述的方法，其中從第一圖像幀和第二圖像幀的每 一個(gè)中分離背景區(qū)域和目標(biāo)區(qū)域的步驟包括通過使用包括在輸入位流中的第 一圖像幀和第二圖像幀的運(yùn)動(dòng)向量，計(jì) 算表示第一圖像幀中的塊的運(yùn)動(dòng)向量的第一全局運(yùn)動(dòng)向量，以及表示第二圖 像幀中的塊的運(yùn)動(dòng)向量的第二全局運(yùn)動(dòng)向量；以及對(duì)于第一圖像幀和第二圖像幀的每個(gè)塊，將塊的運(yùn)動(dòng)向量與第一全局運(yùn) 動(dòng)向量和第二全局運(yùn)動(dòng)向量中的對(duì)應(yīng)一個(gè)進(jìn)行比較，并將其中全局運(yùn)動(dòng)向量 與塊的運(yùn)動(dòng)向量之間的差等于或大于預(yù)定閾值的塊確定為目標(biāo)區(qū)域，并將其 中全局運(yùn)動(dòng)向量與塊的運(yùn)動(dòng)向量之間的差小于預(yù)定閾值的塊確定為背景區(qū) 域。
18、 如權(quán)利要求15所述的方法，其中更新參考背景圖像的步驟包括 計(jì)算在第 一 圖像幀和第二圖像幀二者中都被確定為背景區(qū)域的區(qū)域的清晰度；從第 一 圖像幀和第二圖像幀的背景區(qū)域中選擇具有較高清晰度的背景區(qū)域；以及用所選擇的背景區(qū)域取代在參考背景圖像中與所選擇的背景區(qū)域?qū)?yīng) 的區(qū)域，從而更新參考背景圖像。
19、 如權(quán)利要求18所述的方法，其中選擇具有較高清晰度的背景區(qū)域 的步驟包括將第一圖像幀和第二圖像幀變換至頻域；以及比較第 一 圖像幀和第二圖像幀的高頻分量，并在第 一 圖像幀和第二圖像 幀之間選擇具有較高高頻分量的背景區(qū)域作為具有較高清晰度的背景區(qū)域。
20、 如權(quán)利要求15所述的方法，其中在更新參考背景圖像的步驟中， 用第二圖像幀的背景區(qū)域取代與第二圖像幀的背景區(qū)域?qū)?yīng)的參考背景圖 像中的區(qū)域，所述參考背景圖像的區(qū)域被確定為第 一 圖像幀中的目標(biāo)區(qū)域和 第二圖像幀中的背景區(qū)域，從而更新參考背景圖像。
21、 如權(quán)利要求15所述的方法，還包括將第二圖像幀的目標(biāo)區(qū)域存儲(chǔ)為參考目標(biāo)圖像，其中所述目標(biāo)區(qū)域被確定為第 一 圖像幀中的背景區(qū)域和第 二圖像幀中的目標(biāo)區(qū)域。
22、 一種用于解碼圖像的設(shè)備，包括區(qū)域分離單元，從包括第一圖像幀和第二圖像幀的至少兩個(gè)圖像幀的每 個(gè)中分離背景區(qū)域和目標(biāo)區(qū)域，該兩個(gè)圖像幀在解碼當(dāng)前圖像幀之前被恢復(fù);確定單元，比較所恢復(fù)的第一圖像幀和第二圖像幀，并確定背景區(qū)域或 目標(biāo)區(qū)域在第一圖像幀和第二圖像幀之間是否改變；更新單元，根據(jù)確定的結(jié)果，通過使用第 一 圖像幀和第二圖像幀的背景， 更新從先前恢復(fù)的圖像幀的背景區(qū)域生成的參考背景圖像；存儲(chǔ)單元，存儲(chǔ)所更新的參考背景圖像；以及運(yùn)動(dòng)補(bǔ)償單元，通過使用所更新的參考背景圖像，執(zhí)行當(dāng)前圖像幀的運(yùn) 動(dòng)補(bǔ)償。
23、 如權(quán)利要求22所述的設(shè)備，其中區(qū)域分離單元包括 運(yùn)動(dòng)向量幅度計(jì)算單元，通過使用包括在輸入位流中的第一圖像幀和第二圖像幀的每個(gè)塊的運(yùn)動(dòng)向量，計(jì)算在第一圖像幀和第二圖像幀中包括的每 個(gè)塊的運(yùn)動(dòng)向量的幅度；以及區(qū)域確定單元，將其中塊的運(yùn)動(dòng)向量的幅度等于或大于預(yù)定閾值的塊確 定為包括在目標(biāo)區(qū)域中的塊，并將其中塊的運(yùn)動(dòng)向量的幅度小于預(yù)定閾值的 塊確定為包括在背景區(qū)域中的塊。
24、 如權(quán)利要求22所述的設(shè)備，其中區(qū)域分離單元包括全局運(yùn)動(dòng)向量計(jì)算單元，通過使用包括在輸入位流中的第一圖像幀和第 二圖像幀的每個(gè)塊的運(yùn)動(dòng)向量，計(jì)算表示第一圖像幀中的塊的運(yùn)動(dòng)向量的第 一全局運(yùn)動(dòng)向量、和表示第二圖像幀中的塊的運(yùn)動(dòng)向量的第二全局運(yùn)動(dòng)向 量；以及區(qū)域確定單元，針對(duì)第一圖像幀和第二圖像幀的每個(gè)塊，將每個(gè)塊的運(yùn) 動(dòng)向量與第一全局運(yùn)動(dòng)向量和第二全局運(yùn)動(dòng)向量的對(duì)應(yīng)一個(gè)進(jìn)行比較，并將 全局運(yùn)動(dòng)向量和塊的運(yùn)動(dòng)向量之間的差等于或大于預(yù)定閾值的塊確定為目 標(biāo)區(qū)域，而將全局運(yùn)動(dòng)向量和塊的運(yùn)動(dòng)向量之間的差小于預(yù)定閾值的塊確定 為背景區(qū)域。
25、如權(quán)利要求22所述的設(shè)備，其中更新單元包括更新區(qū)域選擇單元，計(jì)算在第 一 圖像幀和第二圖像幀二者中都被確定為背景區(qū)域的區(qū)域的清晰度，并從第一圖像幀和第二圖像幀的背景區(qū)域中選擇具有較高清晰度的背景區(qū)域；以及更新單元，用所選擇的背景區(qū)域取代在參考背景圖像中與所選擇的背景區(qū)域?qū)?yīng)的區(qū)域，從而更新參考背景圖像。
全文摘要
提供了一種用于編碼和/或解碼視頻圖像的方法和設(shè)備，其中通過使用從輸入圖像幀中提取的參考背景圖像和參考目標(biāo)圖像執(zhí)行運(yùn)動(dòng)估計(jì)和補(bǔ)償。在該方法和設(shè)備中，使用每個(gè)輸入圖像幀的背景圖像，并通過使用另一圖像幀的背景圖像更新任何一個(gè)圖像幀缺少的背景區(qū)域。以這個(gè)方式，生成并存儲(chǔ)參考背景圖像，并將每個(gè)圖像幀中的目標(biāo)圖像存儲(chǔ)為參考目標(biāo)圖像。然后，通過使用所存儲(chǔ)的參考背景圖像和參考目標(biāo)圖像，執(zhí)行運(yùn)動(dòng)估計(jì)和補(bǔ)償，從而增加編碼效率。
文檔編號(hào)H04N7/26GK101202913SQ200710186188
公開日2008年6月18日 申請(qǐng)日期2007年11月28日 優(yōu)先權(quán)日2006年11月28日
發(fā)明者俞基源, 安泰慶, 李在憲 申請(qǐng)人:三星電子株式會(huì)社