專利名稱：運(yùn)動(dòng)矢量檢測(cè)裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明，涉及一種運(yùn)動(dòng)矢量檢測(cè)技術(shù)，例如為了用包含幀間預(yù)測(cè)模式的圖像編碼方式對(duì)動(dòng)態(tài)圖像進(jìn)行編碼、對(duì)幀間的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)的裝置和方法、以及可利用該運(yùn)動(dòng)矢量檢測(cè)裝置的圖像編碼裝置。
背景技術(shù)：
作為動(dòng)態(tài)圖像的壓縮編碼方式的標(biāo)準(zhǔn)MPEG(Motion Picture ExpertsGroup運(yùn)動(dòng)圖像專家組)-4中，進(jìn)行使用了運(yùn)動(dòng)矢量動(dòng)作補(bǔ)償預(yù)測(cè)編碼(例如，參照特許文獻(xiàn)1)。特許文獻(xiàn)1中所述的追蹤型運(yùn)動(dòng)矢量搜索方法，從某個(gè)搜索原點(diǎn)起按照給定的搜索模板對(duì)各搜索點(diǎn)上的差的絕對(duì)值的總和進(jìn)行計(jì)算，并將接下來的搜索模板的中心向差的絕對(duì)值的總和最小的搜索點(diǎn)移動(dòng)、直到搜索模板中心的搜索點(diǎn)的差的絕對(duì)值的總和達(dá)到最小，從而對(duì)最佳點(diǎn)進(jìn)行追蹤。特許文獻(xiàn)1中提出如下技術(shù)方案在這種追蹤型運(yùn)動(dòng)矢量搜索方法中，為了防止搜索無用的運(yùn)動(dòng)矢量、提高搜索的效率，提出了對(duì)每個(gè)處理單位設(shè)定運(yùn)動(dòng)矢量可搜索次數(shù)進(jìn)行設(shè)定等、設(shè)定搜索的結(jié)束條件。
在上述的追蹤型的運(yùn)動(dòng)矢量搜索方法中，由于是從搜索原點(diǎn)出發(fā)，一邊將搜索點(diǎn)向旁邊移動(dòng)一邊進(jìn)行搜索，因此存在以下技術(shù)問題，即延長(zhǎng)了檢測(cè)運(yùn)動(dòng)矢量所需的時(shí)間。另外，若為了縮短搜索時(shí)間，如上所述設(shè)定搜索的結(jié)束條件，則有可能搜索在搜索原點(diǎn)附近的、局部的極小點(diǎn)就結(jié)束了，運(yùn)動(dòng)矢量的檢測(cè)精度降低，從而帶來的技術(shù)問題是碼量的增大和畫質(zhì)的降低。
特許文獻(xiàn)1特開2003-87799號(hào)公報(bào)。

發(fā)明內(nèi)容
本發(fā)明正是鑒于如上技術(shù)問題，其目的在于提供一種能夠縮短運(yùn)動(dòng)矢量檢測(cè)所需時(shí)間的技術(shù)。
本發(fā)明的方式一，是有關(guān)運(yùn)動(dòng)矢量檢測(cè)裝置。該運(yùn)動(dòng)矢量檢測(cè)裝置，是在第1圖像、和作為所述第1圖像的參照?qǐng)D像第2圖像之間，檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)裝置，其具備多個(gè)運(yùn)算部，該多個(gè)運(yùn)算部在所述第1圖像、和所述第2圖像所包含的區(qū)塊之間，進(jìn)行匹配運(yùn)算。所述多個(gè)運(yùn)算部并行同時(shí)進(jìn)行多個(gè)匹配運(yùn)算。
區(qū)塊間的匹配，可根據(jù)例如區(qū)塊所包含的各像素的像素值的差值來進(jìn)行。運(yùn)算部運(yùn)算出的指標(biāo)可為，各像素的像素值的差值越小該指標(biāo)越小。例如，可計(jì)算對(duì)各像素的像素值的差值平方和，也可計(jì)算各像素的像素值的差的絕對(duì)值總和。由于通過用多個(gè)運(yùn)算部同時(shí)進(jìn)行多個(gè)匹配運(yùn)算，能夠縮短運(yùn)動(dòng)矢量的檢測(cè)所需的時(shí)間，因此能夠提高編碼運(yùn)動(dòng)圖像的處理速度。另外，通過并行進(jìn)行多個(gè)匹配運(yùn)算，能夠縮短存儲(chǔ)器訪問等的時(shí)間，從而縮短處理時(shí)間，因此效果更好。
當(dāng)稱構(gòu)成所述區(qū)塊位置的基準(zhǔn)的點(diǎn)為搜索點(diǎn)時(shí)，所述多個(gè)運(yùn)算部，可在以包含于具有給定的模板的2維搜索區(qū)域中的多個(gè)搜索點(diǎn)為基準(zhǔn)位置得到的多個(gè)區(qū)塊、和所述第1圖像之間，進(jìn)行匹配運(yùn)算。所述運(yùn)動(dòng)矢量檢測(cè)裝置，還可具備評(píng)價(jià)部，其對(duì)由所述多個(gè)運(yùn)算部得到的運(yùn)算結(jié)果進(jìn)行評(píng)價(jià)，檢測(cè)出付與最佳匹配結(jié)果的搜索點(diǎn)；以及，設(shè)定部，其根據(jù)由所述評(píng)價(jià)部得到的評(píng)價(jià)結(jié)果，設(shè)定接下次進(jìn)行匹配運(yùn)算的搜索點(diǎn)。由于將2維搜索區(qū)域中包含的搜索點(diǎn)上的運(yùn)算同時(shí)進(jìn)行，能以區(qū)域單位搜索最優(yōu)解，因此與現(xiàn)有方法中將逐個(gè)搜索點(diǎn)1維移動(dòng)的方法相比，能用更短的時(shí)間在更廣的范圍中進(jìn)行搜索。從而，能夠縮短處理時(shí)間，并且提高運(yùn)動(dòng)矢量的檢測(cè)精度，并能降低碼量、提升畫質(zhì)。
所述設(shè)定部，以包含付與最佳匹配結(jié)果的搜索點(diǎn)的方式設(shè)定下一次的搜索區(qū)域，也可以將設(shè)定后的搜索區(qū)域中所包含的點(diǎn)設(shè)定為下一次的搜索點(diǎn)。這樣，能向著推測(cè)存在付與最佳匹配的搜索點(diǎn)的方向，適當(dāng)?shù)赝七M(jìn)搜索，因此能夠縮短處理時(shí)間，并提高運(yùn)動(dòng)矢量的檢測(cè)精度。
所述設(shè)定部，在所述搜索區(qū)域的中心點(diǎn)、和付與最佳匹配結(jié)果的搜索點(diǎn)的連結(jié)方向上，設(shè)定下一次的搜索區(qū)域。所述設(shè)定部，可在上一次的運(yùn)算中付與最佳匹配結(jié)果的搜索點(diǎn)、和此次運(yùn)算中付與最佳匹配結(jié)果的搜索點(diǎn)的連結(jié)方向上，設(shè)定下一次的搜索區(qū)域。這樣，能夠提高運(yùn)動(dòng)矢量的檢測(cè)精度。
所述評(píng)價(jià)部對(duì)運(yùn)算結(jié)果進(jìn)行評(píng)價(jià)的結(jié)果滿足給定條件時(shí)，可結(jié)束搜索。例如，當(dāng)上一次的運(yùn)算中付與最佳匹配的搜索點(diǎn)、與此次運(yùn)算中付與最佳匹配的搜索點(diǎn)相同時(shí)，可結(jié)束搜索。另外，當(dāng)用匹配運(yùn)算得到的指標(biāo)比個(gè)定的閾值還要好時(shí)，可結(jié)束搜索。
所述設(shè)定部，還可將上一次搜索以前由所述評(píng)價(jià)部得到的評(píng)價(jià)結(jié)果、所述第1圖像內(nèi)的其他區(qū)塊的運(yùn)動(dòng)矢量、比所述第1圖像更以前或以后的圖像的運(yùn)動(dòng)矢量、及有關(guān)所述第1圖像的移動(dòng)的信息的任意組合作為判斷基準(zhǔn)，設(shè)定所述搜索點(diǎn)。所述設(shè)定部，可根據(jù)由所述評(píng)價(jià)部得到的評(píng)價(jià)結(jié)果、所述第1圖像內(nèi)的其他區(qū)塊的運(yùn)動(dòng)矢量、比所述第1圖像更以前或以后的圖像的運(yùn)動(dòng)矢量、及有關(guān)所述第1圖像的移動(dòng)的信息的任意一個(gè)，可變地設(shè)定所述搜索區(qū)域的形狀。這樣，可以更高速、更高精度地檢測(cè)運(yùn)動(dòng)矢量。
本發(fā)明的另一種形式，是有關(guān)圖像編碼裝置。該圖像編碼裝置，是將動(dòng)態(tài)圖像進(jìn)行編碼，生成編碼數(shù)據(jù)列的圖像編碼裝置，其具備運(yùn)動(dòng)矢量檢測(cè)部，其在構(gòu)成所述動(dòng)態(tài)圖像的第1圖像、和作為所述第1圖像的參照?qǐng)D像的第2圖像之間，檢測(cè)運(yùn)動(dòng)矢量；以及，編碼部，其利用所述運(yùn)動(dòng)矢量對(duì)所述第1圖像進(jìn)行編碼，所述運(yùn)動(dòng)矢量檢測(cè)部，具備多個(gè)運(yùn)算部，該多個(gè)運(yùn)算部在所述第1圖像、和所述第2圖像中包含的區(qū)塊之間，進(jìn)行匹配運(yùn)算的。所述多個(gè)運(yùn)算部同時(shí)并行進(jìn)行多個(gè)匹配運(yùn)算。
本發(fā)明的另一種形式，是有關(guān)運(yùn)動(dòng)矢量檢測(cè)方法。該運(yùn)動(dòng)矢量檢測(cè)方法是在第1圖像、和作為所述第1圖像的參照?qǐng)D像第2圖像之間，檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)方法，其特征是，具備在所述第2圖像中所包含的區(qū)塊位置的基準(zhǔn)的點(diǎn)稱為搜索點(diǎn)時(shí)，并行進(jìn)行在以包含于具有給定的模板的2維搜索區(qū)域中的多個(gè)搜索點(diǎn)為基準(zhǔn)位置得到的多個(gè)區(qū)塊、和所述第1圖像之間的匹配運(yùn)算的步驟；對(duì)由所述運(yùn)算步驟得到的運(yùn)算結(jié)果進(jìn)行評(píng)價(jià)，檢測(cè)出付與最佳匹配結(jié)果的搜索點(diǎn)的步驟；以及根據(jù)由所述檢測(cè)步驟的檢測(cè)結(jié)果，設(shè)定下一個(gè)進(jìn)行匹配運(yùn)算的搜索點(diǎn)的步驟。
再者，上述構(gòu)成要素的任意組合，或?qū)⒈景l(fā)明的表現(xiàn)在方法、裝置、系統(tǒng)、程序等之間進(jìn)行變換得到的結(jié)果，都包含于本發(fā)明中。
通過本發(fā)明，能夠提供一種縮短檢測(cè)運(yùn)動(dòng)矢量所需時(shí)間的技術(shù)。


圖1是表示本發(fā)明的實(shí)施方式中的圖像編碼裝置的整體結(jié)構(gòu)的圖。
圖2是表示輸入圖像的示例的圖。
圖3是表示參照?qǐng)D像的示例的圖。
圖4是具體表示圖3所示的25個(gè)運(yùn)算對(duì)象宏塊的圖。
圖5(a)、(b)，是用于對(duì)實(shí)施方式的運(yùn)動(dòng)矢量搜索方法進(jìn)行說明的圖。
圖6(a)、(b)、(c)，是用于對(duì)實(shí)施方式的運(yùn)動(dòng)矢量搜索方法進(jìn)行說明的圖。
圖7是用于對(duì)實(shí)施方式的運(yùn)動(dòng)矢量搜索方法進(jìn)行說明的圖。
圖8是表示實(shí)施方式的運(yùn)動(dòng)矢量檢測(cè)電路的結(jié)構(gòu)的圖。
圖9是表示實(shí)施方式運(yùn)算部的結(jié)構(gòu)的圖。
圖10是表示實(shí)施方式中的運(yùn)動(dòng)矢量檢測(cè)方法的順序的流程圖。
圖中10-圖像編碼裝置、24-運(yùn)動(dòng)矢量檢測(cè)電路、26-運(yùn)動(dòng)補(bǔ)償電路、28-幀存儲(chǔ)器、30-編碼電路、32-解碼電路、34-輸出緩存、36-碼量控制電路、38-參照模式選擇電路、40-運(yùn)算部、42-評(píng)價(jià)部、44-位置設(shè)定部、50-輸入圖像存放部、52-參照?qǐng)D像存放部、54-時(shí)刻調(diào)整電路、56-差值運(yùn)算電路。
具體實(shí)施例方式
本發(fā)明的實(shí)施方式中的圖像編碼裝置，進(jìn)行以MPEG-4為標(biāo)準(zhǔn)的圖像編碼。本實(shí)施方式的圖像編碼裝置，通過在對(duì)編碼對(duì)象圖像于參照?qǐng)D像之間的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)時(shí)，并行進(jìn)行多個(gè)區(qū)塊匹配來實(shí)現(xiàn)處理的高速化。另外，本實(shí)施方式中，新提出了一種通過同時(shí)進(jìn)行多個(gè)區(qū)塊匹配、令檢測(cè)精度更高的運(yùn)動(dòng)矢量搜索方法。
圖1表示本發(fā)明實(shí)施方式中的圖像編碼裝置10的整體結(jié)構(gòu)。圖像編碼裝置10，包含運(yùn)動(dòng)矢量檢測(cè)電路24、運(yùn)動(dòng)補(bǔ)償電路26、幀存儲(chǔ)器28、編碼電路30、解碼電路32、輸出緩存34、碼量控制電路36、以及參照模式選擇電路38。雖然該結(jié)構(gòu)既可用任意計(jì)算機(jī)的CPU、存儲(chǔ)器、其他的LSI以硬件方式來實(shí)現(xiàn)，軟件方面可由載入存儲(chǔ)器中的程序等以軟件方式來實(shí)現(xiàn)，但這里對(duì)由它們配合實(shí)現(xiàn)的功能模塊進(jìn)行說明。因此，這些功能模塊可只由硬件、只由軟件、或由這二者的組合以各種形式實(shí)現(xiàn)這一點(diǎn)，本領(lǐng)域的技術(shù)人員應(yīng)可以理解。
從外部輸入到圖像編碼裝置10中的圖像(以下，稱“輸入圖像”)，送入運(yùn)動(dòng)矢量檢測(cè)電路24。運(yùn)動(dòng)矢量檢測(cè)電路24，對(duì)在為了預(yù)測(cè)預(yù)先存儲(chǔ)于幀存儲(chǔ)器28中作為參照對(duì)象的圖像(以下，稱“參照?qǐng)D像”)、與輸入圖像之間的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)。運(yùn)動(dòng)補(bǔ)償電路26，從碼量控制電路36中獲取量化中使用的量化步驟的值，并決定其量化系數(shù)和宏塊匹配的預(yù)測(cè)模式。由運(yùn)動(dòng)矢量檢測(cè)電路24檢測(cè)出的運(yùn)動(dòng)矢量、和由運(yùn)動(dòng)補(bǔ)償電路26決定的量化系數(shù)及宏塊匹配預(yù)測(cè)模式，被送入編碼電路30。另外，運(yùn)動(dòng)補(bǔ)償電路26，將對(duì)宏塊的預(yù)測(cè)值、與實(shí)際的值之間的差值作為預(yù)測(cè)誤差送入編碼電路30。
編碼電路30，用量化系數(shù)將預(yù)測(cè)誤差編碼后送入輸出緩存34。編碼電路30，將量化后的預(yù)測(cè)誤差和量化系數(shù)送入編碼電路32。編碼電路32，根據(jù)量化后的預(yù)測(cè)誤差和量化系數(shù)進(jìn)行解碼，并將解碼后的預(yù)測(cè)誤差與由補(bǔ)償電路26得到的預(yù)測(cè)值之和作為解碼圖像送入幀存儲(chǔ)器28。當(dāng)該解碼圖像被在后續(xù)的圖像編碼處理中參照時(shí)，作為參照?qǐng)D像送入矢量檢測(cè)電路24。碼量控制電路36，獲取輸出緩存34的蓄積量狀態(tài)，根據(jù)該蓄積量狀態(tài)生成下次量化中使用的量化步驟的值。
參照模式選擇電路38，在幀內(nèi)編碼、幀間前向預(yù)測(cè)編碼、幀間雙向預(yù)測(cè)編碼之間進(jìn)行幀預(yù)測(cè)模式的切換，并向其他電路輸出幀的參照模式信息。
用圖2至圖6，對(duì)本實(shí)施方式的運(yùn)動(dòng)矢量檢測(cè)方法進(jìn)行說明。運(yùn)動(dòng)矢量檢測(cè)電路24，通過區(qū)塊匹配檢測(cè)運(yùn)動(dòng)矢量。即，在輸入圖像中，搜索與作為編碼對(duì)象的宏塊(以下，稱“編碼對(duì)象宏塊”)之間的差值(預(yù)測(cè)誤差)最小的參照?qǐng)D像的宏塊(以下，稱“預(yù)測(cè)宏塊”)。本實(shí)施方式中，作為區(qū)塊匹配的一個(gè)示例，運(yùn)動(dòng)矢量檢測(cè)電路24，計(jì)算出在編碼對(duì)象宏塊、與作為預(yù)測(cè)宏塊候補(bǔ)的宏塊之間、像素值的差的絕對(duì)值的總和，并將其值最小的宏塊作為預(yù)測(cè)宏塊。表示從編碼對(duì)象宏塊的位置向檢測(cè)到的預(yù)測(cè)宏塊的位置的運(yùn)動(dòng)的矢量，構(gòu)成該編碼對(duì)象宏塊的運(yùn)動(dòng)矢量。
圖2表示輸入圖像100的示例。設(shè)輸入圖像100中，縱4像素×橫4像素的正方形的宏塊102為編碼的對(duì)象。雖然一般來說MPEG-4中，將縱16像素×橫16像素的區(qū)域作為宏塊，但這里為了簡(jiǎn)化附圖，設(shè)為4像素×橫4像素。設(shè)以左上端的像素位置代表編碼對(duì)象宏塊102的位置，用雙層圓表示。
圖3表示參照?qǐng)D像110的示例。本實(shí)施方式中，為了對(duì)編碼對(duì)象宏塊102進(jìn)行編碼時(shí)的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，從參照?qǐng)D像110之中，設(shè)定25個(gè)要與編碼對(duì)象宏塊102進(jìn)行區(qū)塊匹配運(yùn)算的對(duì)象的宏塊(以下，簡(jiǎn)稱為“運(yùn)算對(duì)象宏塊”)，作為預(yù)測(cè)宏塊的候補(bǔ)，并將編碼宏塊102與25個(gè)運(yùn)算對(duì)象宏塊之間的區(qū)塊匹配同時(shí)進(jìn)行。圖3的示例中，首先作為第1階段，以與輸入圖像100的編碼對(duì)象宏塊102的位置相同的位置(雙層圓的位置)為中心的、縱5像素×橫5像素的正方形區(qū)域116(以下，稱該區(qū)域?yàn)椤八阉鲄^(qū)域116”)中包含有25個(gè)像素位置(黑圓點(diǎn)的位置。以下稱該位置為“搜索點(diǎn)”)，將這25個(gè)像素位置作為左上像素得到25個(gè)縱4像素×橫4像素的宏塊，并將這25個(gè)宏塊設(shè)定為運(yùn)算對(duì)象宏塊后，進(jìn)行區(qū)塊匹配。
圖4具體表示圖3所示的25個(gè)運(yùn)算對(duì)象宏塊。運(yùn)動(dòng)矢量檢測(cè)電路24，在編碼對(duì)象宏塊102、與圖4所示的25個(gè)運(yùn)算對(duì)象宏塊112a～112y之間對(duì)像素值的差的絕對(duì)值的總和或差值二次方之和等差值數(shù)據(jù)進(jìn)行運(yùn)算，并從其中檢測(cè)出差值數(shù)據(jù)最小的運(yùn)算對(duì)象宏塊。此時(shí)，由于運(yùn)算對(duì)象宏塊112a～112y所包含的像素，全部位于區(qū)域114內(nèi)，因此在差值運(yùn)算時(shí)，將區(qū)域114內(nèi)部的像素的像素值暫時(shí)存儲(chǔ)于本地存儲(chǔ)器中，并一邊依次從本底存儲(chǔ)器中讀出像素值，一邊同時(shí)并行進(jìn)行25個(gè)運(yùn)算。
圖5(a)(b)，是用于對(duì)本實(shí)施方式的運(yùn)動(dòng)矢量搜索方法進(jìn)行說明的圖。本實(shí)施方式中，為了對(duì)圖2所示的編碼對(duì)象宏塊102的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，一邊移動(dòng)圖3所示的搜索區(qū)域116一邊重復(fù)區(qū)塊匹配，并對(duì)與編碼對(duì)象宏塊102的差值最小的運(yùn)算對(duì)象宏塊進(jìn)行搜索。以下，將第n階段的區(qū)塊匹配中差值最小的運(yùn)算對(duì)象宏塊112的位置(由左上像素代表)稱為“第n最小點(diǎn)”，在圖中用記號(hào)“mn”表示。另外，將第n階段的區(qū)塊匹配的搜索區(qū)域116的中心位置稱為“第n中心點(diǎn)”，在圖中用記號(hào)“cn”表示。
如圖5(a)及圖5(b)所示，將圖3所示的第1階段的搜索區(qū)域116a中包含的25個(gè)運(yùn)算對(duì)象宏塊112之中、與編碼對(duì)象宏塊102的差值最小的宏塊的位置，即第1最小點(diǎn)用“m1”表示。運(yùn)動(dòng)矢量檢測(cè)電路24，根據(jù)此第1階段的運(yùn)算結(jié)果，設(shè)定第2階段的搜索區(qū)域。本實(shí)施方式中，運(yùn)動(dòng)矢量檢測(cè)電路24，以上次運(yùn)算中得到的最小點(diǎn)為基準(zhǔn)，將包含最小點(diǎn)的區(qū)域作為下一個(gè)搜索區(qū)域。
圖5(a)的示例中，運(yùn)動(dòng)矢量檢測(cè)電路24，將連接第1中心點(diǎn)c1和第1最小點(diǎn)m1的矢量c1m1放大2倍后的位置，作為第2中心點(diǎn)c2。然后，對(duì)第2階段的搜索區(qū)域116b所包含的25個(gè)搜索點(diǎn)進(jìn)行區(qū)塊匹配。此時(shí)，可不必對(duì)第1階段已經(jīng)區(qū)塊匹配過的運(yùn)算對(duì)象宏塊112進(jìn)行運(yùn)算。這樣，由于通過將搜索區(qū)域116沿著上次運(yùn)算中的搜索區(qū)域116的中心點(diǎn)和最小點(diǎn)的連結(jié)方向移動(dòng)，能夠?qū)⑺阉鲄^(qū)域116沿著推測(cè)存在預(yù)測(cè)宏塊的方向適當(dāng)平滑移動(dòng)、并同時(shí)進(jìn)行區(qū)塊匹配，因此能夠用較短時(shí)間對(duì)預(yù)測(cè)宏塊進(jìn)行高效搜索。另外，降低了用局部最小點(diǎn)結(jié)束搜索的可能性，從而能夠提高運(yùn)動(dòng)矢量的檢測(cè)精度。
圖5(b)所示的示例中，將第1最小點(diǎn)m1作為左上端的區(qū)域，作為第2階段的搜索區(qū)域16b。這樣，由于將上次運(yùn)算中的最小點(diǎn)作為端點(diǎn)的區(qū)域，設(shè)定為搜索區(qū)域116，可以盡可能減少搜索點(diǎn)的重復(fù)，能以最少的運(yùn)算次數(shù)在更多的搜索點(diǎn)上進(jìn)行區(qū)塊匹配，從而能用較短時(shí)間對(duì)預(yù)測(cè)宏塊進(jìn)行高效搜索。另外，降低了用局部最小點(diǎn)結(jié)束搜索的可能性，從而能夠提高運(yùn)動(dòng)矢量的檢測(cè)精度。
圖6(a)、(b)、(c)是用于說明本實(shí)施方式的運(yùn)動(dòng)矢量搜索方法的圖。在圖6(a)、圖6(b)及圖6(c)中，用“m2”表示在圖5(a)所示的第2階段的搜索區(qū)域116b中所包含的25個(gè)運(yùn)算對(duì)象宏塊112中，與編碼對(duì)象宏塊102之間的差值最小的宏塊位置即第2最小點(diǎn)。
圖6(a)的示例中，運(yùn)動(dòng)矢量檢測(cè)電路24，與圖5(a)的示例同樣，將連結(jié)第2中心點(diǎn)c2與第2最小點(diǎn)m2的矢量c2m2放大2倍后的位置，作為第3中心點(diǎn)c3。雖然圖6(b)的示例中與圖6(a)的示例同樣，在連結(jié)第2中心點(diǎn)c2和第2最小點(diǎn)m2的方向上設(shè)定第3中心點(diǎn)c3，但設(shè)定第3階段搜索區(qū)域112c為包含第2最小點(diǎn)m2、并且盡可能不包含已經(jīng)運(yùn)算完畢的搜索點(diǎn)。這樣，能一邊適當(dāng)?shù)卦O(shè)定搜索方向，一邊在更多的搜索點(diǎn)上進(jìn)行區(qū)塊匹配。圖6(c)的示例中，運(yùn)動(dòng)矢量檢測(cè)電路24，在連結(jié)第1最小點(diǎn)m1和第2最小點(diǎn)m2的方向上設(shè)定第3中心點(diǎn)c3。此示例中，也能將搜索區(qū)域、沿推測(cè)存在預(yù)測(cè)宏塊的方向適當(dāng)移動(dòng)，并進(jìn)行搜索。
圖7也是用于對(duì)本實(shí)施方式的運(yùn)動(dòng)矢量搜索方法進(jìn)行說明的圖。圖7的示例中，搜索區(qū)域的形狀并不唯一，在各階段中根據(jù)給定條件而改變。例如，第2階段的搜索區(qū)域116b，其形狀在連結(jié)第1中心點(diǎn)c1與第1最小點(diǎn)m1的矢量c1m1方向上較長(zhǎng)。即，推測(cè)存在預(yù)測(cè)宏塊的方向上搜索區(qū)域更廣。這樣，能夠提高運(yùn)動(dòng)矢量的檢測(cè)精度和檢測(cè)速度。第3階段的搜索區(qū)域116c也同樣，設(shè)定為在連結(jié)第2中心點(diǎn)c2與第2最小點(diǎn)m2的矢量c2m2的方向上更廣。搜索區(qū)域不限于長(zhǎng)方形，可為任意形狀。
雖然用圖5～7說明的示例中，是根據(jù)前一的搜索結(jié)果決定下一次的搜索區(qū)域，但作為用于決定搜索區(qū)域的判斷基準(zhǔn)，也可為除此之外、比前一搜索結(jié)果更以前的搜索結(jié)果。例如，可根據(jù)連結(jié)第n中心點(diǎn)cn和第n最小點(diǎn)mn的矢量cnmn的總和，設(shè)定下一次的搜索區(qū)域。另外，也可將過去或未來幀的運(yùn)動(dòng)矢量信息、或同一幀內(nèi)其他宏塊的運(yùn)動(dòng)矢量的信息作為判斷基準(zhǔn)。例如，作為第1階段的搜索區(qū)域，可設(shè)定為以參照幀的對(duì)應(yīng)宏塊的運(yùn)動(dòng)矢量為中心得到的搜索區(qū)域。另外，作為第2階段以后的搜索區(qū)域，可設(shè)定為具有在參照幀的對(duì)應(yīng)宏塊的運(yùn)動(dòng)矢量的方向上較長(zhǎng)的形狀的搜索區(qū)域。另外，也可根據(jù)參照幀的各宏塊的運(yùn)動(dòng)矢量的統(tǒng)計(jì)信息設(shè)定搜索區(qū)域。再有作為其他的判斷標(biāo)準(zhǔn)，也可根據(jù)同一幀內(nèi)其他宏塊的運(yùn)動(dòng)矢量的統(tǒng)計(jì)信息設(shè)定搜索區(qū)域。例如，可設(shè)定以其他宏塊的運(yùn)動(dòng)矢量的平均為中心得到的搜索區(qū)域，也可設(shè)定在其他宏塊的運(yùn)動(dòng)矢量的方向上較廣的搜索區(qū)域。也可取得運(yùn)動(dòng)矢量以外的信息、例如畫面移動(dòng)等的信息，并將該信息作為判斷基準(zhǔn)。例如，可在取得表示圖像整體沿橫方向移動(dòng)的信息時(shí)，設(shè)定橫向較長(zhǎng)的搜索區(qū)域。如上所述，通過參照前一的搜索結(jié)果之外的、各種各樣的信息來對(duì)運(yùn)動(dòng)矢量進(jìn)行推測(cè)，能夠更高速并且高精度地檢測(cè)運(yùn)動(dòng)矢量。
運(yùn)動(dòng)矢量檢測(cè)電路24，按照上述的搜索方法，一邊移動(dòng)搜索區(qū)域116一邊進(jìn)行區(qū)塊匹配，當(dāng)搜索到第(n-1)最小點(diǎn)與第n最小點(diǎn)相同時(shí)，結(jié)束搜索，并將第n最小點(diǎn)所表示的宏塊作為預(yù)測(cè)宏塊。運(yùn)動(dòng)矢量檢測(cè)電路24，也可在第(n-1)最小點(diǎn)與第n最小點(diǎn)間的距離小于給定閾值時(shí)結(jié)束搜索，也可設(shè)定其他的搜索結(jié)束條件。
圖8表示本實(shí)施方式的運(yùn)動(dòng)矢量檢測(cè)電路24的結(jié)構(gòu)。運(yùn)動(dòng)矢量檢測(cè)電路24，具有運(yùn)算部40、評(píng)價(jià)部42、及位置設(shè)定部44。此結(jié)構(gòu)也可只用硬件、只用軟件、或用它們的組合，以各種各樣的形式實(shí)現(xiàn)。具體來說，上述運(yùn)動(dòng)矢量檢測(cè)電路24的功能可以如下結(jié)構(gòu)實(shí)現(xiàn)。
運(yùn)算部40，在編碼對(duì)象宏塊102、與多個(gè)運(yùn)算對(duì)象宏塊112之間并行進(jìn)行區(qū)塊匹配運(yùn)算。評(píng)價(jià)部42，取得由運(yùn)算部40得到的運(yùn)算結(jié)果，對(duì)運(yùn)算結(jié)果進(jìn)行評(píng)價(jià)。評(píng)價(jià)部42，從運(yùn)算部40運(yùn)算中的多個(gè)區(qū)塊匹配的結(jié)果之中，檢測(cè)出付與最小差值的搜索點(diǎn)，并將該最小點(diǎn)儲(chǔ)存于存儲(chǔ)器等中。評(píng)價(jià)部42，將此次運(yùn)算中的最小點(diǎn)、與存儲(chǔ)的上次運(yùn)算中的最小點(diǎn)進(jìn)行比較，若其二者相同，則將該點(diǎn)決定為預(yù)測(cè)宏塊，并傳遞給運(yùn)動(dòng)補(bǔ)償電路26及編碼電路30。若上次和此次的最小點(diǎn)不同，則將此次的最小點(diǎn)存儲(chǔ)，并指示在位置設(shè)定部44中設(shè)定下一次的搜索區(qū)域116。位置設(shè)定部44，接受來自評(píng)價(jià)部42的指示，按照上述的規(guī)則，設(shè)定下次的搜索區(qū)域116的位置。
圖9表示本實(shí)施方式的運(yùn)算部40的結(jié)構(gòu)。運(yùn)算部40，具有輸入圖像存放部50、參照?qǐng)D像存放部52、時(shí)刻調(diào)整電路54、以及多個(gè)差值運(yùn)算電路56。此結(jié)構(gòu)也可只用硬件、只用軟件、或用它們的組合，以各種各樣的形式實(shí)現(xiàn)。
輸入圖像存放部50，存放輸入圖像的編碼對(duì)象宏塊102。參照?qǐng)D像存放部52，存放參照?qǐng)D像的運(yùn)算對(duì)象宏塊112。上述二者，可用幀存儲(chǔ)器28代替，也可利用幀存儲(chǔ)器28的一部分來實(shí)現(xiàn)。如圖4所述，參照?qǐng)D像存放部52中，可存放區(qū)域114的像素值。時(shí)刻調(diào)整電路54，對(duì)將編碼對(duì)象宏塊102的像素值、和運(yùn)算對(duì)象宏塊112的像素值輸入差值運(yùn)算電路52中的時(shí)刻進(jìn)行調(diào)整。時(shí)刻調(diào)整電路54，在將存放于參照?qǐng)D像存放部52中的區(qū)域114的像素值依次讀出時(shí)，利用計(jì)數(shù)器及觸發(fā)器等對(duì)時(shí)刻進(jìn)行調(diào)整，以將讀出的像素值提供給運(yùn)算中使用的差值運(yùn)算電路56。具體來說，多個(gè)觸發(fā)器中，存放有從參照?qǐng)D像存放部52中匯總讀出的多個(gè)像素?cái)?shù)據(jù)。然后，根據(jù)從輸入圖像存放部50中讀出圖像數(shù)據(jù)的時(shí)刻令計(jì)數(shù)器動(dòng)作，并根據(jù)計(jì)數(shù)器的值，從存放于觸發(fā)器中的圖像數(shù)據(jù)之中，選擇必要的像素?cái)?shù)據(jù)提供給各個(gè)差值運(yùn)算電路56。
差值運(yùn)算電路56a～56y，在編碼對(duì)象宏塊102和運(yùn)算對(duì)象宏塊112a～112y之間進(jìn)行區(qū)塊匹配運(yùn)算。差值運(yùn)算電路56，可計(jì)算出編碼對(duì)象宏塊102與運(yùn)算對(duì)象宏塊112的像素值的差值的絕對(duì)值，也可計(jì)算出差值的平方和，此外，也可計(jì)算出表示圖像間差值的任意量。現(xiàn)有的搜索方法中，每次運(yùn)算都必須將相同像素值讀入多次，而通過本實(shí)施方式，由于能向多個(gè)差值運(yùn)算電路56中，同時(shí)供給區(qū)塊匹配所需的像素值，因此能大幅降低存儲(chǔ)器訪問量，從而提高處理速度。
圖10為表示本實(shí)施方式中的運(yùn)動(dòng)矢量檢測(cè)方法的順序的流程圖。首先，位置設(shè)定部44，設(shè)定第1階段的搜索區(qū)域116(S10)，差值運(yùn)算電路56，將搜索區(qū)域116中包含的多個(gè)搜索點(diǎn)上的區(qū)塊匹配并行運(yùn)算(S12)。評(píng)價(jià)部42對(duì)運(yùn)算結(jié)果進(jìn)行評(píng)價(jià)，若根據(jù)給定條件，判斷為已經(jīng)檢測(cè)出最優(yōu)解時(shí)(S14為是)，則根據(jù)該最優(yōu)解設(shè)定運(yùn)動(dòng)矢量(S16)，并結(jié)束搜索。若評(píng)價(jià)部42，判斷為還未檢測(cè)出最優(yōu)解(S14為否)，則位置設(shè)定部44為了下一次匹配運(yùn)算更新搜索區(qū)域116(S18)，用差值運(yùn)算電路56再次執(zhí)行匹配運(yùn)算(S12)。
以上，根據(jù)實(shí)施方式對(duì)本發(fā)明進(jìn)行了說明。此實(shí)施方式僅為示例，其各構(gòu)成要素或各處理步驟的組合可以衍生出各種變形例，而這些變形例也包含于本發(fā)明的范圍中，這點(diǎn)作為本領(lǐng)域的技術(shù)人員應(yīng)該可以理解。
運(yùn)動(dòng)矢量檢測(cè)電路24，可在實(shí)施方式所說明的并行執(zhí)行多個(gè)匹配的搜索模式、與現(xiàn)有的搜索模式間適當(dāng)切換來運(yùn)行。例如，當(dāng)對(duì)數(shù)據(jù)量較大的動(dòng)態(tài)圖像進(jìn)行實(shí)時(shí)編碼、或幀速率較高等情況下，如實(shí)施方式所述，通過多個(gè)差值運(yùn)算電路56并行工作，提高處理速度；而另一方面，當(dāng)動(dòng)態(tài)圖像的圖像量較小、在移動(dòng)機(jī)器中CPU等的處理能力較低、或需要控制耗電量的情況下，也可減少動(dòng)作的差值運(yùn)算電路56。為了實(shí)現(xiàn)這種技術(shù)，圖像編碼裝置10可具備控制模塊，其根據(jù)動(dòng)態(tài)圖像的圖像數(shù)據(jù)量、幀速率、機(jī)器的處理能力、和機(jī)器的動(dòng)作模式等，改變運(yùn)動(dòng)矢量的檢測(cè)方法、或動(dòng)作的差值運(yùn)算電路56的數(shù)量等。
權(quán)利要求
1.一種運(yùn)動(dòng)矢量檢測(cè)裝置，在第1圖像、和作為所述第1圖像的參照?qǐng)D像的第2圖像之間，檢測(cè)運(yùn)動(dòng)矢量，其特征在于具備多個(gè)運(yùn)算部，其在所述第1圖像和所述第2圖像所包含的區(qū)塊之間，并行進(jìn)行匹配運(yùn)算，所述多個(gè)運(yùn)算部并行進(jìn)行多個(gè)匹配運(yùn)算。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其特征在于所述多個(gè)運(yùn)算部，同時(shí)進(jìn)行所述多個(gè)匹配運(yùn)算。
3.根據(jù)權(quán)利要求1或2所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其特征在于構(gòu)成所述區(qū)塊位置的基準(zhǔn)的點(diǎn)為搜索點(diǎn)時(shí)，所述多個(gè)運(yùn)算部，在具有給定的模板的2維搜索區(qū)域中所包含的多個(gè)搜索點(diǎn)為基準(zhǔn)位置而得到的多個(gè)區(qū)塊、和所述第1圖像之間，進(jìn)行匹配運(yùn)算，所述運(yùn)動(dòng)矢量檢測(cè)裝置，還具備評(píng)價(jià)部，其對(duì)由所述多個(gè)運(yùn)算部得到的運(yùn)算結(jié)果進(jìn)行評(píng)價(jià)，檢測(cè)出付與最佳匹配結(jié)果的搜索點(diǎn)；以及，設(shè)定部，其根據(jù)由所述評(píng)價(jià)部得到的評(píng)價(jià)結(jié)果，設(shè)定接下次進(jìn)行匹配運(yùn)算的搜索點(diǎn)。
4.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)矢量檢測(cè)部，其特征在于所述設(shè)定部，以包含付與最佳匹配結(jié)果的搜索點(diǎn)的方式設(shè)定下一次的搜索區(qū)域，并將設(shè)定后的搜索區(qū)域中所包含的點(diǎn)設(shè)定為下一次的搜索點(diǎn)。
5.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)矢量檢測(cè)部，其特征在于所述設(shè)定部，在所述搜索區(qū)域的中心點(diǎn)和付與最佳匹配結(jié)果的搜索點(diǎn)的連結(jié)方向上，設(shè)定下一次的搜索區(qū)域。
6.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)矢量檢測(cè)部，其特征在于所述設(shè)定部，在上一次的運(yùn)算中付與最佳匹配結(jié)果的搜索點(diǎn)、和此次運(yùn)算中付與最佳匹配結(jié)果的搜索點(diǎn)的連結(jié)方向上，設(shè)定下一次的搜索區(qū)域。
7.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)矢量檢測(cè)部，其特征在于所述設(shè)定部，將上一次搜索以前由所述評(píng)價(jià)部得到的評(píng)價(jià)結(jié)果、所述第1圖像內(nèi)的其他區(qū)塊的運(yùn)動(dòng)矢量、比所述第1圖像更以前或以后的圖像的運(yùn)動(dòng)矢量、及有關(guān)所述第1圖像的移動(dòng)相關(guān)信息中的任一個(gè)作為判斷基準(zhǔn)，設(shè)定所述搜索點(diǎn)。
8.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)矢量檢測(cè)部，其特征在于所述設(shè)定部，根據(jù)由所述評(píng)價(jià)部得到的評(píng)價(jià)結(jié)果、所述第1圖像內(nèi)的其他區(qū)塊的運(yùn)動(dòng)矢量、比所述第1圖像更以前或以后的圖像的運(yùn)動(dòng)矢量、及有關(guān)所述第1圖像的移動(dòng)相關(guān)信息中的任一個(gè)，可變地設(shè)定所述搜索區(qū)域的形狀。
9.一種圖像編碼裝置，是將動(dòng)態(tài)圖像編碼生成編碼數(shù)據(jù)列的圖像編碼裝置，其特征在于，具備運(yùn)動(dòng)矢量檢測(cè)部，其在構(gòu)成所述動(dòng)態(tài)圖像的第1圖像、和作為所述第1圖像的參照?qǐng)D像的第2圖像之間，檢測(cè)運(yùn)動(dòng)矢量；及編碼部，其利用所述運(yùn)動(dòng)矢量對(duì)所述第1圖像進(jìn)行編碼，其中，所述運(yùn)動(dòng)矢量檢測(cè)部具備多個(gè)運(yùn)算部，該多個(gè)運(yùn)算部在所述第1圖像、和所述第2圖像所包含的區(qū)塊之間，進(jìn)行匹配運(yùn)算，所述多個(gè)運(yùn)算部并行進(jìn)行多個(gè)匹配運(yùn)算。
10.根據(jù)權(quán)利要求9所述的圖像編碼裝置，其特征在于所述多個(gè)運(yùn)算部，同時(shí)進(jìn)行所述多個(gè)匹配運(yùn)算。
11.一種運(yùn)動(dòng)矢量檢測(cè)方法，是在第1圖像、和作為所述第1圖像的參照?qǐng)D像第2圖像之間，檢測(cè)運(yùn)動(dòng)矢量的檢測(cè)方法，其特征在于，包括在構(gòu)成所述第2圖像所包含的區(qū)塊位置的基準(zhǔn)的點(diǎn)為搜索點(diǎn)時(shí)，在具有給定的模板的2維搜索區(qū)域所包含的多個(gè)搜索點(diǎn)為基準(zhǔn)位置而得到的多個(gè)區(qū)塊、和所述第1圖像之間，并行進(jìn)行匹配運(yùn)算的步驟；對(duì)所述運(yùn)算步驟的運(yùn)算結(jié)果進(jìn)行評(píng)價(jià)，檢測(cè)出付與最佳匹配結(jié)果的搜索點(diǎn)的步驟；以及根據(jù)由所述檢測(cè)步驟的檢測(cè)結(jié)果，設(shè)定下一次進(jìn)行匹配運(yùn)算的搜索點(diǎn)的步驟。
全文摘要
在輸入圖像、與輸入圖像參照的參照?qǐng)D像之間，檢測(cè)運(yùn)動(dòng)矢量的方法中，首先在參照?qǐng)D像中，設(shè)定具有給定模板的2維搜索區(qū)域(S10)，然后在以搜索區(qū)域包含的多個(gè)搜索點(diǎn)為基準(zhǔn)位置得到的多個(gè)區(qū)塊、與輸入圖像的編碼對(duì)象區(qū)塊之間并行進(jìn)行匹配運(yùn)算(S12)。評(píng)價(jià)運(yùn)算的結(jié)果，若得到最佳匹配結(jié)果(S14為是)，則將其設(shè)定為運(yùn)動(dòng)矢量(S16)。若沒有得到最優(yōu)解(S14為否)，則根據(jù)評(píng)價(jià)結(jié)果，接著設(shè)定進(jìn)行匹配運(yùn)算的搜索區(qū)域(S18)繼續(xù)搜索。從而，縮短檢測(cè)運(yùn)動(dòng)矢量所需的時(shí)間。
文檔編號(hào)H04N7/26GK1671210SQ200510056519
公開日2005年9月21日 申請(qǐng)日期2005年3月18日 優(yōu)先權(quán)日2004年3月18日
發(fā)明者鈴木滿, 岡田茂之, 山內(nèi)英樹 申請(qǐng)人:三洋電機(jī)株式會(huì)社