專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種適用于使背景的靜止圖片部分與運動圖像拾 取對象部分相互分離的圖^象處理裝置和方法。
背景技術(shù)：
根據(jù)圖像信息本身來確定兩個畫面圖像之間的運動矢量的塊
匹配沖支術(shù)是一項歷史悠久的:f支術(shù)。
塊匹配^支術(shù)是計算包括作為受關(guān)注的畫面圖 <象的參考畫面圖 像和從中出現(xiàn)參考畫面圖^象的運動的原始圖^f象(下文稱為目標(biāo)畫面 圖像)的兩個畫面圖像之間的運動矢量的方法。根據(jù)塊匹配技術(shù)， 通過計算關(guān)于預(yù)定大小的矩形區(qū)域的塊(即，目標(biāo)塊和參考塊)的 參考畫面圖像和目標(biāo)畫面圖像之間的相關(guān)性來計算運動矢量。
塊匹配才支術(shù)包:fe以下兩種情況目才示畫面圖^f象在時間上先于參
考畫面圖^f象；以及參考畫面圖4象在時間上先于目標(biāo)畫面圖j象。前一 種情況的實例是通過MPEG(運動圖片專家組)方式進(jìn)行運動檢測， 而后一種情況的實例是通過下文所述的圖像幀的疊加來降低噪聲。注意，在本說明書中，術(shù)語畫面圖像表示由一幀或一場的圖像 數(shù)據(jù)形成的圖像。然而，為了描述方便，在本說明書的以下描述中， 々支i殳一個畫面圖4象由一幀形成。因此， 一個畫面圖像在下文中被稱 為一幀。因此，參考畫面圖像在下文中被稱為參考幀，而目標(biāo)畫面 圖4象在下文中^f皮稱為目標(biāo)幀。
具體地，對于電視相機(jī)的云臺檢測和圖像拾取對象跟蹤、MPEG 方式的運動圖片編碼等，已經(jīng)開發(fā)了利用塊匹配的運動矢量檢測技 術(shù)。在90年代，已促進(jìn)了在包括通過圖像疊加進(jìn)行無傳感器相枳i 抖動校正、低照度下進(jìn)行圖像拾取時的降噪等寬范圍內(nèi)的應(yīng)用。
此夕卜，利用塊匹配的運動矢量沖企測方法不^f又被應(yīng)用于圖像識別 應(yīng)用和相機(jī)抖動校正應(yīng)用中，而且還被應(yīng)用于如圖像拾取裝置的快 門速度的自動調(diào)節(jié)和液晶電視機(jī)的雙倍速幀頻轉(zhuǎn)換的新應(yīng)用中。
順便提及，檢測在畫面圖像中設(shè)置的大量目標(biāo)塊中的每一個的 運動矢量(即，局部運動矢量)，并4吏用以這種方式4全測的大量局 部運動矢量來計算表示在兩個畫面圖l象之間施加給整個圖像的變 形的全局運動。全局運動通常表示運動以及作為圖l象的靜止圖片部 分的背景的運動量。
作為相關(guān)技術(shù)，在日本專利公開第2007-221631號中(下文稱 為專利文獻(xiàn)1 )披露了一種失真校正方法，其中，將一個畫面圖像 劃分為"i午多塊并對每個塊確定矢量。然后，以這種方式確定的運動 矢量被直接用于計算全局運動。專利文獻(xiàn)l的這種^t支術(shù)直至多年前 都被一直用作主要針對像素數(shù)目較小的運動圖片的相機(jī)抖動校正 技術(shù)。
通過專利文獻(xiàn)l中4皮露的4支術(shù)，可以用^氐成本的石更件規(guī)^莫來才企 測全局運動并實現(xiàn)良好的無傳感器或無陀螺相機(jī)的抖動才交正以及 對高圖片質(zhì)量的靜止圖片和運動圖片的降噪。同時，作為確定全局運動的方法，已經(jīng)提出了對所4僉測的多個 局部運動矢量應(yīng)用仿射變才灸的方法。
圖51示出了仿射變換作為(表達(dá)式1)的通式。參看圖51, 在(表達(dá)式1)中，v表示目標(biāo)塊的運動矢量的水平分量，w表示 目標(biāo)塊的運動矢量的垂直分量，以及a、 b、 c、 d、 e和f表示仿射 參數(shù)。在普通的仿射變換中，仿射參數(shù)a、 b、 c、 d、 e和f都是固 定值。此外，x與y分別表示目標(biāo)塊的中心坐標(biāo)的水平分量和垂直 分量。
每個目標(biāo)塊的中心坐標(biāo)，獲得對應(yīng)于全局運動的運動矢量。剛剛損_ 及的這種運動矢量在下文中^皮稱為理想運動矢量。在這些理想矢量 與通過塊匹配檢測的觀察運動矢量之間的誤差總和s被表示為圖52 的(表達(dá)式2)。
推導(dǎo)全局運動的命題是估計使上述誤差總和e最小化的仿射參 :數(shù)a f，并且可以通過例如最小二乘法獲得解決。圖53、圖54和 圖55的(表達(dá)式3 )、另 一個(表達(dá)式4 )和又一個(表達(dá)式5 )分 別示出了仿射參數(shù)a ~ f的推導(dǎo)過程以及推導(dǎo)過程的結(jié)果。
雖然以這種方式較容易地計算仿射變換的參數(shù)，但這種計算的 效果很好。因為仿射變換不僅為圖像的平移、旋轉(zhuǎn)以及擴(kuò)展或壓縮 做了準(zhǔn)備，而且也為一定程度的變形作了準(zhǔn)備，所以覆蓋了大多數(shù) 相才A4斗動(即，相詳幾工作的津奇細(xì)沖交正)。
例如，在日本專利7>開第2005-321902號(下文中稱為專利文 獻(xiàn)2)中披露了上述這種仿射變換。

發(fā)明內(nèi)容
如果一旦確定了上述全局運動，則由于在上文提及的(表達(dá)式 1)中給出了坐標(biāo)，所以能夠確定每個目標(biāo)塊的全局運動矢量。如
果將該全局運動矢量用于以目標(biāo)塊為單位^M于圖像的疊加，則可以 實現(xiàn)無傳感器的相機(jī)抖動校正、低照度下圖像拾取時的降噪(即， 產(chǎn)生降噪圖像)等。
然而，必須考慮到拾取圖像可能包括運動圖像拾取對象。這是 因為，如果使用由全局運動產(chǎn)生的全局運動矢量使包括不同于背景 靜止圖片部分的運動圖像拾取對象的目標(biāo)塊的圖像相互疊加，那么 就會產(chǎn)生類似于通過多次曝光的圖像狀態(tài)。
例如，如果目標(biāo)圖像如圖56A所示而參考圖像如圖56B所示， 則獲得如圖56C所示的圖像，其中，右下角部分的運動圖像拾取對 象部分表示多次曝光狀態(tài)。
因此，還提出了一種方法，其中，將畫面圖像劃分為多個小塊 并對每一個塊才企測局部運動矢量，并且用作由例如在MPEG系統(tǒng)中
使用的ME (運動估計)技術(shù)來表示。
然而，在使用這種方法的情況下，不可避免要使運動補(bǔ)償塊的 圖像與目標(biāo)塊的圖像的相加率適中，從而防止透明的運動圖像拾取 對象圖像部分的誤相加以及由變形、掩蔽等引起的邊緣部分的變化 等。這就可能產(chǎn)生不能實現(xiàn)期望的降噪效果的問題。
如果可以將圖像中的背景靜止圖片部分與運動圖像拾取對象 等的運動圖像部分相互分離，則可以執(zhí)行將背景靜止圖片部分的相 加率設(shè)為高值而將運動圖像部分的相加率設(shè)為低值處理。這樣能夠 在防止運動圖^f象部分的"i吳相加的同時增強(qiáng)降，喿效果。除剛剛描述的對圖^f象相加的這種應(yīng)用之外，背景部分與運動圖4象部分的分離還可 應(yīng)用于各種應(yīng)用。
因此，希望提供一種能夠使圖像的背景靜止圖片部分與運動圖 葉象部分相互分離以消除上述問題的圖i象處理裝置和方法。
根據(jù)本發(fā)明的實施例，提供了一種圖像處理裝置，包括局部 運動矢量檢測部，被配置為在與目標(biāo)畫面圖像不同的參考畫面圖像 上所設(shè)置的搜索范圍中設(shè)置多個參考塊，所述多個參考塊具有與設(shè) 置在所述目標(biāo)畫面圖^象中的預(yù)定尺寸的目標(biāo)塊相同的尺寸并且包 括多個像素，確定所述目標(biāo)塊與每個參考塊之間的相關(guān)值，并檢測 所述目標(biāo)塊的局部運動矢量作為計算出相關(guān)值的最大值的那一個 參考塊相對于所述目標(biāo)塊的位移。該裝置還包括全局運動計算部， 被配置為計算表示施加給整個圖像的變形的全局運動；全局運動矢 量計算部，被配置為使用全局運動來計算目標(biāo)塊的全局運動矢量； 以及評估部，被配置為將目標(biāo)塊和對應(yīng)于局部運動矢量的參考塊的 相關(guān)值與目標(biāo)塊和對應(yīng)于全局運動矢量的參考塊的相關(guān)值進(jìn)行互 相比較，并基于比較結(jié)果來執(zhí)行關(guān)于目標(biāo)塊是否為背景靜止圖片部 分的評估。
在該圖像處理裝置中，全局運動矢量計算部4吏用由全局運動計 算部計算的全局運動來計算目標(biāo)塊的全局運動矢量。
然后，評估裝置將關(guān)于目標(biāo)塊和對應(yīng)于所檢測局部運動矢量的 參考塊的相關(guān)值與關(guān)于目標(biāo)塊與對應(yīng)于所計算全局運動矢量的參 考塊的相關(guān)值進(jìn)行比較，以評估目標(biāo)塊是否為背景靜止圖片部分。
如果作為比較結(jié)果，評估部判定兩個相關(guān)值之間的差具有噪聲 范圍內(nèi)的值，則將目標(biāo)塊評估為背景靜止圖片部分。然而，如果對 目標(biāo)塊4故了不同的判定，則可將目標(biāo)塊評估為運動圖l象部分。優(yōu)選地，評估部將關(guān)于對應(yīng)于全局運動矢量的參考塊的相關(guān)偵一 與一個預(yù)定偏移值的和與關(guān)于對應(yīng)于局部運動矢量的參考塊的相 關(guān)值進(jìn)行比較，并基于比較結(jié)果評估目標(biāo)塊是否為背景靜止圖片部
分
在該圖像處理裝置中，在將兩個相關(guān)值進(jìn)行比較之前，預(yù)先將 根據(jù)噪聲范圍的大小確定的預(yù)定偏移與關(guān)于對應(yīng)于全局運動矢量 的參考塊的相關(guān)值相加。因此，如果關(guān)于對應(yīng)于全局運動矢量的參
考塊的相關(guān)值，則可將目標(biāo)塊評估為背景靜止圖片部分。
可選地，評估裝置可將通過將關(guān)于對應(yīng)于全局運動矢量的參考 塊的相關(guān)值乘以預(yù)定增益獲得的值與關(guān)于對應(yīng)于局部運動矢量的 參考塊的相關(guān)值進(jìn)行比較，并基于比較結(jié)果評估目標(biāo)塊是否為背景 靜止圖片部分。
在該圖像處理裝置中，代替將偏移與相關(guān)值相加，將相關(guān)值乘 以根據(jù)噪聲范圍的大小確定的預(yù)定增益。因此，可基于兩個相關(guān)值 的大小關(guān)系來評估目標(biāo)塊是否為背景靜止圖片部分。具體地，如果 在乘以預(yù)定增益之后的相關(guān)值大于關(guān)于對應(yīng)于局部運動矢量的參 考塊的相關(guān)值，則可將目標(biāo)塊評估為背景靜止圖片部分。
圖{象處理裝置可#皮配置為，當(dāng)關(guān)于對應(yīng)于全局運動矢量的參考
的參考塊的相關(guān)值乘以預(yù)定增益所獲得的值大于關(guān)于對應(yīng)于局部 運動矢量的參考塊的相關(guān)值時，評估部輸出關(guān)于對應(yīng)目標(biāo)塊的全局
運動矢量；但是當(dāng)關(guān)于對應(yīng)于全局運動矢量的參考塊的相關(guān)值與預(yù) 定偏移值的和或通過將關(guān)于對應(yīng)于全局運動矢量的參考塊的相關(guān) 值乘以預(yù)定增益所獲得的值小于關(guān)于對應(yīng)于局部運動矢量的參考
塊的相關(guān)值時，評估部iir出關(guān)于對應(yīng)目標(biāo)塊的局部運動矢量。
15在該圖像處理裝置中，作為目標(biāo)塊^皮評估為背景靜止圖片部分 的目標(biāo)塊的運動矢量，輸出全局運動矢量。另一方面，作為關(guān)于目 標(biāo)塊沒有被評估為背景靜止圖片部分的目標(biāo)塊的運動矢量，輸出局
部運動矢量。乂人而，對于目標(biāo)塊，^r出響應(yīng)于作為消除了^^桑聲影響 的評估結(jié)果指定的背景靜止圖片部分或運動圖像部分而#皮認(rèn)為是 正確的運動矢量。
該4言息處理裝置可以一皮配置為佳j平估部不^u夸只于應(yīng)于全局運
考塊的相關(guān)值進(jìn)行比較，并基于比較結(jié)果來評估所述目標(biāo)塊是否為 背景靜止圖片部分。
圖像處理裝置準(zhǔn)備用于從全局運動計算的全局運動矢量的精 度較低的情況。在該圖像處理裝置中，不僅將對應(yīng)于全局運動矢量
相關(guān)值進(jìn)行比較。然后，如果相關(guān)值之間的任意差具有在噪聲范圍 內(nèi)的值，則評估部將目標(biāo)塊評估為背景靜止圖片部分。
在這種情況下，評估部可將對應(yīng)于全局運動矢量的參考塊的相 關(guān)值以及位于對應(yīng)于全局運動矢量的參考塊附近的不同參考塊的 相關(guān)值與預(yù)定偏移值的和與關(guān)于對應(yīng)于局部運動矢量的參考塊的 相關(guān)值進(jìn)行比較，并基于比較結(jié)果評估目標(biāo)塊是否為背景靜止圖片部分。
在該圖像處理裝置中，將對應(yīng)于全局運動矢量的參考塊的相關(guān) 值與對應(yīng)于局部運動矢量的參考塊的相關(guān)值進(jìn)行比較。對于關(guān)于參 考塊的相關(guān)值，預(yù)先加上#>據(jù)噪聲范圍的大小所確定的預(yù)定偏移。 因此，如果對應(yīng)于全局運動矢量的參考塊與位于附近的不同參考塊中的4壬4可一個、在相力O偏移之后的相關(guān)Y直大于關(guān)于對應(yīng)于局部運動 矢量的參考塊的相關(guān)值，則能將目標(biāo)塊評估為背景靜止圖片部分。
可選地，評估部可將通過將對應(yīng)于全局運動矢量的參考塊的相 關(guān)值以及位于對應(yīng)于全局運動矢量的參考塊附近的不同參考塊的 相關(guān)值乘以預(yù)定增益獲得的值與關(guān)于對應(yīng)于局部運動矢量的參考 塊的相關(guān)值進(jìn)行比較，并基于比較結(jié)果評估目標(biāo)塊是否為背景靜止 圖片部分。
在該圖像處理裝置中，代替使偏移與相關(guān)值相加，將相關(guān)值乘 以根據(jù)噪聲范圍的大小所確定的預(yù)定增益。因此，如果判定了相關(guān) 值的大小關(guān)系，就能夠評估目標(biāo)塊是否為背景靜止圖片部分。
總之，通過圖像處理裝置，能夠?qū)D像中的背景靜止圖片部分 與運動圖像部分相互分離。然后，可通過塊匹配獲得消除了噪聲影 響的正確運動矢量。
結(jié)合附圖從以下描述和所附權(quán)利要求中，本發(fā)明上述與其他特 征及優(yōu)點將更加顯而易見，在附圖中，由類似的參考符號表示類似 的部4?；蛟?牛。


圖1是示出了應(yīng)用根據(jù)本發(fā)明的第 一實施例的圖像處理裝置的
圖像拾取裝置的配置實例的框圖2A、圖2B以及圖3 ~圖10是示出了通過圖像處理裝置進(jìn) -f亍的塊匹配處理的示意圖11是示出了通過圖像處理裝置進(jìn)行的塊匹配處理的框圖；圖12是示出了通過圖像處理裝置拾取的圖像的實例的示意圖13是以與圖12的拾取圖像相關(guān)聯(lián)的關(guān)系示出由圖像處理裝 置沖企測到的局部運動矢量的示意圖14是示出了圖像處理裝置所使用的SAD表的示意圖15是示出了在一維軸上所采用的圖14的SAD表的示意圖16是以與圖12的拾取圖像相關(guān)聯(lián)的關(guān)系示出通過圖像處理 方法確定為具有高可靠性的局部運動矢量的示圖17是示出了圖像處理裝置的全局運動矢量計算部的配置實 例的框圖18是示出了圖像處理裝置的主要處理」燥作的流程圖19是示出了圖17所示全局運動矢量計算部的操作的示意
圖20是示出了通過圖像處理裝置的局部運動矢量計算部進(jìn)行
的才全測處理l乘作的實例的流禾呈圖21A和圖21B是示出了至今已知的仿射變換的問題的示意
圖22是示出了用于4吏用正交才殳影變換,人局部運動矢量確定全 局運動的處理的表達(dá)式的示圖23是示出了普通仿射變換的示意圖；圖24~圖30是示出了關(guān)于通過圖〗象處理裝置執(zhí)^亍的,人局部運 動矢量計算全局運動的處理實例的示圖31和圖32是示出了關(guān)于通過圖像處理裝置執(zhí)行的從局部運 動矢量計算全局運動的處理實例的流程圖33是以與圖像相關(guān)聯(lián)的關(guān)系示出了通過圖像處理裝置從所 算的全局運動確定的塊單位的運動矢量的示圖34是示出了通過圖像處理裝置使用全局運動矢量來評估目 標(biāo)塊的背景 一 致度的處理的示圖35是示出了圖像處理裝置的背景/運動圖像拾取對象判定部 的配置實例的框圖36和圖37是示出了通過圖35的背景/運動圖像拾取對象判 定部進(jìn)行的處理凈喿作的流程圖38是示出了圖像處理裝置的背景/運動圖像拾取對象判定部 的配置的另 一 實例的沖匡圖39是示出了為全局運動矢量的位置設(shè)置了容限的情況下的 仿射變換的示意圖40是示出了圖像處理裝置的背景/運動圖像拾取對象判定部 的配置的又一 實例的才匡圖41和圖42是示出了通過圖40的背景/運動圖像拾取對象判 定部進(jìn)行的處理才喿作的流程圖43是示出了圖像處理裝置的背景/運動圖像拾取對象判定部 的配置的再 一 實例的沖匡圖；圖44是示出了通過根據(jù)本發(fā)明的第二實施例的圖像處理裝置 進(jìn)行的處理4乘作的流禾呈圖45A~圖45D是示出了通過根據(jù)第二實施例的圖像處理裝置 實現(xiàn)的效果的示圖46和圖47是示出了確定通過根據(jù)第二實施例的圖像處理裝 置沖全測的局部運動矢量的處理的另 一 實例的示意圖48是示出了確定通過根據(jù)第二實施例的圖像處理裝置才全測 的局部運動矢量的處理的又一 實例的示意圖49和圖50是示出了根據(jù)本發(fā)明的不同實施例的圖像處理裝 置的配置實例的才匡圖51~圖55是示出了在用于乂人局部運動矢量確定全局運動的 處理實例中所4吏用的表達(dá)式的示圖；以及
圖56A-圖56C是示出了在通過圖像疊加形成的圖像上運動圖 像拾取對象部分處的多次曝光的示意圖。
具體實施例方式
下面，參考附圖結(jié)合優(yōu)選實施例詳細(xì)地描述本發(fā)明，其中，才艮 據(jù)本發(fā)明的圖像處理裝置和圖像處理方法被應(yīng)用于圖像拾取裝置。
第一實施例
根據(jù)第 一 實施例的圖像拾取裝置總體上被配置為使得通過圖 像拾取裝置或成像器拾取的多個靜止圖像經(jīng);汶置并相互疊加以降 低圖像的噪聲。
20在用戶用手把持圖像拾取裝置以拾取圖像的環(huán)境中，可能發(fā)生 相積々牛動。例如，在通過利用以這種方式由用戶手持的圖i象拾取裝 置通過連續(xù)拍攝來拾取靜止圖片的情況下，第一靜止圖片被用作目 標(biāo)幀，而第二個和后續(xù)的靜止圖片被用作參考幀。
在可通過向整個參考幀施加包括平移、旋轉(zhuǎn)以及擴(kuò)展或壓縮的 變換處理使參考幀定^^皮置于目標(biāo)幀的位置的情況下，應(yīng)用于整個參 考幀的變換處理是全局運動。全局運動通常表示移動以及圖像的背 景靜止圖片的移動量。剛剛提及的這種背景靜止圖片在下文中只稱
為背景。
相機(jī)抖動意味著對于目標(biāo)幀來說發(fā)生了通過相對目標(biāo)幀對參 考幀執(zhí)行包括平移、旋轉(zhuǎn)以及擴(kuò)展或壓縮的圖像變換的量的全局運動。
在本實施例的描述中，為了簡化描述，所拾取的靜止圖片中的 第一個被用作參考，即，作為目標(biāo)幀。然而，這并不是必須的?？?br> 以使用任意的第n個靜止圖片來作為目標(biāo)幀并且可以將任意的第m 個(r^m)靜止圖片用作參考幀以重新定義全局運動?；蛘?，可以 為運動圖片中時間上不同的兩個幀圖像來定義全局運動。又或者， 全局運動處理可以不^皮應(yīng)用于所才合取圖^象的一幀內(nèi)的整個有效圖 片幀，而是4又應(yīng)用于一幀圖4象的一部分。
如果確定了全局運動，則可以從所確定的全局運動中計算出表 示施加于圖像上的每個坐標(biāo)位置的目標(biāo)幀與參考幀之間的整個畫 面圖像的運動的運動矢量。剛剛提及的這種運動矢量在下文中被稱 為全局運動矢量。可以為在畫面圖Y象上設(shè)置的大量目標(biāo)塊中的每一 個確定全局運動矢量。此外，可以為每個《象素確定全局運動矢量。然后，如果可基于全局運動沖t確i也確定全局運動矢量，則可以 順利地校正相機(jī)抖動?；蛘?，可以使幀圖像相互疊加同時針對相機(jī) 抖動來4交正全局運動矢量。
在以下描述中，使用運動矢量檢測與運動補(bǔ)償(其中，使用運 動矢量來定位不同幀的兩個圖像)來疊加多個圖像以降低噪聲被稱
為降噪(NR)。此外，通過這種降噪而使噪聲降低的圖像被稱為降
噪圖像。
在本實施例中， 一個畫面圖傳3皮劃分為多個塊(下文描述為目 標(biāo)塊)，并通過上述塊匹配方法4企測以塊為單4立的運動矢量。通過 塊匹配方法對每塊所4企測的運動矢量在下文中械^f爾為局部運動矢量。
此夕卜，在本實施例中，在塊匹配方法中，^f吏用相關(guān)值，以下文 所述的方式來4企測局部運動矢量的可靠性的指標(biāo)。然后，〗又,人那些 ,皮;險測具有高可靠性的局部運動矢量中計算全局運動，并且從所計 算的全局運動中4全測每塊的全局運動矢量。
塊匹配的扭無要
圖2A 圖7示出了塊匹配方法的概要。在此處描述的塊匹配 方法中，如圖2A所示，在目標(biāo)幀100中偶/沒包^"水平方向上的多 個像素和垂直方向上的多條線的預(yù)定尺寸的矩形區(qū)域的塊(即，目
標(biāo)塊102 )。
在塊匹配中，從參考幀101中^臾索出與目標(biāo)塊102具有高相關(guān) 性的塊。圖2B所示的^皮檢測為在參考幀101中與目標(biāo)塊102具有 最高相關(guān)性的塊的參考塊103在下文中被稱為運動補(bǔ)償塊。此外， 在目標(biāo)塊102和與目標(biāo)塊102具有最高相關(guān)性的運動補(bǔ)償塊103之 間的位移量在下文中^皮稱為運動矢量(參照圖2B的參考凄t字104)。對應(yīng)于目標(biāo)塊102與運動補(bǔ)償塊103之間的位置位移(包括W立 置位移量和位置位移方向)的運動矢量104與目標(biāo)塊102在參考幀 101中的投影圖像塊109的位置與運動補(bǔ)償塊103的位置之間的位 置位移相對應(yīng)。例如，對于才殳影圖〗象塊109的4立置和運動補(bǔ)償塊103 的位置，4吏用了它們的中心位置。
假定目標(biāo)塊102的4殳影圖像塊109在參考幀101中的位置與目 標(biāo)幀100的目標(biāo)塊102的位置相同。
描述塊匹配處理的纟既要。
參照圖3,假設(shè)目標(biāo)幀100的目標(biāo)塊102的投影圖像塊109位 于由圖3的虛線表示的參考幀101中與目標(biāo)幀100的目標(biāo)塊102的 位置相同的位置。然后，目標(biāo)塊102的投影圖像塊109的中心坐標(biāo) 凈皮確定為用于運動檢測的原點105。隨后，々K殳運動矢量104存在 于用于運動4企測的原點105的4爭定范圍內(nèi)，并且以用于運動沖企測的 原點105為中心的預(yù)定范圍被 沒置為由圖3中的點劃線所表示的控一 索范圍106。
隨后，在參考畫面圖像上設(shè)定與目標(biāo)塊102具有相同尺寸的塊 (即，參考塊108)。然后，例如，在4臾索范圍106內(nèi)的水平方向或 垂直方向上以一個像素或多個像素為單位來移動參考塊108的位 置。因此，在搜索范圍106中設(shè)定了多個參考塊108。
此處，在4臾索范圍106內(nèi)移動參考塊108意p木著由于用于運動 檢測的原點105是目標(biāo)塊的中心位置，所以參考塊108的中心位置 在搜索范圍106內(nèi)移動。因此，構(gòu)成參考塊108的像素可以從搜索 范圍106中突出。隨后，對于在搜索范圍106內(nèi)設(shè)定的每個參考塊108，設(shè)置表 示參考塊108和目標(biāo)塊102的位移量和位移方向的矢量(即，參考 矢量107 (參照圖3))。然后，評估在位于由每個這樣的參考矢量 107所表示的位置的參考塊108的圖像內(nèi)容和目標(biāo)塊102的圖像內(nèi) 容之間的相關(guān)性。
參照圖4，參考矢量107可表示為矢量(Vx, Vy)，其中，Vx 為參考塊108在水平方向上(即，X方向上)的位移量，Vy為參考 塊108在垂直方向上(即，Y方向上)的位移量。如果參考塊108 的位置坐標(biāo)(例如，中心位置坐標(biāo))與目標(biāo)塊102的位置坐標(biāo)(例 如，中心位置坐標(biāo))相同，則參考矢量107表示為矢量(0， 0)。
例如，如果參考塊108位于與目標(biāo)塊102的位置相比在X方向 上偏移1個像素距離的位置，則參考矢量107表示為矢量(1， 0)。 同時，如果參考塊108位于與目標(biāo)塊102的位置相比在X方向上偏 移3個像素距離且在Y方向上偏移2個像素距離的位置，則參考矢 量107表示為矢量(3， 2)。
簡言之，如圖5所示，參考矢量107意味著在相互對應(yīng)的每個 參考塊108與目標(biāo)塊102之間的位置位移(包括位置位移量和位置 位移方向的矢量)。注意，在圖5中，目標(biāo)塊102與參考塊108的 位置分別由塊的中心位置表示。
參考塊108在搜索范圍106內(nèi)移動，并且在這種情況下，參考 塊108的中心位置在搜索范圍106內(nèi)移動。由于參考塊108包括在 水平方向和垂直方向上的多個^f象素，所以如圖5所示，作為與目標(biāo) 塊102進(jìn)4亍塊匹配處理對象的參考塊108的移動的最大范圍凈皮給出 作為比4臾索范圍106更大的匹配處理范圍110。隨后，被檢測為與目標(biāo)塊102的圖像內(nèi)容具有最高相關(guān)性的塊 的參考塊108的位置一皮檢測作為目標(biāo)幀100的目標(biāo)塊102在參考幀 101上的位置，即，作為移動后的位置。然后，所檢測的參考塊凈皮 確定為上文所述的運動補(bǔ)償塊103。然后，如圖2B所示，所4企測 的運動補(bǔ)償塊103的位置與目標(biāo)塊102的位置之間的位移量祐j企測 作為包4舌方向分量的運動矢量104。
基本上使用目標(biāo)塊102和參考塊108的對應(yīng)像素值來計算表示 目標(biāo)塊102與在搜索范圍106內(nèi)移動的參考塊108之間的相關(guān)度的
相關(guān)值。包括使用均方根方法的各種計算方法可用于計算相關(guān)值。
例如，如圖6所示，對于各個塊中的所有像素， 一般在計算運 動矢量時使用的相關(guān)值中的一個是目標(biāo)塊102中的每個像素的亮度 值與搜索范圍106中的對應(yīng)像素的亮度值之間的差的絕對值的總 和。差的絕刮"f直的總和稱為差分絕只tl直和(difference absolute value sum)，并在下文中^皮稱為SAD (絕對差分和，Sum of Absolute Difference )值。
在SAD值被用作相關(guān)數(shù)學(xué)運算結(jié)果的情況下，隨著SAD值減 小，相關(guān)值增大。因此，在搜索范圍106內(nèi)移動的參考塊108中， 位于SAD值最低位置的參考塊108是具有最高相關(guān)性的最高相關(guān) 性參考塊。該最高相關(guān)性參考塊被檢測作為運動補(bǔ)償塊103，所檢 測運動補(bǔ)償塊103的位置相對于目標(biāo)塊102的位置的位移量纟皮檢測 作為運動矢量。
應(yīng)當(dāng)注意，通常相關(guān)性隨著相關(guān)值的增加而增加。然而，可以 認(rèn)為在SAD值被用作相關(guān)數(shù)學(xué)運算結(jié)果的情況下，隨著SAD值的 )咸少，泮目關(guān)'I"生土曾力口。如上所述，在塊匹配中，通過作為包4舌方向分量的量的參考矢
量107來表示在搜索范圍106內(nèi)設(shè)定的多個參考塊108中的每一個 相對于目標(biāo)塊102的位置位移量。每個參考塊108的參考矢量107 都具有與參考塊108在參考幀101上的位置相對應(yīng)的值。如上所述， 在塊匹配中，作為相關(guān)值的SAD值最小的參考塊108的參考矢量 凈皮才企測作為運動矢量104。
因此，在塊匹配中，首先確定在4臾索范圍106內(nèi)i殳置的多個參 考塊108中的每一個與目標(biāo)塊102之間的SAD值(為簡化描述， 這種SAD值在下文中^皮稱為參考塊108的SAD值)。
然后，以這種方式確定的SAD值以與對應(yīng)于參考塊108的位 置的參考矢量107的對應(yīng)關(guān)系存儲在存儲器中。然后，檢測存儲在 存儲器中的所有參考塊108中具有最低SAD值的參考塊108以檢 測運動矢量104。注意，在下面的描述中，為簡4匕描述，只寸應(yīng)于參 考塊108位置的參考矢量107在下文中凈皮稱為參考塊108的參考矢 量107。
在搜索范圍106內(nèi)設(shè)置的、與對應(yīng)于參考塊108的位置的參考 矢量107相對應(yīng)地存々者的多個參考塊108的相關(guān)《直(在所述實例中 為SAD值)被稱為相關(guān)值表。在所描述的實例中，由于作為差分 絕對值和的SAD值被用作相關(guān)值，所以相關(guān)值表被稱為差分絕對 4直和表或SAD表。
這在圖7中表示為SAD表TBL。參照圖7，在所示的SAD表 TBL中，每個參考塊108的相關(guān)值(在所示實例中為SAD值)被 稱為相關(guān)值表元素。在圖7的實例中，由參考凄t字lll表示的SAD 值是參考矢量為矢量(0, 0)時的SAD值。此外，在圖7的實例 中，由于當(dāng)參考矢量為矢量(3， 2)時SAD值的最小值為"7", 所以所確定的運動矢量104為矢量(3, 2)。注意，例如，目標(biāo)塊102和參考塊108的位置意p木著諸如各個 塊的中心位置的任意具體位置。此外，參考矢量107表示參考幀101 的目標(biāo)塊102的投影圖像塊109的位置與參考塊108的位置之間的 位移量(包>^方向)。
對應(yīng)于每個參考塊108的參考矢量107是參考幀101上參考塊 108相對于與目標(biāo)塊102對應(yīng)的投影圖像塊109的位置的位移。因 此，如果指定了參考塊108的位置，也就指定了對應(yīng)于該位置的參 考矢量的值。因此，指定參考塊的相關(guān)值表元素在SAD表TBL的 存儲器中的地址，然后指定對應(yīng)的參考矢量。
注意，可以相乂于于兩個或兩個以上目才示塊來并4于計算這些SAD 值。如果祠—皮同時處理的目標(biāo)塊凄t增多，則處理速度加快。然而， 由于用于計算SAD值的硬件規(guī)模增大，所以處理速度的加快和電 路規(guī)模的增大具有折中關(guān)系。
實施例的塊匹配
上面塊匹配的描述涉及一個目標(biāo)塊的運動矢量的計算。由于目 標(biāo)塊在目標(biāo)幀中的所占比率通常很低，所以通常難以將運動矢量直 4妄確定為目標(biāo)塊的全局運動矢量。
在本實施例中，如圖8所示，例如，目標(biāo)幀100 ^皮劃分成64 個像素x64條線大小的多個目標(biāo)塊102。然后，確定每個目標(biāo)塊的 運動矢量或局部運動矢量104B。此時，在本實施例中，同時計算 表示每個所確定的局部運動矢量的可靠性的指標(biāo)。
隨后，基于局部運動矢量的可靠性指標(biāo)，僅提取那些關(guān)于具有 高可靠性的目標(biāo)幀所確定的局部運動矢量。然后，僅從所述提取的具有高可靠性的局部運動矢量來計算全 局運動。然后，所計算的全局運動被用于以目標(biāo)塊為單位來計算全 局運動矢量。
然后，將所計算的全局運動矢量與每個目標(biāo)塊的局部運動矢量 進(jìn)行比較，并基于比較結(jié)果評估并判定每個目標(biāo)塊是背景部分還是 運動圖像拾取對象部分。在本實施例中，將所計算的全局運動矢量 與每個目標(biāo)塊的局部運動矢量進(jìn)行比較以判定兩個矢量的一致度。
執(zhí)行這種評估判定的原因在于考慮到將通過塊匹配計算相關(guān) 值時包括在圖像中的噪聲的影響。
當(dāng)關(guān)于目標(biāo)塊的全局運動矢量與局部運動矢量相互一致時，能 夠判定目標(biāo)塊為背景圖^f象部分。因此，該一致度表明了目標(biāo)塊的圖 像與背景圖像部分的一致度，即，背景一致度。該背景一致度在下
文尋皮一爾為命中率(hit ratio )。
如果目標(biāo)塊是背景圖像部分，則由于其是靜止圖像部分，所以 能夠?qū)⑦\動補(bǔ)償圖〗象以100%的比率(即，以1:1的比率)添力o到目 標(biāo)塊的圖^象上。由此，可以4吏降噪(NR)效果最大化。
然后，如果所述背景一致度較低，則估計目標(biāo)塊為運動圖像拾 取對象部分。因此，如果響應(yīng)于背景一致度降低運動補(bǔ)償圖像與數(shù) 據(jù)塊的圖^f象的相加率(addition ratio )，則能鄉(xiāng)爰和i者如多次曝光的這 種狀態(tài)。
此處，如果全局運動矢量與局部運動矢量并不不相互一致，那 么如果不考慮圖像噪聲就可以判定目標(biāo)塊完全為運動圖像拾取對
象部分。在這種情況下，關(guān)于對應(yīng)于局部運動矢量的參考塊的相關(guān) 值為最高(即，所述SAD值為最低)，并且相關(guān)值大于關(guān)于對應(yīng)于 全局運動矢量的參考塊的相關(guān)值(即，SAD值較低)。然而，通常諸如所拾取圖像的圖像包括噪聲。如果考慮到這個 圖像噪聲，則即使全局運動矢量與局部運動矢量不相互一致，也存 在目標(biāo)塊為背景部分的可能性。然后，考慮到關(guān)于上面剛剛描述的 這種目標(biāo)塊，關(guān)于對應(yīng)于局部運動矢量的參考塊的相關(guān)值與關(guān)于對 應(yīng)于全局運動矢量的參考塊的相關(guān)值之間的差小于由于圖像噪聲 而提供的差。
因此，在本實施例中，關(guān)于對應(yīng)于全局運動矢量的參考塊的相 關(guān)值被校正為反映由于圖像噪聲而提供的差的值。然后，將所校正 的相關(guān)值與關(guān)于對應(yīng)于局部運動矢量的參考塊的相關(guān)值相互比較。
然后，如果所校正的相關(guān)值較高(即，如果SAD值較低)，則將目 標(biāo)塊評估為背景圖像部分。換言之，在本實施例中，基于所校正的 相關(guān)值評估背景一致度。此時，認(rèn)為全局運動矢量與關(guān)于目標(biāo)塊的 原始局部運動矢量一致。
然后，在本實施例中，如果作為背景一致度的評估結(jié)果而判定 目標(biāo)塊為背景圖像部分，則輸出全局運動矢量作為關(guān)于目標(biāo)塊的輸 出運動矢量。另一方面，如果作為背景一致度的評估結(jié)果而判定目 標(biāo)塊與背景圖像部分不一致，則輸出局部運動矢量作為關(guān)于目標(biāo)塊 的輸出運動矢量。在本實施例中，輸出運動矢量是用于隨后階段處 理的運動矢量，在本實施例中為用于降噪處理的運動矢量。
然后，以這種方式計算的以目標(biāo)塊為單位的全局運動矢量或局 部運動矢量被用于相對于目標(biāo)塊以塊為單位執(zhí)行參考幀的定位，以 生成運動補(bǔ)償圖像(即，運動補(bǔ)償幀)。然后，將目標(biāo)幀與運動補(bǔ) 償幀相互疊加以生成降噪圖像。
然后，在靜止圖片圖像拾取時，如圖9所示，圖像拾取裝置高 速拾取多個靜止圖像并確定第一個靜止圖片拾取圖像為目標(biāo)幀 100。然后，圖像拾取裝置確定預(yù)定數(shù)目的靜止圖片拾取圖像(包括第二個和后續(xù)的靜止圖片拾取圖像)為多個參考幀101并執(zhí)行參 考幀101的疊加。然后，圖像拾取裝置將疊加得到的圖像記錄為靜
止圖片拾取圖像。
具體地，如果圖像拾取者按下圖像拾取裝置的快門按鈕，則高 速拾取預(yù)定數(shù)目的靜止圖像。然后，在第一個拾取的靜止圖像或幀 上，疊加并記錄時間上在后拾取的多個靜止圖〗象或幀。
注意，盡管在本實施例的描述中沒有描述，但是當(dāng)進(jìn)行運動圖
片圖像拾取時，如圖10所示，當(dāng)前從圖像拾取元件中輸出的當(dāng)前 幀的圖像被確定為目標(biāo)幀100的圖像，而過去的先前幀圖像被確定 為參考幀101的圖像。話說，當(dāng)進(jìn)行運動圖片圖像拾取時，為
了執(zhí)行當(dāng)前幀的圖像的降噪，在當(dāng)前幀之前幀的圖像被疊加到當(dāng)前 幀上。
圖像拾取裝置的硬件配置的實例
圖1示出了作為根據(jù)本發(fā)明實施例的圖像處理裝置的圖像拾取
裝置的實例；
參照圖1，所示的圖像拾取裝置包括連接至系統(tǒng)總線2的中央 處理部(CPU) 1。該圖像拾取裝置還包括連接至系統(tǒng)總線2的拾 取圖像信號處理系統(tǒng)IO、用戶操作輸入部3、圖像存儲部4以及記 錄和再生裝置部5。注意，盡管在圖1中未示出，^旦CPU1包4舌其 中存儲有用于執(zhí)行各種軟件處理的程序的ROM (只讀存儲器)、用 于工作區(qū)的RAM (隨機(jī)存取存儲器)等。圖1的圖像拾取裝置的 圖像拾取信號處理系統(tǒng)10響應(yīng)于通過用戶操作輸入部3的圖像拾 取記錄啟動操作執(zhí)行如下所述的拾取圖像數(shù)據(jù)的記錄處理。此外， 拾取圖像信號處理系統(tǒng)10響應(yīng)于通過用戶操作輸入部3的拾取記 錄圖像的再生啟動操作來執(zhí)行記錄在記錄和再生裝置部5的記錄介質(zhì)上的拾取圖像數(shù)據(jù)的再生處理。如圖1所示，在拾取圖像信號處
理系統(tǒng)10中，通過包括圖像拾取透鏡IOL的相機(jī)光學(xué)系統(tǒng)(未示 出)接收的來自圖像拾取對象的入射光照射在圖像拾取元件11上 以拾取圖像。在本實施例中，圖像拾取元件11由CCD (電荷耦合 器件)成像器形成。注意，圖像拾取元件11還可以由CMOS (互 補(bǔ)金屬氧化物半導(dǎo)體)成像器形成。
在圖像拾取裝置中，如果執(zhí)行了圖像拾取記錄啟動操作，則通 過圖像拾取透鏡10L輸入的圖像經(jīng)由圖像拾取元件11被轉(zhuǎn)換成拾 取圖像信號。隨后，由紅色(R)、綠色(G)和藍(lán)色(B)的三原 色所形成的貝爾陣列的原信號形式的模擬拾取圖像信號從圖像拾 取元件ll輸出作為與來自定時信號生成部12的定時信號同步的信 號。所輸出的模擬拾取圖像信號被提供給預(yù)處理部13，通過預(yù)處理 部來執(zhí)行諸如缺陷校正和y校正的預(yù)處理，并且將所得到的模擬圖 像信號提供給數(shù)據(jù)轉(zhuǎn)換部14。
數(shù)據(jù)轉(zhuǎn)換部14將以原信號形式輸入其中的模擬拾取圖像信號 轉(zhuǎn)換成數(shù)字拾取圖像信號或由亮度信號分量Y和色差信號分量 Cb/Cr組成的YC數(shù)據(jù)。根據(jù)通過用戶操作輸入部3接收的圖傳4合 取指令，將來自數(shù)據(jù)轉(zhuǎn)換部14的數(shù)字拾取圖像信號寫入圖像存儲 部4。
具體地，如果通過用戶操作輸入部3接收的圖像拾取指令是源 自按壓快門按鈕的靜止圖片拾取指令，則來自數(shù)據(jù)轉(zhuǎn)換部14的數(shù) 字拾取圖像信號被寫入幀存儲器41~4N中。在這種情況下，來自 數(shù)據(jù)轉(zhuǎn)換部14的數(shù)字拾取圖像信號的、如上所述將被相互疊加的 多個幀被寫入圖像存儲器部4的第一~第N個幀存儲器41-4N中 (N是將被疊加的靜止圖片的數(shù)目)。在本實施例中，按下快門按鈕時的第一個幀的圖像數(shù)據(jù)被作為
目標(biāo)幀的圖像數(shù)據(jù)寫入第一幀存儲器41。隨后，第二個和隨后的幀 圖像的數(shù)據(jù)被作為參考幀的圖像數(shù)據(jù)順序?qū)懭氲诙?第N個幀存 儲器42 4N。
在將不同幀的多個圖像寫入圖像存儲器部4中之后，通過運動 矢量計算部15讀入目標(biāo)幀的圖像數(shù)據(jù)和參考幀的圖像數(shù)據(jù)。然后， 運動矢量計算部15執(zhí)4于如下所述的局部運動矢量LMV的枱，測、局 部運動矢量LMV的可靠性計算、全局運動的計算以及全局運動矢 量GMV的計算。另外，運動矢量計算部15扭j亍目標(biāo)塊的背景一致 度的評估，以生成命中率(3。
在本實施例中，運動矢量計算部15輸出目標(biāo)幀的圖傳4丈據(jù) TGv、參考幀的圖像數(shù)據(jù)REFv和命中率(3的信息。此外，運動矢量 計算部15輸出由全局運動矢量GMV或局部運動矢量LMV形成的 降噪運動矢量MVnr的信息。
來自運動矢量計算部15的降p喿運動矢量MVnr和參考幀的圖 像數(shù)據(jù)REFv的信息被提供給運動補(bǔ)償圖片生成部16。運動補(bǔ)償圖 片生成部16對參考幀的圖傳4t據(jù)REFv應(yīng)用對應(yīng)于全局運動的處理 (即，基于降噪運動矢量MVnr的包括平移、旋轉(zhuǎn)以及擴(kuò)展或壓縮 的變換處理)，以生成運動補(bǔ)償圖4象。
然后，來自運動矢量計算部15的目標(biāo)幀的圖像數(shù)據(jù)TGv被提 供給加法部17,并且來自運動補(bǔ)償圖片生成部16的運動補(bǔ)償圖傳_ 的圖像數(shù)據(jù)MCv被提供給加法部17。
此外，來自運動矢量計算部15的目標(biāo)幀的圖像數(shù)據(jù)TGv與命 中率(3被提供給相加率計算部21。相加率計算部21根據(jù)表示背景一 致度的命中率P對目標(biāo)幀的每個目標(biāo)塊計算相加率ct。然后，相加率 計算部21將為每個目標(biāo)塊計算的相加率a提供給加法部17。加法部17將在圖係4t據(jù)TGv與MCv對應(yīng)位置的^象素相加以 執(zhí)行圖像的疊加處理，并輸出所得到的作為降噪圖像的和圖像的圖 像數(shù)據(jù)MIXv。以目標(biāo)塊為單位執(zhí)行這種圖像疊加。具體地，將運 動補(bǔ)償圖像的圖像數(shù)據(jù)MCv的對應(yīng)塊的圖像數(shù)據(jù)以相加率a加入 到目標(biāo)塊的圖傳4t據(jù)中。
來自加法部17的和圖^f象的圖係4t梧MIXv作為先前目才示幀的 圖像數(shù)據(jù)上的目標(biāo)幀的圖像數(shù)據(jù)被重寫入圖像存儲器部4的第一幀 存儲器41中。
具體地，第一幀存儲器41的目標(biāo)幀的圖像數(shù)據(jù)首先是緊接在 按下快門按鈕之后的第一幀的圖像數(shù)據(jù)。然后，如果第二參考幀的 運動補(bǔ)償圖像的圖像數(shù)據(jù)MCv與目標(biāo)幀相加，則第一幀存儲器41 的目標(biāo)幀的圖〗象數(shù)據(jù);帔重寫入加法結(jié)果的和圖^f象的圖〗象tt據(jù) MIXv。
然后，對于第三參考幀的圖像數(shù)據(jù)，和圖像的圖像數(shù)據(jù)MIXv 被用作為目標(biāo)幀的圖像數(shù)據(jù)。然后，通過運動矢量計算部15如上 所述類似地計算降p喿運動矢量MVnr,并通過加法部17執(zhí)4亍圖{象疊 力口處理。
然后，加法結(jié)果的和圖像的圖像數(shù)據(jù)MIXv作為在先前目標(biāo)幀 的圖像數(shù)據(jù)上的目標(biāo)幀的圖像數(shù)據(jù)被重寫入圖像存儲器部4的第一 幀存儲器41中。此后，對于作為參考圖像的第四及后續(xù)幀的每一 個批j于類似的處理纟喿作。
因此，在執(zhí)行了直至作為參考圖像的第N個圖像的圖像的疊加 處理之后，疊加了所有待疊加的N幀的降噪圖像被寫入到圖像存儲 部4的第一幀存儲器41中。隨后，將存儲在圖像存儲部4的第一幀存儲器41中、作為疊 加結(jié)果的降噪圖像的和圖像的圖像數(shù)據(jù)MIXv通過系統(tǒng)總線2提供 纟合l爭止圖片編解碼部18，并通過靜止圖片編解碼部18進(jìn)4亍編解碼 轉(zhuǎn)換。例如，來自靜止圖片編解碼部18的輸出數(shù)據(jù)被記錄在諸如 記錄和再生裝置部5的DVD (ft字通用盤)或^更盤的記錄介質(zhì)上。 在本實施例中，靜止圖片編解碼部18根據(jù)JPEG(聯(lián)合圖像專家組) 方式對靜止圖片執(zhí)行圖像壓縮編碼處理。
此外，在靜止圖片圖像拾取模式中，在按下快門按鈕之前，來 自數(shù)據(jù)轉(zhuǎn)換部14的圖像數(shù)據(jù)通過圖像存儲部4的第一幀存儲器41 被提供給分辨率轉(zhuǎn)換部19。然后，通過分辨率轉(zhuǎn)換部19被轉(zhuǎn)換成 預(yù)定分辨率的數(shù)據(jù)，然后提供給NTSC (國家電視系統(tǒng)委員會)編 碼器20。 NTSC編碼器20將圖傳H據(jù)轉(zhuǎn)換成NTSC方式的標(biāo)準(zhǔn)色 圖像信號。隨后，所得到的標(biāo)準(zhǔn)色圖像信號被提供給監(jiān)控顯示部6， 并在監(jiān)控顯示部6的顯示屏上顯示靜止圖片圖像拾取模式狀態(tài)下的 再生圖像。
響應(yīng)于通過用戶操作輸入部3的再生啟動才喿作來讀出記錄在記 錄和再生裝置部5的記錄介質(zhì)上的靜止圖片的圖像數(shù)據(jù)，并將其提 供給靜止圖片編解碼部18，通過靜止圖片編解碼部18將它們進(jìn)4亍 解碼以用于再生。隨后，為再生而解碼的靜止圖片的圖像數(shù)據(jù)通過 圖像存儲部4的緩沖存儲器(未示出)被提供給NTSC編碼器20， 并通過NTSC編碼器20被轉(zhuǎn)換成NTSC方式的標(biāo)準(zhǔn)色圖像信號。 隨后，標(biāo)準(zhǔn)色圖像信號被提供給監(jiān)控顯示部6,并在監(jiān)控顯示部6 的顯示屏上顯示其再生圖像。
注意，盡管在圖1中未示出，但仍能夠通過圖像輸出終端將來 自NTSC編碼器20的輸出圖像信號導(dǎo)向外部。注意，在本實施例中，雖然通過靜止圖片編解碼部18以壓縮 形式來記錄圖像數(shù)據(jù)，但是也可以省略靜止圖片編解碼部18而不 以壓縮形式記錄圖傳^t據(jù)。
此外，可以由石更件形成上述的運動矢量計算部15和運動補(bǔ)償 圖片再生部16。還可以用DSP (數(shù)字信號處理器)形成運動矢量計 算部15和運動補(bǔ)償圖片再生部16。此外，運動矢量計算部15與運 動補(bǔ)償圖片再生部16可被CPU 1的軟件處理代替。
類似地，也可以由硬件或用DSP來形成加法部17。此夕卜，加 法部17也可被CPU 1的軟件處理代替。這被類似地應(yīng)用于靜止圖 片編解碼部18。
運動矢量計算部15
在本實施例中，運動矢量計算部15 4吏用參照圖2A 圖7在上 文所述的SAD值來沖丸行塊匹配處理，以執(zhí)行局部運動矢量LMV的 才企測。然而，注意，在本實施例中，運動矢量計算部15由如下所 述的石更件構(gòu)成，并通過分層塊匹配處理計算局部運動矢量LMV。
此外，如上所述，運動矢量計算部15還計算每個局部運動矢 量LMV的可靠性指標(biāo)。
此外，運動矢量計算部15 K使用具有高可靠性的那些局部運 動矢量來計算全局運動。然后，運動矢量計算部15從所計算的全 局運動中以塊為單位來計算全局運動矢量。此外，運動矢量計算部 15執(zhí)行每個目標(biāo)塊為背景部分還是運動圖像拾取目標(biāo)部分的判定， 以計算表示背景一致度的命中率P。
<分層的塊匹配處理>在通常已知的塊匹配的運動矢量檢測處理中，在4叟索范圍內(nèi)以 像素為單位(即，以一個像素為單位或以多個像素為單位)移動參
考塊，并計算參考塊在每個移動位置處的SAD值。隨后，^^測在 以這種方式計算的SAD值中表示最小值的SAD值，并基于表示最 小SAD值的參考塊位置來檢測運動矢量。
此外，在本實施例中，由于一幀被劃分成多塊，所以通過順序 轉(zhuǎn)變目標(biāo)塊和參考塊對整個畫面圖卩象執(zhí)^f亍上述塊匹配處理。從而4丸 行目標(biāo)幀中所有目標(biāo)塊的局部運動矢量LMV的計算。
然而，上述這種已知的運動矢量4企測處理存在一個問題由于 參考塊在搜索范圍內(nèi)以像素為單位移動，所以用于計算SAD值的 匹配處理的次數(shù)增加，從而與搜索范圍成比例地增加了匹配處理時 間。此外，已知的運動矢量檢測處理存在另一個問題SAD表的容 量也增大。
如果考慮到靜止圖像像素數(shù)目的增加、運動圖片清晰度的增強(qiáng) (較高清晰度)以及一個圖像的尺寸變得非常大，這個問題就尤其 明顯。已知的運動矢量檢測處理還存在一個問題通過系統(tǒng)總線2 訪問圖像存儲器的次數(shù)增加，并且總線頻帶也必須增加。
考慮到上述問題，在本實施例中，才丸4亍分層的塊匹配，其中， 首先減小目標(biāo)圖像或目標(biāo)幀以及參考圖像或參考幀的尺寸，以準(zhǔn)備 縮小圖像和中間圖像，然后按縮小圖像、中間圖像和原始圖像的順 序執(zhí)行塊匹配的運動矢量搜索，同時將先前階段的塊匹配結(jié)果反映 在下一階l殳的4叟索中。
通過批^于分層的塊匹配，以相對少量的計算和相對4交短的處理 時間來有效地4丸行局部運動矢量的計算。注意，縮小圖像在下文中被稱為縮小面，中間圖像在下文中被稱為中間面，而不處于縮小形 式的原始圖像在下文中被稱為基底面。
圖11示出了分層的塊匹配。參照圖11，在所示實例中，基底
面目標(biāo)幀201和基底面參考幀301的尺寸縮小至l/a'1/b ( 1/a和1/b 為縮小率，其中，a〉l和b〉1)，以分別生成縮小面目標(biāo)幀211和縮 小面參考幀311。
隨后，將基底面目標(biāo)幀201和基底面參考幀301縮小至1/b， 以分別生成中間面目標(biāo)幀221和中間面參考幀321。
盡管可以相對于基底面對縮小面和中間面使用任意倍率 (scale )，但是可以將它們適當(dāng)?shù)卦O(shè)定為1/2 ~ 1/8倍，即，轉(zhuǎn)換成 像素數(shù)時為1/4~1/64倍。注意，在圖ll的實例中，縮小面相對于 中間面的縮小率為1/4，即，a = 4，而中間面對目又于于基底面的縮小 率為1/4,即，b-4。
此外，為了生成縮小面和中間面，可應(yīng)用^壬意的方法。然而， 如果應(yīng)用僅響應(yīng)于縮小率對原始圖像的像素進(jìn)行采樣來生成縮小 面或中間面的方法，則生成折返(jreflection )分量，并且在第 一層 (縮小面)中檢測到的運動矢量很可能偏離正確的運動矢量。因此， 首先通常將具有適合于縮小率的截止頻帶的低通濾波器應(yīng)用于原 始圖像，然后執(zhí)行適合于該縮小率的采樣。
在本實施例中，計算在包括通過根據(jù)倍率的采樣而消失的那些 像素的像素的亮度平均值，并將其用作縮小面像素或中間面像素的 亮度值。具體地，在l/a縮小的情況下，計算axa像素的正方形區(qū) 域中的亮度平均值，并用作縮小面像素或中間面像素的亮度值。在 這種情況下，即4吏首先形成中間面并隨后乂人中間面生成縮小面，仍 能夠獲得與通過原始畫面圖像直接生成縮小面的情況相同的效果。 因jt匕，這種方法歲丈率更高。注意，當(dāng)生成縮小圖〗象時，水平方向上的縮小率和垂直方向上 的縮小率可以與上述情況相同，或者也可以不同。
在以上述方式生成縮小面或中間面之后，首先為縮小面目才示幀
211設(shè)定縮小面目標(biāo)塊212，并且為縮小面參考幀311 -沒定縮小面搜 索范圍313。
隨后，通過縮小面運動矢量4企測裝置401對在縮小面纟臾索范圍 313內(nèi)的多個縮小面參考塊312扭一f亍塊匹配處理，以4企測呈現(xiàn)最小 SAD值的縮小面參考塊位置。然后，基于縮小面參考塊的位置檢測 對縮小面運動矢量MVs進(jìn)4于4企測。
在本實例中，運動矢量檢測裝置401對作為縮小面目標(biāo)塊212 的大小的塊(即，水平方向上的〗象素凄t x垂直方向上的j象素的塊)
的塊匹配處理單位4丸4亍處理。
在縮小面運動矢量MVs的計算結(jié)束之后，在大小等于縮小面 目標(biāo)幀211乘以a的中間面目標(biāo)幀221上i殳定中間面目標(biāo)塊222。
在圖11的實例中，中間面運動矢量檢測裝置402 7十作為尺寸 與縮小面運動矢量才企測裝置401的塊匹配處理單位相同的塊的中間 目標(biāo)塊執(zhí)行塊匹配處理。相同尺寸的塊是相等4象素數(shù)的塊并包括水 平方向上的相等像素數(shù)x相同垂直方向上的相等像素。
在本實例的情況下，由于縮小面具有中間面1/a的尺寸，所以 與縮小面目標(biāo)塊212相對應(yīng)的、包括在中間面目標(biāo)幀的區(qū)域中的中 間面目標(biāo)塊222的數(shù)目為a。因此，等于a的所有中間面目標(biāo)塊222 ^Li殳定為中間面運動矢量^r測裝置402的塊匹配處理對象。隨后，在具有尺寸等于縮小面參考幀311的a倍的中間面參考 幀321中，設(shè)定以縮小面運動矢量MVs為中心的中間面搜索范圍 323。隨后，通過運動矢量檢測裝置402對中間面搜索范圍323內(nèi) 的多個中間面參考塊322扭J亍上述塊匹配處理，以4企測呈現(xiàn)最小 SAD ^直的中間面參考塊4立置，以#:測中間面運動矢量MVm。
中間面運動矢量檢測裝置402對設(shè)置在中間面搜索范圍323中 的用于每個中間面目標(biāo)塊的4臾索范圍中的每個中間面目標(biāo)塊扭^f亍 塊匹配處理，從而4企測每個中間面目標(biāo)塊的運動矢量。然后，多個 運動矢量中呈現(xiàn)最小SAD ^直的那一個^皮4企測作為中間面的運動矢 量MVm,即，4乍為中間面運動矢量
在中間面運動矢量MVm的計算結(jié)束之后，在具有等于中間面 目標(biāo)幀221的b倍的尺寸的基底面目標(biāo)幀201中設(shè)定基底面目標(biāo)塊 202。
在圖11的實例中，基底面運動矢量檢測裝置403也對作為尺 寸與運動矢量檢測裝置401和402相同(即，相等像素數(shù)=水平方 向上的相等像素數(shù)x垂直方向上的相等像素)的塊的處理單位塊執(zhí)
4亍塊匹配處理。
隨后，以上述處理單位塊為單4立獲得了中間面運動矢量MVm。 因此，設(shè)定作為基底面運動矢量檢測裝置403的對象的基底面目標(biāo) 幀201的基底面目標(biāo)塊202的數(shù)目，以使其等于尺寸等于如圖11 中的斜線所表示的縮小面的塊(即，處理單位塊)的數(shù)目的a七倍。
另一方面，在具有等于中間面參考幀321的b倍尺寸的基底面 參考幀301中，設(shè)定以縮小面運動矢量MVs和中間面運動矢量 MVm的合成矢量為中心的基底面4叟索范圍303。通過基底面運動矢 量才企測裝置403在基底面:搜索范圍303中對多個基底面參考塊302執(zhí)行上述塊匹配處理，以檢測呈現(xiàn)最小SAD值的基底面參考塊的 位置，從而檢測出基底面運動矢量MVb。
以相同尺寸的處理單位塊為單位獲得縮小面運動矢量MVs和 中間面運動矢量MVm。因jt匕，以縮小面運動矢量MVs和中間面運 動矢量MVm的合成矢量為中心所i殳定的基底面4臾索范圍303比包 括b個基底面目標(biāo)塊202的區(qū)域大點。
基底面運動矢量檢測裝置403在用于b個基底面目標(biāo)塊202的 基底面搜索范圍303中所設(shè)定的基底面目標(biāo)塊的搜索范圍內(nèi)執(zhí)行塊 匹配處理，從而執(zhí)行基底面目標(biāo)塊的運動矢量的才企測。隨后，多個 運動矢量中呈現(xiàn)最小SAD值的那一個凈皮檢測作為基底面運動矢量 MVb,即，基底面的基底面運動矢量。
隨后，作為以上述方式確定的縮小面運動矢量MVs、中間面運 動矢量MVm和基底面運動矢量MVb的合成矢量，4全測基底面目 標(biāo)幀201與基底面參考幀301之間的基底面目標(biāo)塊的局部運動矢量 LMV。
欣和麥考中貝
處理，同時順序轉(zhuǎn)變目標(biāo)塊和參考塊。因此，計算以在目標(biāo)幀中i殳 置的多個目標(biāo)塊為單^f立的所有多個局部運動矢量LMV。
在圖ll的實例中，運動矢量檢測裝置401、 402和403實際上 是一個裝置，它們的區(qū)別在于從圖像存儲部4中讀出然后輸入的目 標(biāo)塊以及從搜索范圍內(nèi)讀出的參考塊。
注意，在配置基底面目標(biāo)幀201以獲得所有基底面目標(biāo)塊202 的局部運動矢量LMV的情況下，應(yīng)以以下方式執(zhí)4于目標(biāo)塊的專爭變。 具體地，在縮小面上設(shè)置縮小面目標(biāo)塊，同時，根據(jù)倍率1/a和1/b，在水平方向上將縮小面目標(biāo)塊順序移動與水平方向上的〗象素凄t相
對應(yīng)的量。同時，在垂直方向上，根據(jù)倍率l/a和l/b，將縮小面目 標(biāo)塊順序移動與垂直方向上的^f象素相對應(yīng)的量。
然而，乂寸于由多個局部運動矢量LMV確定全局運動矢量GMV 的對象，可以釆取如下的對策。具體地，將縮小面目標(biāo)塊設(shè)置為在 水平方向和垂直方向上順序移動，從而關(guān)于在基底面目標(biāo)幀201的
if兆過位置處的基底面目標(biāo)塊獲得局部運動矢量LMV。
注意，
層的縮小面和基底面來^丸^f亍，或者可以包:^舌用于不同中間面的多個 中間層。但是，如果縮小率很高而在同一單位塊中包括了運動圖像 拾取對象和背景，則必須小心。具體地，最初應(yīng)該被;險測為不同運 動矢量的多個運動矢量被作為單個運動矢量處理，由于在后續(xù)層中 無法恢復(fù)，所以必須小心地執(zhí)行縮小率的選擇。
局部運動矢量LMV的可靠性的計算
在具有相對大量噪聲的圖像為目標(biāo)圖像的情況下，由于SAD 值受到噪聲影響，所以通常不能獲得正確的矢量。圖12為包括相 對大量p朵聲的夜景的照片。如果示出圖12的圖4象與包含非常小的 旋轉(zhuǎn)量的同時通過左方的相機(jī)抖動所拾取的圖像(作為參考圖像) 之間的運動矢量，則得到如圖13所示的這種結(jié)果。圖13是通過繪 制通過將原始圖片縮小至1/8所獲得的縮小圖像的縮小面運動矢量 而得到的。
從圖13可以看出，獲得其紋理不是特別清晰的夜空的運動矢 量作為多樣運動。在分層塊匹配中，由于在生成縮小圖像時應(yīng)用了 低通濾波器，所以耐噪聲性相對教高。但是，如圖13所示，縮小 圖像受到噪聲的影響。由于通過縮小面運動矢量周圍的搜索獲得基底面的局部運動
矢量LMV,所以如果縮小面運動矢量偏離了正確的運動矢量，則 恢復(fù)無效，并且縮小面運動矢量直"^妻受到噪聲的影響并^皮進(jìn)一步地擾亂。
即使根本不具有噪聲的拾取圖像是對象圖像，但如果圖像的紋 理不清晰，則由于連續(xù)拍攝圖像拾取時外部光線的微小變化或由曝 光時間差引起的灰階變化更大，并且所檢測的運動矢量通常偏離正 確值。此外，當(dāng)大量的樹木或諸如大樓的人工結(jié)構(gòu)具有4艮多重復(fù)的 紋理圖案時，即使通過剛剛描述的紋理的重復(fù)圖案，所才企測的運動 矢量也可能會偏離正確值。
假設(shè)剛剛描述的這種情況，在相關(guān)技術(shù)中已經(jīng)進(jìn)行了僅使用具 有高可靠性的運動矢量來計算全局運動的嘗試。例如，已經(jīng)提出執(zhí) 行目標(biāo)圖像的邊緣檢測，并確定具有清晰邊緣的塊的運動矢量作為 具有高可靠性的運動矢量。此外，還提出了使用目標(biāo)圖像的IDCT (離散反余弦變換)結(jié)果的DC分量和AC分量來計算可靠性。
還推薦了一種方法，其中，使用作為一種濾波器的角檢測器來 檢測目標(biāo)圖像上的特征點，使得所得到的運動矢量具有高可靠性。 此外，已提出了以下技術(shù)按照在參考圖像上也維持多個特征點的 位置關(guān)系的假設(shè)，乂人不同點處的多個運動矢量的組合中提取出高可 靠性的運動矢量。
然而，上述這些現(xiàn)有技術(shù)并沒有假設(shè)高噪聲的圖像，并且對于 具有高水平噪聲的圖〗象明顯無效。
在本實施例中，考慮到上述情況，采用了一種對策來獲得可靠 性指標(biāo)值，通過這種對策，即使是高噪聲環(huán)境下的圖像仍能夠有效 地評估運動矢量的可靠性。在本實施例中，目標(biāo)塊和參考塊之間的相關(guān)值中的第 一極大值 和第二極大值的差或比被用作運動矢量可靠性的指標(biāo)值。在本實施
例中，由于目標(biāo)塊和參考塊之間的相關(guān)值凈皮4企測為SAD值，所以 相關(guān)值中的第一極大值和第二極大值分別為SAD值的第一極小值 和第二極小值。
圖14示意性示出了關(guān)于一個目標(biāo)塊的SAD表的SAD值。在 圖14中，搜索范圍被表示為在圖像的水平方向或x方向以及垂直 方向或y方向上的二維范圍，并在高度方向上(即，在與x和y方 向垂直的方向上)取SAD {直。因jt匕，SAD表^皮表示為三次線面(cubic curved face )。
在通常的塊匹配處理中，為了檢測運動矢量，4又將SAD表中 SAD值的最小值確定為4企測對象。然而，SAD值的這個最小值是 SAD表中的SAD值的第一極小值，并且在圖14中，該值假設(shè)由點 501所表示的位置。在圖14中，沖企測運動矢量MV作為從運動的原 點(即，(x = 0, y = 0))至由點501所表示的SAD值的最小值位 置的矢量。
如果考慮到不存在噪聲的理想狀態(tài)，則當(dāng)確定搜索范圍內(nèi)的多 個參考塊和目標(biāo)塊之間的相關(guān)值時，由三次線面表示的SAD表呈
現(xiàn)以下狀態(tài)其中，三次線面均勻向下凸出，并且僅存在SAD值 的一個極小值。但是，在實際的圖像拾取狀態(tài)下，因為不僅存在光 量變化、運動體的運動等影響，而且還存在各種噪聲的影響，所以 由三次線面表示的SAD表幾乎不呈現(xiàn)均勻向下凸出的形狀，而是 通常具有SAD值的多個極小值。
因此，在本實施例中，基于呈現(xiàn)等于SAD值的最小值的第一 極小值的參考塊的位置來4企測運動矢量MV。然而，SAD值中除 SAD值的第一極小值之外的極小值(即，SAD值的第二極小值)^皮才企測用于生成相對于可靠性的指標(biāo)。在圖14中，由點501表示 的位置代表第一極小值，而由另一個點502表示的位置代表第二極小值。
如果限制噪聲等的影響，則SAD值的第一極小值和SAD值的 第二極小值之間的差值很大，并且通過SAD值的第一極小值(即， 通過SAD值的最小值)所^r測的運動矢量MV的可靠性4艮高。另 一方面，在包括大量噪聲等的另一種環(huán)境下，SAD值的第一極小值 和SAD值的第二才及小值之間的差值^艮小，不能夠區(qū)分SAD值的第 一和第二才及小值中的哪一個正確地對應(yīng)于運動矢量MV。因此，可 靠性很低。
如上所述，在本實施例中，SAD值的第一極小值(即，SAD 值的最小值)和SAD值的第二極小值之間的差值被確定作為所檢 測運動矢量的可靠性指標(biāo)。圖15示出了在一維軸上表示圖14中的 搜索范圍的SAD表。在本實施例中，圖15中的第二極小值與第一 極小值(即，SAD值的最小值)之間的差被確定為運動矢量MV的 指標(biāo)值Ft。
注意，在僅獲得SAD值的第一極小值而沒有獲得第二極小值 的情況下，在本實施例中，將SAD值理論上的最大值或SAD值表 中的SAD值的最大值確定為運動矢量MV的可靠性指標(biāo)值。因此， 確定剛剛描述的這種塊的運動矢量很高。但是，由于所描述類型的 塊很少存在，所以可以從可靠性的評估中排除僅從中獲得SAD值 的第一極小值而沒有獲得第二極小值的塊的運動矢量。
注意，代替SAD值的第一極小值(即，SAD值的最小值)與 SAD值的第二極小值之間的差，SAD值的第一極小值(即，SAD 值的最小值)與SAD值的第二極小值之間的比可以被用作運動矢 量MV的可靠性指標(biāo)值Ft。但是，在下面的描述中，SAD值的第一極小值(即，SAD值的最小值)與SAD值的第二極小值之間的 差被用作運動矢量的可靠性指標(biāo)值Ft。
根據(jù)本實施例中的運動矢量的可靠性指標(biāo)，由于沒有如相關(guān)技 術(shù)使用諸如圖像的邊緣或特性的圖像分量而是僅使用了目標(biāo)幀與 參考幀之間的相關(guān)值，所以抗噪穩(wěn)定性很高。換句話說，獲得具有 高精確度的運動矢量的可靠性指標(biāo)，而不會受到圖像噪聲影響。
此外，在本實施例中，使用相關(guān)值的第一極大值(即，SAD值 的第 一極小值)與相關(guān)值的第二極大值(即，SAD值的第二極小值) 之間的差或比也是使本實施例中運動矢量的可靠性指標(biāo)具有很高 抗噪穩(wěn)定性的原因。
具體地，如果噪聲水平升高，則即4吏運動矢量正確，通常運動 矢量的SAD值也會升高。因此，在為了提取出具有高可靠性的運 動矢量而對運動矢量的可靠性指標(biāo)值Ft設(shè)定閾值從而扭J于與閾值 的比專交處理的情況下，還需要響應(yīng)于噪聲水平改變其本身的閾值。
相反，在使用本實施例中的運動矢量的可靠性指標(biāo)值Ft的情況 下，如果噪聲水平升高，則相關(guān)值中的第一極大值(即，SAD值的 第 一極小值)和相關(guān)值中的第二極大值(即，SAD值的第二極小值) 都響應(yīng)于噪聲水平而升高。因此，消除了噪聲對相關(guān)值中的第一極 大值(即，SAD值的第一極小值)和相關(guān)值中的第二極大值之間的 差的影響。
換言之，可以實現(xiàn)不取決于所述噪聲水平的固定值的閾值處 理。這同樣也適用于將相關(guān)值中的第一極大值(即，SAD值的第一 極小值)和相關(guān)值中的第二極大值(即，SAD值的第二極小值)之 間的比用作運動矢量的可靠性指標(biāo)值Ft的情況。順便提及，在對其執(zhí)行塊匹配的目標(biāo)塊的圖像的對比度4艮低的
情況下，SAD值的第二極小值與SAD值的最小值之間的差具有減 小的趨勢。因此，當(dāng)相同的幀包括具有高對比度的區(qū)域和具有低對 比度的另 一個區(qū)域時，如果將相同的閾值用于評估矢量可靠性的評 估值Ix,則很可能優(yōu)先選擇具有高對比度的區(qū)域。
盡管從運動矢量可靠性的角度來看這是正確的結(jié)果，但是為了 在一定程度上減小具有低對比度的區(qū)域，在本實施例中，用于緩解 對比度影響的項被添加至用于確定運動矢量可靠性的指標(biāo)值的數(shù) 學(xué)運算表達(dá)式。具體地，確定目標(biāo)幀圖像的最大亮度值與最小亮度 值之間的差值，并在運動矢量可靠性的指標(biāo)值上反映亮度的差值。 注意，為了避免噪聲的不良影響，在將低通濾波器應(yīng)用于目標(biāo)幀的 圖像數(shù)據(jù)之后，執(zhí)行最大亮度和最小亮度的提取。
鑒于上述，給出本實施例中運動矢量的可靠性指標(biāo)值Ft的計算 表達(dá)式
Ft= ( Btm2SAD - MinSAD ) - ( MaxTAR - MinTAR ) x Co
…(表達(dá)式6)
其中
Ft:運動矢量的可靠性指標(biāo)值 Btm2SAD: SAD值的第二極小值 MinSAD: SAD值的最小值(第一極小值) MaxTAR:目標(biāo)塊的最大亮度值MinTAR:目標(biāo)塊的最小亮度值 Co:力口權(quán)系數(shù)1 )
注意，在相關(guān)值的第 一極大值與相關(guān)值的第二極大值之間的比 被用作運動矢量可靠性指標(biāo)值的情況下，完全類似于上文所給出的 (表達(dá)式6 )，用于緩解對比度影響的項也可以被添加至可靠性指標(biāo) 值計算表達(dá)式。但是，在運動矢量的指標(biāo)值Ft的計算中，實質(zhì)上并 不必須添力p用于纟爰解》十比度影響的項，而是可以省略該項。
雖然在上面的4苗述中，4又確定基底面運動矢量MVb的運動矢 量可靠性指標(biāo)值，但自然也可以相對于縮小面運動矢量MVs或中 間面運動矢量MVm來類似地確定運動矢量的可靠性指標(biāo)值。
全局運動和全局運動矢量GMV的計算
在相關(guān)技術(shù)中，不使用上述這種運動矢量的可靠性指標(biāo)值。因 此，利用相同的4又重來4吏用對目標(biāo)幀確定的所有多個局部運動矢量 LMV，以i十算全局運動矢量GMV。
相反，在本實施例中，能夠以上述方式來獲得目標(biāo)幀的多個局 部運動矢量LMV中的每一個的可靠性指標(biāo)值Ft
隨后，可以只于以這種方式確定的多個局部運動矢量LMV的可 靠性指標(biāo)值進(jìn)行標(biāo)準(zhǔn)化，從而對每個局部運動矢量LMV確定例如 大于等于0但小于等于1的加權(quán)系數(shù)。隨后，可以不通過相同的權(quán) 重而是通過根據(jù)各個加權(quán)系數(shù)所確定的多個權(quán)重來使用局部運動 矢量LMV，以計算全局運動。具體;l也，當(dāng)4吏用確定的所有多個局 部運動矢量LMV以啟動用于計算全局運動的j]文斂i十算時，在局部 運動矢量LMV利用對應(yīng)于各個可靠性指標(biāo)值Ft的加權(quán)系數(shù)進(jìn)行加 權(quán)之后，才使用這些局部運動矢量LMV。然而，為了簡化全局運動的數(shù)學(xué)運算處理來降低數(shù)學(xué)運算負(fù)
荷，在本實施例中，將局部運動矢量LMV的加權(quán)系數(shù)W 二進(jìn)值化 成0和1 。
因此，在本實施例中，設(shè)置用于運動矢量的可靠性指標(biāo)值Ft 的閾值th,并根據(jù)以下數(shù)學(xué)運算表達(dá)式使用每個運動矢量的可靠性 指標(biāo)值Ft來計算每個局部運動矢量LMV的加權(quán)系數(shù)W:
當(dāng)Ft > th時，W = 1,而
當(dāng)FtSth時，W = 0, …(表達(dá)式7)
具體地，在本實施例中，運動矢量可靠性指標(biāo)值Ft^:用于判定
多個局部運動矢量LMV中的每一個的可靠性，并JU5U人多個局部 運動矢量LMV中提取出具有高可靠性的那些局部運動矢量。然后， 僅將所提取的具高可靠性的局部運動矢量用于計算全局運動。
在本實施例中，由于目標(biāo)幀中的目標(biāo)塊數(shù)相對較多，所以即使 在使用如本實例僅提取具有高可靠性的局部運動矢量LMV的方法 的情況下，仍能夠計算具有高精確度的全局運動。
注意，下文將描述通過多個局部運動矢量LMV來計算全局運 動的具體處理實例。
上面描述了以上參照圖12所述的具有大量噪聲的圖^f象中獲取 如圖13所示的這種局部運動矢量。然而，如果使用根據(jù)本實施例 的運動矢量的可靠性指標(biāo)值對圖13的圖《象上表示的局部運動矢量 執(zhí)行可靠性判定，以僅提取具有大于閾值的可靠性的那些可靠性指 標(biāo)值并隨后繪制塊和運動矢量，則獲得如圖16所示的這種圖像。 鑒于此，對于圖16所示的多個塊，獲4尋基本正確的局部運動矢量， 而不受噪聲影響。運動矢量計算部15的碩J牛配置的實例
運動矢量計算部15執(zhí)4于如上所述的對每個目標(biāo)塊檢測局部運 動矢量LMV、計算所檢測局部運動矢量LMV的可靠性指標(biāo)值、計 算全局運動GM和全局運動矢量GMV等處理。
圖17示出了運動矢量計算部15的硬件配置的實例。參照圖17, 運動矢量計算部15包4舌目標(biāo)塊《爰存部151 ，用于存^f諸目標(biāo)塊102 的像素數(shù)據(jù)；以及參考塊緩存部152，用于存儲參考塊108的像素數(shù)據(jù)。
運動矢量沖企測部15還包4舌匹配處理部153，用于計算目才示塊 102和參考塊108的對應(yīng)像素的SAD值。運動矢量4企測部15還包 才舌局部運動矢量計算部154,用于#4居乂人匹配處理部153輸出的 SAD值信息計算局部運動矢量。運動矢量檢測部15還包括控制部 155、運動矢量可靠性指標(biāo)^直計算部156、全局運動計算部157、全 局運動矢量計算部158、對比度計算部159以及背景/運動圖像拾取 只于象判定部150。
對比度計算部159包括^f氏通濾波器1591、最大亮度值4企測部 1592和最小亮度值檢測部1593。
此外，盡管未示出，但是在本實例中，由目標(biāo)幀和參考幀的圖 像數(shù)據(jù)所生成的原始圖片的目標(biāo)幀和參考幀的縮小面的圖像數(shù)據(jù) 和中間面的圖像數(shù)據(jù)被存儲并保留在圖像存儲部4中。
如圖17所示，控制部155控制運動矢量計算部15的處理順序， 并將控制信號提供給運動矢量計算部15的各個部件。在控制部155的控制下，目標(biāo)塊緩存部151從圖像存儲部4的 縮小面、中間面或基底面的目標(biāo)幀的圖傳4t據(jù)中讀入指定目標(biāo)塊的 圖傳4t據(jù)，并將所述圖傳4t據(jù)4是供給匹配處理部153。
在控制部155的控制下，參考塊緩存部152從圖像存儲部4的 縮小面、中間面或基底面的參考幀的圖傳_#1據(jù)中讀入指定匹配處理 范圍內(nèi)的圖像數(shù)據(jù)。然后，參考塊緩存部152將來自匹配處理范圍 內(nèi)的圖像數(shù)據(jù)的參考塊的圖像數(shù)據(jù)順序提供給匹配處理部153。
匹配處理部153接收來自目標(biāo)塊緩存部151的目標(biāo)塊的圖傳_數(shù) 據(jù)以及來自參考塊緩存部152的參考塊的圖像數(shù)據(jù)。然后，匹配處 理部153在控制部155的控制下對縮小面、中間面和基底面4丸4亍塊 匹配處理。然后，匹配處理部153將參考矢量(即，參考塊的^f立置 信息)以及塊匹配處理結(jié)果的SAD值^是供給局部運動矢量計算部 154。
局部運動矢量計算部154包括用于SAD值的第一4及小值存卡者 單元1541和用于SAD值的第二極小值存儲單元1542，并才丸行從來 自匹配處理部153的SAD值中4企測出SAD值的第一極小值和SAD 值的第二極小值的處理。
隨后，局部運動矢量計算部154依次更新用于SAD ^L的第一 極小值存儲單元1541中的SAD值的第一極小值和SAD值的第一 極小值的位置信息(即，參考矢量)以及用于SAD值的第二極小 值存4渚單元1542中的SAD值的第二才及小值和SAD值的第二才及小 值的位置信息(即，參考矢量)。局部運動矢量計算部154扭j亍該 更新處理直至對匹配處理范圍中的所有參考塊的塊匹配處理都結(jié) 束。然后，當(dāng)所述塊匹配處理結(jié)束時，該時間點的目才示塊的SAD 值的第一極小值以及SAD值的第一極小值的位置信息或參考矢量 存儲在用于SAD值的第一極小值存儲單元1541中。此外，SAD值 的第二極小值以及SAD值的第二極小值的位置信息或參考矢量被 存儲在用于SAD值的第二極小值存儲單元1542中。
隨后，當(dāng)對匹配處理范圍內(nèi)的所有參考塊的塊匹配處理結(jié)束 時，局部運動矢量計算部154^r測存々者在用于SAD的第一才及小佳— 存儲單元1541中的參考矢量的信息(即，位置信息)，作為在縮小 面、中間面和基底面的每一個中的運動矢量。下文將詳細(xì)描述局部 運動矢量計算部154的處理:操作。
本實施例中的局部運動矢量計算部154在縮小面匹配處理時將 縮小面運動矢量MVs作為局部運動矢量LMV提供給控制塊155。
當(dāng)進(jìn)行分層的塊匹配處理時，控制部155從縮小面運動矢量 MVs的信息確定用于中間面的搜索范圍。然后，控制部155將控制 信號提供纟合目標(biāo)塊緩存部151、參考塊緩存部152和匹配處理部 153,以4吏它們在中間面中批j亍塊匹配。
然后，當(dāng)中間面中的匹配處理結(jié)束時，局部運動矢量計算部154 將縮小面運動矢量MVs和中間面運動矢量MVm的合成矢量的信息 作為局部運動矢量LMV提供給控制部155。
控制部155 乂人縮小面運動矢量MVs和中間面運動矢量MVm 的合成矢量的信息確定用于基底面的搜索范圍。然后，控制部155 將控制信號提供給目標(biāo)塊緩存部151、參考塊緩存部152和匹配處 理部153，以使它們在基底面中扭J亍塊匹配。
如上所述，控制器155可以控制哪個層應(yīng)扭J于分層的塊匹配以 及是否應(yīng)該輸出該層中的運動矢量作為局部運動矢量LMV。例如，如果即^f吏犧牲^奮確度也希望在短時間內(nèi)獲得局部運動矢
量LMV，則局部運動矢量計算部154可以^U丸行縮小面的塊匹配 處理。另一方面，在需要高精確度的局部運動矢量LMV的情況下， 局部運動矢量計算部154可執(zhí)4亍分層的塊匹配處理直至基底面塊匹 配處理?；蛘撸诳紤]到精確度和時間的情況下，局部運動矢量計 算部154可能批^亍分層的塊匹配處理直至中間面塊匹配處理。
當(dāng)直到基底面的分層匹配處理結(jié)束時，局部運動矢量計算部 154獲4尋縮小面運動矢量MVs、中間面運動矢量MVm和基底面運 動矢量MVb的合成矢量的信息作為局部運動矢量LMV。局部運動 矢量LMV ^皮纟是供纟會全局運動計算部157。
全局運動計算部157臨時存儲所接收的局部運動矢量LMV。
此外，當(dāng)通過局部運動矢量計算部154進(jìn)4亍局部運動矢量LMV 的匹配處理結(jié)束時，通過4空制部155;敫活運動矢量可靠4生指沖示1直計 算部156。同時，第一才及小值存〗諸單元1541的SAD值的最小值 MinSAD和第二極小值存儲單元1542的SAD值的第二極小值 Btm2SAD從局部運動矢量計算部154被提供給運動矢量可靠性指 標(biāo)值計算部156。
此外，此時將目標(biāo)塊的圖j象凄t據(jù)乂人目標(biāo)塊纟爰存部151通過^f氐通 濾波器1591才是供給最大亮度值4企測部1592和最小亮度值4企測部 1593。然后，分別將由最大亮度值檢測部1592和最小亮度值檢測 部1593檢測的最大亮度值MaxTAR和最小亮度值MinTAR提供給 運動矢量可靠性指標(biāo)值計算部156。
運動矢量可靠性指標(biāo)值計算部156根據(jù)上文給出的(表達(dá)式6 ) 使用提供給其的信息以計算運動矢量的可靠性指標(biāo)值Ft。然后，運 動矢量可靠性指標(biāo)值計算部156將所計算的運動矢量可靠性指標(biāo)值Ft提供給全局運動計算部157。全局運動計算部157以與此時提供 的局部運動矢量LMV相關(guān)聯(lián)的關(guān)系來臨時存書者輸入其中的運動矢 量可靠性指標(biāo)值Ft。
在對目標(biāo)幀中的所有目標(biāo)塊都結(jié)束了上述的一系列處理之后， 控制部155將控制指令信號提供給全局運動計算部157，從而開始 全局運動的凄t學(xué)運算處理。
在本實施例中，全局運動計算部157首先才艮據(jù)來自控制部155 的控制指令信號使用以與局部運動矢量LMV的對應(yīng)關(guān)系存儲的運 動矢量可靠性指標(biāo)值Ft來執(zhí)行對存儲在其中的多個局部運動矢量 LMV的可靠性的判定。在本實施例中，根據(jù)上文給出的(表達(dá)式7) 計算每個運動矢量LMV的加4又系凄史W。然后，全局運動計算部157 僅提取加權(quán)系數(shù)W為W=l并呈現(xiàn)高可靠性的那些局部運動矢量 LMV。
然后，全局運動計算部157僅使用所提取的具有高可靠性的局 部運動矢量LMV來4丸4于計算全局運動GM的lt學(xué)運算處理。然后， 全局運動計算部157將所得到的全局運動矢量GM提供給全局運動 矢量計算部158。
全局運動矢量計算部158將全局運動GM應(yīng)用于目標(biāo)塊的坐標(biāo) 4立置(例如，中心4立置)以計算目標(biāo)塊的全局運動矢量GMV。
全局運動矢量計算部158將所計算的全局運動矢量GMV提供 給背景/運動圖像拾取對象判定部150。此外，將來自局部運動矢量 計算部154的局部運動矢量LMV提供給背景/運動圖像拾取對象判 定部150。關(guān)于上述目標(biāo)塊，背景/運動圖像拾取對象判定部150將用于每 個目 一示塊的局部運動矢量LMV與全局運動矢量GMV進(jìn)4于比4交以 判定它們的一致度(即，背景一致度)。在這種情況下，背景/運動 圖像拾取對象判定部150將關(guān)于分別對應(yīng)于局部運動矢量LMV和 全局運動矢量GMV的參考塊的相關(guān)值(即，SAD值)進(jìn)4亍比摔交以 進(jìn)行背景和運動圖像拾取對象的判定。
順便提及，也可以使用通過局部運動矢量計算部154確定的用 于計算全局運動的局部運動矢量LMV和相關(guān)值(即，SAD值)作 為通過背景/運動圖像對象判定部150用于上文所述比較的值。
然而，在這種情況下，局部運動矢量計算部154需要在全局運 動計算部157和全局運動矢量計算部158進(jìn)4亍處理的時間,殳內(nèi){呆留 局部運動矢量和SAD值。在這種情況下，尤其是因為不知道全局 運動矢量GMV對應(yīng)哪個參考矢量，所以需要保留關(guān)于各個目標(biāo)塊 的SAD值表的所有SAD值作為將被保留的那些SAD值。因此， 為了保留局部運動矢量LMV和SAD值需要具有非常大容量的存儲 器。
考慮到這一點，在本實施例中，局部運動矢量計算部154執(zhí)行 局部矢量LMV和SAD值的再計算用于背景/運動圖像拾取對象判 定部150的比較。通過這樣的再計算，局部運動矢量計算部154不 再需要包括用于存儲局部運動矢量LMV和SAD值的存儲器，并且 可以消除存儲器容量的問題。
因此，背景/運動圖像拾取對象判定部150使用再計算的局部運 動矢量LMV和SAD值來確定表示關(guān)于目標(biāo)塊的背景 一致度的命中 率P。在進(jìn)行這種再計算時，背景/運動圖像拾取對象判定部150還 獲取關(guān)于與全局運動矢量GMV —致的參考矢量(即，參考塊位置) 的SAD值。然后，背景/運動圖像拾取對象判定部150使用再計算的局部運動矢量LMV和SAD值來判定目標(biāo)塊是背景部分還是運動 圖像拾取對象部分。
背景/運動圖像拾取對象判定部150將關(guān)于對應(yīng)于全局運動矢 量GMV的參考塊的SAD值(其與關(guān)于對應(yīng)于局部運動矢量LMV 的參考塊的SAD值進(jìn)行比較)校正為反映圖像噪聲量的值。
圖像噪聲通常具有對應(yīng)于圖像亮度值的值。因此，在本實施例 中，來自對比度計算部159的最大亮度值檢測部1592的最大亮度 值MaxTAR和來自最小亮度值4企測部1593的最小亮度值MinTAR 被提供給背景/運動圖像拾取對象判定部150。
背景/運動圖像拾取對象判定部150檢測圖像的亮度值作為最 大亮度值MaxTAR與最小亮度值MinTAR之間的差，并響應(yīng)于所抬r 測的亮度值確定關(guān)于對應(yīng)于全局運動矢量GMV的參考塊的SAD值 的校正值。
然后，背景/運動圖4象拾取對象判定部150將所+之正的相關(guān)值與 關(guān)于對應(yīng)于全局運動矢量GMV的參考塊的所述校正值進(jìn)行比較。 然后，背景/運動圖像拾取對象判定部150判定關(guān)于對應(yīng)于全局運動 矢量GMV的參考塊的SAD值的校正值是否小于(即，相關(guān)值是否 大于)關(guān)于對應(yīng)于局部運動矢量LMV的參考塊的SAD值的校正值。 當(dāng)前者較低時，背景/運動圖像拾取對象判定部150評估并判定目標(biāo) 塊為背景部分。
當(dāng)命中率P具有目標(biāo)塊可被認(rèn)為是背景部分的這樣的值時，背 景/運動圖像拾取對象判定部150輸出全局運動矢量GMV作為經(jīng)過 降噪處理的運動矢量MVnr。在任何其他情況下，背景/運動圖像拾 耳又對象判定部150 $俞出局部運動矢量LMV作為關(guān)于目標(biāo)塊的降噪: 處玉里的運動矢量MVnr。如上所述，將來自背景/運動圖像拾取對象判定部150的降噪處 理的運動矢量MVnr^是供給運動補(bǔ)償圖片生成部16。
運動補(bǔ)償圖片生成部16對通過運動矢量計算部15傳送至其的 用于參考幀的圖像數(shù)據(jù)REFv的降噪處理運動矢量MVnr施加變換 處理，以生成運動補(bǔ)償圖像的數(shù)據(jù)MCv。然后，將所生成的運動補(bǔ) 償圖像的數(shù)據(jù)MCv提供給加法部17。
此外，背景/運動圖像拾取對象判定部150將所確定的命中率(3 提供給相加率計算部21。相加率計算部21基于命中率(3計算對應(yīng)于 目標(biāo)圖像的運動補(bǔ)償圖像的相加率oc。
在這種情況下，可以以塊為單位或以^象素為單位計算相加率a。 即使在以像素為單位計算相加率a的情況下，也由于是以塊為單位 計算命中率p,所以命中率p自然以塊為單位參與相加率的計算。
在以塊為單位計算相加率a的情況下，也可以〗又響應(yīng)于命中率|3 來計算相加率a。自然，可以通過考慮除命中率P以外的其他相加率 計算因素來計算相加率a。
在本實施例中，相加率計算部21以^象素為單位確定相加率a。 為此，將目標(biāo)圖像的數(shù)據(jù)TGv與運動補(bǔ)償圖像的數(shù)據(jù)MCv提供給 相加率計算部21。
在本實施例中，相加率計算部21 -使用目標(biāo)圖^象的〗象素與運動 補(bǔ)償圖像的像素之間的差值的絕對值(即，像素差絕對值)、目標(biāo) 圖像的像素平均值與運動補(bǔ)償圖像的像素平均值之間的差值的絕 對值(即，平均量差絕對值)、目標(biāo)圖像的方差差值絕對值以及命 中率p來確定相加率a。例如，作為像素平均值，確定受關(guān)注的像素(即，像素本身) 附近的九個像素的平均值。作為方差差值絕對值，確定受關(guān)注的像 素(即，像素自身)與鄰近像素之間的差值的方差值的絕對值。
由相加率計算部21確定的相加率a被提供給加法部17。加法 部17使運動補(bǔ)償圖像的數(shù)據(jù)MCv以相加率a與傳送給其的目標(biāo)圖 像的圖像數(shù)據(jù)TGv相加。
在本實施例中，加法部17以對應(yīng)于目標(biāo)塊的背景一致度(即， 命中率P)的相加率將目標(biāo)圖像與運動補(bǔ)償圖像進(jìn)行疊加。換言之， 在靜止圖片部分，運動補(bǔ)償圖像與目標(biāo)圖像的相加率較高，而在運 動圖像拾取對象部分，運動補(bǔ)償圖像與目標(biāo)圖像的相加率較低。
以這種方式，在本實施例中，可以利用各個適當(dāng)?shù)南嗉勇?，?背景部分和運動圖像拾取對象部分處執(zhí)行圖像的疊加。因此，通過 圖像疊加獲得了良好的降噪圖像。
此外，由于乂人具有高可靠性的那些局部運動矢量LMV中生成 在本實施例中^f吏用的全局運動和全局運動矢量GMV,所以它們是 高精確度的運動矢量。此外，關(guān)于這點，可獲得良好的降噪圖像。
用于降噪生成的一4史處理的流程
圖18示出了從進(jìn)入圖像存儲器4的拾取圖像中生成降噪圖像
的處理流程。
首先在步駛《S1，在運動矢量計算部15中，局部運動矢量計算 部154通過塊匹配4丸行局部運動矢量LMV的才企測。然后，在步驟 S2中，運動矢量可靠性指標(biāo)值計算部156 4吏用通過局部運動矢量計 算部154計算的SAD值的第一極小值MinSAD和第二極小值 Btm2SAD計算所4企測的局部運動矢量LMV的可靠性的指標(biāo)^直Ft。然后，在步驟S3，全局運動計算部157基于所計算的可靠性指 標(biāo)值Ftl是耳又高可靠性的局部運動矢量LMV。然后，全局運動計算 部157 ^U吏用所才是取的高可靠性的局部運動矢量LMV來計算全局 運動GM。
然后，在步驟S4，全局運動矢量計算部158使用在步驟S3中 計算出的全局運動GM來計算每個目標(biāo)塊的全局運動矢量GMV。
然后，在步-驟S5，局部運動矢量計算部154進(jìn)4于塊再匹配處理 以重新才企測所述局部運動矢量LMV。然后，局部運動矢量計算部 154存儲在從中檢測到局部運動矢量LMV的參考塊的位置(即， 參考矢量)處的SAD值(即，第一極小值MinSAD)。此外，局部 運動矢量計算部154還存儲了關(guān)于對應(yīng)于在步驟S4中計算出的全 局運動矢量GMV的參考塊的SAD值。注意，此時，沒有必要計算 局部運動矢量LMV的可靠性的指標(biāo)Y直Ft。
然后，在步驟S6，背景/運動圖像拾取對象判定部150將在步 驟S5中計算的局部運動矢量LMV與在步驟S4中確定的全局運動 矢量GMV進(jìn)行比專交，以評估關(guān)于每個目標(biāo)塊的背景一致度乂人而確 定命中率P。然后，背景/運動圖像拾取對象判定部150確定關(guān)于每 個目標(biāo)》夾的降，喿處J里運動矢量MVnr,并爿尋降p喿處J里運動矢量MVnr 輸出給運動補(bǔ)償圖片生成部16。
在步驟S6的局部運動矢量LMV與全局運動矢量GMV之間的 比專交中，將關(guān)于對應(yīng)于局部運動矢量LMV的參考塊的SAD值與關(guān) 于對應(yīng)于全局運動矢量GMV的參考塊的SAD值進(jìn)行比較。此外， 對于關(guān)于對應(yīng)于全局運動矢量GMV的參考塊的SAD^直，基于上述 圖像噪聲應(yīng)用4交正。然后，在步驟S7,運動補(bǔ)償圖片生成部16使用在步驟S6中確 定的降噪處理運動矢量MVnr來生成用于每個參考塊的運動補(bǔ)償圖 -像，并將所生成的運動補(bǔ)償圖^象輸出癥合加法部17。
然后，在本實施例中，在步驟S8，相加率計算部21 4吏用在步 -驟S6中確定的命中率P以計算用于每個4象素的相加率a，并4尋所計 算的相加率a提供給加法部17。
然后，在步驟S9，加法部17以在步驟S8中計算的相加率a將 在步驟S7中生成的運動補(bǔ)償圖^f象疊加在各個^象素的目標(biāo)圖l象上以 生成降噪圖〗象。降噪處理由此結(jié)束。
注意，圖18示出了一個特定目標(biāo)幀的處理操作。在疊加大于 等于3的多個圖像的情況下，將由兩個圖像生成的降噪圖像設(shè)為目 標(biāo)幀，而將最新疊加的圖傳^殳為參考幀，以重復(fù)圖18的處理。
現(xiàn)在，將進(jìn)一步描述運動矢量計算部15的主要部件的詳細(xì)處
理操作。
局部運動矢量計算部154的處理^喿作
在本實施例中，為了檢測SAD值的極小值，局部運動矢量計 算部154將關(guān)于關(guān)注像素或像素自身的差值與關(guān)于關(guān)注像素周圍的 像素的差值進(jìn)行比較。具體地，局部運動矢量計算部154將位置Po 確定為判定對象點或^象素，并比4交判定對象點位置Po處的SAD值 與接近判定對象點位置Po和在其周圍(由圖19中的虛線框包圍) 的8個SAD值。然后，局部運動矢量計算部154從由虛線框包圍 的區(qū)域中的9個SAD值中判定判定對象點的SAD值是否為最小值 (下文中稱為局部極小值)。然后，如果判定對象點的SAD值被確定為局部極小值，則局 部運動矢量計算部154將判定對象點的SAD值與目前所存^f諸的 SAD值的極小值進(jìn)行比較。然后，如果局部運動矢量計算部154判 定判定對象點的SAD值小于目前所存儲的SAD值的極小值，則用 新才金測到的局部最小SAD值來更新存^f諸于其中的SAD值的才及小 值。
作為上述的用于檢測這種局部極小SAD值的配置，局部運動 矢量計算部154被設(shè)計曾減小用于存儲SAD值的SAD存儲器的緩 沖存儲器的規(guī)模。具體地，當(dāng)局部運動矢量計算部154以一個像素 為單位搜索參考塊時，如圖19所示，準(zhǔn)備能夠存儲水平方向上目 標(biāo)塊尺寸的兩條線的SAD值+三個SAD值的緩沖存儲器作為用于 存儲SAD值的SAD表的緩沖存儲器。
乂人圖19可以看出，如果將水平方向上目標(biāo)塊尺寸的兩4亍的 SAD值+三個SAD值寫入緩沖存儲器，則可以判定處于判定對象 點位置Po的局部^ L小值。
為了使緩沖存儲器的尺寸最小化，如圖19所示，新輸入的SAD 值:帔重寫在已存々者了舊SAD值但已不再用于才及小值評估或局部4 L 小值檢測的存儲器位置Pa處。具體地，雖然新輸入的SAD值按順 序被寫入如19所示的存儲器位置Pb,但不是存儲器位置Pb而是重 寫利用不再使用的存儲器位置Pa來抑制存儲器硬件規(guī)模的增加。
注意，局部運動矢量計算部154除了用于檢測局部極小值的緩 沖器外還包括上文所述的第一極小值存儲單元1541和第二極小值 存儲單元1542。
上述的這一系列處理是基本的處理，并將該基本處理應(yīng)用于第 一極小值和第二極小值以檢測SAD值的最小值和SAD值的第二極小值。在本實施例中，局部運動矢量計算部154對縮小面、中間面和 基底面執(zhí)行相同的操作，但其在基底面上檢測局部運動矢量LMV 并計算局部運動矢量LMV的可靠性指標(biāo)4直。因此，一f叉對基底面需 要SAD值的第二極小值，并且可以省略縮小面和中間面上的SAD 值的第二極小值的計算與存儲。
圖20示出了局部運動矢量計算部154進(jìn)行的第一極小值和第 二極小值的檢測處理操作的流程圖。
參照圖20，在步驟SIOI,首先，局部運動矢量計算部154 乂人 匹配處理部153取得SAD值。然后，在步驟S102，局部運動矢量 計算部154將處于判定對象點位置Po處的SAD值與判定對象點位 置Po周圍位置處的8個SAD值進(jìn)行比較。然后，在步驟S103中， 局部運動矢量計算部154基于比4交結(jié)果判定判定對象點位置Po處 的SAD值是否為局部極小值。
如果在步驟S103中判定處于判定對象點位置Po處的SAD值 不是局部極小值，則處理返回至步驟SIOI以執(zhí)行接下來的SAD值
的獲取。
另一方面，如果在步驟S103中判定處于判定對象點位置Po處 的SAD值是局部極小值，則在步驟S104中，局部運動矢量計算部 154將存儲在其中的SAD值的第 一極小值和第二極小值與處于判定 對象點位置Po處的SAD值進(jìn)行比較。
然后，在步驟S105，局部運動矢量計算部154判定處于判定對 象點位置Po處的SAD值是否小于存儲在其中的SAD值的第一極 小值。然后，如果判定處于判定對象點位置Po處的SAD值較低， 則在步驟S106中，局部運動矢量計算部154用存儲在第一極小值 存4渚單元1541中的SAD值更新第二才及小值存4諸單元1542并將處于判定對象點位置Po處的SAD值存儲在第一極小值存儲單元1541中。
然后，在步驟S109中，局部運動矢量計算部154判定是否利 用目標(biāo)塊完成了關(guān)于所有參考塊的SAD值的計算處理。如果判定 計算處理還沒有完成，則處理返回至步驟S101,以獲取4妄下來的 SAD值。另一方面，如果在步驟S109中判定利用目標(biāo)塊完成了關(guān) 于所有參考塊的SAD值的計算處理，則局部運動矢量計算部154 結(jié)束處理程序。
另一方面，如果在步驟S105中判定處于判定對象點位置Po處 的SAD值大于等于存儲在其中的SAD值的第一極小值，則在步驟 S107中，局部運動矢量計算部154判定處于判定對象點位置Po處 的SAD值是否小于存儲在其中的SAD值的第二極小值。如果判定 處于判定對象點位置Po處的SAD值較低，則在步驟S108中，局 部運動矢量計算部154用處于判定對象點位置Po處的SAD值更新 存l諸在第二極小值存儲單元1542中的SAD值。
處理乂人步驟S108前進(jìn)至步驟S109,局部運動矢量計算部154 判定是否完成了關(guān)于所有參考塊的SAD值的計算處理。如果判定 計算處理還沒有完成，則處理返回至步驟S101,以取^f^接下來的 SAD值。另一方面，如果在步驟S109中判定針對目標(biāo)塊完成了關(guān) 于所有參考塊的SAD值的計算處理，則結(jié)束處理程序。
另一方面，如果在步驟S107中判定處于判定對象點位置Po處 的SAD值不小于存儲在其中的SAD值的第二極小值，則處理前進(jìn) 至步驟S109。在步驟S109中，局部運動矢量計算部154判定是否 針對目標(biāo)塊完成了關(guān)于所有參考塊的SAD值的計算處理。如果在步驟S109中判定關(guān)于所有參考塊的SAD值的計算處理 還沒有完成，則處理返回至步驟SlOl，以取得接下來的SAD值。 另一方面，如果在步驟S109中判定4t對目標(biāo)塊完成了關(guān)于所有參 考塊的SAD值的計算處理，則結(jié)束處理程序。
圖20所示的處理流程圖可類似地應(yīng)用于縮小面、中間面和基 底面。在這種情況下，對于縮小面和中間面，最終存々者在第一才及小 值存儲單元1541中的SAD值被J企測為SAD值的最小值MinSAD， 并且對應(yīng)的參考矢量祐j企測分別作為縮小面運動矢量MVs和中間 面運動矢量MVm。然后，輸出最小值MinSAD以及縮小面運動矢 量MVs和中間面運動矢量MVm。
另一方面，對于基底面，最終存儲在第一極小值存儲單元1541 中的SAD值被才企測為SAD值的最小值MinSAD,并且對應(yīng)的參考 矢量被檢測為基底面運動矢量MVb。然后，輸出SAD值的最小值 MinSAD和基底面運動矢量MVb。此夕卜，對于基底面，最終存儲在 第一極小值存儲單元1541中的SAD值(即，最小值MinSAD )以 及最終存儲在第二極小值存儲單元1542中的SAD值(即，SAD值 的第二極小值)被提供給運動矢量可靠性指標(biāo)值計算部156。
全局運動計算部157的處理操作
<擴(kuò)展仿射變換>
在本實施例中，乂人大量的局部運動矢量LMV計算或估計全局 運動。然后，才艮據(jù)所計算的全局運動，計算全局運動矢量GMV或 估計全局運動矢量GMV。在這種情況下，4吏用通過仿射變換表示 全局運動的方法。然而，普通的仿射變換具有不適于"傾斜失真"的缺點。"傾 斜失真"是由相機(jī)抖動的俯仰軸(即，垂直方向上的軸)或偏轉(zhuǎn)軸 (即，與垂直方向垂直的水平方向上的軸)的旋轉(zhuǎn)分量引起的現(xiàn)象。
通過"傾斜失真"，如圖21A和圖21B所示，準(zhǔn)確面乂于狀態(tài)的矩形 平面變形為梯形，因此，也被稱為梯形失真或畸變。
具體地，當(dāng)相機(jī)CAM準(zhǔn)確面對圖像才合取對象OBJ以如圖21A 的下側(cè)所示使相才幾CAM的光軸Lz垂直地擴(kuò)展至圖像拾取對象OBJ 的矩形平面時，圖像拾取對象OBJ的矩形平面的拾取圖像直接呈現(xiàn) 如圖21A上側(cè)所示的矩形形習(xí)犬。
另一方面，例如，如圖21B的下側(cè)所示，如果相才幾CAM的光 軸Lz經(jīng)受了俯仰軸旋轉(zhuǎn)(即，豎直平面上的旋轉(zhuǎn))角度e而沒有 準(zhǔn)確面對圖像拾取對象OBJ,則圖像拾取對象OBJ的矩形平面的拾 耳又圖像呈現(xiàn)出梯形形狀，其中，如圖21B的上側(cè)所示，圖^f象的左向 和右向(即，水平方向)上的長度響應(yīng)于角度e角而線性變化。
注意，雖然未示出，但是如果相才/L CAM的光軸Lz并未準(zhǔn)確面 對圖像拾取對象OBJ而是經(jīng)受偏轉(zhuǎn)軸旋轉(zhuǎn)(即，水平平面內(nèi)的旋轉(zhuǎn)) 角度e，則圖像拾取對象OBJ的矩形平面的拾取圖像呈現(xiàn)出梯形形 狀，其中，圖像的向上和向下方向(即，圖像的豎直方向)的長度
響應(yīng)于角度e角線性變化。
用于將通過相機(jī)抖動以上述扭曲形式拾取的圖像恢復(fù)為準(zhǔn)確 面對狀態(tài)的原始形狀的圖像的方法是"傾斜失真，，校正或梯形校正。 然而，這種4交正并不能用上述仿射變換的參it來表示。具體地，如
果需要執(zhí)行將圖21B所示的"傾斜扭曲的"梯形圖像恢復(fù)為矩形圖 像的這種"傾斜失真"校正，則圖像沿垂直軸或y軸的上部應(yīng)該被 水平收縮而圖像的下部應(yīng)被水平擴(kuò)展。但是，對于仿射變換的參數(shù)， 參與水平擴(kuò)展或收縮的參數(shù)為a，并且由于參數(shù)a為固定值，仿射 變換并不適于上述的纟交正。為了避免剛剛描述的這個問題，已經(jīng)提出了利用正交投影變換
來代替仿射變換。正交投影變換由圖22所示的(表達(dá)式8)表示， 并且可以表示乂人三維空間中的4壬意平面到另 一個平面的4殳影變才奐。
然而，難以將正交投影變換應(yīng)用于這里假設(shè)的從大量矢量中指 定一個全局運動的情況。這是因為難以才艮據(jù)圖22的(表達(dá)式8)的 形狀使用最小二乘法，并且在使用一些其他技術(shù)的情況下，還需要
大量的數(shù)學(xué)運算。
作為現(xiàn)實的問題，因為實際的圖傳^合取對象是三維對象，所以 觀察的局部運動矢量包括大量距離互不相同的圖像拾取部分。在這 種情況下，正交投影變換的應(yīng)用只能是近似的。因此，如果考慮到 需要非常高的成本來獲得對正交投影變換的通解，則正交投影變換
并不能作為降低成本的對策看起來是合理的決定。
為了更加簡單;也應(yīng)用正交才殳影變4灸，可以采用相對于6個矢量 確定解的方法。這是因為，由于必須確定12個參凄欠，所以如果K 入6個矢量的坐標(biāo)，則生成具有6個未知凄t的6x2的一階方禾呈式， 可以通過6x2矩陣的逆矩陣計算而比較容易地得出解。因此，需 要從大量的局部矢量中適當(dāng)?shù)剡x擇6個矢量。
然而，如果考慮到運動圖像拾取對象包括在拾取圖像中的情 況，則由于不能期望每一個局部矢量都相當(dāng)準(zhǔn)確，所以難以從大量 的局部運動矢量中僅提取具有高精確度的那些矢量。因此，難以從 大量的局部運動矢量中適當(dāng)?shù)剡x擇6個矢量。
考慮到上述情況，本實施例使用了即使圖像經(jīng)受"傾斜失真" 仍可以順利地4企測全局運動的才支術(shù)。具體地，在本實施例中，4吏用上面參照圖21A描述的現(xiàn)有普通 仿射變換的修改形式。剛剛描述的普通仿射變換的修改形式在下文 中被稱為擴(kuò)展仿射變換。
現(xiàn)在，嘗試執(zhí)行將由圖23中實線表示"傾斜扭曲"的梯形圖 像恢復(fù)為由圖23中虛線表示的矩形圖像的"傾斜失真"校正。在 這種情況下，梯形圖4象的上半部分應(yīng)沿垂直軸，即，由箭頭標(biāo)記表 示的y軸水平地減小，而梯形圖像的下半部分應(yīng)水平擴(kuò)展。
在普通的仿射變換中，在仿射變換的參數(shù)a、 b、 c、 d、 e和f 中，與水平擴(kuò)展和收縮有關(guān)的參數(shù)是a。由于參數(shù)a具有固定值， 所以普通仿射變換并不適于"傾斜失真，，校正。
因此，如果將參數(shù)a重寫為qO.y+ rO以使其值可如圖23的下 部所示沿y軸變化，則仿射變換變?yōu)樗椒较蛏系臄U(kuò)展或收縮比響 應(yīng)于垂直軸而線性變化。換句話i兌，參凄ta纟皮替換為用于"傾斜失 真，，4交正的y軸的變量y的函凄t。這里，對于圖23中的"傾殺牛失 真，，校正，參數(shù)a可以是線性函數(shù)，即，函數(shù)q0.y + rO。
雖然圖23中的仿射變換考慮到通過旋轉(zhuǎn)上述俯仰軸進(jìn)行"傾 斜失真"的校正，但是還需要考慮到通過旋轉(zhuǎn)偏轉(zhuǎn)軸進(jìn)行"傾斜失 真，，的4交正以及通過俯仰軸和偏轉(zhuǎn)軸的合成旋轉(zhuǎn)進(jìn)4于"傾斜失真" 的校正。
因此，在本實施例中，擴(kuò)展了上面參照圖23描述的相克念。具 體地，為了使仿射變換允許在垂直于任意軸的方向上沿該軸擴(kuò)展或 收縮，參凄欠a、 b、 d和e由圖24的(表達(dá)式9 )表示的pn.x + qn.y + m (n = 0, 1， 2， 3 )所取代。這里，在仿射參tta、 b、 d和e參與圖^f象變換的同時，仿射參 凄史c和f分別參與沿向左或向右方向以及向上或向下方向l扁移。因 此，仿射參數(shù)c和f并不能被替換為函數(shù)。
在仿射參數(shù)a、 b、 d和e如(表達(dá)式9 )表示的情況下，涉及 14個參數(shù)，并且擴(kuò)展仿射變換看起來復(fù)雜程度非常高。然而，如果 (表達(dá)式9)被展開并整理，則其具有使用總共12個參數(shù)的圖25 所示的(表達(dá)式IO)的形式。
如果使用擴(kuò)展仿射變換的這種表達(dá)式，則經(jīng)過表達(dá)式很復(fù)雜， ^f旦是仍可以通過最小二乘法p舉一i也:惟出多個局部運動矢量的解。由 于該技術(shù)與仿射變換相同，所以分別如圖26~圖30中的(表達(dá)式 11) ~ (表達(dá)式15)給出最終結(jié)果。
注意，在本實施例中，雖然參與圖像變換的所有仿射參數(shù)a、 b、 d和e都被替換為函數(shù)，但是如果圖像變換只出現(xiàn)在特定方向，則 僅關(guān)于該方向的參數(shù)才被替換為函數(shù)。例如，為了僅考慮圖23的 上側(cè)所示的變換，如圖23的下側(cè)所示，僅參數(shù)a應(yīng)用函數(shù)替換。
此外，在上述實例中，雖然由于^^殳線性變形而4吏用于替換的 函數(shù)是線性函數(shù)，但如果假設(shè)曲線是線性的，則函數(shù)可以是二次或
高階函凄史。
<使用擴(kuò)展的仿射變換計算全局運動>
作為用于從未指定的大量矢量中推導(dǎo)出最優(yōu)全局運動的技術(shù)， 本實施例4吏用了在圖31和圖32的流程圖中示出的方法。4艮據(jù)該方 法，當(dāng)不太可能符合全局運動的塊的那些運動矢量(例如，運動圖 像拾取對象)逐步從具有高可靠性的塊中排除時，最小二乘法被用 于l吏全局運動收斂。根據(jù)圖31和圖32的處理，釆用擴(kuò)展仿射變換以使得可以從許 多低矢量精確度的局部運動矢量中排除運動圖像拾取對象等的誤 差矢量，同時在實際的數(shù)學(xué)運算成本下推導(dǎo)包含"傾斜失真"的最 佳全局運動。
順便提及，由于本實施例中的擴(kuò)展仿射變換涉及到許多變換參 數(shù)并且是可變通的，所以存在全局運動的收斂數(shù)學(xué)運算還可適于運 動圖像拾取對象的誤差運動矢量或噪聲的可能性，這就不能排除這 種誤差運動矢量。
因此，在本實施例中，在收^L數(shù)學(xué)運算循環(huán)的初始階^T殳，^使用 普通仿射變換排除誤差運動矢量(下文中稱為誤差矢量)，此后， 如圖31和圖32所示，執(zhí)行使用擴(kuò)展仿射變換的收斂數(shù)學(xué)運算。這 是因為，期望使用在矢量誤差降到通過使用普通仿射變換不能排除 這種傾斜失真因子的程度之后嘗試使高精確度收斂同樣可適于使 用擴(kuò)展仿射變換的傾斜失真因子的技術(shù)。
此外，在本實施例中，4企測矢量誤差的最高值作為在收斂數(shù)學(xué) 運算的每個周期確定的全局運動GM中確定的運動矢量(即，全局 運動矢量)與所4企測運動矢量(即，上述的所檢測的局部運動矢量 LMV)的差。
然后，如果所檢測的矢量誤差的最高值大于預(yù)先確定的閾值， 則繼續(xù)普通的仿射變換，但是如果所檢測的矢量誤差最高值小于或 等于預(yù)定閾值，則執(zhí)行使用擴(kuò)展仿射變換的收斂數(shù)學(xué)運算。
現(xiàn)在，將詳細(xì)描述圖31和圖32的方法。
首先，在步驟S201中，全局運動計算部157將存儲在其中的 多個局部運動矢量LMV的運動矢量可靠性指標(biāo)值與預(yù)先確定的閾值進(jìn)行比較。然后，根據(jù)比較結(jié)果，全局運動計算部157僅選擇運 動矢量LMV可靠性指標(biāo)值Ft大于預(yù)定閾值的目標(biāo)塊。剛剛提及的 這些目標(biāo)塊在下文中被簡稱為塊。所描述的處理對應(yīng)于參照上面給 出的(表達(dá)式7 )所描述的1和0兩個值被用作權(quán)重系數(shù)W的情況。
然后，在步驟S202中，全局運動計算部157判定是否是第一 次沖丸行收斂凄t學(xué)運算的收斂循環(huán)。如果判定收斂循環(huán)為第 一次#丸 行，則在步驟S203中，全局運動計算部157僅使用所選塊的局部 運動矢量LMV以及〗吏用普通仿射變換來4,導(dǎo)或估算全局運動GM。 換言之，全局運動計算部157推導(dǎo)全局運動GM的仿射參lt a ~ f。
然后，在步驟S206中，全局運動計算部157基于所推導(dǎo)的全 局運動GM來計算用于凄t學(xué)運算的所選塊的理i侖局部運動矢量 LMVs。
然后，在步驟S207中，全局運動計算部157對每一個所選塊 計算由塊匹配處理確定的局部運動矢量LMV與在步驟S206中確定 的理論局部運動矢量LMVs之間的誤差En。
對于由塊匹配確定的局部運動矢量與理i侖局部運動矢量之間 的誤差計算，如果重點在于數(shù)學(xué)運算的精確度，則應(yīng)利用勾股定理 正確地沖丸行距離計算。然而，如果重點在于減少凄t學(xué)運算而非津奇確 度，則可以將水平和垂直方向上兩個運動矢量之間確定的距離和用 作近似距離。
然后，在步驟S208中，全局運動計算部157使用為所選塊確 定的所有誤差En來計算平均值Eave和誤差En的最大值Emax。然 后，在步驟S209中，全局運動計算部157判定平均值Eave是否小 于預(yù)先確定的閾值ea以及最大值Emax是否小于預(yù)先確定的閾值eb。如果作為圖32中步驟S209的判定結(jié)果判定并不滿足這些條 件，則處理前進(jìn)到步驟S211,其中，全局運動計算部157/人用于推 導(dǎo)全局運動的塊中排除在步驟S207中確定的塊的誤差En中"i吳差 En滿足En-Emax的一個塊。或者，在步驟S211中，全局運動計 算部157檢測誤差En滿足En20b的那些塊并從用于推導(dǎo)全局運動 GM的塊中排除所有才企測出的塊。
然后，在步-驟S212,全局運動計算部157判定作為步驟S211 中的塊排除結(jié)果的剩余塊數(shù)是否小于預(yù)先確定的閾值0c。如果在步 驟S212中判定剩余塊凄t不小于閾值0c，則處理返回到步驟S212, 以將剩余塊設(shè)置為所選塊來重復(fù)從步驟S202開始的步驟的處理。
如果剩余塊數(shù)小于閾值0c，則由于無法獲得適當(dāng)?shù)娜诌\動 GM，所以對象參考幀的圖像不能用于與本實施例中的圖像進(jìn)行重 疊。因此，如果在步驟S212中判定剩余塊凄t小于閾值0c，則在步 驟S213中，全局運動計算部157浪匕過后面用于參考幀的所有處理。 由此，全局運動計算部157結(jié)束圖31和圖32的處理。
另一方面，如果在步驟S202中判定不是第一次執(zhí)行收斂數(shù)學(xué) 運算的收斂循環(huán)，則全局運動計算部157在步驟S204中判定在步 驟S208中確定的塊的誤差En的最大值Emax是否大于預(yù)先確定的 閾值9d。
將閾值0d選擇為以下值當(dāng)普通仿射變換被用于執(zhí)行全局運 動GM的數(shù)學(xué)運算并以上述步驟S211的這種方式排除矢量誤差時， 不會排除傾斜失真分量的矢量。
如果在步驟S204中判定誤差En的最大值Emax大于預(yù)定閾值 ed,則全局運動計算部157前進(jìn)至步驟S203的處理，其中，其使 用普通仿射變換來推導(dǎo)全局運動GM。換言之，全局運動計算部157
70計算用于擴(kuò)展仿射變換的參數(shù)。此后，全局運動計算部157重復(fù)地 執(zhí)行從上述步驟S203開始的步驟的處理。
如果在步驟S204中判定誤差En的最大值Emax小于或等于預(yù) 定閾值0d，則全局運動計算部157在步驟S205中僅使用所選塊的 局部運動矢量LMV以及使用擴(kuò)展仿射變換來推導(dǎo)全局運動。在步 驟S205的處理之后，執(zhí)行以步驟S206開始的步驟的處理。
然后，如果在圖31的步驟S209中確定誤差En的平均值Eave 小于閾值9a且誤差En的最大值Emax小于閾值eb，則在步驟S210 中，全局運動計算部157判定數(shù)學(xué)運算收斂，并最終確定該時間點 的全局運動GM,此后結(jié)束處理程序。
注意，步驟S211中是否應(yīng)該僅排除誤差En為最大誤差值Emax 的塊還是應(yīng)該排除誤差En等于或大于閾值0b的塊可以基于當(dāng)確定 全局運動矢量GMV時的收斂的快捷性和精確度之間的平衡來確 定。如果精確度優(yōu)先，則應(yīng)該采用前一種方法來逐個地排除誤差塊， 但如果快捷性優(yōu)先，則應(yīng)該采用后一種方法。
注意，在上述處理程序的步驟S204中，誤差En的最大誤差值 Emax被用于判定使用普通仿射變換的數(shù)學(xué)運算和使用擴(kuò)展仿射變 換的數(shù)學(xué)運算之間的轉(zhuǎn)換。然而，可以不4又考慮到誤差En的最大 誤差值Emax還考慮到誤差En的平均值Eave來執(zhí)4亍步驟S204中 的轉(zhuǎn)換判定。
在這種情況下，在步驟S204中，判定誤差En的平均值Eave 是否大于預(yù)先確定的閾值，如果平均值Eave大于閾值，則使用普 通仿射變換執(zhí)行數(shù)學(xué)運算。然而，如果平均值Eave小于或等于闊 值，則使用擴(kuò)展仿射變換執(zhí)行數(shù)學(xué)運算?；蛘?，可以在步驟S204中判定誤差En的最大值Emax和平均 值Eave是否大于各個預(yù)先確定的閾值。在這種情況下，如果確定 它們都大于各個閾值，則可以使用普通仿射變換來執(zhí)行數(shù)學(xué)運算。 然而，如果確定它們都不大于各個閾值，則可以使用擴(kuò)展仿射變換 來執(zhí)行數(shù)學(xué)運算。
注意，因為類似于可以從光學(xué)變焦率或i殳置形狀中識別出相枳i 抖動4交正范圍的事實，可以從最大的相扭4牛動量中獲得傾殺+失真分 量的最大值，所以閾值的識別相對來說是比較容易的。
全局運動計算部157基于以上述方式計算的全局運動GM來計 算每個目標(biāo)塊的全局運動矢量GMV。具體地，全局運動計算部157 使用用于所計算的全局運動GM的擴(kuò)展仿射變換的參凄t a~ 1 (參見 圖25)以根據(jù)圖25的(表達(dá)式IO)來確定每個目標(biāo)塊的運動矢量， 其對應(yīng)于理論局部運動矢量LMVs。對于圖25的(表達(dá)式10)中 的x和y，使用每個目標(biāo)塊中心位置的坐標(biāo)。以這種方式確定的運 動矢量變?yōu)槊總€目標(biāo)塊的全局運動矢量GMV。
然后，以上述這種方式確定的目標(biāo)塊的全局運動矢量GMV凈皮 才是供給運動補(bǔ)償圖片生成部16。然后，運動補(bǔ)償圖片生成部16 <吏 用目標(biāo)塊的全局運動矢量GMV來生成目標(biāo)塊的運動補(bǔ)償圖片，并 將生成的運動補(bǔ)償圖片提供給加法部17。
圖33示出了本實施例中從圖12包括許多噪聲的圖像中確定的 目標(biāo)塊的全局運動矢量。在圖33中，每個目標(biāo)塊的全局運動矢量 由空白的箭頭標(biāo)記表示。
背景/運動圖像拾取對象判定部150的配置和處理操作的實例在通過局部運動矢量計算部154進(jìn)行塊的再匹配時，背景/運動 圖像拾取對象判定部150獲取關(guān)于由上述全局運動矢量計算部158 計算的對應(yīng)于全局運動矢量GMV的參考塊的SAD值。然后，背景 /運動圖像拾取對象判定部150響應(yīng)于上述圖像噪聲利用4交正值來 才交正所獲取的SAD值。在本實施例的以下描述中，提供了兩種利 用才交正<直進(jìn)4亍才交正的方法。
<第 一 實例通過偏移相加才交正SAD 4直>
圖34示出了第一實例的概念。在圖34中，橫坐標(biāo)軸表示搜索 范圍，縱坐標(biāo)軸表示SAD的值，以及圖34示出了關(guān)于一個目標(biāo)塊 的SAD表的內(nèi)容，即，SAD值。橫坐標(biāo)軸上的每個值均表示參考 塊位置，即，參考矢量，并且實線曲線表示與圖15非常相似的SAD 表的內(nèi)容。
參見圖34，類似于圖15,通過塊匹配將呈現(xiàn)最小SAD值的參 考塊的4立置或參考矢量501沖企測作為局部運動矢量LMV。同時， 呈現(xiàn)出全局運動矢量GMV的另 一個參考塊的位置是圖34中的位置 503。
此時，如果關(guān)于局部運動矢量LMV的SAD^f直和關(guān)于全局運動 矢量GMV的SAD值保持在與由圖像噪聲所提供量相對應(yīng)的差值范 圍內(nèi)，則存在全局運動矢量GMV可以是表示最小SAD ^直的參考矢 量的可能性。
具體地，盡管作為參考塊的位置的關(guān)于全局運動矢量GMV的 SAD值必須最初為最小SAD值，但考慮到由于噪聲而錯誤地將位 于不同參考塊的SAD值，即，局部運動矢量LMV的SAD4直確定 為最小SAD值。
73因此，在本實施例中，為了校正全局運動矢量GMV，對全局 運動矢量GMV處的SAD 4直添加了與圖傳 乘聲量相對應(yīng)的偏移值 OFS。在本實例中，從全局運動矢量GMV處的SAD值(由 SAD—GMV表示)中減去偏移值OFS以校正SAD值。具體地，在 校正后的SAD值由MinSAD—G表示的情況下，其^皮表示為
MinSAD—G = SAD—GMV - OFS ,..(表達(dá)式16 )
這里，如果偏移值OFS被設(shè)置為非常高的值，則運動圖像拾取 對象的運動矢量也^皮判定為最小SAD ^直。因此，在本實施例中， 偏移值OFS被設(shè)置為小于局部運動矢量的可靠性指標(biāo)值Ft的閾值 th (參見表達(dá)式7)的值。
然后，背景/運動圖像拾取對象判定部150將所校正的SAD值 MinSAD—G與局部運動矢量LMV處的SAD值MinSAD進(jìn)4亍比壽交。 如果比4交結(jié)果表明MinSAD—G<MinSAD,則評估關(guān)于目標(biāo)塊的SAD 值的最小值是關(guān)于與全局運動矢量GMV相對應(yīng)的參考塊的SAD值 的沖交正^直MinSAD—G。圖34示出了滿足MinSAD—G<MinSAD情況 下的SAD表。
具體地，在SAD表為圖34所示的情況下，確定關(guān)于目標(biāo)塊的 真實局部運動矢量與全局運動矢量GMV—致。然后，在這種情況 下，評估與目標(biāo)塊的背景一致度較高同時關(guān)于目標(biāo)塊的命中率p具 有較大的值。然后，關(guān)于目標(biāo)塊的降噪處理運動矢量是全局運動矢 量GMV。
這里，在本實施例中，假定命中率(3為OSP^l范圍內(nèi)的值。 如果局部運動矢量LMV和全局運動矢量GMV彼此完全一致，則 命中率P可,皮確定為(3= 1。然而，在本實施例中，沒有執(zhí)4亍局部運 動矢量LMV和全局運動矢量GMV〗皮此是否完全一致的評估，但>是將4交正的SAD值MinSAD—G與在局部運動矢量LMV處的SAD 值(MinSAD)進(jìn)行比較用于評估。因此，評估結(jié)果不僅包括局部 運動矢量LMV和全局運動矢量GMV 4皮此完全一致的情況，而且 還包括它們并不完全一致的另一種情況。
然后，如下所述，在本實施例中作i i殳如果滿足 MinSAD—G<MinSAD,貝寸命中率p為侈寸^口 |3 = 0.75。這里，^L有4吏 用(3= 1的原因在于上述比4交結(jié)果包4舌如上所述局部運動矢量LMV 和全局運動矢量GMV4皮jt匕并非完全一致的情況。
圖35示出了在第一實例的情況下背景/運動圖像拾取對象判定 部150的配置及其相關(guān)元〗牛的實例。
參照圖35,所示實例的所述背景/運動圖像拾取對象判定部150 包括SAD—GMV才企測部1501,偏移減法部1502，偏移生成部1503 和比豐交判定部1504。
在本實例中，將從匹配處理部153進(jìn)行塊再匹配時計算的參考 塊的SAD值和位置信息(即，參考矢量的信息)提供給局部運動 矢量計算部154。局部運動矢量計算部154檢測塊再匹配時的最小 SAD^直MinSAD，并計算局部運動矢量LMV,即，參考塊的4立置 信息或參考矢量的信息。然后，局部運動矢量計算部154將局部運 動矢量LMV和通過塊再匹配處理獲得的SAD值的最小值MinSAD 提供給比較判定部1504。
將從匹配處理部153進(jìn)行塊再匹配時計算的參考塊的SAD值 和位置信息(即，參考矢量的信息)還提供給SAD一GMV檢測部 1501。 SAD—GMV 4企測部1501沖企測關(guān)于與全局運動矢量GMV — 致的參考矢量的參考塊的SAD值SAD_GMV,并將所檢測的SAD 值SAD GMVl是供給偏移減法部1502。偏移減法部1502將來自SAD—GMV沖企測部1501的SAD值 SAD—GMV中減去來自偏移生成部1503的偏移值OFS以生成4交正 后的SAD值MinSAD—G。然后，偏移減法部1502將生成的才交正后 的SAD值MinSAD—G提供給比較判定部1504。
偏移生成部1503生成對應(yīng)于圖像噪聲的偏移值OFS并將其提 供給偏移減法部1502。由于圖像噪聲呈現(xiàn)出對應(yīng)于圖像亮度值的 值，所以在本實施例中，不同亮度值和不同偏移值OFS之間的對照 表的信息存儲在偏移生成部1503中。
偏移生成部1503計算目標(biāo)塊的亮度值作為來自最大亮度值檢 測部1592的最大亮度值MaxTAR與來自最小亮度值檢測部1593的 最小亮度值MinTAR的差值。然后，偏移生成部1503使用所計算 的目標(biāo)塊的亮度值作為自變量搜索上述對照表，以獲取對應(yīng)于自變 量的亮度值的偏移值OFS。
比專交判定部1504將對應(yīng)于局部運動矢量LMV的最小SAD值 MinSAD與來自偏移減法部1502的4交正后的SAD值MinSAD—G進(jìn)
行比4交，并響應(yīng)于比4交結(jié)果生成并輸出命中率P。
才是供給比4交判定部1504的還有來自局部運動矢量計算部154 的重新計算的局部運動矢量LMV以及來自全局運動矢量計算部 158的全局運動矢量GMV。
然后，如果滿足MinSAD—G<MinSAD，則由于背景一致度較 高，所以比較判定部1504將全局運動矢量GMV作為降噪處理運動 矢量MVnr輸出至運動補(bǔ)償圖片生成部16。另一方面，如果不滿足 MinSAD_G<MinSAD ，則由于背景一致度4交4氐，所以比較判定部 1504將局部運動矢量LMV作為P條噪處理運動矢量MVnr輸出之運 動補(bǔ)償圖片生成部16。注意，用于全局運動矢量GMV的SAD_GMV才企測部1501和 偏移減法部1502可被配置為以使可包括在局部運動矢量計算部154 中。在這種情況下，局部運動矢量計算部154執(zhí)行塊再匹配來檢測 關(guān)于與全局運動矢量GMV相對應(yīng)的參考塊的SAD值SAD_GMV， 并^U于偏移^f直O(jiān)FS的減法H學(xué)運算。
<背景/運動圖像拾取對象判定處理的流程>
參照圖36和圖37具體描述具有圖35配置的通過局部運動矢 量計算部154進(jìn)行的塊再匹配處理以及通過背景/運動圖傳^合耳又對 象判定部150進(jìn)^f于的背景一致度評估處理的流程。通過在控制部155 的控制下的各個部件來執(zhí)行圖36和圖37的處理。注意，圖36和 圖37的處理用于SAD—GMV 4企測部1501和偏移減法部1502 #皮配 置為包4舌在局部運動矢量計算部154中的情況。
首先，在步驟S301中，在控制部155的控制下開始塊再匹配 以在目標(biāo)塊緩沖器部151中設(shè)置第一個目標(biāo)塊。然后，在步驟S302 中，在控制部155的控制下，從在參考塊緩沖器152中緩存的匹配 處理范圍內(nèi)的參考幀的圖像數(shù)據(jù)中設(shè)置用于將被進(jìn)行塊再匹配處 理的參考塊。
然后，在步艱《S303中，匹配處理部153》于所i殳置的目標(biāo)塊和 所i殳置的參考塊4丸4亍塊匹配處理，以計算SAD ^直。然后，匹配處 理部153將確定的SAD值與參考塊的位置信息或參考矢量一起提 供纟合局部運動矢量計算部154。
然后，在步驟S304中，局部運動矢量計算部154判定參考矢 量是否與全局運動矢量GMV —致。這對應(yīng)于SAD—GMV 4企測部
1501的處理#:作。如果在步驟S304中判定參考矢量與全局運動矢量GMV不一 致，則在步驟S305中，局部運動矢量計算部154執(zhí)行最小SAD值 MinSAD和參考塊位置或參考矢量的更新處理。具體地，局部運動 矢量計算部154將至此所存〗諸的最小SAD值MinSAD與新計算的 SAD值進(jìn)行比較，并將較低值存儲作為最小SAD值MinSAD。此 外，局部運動矢量計算部154還更新表示最小SAD卩直的參考塊位 置或參考矢量。
然后，在步驟S308中，控制部155判定搜索范圍內(nèi)的所有參 考塊和目標(biāo)塊的塊匹配是否完成。
然后，如果在步驟S308中判定還沒有完成對:溲索范圍內(nèi)的所 有參考塊的處理，則控制部155在步驟S309中i殳置下一個參考塊。 然后，處理返回至步驟S302來重復(fù)上述/人步驟S302開始的步驟的 處理。
另一方面，如果在步驟S304中判定參考矢量與全局運動矢量 GMV —致，則在步驟S306中，局部運動矢量計算部154從SAD 值SAD一GMV中減去偏移值OFS。然后，在步驟S307中，局部運 動矢量計算部154將減法結(jié)果作為4交正后的SAD值MinSAD—G與 對應(yīng)參考塊位置(即，對應(yīng)參考矢量-全局運動矢量GMV) —起 進(jìn)行存儲。
然后，處理前進(jìn)至步驟S308，其中，控制部155判定是否完成
了搜索范圍內(nèi)的所有參考塊的處理。
然后，如果在步驟S308中判定完成了搜索范圍內(nèi)的所有參考 塊的處理，則局部運動矢量計算部154 4全測局部運動矢量LMV和 最小SAD值MinSAD,并將它們提供給比較判定部1504。在圖37 中的步驟S311中，局部運動矢量計算部154還將沖交正后的SAD值 MinSAD G提供給比較判定部1504。
78然后，在步驟S312中，背景/運動圖像拾取對象判定部150的 比較判定部1504判定最小SAD值MinSAD是否小于預(yù)先確定的閾 值TH1。為了解決上述問題而提供了步驟S312中的處理。
具體地，例如，如果對應(yīng)于目標(biāo)圖^象上的運動圖像4會取對象部 分的塊由于參考圖<象的移動或經(jīng)受嚴(yán)重變形而消失，則發(fā)生才企測不 到搜索范圍內(nèi)的任一參考塊與目標(biāo)塊匹配的情況。
在剛剛所述的這種情況下，SAD表的SAD值為彼此相似的較 高值，以及最小SAD值MinSAD4妾近于其他SAD值。在剛剛所述 的這種情況下，通過,人與全局運動矢量GMV —致的參考矢量的 SAD值中減去偏移值OFS所獲得的才交正后的SAD值MinSAD—G 必定小于最小SAD值MinSAD，并存在將對應(yīng)部分4晉誤4全測為背 景部分的可能性。
因此，為了消除該問題，在本實施例中，校正與全局運動矢量 GMV —致的參考矢量的SAD值，使得在最小SAD值MinSAD大 于閾值TH1的情況下，不4丸行背景一致度的判定處理。
因此，如果在步驟S312中判定最小SAD值MinSAD大于閾值 THl ，則比專交判定部1504不4吏用全局運動矢量GMV執(zhí)4亍背景一致 度的判定，而是在步驟S313中將命中率P設(shè)定為p-0.25。沒有將 命中率(3設(shè)定為p = 0的原因在于考慮到與背景一致的塊可能存在 于呈現(xiàn)出SAD值大于閾值TH1的那些目標(biāo)塊中。
然后，在步驟S314中，比較判定部1504向運動補(bǔ)償圖片生成 部16輸出重寫計算的局部運動矢量LMV作為目標(biāo)塊的降，桑處理運
動矢量。此后，在步驟S320中，控制部155判定是否完成對目標(biāo)幀中 的所有目標(biāo)塊的處理。如果處理還沒有完成，則在步驟S321中， 控制部155設(shè)置下一個目標(biāo)塊。然后，處理返回步驟S302以在控 制部155的控制下重復(fù)^人上述步驟S302開始的步驟的處理。
另一方面，如果在步驟S312中判定最小SAD值MinSAD小于 閾值TH1，則在步驟S315中，比較判定部1504將最小SAD值 MinSAD與4交正后的SAD值MinSAD—G進(jìn)4亍比4交。然后，在步驟 S316中，比專交判定部1504判定是否滿足MinSAD〉MinSAD—G。如 果判定不滿足MinSAD>MinSAD—G,則判定目標(biāo)塊與背景不一致， 并在步驟S317中將命中率p設(shè)定為p-O。
處理/人步驟S317前進(jìn)至步驟S314，其中，比4交判定部1504 向運動補(bǔ)償圖片生成部16l斬出重新計算的局部運動矢量LMV作為 目標(biāo)塊的降噪處理運動矢量。然后，處理前進(jìn)至步驟S320以重復(fù) 乂人上述步驟S320開始的步驟的處理。
另 一方面，如果在步驟S316中判定滿足MinSAD>MinSAD—G， 則判定目標(biāo)塊與背景一致的程度較高，并在步驟S318中將命中率(3 設(shè)定為)3 = 0.75。然后，在步驟S319中，比較判定部1504向運動 補(bǔ)償圖片生成部16輸出全局運動矢量GMV作為目標(biāo)塊的降噪處理 運動矢量。
處理從步驟S319前進(jìn)至步驟S320，其中，控制部155判定是 否完成了對目標(biāo)幀內(nèi)的所有目標(biāo)塊的處理。如果在步驟S320中判 定對目標(biāo)幀內(nèi)的所有目標(biāo)塊的所述處理還沒有完成，則在步驟S321 中控制部155設(shè)置下一個目標(biāo)塊。此后，處理返回至步驟S302。
另一方面，如果在步驟S320中判定已經(jīng)完成對目標(biāo)幀內(nèi)的所 有目標(biāo)塊的處理，則控制部155結(jié)束背景/運動圖像拾取對象判定處 理操作。
80注意，在上述實施例中，從全局運動矢量GMV的SAD值 SAD_GMV中減去偏移值OFS來獲得才交正后的SAD值MinSAD—G, 然后將校正后的SAD值MinSAD—G與最小SAD值MinSAD進(jìn)行 比較。然而，如果通過將通過使偏移值OFS與局部運動矢量LMV 的最小SAD值MinSAD相加獲得的值(MinSAD + OFS )與全局運 動矢量GMV的SAD值SAD—GMV進(jìn)行比較，則也是完全等同的。
<第二實例通過增益乘法才交正SAD <直>
在上述第一實例中，應(yīng)用偏移值OFS來4交正關(guān)于在與全局運動 矢量GMV —致的參考矢量位置處的參考塊的SAD <直SAD—GMV。 可以應(yīng)用以下這種類4以的想法來代盧齊偏移4直O(jiān)FS的加法，可以乘以 考慮到圖像噪聲而確定的增益g來校正SAD值SAD—GMV。在本 實例中，由于SAD <直SAD—GMV在減小方向上乘以增益g，所以 增益g為g〈1。注意，在相關(guān)值具有其響應(yīng)于相關(guān)性的增加而增加 的特性的情況下，自然滿足g〉1。
在第二實例中，全局運動矢量的SAD值SAD_GMV的校正后 的SAD值MinSAD—G由下式給出
MinSAD—G = SAD—GMV x g ...(表達(dá)式17 )
圖38是示出了在第二實例的情況下背景/運動圖像拾取對象判 定部150的配置實例的功能才匡圖。
參照圖38,除代替偏移減法部1502包括增益乘法部1505以及 代替偏移生成部1503包括增益生成部1506之外，所示背景/運動圖 像拾取對象判定部150是對參照圖35的上述配置的背景/運動圖孑象 4合取對象判定部150的^務(wù)改并且配置和處理操作與其相似。由于圖像噪聲對應(yīng)于圖像的亮度值，所以增益生成部1506存 儲各種亮度值與增益g (g<l )的對照表的信息，并使用目標(biāo)塊的亮 度值作為自變量來輸出對應(yīng)增益g。
增益乘法部1505將來自SAD—GMV檢測部1501的SAD值 SAD一GMV乘以來自增益生成部1506的增益g，以生成4交正后的 SAD值MinSAD一G。然后，增益乘法部1505將所生成的才交正后的 SAD值MinSAD一G提供給比較判定部1504。其他配置和處理操作 與上述第一個實例相同。
在根據(jù)第二實例的背景/運動圖像拾取對象判定處理中，圖36 所示步驟S306中用于SAD的值SAD_GMV的校正處理被上面給出 的表達(dá)式17的lt學(xué)運算處理所取4戈。其他步驟的處理與第一實例 的非常相似。
注意，在上述實例中，全局運動矢量GMV的SAD值SAD—GMV 乘以增益g ( g<l )以獲得4交正后的SAD值MinSAD—G,并將4交正 后的SAD值MinSAD—G與最小SAD值MinSAD進(jìn)4亍比專交。然而， 如果將通過使局部運動矢量LMV的最小SAD值MinSAD乘以增益 g的倒數(shù)所獲得的值(MinSAD x 1/g )與全局運動矢量GMV的SAD 值SAD—GMV進(jìn)行比較，則也是完全等同的。
注意，第二實例中的增益g具有與第 一實例的偏移值OFS類似 的防止運動圖像拾取對象的運動矢量被檢測為最小SAD值的值。 換言之，在本實例中，也將增益g設(shè)置為與偏移值OFS類似考慮到 用于局部運動矢量的可靠性指標(biāo)值Ft的閾值th (參見表達(dá)式7 )的值。
背景/運動圖像拾取對象判定部150的配置和處理操作的其他實例順便提及，在上述實施例中，在基于全局運動GM計算的全局 運動矢量GMV可以用大于像素間距的精確度來表示的同時，以像 素間距的精確度來執(zhí)行塊匹配。因此，與全局運動矢量GMV—致 的參考矢量的參考塊位置有時會出現(xiàn)誤差。
此外，即使在上述實施例中使用擴(kuò)展仿射變換，但誤差可能存 在于所確定的全局運動GM和實際全局運動之間。此夕卜，在上述實 施例中的分層塊匹配中，如果在淺層的塊匹配中出現(xiàn)差錯，則差錯 無法在后面的任何層中被恢復(fù)?？紤]到上述情況，認(rèn)為最好對全局 運動矢量GMV的位置提供特定容限。
在下述實例中考慮到這個問題。在本實例中，不僅使全局運動 矢量GMV的位置Pgmv的SAD值而JM吏位置Pgmv附近和周圍的 SAD值也經(jīng)受上述才交正，然后與最小SAD值MinSAD進(jìn)4亍比凈交。
例如，如圖39所示，,ii殳判定關(guān)于目標(biāo)塊的SAD表TBL中 的全局運動矢量GMV的位置為位置Pgmv。此時，不4又位置Pgmv 的SAD值，而且與位置Pgmv直接相鄰的周圍鄰近位置PI ~ P8的 8個SAD值也經(jīng)受上述這種校正，并被確定為背景一致度的判定對象。
此外，在本實例的情況下，位置Pgmv和位置PI ~P8處SAD 值的九個校正SAD值MinSAD—G—O ~ MinSAD—G—8與重新計算的 最小SAD值MinSAD進(jìn)行比較。然后，如果九個校正SAD值中的 任何一個小于最小SAD值MinSAD,則評估目標(biāo)塊的運動矢量具 有與全局運動矢量GMV的高一致度，并且還評估背景一致度較高。
在本實例中，在將上述第一實例用作SAD值的校正方法的情 況下的背景/運動圖像拾取對象判定部150以及背景/運動圖像拾取 對象判定部150周圍的多個元4牛如圖40所示。參見圖40，所示的背景/運動圖像拾取對象判定部150是對圖 35所示的修改，并且不同之處在于代替SAD一GMV4企測部1501而 包括GMV相鄰SAD值檢測部1507,另外還包括插入在偏移減法 部1502和比4交判定部1504之間的最小^直4企測部1508。
從來自匹配處理部153的位置信息和SAD值中，GMV相鄰 SAD值檢測部1507檢測全局運動矢量GMV的位置Pgmv和位置 Pgmv的SAD值以及在位置Pgmv附近和周圍的8個位置PI ~ P8 和4立置PI ~ P8的SAD值。
然后，GMV相鄰SAD值檢測部1507將檢測的SAD值提供給 偏移減法部1502。偏移減法部1502從位置Pgmv及PI ~ P8的9個 SADl直中減去來自偏移生成部1503的偏移量OFS,以生成才交正后 的SAD值MinSAD—G—0~MinSAD_G_8。然后，偏移減法部1502 將校正后的SAD值MinSAD—G—0 ~ MinSAD—G—8提供給最小值檢 測部1508。
此夕卜，GMV相鄰SAD值才企測部1507還將檢測到的位置Pgmv 和Pl ~P8以分別對應(yīng)于各個位置的SAD值的這種方式提供給最小 值才企測部1508。
最小值檢測部1508從位置Pgmv以及PI ~ P8的9個才交正后的 SAD值MinSAD—G—0 ~ MinSAD—G—8檢測最小值，并將4企測結(jié)果 的最小值作為校正SAD值MinSAD—G與校正SAD值MinSAD_G 的位置信息一起提供給比較判定部1504。
比壽交判定部1504將來自局部運動矢量計算部154的作為塊再 匹配結(jié)果而獲得的最小SAD值MinSAD與來自最小值檢測部1508 的才交正SAD值MinSAD一G進(jìn)4亍比4交，以與上述類似的方式執(zhí)ff背 景一致度的評估判定。當(dāng)不滿足MinSAD〉MinSAD—G時，比較判定部1504將命中率 P設(shè)為(3 = 0.0,并提供局部運動矢量LMV作為降噪處理運動矢量。 該才乘作與上述實例相同。
另 一方面，當(dāng)滿足MinSAD>MinSAD—G時，比壽交判定部1504 判定對應(yīng)于校正SAD值MinSAD—G的位置信息是否與全局運動矢 量GMV—致，并根據(jù)判定結(jié)果改變命中率P。例如，如果對應(yīng)于 校正SAD值MinSAD一G的位置信息與全局運動矢量GMV —致， 則將命中率(3設(shè)為p = 0.75。另一方面，如果對應(yīng)于校正SAD值 MinSAD一G的位置信息與全局運動矢量GMV不一致，則將命中率 (3設(shè)為p = 0.5。
此夕卜，在本實例的情況下，當(dāng)滿足MinSAD>MinSAD—G時， 全局運動矢量GMV #皮輸出作為降噪處理運動矢量。
然而，在本實例中，當(dāng)滿足MinSAD>MinSAD—G時，比4交判 定部1504還可以將對應(yīng)于來自最小值檢測部1508的位置信息的局 部運動矢量LMV專t出作為降噪處理運動矢量。
注意，最小值4企測部1508可包4舌在比^_判定部1504中。在這 種情況下，可以從9個校正SAD值中檢測最小值，然后與最小SAD 值MinSAD進(jìn)行比較，或者9個校正SAD值也可以與最小SAD值 MinSAD——進(jìn)行比較。
<背景/運動圖像拾取對象判定處理的流程>
參照圖41和圖42進(jìn)一步描述具有上面參照圖40描述的配置 的局部運動矢量計算部154進(jìn)4亍的塊再匹配處理以及背景/運動圖 像拾取對象判定部150進(jìn)行的背景一致度評估處理的流程。通過在 控制部155控制下的各個部件執(zhí)行圖41和圖42的處理。注意，在SAD—GMV沖企測部1501和偏移減法部1502包4舌在局部運動矢量計 算部154中的情況下，由局部運動矢量計算部154和背景/運動圖傳_ 拾取對象判定部150執(zhí)行圖41和圖42的處理。此外，最小值檢測 部1508包括在比較判定部1504中。
首先，在步驟S401中，在控制部155的控制下，開始塊再匹 配并在目標(biāo)塊緩沖器部151中設(shè)置第一個目標(biāo)塊。然后，在步驟 S402中，在控制部155的控制下，從在參考塊緩沖器152中緩存的 匹配處理范圍內(nèi)的參考幀的圖像數(shù)據(jù)中設(shè)置進(jìn)行塊再匹配處理的
參考塊。
然后，在步驟S403中，匹配處理部153在所設(shè)置的目標(biāo)塊和 所i殳置的參考塊之間扭J亍塊匹配處理以計算SAD值。然后，匹配 處理部153將所計算的SAD值與參考塊的位置信息或參考矢量提 供給局部運動矢量計算部154。
然后，在步驟S404中，局部運動矢量計算部154判定參考矢 量是否與全局運動矢量GMV —致以及參考矢量是否與全局運動矢 量GMV附近和周圍的8個位置PI ~ P8的任意一個一致。
如果在步驟S404中判定參考矢量與全局運動矢量GMV和8 個位置PI ~P8的任意一個都不一致，則在步驟S405中，局部運動 矢量計算部154 4丸行最小SAD值MinSAD和最小SAD值MinSAD
的參考塊位置或參考矢量的更新處理。
然后，在步-驟S408中，控制部155判定是否完成4臾索范圍內(nèi) 的所有參考塊和參考塊的塊匹配。
如果在步驟S408中判定還沒有完成搜索范圍的所有參考塊的 處理，則在步驟S409中，控制部155設(shè)置下一個參考塊。然后， 處理返回至步驟S402來重復(fù)以上述步驟S402開始的步驟的處理。
86另一方面，如果在步驟S404中判定參考矢量與全局運動矢量 GMV及周圍相鄰位置PI ~P8中的一個一致，貝'J在步驟S406中， 局部運動矢量計算部154 乂人SAD ^直中減去偏移^直O(jiān)FS。然后，局 部運動矢量計算部154存儲,減法結(jié)果作為4交正SAD值 MinSAD—G—0 ~ MinSAD—G—8中的只于應(yīng)一個，并在步艱《S407中， 存儲校的SAD值的參考塊的位置或參考矢量。
然后，處理前進(jìn)至步驟S408，其中，判定是否完成搜索范圍內(nèi) 的所有參考塊的處理。
然后，如果在步驟S408中判定已經(jīng)完成4臾索范圍內(nèi)的所有參 考塊的處理，則局部運動矢量計算部154才企測局部運動矢量LMV 和最小SAD值MinSAD，并將它們才是供給比較判定部1504。此夕卜， 局部運動矢量計算部154還從9個4交正SAD值MinSAD—G—0~ MinSAD_G—8中沖企測校正SAD值MinSAD—G作為最小值，并在圖 42的步驟S411中將校正SAD值MinSAD—G提供給比較判定部 1504。
參照圖42,在步驟S412中，背景/運動圖像拾取對象判定部150 的比較判定部1504判定最小SAD值MinSAD是否小于預(yù)先確定的 閾值TH1。
如果在步驟S412判定最小SAD值MinSAD大于閾值TH1，則 比專交判定部1504不4吏用全局運動矢量GMV批j于背景相似度的判 定，而是在步驟S413中將命中率(3設(shè)置為P = 0.25。然后在步驟S414 中，比較判定部1504向運動補(bǔ)償圖片生成部16輸出重新計算的局 部運動矢量LMV作為目標(biāo)塊的降噪處理運動矢量。
然后，處理從步驟S414前進(jìn)至步驟S422，其中，控制部155
判定是否完^^目標(biāo)幀中的所有目標(biāo)塊的處理。如果還沒有完成處理，則在步驟S432中，控制部155i殳置下一個目標(biāo)塊。然后，處 理返回步驟S402以在控制部155的控制下重復(fù)從步驟S402開始的 步-驟的上述處理。
如果在步驟S412中判定最小SAD值MinSAD小于閾值TH1 ， 則在步驟S415中，比4交判定部1504將最小SAD值MinSAD與校 正后的SAD值MinSAD—G進(jìn)4亍比壽交。然后，在步驟S416中，比 較判定部1504判定是否滿足MinSAD〉MinSAD—G。然后，如果判 定不滿足MinSAD〉MinSAD—G,則在步驟S417中，比較判定部1504
判定目標(biāo)塊與背景并不一致并將命中率p設(shè)定為p-o。
然后，處理從步驟S417前進(jìn)至步驟S421,其中，比較判定部 1504向運動補(bǔ)償圖片生成部16 l命出全局運動矢量GMV作為目標(biāo) 塊的降噪處理運動矢量。然后，過程前進(jìn)至步驟S422以重復(fù)/人步 -驟S422開始的步艱《的處理。
另 一方面，如果在步艱《S416中判定滿足MinSAD〉MinSAD—G， 則在步驟S418中，判定最小SAD值MinSAD的位置或參考矢量是 否與全局運動矢量GMV —致。如果在步驟S418中判定最小SAD 值MinSAD的位置或參考矢量與全局運動矢量GMV不一致，則在 步驟S419中，比較判定部1504將命中率p設(shè)定為|3 = 0.5。
另 一方面，如果在步驟S418中判定最小SAD值MinSAD的位 置或參考矢量與全局運動矢量GMV—致，則在步驟S420中，比較 判定部1504將命中率p設(shè)定為p = 0.75。
然后，接著步驟S419或S420,在步驟S421中，比較判定部 1504向運動補(bǔ)償圖片生成部16 ^T出全局運動矢量GMV作為目標(biāo) 塊的降，噪處理運動矢量。接著步驟S421，處理前進(jìn)至步驟S422，其中，控制部155判 定是否完成目標(biāo)幀中的所有目標(biāo)塊的處理。如果在步驟S422中判 定目標(biāo)幀中的所有目標(biāo)塊的處理尚未完成，則在步驟S423中，控 制部155設(shè)置下一個目標(biāo)塊。此后，處理返回至步驟S402。
另一方面，如果在步驟S422中判定已經(jīng)完成目標(biāo)幀中的所有 目標(biāo)塊的處理，則控制部155結(jié)束背景/運動圖傳^合取對象判定處理操作。
不〈又考慮全局運動矢量GMV位置的SAD值而且考慮全局運動 矢量GMV位置的相鄰周圍位置的SAD值來執(zhí)行背景/運動圖像拾 取乂于象判定的方法也可以應(yīng)用于上述第二實例的SAD〗直4交正方法中。
圖43示出了在應(yīng)用第二實例的情況下背景/運動圖像拾取對象 判定部及其相關(guān)外圍部件的配置實例。除了代替SAD—GMV檢測部 1501包括GMV臨近SAD值檢測部1507并且還包含插入在增益乘 法部1505和比較判定部1504之間的最小值才企測部1508夕卜，圖43 所示的背景/運動圖像拾取對象判定部是對上面參照圖38描述的背 景/運動圖像拾取對象判定部150的修改并具有與其類似的配置。
除上述第二實例;故用作SAD值4交正方法之外，圖43的背景/ 運動圖像拾取對象判定部150執(zhí)行與圖38的背景/運動圖像拾取對 象判定部150非常相似的#:作處理。因此，為了避免贅述，這里省 略圖43的背景/運動圖像拾取對象判定部150的操作處理的詳細(xì)描述。
第二實施例在上述第一實施例中，局部運動矢量i十算部154執(zhí)4亍分層塊匹 配來計算基底面上的局部運動矢量LMV。然后，運動矢量可靠性 指標(biāo)值計算部156計算基底面的局部運動矢量LMV的可靠性指標(biāo) 值Ft。
jt匕夕卜，全局運動計算部157生成基底面的局部運動矢量LMV 的可靠性指標(biāo)值Ft并使用可靠性指標(biāo)值Ft來提取具有高可靠性的 那些局部運動矢量LMV。然后，全局運動計算部157 4吏用具有高 可靠性的局部運動矢量LMV來計算全局運動GM，然后/人全局運 動GM中計算全局運動矢量GMV。
順便提及，通過將縮小面運動矢量MVs和中間面運動矢量 MVm與基底面的圖像縮小率的倒數(shù)相乘，可以獲得基底面運動矢 量MVb。因此，為了計算全局運動GM,可以不確定基底面運動矢 量MVb而是從縮小面運動矢量MVs或中間面運動矢量MVm中確 定全局運動GM。
例如，為了從縮小面運動矢量MVs中計算全局運動GM，局 部運動矢量計算部154首先計算縮小面的局部運動矢量LMV,即， 縮小面運動矢量MVs。
然后，運動矢量可靠性指標(biāo)值計算部156計算所計算縮小面運 動矢量MVs的可靠性指標(biāo)值Ft。此外，全局運動計算部157 4吏用 縮小面的局部運動矢量LMV的可靠性指標(biāo)值來才是取具有高可靠性 的那些局部運動矢量LMV。然后，全局運動計算部157<吏用具有 高可靠性的局部運動矢量LMV來計算全局運動GM和全局運動矢 量GMV。
此外，在寸吏用全局運動GM的情況下，還可以乂人通過在直到中 間面的層中執(zhí)行塊匹配所獲得的中間面運動矢量MVm中進(jìn)行類似計算。然而，可以^4居各層來適當(dāng)?shù)豬殳置扭J亍關(guān)于全局運動矢量 GMV位置處的SAD ^f直的才交正的偏移^直O(jiān)FS或增益g。
以這種方式4吏用縮小面或中間面的局部運動矢量來確定全局 運動GM和全局運動矢量GMV具有以下優(yōu)點。
第一個優(yōu)點在于，由于將低通濾波器用于生成上述縮小面或中 間面，所以去除了噪聲，使得所得到的局部運動矢量不太可能被噪
聲所影響。
第二個優(yōu)點在于，由于在縮小面或中間面中減少了目標(biāo)塊的凝: 量，所以局部運動矢量的凄t目和數(shù)學(xué)運算成本減少，另外，由于處 理戶斤需時間減少了，所以可以以高速4丸4亍處J里。
縮小面、中間面和基底面的匹配處理塊單位由于受上述實例的 硬件限制而通常具有相同尺寸。因此，具有較小圖片尺寸的縮小面 的目標(biāo)塊的lt目(即，局部運動矢量的凄t目)與〗叉在基底面執(zhí)^f亍塊 匹酉己白勺"5f &十青"乙才目t匕才目只于i也少、。
然后，在,人縮小面運動矢量中確定全局運動和全局運動矢量 GMV的情況下，可以省略中間面和基底面上的運動矢量檢測處理。 換言之，在乂人中間面運動矢量中確定全局運動和全局運動矢量 GMV的情況下，可以省略基底面的運動矢量檢測處理。因此，可 以與其處J里速度的增力口 。
特別在縮小面運動矢量MVs纟皮用于確定全局運動和全局運動 矢量GMV的情況下，優(yōu)點更為明顯。
圖44示出了使用縮小面運動矢量M Vs確定全局運動和全局運 動矢量GMV并^1奪其與基底面上的局部運動矢量LMV相比的處理 的一i&流程。首先，在步驟S501中，運動矢量計算部15才丸4亍縮小面塊匹配 以確定縮小面上的每個目標(biāo)塊的局部運動矢量LMVs。然后，運動 矢量計算部15評估每個目標(biāo)塊的縮小面的局部運動矢量LMVs的 可靠性，并且僅使用具有高可靠性的那些縮小面局部運動矢量 LMVs來計算全局運動GM。然后，運動矢量計算部15,人所計算的 全局運動GM來計算全局運動矢量GMV。
然后，在步驟S502,運動矢量計算部15對分層塊匹配執(zhí)4亍縮 小面塊匹配來重新計算縮小面局部運動矢量LMVs。
然后，在步驟S503,運動矢量計算部15才艮據(jù)縮小面局部運動 矢量LMVs確定與中間面上的目標(biāo)塊相對應(yīng)的參考塊的搜索范圍， 并才丸4亍中間面塊匹配。然后，運動矢量計算部15計算中間面局部 運動矢量LMVm。
然后，在步驟S504，運動矢量計算部15才艮據(jù)中間面局部運動 矢量LMVm確定與基底面上的目標(biāo)塊相對應(yīng)的參考塊的搜索范圍， 并扭J亍基底面塊匹配。然后，運動矢量計算部15計算基底面局部 運動矢量LMVb。然后，運動矢量計算部15使用基底面局部運動 矢量LMVb和在步驟S501中計算的全局運動矢量GMV來為每個 目標(biāo)塊執(zhí)行上述背景一致度的評估和判定。然后，運動矢量計算部 15確定命中率P并基于評估判定來4企測降p桑處理運動矢量MVnr。
然后，在步驟S505，運動補(bǔ)償圖片生成部16使用述降噪處理 運動矢量MVnr以從參考幀的圖像數(shù)據(jù)中生成以塊為單位的運動補(bǔ)
償圖片。
然后，在步驟S506,相加率計算部21基于在步驟S504中計算 的命中率p以^象素為單位或以目標(biāo)塊為單位計算相加率a。然后， 在步驟S507中，加法部17以塊為單位將在步驟S505中生成的運動補(bǔ)償圖片與目標(biāo)圖像以在步驟S506中計算的相加率a進(jìn)行相力口， 從而生成降噪圖像。
注意，在上述圖44的處理流程中，在運動矢量4企測時通過第 一次塊匹配確定的全局運動GM和全局運動矢量GMVl又;被應(yīng)用于 分層塊匹配中的基底面運動矢量。
然而，同樣在分層塊匹配的縮小面和/或中間面上，可4吏用全局 運動矢量GMV、局部運動矢量LMVs和中間面局部運動矢量LMVs 來執(zhí)行目標(biāo)塊的背景一致度評估。在這種情況下，作為背景一致度 評估結(jié)果的降噪處理運動矢量MVnr可以#1用作關(guān)于縮小面或中間 面上的每個目標(biāo)塊而輸出的運動矢量。
這使得可以獲得比 一般情況下具有更高精確度的關(guān)于縮小面 或中間面上的每個目標(biāo)塊的運動矢量(即，局部運動矢量)。這類 似地應(yīng)用于基底面。因此，如上所述，根據(jù)每層適當(dāng)?shù)卦O(shè)置偏移值 OFS或增益g。
圖45A~圖45D示出了當(dāng)才艮據(jù)圖44的處理流程執(zhí)4亍處理時的 塊匹配結(jié)果和所4企測運動矢量的方式的實例。圖45A~圖45D的實 例示出了當(dāng)將上述處理應(yīng)用于上述目標(biāo)圖像和參考圖像時的處理結(jié)果。
圖45A示出了當(dāng)對目標(biāo)圖像和參考圖像執(zhí)行縮小面塊匹配時 局部運動矢量LMVs的4企測結(jié)果。
圖45B示出了作為對縮小面局部運動矢量LMVs執(zhí)行可靠性評 估的結(jié)果一皮確定為具有高可靠性的縮小面局部運動矢量LMVs和縮 小面局部運動矢量LMVs的目標(biāo)塊。注意，圖45B右下角的重點強(qiáng) 調(diào)塊是具有高局部運動矢量LMVs的運動圖像拾取對象部分。圖45C示出了基于由基底面局部運動矢量LMVb計算的全局 運動GM所計算的目標(biāo)塊的全局運動矢量GMV。此外，圖45D示 出了通過再次執(zhí)行運動矢量檢測，通過背景部分和運動圖像拾取對 象部分的i平估4企測的P爭，噪處理運動矢量MVnr。
根據(jù)圖45D，可以識別出背景部分中的運動矢量有序i也尋皮配置 為全局運動矢量GMV的a犬態(tài)。
注意，在圖45D中，右下角部分的大運動矢量是在4吏用局部運 動矢量LMV和全局運動矢量GMV的評〗古判定中^皮確定為運動圖 像拾取對象(全局運動矢量GMV不會從中輸出作為降噪處理運動 矢量)的運動圖像拾取對象塊。同時，中空的矢量表示與全局運動 矢量GMV —致的參考矢量在搜索范圍內(nèi)的有效像素區(qū)域中不存在 的塊。
準(zhǔn)備圖45A~圖45D以表明容易被識別的效果，實際目標(biāo)快的 尺寸4交小。如下所述，以更小塊為單位生成命中率P更加有效。
然而，在圖像中的運動圖像拾取對象區(qū)域和矢量以粗略單位被 檢測并被跟蹤，優(yōu)選地，基于以如圖45D所示的這種粗略單位使用 全局運動矢量GMV扭J于的評估來llT出降p喿處理運動矢量MVnr。 因此，不需要畫面圖像中所有塊的信息，但是如果著重于運動圖{象 才合耳又對象4企測的可靠性，則如圖45B的情況，4又/人第一次運動矢量 檢測時具有高可靠性的那些矢量中執(zhí)行運動圖像拾取對象塊的分 離。
通過內(nèi)插處理提高精確度
順便提及，由于縮小面或中間面通過減小基底面而生成，所以 應(yīng)該考慮到這種縮小面運動矢量或中間面動矢量的精確度相對4交低。因此，為了消除或減輕精確度低的問題，在使用縮小面運動矢 量或中間面動矢量的情況下，執(zhí)行內(nèi)插處理。具體地，使用由所計 算的縮小面運動矢量或所計算的中間面運動矢量表示的縮小面參 考塊位置或中間面參考塊位置附近的縮小面參考塊或中間面參考
塊的SAD值以及SAD值的位置信息來執(zhí)行內(nèi)插處理。通過該內(nèi)插 處理，可以執(zhí)行像素精確度的縮小面運動矢量或中間面運動矢量的 才企測。下文所述的內(nèi)插處理以縮小面情況下的內(nèi)插處理為例。
例如，在7jC平和垂直方向上老卩縮至1/4的縮小面上才丸4亍塊匹配 的情況下，縮小面運動矢量是4像素精確度的運動矢量。然而，顯 而易見，在基底面參考幀中，1像素精確度的基底面運動矢量MVb 存在于通過將縮小面運動矢量增加至n倍所獲得的運動矢量附近。
因此，在如圖46所示確定縮小面上的最小SAD <i 601的情況 下，可以理想地使用最小SAD值601附近的多個SAD值(例如， 分別使用在上、下、左和右方向上與最小SAD值601相鄰的4個 SAD值602、 603、 604和605來4丸行內(nèi)插處理，以檢測4像素精確 度的運動矢量。在這種情況下，所需的內(nèi)插倍率為四倍。
例3口，可以5里想地/使用二次曲線來對SAD表^U亍內(nèi)4翁，以從 例如以n像素為單位已經(jīng)執(zhí)行了匹配處理的縮小面SAD表中計算 像素精確度的運動矢量。在這種情況下，盡管可以不使用二次曲線 近似內(nèi)插而是4吏用線性、三次或更高階曲線近似內(nèi)插，^f旦在本實例 中，根據(jù)精確度和硬件配置之間的均衡而使用二次曲線近似內(nèi)插。
在二次曲線近似內(nèi)插中，如圖46所示，使用通過n像素精確 度的縮小面運動矢量所表示的縮小面SAD表中的SAD值的最小值 Smin以及在最小值Smin位置附近的多個SAD值(下文稱作鄰近 縮小面SAD值)。在本實例中，4吏用在縮小面的X方向或水平方向 以及Y方向或垂直方向上鄰近最小值Smin位置的4個鄰近的SAD 值Sxl、 Sx2和Syl、 Sy2。如圖47所示，在X方向或7jc平方向上的內(nèi)插中，縮小面SAD 值的最小值Smin和在X方向或水平方向上處于兩個相鄰點的相鄰 縮小面SAD值Sxl和Sx2^皮用于應(yīng)用二次近似曲線700。具體地， 確定經(jīng)過最小值Smin以及在X方向或水平方向上處于兩個相鄰點 的相鄰縮小面SAD值Sxl和Sx2的二次近似曲線700。通過這種方 式，如圖47所示，二次近似曲線70(H艮設(shè)為最小值的坐標(biāo)變?yōu)闆_是 供像素精確度的SAD值的最小值SXmin的縮小面運動矢量或高精 確度縮小面運動矢量的X坐標(biāo)Vx。給出it匕時用于二次曲線近《以內(nèi) 插的表達(dá)式，如下面的(表達(dá)式19):
Sxmin = 1/2 x ( Sx2 - Sxl ) / ( Sx2 - 2Smin + Sxl )…(表達(dá)式19 )
根據(jù)計算表達(dá)式(表達(dá)式19)確定的像素精確度的SAD值的 最小值SXmin假設(shè)在SAD表上的X坐標(biāo)變?yōu)橄袼鼐_度的縮小面 SAD值假定為最小值的X坐標(biāo)Vx。
可通過多次執(zhí)行的減法來實現(xiàn)計算表達(dá)式(表達(dá)式19)中的除 法。例如，如果將被使用的像素精確度為縮小面的1/4像素間距的 精確度，則可以僅通過兩次減法就能實現(xiàn)上述除法。因此，電路A見 模小且數(shù)學(xué)運算時間短，并且能夠?qū)崿F(xiàn)與比二次近似曲線內(nèi)插復(fù)雜 得多的三次曲線內(nèi)插非常接近的性能。
類似地，在Y方向或垂直方向上的內(nèi)插中，縮小面SAD值的 最小值Smin和在Y方向或垂直方向上與最小值Smin鄰近的兩個 點的鄰近縮小面SAD值Syl和Sy2用于應(yīng)用二次近似曲線。因此， 二次近似曲線假設(shè)為極小值SYmin處的Y坐標(biāo)變成像素精確度的 SAD值呈現(xiàn)最小值的Y坐標(biāo)Vy。通過下面的表達(dá)式(表達(dá)式20) 給出此時的二次曲線近似內(nèi)插的表達(dá)式
SYmin = 1/2 x ( Sy2 - Syl ) / ( Sy2 - 2Smin + Syl )…(表達(dá)式20 )通過以這種方式對X方向和Y方向才丸4亍兩次二次曲線近4以， 確定高精確度(即，像素精確度)的縮小面運動矢量(Vx， Vy)。
雖然在先前的描述中，4吏用了縮小面SAD ^直以及在X方向或 水平方向和y方向或垂直方向上與最小^直鄰近的兩個點的縮小面 SAD值的最小值，^f旦是在不同方向鄰近的縮小面SAD值的凄丈量可 以為兩個以上。此夕卜， ^^在X方向和Y方向上的二次曲線的應(yīng) 用，例如，二次曲線可以4皮應(yīng)用于4牛方向。此夕卜，近似曲線可以4皮 應(yīng)用于除X和Y方向之外的殺牛方向上。
圖48示出了通過使用如上所述的這種裝置和處理程序，能夠 通過n個像素單位精確度的SAD表的值來獲得像素精確度的矢量 檢測結(jié)果。圖48的橫坐標(biāo)軸表示內(nèi)插倍率，并表示在一維方向上 應(yīng)該i殳定多少次分解。由于SAD表為二維的，所以表面積以平方 率降低。然而，由于由內(nèi)插引起的誤差僅以線性的程度增加，所以 可以認(rèn)可內(nèi)插4支術(shù)的有用性。
注意，自然地，上述參照圖46 ~圖48描述的內(nèi)插法不4又可應(yīng) 用于縮小面，而且還可應(yīng)用于中間面和基底面。在向基底面應(yīng)用內(nèi) 插才支術(shù)的情況下，所獲得的局部運動矢量LMV具有比^f象素間3巨更 高的精確度，即，子像素精確度。
在基底面上確定子〗象素精確度的局部運動矢量LMV的情況 下，將^皮輸出作為降，喿處理運動矢量MVnr的全局運動矢量GMV 應(yīng)該為與其一致的基底面的子^f象素津fr確度的局部運動矢量LMV。 具體地，對于^^皮確定為背景的快，可以輸出由全局運動GM計算的 全局運動矢量GMV，或者可以輸出與全局運動矢量GMV —致的 局部運動矢量LMV。盡管可以^T出全局運動矢量GMV和局部運動 矢量LMV的任意一個，但在這種情況下，最好輸出更高精確度的 局部運動矢量LMV 4乍為全局運動矢量GMV。另一方面，在基底面上計算子〗象素姊青確度的局部運動矢量LMV 的情況下，還具有運動補(bǔ)償圖片生成部16可生成子〗象素^"確度的 內(nèi)插圖像來作為運動補(bǔ)償圖片的優(yōu)點。
實施例的步文果
如上所述，根據(jù)本實施例，關(guān)于圖像中所有目標(biāo)塊的運動矢量 都可以以高精確度進(jìn)行檢測。此外，可以判定運動矢量表示背景圖
像部分還是運動圖像拾:取對象部分。
因此，可以實現(xiàn)具有難度的、從具有高噪聲級別的圖像中檢測 高精確度的局部運動矢量或者在整個圖像中提取運動圖像拾取對 象區(qū)域。
其4也實施例和》務(wù)改
在先前的描述中，背景/運動圖像拾取對象判定部1504丸行關(guān)于 目標(biāo)幀內(nèi)的所有目標(biāo)塊的背景一致度的評估判定。
然而，背景/運動圖傳^合取對象判定部150可通過H使用具有高 可靠性的那些局部運動矢量LMV的收癥支凄t學(xué)運算來確定全局運 動。上面參照圖31和圖32所示乂人全局運動的收勁:it學(xué)運算中排除 的具有高可靠性的那些局部運動矢量LMV是運動圖像拾取對象塊 的具有高可靠性的局部運動矢量LMV。另外，最終用于在全局運 動的收斂數(shù)學(xué)運算4喿作中計算全局運動的那些局部運動矢量LMV 可被確定為背景塊。
因此，呈現(xiàn)具有高可靠性的局部運動矢量LMV的那些評估塊 不需要再次經(jīng)受背景和運動圖像拾取對象之間的評估判定。因此， 對于剛剛描述的具有高可靠性的局部運動矢量LMV的這種目標(biāo)塊，可以省略塊再匹配處理和背景/運動圖像拾取對象判定處理。這 就可以縮短處理時間和凄t學(xué)運算量。
注意，在全局運動收斂數(shù)學(xué)運算中，最終用于計算全局運動的
局部運動矢量LMV可纟皮判定為背景塊，它們的命中率p可^^皮判定 為(3 = 1.0。
然后，當(dāng)命中率p為i.o時，目標(biāo)塊和補(bǔ)償圖片塊之間的相加 率凈皮i殳置為1.0。通過這樣，對背景部分扭J于正向加強(qiáng)相加，可以
預(yù)期高降噪效果。
注意，在上述實例中，雖然通過運動補(bǔ)償以目標(biāo)塊為單位生成 運動補(bǔ)償圖像，但因為獲得了全局運動GM，所以可以通過運動補(bǔ) 償以像素為單位來生成。具體地，例如，在呈現(xiàn)高背景一致度(其 中，其命中率(3達(dá)到1.0或0.75)的目標(biāo)塊的圖像的情況下，對每 個像素根據(jù)全局運動計算全局運動矢量。然后，針對各個像素所計 算的全局運動矢量被用于執(zhí)行運動補(bǔ)償。由于運動補(bǔ)償結(jié)果可能與 像素位置一致，所以還4丸行內(nèi)插處理來生成運動補(bǔ)償像素，并使用 運動補(bǔ)償像素來生成運動補(bǔ)償圖片。
在以這種方式以〗象素為單位進(jìn)^f于運動補(bǔ)償?shù)那闆r下，可以期望 獲得更平滑的運動內(nèi)插圖像。
注意，在上述實施例中，雖然SAD值被檢測作為相關(guān)值，但 相關(guān)值當(dāng)然不限于SAD值。
此外，在上述實施例中，雖然批J亍關(guān)于靜止圖片的運動檢測處 理和圖像的疊加處理以-使多個拾取圖4象被取入圖像存儲部4并對由 此取入的拾取圖像執(zhí)行上述運動4企測和圖像疊加處理。然而，處理 對象的多個圖^f象可類似地如運動圖片的圖俜^合取時實時地生成。注意，自然地，運動矢量檢測對象的圖像信息不受拾取圖像信 息的限制。
此外，在上述實施例中，基于運動矢量可靠性指標(biāo)值執(zhí)行運動 矢量的可靠性判定。然而，除相關(guān)值的第一極大值與第二極大值之 間的差或比，在取相關(guān)值的第 一極大值的參考矢量與取相關(guān)值的第 二極大值的另 一參考矢量之間的位置差異也可被用于進(jìn)行可靠性 的判定。此外，相關(guān)值的第三極大值、高階極大值或取這種極大值 的參考矢量的位置分布可以另外被用于可靠性的判定。
注意，在上述實施例中，為了減小執(zhí)行全局運動的數(shù)學(xué)運算處
理時的數(shù)學(xué)運算負(fù)荷，對于局部運動矢量LMV的可靠性指標(biāo)值， 二進(jìn)制至0和1 -故用于力口4又系凄t W。然而，通過局部運動矢量LMV 的可靠性指標(biāo)值的歸一化獲得、并例如取等于或大于O但等于或小 于1的加權(quán)系數(shù)W可自然地按原樣被用于執(zhí)行全局運動的數(shù)學(xué)運
算處理。
此外，在上述實施例中，雖然在靜止圖片的圖傳4合取時將本發(fā) 明應(yīng)用于運動矢量檢測和背景/運動圖像拾取對象判定，但自然地， 本發(fā)明還可以應(yīng)用于執(zhí)4亍運動圖片的圖傳4合取時的運動矢量才企測 和背景/運動圖像拾取對象判定的情況。
圖49示出了考慮到運動圖片圖像拾取的圖像拾取裝置的硬件 配置的實例。在圖49中，與圖1所示圖傳4合取裝置類似的那些部 件凈皮指定為相同標(biāo)號并省略了重疊描述。
此外，在通過圖49的圖俜^會取裝置進(jìn)^亍運動圖片的降噪處理 時，針對每個IV (V是用于幀或場的垂直周期)從圖像拾取元件 11輸入的拾取圖像被用作目標(biāo)圖像，而IV和2V之前的圖像至加 法之后的輸出圖像被用作參考圖像。不僅參照1V之前的圖像而且參照2V之前的圖像的原因在于， 在隔行掃描圖像的情況下，利用2V之前的圖像靜止物品呈現(xiàn)4交高
的匹酉己率。
此外，在圖49的系統(tǒng)中，從局部矢量中計算全局運動，并根 據(jù)目標(biāo)圖像中的每塊或每個像素的運動矢量是否與全局運動一致 來生成命中率信息，從而在后續(xù)階段控制相加率oc。圖像拾取系統(tǒng) 由此提供呈現(xiàn)高降噪效果的運動圖片。
注意，圖49的圖像拾取裝置中的編解碼部22被配置為執(zhí)行 MPEG方式的壓縮編石馬。
此外，在上述實施例中，雖然本發(fā)明應(yīng)用于圖像拾取裝置疊加 圖像以執(zhí)行降噪處理的情況，但本發(fā)明不僅僅只應(yīng)用于上述類型的 這種圖像拾取裝置。
圖50示出了執(zhí)行除降噪處理之外的處理的圖像拾取裝置。具 體地，圖50的圖傳4合取裝置包括用于運動圖片的無傳感器相枳4牛 動校正系統(tǒng)和運動圖像拾取對象檢測系統(tǒng)。
此外，圖50的圖像拾取裝置包括與圖1類似的部件，并且為 了避免贅述在此省略重復(fù)描述。圖50的圖像拾取裝置與圖1的不 同之處在于，在運動矢量計算部15的后級設(shè)置了分辨率轉(zhuǎn)換部23。 此外，在分辨率轉(zhuǎn)4奐部23的后級i殳置了編解碼部24并扭^f亍運動圖 片壓縮編碼(例如，MPEG方式的壓縮編碼)，并將所得到的圖l象 數(shù)據(jù)記錄在記錄和再生裝置5中。
從記錄和再生裝置5中讀出所記錄的圖像數(shù)據(jù)并通過編解碼部 2進(jìn)行解碼，然后通過NTSC編碼器20提供給監(jiān)控顯示部6，使得 在監(jiān)控顯示部6上顯示再生圖像。在圖50的圖傳j合取裝置中，為了批^亍無傳感器(無陀螺)相 才幾4+動4交正，通過運動矢量計算部15以上述方式獲得的全局運動 GM被提供給分辨率轉(zhuǎn)換部23。分辨率轉(zhuǎn)換部23從圖像存儲部4 讀出圖像以基于所接收的全局運動GM執(zhí)行空間運動補(bǔ)償。從而實 現(xiàn)相枳4+動4交正。
此外，在圖50的圖〗象才合取裝置的運動矢量計算部15中，背景 /運動拾取圖像判定部將圖像分為背景部分和運動圖像拾取對象部 分，并將所檢測的運動圖像拾取部分作為運動圖像拾取對象信息IM 輸出至CPU 1。運動圖像拾取對象信息IM包括圖像中的運動圖像 拾取對象的位置和運動圖像拾取對象的運動矢量。
CPU 1可使用圖像中的運動圖像拾取對象的位置和運動矢量實 現(xiàn)各種應(yīng)用。例如，可以實現(xiàn)當(dāng)圖像拾取對象的運動圖像拾取對象 的運動被激活時在圖像拾取時自動將快門速度控制為更高速度 (即，將曝光時間控制為更短時間)的應(yīng)用或者當(dāng)才企測到面部之后 面部區(qū)域丟失時連續(xù)估計面部位置用于if艮蹤的另一應(yīng)用。
雖然前面的描述針對圖像信息是拾取圖像信息的情況，但本發(fā) 明對象的圖像信息當(dāng)然不限于拾取圖像信息。
雖然4吏用特定術(shù)語描述了本發(fā)明的優(yōu)選實施例，〗旦這種描述指 示為了例示的目的，應(yīng)理解，在不背離所附權(quán)利要求的精神或范圍 的情況下，可以進(jìn)行各種修改和變化。
權(quán)利要求
1.一種圖像處理裝置，包括局部運動矢量檢測裝置，用于在與目標(biāo)畫面圖像不同的參考畫面圖像上所設(shè)置的搜索范圍中設(shè)置多個參考塊，所述多個參考塊具有與設(shè)置在所述目標(biāo)畫面圖像中的預(yù)定尺寸的目標(biāo)塊相同的尺寸并且包括多個像素，確定所述目標(biāo)塊與每個參考塊之間的相關(guān)值，并檢測所述目標(biāo)塊的局部運動矢量作為計算出相關(guān)值的最大值的那一個參考塊相對于所述目標(biāo)塊的位移；全局運動計算裝置，用于計算表示施加給整個圖像的變形的全局運動；全局運動矢量計算裝置，用于使用所述全局運動來計算所述目標(biāo)塊的全局運動矢量；以及評估裝置，用于將所述目標(biāo)塊和對應(yīng)于所述局部運動矢量的所述參考塊的相關(guān)值與所述目標(biāo)塊和對應(yīng)于所述全局運動矢量的所述參考塊的相關(guān)值進(jìn)行互相比較，并基于比較結(jié)果來執(zhí)行關(guān)于所述目標(biāo)塊是否為背景靜止圖片部分的評估。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述評估裝置將 關(guān)于對應(yīng)于所述全局運動矢量的所述參考塊的相關(guān)值和預(yù)定 偏移值的和與關(guān)于對應(yīng)于所述局部運動矢量的所述參考塊的 相關(guān)值進(jìn)行比較，并基于比較結(jié)果評估所述目標(biāo)塊是否為背景 靜止圖片部分。
3. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，當(dāng)關(guān)于對應(yīng)于所 述全局運動矢量的所述參考塊的相關(guān)值和所述預(yù)定偏移值的 和大于關(guān)于對應(yīng)于所述局部運動矢量的所述參考塊的相關(guān)值 時，所述評估裝置輸出關(guān)于對應(yīng)目標(biāo)塊的全局運動矢量，但是 當(dāng)關(guān)于對應(yīng)于所述全局運動矢量的所述參考塊的相關(guān)值與所 述預(yù)定偏移值的和小于關(guān)于對應(yīng)于所述局部運動矢量的所述 參考塊的相關(guān)值時，所述評估裝置輸出關(guān)于所述對應(yīng)目標(biāo)塊的 局部運動矢量。
4. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述評估裝置將 通過使關(guān)于對應(yīng)于所述全局運動矢量的所述參考塊的相關(guān)值 乘以預(yù)定增益獲得的值與關(guān)于對應(yīng)于所述局部運動矢量的所 述參考塊的相關(guān)值進(jìn)行比較，并基于比較結(jié)果評估所述目標(biāo)塊 是否為背景靜止圖片部分。
5. 根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，當(dāng)通過使關(guān)于對 應(yīng)于所述全局運動矢量的所述參考塊的相關(guān)值乘以所述預(yù)定 增益獲得的值大于關(guān)于對應(yīng)于所述局部運動矢量的所述參考 塊的相關(guān)值時，所述評估裝置輸出關(guān)于對應(yīng)目標(biāo)塊的全局運動 矢量，但是當(dāng)通過使關(guān)于對應(yīng)于所述全局運動矢量的所述參考 塊的相關(guān)值乘以所述預(yù)定增益獲得的值小于關(guān)于對應(yīng)于所述 局部運動矢量的所述參考塊的相關(guān)值時，所述評估裝置輸出關(guān) 于所述^于應(yīng)目標(biāo)塊的局部運動矢量。
6. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述評估裝置不 僅將對應(yīng)于所述全局運動矢量的所述參考塊的相關(guān)值而且還 將位于對應(yīng)于所述全局運動矢量的所述參考塊附近的不同參 考塊的相關(guān)值與關(guān)于對應(yīng)于所述局部運動矢量的所述參考塊 的相關(guān)值進(jìn)行比較，并基于比較結(jié)果評估所述目標(biāo)塊是否為背 景靜止圖片部分。
7. 根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述評估裝置將 對應(yīng)于所述全局運動矢量的所述參考塊以及4立于對應(yīng)于所述 全局運動矢量的所述參考塊附近的不同參考塊的相關(guān)值和預(yù) 定偏移值的和與關(guān)于對應(yīng)于所述局部運動矢量的所述參考塊 的相關(guān)值進(jìn)行比較，并基于比較結(jié)果評估所述目標(biāo)塊是否為背 景靜止圖片部分。
8. 根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，當(dāng)關(guān)于對應(yīng)于所 述全局運動矢量的所述參考塊的相關(guān)值或位于對應(yīng)于所述全 局運動矢量的所述參考塊附近的不同參考塊的相關(guān)值與所述 預(yù)定偏移值的和大于關(guān)于對應(yīng)于所述局部運動矢量的所述參 考塊的相關(guān)值時，所述評估裝置輸出表示其相關(guān)值被確定為較 高的參考塊關(guān)于對應(yīng)目標(biāo)塊的位置的運動矢量，但是當(dāng)關(guān)于對 應(yīng)于所述全局運動矢量的所述參考塊的相關(guān)值或位于對應(yīng)于 所述全局運動矢量的所述參考塊附近的不同參考塊的相關(guān)值 與所述預(yù)定偏移值的和小于關(guān)于對應(yīng)于所述局部運動矢量的 所述參考塊的相關(guān)值時，所述評估裝置輸出關(guān)于所述對應(yīng)目標(biāo) 塊的局部運動矢量。
9. 根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述評估裝置將 通過4吏對應(yīng)于所述全局運動矢量的所述參考塊和位于對應(yīng)于 所述全局運動矢量的所述參考塊附近的不同參考塊的相關(guān)值 乘以預(yù)定增益獲得的值與關(guān)于對應(yīng)于所述局部運動矢量的所 述參考塊的相關(guān)值進(jìn)行比較，并基于比較結(jié)果評估所述目標(biāo)塊 是否為背景靜止圖片部分。
10. 根據(jù)權(quán)利要求9所述的圖像處理裝置，其中，當(dāng)通過使對應(yīng)于 所述全局運動矢量的所述參考塊或位于對應(yīng)于所述全局運動增益獲得的值大于關(guān)于對應(yīng)于所述局部運動矢量的所述參考塊的相關(guān)值時，所述評估裝置輸出表示其相關(guān)值#:確定為較高 的參考塊關(guān)于對應(yīng)目標(biāo)塊的位置的運動矢量，但是當(dāng)通過使對 應(yīng)于所述全局運動矢量的所述參考塊或位于對應(yīng)于所述全局 運動矢量的所述參考塊附近的不同參考塊的相關(guān)值乘以所述 預(yù)定增益獲得的值小于關(guān)于對應(yīng)于所述局部運動矢量的所述 參考塊的相關(guān)值時，所述評估裝置輸出關(guān)于所述對應(yīng)目標(biāo)塊的 局部運動矢量。
11. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其中，僅當(dāng)關(guān)于對應(yīng)于 將與所述全局運動矢量進(jìn)行比較的所述局部運動矢量的所述 參考塊的相關(guān)值大于預(yù)定闊值時，所述評估裝置才將所述全局 運動矢量與所述局部運動矢量進(jìn)行互相比較，并基于比4交結(jié)果 評估所述目標(biāo)塊是否為背景靜止圖片部分。
12. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其中，所述全局運動計 算裝置/人關(guān)于由所述局部運動矢量4企測裝置4企測到的多個目 標(biāo)塊的多個局部運動矢量計算所述全局運動，以及，將與所述全局運動矢量進(jìn)行比較的所述局部運動矢量是通過所述局部運動矢量^r測裝置相^"于所述目標(biāo)塊再次;險測 到的局部運動矢量。
13. 根據(jù)權(quán)利要求12所述的圖像處理裝置，還包括用于檢測通過所述局部運動矢量檢測裝置4企測到的所述 局部運動矢量中呈現(xiàn)出高可靠性的那些局部運動矢量的裝置，所述全局運動計算裝置僅從呈現(xiàn)高可靠性的所述局部運 動矢量來計算所述全局運動，所述評估裝置乂人評估的處理對象中排除其局部運動矢量 具有高可靠性的目標(biāo)塊。
14. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述評估裝置確 定在所述目標(biāo)塊的局部運動矢量與所述目標(biāo)塊的全局運動矢 量之間的一致度的指標(biāo)值，并基于所確定的指標(biāo)值來執(zhí)行所述 目標(biāo)塊是否為背景靜止圖片部分的評估。
15. —種圖^f象處理裝置，包^l舌局部運動矢量4企測裝置，用于在與目標(biāo)畫面圖4象不同的 參考畫面圖像上所設(shè)置的搜索范圍中設(shè)置多個參考塊，所述多 個參考塊具有與設(shè)置在所述目標(biāo)畫面圖^f象中的預(yù)定尺寸的目 標(biāo)塊相同的尺寸并且包括多個4象素，確定所述目標(biāo)塊與每個參 考塊之間的相關(guān)值，并檢測所述目標(biāo)塊的局部運動矢量作為計 算出相關(guān)值的最大值的那一個參考塊相對于所述目標(biāo)塊的位 移；全局運動計算裝置，用于計算表示施加給整個圖像的變 形的全局運動；判定裝置，用于判定在所述目標(biāo)塊的局部運動矢量與從 所述全局運動確定的所述目標(biāo)塊的全局運動矢量之間的 一 致 度；以及指標(biāo)值獲取裝置，用于獲取通過所述判定裝置判定的所 述目標(biāo)塊的局部運動矢量與全局運動矢量之間的所述一致度 的指標(biāo)值。
16. 根據(jù)權(quán)利要求15所述的圖像處理裝置，還包括運動補(bǔ)償圖像生成裝置，用于使用所述目標(biāo)塊的局部運 動矢量或全局運動矢量、從所述參考塊的圖像來生成運動補(bǔ)償 塊的圖l象；以及用于基于通過所述指標(biāo)值獲取裝置獲取的所述指標(biāo)值來 控制所述運動補(bǔ)償塊的圖像與所述目標(biāo)塊的圖像的相加度的裝置。
17. 根據(jù)權(quán)利要求16所述的圖像處理裝置，其中，對于其局部運動矢量與全局運動矢量#:確定為相互一致的所述目標(biāo)塊，所述 運動補(bǔ)償圖像生成裝置從所述參考塊的圖像中使用所述全局 運動、以像素為單位來獲取所述運動補(bǔ)償塊的像素信息。
18. 根據(jù)權(quán)利要求16所述的圖像處理裝置，其中，對于其局部運 動矢量與全局運動矢量^皮確定為相互一致的所述目標(biāo)塊，所述 運動補(bǔ)償圖像生成裝置從所述參考塊的圖像中使用所述全局 運動、以塊為單位獲取所述運動補(bǔ)償塊的^f象素信息。
19. 一種圖4象處理方法，包4舌局部運動矢量檢測步驟，在與目標(biāo)畫面圖〗象不同的參考 畫面圖像上所設(shè)置的搜索范圍中設(shè)置多個參考塊，所述多個參 考塊具有與i殳置在所述目標(biāo)畫面圖#>中的預(yù)定尺寸的目標(biāo)塊 相同的尺寸并且包括多個像素，確定所述目標(biāo)塊與每個參考塊 之間的相關(guān)^f直，并檢測所述目標(biāo)塊的局部運動矢量作為計算出 相關(guān)值的最大值的那一個參考塊相對于所述目標(biāo)塊的位移；全局運動計算步驟，計算表示施加給整個圖像的變形的 全局運動；全局運動矢量計算步驟，^f吏用在所述全局運動計算步驟 中計算的所述全局運動來計算所述目標(biāo)塊的全局運動矢量；以及評估步驟，將所述目標(biāo)塊與對應(yīng)于所述局部運動矢量的量的所述參考塊的相關(guān)值進(jìn)行互相比較，并基于比較結(jié)果來執(zhí) 行關(guān)于所述目標(biāo)塊是否為背景靜止圖片部分的評估。
20. —種圖〗象處理方法，包^^:局部運動矢量^r測步驟，在與目標(biāo)畫面圖像不同的參考 畫面圖像上所設(shè)置的搜索范圍中設(shè)置多個參考塊，所述多個參 考塊具有與設(shè)置在所述目標(biāo)畫面圖像中的預(yù)定尺寸的目標(biāo)塊 相同的尺寸并且包括多個像素，確定所述目標(biāo)塊與每個參考塊 之間的相關(guān)值，并才企測所述目標(biāo)塊的局部運動矢量作為計算出 相關(guān)值的最大值的那一個參考塊相對于所述目標(biāo)塊的位移；全局運動計算步驟，計算表示施加給整個圖像的變形的 全局運動；判定步驟，判定在所述局部矢量4企測步驟纟全測到的所述 目標(biāo)塊的局部運動矢量與乂人所述全局運動確定的所述目標(biāo)塊 的全局運動矢量之間的一致度；以及指標(biāo)值獲取步驟，獲取在所述判定步驟中判定的所述目 標(biāo)塊的局部運動矢量與全局運動矢量之間的所述一致度的指標(biāo)值。
21. —種圖像處jk裝置，包括局部運動矢量才企測部，-陂配置為在與目才示畫面圖^象不同 的參考畫面圖像上所設(shè)置的搜索范圍中設(shè)置多個參考塊，所迷 多個參考塊具有與i殳置在所述目標(biāo)畫面圖^f象中的預(yù)定尺寸的 目標(biāo)塊相同的尺寸并且包"fe多個《象素，確定所述目標(biāo)塊與每個 參考塊之間的相關(guān)值，并檢測所述目標(biāo)塊的局部運動矢量作為 計算出相關(guān)值的最大值的那一個參考塊相對于所述目標(biāo)塊的 位移；全局運動計算部，被配置為計算表示施加給整個圖像的變形的全局運動；全局運動矢量計算部，凈皮配置為4吏用所述全局運動來計 算所述目標(biāo)塊的全局運動矢量；以及評估部，^皮配置為將所述目標(biāo)塊與對應(yīng)于所述局部運動運動矢量的所述參考塊的相關(guān)值進(jìn)行互相比較，并基于比較結(jié) 果來執(zhí)行關(guān)于所述目標(biāo)塊是否為背景靜止圖片部分的評估。
22.—種圖i象處理裝置，包^":局部運動矢量4企測部，；故配置為在與目才示畫面圖^f象不同 的參考畫面圖像上所設(shè)置的搜索范圍中設(shè)置多個參考塊，所述 多個參考塊具有與設(shè)置在所述目標(biāo)畫面圖像中的預(yù)定尺寸的 目標(biāo)塊相同的尺寸并且包4舌多個〗象素，確定所述目標(biāo)塊與每個 參考塊之間的相關(guān)值，并4企測所述目標(biāo)塊的局部運動矢量作為 計算出相關(guān)值的最大值的那一個參考塊相對于所述目標(biāo)塊的 位移；全局運動計算部，被配置為計算表示施加給整個圖像的 變形的全局運動；判定部，^皮配置為判定所述目標(biāo)塊的局部運動矢量與乂人 所述全局運動確定的所述目標(biāo)塊的全局運動矢量之間的一致 度；以及指標(biāo)值獲取部，被配置為荻取通過所述判定部判定的所 述目標(biāo)塊的局部運動矢量與全局運動矢量之間的所述一致度 的指標(biāo)值。
全文摘要
本發(fā)明公開了一種圖像處理裝置和圖像處理方法，其中，該圖像處理裝置包括局部運動矢量檢測部、全局運動計算部、全局運動矢量計算部和評估部。通過本發(fā)明，能夠使圖像中的背景靜止圖片部分與運動圖像部分相互分離，并且可以通過塊匹配來獲得消除了噪聲影響的準(zhǔn)確運動矢量。
文檔編號H04N5/232GK101588501SQ20091020341
公開日2009年11月25日 申請日期2009年5月19日 優(yōu)先權(quán)日2008年5月19日
發(fā)明者倉田徹 申請人:索尼株式會社