專利名稱：用于減少在mc向上轉(zhuǎn)換中的暈圈的運(yùn)動估算器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于檢測在前一個和下一個圖像間的臨時中間位置的運(yùn)動的方法，其中用于候選向量的準(zhǔn)則函數(shù)被優(yōu)化，所述函數(shù)取決于來自前一個和下一個圖像中的數(shù)據(jù)，并且其中優(yōu)化是在非覆蓋和非裸露區(qū)域中的臨時中間位置進(jìn)行的。
從現(xiàn)有發(fā)明產(chǎn)生的基本觀測數(shù)據(jù)表明，一種估算一個視頻序列中的兩個連續(xù)圖像間的運(yùn)動的估算器，在出現(xiàn)覆蓋或裸露的區(qū)域并不能很好地執(zhí)行，由于這種估算器是典型地用于信息只出現(xiàn)在兩個圖像中的任何一個的區(qū)域。因此即使是對于一個正確的向量塊匹配器也總能找到最大的匹配誤差。
本發(fā)明的目的就是要消除上述問題，概括來說就是在從前一個和/或下一個圖像計算向量場方面的問題。
根據(jù)本發(fā)明，該目的通過在覆蓋區(qū)域的下一個圖像的臨時位置和在裸露區(qū)域的前一個圖像的臨時位置執(zhí)行優(yōu)化來實現(xiàn)。
此外，本發(fā)明涉及一種用于檢測前一個和下一個圖像間的運(yùn)動的裝置，包括用于優(yōu)化候選向量的準(zhǔn)則函數(shù)的裝置，所述函數(shù)取決于前一個和下一個圖像中的數(shù)據(jù)，并且其中優(yōu)化是在非覆蓋和非裸露區(qū)域中的臨時中間位置進(jìn)行的，其中提供了用于檢測覆蓋或裸露區(qū)域的裝置，并且優(yōu)化是在覆蓋區(qū)域的下一個圖像的臨時位置和裸露區(qū)域的前一個圖像的臨時位置進(jìn)行的。根據(jù)本發(fā)明的方法及裝置的實施例在附屬權(quán)利要求中加以說明。
參考相關(guān)的附圖將對本發(fā)明將作更詳細(xì)地說明。


圖1表示用于估算運(yùn)動的方法的一個例子。
圖2表示由于覆蓋引起的模糊區(qū)域；圖3表示由于裸露引起的模糊區(qū)域；圖4表示重計時器的情況；圖5表示用于檢測前景/背景的方法的一個實施例；圖6表示用于檢測前景/背景的方法的另一個實施例；圖7表示用于檢測前景/背景的方法的再一個實施例；
圖8表示用于檢測運(yùn)動的裝置的一個優(yōu)選實施例；圖9表示一個前景/背景檢測器的一個實施例；圖10表示一個前景/背景檢測器的另一個實施例；圖11表示一個前景/背景檢測器的再一個實施例；圖12表示包括在本發(fā)明中的一種圖像顯示裝置；本發(fā)明可以應(yīng)用到各種技術(shù)領(lǐng)域。例如圖像頻率轉(zhuǎn)換，其中根據(jù)本發(fā)明的一種改進(jìn)的向量場會導(dǎo)致一種更滿意的，人工的任意視頻流。該應(yīng)用的典型設(shè)備就是TV和PC機(jī)。
3維不均勻性的分析，其中由滾動攝像機(jī)或從滾動景物中生成的圖像。
根據(jù)本發(fā)明基于視頻壓縮的其中具有一種改進(jìn)的向量場的運(yùn)動會導(dǎo)致高質(zhì)量的預(yù)測以及由此的較高的壓縮率或改善的圖像質(zhì)量。在MPEG中的壓縮就是一個例子。
根據(jù)本發(fā)明基于圖像分析的其中具有一種改進(jìn)的向量場的運(yùn)動會導(dǎo)致目標(biāo)的更可靠的提取和較容易的后期處理。例如安全攝像視頻分析，視頻的特殊效果和通話分析。
在電視技術(shù)中的圖像增強(qiáng)例如背景模糊的避免。
科學(xué)的應(yīng)用，根據(jù)本發(fā)明其中具有一種改進(jìn)的向量場會導(dǎo)致一種更好的數(shù)據(jù)分析。例如白云和海洋學(xué)的人造衛(wèi)星圖片。
可以認(rèn)為，在覆蓋的情況下當(dāng)前圖像中的所有信息存在于前一個圖像中，而在裸露下一個圖像的情況下，在一個裸露區(qū)域中，當(dāng)前圖像包含前一個圖像(局部地圍繞裸露區(qū)域)的所有信息。因此，通過修改匹配誤差計算結(jié)果，由一個覆蓋/裸露檢測器來控制，例如在WO00/11863中公開的一種檢測器，從匹配當(dāng)前圖像與運(yùn)動補(bǔ)償?shù)那耙粓D像(覆蓋)到匹配前一圖像與運(yùn)動補(bǔ)償?shù)漠?dāng)前圖像(裸露)，在估算器中的任何模糊都可以避免。這將會產(chǎn)生更加精確和一致的向量場和減少的暈圈。這種修改將在說明書的后一部分詳細(xì)闡述。
作為這種動態(tài)改變匹配計算結(jié)果的一方面的影響，產(chǎn)生的清楚向量場遲早在某一時刻會不再有效，更不用說在發(fā)生向上轉(zhuǎn)換的時刻了，但是這種“有效時刻”改變?nèi)Q于考慮作為覆蓋、裸露或簡單的固定移動區(qū)域的區(qū)域。這種影響可以用本發(fā)明公開的第二部分來消除，在說明書的后部分加以說明。
下面將參照附圖1來說明改善的運(yùn)動向量計算結(jié)果，該運(yùn)動向量計算結(jié)果使用全搜索塊匹配運(yùn)動估算器算法計算運(yùn)動向量。該算法對于運(yùn)動估算問題來說并不是一個非常劃算的方法，但是卻是更有效的一種方法。相同的原理在G.de Haan，P.W.A.C.Biezen，H.Huygen及O.A.Ojo的論文“3維遞歸搜索塊匹配的實際運(yùn)動估算”，發(fā)表在用于視頻技術(shù)的電路和系統(tǒng)上的IEEE Tr.，第3卷，1993年10月，第368-388頁，以及G.de Haan，P.W.A.C.Biezen的論文“3維遞歸搜索塊匹配的子象素運(yùn)動估算，發(fā)表在信號處理圖像通信6(1994)第220-239頁中有所描述。在塊匹配運(yùn)動估算算法中，一個置換向量通過在一個搜索區(qū)域 內(nèi)搜索一個相似塊被指定到當(dāng)前圖像n中的一塊象素 的中心 ，也可以定中心在 ，但是在前一個圖像n-1中。該相似塊有一個中心，該中心根據(jù)通過置換向量 中的 來變換。為了找到 ，通過使用誤差約數(shù) 去量化塊相似度來求解多個候選向量 。更正式地，定義CSmax作為一組候選向量 根據(jù)前一個圖像的搜索區(qū)域 中的 來描述所有可能(通常為整數(shù))的置換CSmax={C→|-N≤Cx≤N,-M≤Cy≤M}----(1)]]>其中N和M是限制 的常量。一個塊 定中心在 ，X比Y大很多，由當(dāng)前圖像n中的象素位置 組成，定義為B(X)={x|Xx-X/2≤x≤Xx+X/2Xy-Y/2≤y≤Xy+Y/2}----(2)]]>由塊匹配過程產(chǎn)生的置換向量 ，是產(chǎn)生誤差函數(shù) 的最小值的一個候選向量 D→(X→,n)∈{C→∈CSmax|ϵ(C→,X→,n)≤ϵ(V→,X→,n)∀V→∈CSmax}----(3)]]>如果是通常的情形，具有最小匹配誤差的向量 被指定到塊 中的所有象素位置∀x→∈B(X→):D→(x→,n)=D→(x→,n)----(4)]]>而不是只有中心象素，這樣大大減少了計算量。
作為隱含，連續(xù)塊 是不重疊的。對于給定的候選向量 的誤差值是當(dāng)前塊中象素的亮度值以及從前一圖像變換的塊中象素的亮度值的函數(shù)，將塊 求和。一種常規(guī)的選擇，我們也將使用的是差(SAD)的絕對值求和ϵ(C→,X→,n)=Σx→∈B(X→)|F(x→-αC→,n-1)-F(x→+(1-α)C→,n)|----(5)]]>其中α為一個常量，0≤α≤1，確定兩個圖像間的臨時位置，其中向量場必須有效。
圖2更加清楚地表示出了對于所有可能發(fā)生的參考位置0≤α≤1。假定上線對應(yīng)經(jīng)由時間移動的前景目標(biāo)邊緣的位置。然后在后來的圖像中，我們在速度向量邊緣位置XE(運(yùn)動向量代替一個有效的空間變化的位置)的任一邊上查找正確的前景或背景速度，但是我們越將參考位置移向過去的圖像，模糊區(qū)域就變得越大，其中通過成像不可能找到正確的向量。由于所有的候選向量將有一個大的SAD值，求最小值很少選擇某一個意味著結(jié)果向量場幾乎不可能正確的候選向量。
類似地，從圖3中我們可以知道對于裸露區(qū)域來說，如果我們將參考位置α定為0，會導(dǎo)致一個清楚的運(yùn)動估算，換句話說我們將塊從后來的圖像投影到了過去的圖像。對于固定的運(yùn)動如果我們將參考位置α放在中間(例如α為0.5)，則沒有誤差產(chǎn)生。判定一個區(qū)域是覆蓋區(qū)域或裸露區(qū)域可以根據(jù)從以前計算的向量場中的向量邊緣的任何一邊獲得的運(yùn)動向量的XE分量的差的符號來作出。
本發(fā)明基于在例如覆蓋的情況下的理解，存在于后來圖像的封閉區(qū)域中和周圍的所有象素塊也可以在過去的圖像中找到，然而，在過去的圖像中有額外塊，其并不存在于后來的圖像中，因為他們被覆蓋了。用于塊匹配的參考位置放置的一個自然位置在后來的圖像的臨時位置，以后對于所有封閉區(qū)域中或周圍的塊來說，原則上都可以找到一個正確的運(yùn)動向量。
從發(fā)生覆蓋的區(qū)域的觀測數(shù)據(jù)中作出改進(jìn)，正確的運(yùn)動向量可以僅以使用α＝1的估算器來估算。類似地，對于裸露區(qū)域只以使用α＝0的估算器來查找正確的向量。
計算用于中間臨時場合的向量的向量估算器在覆蓋和裸露時都有困難，最壞的情形是模糊區(qū)域比對于極限估算器還小。(最壞的情形是模糊區(qū)域?qū)τ谑褂忙粒?.5的估算器是最小的)。圖2和3列舉了在模糊區(qū)域尺寸上α的結(jié)果。
第1步是改進(jìn)用于覆蓋和裸露位置的塊匹配器，不管對于插入的圖像的α所需的值，在由覆蓋/裸露檢測器指示為一個覆蓋區(qū)域的情況下將等式5變換為∈c(C→,X→,n)=Σx→∈B(x→)|F(x→-C→,n-1)-F(x→,n)|----(6)]]>例如在WO00/11863中所述的，以及在裸露的情況下將等式5變換為∈c(C→,X→,n)=Σx→∈B(x→)|F(x→,n-1)-F(x→+C→,n)|----(7)]]>在非封閉區(qū)域我們例如取α＝0.5，并將塊從過去的和后來的圖像雙向投影到參考塊位置，即在臨時位置插入的圖像中比較他們。對于覆蓋塊我們?nèi)ˇ粒?，并將在后來圖像中的一個塊在其自己的位置與一個從過去的圖像中用候選運(yùn)動向量獲取的塊進(jìn)行匹配。在圖像的裸露區(qū)域我們?nèi)ˇ粒?，換句話說我們將過去圖像中的塊與后來圖像中的塊相匹配。
有多種檢測封閉或更具體的覆蓋和裸露區(qū)域的方式。
覆蓋/裸露檢測器可以使用一個以前的向量場，或當(dāng)前向量場的一個以前的計算結(jié)果(迭代)，或使用基于兩個相鄰圖像間計算的匹配誤差的估算的方法。
一種優(yōu)選的覆蓋/裸露檢測器要考慮速度的符號。如果例如相鄰的速度互相指向我們知道覆蓋肯定會發(fā)生。因此其他情形可以分析并總結(jié)如下VU-VD＞δ(覆蓋)VU-VD＜-δ(裸露)其中VU為速度邊緣XE，VD為低于邊緣的速度，并且δ為一個較小的常量以避免噪聲檢測。這種方法及其穩(wěn)固，因為它不依靠向量的具體數(shù)值。該方法將總是在邊緣的任何一邊具有或多或少的正確的向量值，即使該值是不正確的，它們的差仍是正確的。其次圍繞預(yù)定邊緣的一個很大的區(qū)域為“受保護(hù)的”，因為對覆蓋及裸露分別的估算就像在前景FG區(qū)域如模糊三角形外部中的傳統(tǒng)的估算(等式7)。這提供了對邊緣XE的位置偏移的堅決反對。
從轉(zhuǎn)換α到0或1獲得的優(yōu)點，就是沒有錯誤的向量從求最小化中產(chǎn)生，但是付出的代價是獲得的向量不總是在正確的塊位置。例如前景FG邊緣(向量從背景BG改變?yōu)榍熬癋G速度的塊位置)在位置XE處被找到，代替其實際位置U(見圖2，圖3)。這是由于匹配的時間不正確(例如α＝0代替α＝0.5)。
事實上獲得的向量場在任何單計時時機(jī)都是無效的，但在三個不同的計時時機(jī)，取決于在圖像中的位置，因此這種方法稱為“三臨時運(yùn)動估算器”。通常向量場必須被重計時到所需的中間位置(例如α＝0.5)。在一個序列的具體情況中，前景FG目標(biāo)是固定的，背景BG移到其后面，三臨時向量場的無重計時是必要的，因為前景FG邊緣并不移動(XE＝U)。這種情況經(jīng)常發(fā)生在攝像者跟蹤主要目標(biāo)處的膜材料中。
由于所計劃的修改，對于運(yùn)動估算器沒有任何模糊，盡管我們犧牲了其中向量場為有效的正確的臨時場合。
在算法的第二步中，重計時器，時間誤差是被校正的。為此，向量場被‘投影’到所需的臨時場合，例如在覆蓋的時候向后投影D*(x→,n-1+α)=D(x→+(1-α)D→(x→,n),n)----(8)]]>在裸露時向前投影D*(x→,n-1+α)=D(x→-αD→(x→,n-1),n-1)----(9)]]>這種投影重新引入模糊區(qū)域，例如沒有向量被指入的區(qū)域。這一模糊區(qū)域的起源是以一種估算不知道不連續(xù)性是否沿著圖2中的線“a”或“b”移動，因此從例如在不連續(xù)性上的位置 獲取的向量是背景向量，其應(yīng)放在向上轉(zhuǎn)換的向量場中的該位置，這是很重要的。在前一向量場的幫助下，可能判斷兩個可能的向量邊緣的哪一個移動，及哪一個是背景哪一個是前景速度。
重計時器執(zhí)行以下動作，它確定重計時發(fā)生在哪兒。它查找一個速度邊緣XE并圍繞該邊緣標(biāo)記一個足夠?qū)挼姆忾]區(qū)域。第二它計算應(yīng)該校正多少個塊，通過將前景FG速度舍入到塊精度。第三確定應(yīng)該使用哪個重計時器校正動作。
此外重計時器在時間n-1+α通過從向量邊緣 投影前景速度到清楚向量場來確定向量場中模糊區(qū)域的起始位置 。一個小的求精會導(dǎo)致中間向量場中的邊緣的位置 不是從一個向量場估算的轉(zhuǎn)換結(jié)果，而是作為在當(dāng)前和前一向量場中的位置的加權(quán)(帶α)平均值來計算。重計時器然后用前景或背景速度來填充 和 之間的空間，依靠前景區(qū)域( 的左或右)的邊和前景速度的符號。對于這一工作策略，需要一種堅固的前景/背景判定策略。
制造了有八種不同的重計時器，取決于1、覆蓋與裸露之比2、前景FG速度的符號3、背景FG是在速度邊緣XE的哪一邊。如圖4中所示，其中作為一個例子用于中間圖像的α＝0.5。
圖4的第一上部分涉及覆蓋、邊緣底部的前景FG和前景FG速度VFG＜0的情況。在這種情況下，兩個前景FG塊應(yīng)當(dāng)被背景BG塊替代(填充BG)。圖4的第二上部分涉及覆蓋、前景FG速度VFG＞0和邊緣底邊的前景FG。只有一個背景BG塊應(yīng)當(dāng)由前景FG塊替代(填充前景FG)。圖4的第三上部分涉及裸露、前景速度VFG＜0及邊緣底邊的前景FG。在這種情況下只有一個背景BG塊應(yīng)當(dāng)由一個前景FG塊替代(填充前景FG)。圖4的第四上部分涉及裸露、前景速度VFG＞0及邊緣底邊的前景FG。在這種情況下只有一個前景FG塊應(yīng)當(dāng)由一個背景BG塊替代(填充背景BG)。圖4的第一下部分涉及覆蓋、前景FG速度VFG＜0和邊緣底邊的背景BG。只有一個背景BG塊應(yīng)當(dāng)由一個前景FG塊替代(填充前景FG)。圖4的第二下部分涉及覆蓋、前景FG速度VFG＞0和邊緣底邊的背景FG。只有一個前景FG塊應(yīng)當(dāng)由背景BG塊替代(填充背景BG)。圖4的第三下部分涉及裸露、前景速度VFG＜0及邊緣上邊的前景FG。在這種情況下只有一個前景FG塊應(yīng)當(dāng)由背景BG塊替代(填充背景BG)。圖4的第四下部分涉及裸露，邊緣頂邊的前景FG及前景速度VFG＞0。在這種情況下只有有一個背景BG塊應(yīng)當(dāng)由一個前景FG塊替代(填充前景FG)。請注意在圖4的例子中中間圖像在n+1/2，但很明顯中間圖像可以在距離前一圖像α的位置，其中α可以改變。
重計時器需要知道圍繞目標(biāo)邊緣的哪一個速度是前景哪一個是背景。借助于一個以前的運(yùn)動向量場可以確定哪一個目標(biāo)區(qū)域或速度屬于前景哪一個屬于背景。一個背景塊是用于灰值象素和相關(guān)的速度向量在覆蓋下消失的塊。在前景/背景檢測器中使用向量的一致性，因為它們被判定生成比基于約數(shù)的象素簡化的更可靠的約數(shù)。
在圖5所示的第一策略中，平均向量前景/背景判定，我們使用任意向量 ，其中k小于1，并且 和 為前景和背景目標(biāo)在位置 處的速度，在覆蓋情況下從前一向量場獲取背景速度，在裸露情況下獲取前景速度。使用的最安全的向量是平均向量 。更正規(guī)地，對于覆蓋我們計算在前一圖像對中的邊緣的兩個可能的 和 及在向量場n中的位置 的垂直邊緣x→a=x→E+D→(x→-10,n)]]>x→b=x→E+D→(x→+10,n)----(10)]]>并獲取存在于模糊區(qū)域前一向量場(覆蓋)中的中間位置的向量D→a(x→,n)=D→(x→a+x→b2,n-1)----(11)]]>如果我們需要填充插補(bǔ)向量場的模糊區(qū)域中的前景向量，我們在 和 中選擇一個最不同于 的值。
該第一策略的一個變化形式是從后來的圖像中獲取用于裸露的背景向量D→a(x→,n)=D→(x→a+x→b2,n)----(12)]]>同時x→a=x→1-D→(x→-10,n-1)x→b=x→1+D→(x→+10,n-1)----(13)]]>第二策略(見圖6)，雙邊自速前景/背景判定，對于裸露使用，以背景速度投影到過去的圖像的位置具有比以
投影要高的朝向前景區(qū)域的交叉可能性。當(dāng)出現(xiàn)小的相對速度
或不正確估算向量場的情況時這是很有趣的。因為我們不知道先驗?zāi)囊粋€速度是背景速度，我們以其自己的速度
投影兩個位置在邊緣的任一邊。正如我們看到的理想情形，較低速度從在n中的背景速度變到n-1中的前景速度。在n的前景中的一塊投影到n-1中的前景的可能性是很高的，以致對于實際原因我們會考慮它作為1。所有其他可能的判定結(jié)果如表1中所示。
表1
在兩種投影產(chǎn)生相同(前景)的向量的情況下，我們有一個確定的判定。如果該向量等于上塊的向量，則該向量為前景速度向量，反之亦然。在向量不同時，此方法不能成功，并產(chǎn)生一個不確定的判定。對于覆蓋的情形可以使用一種類似的向后來的圖像映射。
第三策略(見圖7)，邊緣投影前景/背景判定，檢查例如覆蓋前一圖像n中的
和
之間的邊緣是否在存在于位置a或b(見圖2)。如果在位置a檢測到該邊緣，則
，反之亦然。應(yīng)當(dāng)注意n-1中的速度與n中的相同，由于在投影的鄰近區(qū)域可能出現(xiàn)其他速度邊緣。顯然背離用裸露替代覆蓋、用后來替代過去而使用的原則。
應(yīng)當(dāng)注意通過插入匹配誤差可以增強(qiáng)策略。當(dāng)出現(xiàn)前景區(qū)域的一個交叉時，在該塊中向量的匹配誤差會降低。當(dāng)我們投影到一個背景區(qū)域，該區(qū)域錯誤地分配一個前景向量到前一個圖像中時，誤差會比較高。
在圖8中表示根據(jù)本發(fā)明一個實施例的用于在前一個和下一個圖像間的臨時中間位置檢測運(yùn)動的一個設(shè)備。該設(shè)備包括裝置1，用于對候選向量的準(zhǔn)則函數(shù)進(jìn)行優(yōu)化，該函數(shù)取決于來自前一個和下一個圖像中的數(shù)據(jù)。這種優(yōu)化裝置可以如G.de Haan，P.W.A.C.Biezen，H.Huygen及O.A.Ojo的論文“3維遞歸搜索塊匹配的實際運(yùn)動估算”，發(fā)表于用于視頻技術(shù)的電路和系統(tǒng)上的IEEE Tr.，第3卷，1993年10月，第368-388頁描述的來實現(xiàn)。將一個圖像信號J用于對候選向量的準(zhǔn)則函數(shù)進(jìn)行優(yōu)化的裝置1的輸入，而在裝置1的輸出可以得到一個運(yùn)動向量MV。
所述圖像信號E也提供給用于檢測覆蓋/裸露區(qū)域的裝置2，其輸出與用于優(yōu)化候選向量的準(zhǔn)則函數(shù)的裝置1相連。所述用于檢測覆蓋/裸露區(qū)域的裝置2可以是例如WO00/1863中公開的。
用于優(yōu)化候選向量的準(zhǔn)則函數(shù)的置1提供有開關(guān)裝置，由用于檢測覆蓋/裸露區(qū)域的裝置2控制，在非覆蓋和非裸露區(qū)域的臨時中間位置執(zhí)行裝置1的優(yōu)化，反之在覆蓋區(qū)域的下一圖像的臨時位置和在裸露區(qū)域的前一圖像的臨時位置執(zhí)行優(yōu)化。
前一圖像通過分?jǐn)?shù)α乘以候選向量來轉(zhuǎn)換，下一圖像通過1-α乘以候選向量來轉(zhuǎn)換，分?jǐn)?shù)α可以在圖像周期內(nèi)改變。上述準(zhǔn)則函數(shù)是極小化的一個匹配誤差。所述匹配誤差也是分?jǐn)?shù)α的一個函數(shù)。
用于優(yōu)化匹配誤差的裝置設(shè)置成分?jǐn)?shù)α由匹配過程中的覆蓋/裸露檢測器控制。最好在覆蓋情況下設(shè)置分?jǐn)?shù)α為1，在裸露情況下設(shè)置為0。
用于檢測覆蓋/裸露區(qū)域的裝置2選定前一圖像中的數(shù)據(jù)為當(dāng)前估算中的分?jǐn)?shù)α。
圖像信號J還應(yīng)用到前景/背景檢測器4，其輸出控制重計時器3。重計時器3的輸出與用于優(yōu)化準(zhǔn)則函數(shù)的裝置1相連。
重計時器3確定圖像信號中的速度邊緣XE，并圍繞所述邊緣標(biāo)記一個封閉區(qū)域。該重計時器3根據(jù)該封閉為一個覆蓋或裸露區(qū)域、前景速度的符號和前景在速度邊緣XE的哪一邊來控制用于優(yōu)化的裝置1以便在所述封閉區(qū)域中用背景速度替代前景速度或者由前景速度替代背景速度。
在圖9中示出了根據(jù)本發(fā)明的前景/背景檢測器的一個實施例。該檢測器包括提供圖像信號J給其的計算裝置5和6，用于執(zhí)行速度邊緣的位置 的計算。計算裝置5通過在邊緣的一邊通過第一向量轉(zhuǎn)換 來計算前一(覆蓋)或下一(裸露)圖像的第一位置 ，計算裝置6通過在邊緣的另一邊通過第二向量轉(zhuǎn)換 來計算前一(覆蓋)或下一(裸露)圖像的第二位置 。前一或下一圖像的選擇通過覆蓋/裸露檢測器7來執(zhí)行，很明顯對于這種檢測器可以使用圖1中的用于檢測覆蓋/裸露區(qū)域的裝置2。
計算裝置5和6的輸出與計算裝置8的輸入相連，計算 和 之間的第三中間位置。
圖9中的前景/背景檢測器還提供有獲取裝置9，其一個輸入與用于計算第三位置的裝置8的輸出相連，另一個輸入提供有圖像信號J。從獲取裝置9的輸出可以得到背景速度VBG。獲取裝置9從前一(覆蓋)或下一(裸露)圖像中獲取第三位置背景向量速度。該向量被填充在邊緣環(huán)境中圖像的那些區(qū)域，沒有向量被投影，在背景向量 應(yīng)當(dāng)被填充而在 和 之間選擇了最不同于 的向量來填充的情況，在一個前景向量 應(yīng)當(dāng)被填充的情況。根據(jù)另一個確立，第三中間位置為 前景/背景檢測器的另一實施例如圖10所示。該檢測器包括投影裝置10，11其輸入提供有圖像信號J。這些投影裝置10，11由覆蓋/裸露檢測器12控制，該檢測器也提供有圖像信號J。所述檢測器12可以由圖1所示的用于檢測覆蓋和覆蓋區(qū)域的裝置2替代。覆蓋/裸露檢測的控制操作為投影裝置10投影速度邊緣的一邊的位置到前一(覆蓋)或下一(裸露)圖像，投影裝置11投影速度邊緣的另一邊的位置到前一(覆蓋)或下一(裸露)圖像。識別裝置14與投影裝置10和11相連，在其輸出可以獲得背景速度 和前景速度 。該識別裝置14識別作為一種穿過速度不連續(xù)性并投影到前一圖像中的一個前景速度的速度，反之一個前景速度投影到其自身。
更可取地，一個檢查裝置13與投影裝置10，11相連，該裝置檢查兩個投影是否產(chǎn)生相同的向量。如果是，識別確定。
在圖11中示出了前景/背景檢測器的又一實施例。該檢測器也由覆蓋/裸露檢測器17控制，其也可以由圖1中用于檢測覆蓋/裸露區(qū)域的裝置2替代。在圖11的檢測器中一個圖像信號J被提供給投影裝置16的輸入，其在覆蓋裸露檢測器的控制下投影不連續(xù)性到填充在覆蓋位置的前一向量和裸露位置的后來的向量場。此外，提供了用于確定不連續(xù)性一邊的速度的裝置18和用于確定不連續(xù)性另一邊的速度的裝置19。裝置18和19輸出的確定速度提供給測試裝置20。所述測試裝置20與用于檢測邊緣是否通過在不連續(xù)性一邊的第一向量移動或通過不連續(xù)性另一邊的第二向量移動的投影裝置16相連。檢測裝置20發(fā)送背景向量 ，如果不連續(xù)性以第一(第二)向量移動，其背景向量為第二(第一)向量。
此外填充裝置與測試裝置20相連，該填充裝置填充第一(第二)向量在不連續(xù)性環(huán)境中投影向量場的那些區(qū)域，沒有向量被投影，在一個前景向量應(yīng)當(dāng)被填充而填充了其他向量的情況，在一個背景向量應(yīng)當(dāng)被填充的情況下。
圖12表示一種圖像顯示裝置。該裝置包括一個用于檢測前一和下一圖像間的臨時中間位置的運(yùn)動向量的裝置21。一個圖像信號J被提供給裝置21，也提供給用于在前一和下一圖像間插入圖像部分的裝置22。在裝置21的輸出檢測的運(yùn)動向量被提供給插入裝置22的輸入。插入裝置22的輸出用于陰極射線管23。用于檢測一個運(yùn)動向量的裝置可以根據(jù)上述裝置之一來實現(xiàn)。
權(quán)利要求
1.用于檢測在前一個和下一個圖像間的臨時中間位置的運(yùn)動的方法，其中用于候選向量的準(zhǔn)則函數(shù)被優(yōu)化，所述函數(shù)取決于來自前一個和下一個圖像中的數(shù)據(jù)，并且其中優(yōu)化是在非覆蓋和非裸露區(qū)域中的臨時中間位置進(jìn)行的，其特征在于優(yōu)化是在覆蓋區(qū)域的下一個圖像的臨時位置和在裸露區(qū)域的前一個圖像的臨時位置執(zhí)行的。
2.根據(jù)權(quán)利要求1的方法，其中前一圖像通過分?jǐn)?shù)α乘以候選向量來轉(zhuǎn)換，下一圖像通過1-α乘以候選向量來轉(zhuǎn)換，分?jǐn)?shù)α可以在圖像周期內(nèi)改變。
3.根據(jù)權(quán)利要求1的方法，其中準(zhǔn)則函數(shù)是一個被最小化的匹配誤差。
4.根據(jù)權(quán)利要求2的方法，其中分?jǐn)?shù)α在匹配過程中由一個覆蓋/裸露檢測器控制。
5.根據(jù)權(quán)利要求4的方法，其中分?jǐn)?shù)α在覆蓋時設(shè)置為1，在裸露時設(shè)置為0。
6.根據(jù)權(quán)利要求4的方法，其中覆蓋/裸露檢測器選定前一圖像中的數(shù)據(jù)為當(dāng)前估算中的分?jǐn)?shù)。
7.根據(jù)權(quán)利要求1的方法，其中確定一個速度邊緣XE，圍繞所述邊緣標(biāo)記一個封閉區(qū)域，并且在所述區(qū)域中根據(jù)該封閉區(qū)域是覆蓋/裸露區(qū)域、前景速度的符號和前景在速度邊緣XE的哪一邊來由背景速度替代前景速度或正好相反。
8.根據(jù)權(quán)利要求7的方法，其中在速度邊緣的位置 ●在邊緣的一邊通過第一向量轉(zhuǎn)換 來計算前一(覆蓋)或下一(裸露)圖像的第一位置 ●在邊緣的另一邊通過第二向量轉(zhuǎn)換 來計算前一(覆蓋)或下一(裸露)圖像的第二位置 ●計算 和 之間的第三中間位置●最后，在前一(覆蓋)或下一(裸露)圖像中的第三位置用 獲取的向量被填充在邊緣環(huán)境中圖像的那些區(qū)域，沒有向量被投影，在背景向量 應(yīng)當(dāng)被填充而在 和 之間選擇了最不同于 的向量來填充的情況，在一個前景向量 應(yīng)當(dāng)被填充的情況。
9.根據(jù)權(quán)利要求8的方法，其中中間位置為
10.根據(jù)權(quán)利要求7的方法，其中一個背景速度被識別作為一個穿過速度不連續(xù)性并投影到前一圖像中的一個前景速度的速度，反之一個前景速度投影到其自身。
11.根據(jù)權(quán)利要求7的方法，其中檢測附近的邊緣是否通過該邊緣一邊的第一向量移動，或通過該邊緣的另一邊的第二向量移動，在該邊緣以第一(第二)向量移動時，填充第二(第一)向量在該邊緣環(huán)境中投影向量場的那些區(qū)域，沒有向量被投影，在一個背景向量 應(yīng)當(dāng)被填充而填充了其他向量的情況，在一個前景向量 應(yīng)當(dāng)被填充的情況。
12.根據(jù)權(quán)利要求10的方法，其中通過該塊中向量的匹配誤差來檢驗前一圖像中從一個背景區(qū)域到一個前景區(qū)域的交叉。
13.用于檢測在前一個和下一個圖像間的臨時中間位置的運(yùn)動的裝置，所述函數(shù)取決于來自前一個和下一個圖像中的數(shù)據(jù)，其中優(yōu)化是在非覆蓋和非裸露區(qū)域中的臨時中間位置進(jìn)行的，其特征在于提供有用于檢測覆蓋/裸露區(qū)域的裝置(2)，并且優(yōu)化是在覆蓋區(qū)域的下一個圖像的臨時位置和裸露區(qū)域的前一個圖像的臨時位置進(jìn)行的。
14.根據(jù)權(quán)利要求13的裝置，其中前一圖像通過分?jǐn)?shù)α乘以候選向量來轉(zhuǎn)換，下一圖像通過1-α乘以候選向量來轉(zhuǎn)換，分?jǐn)?shù)α可以在圖像周期內(nèi)改變。
15.根據(jù)權(quán)利要求13的裝置，其中準(zhǔn)則函數(shù)是一個被最小化的匹配誤差。
16.根據(jù)權(quán)利要求14的裝置，其中分?jǐn)?shù)α在匹配過程中由一個覆蓋/裸露檢測器控制。
17.根據(jù)權(quán)利要求16的裝置，其中根據(jù)權(quán)利要求4的方法，其中分?jǐn)?shù)α在覆蓋時設(shè)置為1，在裸露時設(shè)置為0。
18.根據(jù)權(quán)利要求16的裝置，其中覆蓋/裸露檢測器(2)選定前一圖像中的數(shù)據(jù)為當(dāng)前估算中的分?jǐn)?shù)α。
19.根據(jù)前述任何一個權(quán)利要求的裝置，其中確定一個速度邊緣XE，圍繞所述邊緣標(biāo)記一個封閉區(qū)域并且在所述區(qū)域中根據(jù)該封閉區(qū)域是覆蓋/裸露區(qū)域、前景速度的符號和前景在速度邊緣XE的哪一邊來由背景速度替代前景速度或正好相反。
20.根據(jù)權(quán)利要求19的裝置，其中提供有計算裝置(5，6，8)，用于在速度邊緣的位置 ●在邊緣的一邊通過第一向量轉(zhuǎn)換 來計算前一(覆蓋)或下一(裸露)圖像的第一位置 ●在邊緣的另一邊通過第二向量轉(zhuǎn)換 來計算前一(覆蓋)或下一(裸露)圖像的第二位置 ●計算 和 之間的第三中間位置?！褡詈?，在前一(覆蓋)或下一(裸露)圖像中的第三位置用 獲取的向量被填充在邊緣環(huán)境中圖像的那些區(qū)域，沒有向量被投影，在背景向量 應(yīng)當(dāng)被填充而在 和 之間選擇了最不同于 的向量來填充的情況，在一個前景向量 應(yīng)當(dāng)被填充的情況。
21.根據(jù)權(quán)利要求20的裝置，其中其中中間位置為
22.根據(jù)權(quán)利要求19的裝置，其中提供了用于投影邊緣的任一邊的兩個位置到前一(覆蓋)或下一(裸露)圖像的裝置(10，11)，其中一個背景速度被識別作為一個穿過速度不連續(xù)性并投影到前一圖像中的一個前景速度的速度，反之一個前景速度投影到其自身。
23.根據(jù)權(quán)利要求19的裝置，其中提供了用于檢測附近邊緣是否通過該邊緣一邊的第一向量移動，或通過該邊緣的另一邊的第二向量移動的裝置(20)，在該邊緣以第一(第二)向量移動時，填充第二(第一)向量在該邊緣環(huán)境中投影向量場的那些區(qū)域，沒有向量被投影，在背景向量 應(yīng)當(dāng)被填充而填充了其他向量的情況，在前景向量 應(yīng)當(dāng)被填充的情況。
24.根據(jù)權(quán)利要求22的裝置，其中提供了用于通過該塊中向量的匹配誤差來檢驗前一圖像中從一個背景區(qū)域到一個前景區(qū)域的交叉的檢驗裝置。
25.圖像顯示裝置，包括根據(jù)權(quán)利要求13的用于檢測運(yùn)動的檢測裝置(21)，與所述檢測裝置(21)相連用于插入圖像部分的裝置(22)和一個與插入裝置相連的顯示裝置(23)。
全文摘要
一種用于檢測在前一個和下一個圖像間的臨時中間位置的運(yùn)動的裝置,該裝置具有用于優(yōu)化候選向量的準(zhǔn)則函數(shù)的優(yōu)化裝置(1),由此該準(zhǔn)則函數(shù)取決于來自前一個和下一個圖像中的數(shù)據(jù)。在非覆蓋和非裸露區(qū)域中的臨時中間位置檢測該運(yùn)動。根據(jù)本發(fā)明該裝置具有用于檢測覆蓋和裸露區(qū)域的裝置(2)及其被設(shè)置為在覆蓋區(qū)域的下一個圖像的臨時位置和裸露區(qū)域的前一個圖像的臨時位置執(zhí)行優(yōu)化的優(yōu)化裝置。
文檔編號H04N7/26GK1381024SQ01801299
公開日2002年11月20日 申請日期2001年4月24日 優(yōu)先權(quán)日2000年5月18日
發(fā)明者G·德哈安, M·J·W·梅爾滕斯 申請人:皇家菲利浦電子有限公司