專利名稱：通過分塊匹配進(jìn)行運動估算的裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及以分塊匹配技術(shù)為基礎(chǔ)的運動估算裝置。
該技術(shù)在電視圖像的運動估算領(lǐng)域是公知的。它包括從包含一組像素的當(dāng)前圖像分塊開始搜索前一圖像中根據(jù)某些標(biāo)準(zhǔn)與之最匹配的一個分塊。這些標(biāo)準(zhǔn)可以是例如重疊像素的亮度值之間的絕對誤差或均方誤差，該誤差是相對分塊的一組像素進(jìn)行疊加而得到的。
該搜索是在圍繞當(dāng)前塊的位置限定的前一圖像的搜索窗口里進(jìn)行的。
由兩個分塊的相對位置得到位移，也就是運動向量的值。
這種只基于前一圖像的技術(shù)稱之為“單邊分塊匹配”。當(dāng)內(nèi)插圖像時，它可以被擴(kuò)展到搜索與該內(nèi)插圖像的實際情況相關(guān)的分塊，作法是對前一圖像和后一圖像進(jìn)行這一搜索。這時可從稱之為“雙邊分塊匹配”，例如，由湯姆森消費電子公司于1993年9月8日申請的歐洲專利申請93402187.4對此作了描述。
在先有技術(shù)中公知、并且在前面所述的專利申請中所描述的兩個運動估算器構(gòu)成的例子示于

圖1和圖2，其中在以當(dāng)前分塊為中心、水平和垂直為±2像素的窗口中進(jìn)行搜索。
圖1相關(guān)于“單邊分塊匹配”。圖中用陰影表示的處理電路在一個輸入端并行接收與當(dāng)前像素(亮度)相關(guān)的信息，由于圖像(或幀)延遲電路而在前一圖像中產(chǎn)生的同類信息表示在每個處理電路的第二輸入端。亮度信息在到達(dá)處理電路的第二輸入端之前必須跨越的行和像素(或采樣值)延遲電路限定與當(dāng)塊分塊相匹配的分塊以及與處理電路相關(guān)的運動向量。這個分塊與由水平(像素延遲)和垂直(行延遲)的逐次延遲所移位的當(dāng)前分塊相對應(yīng)，亮度信息在到達(dá)相關(guān)電路之前經(jīng)過這些延遲。每個處理電路相關(guān)于一個特定的位移，因而也相關(guān)于一個候選運動向量。以當(dāng)前分塊為中心，水平和垂直為±2像素的搜索窗口對應(yīng)于25個候選運動向量。
每個處理電路對到達(dá)其輸入端的當(dāng)前分塊的每個像素累加亮度值之間的誤差，從而得到與該電路相對應(yīng)的當(dāng)前分塊和前一圖像的分塊之間的總誤差。對這個當(dāng)前分塊來說，最小累計誤差指定電路，因而指定前一圖像的分塊以及運動向量。該過程對圖像的每個分塊進(jìn)行。
計算的誤差可以是絕對誤差，也可以是均方誤差。
圖2相應(yīng)于“雙邊分塊匹配”。這時處理電路累加后一圖像的分塊和前一圖像的分塊之間的誤差。由此確定根據(jù)前面所述的專利申請中所提出的原理分配給內(nèi)插圖像的當(dāng)前分塊的運動向量。
這種結(jié)構(gòu)根據(jù)電視掃描來使用視頻信息，它需要很難實施的存儲電路；對中間結(jié)果的這種存儲(它是由這類掃描產(chǎn)生的，并且允許對每個分塊計算誤差)必須在每個處理電路級進(jìn)行，而且對某個處理電路，在每個分塊級甚至是在每個分塊的每行級進(jìn)行。包括在傳輸?shù)较乱环謮K之前掃描一個分塊的所有行，然后一個分塊接著一個分塊作同樣處理的一種解決方案會產(chǎn)生同樣復(fù)雜的掃描變換電路。
運動估算器，特別是處理電路，通常具有不同的結(jié)構(gòu)，這與要處理的分塊的數(shù)目和大小相關(guān)，但不包括由于這個特性所產(chǎn)生的標(biāo)準(zhǔn)化或低成本集成。
本發(fā)明的目的是解決提出的問題。
本發(fā)明的主題是一個通過分塊匹配估算視頻圖像的運動的設(shè)備，它包括每個候選運動向量的處理電路，以便對圖像的每個分塊計算用這個向量匹配的像素之間的誤差。處理電路對分塊的每一行累計誤差，得到部分和，與相同成分的候選運動向量相關(guān)的處理電路被耦合在一起形成一個鏈路，由一個存儲器環(huán)回，以便將對前一分塊在當(dāng)前的視頻行中計算、并相應(yīng)于每個候選向量的誤差的部分和傳送到這個存儲器，并將在前一視頻行中計算、并且相關(guān)于下一分塊的部分和從這個存儲器傳送到相應(yīng)處理電路的輸入端，這些傳送是在計算當(dāng)前分塊的部分和時同時進(jìn)行的。
借助于這個設(shè)備可以簡化實現(xiàn)估算器的電路，并且降低估算器的計算時間和費用。也不需要掃描變換。存儲器電路的數(shù)量也受到限制，從而可以簡化運動估算器的整體結(jié)構(gòu)。這種結(jié)構(gòu)適用于各種類型的匹配，例如在“單邊分塊匹配”類型的前一圖像上或“雙邊分塊匹配”類型的內(nèi)插。它也適用于各種尺寸分塊的使用，并且提供對分塊的計算誤差的方便存取來進(jìn)行順流處理。使用耦合在一起并連接到公用電路的小型重復(fù)基本結(jié)構(gòu)特別適合于大規(guī)模集成，例如生產(chǎn)VLSI(超大規(guī)模集成)電路。
通過下面結(jié)合例子和參考附圖進(jìn)行的描述，可以更好地理解本發(fā)明的特性和優(yōu)點。
圖1代表現(xiàn)有技術(shù)的“單邊分塊匹配”類型的運動估算器的結(jié)構(gòu)；圖2代表現(xiàn)有技術(shù)的“雙邊分塊匹配”類型的運動估算器的結(jié)構(gòu)；圖3代表環(huán)回到一個移位寄存器的運動估算器的處理電路；圖4代表運動估算器的處理電路的另一種形式；圖5代表一組處理電路；圖6代表運動估算器的處理電路組的配置。
處理電路本身的第一種結(jié)構(gòu)示于圖3。
電路的信息輸入相應(yīng)于電視掃描。圖像被以公知的方式分解為分塊，在一個圖像中，M個分塊的一行構(gòu)成了一個帶或“條”。
用于計算絕對誤差或均方誤差1的電路在第一輸入端V1i接收當(dāng)前分塊的當(dāng)前像素的亮度，在第二輸入端V2i接收前一圖像的像素的亮度，這一像素被相對于相關(guān)的處理電路i而移位。如圖1和圖2所示，這個移位事實上依賴于所研究的處理電路，與與之相關(guān)聯(lián)的延遲電路有關(guān)，前一圖像的像素必須經(jīng)過該延遲電路，或確切地說，在到達(dá)處理電路之前，前一圖像的像素和后一圖像的像素必須經(jīng)過該延遲電路。這些數(shù)字亮度值以圖像采樣頻率或像素頻率接收。計算電路的輸出連接到加法器2的第一輸入端，加法器2的第二輸入則來自多路復(fù)用器3。加法器的輸出被發(fā)送到由像素采樣時鐘控制的延遲電路4或存儲寄存器，該時鐘是在時鐘輸入端H1接收的，其延遲則相應(yīng)于兩個樣本之間的間隔。延遲電路的輸出與多路復(fù)用器3的第一輸入端相連。因此，當(dāng)通過發(fā)射到多路復(fù)用器的控制輸入端C1的一個控制信號將多路復(fù)用器3的輸出切換到與延遲電路相連的這個輸入時，加法器2將到達(dá)其第二輸入端的先前累計并存儲的誤差與到達(dá)其第一輸入端的當(dāng)前誤差相加。因此，加法器將按照像素時鐘速度，對由計算電路1相對收到的一組采樣值(像素)所計算的誤差進(jìn)行累計，并一直持續(xù)到多路復(fù)用器改變狀態(tài)為止。加法器2的輸出也連到第二存儲寄存器5的輸入端，該存儲寄存器5與前一個具有相同的類型，但由時鐘輸入H2控制。該寄存器的輸出是處理電路的輸出，被標(biāo)為Si，它連接到移位寄存器6的輸入端。這個移位寄存器的輸出端被連接到多路復(fù)用器3的第二輸入端，它也是處理電路被標(biāo)為Ei的輸入。輸入Ei和輸出Si是處理電路本身的，移位寄存器并不是該電路的一部分。
切換C1按行分塊時鐘速度進(jìn)行，它的頻率(此后稱之為行分塊頻率)比像素頻率低P倍(P是分塊的一行中的像素數(shù)目)。當(dāng)傳送到下一分塊的像素時，多路復(fù)用器以一個像素時鐘節(jié)拍切換到輸入Ei。對分塊的第一行，輸入Ei等于0，對其它行，則等于這個分塊的部分和，這個部分和相應(yīng)于對該塊的每一行一直到當(dāng)前行進(jìn)行誤差累計所得到的誤差和。加法器2將值Ei與相應(yīng)于處理的時鐘行的第一像素所計算的誤差相加。該和被以相應(yīng)于輸入端V1i和V2i的下一采樣的出現(xiàn)的下一像素時鐘節(jié)拍記錄在寄存器4中，并且被傳送到加法器2的輸入端，在這個同一像素時鐘節(jié)拍期間，多路復(fù)用器3又被切換到存儲寄存器4的輸出端。對一個分塊的一行的每個樣本累計誤差，傳送到下一分塊觸發(fā)多路復(fù)用器切換到Ei。
輸入H2接收行分塊時鐘，并且在分塊的一行的結(jié)尾處將加法器產(chǎn)生的部分和存儲在寄存器5中。輸出Si在行分塊時鐘的下一節(jié)拍被記錄在包括M-1個單元的移位寄存器6中。因此，該寄存器以行分塊頻率積累部分誤差。由寄存器5存儲的部分和在M個行分塊時鐘節(jié)拍之后出現(xiàn)在移位寄存器6的輸出端以及多路復(fù)用器3的第二輸入端。這個寄存器與延遲電路5一起起延遲電路作用，延遲一行的時間，使它能夠在處理分塊的一個新行時，將與該分塊的前一行相應(yīng)的部分和輸入到加法器。輸出Si也被發(fā)送到緩沖存儲器，該存儲器只接收與對整個分塊累計的誤差相應(yīng)的值Si，并且對圖像的每個分塊進(jìn)行同樣操作。
將前面描述的處理電路重復(fù)與候選運動向量的個數(shù)相同的次數(shù)，整個電路的復(fù)雜程度與搜索窗口的大小成正比。
該裝置的第二個實施例表示在圖4和圖5，由此可以得到一個更簡單的整體電路。
圖4表示具有輸入Ei和輸出Si的處理電路。圖4中與圖3電路相同的部件用同樣的標(biāo)號表示，并且不作重復(fù)描述。
在加法器2的輸出端得到的累計誤差由多路復(fù)用器7傳送到移位寄存器5，在下面的描述中可以進(jìn)一步明確多路復(fù)用器7的作用。加法器2的輸出被連接到第2個多路復(fù)用器7的第一輸入端，該多路復(fù)用器7的切換由發(fā)送到它的控制輸入端C2的信號控制，其輸出連接到由時鐘輸入H2控制的移位寄存器5。處理電路的輸入Ei被連接到第一多路復(fù)用器3的第二輸入端以及第二多路復(fù)用器7的第二輸入端。
圖5示出了用于對具有同樣水平分量的一組候選運動向量計算塊累計誤差的電路。根據(jù)圖1和圖2給出的例子，需要五組這類處理電路來進(jìn)行匹配處理操作。
以級聯(lián)方式連接的處理電路的個數(shù)N相應(yīng)于運動向量的最大可能水平分量(以像素個數(shù)為單位)，在我們的例子中也是5。每個電路(即前面描述的處理電路)8i接收與亮度相應(yīng)的視頻輸入V1i和V2i。每個電路的輸出Si被連到下一電路的輸入Ei+1，Ei和Si是在圖4中描述的輸入和輸出。最后一個電路8i的輸出Si，即處理電路組的輸出，被連接到FIFO存儲器9的輸入端，該存儲器的輸出被連接到鏈路中的第一電路8的輸入端。
這時不是對每個處理電路在上述類型的移位寄存器中累計部分和，而是在處理了給定分塊的一行后，將可在這些處理電路8i的輸出端得到的這些部分和，在計算下一分塊的部分和的時候，傳輸?shù)揭粋€單一的FIFO存儲器9。這個存儲器可以暫時存儲在每個分塊的每一行產(chǎn)生的部分和，從而可以為一組處理電路8i服務(wù)。
多路復(fù)用器7的作用是將這些測得的部分和傳送到單一FIFO存儲器。因此，多路復(fù)用器7的切換以行分塊頻率進(jìn)行，與多路復(fù)用器3一樣。然而，這時輸入Ei被經(jīng)由多路復(fù)用器持續(xù)傳送到存儲寄存器5，除了與分塊的最后一個像素相應(yīng)的像素時鐘周期之外，這時，多路復(fù)用器被切換到加法器的輸出端，以便將部分和傳輸?shù)酱鎯拇嫫?，后者通過H2來存儲該部分和。
當(dāng)多路復(fù)用器被切換到Ei時，存儲在每個存儲寄存器5中的這些部分和以在H2接收的信號的速率例如像素頻率從一個處理電路的存儲寄存器移位到下一個處理電路的存儲寄存器，并且以同樣的速率記錄在FIFO存儲器中。
在FIFO存儲器中累計的是每個被處理的分塊的N個部分和，即相應(yīng)于M-1個分塊的該條的N×(M-1)個值，計算的最后N個值被存儲在存儲寄存器5中。
因此，當(dāng)處理一個新分塊的一行時，先前對這個新分塊和對每個處理電路存儲的部分和被傳送到這些電路的相應(yīng)輸入，這與每個處理電路對前一分塊計算的部分和被傳送到FIFO存儲器同時發(fā)生，并且是在多路復(fù)用器7被連接到輸入Ei時利用串行化存儲寄存器5來完成的。這些寄存器起到具有N個單元的移位電路的作用。傳送是以在H2接收的像素時鐘頻率進(jìn)行的，同時計算分塊的一行的部分和。當(dāng)輸入/輸出的速度相同時，F(xiàn)IFO存儲器可以是簡單的移位寄存器，具有N(M-1)個存儲單元。
當(dāng)處理一條的最后一行時，經(jīng)過該級聯(lián)的最后一個處理電路的存儲寄存器5的“部分和”實際上是分塊的每個運動向量(或鏈路的每個處理電路)的最終誤差，對條中的每個分塊都是如此。在該處理組的輸出端得到的這些值是運動估算器下面的電路要予以考慮的值。
如果候選運動向量的總數(shù)(也就是處理電路的總數(shù))小于或等于分塊的一行中的像素個數(shù)，那么在處理一個分塊的持續(xù)時間內(nèi)所有的部分和都可以以像素時鐘頻率進(jìn)行傳送。假定傳送的時刻從一組到另一組被移動了像素周期的N倍，那么，對一個給定的分塊而言，由最后的存儲寄存器5輸出的最終誤差可以順序傳輸，例如通過對每個相應(yīng)于運動向量的垂直分量的處理組的輸出進(jìn)行多路傳輸來實現(xiàn)，這是在一個行分塊周期(相應(yīng)于P個像素周期)內(nèi)進(jìn)行的。
如果一個分塊的一行中的像素數(shù)小于處理電路的總數(shù)，而大于處理組的處理電路數(shù)，那么在每個處理組的輸出端使用一個緩沖存儲器，如圖6所示。這是用于收集對圖像的每個分塊測得的誤差并使之連續(xù)的電路。
電路10j相應(yīng)于先前在圖5中描述的電路，也稱為處理組。這個電路10j的輸出與具有相同水平幅值的第j組運動向量相關(guān)，因而是級聯(lián)中的最后一個處理電路8i的輸出。
這個輸出被連到緩沖存儲電路11j的輸入端，電路11j為相應(yīng)于電路10j的運動向量存儲與圖像的每個分塊相關(guān)的誤差，傳送時鐘是也用于將這些誤差傳送到FIFO存儲器的像素時鐘。緩沖器11j的容量等于連接到該緩沖器的處理組的處理電路8的個數(shù)乘以一個條中分塊的個數(shù)。
最后，如果分塊的一行中的像素個數(shù)少于處理組的處理電路數(shù)，那么將部分和傳送到FIFO的頻率以及將塊方式的誤差傳送到緩沖存儲器的頻率必須大于像素頻率。
然而，一個簡單的實施例將包括與一個分塊的每行的像素數(shù)目相應(yīng)的每個組的處理電路個數(shù)。
在我們的例子中，j等于5，這相應(yīng)于垂直方向為±2的窗口，并且假定一個分塊的一行中的像素數(shù)目至少等于5并小于25。然后，對每個組，通過相應(yīng)的緩沖存儲器11j同時傳輸計算的誤差。這種傳送是在掃描每條的最后一行時實現(xiàn)的。多路復(fù)用器12在它的5個輸入端接收來自緩沖存儲器的輸出。通過多路復(fù)用器每一存儲器輸出由該設(shè)備相繼輸出，以便傳送相應(yīng)于同后一行時實現(xiàn)的。多路復(fù)用器12在它的5個輸入端接收來自緩沖存儲器的輸出。通過多路復(fù)用器每一存儲器輸出由該設(shè)備相繼輸出，以便傳送相應(yīng)于同一個分塊的誤差(對每個分塊都如此)，這是以等于像素頻率的緩沖存儲器讀出速率來進(jìn)行的。因此對于給定的圖像分塊，相應(yīng)于候選運動向量的所有誤差都被順序發(fā)送到多路復(fù)用器的輸出--從圖像的第一個分塊一直到最后一個分塊。
如果以像素頻率進(jìn)行傳輸，那么與每個運動向量相關(guān)的分塊誤差的順序傳輸可以在由所包括的分塊數(shù)劃分的條周期期間進(jìn)行，也就是說一個行分塊周期的持續(xù)時間乘以一個分塊的行數(shù)，這相應(yīng)于與一個分塊的像素個數(shù)相等的最大運動向量數(shù)。對以采樣頻率傳輸來說，候選運動向量的個數(shù)必須至多等于一個分塊中的像素總數(shù)。
在與此相反的情況下，讀緩沖寄存器11的頻率必須大于像素頻率。
一個特定的實施例相關(guān)于水平為16個像素、垂直為8個像素的分塊。搜索窗口為垂直±2個像素，水平為+7，一8個像素。運動向量或處理電路的個數(shù)為80，分為5個處理組，每組包括16個處理電路。對一個條所測得的誤差相當(dāng)于80個值乘以該條中的分塊數(shù)。這些值由多路復(fù)用器12以像素頻率在該條的5行期間順序傳輸，該條的其它3行期間不發(fā)送，同時完成當(dāng)前條的誤差計算。
這里所描述的實施例顯然是非限制性的。將處理電路在垂直方向而不是水平方向連接也是完全可行的。也可以選擇與以像素頻率傳送相兼容的連接類型。
同樣也可以對運動估算器的所有處理電路組而不是對每一組處理電路采用一個單一的存儲器9。處理組的輸出可以例如通過三態(tài)電路多路復(fù)用到FIFO輸入，或者傳輸?shù)綌?shù)目足夠的輸入端。
本發(fā)明的應(yīng)用涉及圖像壓縮。
權(quán)利要求
1.一種通過分塊匹配估算視頻圖像的運動的設(shè)備，當(dāng)前圖像的視頻數(shù)據(jù)是根據(jù)行掃描接收的，對每個由水平分量和垂直分量組成的候選運動向量，該設(shè)備包括一個處理電路(8i)，用于對圖像的每個分塊計算由這個向量匹配的像素之間的誤差，其特征在于處理電路(8i)在分塊的每一行累計誤差，從而得到部分和，并且與相同成分的候選向量有關(guān)的處理電路(8i)被耦合在一起形成一個鏈路，該鏈路借助于存儲器(9)環(huán)回，以便將對前一分塊在當(dāng)前視頻行中計算、并相應(yīng)于每個候選向量的部分和傳送到這個存儲器，而將在前一視頻行中計算、并與下一分塊相關(guān)的部分和從這個存儲器傳送到相應(yīng)處理電路的輸入端，上述操作是在計算當(dāng)前分塊的部分和時進(jìn)行的。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其特征在于耦合是在每個處理電路的輸出端實現(xiàn)的，通過一個寄存器(5)存儲部分和，通過一個多路復(fù)用器(7)將處理電路的輸入直接切換到這個寄存器，以便在發(fā)送過程中將部分和通過寄存器轉(zhuǎn)移。
3.根據(jù)權(quán)利要求1或2所述的設(shè)備，其特征在于發(fā)送是以視頻采樣頻率進(jìn)行的。
4.根據(jù)前面的一個權(quán)利要求所述的設(shè)備，其特征在于在處理電路的每個鏈路的輸出端包括一個緩沖器(11j)，用于存儲由每個鏈路輸出的分塊誤差，在緩沖器的輸出端包括一個多路復(fù)用器，用于一個分塊接著一個分塊串行傳輸誤差。
5.根據(jù)前面的一個權(quán)利要求所述的設(shè)備，其特征在于運動估算器是“單邊分塊匹配”類型的。
6.根據(jù)前面的一個權(quán)利要求所述的設(shè)備，其特征在于運動估算器是“雙邊分塊匹配”類型的。
全文摘要
通過分塊匹配估算視頻圖像運動的設(shè)備，對每個候選運動向量包括一個處理電路，用于對圖像的每個分塊計算由這個向量匹配的像素間的誤差，處理電路(8i)在分塊的每一行累計誤差得到部分和，與相同成分的候選向量相關(guān)的處理電路(8i)被耦合在一起形成一個鏈路由存儲器(9)環(huán)回，以將對前一分塊在當(dāng)前視頻行中計算并相應(yīng)于每個候選向量的部分和傳送到該存儲器，將在前一視頻行中計算并與下一分塊有關(guān)的部分和從這個存儲器傳送到相應(yīng)處理電路的輸入端。
文檔編號H04N5/14GK1156382SQ9611671
公開日1997年8月6日 申請日期1996年12月27日 優(yōu)先權(quán)日1995年12月29日
發(fā)明者弗蘭克伊斯·阿爾賓, 邁克爾·尼 申請人:湯姆森多媒體公司