專利名稱：基于段的運(yùn)動估計(jì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于段的運(yùn)動估計(jì)方法，其用于確定分段圖像的各個(gè)片段的運(yùn)動向量。
本發(fā)明還涉及用于估計(jì)分段圖像的各個(gè)片段的運(yùn)動向量的運(yùn)動估計(jì)裝置。
本發(fā)明還涉及一種圖像處理設(shè)備，其包括-分段裝置，用于將輸入圖像分割為分段圖像；以及-這樣一種運(yùn)動估計(jì)裝置，用于估計(jì)分段圖像的各個(gè)片段的運(yùn)動向量。
背景技術(shù)：
基于段的運(yùn)動估計(jì)在許多視頻處理算法(例如2D到3D內(nèi)容轉(zhuǎn)換、視頻編碼、掃描速率轉(zhuǎn)換、安全目的的目標(biāo)跟蹤，以及圖像質(zhì)量改進(jìn))中都是一個(gè)重要的處理步驟。然而，當(dāng)前的運(yùn)動估計(jì)算法大部分都是基于塊的，由于基于段的運(yùn)動估計(jì)能夠以象素精度計(jì)算運(yùn)動向量，因此具有達(dá)到更高精度的潛能。給定圖像的一種分割，例如視頻幀，基于段的運(yùn)動估計(jì)的要點(diǎn)如下選取每段的候選運(yùn)動向量，通過計(jì)算各個(gè)匹配誤差來估算每段中的每個(gè)候選運(yùn)動向量，并且根據(jù)所述估算選擇每段中最佳匹配的候選運(yùn)動向量。
由于片段可以為任意形狀和大小，這一算法的直接實(shí)現(xiàn)將導(dǎo)致內(nèi)存帶寬的低效使用。通常，從內(nèi)存讀取在考慮之列的片段的范圍框的象素值。這將導(dǎo)致內(nèi)存帶寬的低效使用，因?yàn)椴⒎欠秶騼?nèi)所有的象素都是在考慮之列的該片段的一部分。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提供一種在開篇段落中描述的類型的方法，它基于相對高效的內(nèi)存帶寬使用。
本發(fā)明的這一目的是通過這樣一種方法達(dá)到的，該方法包括-為各個(gè)片段生成候選運(yùn)動向量組；
-將分段圖像劃分為象素塊的格柵；-根據(jù)片段以及塊在分段圖像內(nèi)的位置為這些象素塊確定哪個(gè)候選運(yùn)動向量屬于這些塊；-根據(jù)所確定的候選運(yùn)動向量并且根據(jù)另一個(gè)圖像的象素值計(jì)算這些塊的部分匹配誤差；-在每個(gè)片段中將該部分匹配誤差與多個(gè)匹配誤差組合；-根據(jù)匹配誤差為每個(gè)候選運(yùn)動向量組選擇各個(gè)候選運(yùn)動向量；以及-將所選擇的候選運(yùn)動向量指定為各個(gè)片段的運(yùn)動向量。
本發(fā)明的一個(gè)重要方面是在分段圖像上重疊塊格柵并且對每個(gè)塊做高效運(yùn)動估計(jì)。在對每個(gè)塊執(zhí)行運(yùn)動估計(jì)后，通過對每個(gè)塊的結(jié)果的累加計(jì)算每個(gè)片段的結(jié)果。因此，存儲器存取和部分匹配誤差的計(jì)算都是基于塊的。這些特征能夠得到基于段的運(yùn)動估計(jì)算法一種簡單實(shí)現(xiàn)。根據(jù)本發(fā)明的方法的另一個(gè)優(yōu)點(diǎn)是能夠達(dá)到整體并行性，因?yàn)榉侄螆D像能夠被分割為若干個(gè)組塊，可以并行處理不同組的塊。這一特征能夠?yàn)樵摲椒ㄒ朐S多并行方案(VLIW，ASIC)。
根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例還包括-根據(jù)所述片段以及塊在分段圖像內(nèi)的位置將這些塊的一部分中的每個(gè)塊分割為各個(gè)象素組，所述塊的該部分中的每個(gè)塊與多重片段重疊；-根據(jù)這些片段以及象素組在分段圖像內(nèi)的位置為該象素組確定哪個(gè)候選運(yùn)動向量屬于該象素組；-根據(jù)所確定的候選運(yùn)動向量并且根據(jù)另一個(gè)圖像的象素值計(jì)算這些象素組的另外的部分匹配誤差；以及-在每個(gè)片段中將部分匹配誤差和該另外的部分匹配誤差同多個(gè)匹配誤差組合。
如果塊與多重片段重疊，則將該塊分割為多個(gè)象素組，分組的數(shù)目與同該塊重疊的片段的數(shù)目相等。對塊的每個(gè)組計(jì)算一個(gè)部分匹配誤差。這意味著例如如果一個(gè)塊與四個(gè)片段重疊，那么建立四個(gè)象素組。對于四個(gè)組中的每一個(gè)計(jì)算相應(yīng)的候選運(yùn)動向量。因此，為這個(gè)塊計(jì)算了四個(gè)部分匹配誤差。最終這四個(gè)部分匹配誤差同屬于所述各個(gè)片段的部分匹配誤差相累加。根據(jù)本發(fā)明的這個(gè)實(shí)施例的一個(gè)優(yōu)點(diǎn)是估算結(jié)果的精確性。
在根據(jù)本發(fā)明的方法的另一個(gè)實(shí)施例中，根據(jù)分段圖像中片段同塊之間的重疊的數(shù)量來為象素塊確定哪個(gè)候選運(yùn)動向量屬于這些塊。根據(jù)本發(fā)明的這一實(shí)施例中，為塊估算的候選運(yùn)動向量的數(shù)目同重疊片段數(shù)目之間不是線性關(guān)系。例如，設(shè)想1個(gè)塊同2個(gè)片段重疊并且對于這些片段中的每一個(gè)而言有5個(gè)候選運(yùn)動向量，那么最多可以對這些塊估算10個(gè)候選運(yùn)動向量。但是，如果同這些片段之一的重疊數(shù)量相對較小時(shí)，例如低于該塊的象素的10％，則對于這個(gè)塊來說可以跳過對那個(gè)片段估算候選運(yùn)動向量。這意味著只對那些具有相對較高重疊量的其它片段估算候選運(yùn)動向量本例中為5。對這一計(jì)算可以應(yīng)用兩種不同的方法。第一，對塊的所有象素(包括屬于其它片段的象素)估算候選運(yùn)動向量。第二，只對包括在塊的象素之內(nèi)的一個(gè)象素組(不包括屬于其它片段的象素)估算候選運(yùn)動向量。根據(jù)本發(fā)明的這一實(shí)施例的一個(gè)優(yōu)點(diǎn)是同前述其它實(shí)施例相比其計(jì)算量是有限的。
根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例中，第一部分匹配誤差對應(yīng)分段圖像象素值與所述另一圖像的另外象素值之間差異的總和。優(yōu)選地部分匹配誤差與絕對誤差總和(SAD)相對應(yīng)。象素值意思是亮度值或色彩表示。這種匹配誤差的一個(gè)優(yōu)點(diǎn)是它是穩(wěn)健的，而計(jì)算匹配誤差的計(jì)算量相對較小。
優(yōu)選地一個(gè)象素塊包括8*8或16*16象素。這一格式是一種常用格式。一個(gè)優(yōu)點(diǎn)是與現(xiàn)貨硬件的兼容性。
根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例還包括-根據(jù)指定給第一個(gè)所述片段的第一個(gè)運(yùn)動向量，并且根據(jù)指定給另一個(gè)分段圖像的另一片段的特定運(yùn)動向量來確定最終的運(yùn)動向量，所述分段圖像和所述另一分段圖像都是單一擴(kuò)充圖像的一部分，所述第一片段和所述另外片段都是遍布所述分段圖像和所述另一片段的單一片段的一部分；以及-將最終運(yùn)動向量指定給所述第一片段。
換句話說，根據(jù)本發(fā)明的這一實(shí)施例執(zhí)行一種后處理來組合多個(gè)子圖像的結(jié)果，即部分?jǐn)U充圖像?？创牧硪环N方式是在許多塊帶(stripes of blocks)或塊瓦(tiles of blocks)中處理擴(kuò)充圖像來為子片段尋找中間運(yùn)動向量并且最終這些中間運(yùn)動向量被用來為擴(kuò)充圖像的各個(gè)片段確定合適的運(yùn)動向量。這個(gè)實(shí)施例的一個(gè)優(yōu)點(diǎn)是進(jìn)一步提高了內(nèi)存帶寬的使用效率。
如果第一片段的第一尺寸大于另一片段的第二尺寸則優(yōu)選地將第一運(yùn)動向量指定為最終運(yùn)動向量，并且如果第二尺寸大于第一尺寸便將特定運(yùn)動向量指定為最終運(yùn)動向量?；蛘?，通過計(jì)算所述兩個(gè)運(yùn)動向量(即第一運(yùn)動向量和特定運(yùn)動向量)的平均來確定最終運(yùn)動向量。優(yōu)選地，這是一種基于第一和第二尺寸的加權(quán)平均。
本發(fā)明的另一個(gè)目的是提供一種開篇段落中描述的類型的運(yùn)動估計(jì)裝置，它基于相對高效的內(nèi)存帶寬使用。
本發(fā)明的這一目的是通過該運(yùn)動估計(jì)裝置包括下列部件達(dá)到的-生成裝置，用于為各個(gè)片段生成候選運(yùn)動向量組；-劃分裝置，用于將分段圖像劃分為象素塊格柵；-確定裝置，用于根據(jù)片段以及塊在分段圖像內(nèi)的位置為象素塊確定哪個(gè)候選運(yùn)動向量屬于這些塊；-計(jì)算裝置，用于根據(jù)所確定的候選運(yùn)動向量并根據(jù)另一圖像的象素值為這些塊計(jì)算部分匹配誤差；-組合裝置，用于在每個(gè)片段中將部分匹配誤差組合到多個(gè)匹配誤差中；-選擇裝置，用于根據(jù)匹配誤差為每個(gè)候選運(yùn)動向量組選擇各個(gè)候選運(yùn)動向量；以及-指定裝置，用于將所選的候選運(yùn)動向量指定為各個(gè)片段的運(yùn)動向量。
本發(fā)明的另一個(gè)目的是提供一種在開篇段落中描述的類型的圖像處理設(shè)備，它包括基于相對高效內(nèi)存帶寬使用的運(yùn)動估計(jì)裝置。
本發(fā)明的這一目的通過安排運(yùn)動估計(jì)裝置執(zhí)行權(quán)利要求1的方法達(dá)到。根據(jù)本發(fā)明的圖像處理設(shè)備的一個(gè)實(shí)施例包括基于運(yùn)動向量而被控制的處理裝置。這個(gè)處理裝置可以支持下列圖像處理類型中的一種或多種-視頻壓縮，即編碼或解碼，例如根據(jù)MPEG標(biāo)準(zhǔn)；-去交織處理交織是用于交替?zhèn)魉推鏀?shù)或偶數(shù)數(shù)目的圖像線的通用視頻廣播過程。去交織試圖重建完整的垂直分辨率，即，使得奇數(shù)和偶數(shù)線同時(shí)用于每個(gè)圖像；
-圖像速率轉(zhuǎn)換從一連串原始輸入圖像計(jì)算一大串輸出圖像。輸出圖像暫時(shí)位于兩個(gè)原始輸入圖像之間；以及-時(shí)間降噪。這同樣可以包括空間處理，導(dǎo)致空間-時(shí)間降噪。
圖像處理設(shè)備任選地包括一種用于顯示輸出圖像的顯示設(shè)備。圖像處理設(shè)備可以為例如電視機(jī)、機(jī)頂盒、VCR(盒式磁帶錄象機(jī))播放器、衛(wèi)星調(diào)諧器、DVD(數(shù)字多用盤)播放器或錄像機(jī)。
所述方法的修正及其變形與所描述的運(yùn)動估計(jì)裝置的修正和變形相對應(yīng)。


下述實(shí)施方式和實(shí)施例以及附圖將使根據(jù)本發(fā)明的方法、運(yùn)動估計(jì)裝置和圖像處理設(shè)備的這些以及其它方面變得明顯，并且將結(jié)合這些實(shí)施方式和實(shí)施例并參考附圖對其進(jìn)行說明，其中圖1示意性示出兩個(gè)連續(xù)分段圖像；圖2示意性示出圖1的一個(gè)細(xì)節(jié)；圖3示意性示出根據(jù)本發(fā)明的運(yùn)動估計(jì)裝置的一個(gè)實(shí)施例；圖4示意性示出圖1中的一個(gè)分段圖像以及形成該分段圖像的4個(gè)子圖像；以及圖5示意性示出根據(jù)本發(fā)明的圖像處理設(shè)備。
全部附圖中，相同的參考數(shù)字被用來表示相似的部件。
具體實(shí)施例方式
圖1示意性示出兩個(gè)連續(xù)的分段圖像100和102。第一圖像100包括4個(gè)片段S11、S12、S13以及S14。第二圖像102同樣包括4個(gè)片段S21、S22、S23以及S24。第一圖像100的片段S11對應(yīng)于第二圖像102的片段S21。第一圖像100的片段S12對應(yīng)于第二圖像102的片段S22。第一圖像100的片段S13對應(yīng)于第二圖像102的片段S23。第一圖像100的片段S14對應(yīng)于第二圖像102的片段S24。由于移動，例如涉及作為圖像的一個(gè)場景的目標(biāo)的照相機(jī)的移動，所述不同片段相對于圖像坐標(biāo)系發(fā)生移位?？梢酝ㄟ^運(yùn)動估計(jì)來估計(jì)這些移位。這意味著運(yùn)動向量MV(1)、MV(2)、MV(3)以及MV(4)被估計(jì)出來，它們分別描述片段S11、S12、S13以及S14同片段S21、S22、S23以及S24之間的關(guān)系。運(yùn)動估計(jì)基于對每個(gè)片段的候選運(yùn)動向量CMV(s，c)的估算，s表示片段且c表示每個(gè)片段的候選者。對片段的每個(gè)候選運(yùn)動向量CMV(s，c)計(jì)算一個(gè)匹配誤差ME(s，c)。在每個(gè)片段中選出具有最低匹配誤差的候選運(yùn)動向量。這一被選候選運(yùn)動向量被指定為相應(yīng)片段的運(yùn)動向量MV(s)。
根據(jù)本發(fā)明對匹配誤差ME(s，c)的計(jì)算基于多個(gè)部分匹配誤差ME(s，c，b)的計(jì)算。分段圖像被劃分為相互等尺寸的多個(gè)塊。檢驗(yàn)這些塊中的每一個(gè)分別與圖像的哪個(gè)片段相重疊。根據(jù)該重疊選擇合適的候選運(yùn)動向量?；谶@些候選運(yùn)動向量以及塊的坐標(biāo)，第二圖像102的相應(yīng)象素值被用于同該塊的象素值相比較。以這種方式(例如行掃描方案或列掃描方案)逐塊計(jì)算出部分匹配誤差ME(s，c，b)?？蛇x地，并行處理被應(yīng)用來同時(shí)計(jì)算多個(gè)部分匹配誤差ME(s，c，b)。每個(gè)片段的部分匹配誤差ME(s，c，b)都按方程(1)規(guī)定的形式進(jìn)行累加ME(s,c)=Σbb⋐sME(s,c,b)---(1)]]>某些塊完全包含在片段之一中，例如塊b11、b12、b13、b21、b22、b23、b31、b32、b33以及b41包含在片段S11中。很明顯這種情況下這些塊的部分匹配誤差ME(s，c，b)都貢獻(xiàn)給片段S11。但是同樣存在對應(yīng)于多個(gè)片段的塊。例如，塊b14部分位于片段S11中而部分位于片段S12中。有很多方法來處理這些類型的塊。下面將通過例子來解釋這些方法。
第一種方法基于將同多重片段重疊的每個(gè)塊分割為多個(gè)象素組。圖2示意性示出圖1的一個(gè)細(xì)節(jié)。更具體的，繪出了塊b24?？梢钥闯鲞@一塊b24包括對應(yīng)片段S11的第一象素組202以及對應(yīng)片段S12的第二象素組204。對第一象素組202必須估算片段S11的候選運(yùn)動向量，而對第二象素組204必須估算片段S12的候選運(yùn)動向量。注意片段S11的某些候選運(yùn)動向量可能等于片段S12的某些候選運(yùn)動向量。但是，候選運(yùn)動向量組之間還是存在差異的可能性很大。因此，對第一象素組202計(jì)算多個(gè)部分匹配誤差ME(s11，c，b24(1))，而對第二象素組204計(jì)算多個(gè)部分匹配誤差ME(s12，c，b24(2))。這種情況下，塊b24的第一象素組202被指示為b24(1)而塊b24的第二象素組204被指示為b24(2)。通過累加部分或完全屬于片段S11的部分匹配誤差來計(jì)算片段S11的不同候選運(yùn)動向量的匹配誤差。
ME(S11，c)＝ME(S11，c，b11)+ME(S11，c，b12)+ME(S11，c，b13)+ME(S11，c，b14(1))+ME(S11，c，b21)+ME(S11，c，b22)+ME(S11，c，b23)+ME(S11，c，b24(1))+ (2)ME(S11，c，b31)+ME(S11，c，b32)+ME(S11，c，b33)+ME(S11，c，b34(1))+ME(S11，c，b41)+ME(S11，c，b42(1))+ME(S11，c，b43(1))+ME(S11，c，b44(1))+ME(S11，c，b51(1))+ME(S11，c，b52(1))在累加部分匹配誤差之后，便知道了每個(gè)候選運(yùn)動向量對應(yīng)的匹配誤差。具有最低匹配誤差的候選運(yùn)動向量MV(S11，c)被選為片段S11的運(yùn)動向量MV(S11)。
第二種方法同樣基于將同多個(gè)片段重疊的每個(gè)塊分割為多個(gè)象素組。但是，如果一個(gè)組的象素?cái)?shù)低于預(yù)定閥值，則不對該象素組計(jì)算部分運(yùn)動向量。閥值為例如塊象素?cái)?shù)的1/2或1/4。例如圖1所示的例子中，這意味著如果閥值等于該塊象素?cái)?shù)的1/4，則塊b44和b52對片段S1的候選運(yùn)動向量的匹配誤差的計(jì)算沒有貢獻(xiàn)。對于包含的象素高于預(yù)定閥值的象素組，如前所述計(jì)算和累加部分運(yùn)動向量。
第三種方法中，根據(jù)片段同分段圖像內(nèi)塊之間的重疊量來確定哪個(gè)候選運(yùn)動向量屬于該塊。這意味著如果一個(gè)特定塊被多個(gè)片段重疊，則根據(jù)這個(gè)特定塊的所有象素并且根據(jù)同這個(gè)特定塊具有最大重疊量的片段的候選運(yùn)動向量來計(jì)算部分匹配誤差。例如，在圖1所示的例子中，這意味著對片段S1的候選運(yùn)動向量的匹配誤差的計(jì)算，下列塊完全貢獻(xiàn)給片段S1b14、b24以及b34。可選地，檢測最大重疊是否高于預(yù)定閥值。這在塊同多于兩個(gè)的片段重疊時(shí)是特別有意義的。如果最大重疊低于預(yù)定閥值，則不對該塊計(jì)算部分匹配誤差。
第四種方法中，不對那些同多個(gè)片段重疊的塊計(jì)算部分匹配誤差。換句話說，這些塊對候選運(yùn)動向量的估算沒有貢獻(xiàn)。例如，圖1所示的例子中，這意味著對片段S1的候選運(yùn)動向量的匹配誤差的計(jì)算，僅僅下列塊做出貢獻(xiàn)b11、b12、b13、b21、b22、b23、b31、b32、b33以及b41。
應(yīng)當(dāng)注意盡管圖1示出兩個(gè)分段圖像100和102，但實(shí)際上僅要求一個(gè)分段。這意味著其它圖像不需要被分段。這是根據(jù)本發(fā)明的方法的一個(gè)優(yōu)點(diǎn)。因?yàn)閷?shí)際計(jì)算是基于塊的，而塊到組的任意劃分僅僅基于一個(gè)分段圖像的片段。
圖3示意性示出根據(jù)本發(fā)明的運(yùn)動估計(jì)裝置300的一個(gè)實(shí)施例。運(yùn)動估計(jì)裝置300在輸入連接器316處被供以圖像(即象素值)，并且在輸入連接器318處被提供以分段數(shù)據(jù)(例如每個(gè)圖像的掩?；蛎總€(gè)圖像的包圍片段的輪廓線的描述)。運(yùn)動估計(jì)裝置300在輸出連接器320處為每個(gè)圖像提供一個(gè)運(yùn)動向量。運(yùn)動估計(jì)裝置300被安排來估計(jì)如結(jié)合圖1所說明的運(yùn)動向量。運(yùn)動估計(jì)裝置300包括-生成裝置314，用于為分段圖像的各個(gè)片段生成候選運(yùn)動向量組；-劃分裝置304，用于將分段圖像劃分為象素塊格柵。劃分裝置304被安排從存儲設(shè)備302取出那些屬于被考慮象素塊的象素值?；蛘撸瑒澐盅b置304被安排來確定坐標(biāo)并且根據(jù)這些坐標(biāo)將象素值的取出留給運(yùn)動估計(jì)裝置300的其它裝置。存儲設(shè)備302可以是運(yùn)動估計(jì)裝置300的一部分，但它還可以被圖像處理設(shè)備的其它裝置或模塊共享，例如在運(yùn)動估計(jì)裝置300控制下的分段裝置502或圖像處理裝置504-確定裝置306，用于根據(jù)片段以及塊在分段圖像內(nèi)的位置為象素塊確定哪個(gè)候選運(yùn)動向量屬于這些塊；-計(jì)算裝置308，用于根據(jù)所確定的候選運(yùn)動向量并根據(jù)另一圖像的象素值為塊計(jì)算部分匹配誤差；-組合裝置310，用于在每個(gè)片段中將部分匹配誤差組合到多個(gè)匹配誤差中；-選擇裝置312，用于根據(jù)匹配誤差為每個(gè)候選運(yùn)動向量組選擇各個(gè)候選運(yùn)動向量，并且將所選的候選運(yùn)動向量指定為各個(gè)片段的運(yùn)動向量。
運(yùn)動估計(jì)裝置300的操作如下。還看圖1。假定圖像100被劃分為4個(gè)片段S11到S14，并且每個(gè)片段最初只有一個(gè)候選運(yùn)動向量。這些候選運(yùn)動向量CMV(*，*)通過生成裝置314生成并且被提供到確定裝置306。
劃分裝置304被安排來訪問存儲設(shè)備，由此以從左上角到右下角(即從塊b11到塊b88)的掃描方案逐塊取出圖像100的象素值。劃分裝置304將每個(gè)塊(例如b11)的對應(yīng)(x，y)坐標(biāo)提供到確定裝置306。確定裝置306被安排根據(jù)這些坐標(biāo)并根據(jù)片段的位置來為每個(gè)象素塊確定哪個(gè)候選運(yùn)動向量屬于這些塊。
第一塊b11完全被第一片段S11重疊。因此，只有片段S1的候選運(yùn)動向量CMV(S11，C1)被提供到計(jì)算裝置308。根據(jù)該候選運(yùn)動向量CMV(S11，C1)并且根據(jù)塊b11的坐標(biāo)，計(jì)算裝置被安排來得到另一圖像102的象素值。接下來該塊的部分匹配誤差ME(S11，C1，b11)被計(jì)算出來并且被提供到組合裝置310。對塊b12和b13執(zhí)行相似的處理步驟，分別得到部分匹配誤差ME(S11，C1，b12)和ME(S11，C1，b13)。
第4塊b14部分被第一片段S11重疊且部分被第二片段S12重疊。因此，兩個(gè)候選運(yùn)動向量CMV(S11，C1)和CMV(S12，C1)被提供到計(jì)算裝置308。計(jì)算裝置308被安排來根據(jù)如下條件得到另一圖像102的象素值-候選運(yùn)動向量CMV(S11，C1)和CMV(S12，C1)；-分段數(shù)據(jù)；以及-塊b11的坐標(biāo)。
由此計(jì)算出塊b14的兩個(gè)象素組b14(1)和b14(2)的兩個(gè)部分匹配誤差ME(S11，C1，b14(1))和ME(S12，C1，b14(2))，并將它們提供給組合裝置310。
以相似的方式對所有塊執(zhí)行上述處理步驟。計(jì)算出所有部分匹配誤差后，建立每個(gè)片段的匹配誤差。很清楚可以并行計(jì)算和累加部分匹配誤差。
隨后為每個(gè)片段生成一個(gè)新的候選運(yùn)動向量。優(yōu)選地，這些新的候選運(yùn)動向量從其它片段的候選組導(dǎo)出。同樣對這些新的候選者計(jì)算相應(yīng)的匹配誤差。計(jì)算出候選運(yùn)動向量的所有匹配誤差后，選擇裝置312為每個(gè)片段選擇具有最低匹配誤差的候選運(yùn)動向量。
以上描述了交替執(zhí)行候選運(yùn)動向量的生成和估算?；蛘?，相繼執(zhí)行生成和估算，即首先生成所有的候選運(yùn)動向量，隨后進(jìn)行估算?；蛘撸紫壬梢徊糠趾蜻x運(yùn)動向量并估算，然后生成第二部分候選運(yùn)動向量并進(jìn)行估算。
以上描述了對于特定塊每個(gè)重疊片段只估算一個(gè)候選運(yùn)動向量。然后處理下一個(gè)塊?；蛘撸?jì)算特定塊所有可得到的候選運(yùn)動向量，并且隨后估算下一個(gè)塊所有可得到的候選運(yùn)動向量。
可以使用一個(gè)處理器實(shí)現(xiàn)生成裝置314、劃分裝置304、確定裝置306、計(jì)算裝置308、組合裝置310以及選擇裝置312。通常，這些功能是在軟件程序產(chǎn)品的控制下執(zhí)行的。執(zhí)行期間，該軟件程序產(chǎn)品通常被載入像RAM的存儲器中，并且從那里執(zhí)行。程序還可以從像ROM、硬盤或磁盤和/光盤存儲器的后臺存儲器取出，或可以通過像因特網(wǎng)的網(wǎng)絡(luò)下載。任意一種專用集成電路都可提供所公開的功能性。
以上描述了以逐行掃描方案執(zhí)行處理?；蛘呖梢栽谠S多行并行執(zhí)行處理。整個(gè)圖像的第一迭代之后，通常要對整個(gè)圖像執(zhí)行額外數(shù)目的迭代。優(yōu)選地，后續(xù)迭代的掃描方案是不同的，例如逐行掃描、逐列掃描、z形掃描。迭代達(dá)到預(yù)定數(shù)目或者達(dá)到收斂時(shí)便停止處理。
盡管整個(gè)圖像上的迭代會得到合適的結(jié)果，但從內(nèi)存帶寬使用的角度來講，優(yōu)選地將估計(jì)各個(gè)片段的運(yùn)動向量的過程劃分為估計(jì)子片段的中間運(yùn)動向量的子過程，其后跟隨一個(gè)將子過程的結(jié)果組合起來的后處理步驟。圖4示意性示出圖1中的分段圖像之一100以及形成該分段圖像100的4個(gè)子圖像401到404。第一子圖像401對應(yīng)塊b11到b28。第二子圖像402對應(yīng)塊b31到b48。第三子圖像403對應(yīng)塊b51到b68。第四子圖像404對應(yīng)塊b71到b88。第一子圖像401同一個(gè)第一部分(即如圖1所示的片段S11的子片段S111)重疊，并且第一子圖像401與一個(gè)第二部分(即如圖1所示的片段S12的子片段S121)重疊。第二子圖像402與一個(gè)第一部分(即片段S11的子片段S112)、一個(gè)第二部分(即片段S12的子片段S122)、一個(gè)第三部分(即片段S13的子片段S132)以及一個(gè)第四部分(即片段S14的子片段S142)重疊。第三子圖像403與一個(gè)第一部分(即片段S13的子片段S133)以及一個(gè)第二部分(即片段S14的子片段S143)重疊。第四子圖像404與一個(gè)第一部分(即片段S13的子片段S134)以及一個(gè)第二部分(即片段S14的子片段S144)重疊。
首先分別為子片段S111到S144估計(jì)初始運(yùn)動向量MV(S111)到MV(S144)。這即使在指定子圖像的環(huán)境中也按參照圖1到圖3所描述方式執(zhí)行。可以按順序(即逐子圖像地)執(zhí)行初始運(yùn)動向量MV(S111)到MV(S144)的估計(jì)。但是，優(yōu)選地并行執(zhí)行初始運(yùn)動向量MV(S111)到MV(S144)的估計(jì)。確定了初始運(yùn)動向量MV(S111)到MV(S144)之后，便可建立分段圖像100的各個(gè)片段S11到S14的最終運(yùn)動向量MV(S1)到MV(S14)。例如，根據(jù)為子片段S121確定的第一運(yùn)動向量MV(S121)以及為子片段S122確定的第二運(yùn)動向量MV(S122)來確定片段S12的最終運(yùn)動向量MV(S12)。許多情況下，第一運(yùn)動向量MV(S121)看起來與第二運(yùn)動向量MV(S122)相等。這時(shí)建立片段S12的最終運(yùn)動向量就相對簡單，即選擇一個(gè)或另一個(gè)。在第一運(yùn)動向量MV(S121)與第二運(yùn)動向量MV(S122)之間存在差異的情況下，優(yōu)選地選擇與片段S12重疊最大的初始運(yùn)動向量。這種情況下，第一運(yùn)動向量MV(S121)被指定為片段S12的最終運(yùn)動向量MV(S12)，因?yàn)榈谝蛔悠蜸121的第一尺寸大于子片段S122的第二尺寸。
接下來，討論一個(gè)建立對應(yīng)于片段S13的最終運(yùn)動向量MV(S13)的例子，其中片段S13與三個(gè)子片段S132、S133以及S134重疊。首先確定不同子片段S132、S133以及S134與片段S13的重疊量。這是通過計(jì)數(shù)位于表示片段S13的輪廓線的各個(gè)部分之內(nèi)的并且位于與該輪廓線交叉的子片段402、403及404的邊界內(nèi)的各個(gè)象素?cái)?shù)來實(shí)現(xiàn)的。這種情況下，子片段S132的第一尺寸相對較低。由于這個(gè)原因，計(jì)算片段S13的最終運(yùn)動向量MV(S13)時(shí)不考慮對應(yīng)的初始運(yùn)動向量MV(S132)。片段S13的最終運(yùn)動向量MV(S13)基于分別為子片段S133和S134確定的初始運(yùn)動向量MV(S133)和MV(S134)的加權(quán)平均。加權(quán)系數(shù)基于子片段S133和S134各自的重疊量。
圖5示意性示出根據(jù)本發(fā)明的一種圖像處理設(shè)備，其包括-分段裝置502，用于將輸入圖像分割為分段圖像。分段裝置502被安排來接收代表輸入圖像的信號。該信號可以是通過天線或電纜接收的廣播信號，但也可以是來自像VCR(盒式磁帶錄象機(jī))或數(shù)字多用盤(DVD)的存儲設(shè)備的信號。該信號被提供到輸入連接器510處；-基于段的運(yùn)動估計(jì)裝置508，如參照圖3所述；-圖像處理裝置504，其由運(yùn)動估計(jì)裝置508控制。圖像處理裝置504可以支持下列圖像處理類型中的一種或多種視頻壓縮、去交織、圖像速率轉(zhuǎn)換或時(shí)間降噪。
-顯示設(shè)備506，用于顯示圖像處理裝置504的輸出圖像。
圖像處理設(shè)備500例如可以為電視?；蛘邎D像處理設(shè)備500不包括任意顯示設(shè)備506而將輸出圖像提供給包括顯示設(shè)備506的儀器。則圖像處理設(shè)備500例如可以為機(jī)頂盒、衛(wèi)星調(diào)諧器、VCR播放器、DVD播放器或錄像機(jī)?？蛇x地圖像處理設(shè)備500包括像硬盤或移動介質(zhì)存儲的裝置一類的存儲裝置，例如光盤。圖像處理設(shè)備500還可以是被電影制片廠或廣播電臺所應(yīng)用的系統(tǒng)。
應(yīng)該注意上述實(shí)施例是為了說明而不是限制本發(fā)明，并且在不背離附加權(quán)利要求范圍的前提下本領(lǐng)域內(nèi)的技術(shù)人員將能夠設(shè)計(jì)出其它實(shí)施例。權(quán)利要求中，置于括號中間的任何參考標(biāo)記都不應(yīng)對權(quán)利要求構(gòu)成限制。單詞“包括”并不排除權(quán)利要求中所列舉的那些元件或步驟之外的其它元件或步驟。在元件之前的單詞“一個(gè)”并不排除多個(gè)此類元件的出現(xiàn)。本發(fā)明可以通過包括若干獨(dú)特元件的硬件且通過適當(dāng)編程的計(jì)算機(jī)來實(shí)現(xiàn)。在組合權(quán)利要求說明中列舉了若干設(shè)備，這些設(shè)備中的某些能夠被同一硬件對象實(shí)現(xiàn)。
權(quán)利要求
1.一種基于段的運(yùn)動估計(jì)方法，用于為分段圖像(100)的各個(gè)片段(S11到S14)確定運(yùn)動向量，該方法包括-為各個(gè)片段(S11到S14)生成候選運(yùn)動向量組；-將分段圖像(100)劃分為象素塊(b11到b88)格柵；-根據(jù)片段(S11到S14)以及塊(b11到b88)在分段圖像(100)內(nèi)的位置為象素的塊(b11到b88)確定哪個(gè)候選運(yùn)動向量屬于這些塊(b11到b88)；-根據(jù)所確定的候選運(yùn)動向量并且根據(jù)另一圖像(102)的象素值計(jì)算這些塊(b11到b88)的部分匹配誤差；-在每個(gè)片段中，將該部分匹配誤差組合到多個(gè)匹配誤差中；-根據(jù)匹配誤差為每個(gè)候選運(yùn)動向量組選擇各個(gè)候選運(yùn)動向量；以及-將所選的候選運(yùn)動向量指定為各個(gè)片段(S11到S14)的運(yùn)動向量。
2.根據(jù)權(quán)利要求1的基于段的運(yùn)動估計(jì)方法，其還包括-根據(jù)片段(S11到S14)以及塊(b11到b88)在分段圖像(100)內(nèi)的位置將塊(b11到b88)的一部分中的每個(gè)塊劃分為各個(gè)象素組，這些塊(b11到b88)的該部分中的每個(gè)塊與多個(gè)片段(S11到S14)重疊；-根據(jù)片段(S11到S14)以及象素組在分段圖像(100)內(nèi)的位置為象素組確定哪個(gè)候選運(yùn)動向量屬于這些象素組；-根據(jù)所確定的候選運(yùn)動向量并根據(jù)另一圖像(102)的象素值為這些象素組計(jì)算另外的部分匹配誤差；以及-在每個(gè)片段中將部分匹配誤差以及所述另外的匹配誤差組合到多個(gè)匹配誤差中。
3.根據(jù)權(quán)利要求1的基于段的運(yùn)動估計(jì)方法，其中為象素塊(b11到b88)確定哪個(gè)候選運(yùn)動向量屬于這些塊(b11到b88)基于分段圖像(100)內(nèi)片段(S11到S14)與塊(b11到b88)之間的重疊量。
4.根據(jù)權(quán)利要求1的基于段的運(yùn)動估計(jì)方法，其中第一個(gè)部分匹配誤差對應(yīng)于分段圖像(100)的象素值與另一圖像(102)的另一象素值之間的差異的和。
5.根據(jù)權(quán)利要求1的基于段的運(yùn)動估計(jì)方法，其中象素的第一塊(b11到b88)包括8*8或16*16象素。
6.根據(jù)權(quán)利要求1的基于段的運(yùn)動估計(jì)方法，其還包括-根據(jù)指定給第一片段的第一運(yùn)動向量并且根據(jù)指定給另一個(gè)分段圖像的另一片段的特定運(yùn)動向量來確定一個(gè)最終運(yùn)動向量，所述分段圖像和另一分段圖像都是單一擴(kuò)展圖像的一部分，第一個(gè)片段和另一片段都是單一片段的一部分，該單一片段分布在所述分段圖像和另一分段圖像之上；以及-將所述最終運(yùn)動向量指定到第一片段。
7.根據(jù)權(quán)利要求6的基于段的運(yùn)動估計(jì)方法，其中如果第一片段的第一尺寸大于另一片段的第二尺寸便將第一運(yùn)動向量指定為最終運(yùn)動向量，并且其中如果第二尺寸大于第一尺寸便將特定運(yùn)動向量指定為最終運(yùn)動向量。
8.一種運(yùn)動估計(jì)裝置(300)，用于為分段圖像(100)的各個(gè)片段(S11到S14)估計(jì)運(yùn)動向量，所述運(yùn)動估計(jì)裝置包括-生成裝置(314)，用于為各個(gè)片段(S11到S14)生成候選運(yùn)動向量組；-劃分裝置(304)，用于將分段圖像(100)劃分為象素塊(b11到b88)格柵；-確定裝置(306)，用于根據(jù)片段(S11到S14)以及塊(b11到b88)在分段圖像(100)內(nèi)的位置為象素塊(b11到b88)確定哪個(gè)候選運(yùn)動向量屬于這些塊(b11到b88)；-計(jì)算裝置(308)，用于根據(jù)所確定的候選運(yùn)動向量并且根據(jù)另一圖像(102)的象素值為塊(b11到b88)計(jì)算部分匹配誤差；-組合裝置(310)，用于在每個(gè)片段中將部分匹配誤差組合到多個(gè)匹配誤差中；-選擇裝置(312)，用于根據(jù)匹配誤差為每個(gè)候選運(yùn)動向量組選擇各個(gè)候選運(yùn)動向量；以及-指定裝置，用于將所選的候選運(yùn)動向量指定為各個(gè)片段(S11到S14)的運(yùn)動向量。
9.一種圖像處理設(shè)備(500)，其包括-分段裝置(502)，用于將輸入圖像分割為分段圖像(100)；以及-運(yùn)動估計(jì)裝置(508)，用于如權(quán)利要求6所述為分段圖像(100)的各個(gè)片段(S11到S14)估計(jì)運(yùn)動向量。
10.根據(jù)權(quán)利要求9的圖像處理設(shè)備(500)，其特征在于它還包括根據(jù)所述運(yùn)動向量而被控制(504)的處理裝置。
11.根據(jù)權(quán)利要求10的圖像處理設(shè)備(500)，其特征在于處理裝置(504)被安排來執(zhí)行視頻壓縮。
12.根據(jù)權(quán)利要求10的圖像處理設(shè)備(500)，其特征在于處理裝置(504)被安排來執(zhí)行去交織。
13.根據(jù)權(quán)利要求10的圖像處理設(shè)備(500)，其特征在于處理裝置(504)被安排來執(zhí)行圖像速率轉(zhuǎn)換。
14.根據(jù)權(quán)利要求9的圖像處理設(shè)備(500)，其特征在于它是電視機(jī)。
全文摘要
一種用于為分段圖像(100)的各個(gè)片段(S11到S14)確定運(yùn)動向量的方法，其包括為各個(gè)片段(S11到S14)生成候選運(yùn)動向量組；將分段圖像(100)劃分為象素塊(b11到b88)的格柵；根據(jù)片段(S11到S14)以及塊(b11到b88)在分段圖像(100)內(nèi)的位置為象素塊(b11到b88)確定哪個(gè)候選運(yùn)動向量屬于這些塊(b11到b88)；根據(jù)所確定的候選運(yùn)動向量并且根據(jù)另一圖像(102)的象素值計(jì)算塊(b11到b88)的部分匹配誤差；在每個(gè)片段中將部分匹配誤差組合到多個(gè)匹配誤差中；根據(jù)匹配誤差為每個(gè)候選運(yùn)動向量組選擇各個(gè)候選運(yùn)動向量；以及將所選的候選運(yùn)動向量指定為各個(gè)片段(S11到S14)的運(yùn)動向量。
文檔編號G06F7/00GK1729486SQ200380107123
公開日2006年2月1日 申請日期2003年11月20日 優(yōu)先權(quán)日2002年12月20日
發(fā)明者R·塞圖拉曼, F·E·埃恩斯特, P·P·E·穆維斯森, H·J·A·M·彼得斯, R·佩塞特洛皮斯 申請人:皇家飛利浦電子股份有限公司