專利名稱：全局運動估計的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于全局運動估計的方法和設(shè)備。
背景技術(shù)：
通常，運動估計(特別是全局運動估計)是視頻處理的常用技術(shù)。 全局運動估計通常用作各種算法(例如，時間內(nèi)插和攝像機穩(wěn)定)的 使能技術(shù)。全局運動估計有時用作塊/像素精確運動估計的低成本備選 方案。
全局運動估計中的基本問題是區(qū)分全局和非全局運動。全局運動 估計假設(shè)可以用少許參數(shù)來概述圖像中的所有運動。當(dāng)全局運動估計 的假設(shè)不成立時，全局運動估計將提供不可靠的結(jié)果，由于全局運動 估計被設(shè)計為提供簡單的結(jié)果，其不能解釋(說明)其中具有一個或 多個獨立運動目標(biāo)的全局運動的場景。
還沒有得到滿意解決的問題涉及全局運動估計是否能夠用于在 有前景目標(biāo)的情況下可靠地找到背景運動，全局運動估計是否能夠用 于估計前景目標(biāo)的運動，以及如何知道運動何時是全局的。

發(fā)明內(nèi)容
其中，本發(fā)明的目的是提供一種改進的全局運動估計。在獨立權(quán) 利要求中限定了本發(fā)明。在從屬權(quán)利要求中限定了有益實施例。
在根據(jù)本發(fā)明的全局運動估計中，確定輸入視頻信號的幀的曲線 圖。每一個曲線圖包括針對幀的第一方向上的每一個像素的、通過組 合幀的第二方向上的像素而獲得的值。使用第一位移來對曲線圖進行 更新以獲得更新后的曲線圖，并且對更新后的曲線圖進行匹配以獲得 第二位移。優(yōu)選地，第一或第二位移是零位移。這對于移除諸如小標(biāo) 題或其他屏幕上圖形之類的、在幀之間保持靜態(tài)的靜態(tài)結(jié)構(gòu)尤其有利。
4可以自動地將零位移應(yīng)用在該方法的其中一個階段，或者該方法可以 在將零位移應(yīng)用于曲線圖之前測試零值位移的曲線圖之間的差的最小 值。 一般地，通過對彼此間不同的幀的曲線圖進行匹配來獲得第一位 移?？梢酝ㄟ^將曲線圖中的一個移動該位移以獲得移動曲線圖、并且 從移動的曲線圖中減去曲線圖中的另一個來實現(xiàn)更新。如果第二方向 是垂直方向，則該曲線圖可以包括針對水平方向上的每一個像素的垂 直方向組合的(例如，平均的)像素值。可以采用相同的方式，以不 同的位移值，對更新后的曲線圖對進行比較，以找到引起最小誤差的 位移。
本發(fā)明的一個方面提出了一種方法，其利用迭代方式使用簡單的 全局運動估計來可靠地估計有前景目標(biāo)的情況下的背景運動，以及估 計視頻中的前景目標(biāo)的運動，即，除了較大背景之外還能找到前景目 標(biāo)。
本發(fā)明的另一方面提出了一種方法，其對通過全局運動估計所找 到的解的質(zhì)量進行量化，從而可以判斷解的全局程度，或附加的前景
目標(biāo)呈現(xiàn)的突出程度。
在本發(fā)明的實施例中，應(yīng)用曲線圖匹配。分別針對每一水平位置， 確定垂直方向上平均的像素值(因此對所有視頻線進行平均)。以這種 方式，為每一幀創(chuàng)建水平曲線圖。這樣的水平曲線圖可以用于通過比 較一個幀和另一幀的曲線圖來檢測水平位移，例如，通過確定每一個
可能位移的平均絕對差在最小差處產(chǎn)生的位移表示(主)水平位移。 以類似的方式，可以通過對線上的所用像素進行水平平均來獲得垂直 曲線圖，垂直曲線圖可以用于檢測垂直位移或垂直運動分量。因此， 為了獲得水平運動分量和垂直運動分量，執(zhí)行本發(fā)明兩次。顯然，可 以使用類似求和的其他操作來代替平均。
根據(jù)本發(fā)明的方面，為了確定第二位移，通過減去優(yōu)化位移的曲 線圖來計算殘差，由此從數(shù)據(jù)中消除第一解。然后，可以通過使用與 用于確定主位移的過程相同的匹配過程來匹配殘差曲線圖，來找到第 二位移。
優(yōu)選地， 一旦已經(jīng)確定第二位移，使用第二位移對原始曲線圖進行更新，并且再次估計主位移。由于第二位移不會再對數(shù)據(jù)造成破壞， 因而利用這種方式可以獲得對主位移的更精確的估計。
在實施例中，首先消除零運動分量(類似小標(biāo)題的靜態(tài)結(jié)構(gòu))， 之后可以可靠地檢測背景運動。靜態(tài)結(jié)構(gòu)是TV圖像中的普遍問題，由 于附加的計算成本似乎較為有限的，始終主張檢査零位移的存在。然 后第二階段的全局運動檢測用于匹配幀差的曲線圖。
在視頻信號中被操作的幀可以彼此直接相鄰。例如，如果輸入視
頻信號具有編號為l、 2、 3...的幀，則該方法可以對幀1和2、幀2和3 等進行操作。然而，被操作的幀在輸入視頻信號內(nèi)可能被較寬地隔開， 例如每隔4幀或8幀。被操作的幀的時間間隔將基于諸如可用于執(zhí)行方 法的處理資源以及要估計的運動速度等因素。
本發(fā)明的功能可以利用軟件、硬件或其組合實現(xiàn)。本發(fā)明可以通 過包括若干不同元件的硬件以及通過適當(dāng)編程的處理器來實現(xiàn)。因此， 本發(fā)明的另一方面提供了包括由計算機或處理器執(zhí)行的、用于實現(xiàn)該 方法的指令(代碼)在內(nèi)的軟件。該軟件可以有形地體現(xiàn)在電子存儲 器設(shè)備、硬盤、光盤或其他機器可讀存儲介質(zhì)上，或者可以將該軟件 經(jīng)由網(wǎng)絡(luò)連接下載至處理設(shè)備。
參照下文所描述的實施例，本發(fā)明的這些和其他方面將變得顯而 易見，并得以闡明。


圖1示出了彼此移動10個像素的兩個幀的線平均像素值的曲線
圖2示出了圖1中的兩個曲線圖之間的匹配誤差； 圖3示出了真實場景中兩個后續(xù)幀的曲線圖4示出了作為針對圖3中的情況下的像素位移的函數(shù)的匹配誤
差；
圖5示出了圖3所示的曲線圖的殘差；
圖6示出了作為圖5中的殘差曲線圖的像素位移的函數(shù)的匹配誤
差；圖7示出了迭代匹配過程的框圖；以及 圖8示出了置信度量。
具體實施例方式
圖1示出了彼此位移10個像素的兩個幀的線平均像素值的曲線圖 (線平均LA對像素索引PI)。用虛線表示第一幀，而用實線表示第二 幀。除了水平位移為10個像素以外，曲線是一致的。
圖2示出了圖1的兩個曲線圖之間的匹配誤差ME (平均絕對差)， 該匹配誤差ME作為來自與第二幀相關(guān)的第一幀的水平像素位移PS的 函數(shù)。對于正好為10個像素的像素位移(Ax)，匹配誤差為零。此外， 匹配誤差呈現(xiàn)清晰且尖銳的曲線圖，并因此呈現(xiàn)匹配誤差的清楚的全 局最小值。
圖3示出了在具有向右移動的背景BG、由小標(biāo)題的高對比度邊緣 控制的靜態(tài)前景FG的真實場景中的兩個后續(xù)幀(以虛線表示幀F(xiàn)Rn， 以實線表示幀F(xiàn)R n+l)的曲線圖(線平均LA對像素索引PI)。在這種 情況下，可以看到曲線圖中一致部分(表示沒有水平運動)，而其他部 分不一致，但是看起來移動了大約10個像素。對于全局(水平)運動，
這里至少存在兩個解，而不僅僅是一個解。
圖4示出了作為圖3的情況下像素位移PS的函數(shù)的匹配誤差ME。
注意，該曲線示出了兩個最小值由+ 10像素處的背景運動產(chǎn)生的全 局最小值(BG)，和由O像素處的靜態(tài)前景產(chǎn)生的局部最小值。因此， 與圖2相反，該曲線圖沒有定義單個尖銳且明確的最小值。
圖5示出了圖3所示曲線圖的殘差(微分線平均DIF-LA對像素索引
PI)。己經(jīng)通過減去連續(xù)幀的曲線圖消除了像素位移Ax-O處的第一解。 虛線示出兩個幀的殘差曲線圖，即，幀F(xiàn)Rn和FRn+l，而實線示出下 一幀對(即，幀F(xiàn)Rn+l和幀F(xiàn)Rn+2)的殘差曲線圖。應(yīng)當(dāng)注意的是， 與圖3中的曲線圖相反，殘差曲線圖在形狀上非常類似，并且僅在水平 位移方面不同。
圖6示出了作為圖5中的殘差曲線圖的像素位移PS的函數(shù)的匹配 誤差ME。與圖4相比，已經(jīng)從曲線圖中減去了位移Ax-O處的解。殘差匹配明確地示出了Ax大約為10個像素處的明確的最小值的第二解。再 次看到圖2中的"純"全局運動的理想匹配誤差。
圖7示出了迭代匹配過程的流程圖。連續(xù)幀F(xiàn)R1、 FR2、 FR3、 FR4 充當(dāng)用于曲線圖(Profl/Prof2/Prof3/Prof4)的計算(CompProf)的初 始輸入。接著，在位移/匹配操作S/M中對曲線圖進行比較，產(chǎn)生優(yōu)化 匹配和相應(yīng)的位移&12、 ^23和&34。在從上往下的第三行上，在更新
曲線圖操作Upd Prof中對對曲線圖進行更新曲線圖在移動了優(yōu)化位 移&12、 &23和&34之后，彼此相減。最后，在第二位移/匹配操作S/M
中對更新后的曲線圖進行匹配，產(chǎn)生第二解和優(yōu)化位移的第二集合 Ax'、,和Ax^。理論上，可以重復(fù)該過程，直到找到所有的解為止。對
于每一個附加的迭代，通過添加另一行更新曲線圖(Upd Prof)操作 和位移/匹配操作(S/M)來使方框圖向下延伸。
可以應(yīng)用置信度度量來對解(即，最小值)的質(zhì)量進行量化，并 且判定是否接收/放棄由提出的方法所產(chǎn)生的全局運動矢量。如果全局 最小值是明確的(即，最小值是否是'尖點，？)并且局部最小值不 突出，則該度量表示置信度為高。為了說明置信度度量，圖8示出了匹 配誤差(ME)對像素位移(PS)的圖。首先，在偏移全局最小值的 位置(定位在位移PS-10個像素)士d的像素位移處，檢驗響應(yīng)的高度。 如果明確地定義最小值，則這些土d點處的垂直距離A;;i、 ^2應(yīng)該較大。 其次，檢驗任意其他最小點(A閃)的高度。這些其他局部最小點的 高度應(yīng)該較大。這三個值中的最小值可以重新映射至范圍[O..l]，產(chǎn)生 置信度度量，0意味著"不可信"，l意味著"完全可信"。備選地，可 以基于這些值中的一個或多個來執(zhí)行一些其他操作。在本示例中，如 果局部最小值太突出(即，A^3太小)，則置信度可能會較低。
置信度度量還可以用于選擇位移值。如圖4所示，在位移/匹配操 作期間，針對可能的位移值的范圍獲得匹配誤差的值。匹配誤差對位 移值的圖可以具有多個可能的最小值?？梢葬槍赡艿淖钚≈抵械拿?一個來計算置信度度量，并且置信度度量可以用于選擇"最佳"質(zhì)量 最小值以及與該最小值相對應(yīng)的位移值。然后，當(dāng)順序地更新曲線圖 時使用該位移值。本發(fā)明的優(yōu)選實施例可以概述如下。通過移動對曲線圖進行匹 配，這以最小匹配誤差產(chǎn)生第一解。然后利用第一解，通過在移動之 后減去曲線圖來對曲線圖進行更新。通過移動來匹配更新后的曲線圖， 以便以最小匹配誤差獲得第二解。使用置信度度量來計算兩個解的質(zhì) 量r最小值是否是明確的最小值？')。該方案使得能夠在經(jīng)常出現(xiàn)的 突出背景場景(#像素=大)(例如，當(dāng)目標(biāo)/行為者跟隨攝影機運動， 并因此在攝影機圖像為靜態(tài)的)中找到前景目標(biāo)，還能夠在所獲得的 視頻上創(chuàng)建背景運動。
在特定的情況下，算法首先通過減去具有零位移的曲線圖(即， 消除靜態(tài)結(jié)構(gòu))來對曲線圖進行更新。然后，通過移動來對更新的曲 線圖進行匹配，以找到任意解。利用置信度度量來計算兩個解的質(zhì)量。 該特定的情況是有意義的、容易的情況。靜態(tài)結(jié)構(gòu)是TV圖像中的普遍 問題，由于附加的計算成本似乎較為有限的，始終主張檢查零位移的 存在。盡管優(yōu)選地首先應(yīng)用零位移來移除靜態(tài)結(jié)構(gòu)，但是備選地，可 以在更新曲線圖的第二階段使用零位移。
在圖7的流程圖中，該方法沿著向下的方向前進，以確定第一、 第二、第三等位移值。在每一階段，使用更新后的曲線圖。在本發(fā)明 的備選實施例中， 一旦己經(jīng)確定第二位移，則利用第二位移值來更新
原始曲線圖(即曲線圖FR1、 FR2、 FR3)。也就是說，將原始曲線圖 中的一個移動第二位移值，然后從原始曲線圖的另一個中減去該曲線 圖。這具有移除第二運動(第二位移值)的效果。然后，以變化的位 移值比較由該操作產(chǎn)生的更新曲線圖，以確定得到更新曲線圖之間的 差的最小值的位移值。該最小值應(yīng)當(dāng)表示由于全局運動而產(chǎn)生的主位 移。由于更新曲線圖中的數(shù)據(jù)不再受到第二運動的破壞，本實施具有 可以更精確地確定主位移的優(yōu)點。
應(yīng)當(dāng)注意的是，上面所提到的實施例例證而非限制了本發(fā)明，并 且在不偏離所附權(quán)利要求的范圍的前提下，本領(lǐng)域的技術(shù)人員將能夠 設(shè)計許多備選實施例。"幀"的概念包括"場"的概念。本說明書可以 用于設(shè)計用在電視機或其他視頻信號處理設(shè)備中的視頻處理器，以獲 得增強的視頻信號。這種增強的視頻信號與輸入視頻信號相比，每秒可以具有更大數(shù)目的場，或者可以是隔行掃描輸入視頻信號的非隔行 掃描版本，或者已經(jīng)經(jīng)過處理以消除由膠片至視頻信號的轉(zhuǎn)換而產(chǎn)生 的偽像，或者可以補償無意識的手持?jǐn)z像機運動。在權(quán)利要求中，括 號中的任何附圖標(biāo)記不應(yīng)解釋為限制了本發(fā)明。詞"包括"和相似的 詞不排除任意權(quán)利要求中所列出的那些元件或步驟以外的元件或步驟 的存在。元件之前的單詞"一"或"一個"不排除多個這種元件的出 現(xiàn)。本發(fā)明可以通過包括若干不同元件的硬件和/或通過適當(dāng)編程的處 理器來實現(xiàn)。在列舉若干裝置的設(shè)備權(quán)利要求中，可以通過同一項硬 件來體現(xiàn)這些裝置中的一些。事實在于，彼此不同的從屬權(quán)利要求中 陳述的特定措施并不表示使用這些措施的組合是不利的。
權(quán)利要求
1、一種全局運動估計方法，包括步驟確定輸入視頻信號的幀(FR1、FR2、FR3、FR4)的曲線圖(Prof1、Prof2、Prof3、Prof4)，其中，每一個曲線圖包括針對幀的第一方向上的每一個像素的、通過組合幀的第二方向上的像素而獲得的值；通過將曲線圖中的一個移動第一位移值(Δx12、Δx23、Δx34)、并從移動后的曲線圖中減去曲線圖中的另一個來對曲線圖進行更新，以獲得更新后的曲線圖(Prof1’、Prof2’、Prof3’)，所述第一位移值表示第一方向上的像素位移；以及對更新后的曲線圖進行比較，以獲得至少一個第二位移值(Δx′12，Δx′23)，對于所述至少一個第二位移值(Δx′12，Δx′23)出現(xiàn)更新后的曲線圖之間的差中的最小值。
2、 根據(jù)權(quán)利要求l的所述的方法，還包括通過相對另一幀的曲線圖而移動一個幀的曲線圖來比較幀(FR1、 FR2、 FR3、 FR4)的曲線圖(Profl、 Prof2、 Prof3、 Prof4)，以確定至少一個第一位移值(Ax12、 Ax23、 Ax34)，對于所述至少一個第一位移 值(Ax12、 Ax23、 Ax34)出現(xiàn)曲線圖之間的差中的最小值；以及當(dāng)更新曲線圖時，使用所確定的第一位移值中的一個。
3、 根據(jù)權(quán)利要求1或2所述的方法，還包括當(dāng)比較幀的曲線圖 時，針對位移值計算置信度度量。
4、 根據(jù)權(quán)利要求3所述的方法，其中，置信度度量基于下列中的 至少一項在位移值位置處的響應(yīng)的銳度； 其他最小值。
5、 根據(jù)權(quán)利要求3或4所述的方法，還包括使用置信度度量來對位移值的質(zhì)量進行量化。
6、 根據(jù)權(quán)利要求2至5中任一項所述的方法，其中，所述方法還包括，如果確定多個可能的第一位移值，貝U:針對每一個可能的第一 位移值使用置信度度量來選擇用在更新曲線圖步驟中的第一位移值。
7、 根據(jù)前述權(quán)利要求中的任一項所述的方法，還包括步驟 使用第二位移值對曲線圖進行更新，以獲得第二更新后的曲線圖，以及比較第二更新后的曲線圖，以獲得對第一位移值的改進估計。
8、 根據(jù)權(quán)利要求1至6中任一項所述的方法，還包括迭代地執(zhí)行比較和更新步驟，以識別其他位移值。
9、 根據(jù)前述權(quán)利要求中任一項所述的方法，其中，第一位移值 或第二位移值是零位移。
10、 根據(jù)前述權(quán)利要求中任一項所述的方法，其中第二方向是垂 直方向，以及曲線圖包括針對水平方向上的每一個像素的垂直組合的 像素值。
11、 根據(jù)前述權(quán)利要求中任一項所述的方法，還包括通過確定輸入視頻信號的幀(FR1、 FR2、 FR3、 FR4)的第二組曲線圖和執(zhí)行 對曲線圖進行比較以及使用第二組曲線圖對曲線圖進行更新的步驟來 重復(fù)所述方法，其中每一個曲線圖包括針對幀的第二方向上的每一個 像素的、通過組合幀的第一方向上的像素而獲得的值。
12、 一種視頻處理器，被設(shè)計為執(zhí)行前述權(quán)利要求中任一項所述 的方法。
13、 一種電視機，包括根據(jù)權(quán)利要求12所述的視頻處理器，用于獲得增強的視頻信號；以及一種顯示器，用于顯示增強的視頻信號。
14、 一種用于執(zhí)行根據(jù)權(quán)利要求l至ll中任一項所述的方法的軟件。
全文摘要
在全局運動估計中，確定輸入視頻信號的幀(FR1、FR2、FR3、FR4)的曲線圖(Prof1、Prof2、Prof3、Prof4)。每一個曲線圖包括針對幀的第一方向上的每一個像素的、通過組合幀的第二方向上的像素而獲得的值。使用第一位移(Δx′₁₂、Δx′₂、Δx′34)對曲線圖進行更新(Upd Prof)以獲得更新后的曲線圖(Prof1’、Prof2’、Prof3’)，對更新后的曲線圖進行匹配(S/M)以獲得第二位移(Δx′₁₂、Δx′₂₃)。優(yōu)選地，第一位移是零位移。通過將曲線圖中的一個移動第一位移以獲得移動的曲線圖、以及從移動的曲線圖中減去曲線圖中的另一個來實現(xiàn)更新。如果第二方向是垂直方向，則曲線圖可以包括針對水平方向上的每一個像素的垂直方向組合的(例如，平均的)像素值。
文檔編號G06T7/20GK101473350SQ200780022809
公開日2009年7月1日 申請日期2007年6月12日 優(yōu)先權(quán)日2006年6月19日
發(fā)明者保羅·M·霍夫曼 申請人:Nxp股份有限公司