專利名稱：：用于非線性的多運(yùn)動(dòng)模型和移動(dòng)邊界提取的方法和設(shè)備的制作方法用于非線性的多運(yùn)動(dòng)模型和移動(dòng)邊界提取的方法和設(shè)備本專利申請為2003年11月6日提交的中國專利申請200380103021.6的分案申請。發(fā)明領(lǐng)域本發(fā)明有關(guān)圖像處理。更具體而言，本發(fā)明涉及圖像中的對象運(yùn)動(dòng)的估計(jì)。發(fā)明背景用于視頻編碼的標(biāo)準(zhǔn)運(yùn)動(dòng)模型包括應(yīng)用于固定區(qū)域(運(yùn)動(dòng)塊)以估計(jì)運(yùn)動(dòng)的參數(shù)的模型。這些方法是有限的，因?yàn)樗瞿Ｐ蜔o法處理運(yùn)動(dòng)塊內(nèi)部存在多個(gè)(不同的)運(yùn)動(dòng)的情況。這帶來一個(gè)問題。運(yùn)動(dòng)估計(jì)中的一個(gè)基本問題是處理多運(yùn)動(dòng)和移動(dòng)對象邊界的模型的能力。諸如仿射或透視模型之類的標(biāo)準(zhǔn)運(yùn)動(dòng)模型考慮到區(qū)域(即，運(yùn)動(dòng)塊)的平滑形變以捕獲運(yùn)動(dòng)塊中的所有像素的相關(guān)運(yùn)動(dòng)(比如轉(zhuǎn)換、變焦、旋轉(zhuǎn))。在其上估計(jì)運(yùn)動(dòng)的區(qū)域或塊不能選擇太??；這是從(1)編碼的角度來看的，因?yàn)檩^大的區(qū)域意味著較小的運(yùn)動(dòng)開銷，并且也是從(2)估計(jì)的角度來看的，較大的區(qū)域允許更好的運(yùn)動(dòng)參數(shù)的估計(jì)。從常見運(yùn)動(dòng)模型的標(biāo)準(zhǔn)局限性方面出現(xiàn)的一個(gè)關(guān)鍵問題是運(yùn)動(dòng)塊內(nèi)部的多個(gè)運(yùn)動(dòng)的出現(xiàn)。運(yùn)動(dòng)區(qū)域內(nèi)的移動(dòng)對象邊界是兩種可能非常不同的運(yùn)動(dòng)(對象的運(yùn)動(dòng)以及比方說背景的運(yùn)動(dòng))的象征。此外，移動(dòng)對象邊界暗指一些像素將相對于過去的或未來的運(yùn)動(dòng)估計(jì)而被遮蔽(occlude)(隱藏)。這種遮蔽效應(yīng)可能會(huì)偏置運(yùn)動(dòng)估計(jì)，導(dǎo)致較高的預(yù)測誤差，并且使得難以精確地，提取對象邊界。運(yùn)動(dòng)分割方面的方法往往依賴于光流估計(jì)或參數(shù)的(即，仿射)運(yùn)動(dòng)模型；這些將在對象邊界附近具有常見問題并且具有遮蔽效應(yīng)。在分割區(qū)段中，且由此在對象邊界中的某種平滑度能夠利用MAP/Bayesian方法中的先驗(yàn)概率項(xiàng)加以實(shí)現(xiàn)。這是在沒有任何明確的耦合模型以說明對象邊界和運(yùn)動(dòng)區(qū)段的情況下、分割區(qū)段的連通性上的更多約束條件。曲率演變模型可以用來捕獲移動(dòng)對象的邊界。然而，這種方法不包括運(yùn)動(dòng)估計(jì)/區(qū)段，并且依賴于用于對象邊界的演變的模型中的臨時(shí)差分算子。在另一種方法中，級別設(shè)置方法的上下文隱式地對對象邊界的輪廓和多個(gè)仿射運(yùn)動(dòng)區(qū)段建模，然而，運(yùn)動(dòng)估計(jì)僅相對一個(gè)參考坐標(biāo)系來進(jìn)行，也就是根據(jù)幀n-1來確定幀n的運(yùn)動(dòng)。正如上面所論述的那樣，這有問題。一些靠近對象邊界的像素可能會(huì)被遮蔽；這將進(jìn)而又偏置邊界的估計(jì)，因?yàn)橛捎谡诒味沟每拷吔绲倪\(yùn)動(dòng)區(qū)段不可靠。由此，對于常見的運(yùn)動(dòng)模型而言存在問題。附圖簡要說明本發(fā)明是以示例的方式來舉例說明的，并不局限于附圖的圖形；其中相似的參考指示類似組件并且其中圖l舉例說明了其中可以使用本發(fā)明的技術(shù)的網(wǎng)絡(luò)環(huán)境；圖2是其中可以實(shí)現(xiàn)本發(fā)明的實(shí)施例的計(jì)算機(jī)系統(tǒng)的框圖3以流程圖形式舉例說明了發(fā)明的一個(gè)實(shí)施例；圖4以流程圖形式舉例說明了視頻編碼的一個(gè)實(shí)施例；圖5舉例說明了運(yùn)動(dòng)分割成2個(gè)區(qū)域的一個(gè)實(shí)施例；圖6舉例說明了控制像素的時(shí)間參考賦值的函數(shù)的一個(gè)實(shí)施例的性狀；圖7、圖8和圖9都是示例，舉例說明了應(yīng)用于局部塊區(qū)域的本發(fā)明運(yùn)動(dòng)模型的實(shí)施例如何實(shí)現(xiàn)分離成過去的和未來的運(yùn)動(dòng)參考，由此移動(dòng)邊界的提取被捕獲；圖10是舉例說明本發(fā)明運(yùn)動(dòng)模型的實(shí)施例如何估計(jì)移動(dòng)邊界的位置的示例；圖11是舉例說明標(biāo)準(zhǔn)運(yùn)動(dòng)模型與本發(fā)明運(yùn)動(dòng)模型的實(shí)施例之間的比較的示例；圖12是舉例說明3個(gè)運(yùn)動(dòng)、它們的移動(dòng)以及最小預(yù)測誤差參考幀的示例；和圖13舉例說明了控制用于3個(gè)運(yùn)動(dòng)的時(shí)間參考賦值的接口函數(shù)的一個(gè)實(shí)施例的性狀。6詳細(xì)描述描述了一種用于非線性的多運(yùn)動(dòng)模型和移動(dòng)邊界提取的方法和設(shè)備-本發(fā)明涉及用于估計(jì)視頻圖像中的對象運(yùn)動(dòng)的新運(yùn)動(dòng)模型。在本發(fā)明的一個(gè)實(shí)施例中，使用了一種涉及空間和時(shí)間變量之間的非線性耦合的新運(yùn)動(dòng)模型，一種類型的區(qū)域竟?fàn)幰苑蛛x多個(gè)運(yùn)動(dòng)，以及邊界建模以提取移動(dòng)對象邊界的估計(jì)。所述模型是小型的并且能夠用于運(yùn)動(dòng)分割和/或視頻編碼應(yīng)用。在本發(fā)明的另一個(gè)實(shí)施例中，已經(jīng)使用運(yùn)動(dòng)模型的擴(kuò)展來解決在背景部分中論述的問題。這種模型的基本特征如下1)引入時(shí)間變量以供相對于過去的和未來的幀的組合運(yùn)動(dòng)估計(jì)用；2)允許多個(gè)運(yùn)動(dòng)(2個(gè)運(yùn)動(dòng)或更多)同時(shí)存在；3)從用于邊界選擇的一種類型的區(qū)域竟?fàn)巵泶_定對象邊界提取(所并入的邊界的曲率)；和4)使用非線性函數(shù)來控制/精細(xì)化對象邊界的估計(jì)。本發(fā)明能夠處理多個(gè)運(yùn)動(dòng)(兩個(gè)或更多)。然而，為了不至不必要地混淆本發(fā)明，所述詳述最初將討論兩個(gè)運(yùn)動(dòng)，并擴(kuò)展到i兌明書中稍后所描述的多于兩個(gè)的運(yùn)動(dòng)。本領(lǐng)域的技術(shù)人員將會(huì)認(rèn)識到時(shí)間變量的使用允許兩個(gè)運(yùn)動(dòng)的引入而且還避免了遮蔽效應(yīng)。如杲靠近移動(dòng)對象邊界的一些像素例如被隱藏在先前幀中，那么運(yùn)動(dòng)區(qū)域(這些像素屬于所述區(qū)域)將勢必相對于未來參考其運(yùn)動(dòng)(且反之亦然)以便降低預(yù)測誤差。這在某種意義上講是一類"區(qū)域竟?fàn)?，其中由于通過選擇過去或者未來作為它們用于運(yùn)動(dòng)估計(jì)的參考幀，2個(gè)運(yùn)動(dòng)區(qū)域竟?fàn)幰越档退鼈兊念A(yù)測誤差，而獲得對象邊界。因此，隱式地根據(jù)這類區(qū)域竟?fàn)巵泶_定我們的模型中的移動(dòng)對象邊界。這與顯式地引入輪廓模型(即，有效的輪廓模型)的模型相反；這些方法可能會(huì)隨著輪廓演變而具有有關(guān)輪廓的離散化和長度/曲率的控制的顯著問題。在本發(fā)明的一個(gè)實(shí)施例中，運(yùn)動(dòng)模型局部地應(yīng)用于圖像中的區(qū)域/塊，并且可以把它看作為對運(yùn)動(dòng)估計(jì)或運(yùn)動(dòng)分割的精細(xì)化階段的一部分。也就是說，如果在經(jīng)過一遍圖像(比如說最初使用一個(gè)標(biāo)準(zhǔn)仿射運(yùn)動(dòng)模型)的運(yùn)動(dòng)估計(jì)/分割算法之后一些區(qū)域中的預(yù)測誤差超過某個(gè)質(zhì)量閾值的話，那么本發(fā)明運(yùn)動(dòng)模型的一個(gè)實(shí)施例可以被應(yīng)用于那些區(qū)域。圖3以流程圖形式300舉例說明了該過程。在302，來自標(biāo)準(zhǔn)運(yùn)動(dòng)模型的用于區(qū)域的預(yù)測誤差被接收。在304，做出關(guān)于預(yù)測誤差(接收自302的)是否大于一個(gè)第一預(yù)置閾值的判斷。如果預(yù)測誤差(來自于302的)不大于該第一閾值，那么可以進(jìn)行其它306處理。如果預(yù)測誤差大于該第一闊值，那么在308捕獲用于區(qū)域的2個(gè)或更多的運(yùn)動(dòng)以及相關(guān)邊界以便提取。接下來，在310，做出檢查以判斷預(yù)測誤差(來自于308的)是否大于一個(gè)笫二預(yù)置閾值。如果預(yù)測誤差(來自于308的)不大于該第二閾值，那么可以進(jìn)行其它306處理。如果預(yù)測誤差大于該第二閾值，那么在312捕獲用于區(qū)域的更多復(fù)合運(yùn)動(dòng)和相關(guān)邊界以便提取。在虛線塊314中是執(zhí)行本發(fā)明的一些技術(shù)的地方。在本發(fā)明的另一個(gè)實(shí)施例中，運(yùn)動(dòng)模型中的擴(kuò)展可以用于對象邊界的真實(shí)非剛性形變。例如，圖3中的框312也可以指代一個(gè)更復(fù)雜的模型以處理真實(shí)非剛性形變。諸如邊界到邊界匹配的擴(kuò)展可以被使用并且被引入圖3中舉例說明的結(jié)構(gòu)當(dāng)中。對于視頻編碼應(yīng)用，對運(yùn)動(dòng)塊/區(qū)域的簡單分割(用于低開銷的)以捕獲多個(gè)運(yùn)動(dòng)(以降低預(yù)測誤差)可以利用塊的四叉樹分割加以實(shí)現(xiàn)，在其中大的預(yù)測誤差塊被劃分成用于改進(jìn)的運(yùn)動(dòng)估計(jì)的子塊。同樣，可以利用邊界/劃分的直線模型來對具有大預(yù)測誤差的塊進(jìn)行四叉樹分割。在本發(fā)明的一個(gè)實(shí)施例中，進(jìn)一步就運(yùn)動(dòng)分割問題本身來調(diào)整方法，這涉及獲得移動(dòng)對象邊界的位置和局部形狀的良好估計(jì)的能力。圖4以流程圖形式400舉例說明了視頻編碼的一個(gè)實(shí)施例。在這里，運(yùn)動(dòng)模型被用來估計(jì)運(yùn)動(dòng)并消除時(shí)間冗余度，從而導(dǎo)致微小的運(yùn)動(dòng)殘留需要編碼。稍后論述的是本發(fā)明的附加實(shí)施例以及運(yùn)動(dòng)模型如何可以被高效且有效地使用于編碼。在圖4中，在402接收輸入圖像。在4(H對給定幀執(zhí)行運(yùn)動(dòng)估計(jì)，并且運(yùn)用多運(yùn)動(dòng)和邊界提取發(fā)明來對遮蔽區(qū)域以及移動(dòng)邊界進(jìn)行標(biāo)識。在406對剩余的運(yùn)動(dòng)殘留進(jìn)行編碼。在本發(fā)明的一個(gè)實(shí)施例中，時(shí)間變量被用于2個(gè)運(yùn)動(dòng)的表示。在該運(yùn)動(dòng)模型中，使用相對于過去和未來的同時(shí)估計(jì)(即，使用2個(gè)參考幀)，以便比方說在過去的幀中被遮蔽的靠近邊界的像素將根據(jù)未來的幀(其中它們未被遮蔽)來選擇估計(jì)，且反之亦然。它是在模型中采用的遮蔽的這種二元性。在本發(fā)明的一個(gè)實(shí)施例中，非線性方面被用在時(shí)間變量(由此是邊界模型)以控制和精細(xì)化邊界接口的估計(jì)。在本發(fā)明的一個(gè)實(shí)施例中，可以局部地使用已擴(kuò)展的運(yùn)動(dòng)模型，并且作為連續(xù)迭代方法的一部分，，正如在圖3中舉例說明的那樣。視作為不良的(由于高預(yù)測誤差)區(qū)域，比方說在一個(gè)第一遍分割過程中，可以利用已擴(kuò)展的運(yùn)動(dòng)模型加以重新估計(jì)以捕獲多個(gè)運(yùn)動(dòng)和移動(dòng)邊界。如上所述，通過運(yùn)動(dòng)模型中的時(shí)間變量來隱式地定義邊界，所述運(yùn)動(dòng)模型的函數(shù)形式考慮到將由平滑的小型支持的區(qū)域定義的運(yùn)動(dòng)域。標(biāo)準(zhǔn)的模型回顧〖0036]為了讓讀者更快速而充分地理解本發(fā)明的實(shí)施例，給出了標(biāo)準(zhǔn)的運(yùn)動(dòng)模型回顧。通常用在運(yùn)動(dòng)估計(jì)中的標(biāo)準(zhǔn)的運(yùn)動(dòng)模型是仿射模型，該仿射模型采用了如下形式V=v'r(x，y)=ox++cj/=v少(義,少)=J義++/其中(x'，y')是參考幀(即，先前幀)上的像素位置。如果(a=e,d=-b)，那么只允許轉(zhuǎn)換、變焦和旋轉(zhuǎn)運(yùn)動(dòng)；這些在大部分的情況下是主流模式。非線性的透視模型是仿射模型到8個(gè)參數(shù)的一種擴(kuò)展以處理到圖像平面的投影。在一些區(qū)域(運(yùn)動(dòng)塊)上應(yīng)用運(yùn)動(dòng)模型，并且參數(shù)的估計(jì)可以涉及線性最小二乘方投影、預(yù)測誤差的直接最小化、預(yù)測誤差的多分辨率最小化等等，運(yùn)動(dòng)模型本發(fā)明的實(shí)施例包括解決多個(gè)運(yùn)動(dòng)和移動(dòng)對象邊界的估計(jì)的模型。使用過去的和未來的運(yùn)動(dòng)估計(jì)。這涉及時(shí)間變量t'(對于基于過去的幀的運(yùn)動(dòng)估計(jì)而言t'=-1，以及對于基于未來的幀的運(yùn)動(dòng)估計(jì)而言t'=0)的使用。用于2個(gè)運(yùn)動(dòng)的模型(稍后論述更為普通的情況)采用如下形式<formula>formulaseeoriginaldocumentpage10</formula>其中B(x，y)包含有關(guān)邊界/接口模型的信息，并且^-(v人vj)是對于i=1、2個(gè)運(yùn)動(dòng)的運(yùn)動(dòng)模型向量映射。作為模型的一種實(shí)現(xiàn)方式，我們考慮模型(即，像素坐標(biāo)的平滑函數(shù))j=萬(.v，力=gx+/zy+ccc2++/其中(g，h，ct，P，i)是用于模型邊界曲線的參數(shù)。我們還為^采用標(biāo)準(zhǔn)的仿射運(yùn)動(dòng)模型，所以上面的等式變?yōu)?lt;formula>formulaseeoriginaldocumentpage10</formula>其中(a，b，c，d，e，f，a、b、c、d、e'，f'}是仿射運(yùn)動(dòng)模型的參數(shù)。模型的描述如下第一，考慮上面的最后兩個(gè)等式。這些等式對兩個(gè)運(yùn)動(dòng)進(jìn)行建模，一個(gè)是6個(gè)參數(shù)仿射運(yùn)動(dòng)，另一個(gè)是另外6個(gè)參數(shù)仿射運(yùn)動(dòng)。對于具有t'--l的像素而言，由下式給出運(yùn)動(dòng)向量<formula>formulaseeoriginaldocumentpage10</formula>對于具有t'-0的像素而言，由下式給出運(yùn)動(dòng)向量v,-(a+a'-l);c+("6'Xy+c+c'時(shí)間變量的耦合考慮到了在這個(gè)實(shí)施例中2個(gè)不同的運(yùn)動(dòng)存在的情況(即，具有不同的轉(zhuǎn)換、旋轉(zhuǎn)和變焦)。運(yùn)動(dòng)區(qū)域到2個(gè)運(yùn)動(dòng)的劃分是根據(jù)該區(qū)域是否為運(yùn)動(dòng)估計(jì)使用過去的或未來的幀而定義的。這是在圖5中示出的。在圖5中，運(yùn)動(dòng)分割成2個(gè)區(qū)域是通過用于運(yùn)動(dòng)估計(jì)的區(qū)域的幀參考而獲得的。在這個(gè)示例中，以速率V。移動(dòng)的對象是前景對象。通過最小化預(yù)測誤差(對于過去的和未來的參考幀)來確定模型。最低預(yù)測誤差將會(huì)導(dǎo)致避免任何遮蔽效應(yīng)以及由此具有定位真實(shí)移動(dòng)邊界的最佳潛能的底部劃分(510)。502是先前的幀，504是當(dāng)前的幀，以及506是未來的或下一個(gè)幀。508是當(dāng)前幀到兩個(gè)運(yùn)動(dòng)的一個(gè)可能劃分。510是當(dāng)前幀到兩個(gè)運(yùn)動(dòng)的另一個(gè)劃分，并且當(dāng)與508劃分相比較時(shí)是較低預(yù)測誤差的情況。等式(1)中的時(shí)間變量是像素位置的平滑函數(shù)，并且從-1到0變化。操作上，當(dāng)前幀上的運(yùn)動(dòng)塊中的指定像素位置定義時(shí)間變量t'。然后，在最后2個(gè)等式中使用這個(gè)時(shí)間變量以確定運(yùn)動(dòng)向量。然后，通過將運(yùn)動(dòng)向量在時(shí)間t'指向幀上存在的像素位置來形成預(yù)測；如果t'=0，則在預(yù)測中〗吏用未來的幀，如果t'=-1,則使用過去的幀。對于t'e(-1，0)的情況，使用過去和未來的幀的線性組合。所述時(shí)間變量控制對象邊界的運(yùn)動(dòng)。將邊界定義成s-一O.5，通常這是一個(gè)由多項(xiàng)式gx+hy+,ax2+py2+i=—0.5描述的曲線。接口模型的平滑度允許每個(gè)運(yùn)動(dòng)區(qū)域?qū)⒂善交男⌒椭С侄x。在離開接口飽和到O或-l的意義上，以及定義邊界的條件t'-F(-0.5)=-0.5，選擇非線性函數(shù)F來作為邊界的代表。非線性函數(shù)<formula>formulaseeoriginaldocumentpage11</formula>實(shí)現(xiàn)了這個(gè)特征，其中w控制邊界處的斜度。讓參數(shù)w指代邊界或接口的"寬度"。在齒6中示出了對應(yīng)不同邊界寬度的函數(shù)F的一些標(biāo)繪。如圖6所示，是在運(yùn)動(dòng)模型的一個(gè)實(shí)施例中使用的函數(shù)t'-F(s)的性狀600。所述函數(shù)控制對用于運(yùn)動(dòng)估計(jì)的過去的(t'=-1)或未來的(W=0)參考幀的像素的賦值，所述運(yùn)動(dòng)估計(jì)具有在s=-0.5處定義的對象邊界。這個(gè)函數(shù)的特征為寬皮參數(shù)(w)且在-1和O處適當(dāng)飽和。模型中的關(guān)鍵特征是控制時(shí)間變量從-1(過去的幀)到0(未來的幀)的延伸的"邊界寬度"(w)?？拷吔?由寬度w定義的)的像素是一類混合態(tài)，即，2個(gè)域的線性組合。也就是說，對于邊界區(qū)域內(nèi)的像素而言，所述預(yù)測為，<formula>formulaseeoriginaldocumentpage11</formula>以及混合狀態(tài)可以定義為混合狀態(tài):對于域1而言加權(quán)(l+t')，并且對于域2而言加權(quán)-t,。其中t'e(-1，0)(回想一下時(shí)間是參考運(yùn)動(dòng)區(qū)域/域的)。在本發(fā)明的一個(gè)實(shí)施例中，w本身可以在模型中動(dòng)態(tài)變化。然后，系統(tǒng)將自然地選擇表征邊界的寬度/粗糙度的數(shù)值w，并且確定邊界層中的哪些像素是2個(gè)域的混合。純狀態(tài)在本發(fā)明的一個(gè)實(shí)施例中，在運(yùn)動(dòng)參數(shù)的估計(jì)步驟期間，為了利用精細(xì)邊界干凈地提取2個(gè)(純的)域，w是固定的且是小的。例如，寬度參數(shù)定為w=1/3，然后利用連續(xù)地較精細(xì)接口寬度來執(zhí)行重新估計(jì)(如圖5中所示)。利用模型中的非線性函數(shù)F(s)和w的減少量來控制和精細(xì)化邊界的估計(jì)。隨著接口寬度減小，遠(yuǎn)離邊界的像素對于它們的參考幀而言變?yōu)?凝固的"。僅僅允許在邊界附近的像素(通過s--0.5而確定的)使它們的時(shí)間變量改變(即，遷移到另一個(gè)參考幀處)，由此來修改邊界?！?046]模型參數(shù)的估計(jì):在本發(fā)明的一個(gè)實(shí)施例中，運(yùn)動(dòng)模型參數(shù)的估計(jì)是從預(yù)測誤差的最小化獲得的。;",力=(i+)〃"VH戸'(，乂)其中(x、y'，t')是模型參數(shù)的函數(shù)(參見等式(1))。注意，對于每個(gè)像素而言，所述預(yù)測是過去的和未來的幀的線性組合；可以運(yùn)用簡單的雙線性時(shí)間內(nèi)插。模型參數(shù)的估計(jì)可以利用多分辨率層(如下所述)而從最陡下降算法中獲得。用于運(yùn)動(dòng)模型的估計(jì)算法的詳細(xì)程序按如下進(jìn)行。存在下面可以被使用的3組初始條件(1)相對于先前幀初始化的運(yùn)動(dòng)參數(shù)(2)相對于未來幀初始化的運(yùn)動(dòng)參數(shù)(3)來自組(1)和組(2)的運(yùn)動(dòng)參數(shù)的平均值對于每一組而言，在一個(gè)實(shí)施例中，都將接口參數(shù)選為g=/=a=〃=0;'.--.075廣0.5,-0.25.由此，使用了總共9個(gè)初始條件，不過最常見的具備i--0.5的組1或組2可能足夠了。對于下面的序列丄-l保持將寬度參數(shù)定在w=1/3。JL.參數(shù)的初始化對于1/16大小的圖像(從原始圖像的簡單抽選中獲得的)，對相應(yīng)的運(yùn)動(dòng)塊中的小塊執(zhí)行塊匹配(BM)。對于初始條件組1，BM相對于過去被執(zhí)行；并且對于組2相對于未來而被執(zhí)行。然后，利用最小二乘方(LS)將該組運(yùn)動(dòng)向量映射到模型參數(shù)上。對于初始條件組1和2，這得出初始組參數(shù)(a，b，c，d，e，f);將參數(shù)(a、b'，c、d、e、f')初始化為0。對于第三個(gè)初始條件組，使用來自于組1和2的參數(shù)的平均值。2.最陡下降被用在1/16大小的圖像以得出模型參數(shù)P的估計(jì)(F2表示對于層2(1/16大小的圖像)的模型中所有參數(shù)的分量向量(componentvector))。!從1/16到1/4大小的圖像投影以開始對1/4大小的圖像的估計(jì)。這個(gè)投影被確定以便根據(jù)空間縮放來保持模型的函數(shù)形式。對于層2到層1的運(yùn)動(dòng)參數(shù)的投影，我們有層投影c1=2c2/'=2/2/z'=0.5A2'.'=z'2a'=0.25a2i將來自于上層的投影估計(jì)用作為對于等級l的一個(gè)初始條件。為1/4大小的圖像重復(fù)迭代/最陡下降。這得出估計(jì)量r。旦.對于1/4的參數(shù)投影到原始大小的圖像，如在3中那樣。1.為全尺寸的圖像重復(fù)迭代/最陡下降估計(jì)。最后的解是".2.為上述該組初始條件重復(fù)i-6。!.從具有最低預(yù)測誤差的初始條件組中選擇參數(shù)的估計(jì)。利用最佳F。作為初始條件重新估計(jì)運(yùn)動(dòng)參數(shù)，但是具有連續(xù)地更尖銳的寬度參數(shù)w(1/4，1/8，1/16)。這導(dǎo)致移動(dòng)對象的位置和曲率的改進(jìn)估計(jì)。在這里舉例說明了運(yùn)動(dòng)模型的一些示例。在第一組示例中，將運(yùn)動(dòng)模型應(yīng)用于包含2個(gè)運(yùn)動(dòng)的區(qū)域(80x80的塊)。對于所述示例，在左側(cè)上顯示原始圖像，并且右側(cè)圖像示出了多運(yùn)動(dòng)區(qū)域分割成2個(gè)區(qū)域。暗色區(qū)域參考過去的幀，而白色區(qū)域參考未來的幀。注意，在每一個(gè)示例中分割成過去的/未來的區(qū)域是與遮蔽效應(yīng)被最小化相一致的，正如圖5中所論述和所示的那樣。在圖7中示出了示例1。風(fēng)扇移動(dòng)到右側(cè)。捕獲風(fēng)扇對象的曲率，并且運(yùn)動(dòng)模型實(shí)現(xiàn)了分隔成過去的和未來的運(yùn)動(dòng)參考，正如圖5中所論述和所示的那^f羊。702是原始圖>(象，以及704示出了多運(yùn)動(dòng)區(qū)域分割成2個(gè)區(qū)域。暗色區(qū)域參考過老的幀，以及白色區(qū)域參考未來的幀。在圖8中示出了示例2。在這里，人向下移動(dòng)。這是與前一示例中相同的效果。802是原始圖像，以及804示出了多運(yùn)動(dòng)區(qū)域分割成2個(gè)區(qū)域。暗色區(qū)域參考過去的幀，以及白色區(qū)域參考未來的幀。這樣進(jìn)行幀參考賦值以便遮蔽效應(yīng)被最小:化，正如在圖5中論述的那樣。'在圖9中示出了示例3。前景中的少女移動(dòng)到左側(cè)。因?yàn)樵撋倥苿?dòng)到左側(cè)，所以在她面前的靜止區(qū)域?qū)?yōu)選相對于其中沒有遮蔽發(fā)生的過去的運(yùn)動(dòng)估計(jì)。902是原始圖像，904示出了多運(yùn)動(dòng)區(qū)域分割成2個(gè)區(qū)域。暗色區(qū)域參考過去的啤，以及白色區(qū)域參考未來的幀。對于上面的示例而言，將預(yù)測誤差數(shù)據(jù)作為運(yùn)動(dòng)預(yù)測區(qū)域/塊和初始塊之間的均方差來計(jì)算。標(biāo)準(zhǔn)的運(yùn)動(dòng)模型是指單個(gè)運(yùn)動(dòng)仿射模型，往往用在運(yùn)動(dòng)估計(jì)中。新的運(yùn)動(dòng)模型是指本發(fā)明的實(shí)施例。如下所示，存在利用新運(yùn)動(dòng)模型的預(yù)測誤差"中的改進(jìn)。14<table>tableseeoriginaldocumentpage15</column></row><table>應(yīng)用于大區(qū)域的運(yùn)動(dòng)模型在下面的示例中，將感興趣對象周圍的大區(qū)域劃分成80x80塊。這個(gè)區(qū)域是從標(biāo)準(zhǔn)類型的運(yùn)動(dòng)分割(仿射運(yùn)動(dòng)模型和k均值聚類)中獲得的，所述運(yùn)動(dòng)分割具有標(biāo)識移動(dòng)對象的區(qū)域的不充分標(biāo)記的塊(具有高預(yù)測誤差和/或高度失真類別的塊)。接下來，將本發(fā)明新運(yùn)動(dòng)模型的一個(gè)實(shí)施例應(yīng)用于涵蓋感興趣移動(dòng)對象周圍的大區(qū)域的一組80x80個(gè)塊。示例4在圖10中被示出，其中細(xì)黑線1002是使用新運(yùn)動(dòng)模型的邊界位置的估計(jì)量。在如圖IO所示的示例4中，少女走向右側(cè)，背景向左側(cè)"移動(dòng)"。將運(yùn)動(dòng)模型應(yīng)用于少女周圍的大區(qū)域。少女(1002)周圍的黑線是所提取的移動(dòng)對象的位置。沿著她的鼻子/臉的丟失的輪廓接近地符合80x80個(gè)塊的其中一塊的邊界；由此，那一塊中的大部分像素屬于一個(gè)運(yùn)動(dòng)(臉運(yùn)動(dòng))，從而系統(tǒng)選擇一個(gè)沒有邊界的域/狀態(tài)。在圖11中示出的是利用仿射運(yùn)動(dòng)模型(標(biāo)準(zhǔn)運(yùn)動(dòng)模型)1104的分割和利用如在本發(fā)明的一個(gè)實(shí)施例中公開的新模型1106的改進(jìn)之間的比較。小圖片1102是原始圖像。圖像1104是通過使用仿射運(yùn)動(dòng)模型的標(biāo)準(zhǔn)方法得來的分割映射。不同的陰影是指不同的運(yùn)動(dòng)類別。圖像1106是通過利用新的運(yùn)動(dòng)模型來重新估計(jì)運(yùn)動(dòng)而獲得的新分割映射。圖像1106示出了圖像中少女的更好的輪廓，并且比圖像1104具有更平滑的分割區(qū)段?！?058]視頻編碼在本發(fā)明的另一個(gè)實(shí)施例中，視頻編碼可以使用新的運(yùn)動(dòng)模型。上面論述到的、憑借其解決2個(gè)運(yùn)動(dòng)的能力的模型，能夠被應(yīng)用于大的區(qū)域。在先前論述的示例中，使用了80x80個(gè)塊?？梢园研碌倪\(yùn)動(dòng)模型看作"簡潔地"代表不同的運(yùn)動(dòng)和邊界信息。例如，在本發(fā)明的一個(gè)實(shí)施例中，本模型具有17個(gè)參數(shù)，并早如果用在比如80x80個(gè)塊中(在一個(gè)704x484個(gè)圖像中)，約為900個(gè)運(yùn)動(dòng)參數(shù)；這包括用于解碼器以提取運(yùn)動(dòng)區(qū)段和一些移動(dòng)邊界的位置所必需的所有信息。將這個(gè)同一個(gè)非常簡單的標(biāo)準(zhǔn)16x16塊匹配算法(2個(gè)轉(zhuǎn)換參數(shù)，不帶明確的移動(dòng)邊界信息)所需的約2662個(gè)參數(shù)進(jìn)行比較。。用于M個(gè)運(yùn)動(dòng)的模型正如先前提到的那樣，以上的討論主Jbl集中在2個(gè)運(yùn)動(dòng)以便不混淆本發(fā)明的實(shí)施例。本發(fā)明的其它實(shí)施例可以解決任意數(shù)量的運(yùn)動(dòng)(M個(gè))并且可以^皮應(yīng)用于擴(kuò)展上述討論的示例和實(shí)施例。可以按如下形式來編寫用以解決帶有不相交邊界的M個(gè)運(yùn)動(dòng)的2運(yùn)動(dòng)模型的擴(kuò)展(這是等式(1)的擴(kuò)展)_H,…,W其中，正如在上面的等式(i)中那樣，我們能夠使用如下面的模型等式~-5;(義,力=g,+/i,+a乂x2+A乂+~，和巧(義,,v)=(fl,;c++。，《x++)在上述模型中，；是指當(dāng)前幀上的像素位置(其運(yùn)動(dòng)正在被估計(jì)的一個(gè))，；是指參考幀上的位置，(t,)是用于M個(gè)運(yùn)動(dòng)的提取的M個(gè)參考幀。運(yùn)動(dòng)向量{^是仿射運(yùn)動(dòng)區(qū)段，t'是連續(xù)時(shí)間變量，以及F((Sj)、{Wj}、{t/"})是代表邊界的非線性函數(shù)(一個(gè)接口的示例在圖13中示出)。這個(gè)函數(shù)包括用于M-1個(gè)邊界的接口等式{Sj，j-l，..M-1}}、M-1個(gè)寬度參數(shù){Wj，j=l，...M-l)和用于M個(gè)運(yùn)動(dòng)的參考時(shí)間{t廣f，i=l，...M}(每個(gè)邊界的中心；F的中點(diǎn)，對于2個(gè)運(yùn)動(dòng)的情況參見圖6)。接口等式{sj是對邊界的位置和形狀建模的多項(xiàng)式。在i=1時(shí)(即，對于tZ"=-1)將加權(quán)函數(shù)的歸一化^_選為1從而與等式1中的2個(gè)運(yùn)動(dòng)的情形相對應(yīng)。g,'",)2個(gè)運(yùn)動(dòng)的情形2008上述模型減少為較早實(shí)現(xiàn)的情形(參見等式(1))。所述2個(gè)參考幀為--l(過去的)，和t2"f=0(未來的)。仿射運(yùn)動(dòng)向量前的因子為^=1，^=(^1。僅有一個(gè)邊界/接口變量s和一個(gè)寬度變量w。非線性時(shí)間等式變?yōu)?=(w》,=化)其中，例如，用于2個(gè)運(yùn)動(dòng)的模型為:F"M,，,,，《/)=(tanh("-(/)/2)/>v—)3個(gè)運(yùn)動(dòng)在圖12中示出了用于3個(gè)運(yùn)動(dòng)的示例。在這里，圖像區(qū)域1300中的三個(gè)"運(yùn)動(dòng)"是中間區(qū)域和按箭頭指示移動(dòng)的另外2個(gè)區(qū)域，所述中間區(qū)域是靜止前景。2個(gè)不相交邊界如直線所示。為了最小化遮蔽/暴露的區(qū)域效應(yīng)，最理想狀態(tài)(較低的預(yù)測誤差)將導(dǎo)致12中示出的區(qū)域幀參考(幀ref:)。在這個(gè)示例中，假定有相對于過去的(-1)、未來的(0)和早過去(-2)的2個(gè)幀的預(yù)測。在圖13中示出了這個(gè)示例中所使用的接口函數(shù)1300的示例。在圖13中示出了用于3個(gè)運(yùn)動(dòng)(2個(gè)不相交邊界)的接口函數(shù)的示例。所述函數(shù)可以寫成，》，W，W卜。.5tanh(""^2)化nh("^，V0.5其中t/ef=-1、t/ef--2、t3"f=0，并且w,、識2是表現(xiàn)邊界的平滑度/粗糙度的特征的寬度參數(shù)(在上述示例中，w,=0.25，w2=0.25)。正如用于2個(gè)運(yùn)動(dòng)情形的文本中論述的那樣，寬度參數(shù){Wj}可以是固定的外部參數(shù)，然而通常也可以動(dòng)態(tài)地確定它們(這將允許系統(tǒng)調(diào)節(jié)或選擇邊界的寬度/粗糙度)。正如我們在上述的視頻編碼中論述的那樣，還可以把本發(fā)明看作簡潔地代表多運(yùn)動(dòng)和邊界信息。對于3個(gè)運(yùn)動(dòng)的示例而言，我們將具有約30個(gè)參數(shù)(對于由6個(gè)參數(shù)仿射模型建模的3個(gè)運(yùn)動(dòng)為6x3，對于由二次多項(xiàng)式建模的2個(gè)邊界為5x2，并且比方說2個(gè)寬度參數(shù))。然而，由于我們能夠捕獲3個(gè)運(yùn)碼增益。由此，已經(jīng)公開的是一種用于非線性的多運(yùn)動(dòng)模型和移動(dòng)邊界提取的方法和設(shè)備。圖l舉例說明了可以在其中應(yīng)用所描述的技術(shù)的網(wǎng)絡(luò)環(huán)境100。正如示出的，由S個(gè)服務(wù)器104-1至104-S和C個(gè)客戶機(jī)108-1至108-C的形式的幾個(gè)計(jì)算機(jī)系統(tǒng)通過例如可以是一個(gè)基于家庭的網(wǎng)絡(luò)的網(wǎng)絡(luò)102被相連。注意，替代地，該網(wǎng)絡(luò)102可以是或包括因特網(wǎng)、局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、衛(wèi)星鏈路、光纖網(wǎng)路、有線電視網(wǎng)或這些和/或其它的組合中的一個(gè)或多個(gè)。服務(wù)器例如可以代表單獨(dú)的磁盤存儲(chǔ)系統(tǒng)或存儲(chǔ)器和計(jì)算資源。同樣，客戶機(jī)可以具有計(jì)算、存儲(chǔ)和查看能力?？梢詫⑦@里所描述的方法和設(shè)備應(yīng)用于基本上不論是本地還是遠(yuǎn)程的，比如LAN、WAN、系統(tǒng)總線等等的任何類型的通信裝置或設(shè)備。圖2以框圖形式舉例說明了計(jì)算機(jī)系統(tǒng)200，所述計(jì)算機(jī)系統(tǒng)可以表示圖1中所示的任何客戶機(jī)和服務(wù)器，而且可以表示本發(fā)明的一個(gè)實(shí)施例。所述框圖是高級的概念表示并且可以用各種方法和通過各種結(jié)構(gòu)來實(shí)現(xiàn)?？偩€系統(tǒng)202互連中央處理單元(CPU)2(M、只讀存儲(chǔ)器(ROM)206、隨機(jī)存取存儲(chǔ)器(RAM)208、存儲(chǔ)器210、顯示器220、音頻、222、鍵盤224、指示器226、各種各樣的輸入/輸出(I/O)設(shè)備228和通信230?？偩€系統(tǒng)202可以是例如一個(gè)或多個(gè)像系統(tǒng)總線這樣的總線，外圍設(shè)備互連(PCI)、高級圖形端口(AGP)、小型計(jì)算機(jī)系統(tǒng)接口(SCSI)、電氣和電子工程師協(xié)會(huì)(IEEE)標(biāo)準(zhǔn)號1394(FireWire(火線))、通用串行總線(USB)等等。所述CPU204可以是單個(gè)、多個(gè)或者甚至是一個(gè)分布式計(jì)算資源。存儲(chǔ)器210可以是壓密盤(CD)、數(shù)字多用途盤(DVD)、硬盤(HD)、光盤、磁帶、閃存、記憶棒、錄像機(jī)等等。顯示器"0可以例如是陰極射線管(CRT)、液晶顯示器(LCD)、投影系統(tǒng)、電視(TV)等等。注意，取決于計(jì)算機(jī)系統(tǒng)的實(shí)際實(shí)現(xiàn)方式，計(jì)耳機(jī)系統(tǒng)可以包括框圖中組件的一些、所有、更多或重新安排。例如，瘦客戶機(jī)可以由例如不帶傳統(tǒng)鍵盤的無線手持式設(shè)備組成。因此，圖2的系統(tǒng)上的許多變形是可能的。為了論述和理解本發(fā)明起見，應(yīng)當(dāng)理解的是，本領(lǐng)域的技術(shù)人員使用各種不同的術(shù)語來描迷技術(shù)和方法。此外，在說明書中，為了解釋起見，提出許多特定細(xì)節(jié)以便提供對本發(fā)明的徹底理解。然而，對于本領(lǐng)域技術(shù)人員而言顯而易見的是可以在沒有這些特定細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在一些例子中，以框圖形式而非詳細(xì)地示出了眾所周知的結(jié)構(gòu)和設(shè)備，以免混淆本發(fā)明。這些實(shí)施例;故足夠詳細(xì)地描述以使本領(lǐng)域的技術(shù)人員能實(shí)踐本發(fā)明，并且應(yīng)當(dāng)理解的是，可以采用其它的實(shí)施例，并且可以在不脫離本發(fā)明的范圍的情況下做出邏輯的、機(jī)械的、電學(xué)的及其它的改變。說明書的一些部分可以按照對例如計(jì)算機(jī)存儲(chǔ)器內(nèi)的數(shù)據(jù)位進(jìn)行運(yùn)算的算法和符號表示被提出。這些算法的說明和表示都是數(shù)據(jù)處理領(lǐng)域的技術(shù)人員所用的手段以便最有效地向本領(lǐng)域的其它技術(shù)人員傳達(dá)他們的工作的實(shí)質(zhì)。一個(gè)算法在這里并且通常設(shè)想成為導(dǎo)致期望結(jié)果的動(dòng)作的自相容序列。所述動(dòng)作是那些需要物理量的物理操縱的。通常，盡管不一定，但是這些量采取能被存儲(chǔ)、傳送、組合、比較和其它操作的電或磁信號的形式。有時(shí)主要地為了公共用途的原因，證明它方便地指代了如位、數(shù)值、元件、符號、特征、項(xiàng)、號碼等等這樣的這些信號。然而，應(yīng)該記住的是，所有這些和類似的項(xiàng)是將與適當(dāng)?shù)奈锢砹肯嚓P(guān)聯(lián)的并且只是應(yīng)用于這些量的方便標(biāo)記。除非明確地指明，否則通過該論述是顯而易見地，應(yīng)當(dāng)理解，貫穿本說明書，使用諸如"處理"或"計(jì)算(computing)"或"運(yùn)算(？alculating)"或"確定"或"顯示"等等之類的術(shù)語的論迷可能是指計(jì)'算機(jī)系統(tǒng)或類似的電子計(jì)算設(shè)備的動(dòng)作和過程，所述電子計(jì)算設(shè)備將表示為計(jì)算機(jī)系統(tǒng)的寄存器和存儲(chǔ)器內(nèi)的物理(電子)量的數(shù)據(jù)操作和變換成同樣表示為計(jì)算機(jī)系統(tǒng)存儲(chǔ)器或寄存器或其它這樣的信息存儲(chǔ)、傳輸或顯示設(shè)備內(nèi)的物理量的其它數(shù)據(jù)。、在這里，本發(fā)明可以通過用于執(zhí)行操作的設(shè)備來實(shí)現(xiàn)?？梢詫ｉT地為所需的目的而構(gòu)造這種設(shè)備，或者它可以包括由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序來有選擇地激活或重新配置的通用計(jì)算機(jī)。這樣的計(jì)算機(jī)程序可以被存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，比如但不限于任何類型的盤，包括軟盤、硬盤、光盤、壓密盤只讀存儲(chǔ)器(CD-ROM)和磁光盤、只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、電可編程只讀存儲(chǔ)器(EPR0M)、電可擦除編程只讀存儲(chǔ)器(EEPR0M)、閃存、磁或光學(xué)卡，等等，或是適合于將電子指令本地存儲(chǔ)到計(jì)算機(jī)或者遠(yuǎn)程存儲(chǔ)到計(jì)算機(jī)中的任何類型的介質(zhì)。在這里所出現(xiàn)的算法和顯示并不是固有地與任何特定計(jì)算機(jī)或其它設(shè)備相關(guān)的。依照這里的教導(dǎo)，可以使用具有程序的各種通用系統(tǒng)，或者可以證明便于構(gòu)造更多的專門設(shè)備以執(zhí)行所需的方法。例如，根據(jù)本發(fā)明的任何方法都能夠以硬接線電路、通過對通用處理器進(jìn)行編程或通過硬件和軟件的任何的組合來實(shí)現(xiàn)。本領(lǐng)域技術(shù)人員將會(huì)立即認(rèn)識到本發(fā)明能夠利用除所述的那些以外的計(jì)算機(jī)系統(tǒng)配置加以實(shí)現(xiàn)，包括手持式設(shè)備、多處理器系統(tǒng)、基于微處理器的或可編程的用戶電子設(shè)備、數(shù)字信號處理(DSP)裝置、機(jī)頂盒、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、大型計(jì)算機(jī)等等。本發(fā)明還可以在其中由通過通信網(wǎng)絡(luò)被鏈接的遠(yuǎn)程處理設(shè)備來執(zhí)行任務(wù)的分布式計(jì)算環(huán)境中實(shí)踐。本發(fā)明的方法可以利用計(jì)算機(jī)軟件來實(shí)現(xiàn)。如果以符合所認(rèn)可的標(biāo)準(zhǔn)的程序設(shè)計(jì)語言來進(jìn)行編寫，則能夠?yàn)楦鞣N不同硬件平臺上的執(zhí)行和為到各種不同的操作系統(tǒng)的接口對設(shè)計(jì)來實(shí)現(xiàn)所述方法的指令序列進(jìn)行編譯。另外，沒有參照任何特定的程序設(shè)計(jì)語言來對本發(fā)明進(jìn)行描述。應(yīng)當(dāng)理解，各種程序設(shè)計(jì)語言都可以用來實(shí)現(xiàn)如這里所描述的本發(fā)明的教導(dǎo)。此外，在本領(lǐng)域中以一種形式或另一種形式(例如程序、過程、應(yīng)用、驅(qū)動(dòng)，……)說到軟件作為采取動(dòng)作或產(chǎn)生結(jié)果是常見的。這樣的表達(dá)僅僅是由計(jì)算機(jī)對軟件的執(zhí)行引起計(jì)算機(jī)的處理器執(zhí)行動(dòng)作或產(chǎn)生結(jié)果的簡寫形式。應(yīng)當(dāng)理解，各種不同的術(shù)語和技術(shù)由本領(lǐng)域那些技術(shù)人員來使用以描述通信、協(xié)議、應(yīng)用、實(shí)施方式、機(jī)制等等。一種這樣的技術(shù)就是按照算法或數(shù)學(xué)表達(dá)式的技術(shù)的實(shí)施方式的說明。也就是說，雖然所述技術(shù)可以例如作為計(jì)算機(jī)上的執(zhí)行碼來實(shí)現(xiàn)，那個(gè)技術(shù)的表達(dá)可以更加適當(dāng)而簡明地作為公式、算法或數(shù)學(xué)表達(dá)式加以傳達(dá)和傳遞。因此，本領(lǐng)域熟練技術(shù)人員將把表示A+B=C的一個(gè)塊認(rèn)識為一個(gè)其在硬件和/或軟件中的實(shí)現(xiàn)將采用兩個(gè)輸入(A和B)并且產(chǎn)生總和輸出(C)的相加函數(shù)。因此，像說明^這樣的公式、算法或數(shù)學(xué)表達(dá)式的使用應(yīng)當(dāng)被理解為具有至少為硬件和/或軟件形式的物理體現(xiàn)(比如，其中可以實(shí)踐本發(fā)明的技術(shù)并且作為一個(gè)實(shí)施例實(shí)現(xiàn)的計(jì)算才幾系統(tǒng))。將機(jī)器可讀介質(zhì)理解成包括任何用于以機(jī)器(例如，計(jì)算機(jī))可讀的形式存儲(chǔ)或傳輸信息的機(jī)制。'例如，機(jī)器可讀介質(zhì)包括只讀存儲(chǔ)器(ROM);隨機(jī)存取存儲(chǔ)器(RAM);磁盤存儲(chǔ)器介質(zhì)；光存儲(chǔ)介質(zhì)；閃存設(shè)備；電學(xué)的、光學(xué)的、聽覺的或其它形式的傳播信號(例如，載波、紅外信號、數(shù)字信號等)；等等。單詞"一個(gè)實(shí)施例"或"一實(shí)施例"或類似語言的的使用不意味著只有本發(fā)明的單個(gè)實(shí)施例，而是指示在論述的特定實(shí)施例中它是幾種可能實(shí)施例的其中之一。由此，已經(jīng)描述了一種用于非線性的多運(yùn)動(dòng)模型和移動(dòng)邊界提取的方法和設(shè)備。權(quán)利要求1.一種用計(jì)算機(jī)實(shí)現(xiàn)的方法，包括接收運(yùn)動(dòng)預(yù)測誤差，該運(yùn)動(dòng)預(yù)測誤差對應(yīng)于一個(gè)視頻序列幀內(nèi)的一個(gè)輸入幀內(nèi)的運(yùn)動(dòng)塊，其中，該運(yùn)動(dòng)預(yù)測誤差與單運(yùn)動(dòng)模型相關(guān)聯(lián)；如果所述對應(yīng)的接收到的運(yùn)動(dòng)預(yù)測誤差滿足預(yù)設(shè)的條件，則選擇一個(gè)運(yùn)動(dòng)塊；對于被選定的運(yùn)動(dòng)塊，計(jì)算相對于第一參考幀和第二參考幀的多個(gè)運(yùn)動(dòng)預(yù)測誤差，其中，所述輸入幀、第一參考幀和第二參考幀是所述視頻序列內(nèi)不同的幀；按照使得所述多個(gè)運(yùn)動(dòng)預(yù)測誤差中的每一個(gè)取值最小的布局，對所述被選定的運(yùn)動(dòng)塊進(jìn)行劃分，其中，所述布局包括相對所述第一參考幀進(jìn)行預(yù)測的第一像素區(qū)域和相對所述第二參考幀進(jìn)行預(yù)測的第二像素區(qū)域；根據(jù)所述布局得到所述被選定的運(yùn)動(dòng)塊的多運(yùn)動(dòng)模型；以及利用所述多運(yùn)動(dòng)模型和單運(yùn)動(dòng)模型對所述輸入幀進(jìn)行編碼。2.如權(quán)利要求1所述的用計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，得到多運(yùn)動(dòng)模型的步驟包括根據(jù)所述第一和第二區(qū)域的交集估計(jì)所述視頻序列內(nèi)一個(gè)運(yùn)動(dòng)對象的邊界。3.如權(quán)利要求2所述的用計(jì)算機(jī)處理的方法，其中，所述布局進(jìn)一步包括根據(jù)所述第一和第二參考幀的組合進(jìn)行預(yù)測的混合像素區(qū)域，并且對所述邊界進(jìn)行估計(jì)的步驟包括根據(jù)單個(gè)參考幀改變所述被預(yù)測的混r合區(qū)域內(nèi)的一個(gè)像素。4.如權(quán)利要求3所述的用計(jì)算機(jī)處理的方法，其中，對所述邊界進(jìn)行估計(jì)的步驟進(jìn)一步包括識別時(shí)間變量t'-F(s)--O.5的所述混合區(qū)域內(nèi)的像素，這里F(s)為非線性函數(shù)，s為邊界模型B(x，y)，x和y為像素坐標(biāo)，對于相對過去的幀進(jìn)行預(yù)測的像素，t'=-l，對于相對未來的幀進(jìn)行預(yù)測的像素，1/=0，并且對于所述混合區(qū)域內(nèi)的像素，t'e(-1，0)。5.如權(quán)利要求11所述的用計(jì)算機(jī)處理的方法，其中，所述非線性函數(shù)給定如下其中w是邊界寬度并且用于控制所述混合區(qū)域內(nèi)像素的數(shù)量。6.如權(quán)利要求4所述的用計(jì)算機(jī)處理的方法，其中，所述邊界模型給定如下其中g(shù)，h，cc，P，i為預(yù)設(shè)參數(shù)。7.如權(quán)利要求3所述的用計(jì)算機(jī)處理的方法，其中，計(jì)算所述多個(gè)運(yùn)動(dòng)預(yù)測誤差的步驟包含利用給定如下的包含時(shí)間變量t，的6參數(shù)(a，b，c，d，e，f)仿射運(yùn)動(dòng)模型計(jì)算運(yùn)動(dòng)矢量(Vx,v》x'=odc++c+(a'x++c')(/'+1)/=血++./十(d'x+e'_y+/')(,'+1)這里x和y確定了像素在所述輸入幀內(nèi)的位置，x，和y，確定了相應(yīng)的像素在參考幀內(nèi)的位置，對于相對過去的幀進(jìn)行預(yù)測的像素，r=-l，對于相對未來的幀進(jìn)行預(yù)測的像素，t'=0，其中，相對過去的幀進(jìn)行預(yù)測的像素的運(yùn)動(dòng)矢量為vx=;c'—jc-(a-l)x++cv少二/-P血+(")"/而相對未來的幀進(jìn)行預(yù)測的像素的運(yùn)動(dòng)矢量為vx=(a+a'-l);c+(6+6')少+c+c'=(t/++0+e'-l)少+/+/'8.如權(quán)利要求7所述的用計(jì)算機(jī)處理的方法，其中，通過應(yīng)用所述過去的幀和未來的幀的運(yùn)動(dòng)矢量來預(yù)測所述輸入幀內(nèi)的像素。9.如權(quán)利要求1所述的用計(jì)算機(jī)處理的方法，其中，所述參考幀選自由所述視頻序列內(nèi)相對于輸入幀而言是過去的幀和未來的幀所組成的組。10.—種系統(tǒng)，包4舌接收運(yùn)動(dòng)預(yù)測誤差的邏輯，該運(yùn)動(dòng)預(yù)測誤差對應(yīng)于一個(gè)視頻序列幀內(nèi)的一個(gè)輸入幀內(nèi)的運(yùn)動(dòng)塊，其中，該運(yùn)動(dòng)預(yù)測誤差與單運(yùn)動(dòng)模型相關(guān)聯(lián)；如果所述對應(yīng)的接收到的運(yùn)動(dòng)預(yù)測誤差滿足預(yù)設(shè)的條件，則選擇一個(gè)運(yùn)動(dòng)塊的邏輯；對于被選定的運(yùn)動(dòng)塊，計(jì)算相對于第一參考幀和第二參考幀的多個(gè)運(yùn)動(dòng)預(yù)測誤差的邏輯，其中，所述輸入幀、第一參考幀和第二參考幀是所述幀序列內(nèi)不同的幀；按照使得所述多個(gè)運(yùn)動(dòng)預(yù)測誤差中的每一個(gè)取值最小的布局，對所述被選定的運(yùn)動(dòng)塊進(jìn)行劃分的邏輯，其中，所述布局包括相對所述第一參考幀進(jìn)行預(yù)測的第一像素區(qū)域和相對所述第二參考幀進(jìn)行預(yù)測的第二像素區(qū)域；根據(jù)所述布局得到所述被選定的運(yùn)動(dòng)塊的多運(yùn)動(dòng)模型的邏輯；以及利用所述多運(yùn)動(dòng)模型和單運(yùn)動(dòng)模型對所述輸入幀進(jìn)行編碼的邏輯。11.如權(quán)利要求10所述的系統(tǒng)，其中，得到多運(yùn)動(dòng)模型的邏輯進(jìn)一步根據(jù)所述第一和第二區(qū)域的交集估計(jì)所述視頻序列內(nèi)一個(gè)運(yùn)動(dòng)對象的邊界。12.如權(quán)利要求11所述的系統(tǒng)，其中，所述布局進(jìn)一步包括根據(jù)所述第一和第二參考幀的組合進(jìn)行預(yù)測的混合像素區(qū)域，并且得到多運(yùn)動(dòng)模型的邏輯進(jìn)一步根據(jù)單個(gè)參考幀改變所述被預(yù)測的混合區(qū)域內(nèi)的一個(gè)像素。13.如權(quán)利要求10所述的系統(tǒng)，其中，所述參考幀選自由所述視頻序列內(nèi)相對于輸入幀而言是過去的幀和未來的幀所組成的組。14.如權(quán)利要求10所述的系統(tǒng)，進(jìn)一步包括根據(jù)所述多運(yùn)動(dòng)模型和單運(yùn)動(dòng)模型對所述視頻序列進(jìn)行解碼的邏輯。全文摘要公開了一種用于非線性的多運(yùn)動(dòng)模型和移動(dòng)邊界提取的方法和設(shè)備。在一個(gè)實(shí)施例中，接收一個(gè)輸入圖像，將該輸入圖像劃分成區(qū)域/塊，并且將新的多運(yùn)動(dòng)模型應(yīng)用于每個(gè)區(qū)域以提取運(yùn)動(dòng)和相關(guān)的移動(dòng)邊界。文檔編號G06T7/20GK101257632SQ20081008831公開日2008年9月3日申請日期2003年11月6日優(yōu)先權(quán)日2002年11月11日發(fā)明者J·J·小卡里格,M·帕尼科尼申請人:索尼電子有限公司