專利名稱：運(yùn)動(dòng)估計(jì)系統(tǒng)中使用圖形引擎獲取的矢量的對(duì)象跟蹤的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及輸入圖像序列的運(yùn)動(dòng)估計(jì)，尤其涉及與基于相機(jī)/觀察者的方向和位置產(chǎn)生的候選運(yùn)動(dòng)矢量相關(guān)聯(lián)的方法。
背景技術(shù)：
運(yùn)動(dòng)估計(jì)，圖像、幀或視頻場(chǎng)序列中的運(yùn)動(dòng)的識(shí)別是眾所周知的。運(yùn)動(dòng)估計(jì)的現(xiàn)有方法一般考慮序列中的兩個(gè)或更多個(gè)幀，并創(chuàng)建表示圖像區(qū)域的從ー個(gè)幀到下一個(gè)幀的2D平移運(yùn)動(dòng)的運(yùn)動(dòng)矢量集。運(yùn)動(dòng)估計(jì)的ー種可能技術(shù)是運(yùn)動(dòng)搜索，在該技術(shù)中，捜索之前的幀以發(fā)現(xiàn)與當(dāng)前幀中的特定區(qū)域最佳匹配的圖像區(qū)域。兩個(gè)匹配區(qū)域的位置差異給出了當(dāng)前位置的運(yùn)動(dòng)矢量。不同的系統(tǒng)具有不同的運(yùn)動(dòng)估計(jì)需求。在諸如視頻編碼器的壓縮系統(tǒng)中，該需求 是通過參考序列中的先前幀來形成幀的最緊湊表示。該需求通常用于發(fā)現(xiàn)給出當(dāng)前幀與參考幀中的像素區(qū)域之間的最佳匹配的運(yùn)動(dòng)矢量，因?yàn)檫@導(dǎo)致最緊湊編碼。雖然所得到的運(yùn)動(dòng)矢量通常表示場(chǎng)景中對(duì)象的實(shí)際運(yùn)動(dòng)，但是并不需要情況總是如此。在其他應(yīng)用中，諸如對(duì)象跟蹤或幀率轉(zhuǎn)換，即使視頻中的其他失真意味著相應(yīng)圖像區(qū)域中的像素并不可能總是彼此最佳匹配，運(yùn)動(dòng)矢量表示場(chǎng)景的真實(shí)運(yùn)動(dòng)仍然是更加重要的。通過在運(yùn)動(dòng)搜索過程期間應(yīng)用合適的約束，結(jié)果能夠在需要時(shí)被指引向“最佳像素匹配”或“真實(shí)運(yùn)動(dòng)”。幀中的運(yùn)動(dòng)矢量集被共同地稱為用于那個(gè)巾貞的運(yùn)動(dòng)矢量場(chǎng)(motion vector field)。注意,如下文所描述的，術(shù)語“矢量場(chǎng)”的使用不應(yīng)與用于描述交織視頻序列中的數(shù)據(jù)的“場(chǎng)”或“視頻場(chǎng)”的使用混淆。雖然存在用于運(yùn)動(dòng)估計(jì)的許多方法，但是共有的實(shí)施例是基于塊的運(yùn)動(dòng)估計(jì)器。將通過顯示本發(fā)明如何與基于塊的運(yùn)動(dòng)估計(jì)器一起使用來描述本專利中公開的發(fā)明，雖然本發(fā)明的原理也可以應(yīng)用于其他類型的運(yùn)動(dòng)估計(jì)器。在基于塊的運(yùn)動(dòng)估計(jì)器中，幀典型地被再劃分成稱為塊或宏塊的矩形區(qū)域的規(guī)則網(wǎng)格。在運(yùn)動(dòng)搜索過程中，每個(gè)塊的像素?cái)?shù)據(jù)與來自之前幀中的各種候選位置的像素?cái)?shù)據(jù)進(jìn)行比較，并計(jì)算每個(gè)候選的得分函數(shù)。具有最佳得分的塊的相對(duì)位置給出了當(dāng)前塊位置的運(yùn)動(dòng)矢量。圖I示出了塊匹配運(yùn)動(dòng)估計(jì)器的典型示例。在包括圖I的所有附圖中，運(yùn)動(dòng)矢量用箭頭的頭位于該矢量所對(duì)應(yīng)的塊的中心處示出。幀被分成塊，并且之前幀中的對(duì)象101已經(jīng)移動(dòng)到當(dāng)前幀中的位置102。該對(duì)象的之前位置被示為疊加在當(dāng)前幀上，并用103表示。針對(duì)塊而非針對(duì)對(duì)象執(zhí)行運(yùn)動(dòng)估計(jì)，其中當(dāng)前幀中的一批像素與之前幀中的塊大小的像素區(qū)域相匹配，其不必是塊對(duì)準(zhǔn)的。例如，塊104被移動(dòng)的對(duì)象102部分覆蓋，并具有如105處所示的內(nèi)容。如果執(zhí)行得好的話，針對(duì)塊104的運(yùn)動(dòng)估計(jì)將發(fā)現(xiàn)之前幀中的像素?cái)?shù)據(jù)區(qū)域106，也能看到該像素?cái)?shù)據(jù)區(qū)域106包含105中所示的像素，也就是好的匹配已經(jīng)被發(fā)現(xiàn)。通過被疊加回當(dāng)前幀上，匹配的像素?cái)?shù)據(jù)區(qū)域位于107處。因此，與塊104相關(guān)聯(lián)的運(yùn)動(dòng)矢量由箭頭108示出。不是窮舉性地考慮每ー個(gè)可能的位置，許多基于塊的運(yùn)動(dòng)估計(jì)器通過用諸如絕對(duì)差和(SAD)或平均平方差(MSD)的得分函數(shù)對(duì)運(yùn)動(dòng)矢量候選集進(jìn)行測(cè)試來選擇他們的輸出運(yùn)動(dòng)矢量，以識(shí)別給出最低誤差塊匹配的運(yùn)動(dòng)矢量。圖2示出了針對(duì)當(dāng)前幀中的塊201的候選評(píng)估進(jìn)程，其中塊201具有在211中所示的像素內(nèi)容。在該簡(jiǎn)單的示例性系統(tǒng)中，考慮了三個(gè)運(yùn)動(dòng)矢量候選206、207和208，這三個(gè)運(yùn)動(dòng)矢量候選對(duì)應(yīng)于之前幀中的位置202、203和204處的候選像素?cái)?shù)據(jù)區(qū)域。這些像素?cái)?shù)據(jù)區(qū)域的像素內(nèi)容分別如212、213和214中所見。顯然，位置202處的像素?cái)?shù)據(jù)提供了針對(duì)塊201的最佳匹配，因此應(yīng)該被選為最佳匹配/最低差別候選。通過疊加回當(dāng)前幀上，匹配的像素?cái)?shù)據(jù)區(qū)域位于205處，并且相關(guān)聯(lián)的運(yùn)動(dòng)矢量是206。已知運(yùn)動(dòng)矢量在時(shí)間和空間上與相鄰塊中的矢量高度相關(guān)，那么這些鄰近矢量常常被用作運(yùn)動(dòng)估計(jì)中所考慮的用于特定塊的候選運(yùn)動(dòng)矢量集的基礎(chǔ)。當(dāng)視頻中的運(yùn)動(dòng)改變吋，隨機(jī)元素也可以被合并到候選中以允許該系統(tǒng)適應(yīng)。在塊具有不能由其鄰近塊簡(jiǎn)單預(yù)測(cè)的運(yùn)動(dòng)時(shí)，系統(tǒng)可以依賴于矢量候選的隨機(jī)擾動(dòng)，稱為抖動(dòng)。這對(duì)于緩慢變化的矢量場(chǎng)是好的，但傾向于不允許運(yùn)動(dòng)估計(jì)器快速聚合于與其鄰近塊非常不同的新矢量。依賴于隨機(jī)性的系統(tǒng)可以隨時(shí)間的推移朝正確的運(yùn)動(dòng)游蕩，但是易于在局部最小值中形成阻塞，或聚 合得太慢以至于等其到達(dá)那里的時(shí)候該運(yùn)動(dòng)已經(jīng)再次改變了。因此希望引入能夠更準(zhǔn)確地預(yù)測(cè)新的和改變的運(yùn)動(dòng)的候選或者改進(jìn)候選運(yùn)動(dòng)矢量的選擇以改進(jìn)矢量場(chǎng)的聚合速度。針對(duì)每個(gè)塊所測(cè)試的候選運(yùn)動(dòng)矢量的數(shù)目常常是在選擇足夠大以識(shí)別真實(shí)運(yùn)動(dòng)和/或提供具有低殘差的良好匹配同時(shí)足夠小以最小化計(jì)算開銷的集合之間的折中。視頻序列典型地包括視頻數(shù)據(jù)的一系列非交織幀，或視頻數(shù)據(jù)的一系列交織場(chǎng)。交織序列由在顯示器的交替行上攜帯數(shù)據(jù)的場(chǎng)產(chǎn)生，以便第一場(chǎng)將攜帶用于交替行的數(shù)據(jù)，且第二場(chǎng)將攜帯用于缺失行的數(shù)據(jù)。因此將這些場(chǎng)在時(shí)間和空間上分隔開。序列中的每個(gè)交替場(chǎng)都將攜帯同一空間位置處的數(shù)據(jù)。不是所有的視頻序列都由諸如可由視頻相機(jī)產(chǎn)生的“真實(shí)”圖像構(gòu)成。諸如游戲、虛擬現(xiàn)實(shí)環(huán)境、計(jì)算機(jī)輔助設(shè)計(jì)(CAD)系統(tǒng)等的應(yīng)用典型地輸出可被稱為人工生成的視頻序列的一系列圖像。在計(jì)算機(jī)圖形尤其是在3D計(jì)算機(jī)圖形中，通常使用多個(gè)坐標(biāo)系統(tǒng)。圖8示出了三個(gè)重要的坐標(biāo)系統(tǒng)。自然空間是具有任意原點(diǎn)800的空間，在該自然空間中，相機(jī)(或眼睛)點(diǎn)810、屏幕位置820以及三個(gè)對(duì)象830、840和850在平面視圖中示出。相機(jī)正在指向的方向用860表示。呈現(xiàn)該場(chǎng)景的初始步驟是將對(duì)象變換到相機(jī)空間。在也以平面視圖示出的相機(jī)空間中，相機(jī)處于原點(diǎn)并沿著z軸指向。屏幕820垂直于觀察方向。第二步驟將對(duì)象投影到平面空間，其中屏幕上對(duì)象的X，y位置并不僅依賴于其x、y位置，而是還依賴于相機(jī)空間中他的z坐標(biāo)。因此這是透視投影，這有助于向該場(chǎng)景提供“三維”外觀。在處理傳統(tǒng)視頻序列的運(yùn)動(dòng)估計(jì)系統(tǒng)中，對(duì)象的運(yùn)動(dòng)被認(rèn)為是對(duì)象在顯示屏幕上的表示在幀之間移動(dòng)的距離。運(yùn)動(dòng)估計(jì)進(jìn)程在整個(gè)屏幕空間中出現(xiàn)。實(shí)際上，顯示屏幕上對(duì)象的運(yùn)動(dòng)是通過自然空間中對(duì)象的運(yùn)動(dòng)、那個(gè)運(yùn)動(dòng)在屏幕上的投影以及相機(jī)的位置和方向的任意改變來確定的。對(duì)于視頻序列和人工生成的序列而言都是如此，但是在人工生成的序列中可能呈現(xiàn)出特定的問題，諸如3D游戲，其中快速運(yùn)動(dòng)常常與觀察方向的突然改變相結(jié)合。這些相機(jī)移動(dòng)不能由運(yùn)動(dòng)估計(jì)器容易地進(jìn)行預(yù)測(cè)，并因而影響了運(yùn)動(dòng)估計(jì)性能。為了呈現(xiàn)人工場(chǎng)景，負(fù)責(zé)創(chuàng)建幀序列的圖形引擎必須具有關(guān)于場(chǎng)景中的對(duì)象的知識(shí)(knowledge)以及關(guān)于相機(jī)位置和方向的細(xì)節(jié)。雖然場(chǎng)景中的對(duì)象的位置和運(yùn)動(dòng)通常不能位于圖形引擎的外部，但是圖形引擎提供API (應(yīng)用編程接口)是普遍的，該API允許一些信息能夠由其他應(yīng)用使用。方便的是，許多API常常以矩陣的形式提供相機(jī)位置和方向的細(xì)節(jié)，這些細(xì)節(jié)描述了從自然到相機(jī)空間的變換以及到屏幕空間的投影。訪問深度(或“Z”)緩沖器信息常常是可能的，該深度緩沖器信息存儲(chǔ)屏幕空間呈現(xiàn)的圖像中的每個(gè)像素位置處對(duì)象的深度。在已經(jīng)使用傳統(tǒng)的2D視頻相機(jī)產(chǎn)生視頻序列的情況中，相機(jī)位置和深度信息不是常規(guī)可用的。盡管如此，如果該信息或該信息的近似信息能夠產(chǎn)生，則本發(fā)明仍然可以用于改進(jìn)運(yùn)動(dòng)估計(jì)。用于近似場(chǎng)景中相機(jī)位置、方向以及到對(duì)象的距離的可能的方法可以使用計(jì)算機(jī)視覺中的“運(yùn)動(dòng)結(jié)構(gòu)”技術(shù)獲取。
現(xiàn)有技術(shù)Agrawala, Beers 和 Chadda, Model-Based Motion Estimation for Synthetic Animations，ACM Multimedia 1995。

發(fā)明內(nèi)容
本發(fā)明引入了生成候選運(yùn)動(dòng)矢量的有效方法，該候選運(yùn)動(dòng)矢量從相機(jī)的位置和方向中獲取并可選擇地從場(chǎng)景中的相機(jī)與對(duì)象之間的距離中獲取。相機(jī)位置和方向的改變有助于以能夠用于指導(dǎo)運(yùn)動(dòng)矢量候選的選擇的可預(yù)測(cè)方式進(jìn)行對(duì)象的屏幕空間運(yùn)動(dòng)。當(dāng)相機(jī)運(yùn)動(dòng)與對(duì)象深度信息結(jié)合時(shí)，所得到的屏幕空間對(duì)象運(yùn)動(dòng)能夠在數(shù)學(xué)上被確定。通過將屏幕空間中的對(duì)象運(yùn)動(dòng)表示為因相機(jī)移動(dòng)導(dǎo)致的運(yùn)動(dòng)和因自然空間中對(duì)象移動(dòng)導(dǎo)致的運(yùn)動(dòng)的組合，能夠?qū)崿F(xiàn)運(yùn)動(dòng)估計(jì)性能的進(jìn)一步改進(jìn)。這些方法可以通過依賴于時(shí)間和空間上獲取的候選來引入以其他方式通過其他矢量傳播技術(shù)尚未可用的運(yùn)動(dòng)矢量候選來進(jìn)行工作，并提供跟蹤順應(yīng)因相機(jī)/觀察者位置改變導(dǎo)致的視運(yùn)動(dòng)的運(yùn)動(dòng)的更有效的方法。本發(fā)明可以克服由用戶控制的相機(jī)引入的不穩(wěn)定的運(yùn)動(dòng)，允許快速或正在改變的運(yùn)動(dòng)區(qū)域中的更快聚合，允許考慮更少的候選，和/或補(bǔ)償觀察者位置的改變，所有這些都導(dǎo)致更精確的運(yùn)動(dòng)矢量場(chǎng)。


現(xiàn)在將參考附圖通過示例的方式詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例，其中圖I示出了典型的塊匹配運(yùn)動(dòng)估計(jì)器；圖2示出了塊匹配運(yùn)動(dòng)估計(jì)器如何從候選運(yùn)動(dòng)矢量集中選擇“最佳”運(yùn)動(dòng)矢量；圖3示出了由相機(jī)位置沿著平行于屏幕的矢量平移造成的屏幕空間運(yùn)動(dòng)；圖4示出了由相機(jī)位置沿著垂直于屏幕的矢量平移造成的屏幕空間運(yùn)動(dòng)；圖5示出了由相機(jī)方向繞著平行于屏幕的軸旋轉(zhuǎn)造成的屏幕空間運(yùn)動(dòng)；圖6示出了由相機(jī)繞著垂直于屏幕的軸旋轉(zhuǎn)造成的屏幕空間運(yùn)動(dòng)；圖7示出了由相機(jī)移動(dòng)造成的屏幕空間運(yùn)動(dòng)對(duì)相機(jī)至對(duì)象的距離的依賴性；圖8示出了 3D計(jì)算機(jī)圖形中使用的不同坐標(biāo)系統(tǒng)的示例；圖9示出了屏幕空間運(yùn)動(dòng)矢量，該矢量是自然空間中的對(duì)象運(yùn)動(dòng)導(dǎo)致的矢量與相機(jī)的觀察位置和方向的變換導(dǎo)致的矢量的和；圖10示出了根據(jù)像素的深度值的像素分類如何允許多個(gè)運(yùn)動(dòng)矢量被分配給單個(gè)塊；圖11示出了現(xiàn)有系統(tǒng)中的動(dòng)量候選矢量查找的示例；圖12示出了對(duì)相機(jī)運(yùn)動(dòng)進(jìn)行補(bǔ)償?shù)膭?dòng)量候選矢量查找的示例；圖13示出了傳統(tǒng)運(yùn)動(dòng)估計(jì)器的系統(tǒng)級(jí)框圖；圖14示出了運(yùn)動(dòng)估計(jì)器的系統(tǒng)級(jí)框圖，其中外部“視頻結(jié)構(gòu)”系統(tǒng)用于計(jì)算近似的相機(jī)位置和方向，而且該信息用于在運(yùn)動(dòng)估計(jì)期間改進(jìn)候選矢量；圖15示出了運(yùn)動(dòng)估計(jì)器的系統(tǒng)級(jí)框圖，其中關(guān)于相機(jī)/觀察者位置和方向以及場(chǎng) 景的深度緩沖器的完整信息由圖形引擎提供并用于改進(jìn)在運(yùn)動(dòng)估計(jì)期間使用的候選矢量。
具體實(shí)施例方式在所有附圖中，運(yùn)動(dòng)矢量用箭頭的頭位于矢量所對(duì)應(yīng)的塊的中心處示出，而且為了簡(jiǎn)單起見，認(rèn)為對(duì)象具有點(diǎn)的大小。典型相機(jī)移動(dòng)的示例圖3至圖6示出各種典型相機(jī)移動(dòng)的示例，而且示出了期望產(chǎn)生的視運(yùn)動(dòng)矢量。圖3示出了在與屏幕的Y軸平行的方向上移動(dòng)的相機(jī)。對(duì)于在點(diǎn)301處指出并在由矢量302所示的方向(即向下)上平移的相機(jī)，屏幕上的對(duì)象的視運(yùn)動(dòng)是向上的，如矢量303所示。對(duì)于沿著平行于屏幕平面的其他矢量的平移，存在類似的情況。圖4示出了在垂直于屏幕的方向上移動(dòng)的相機(jī)。相機(jī)在點(diǎn)401處指出并向著場(chǎng)景移動(dòng)。該場(chǎng)景中的對(duì)象的視運(yùn)動(dòng)因此是從中心向外的，如由矢量403和404所示的。更接近于屏幕中心的對(duì)象將具有更小的矢量，例如403，而更接近于屏幕邊緣的對(duì)象將具有更大的矢量，例如404。圖5示出了繞著大體上平行于屏幕的X軸的軸旋轉(zhuǎn)的相機(jī)。相機(jī)在點(diǎn)501處指出，并在向上方向上旋轉(zhuǎn)，如502所示。屏幕上的對(duì)象的視運(yùn)動(dòng)是向下的，如矢量503所示。圖6示出了繞著大體上垂直于屏幕的軸旋轉(zhuǎn)的相機(jī)。相機(jī)在點(diǎn)601處指出并如602所示那樣旋轉(zhuǎn)。場(chǎng)景中的對(duì)象看起來沿著弧形移動(dòng)而且運(yùn)動(dòng)矢量與弧形相切，諸如603和604。更接近于屏幕中心的對(duì)象將具有更小的矢量，例如603，而更接近于屏幕邊緣的對(duì)象將具有更大的矢量，例如604。3D幾何圖形三維計(jì)算機(jī)應(yīng)用(諸如游戲)中的幾何圖形典型地在齊次坐標(biāo)中給出。該表示將允許定義變換矩陣，該變換矩陣包括了相機(jī)位置的6個(gè)自由度(三個(gè)平移和三個(gè)旋轉(zhuǎn))。對(duì)于自然空間中的點(diǎn)P，對(duì)于相機(jī)空間中的相應(yīng)點(diǎn)q的變換由下式給出
Px
Pvp = J
Pz
I>! h r3 (C= ^ ^ ^ ^
r7 r8 r9 tz
0 0 0 1q=Cp在相機(jī)矩陣C中,項(xiàng)tx、ty和tz表示平移，以及項(xiàng)!T1至r9表示旋轉(zhuǎn)。本領(lǐng)域技術(shù)人員將意識(shí)到，該矩陣還能夠表示諸如縮放和剪切之類的變換，但是這些在相機(jī)變換中很少使用。然后由投影矩陣P給出q向齊性屏幕空間矢量r的投影，其中矢量d包括dx、dy和 dz，dx和dy是對(duì)屏幕的角的補(bǔ)償，dz是從相機(jī)到屏幕的距離
10 0 d:
0 I 0 dv尸=00 I 0
0 0及0r=Pq最后，除以齊次坐標(biāo)得到2D屏幕上的點(diǎn)s的位置。沒有示出比例因子，但是可能還需要該比例因子以將圖像正確地映射到顯示設(shè)備的坐標(biāo)系統(tǒng)上
「 n^JrwS= ,
Lrv/v典型地，深度緩沖器將存儲(chǔ)齊性深度坐標(biāo)rw。相機(jī)移動(dòng)假設(shè)相機(jī)矩陣從Clri變成Cn，則必須解決的問題是確定當(dāng)前幀中的點(diǎn)Sn的之前幀中的屏幕空間位置Sm。隨后我們將看到對(duì)象Slri的實(shí)際屏幕空間位置可以如何區(qū)別于預(yù)測(cè)位置。Slri的計(jì)算可以通過第一次從Sn來重構(gòu)rn并將其變換回自然空間位置？ 來實(shí)現(xiàn)。假設(shè)所述點(diǎn)在自然空間中沒有移動(dòng)，即Pn=Plri，則之后可以使用以上所示的方法將點(diǎn)Plri變換回屏幕空間坐標(biāo)sn_lt)注意，為了從2D矢量Sn構(gòu)建4D矢量rn，我們必須使用來自其他位置的信息。齊性深度rw從深度緩沖器獲取。rz項(xiàng)看起來已經(jīng)丟失了，但是能夠被重新計(jì)算，因?yàn)槲覀儚耐队熬仃嘝知道rz=qz以及rw=qz/dz。在下面的等式中，注意，我們使用不同的投影矩陣Pn和Pn+以允許不可能的可能性，即投影可以在幀之間改變
Sxjt ■ rw,
S * r
rnv.n w.nK1= ■
_ _Pn^CrlP；lrnIV1=PlriClriPlri如果自然空間位置pn等于Plri，則rn_x =P _lC _lpn_l
權(quán)利要求
1.一種用于圖像序列的運(yùn)動(dòng)估計(jì)的方法，該方法包括以下步驟 a)確定表示所述圖像序列中的每對(duì)場(chǎng)或幀之間相機(jī)或觀察者位置和方向的移動(dòng)的一個(gè)或多個(gè)運(yùn)動(dòng)矢量； b)確定用于從之前場(chǎng)或幀中的對(duì)象位置獲取場(chǎng)或幀中的對(duì)象位置的候選運(yùn)動(dòng)矢量集; c)使用表示相機(jī)或觀察者位置的移動(dòng)的運(yùn)動(dòng)矢量調(diào)整所述候選運(yùn)動(dòng)矢量集；以及 d)使用調(diào)整的候選運(yùn)動(dòng)矢量集由運(yùn)動(dòng)估計(jì)獲取所述圖像序列的運(yùn)動(dòng)矢量集。
2.根據(jù)權(quán)利要求I所述的方法，其中，使用相機(jī)或觀察者位置的移動(dòng)來調(diào)整所述候選運(yùn)動(dòng)矢量集通過由從由相機(jī)位置或方向的改變預(yù)測(cè)的所述運(yùn)動(dòng)矢量中獲取的量對(duì)常規(guī)搜索范圍進(jìn)行偏移來實(shí)現(xiàn)。
3.根據(jù)權(quán)利要求I或2所述的方法，其中，在運(yùn)動(dòng)估計(jì)進(jìn)程期間測(cè)試的矢量在由相機(jī)位置或方向的改變預(yù)測(cè)的所述運(yùn)動(dòng)矢量的方向上被偏置。
4.根據(jù)權(quán)利要求I、2或3中任一項(xiàng)權(quán)利要求所述的方法，其中，用于在運(yùn)動(dòng)估計(jì)過程期間從候選集中選擇矢量的得分函數(shù)被修改成與由相機(jī)位置或方向的改變預(yù)測(cè)的運(yùn)動(dòng)矢量相類似的有利候選矢量。
5.根據(jù)權(quán)利要求I所述的方法，其中，所述圖像序列中像素的深度信息用于計(jì)算因相機(jī)位置或方向的改變導(dǎo)致的預(yù)測(cè)運(yùn)動(dòng)。
6.根據(jù)權(quán)利要求5所述的方法，其中，由調(diào)整步驟獲取的每個(gè)候選運(yùn)動(dòng)矢量包括因相機(jī)位置或方向的改變導(dǎo)致的矢量與因場(chǎng)景中所述對(duì)象的移動(dòng)導(dǎo)致的矢量之和。
7.根據(jù)權(quán)利要求6所述的方法，其中，從鄰近位置選擇的候選運(yùn)動(dòng)矢量不利用表示相機(jī)或觀察者位置的運(yùn)動(dòng)的矢量進(jìn)行調(diào)整。
8.根據(jù)權(quán)利要求7所述的方法，其中，候選運(yùn)動(dòng)矢量被存儲(chǔ)在由等于因場(chǎng)景中對(duì)象的移動(dòng)導(dǎo)致的運(yùn)動(dòng)的分量的矢量所偏移的位置。
9.根據(jù)權(quán)利要求5或8所述的方法，其中，之前存儲(chǔ)在偏移位置的候選運(yùn)動(dòng)矢量的獲得進(jìn)一步由從因相機(jī)位置或方向的改變而計(jì)算的運(yùn)動(dòng)中獲取的量進(jìn)行補(bǔ)償。
10.根據(jù)權(quán)利要求5所述的方法，其中，所述場(chǎng)景的深度信息的可用性允許根據(jù)像素群的類似深度對(duì)所述像素群進(jìn)行分類。
11.根據(jù)權(quán)利要求10所述的方法，其中，運(yùn)動(dòng)估計(jì)處理針對(duì)多個(gè)像素群中的每個(gè)像素群而發(fā)生，以使每個(gè)像素群被分配不同的運(yùn)動(dòng)矢量。
12.根據(jù)權(quán)利要求11所述的方法，其中，分辨率比所述運(yùn)動(dòng)估計(jì)器通常操作的分辨率更高的深度信息的可用性允許以所述更高分辨率生成運(yùn)動(dòng)矢量場(chǎng)。
13.根據(jù)權(quán)利要求7所述的方法，其中，矢量候選的選擇從與當(dāng)前像素群共享類似深度的鄰近位置選擇矢量。
14.根據(jù)權(quán)利要求7所述的方法，其中，用于在所述運(yùn)動(dòng)估計(jì)進(jìn)程期間從候選集中選擇矢量的得分函數(shù)被修改成源自與當(dāng)前像素群共享類似深度的位置的有利候選矢量。
15.一種用于圖像序列的運(yùn)動(dòng)估計(jì)的設(shè)備，該設(shè)備包括 用于確定表示所述圖像序列中的每對(duì)場(chǎng)或幀之間相機(jī)或觀察者位置和方向的移動(dòng)的一個(gè)或多個(gè)運(yùn)動(dòng)矢量的裝置； 用于確定用于從之前場(chǎng)或幀中的對(duì)象位置獲取場(chǎng)或幀中的對(duì)象位置的候選運(yùn)動(dòng)矢量集的裝置； 用于使用表示相機(jī)或觀察者位置的移動(dòng)的運(yùn)動(dòng)矢量調(diào)整候選運(yùn)動(dòng)矢量集的裝置；以及 用于使用調(diào)整的候選運(yùn)動(dòng)矢量集由運(yùn)動(dòng)估計(jì)獲取圖像序列的運(yùn)動(dòng)矢量集的裝置。
16.根據(jù)權(quán)利要求15所述的設(shè)備，該設(shè)備包括用于通過由相機(jī)位置或方向的改變預(yù)測(cè)的量對(duì)常規(guī)搜索范圍進(jìn)行偏移的裝置。
17.根據(jù)權(quán)利要求15或16所述的設(shè)備，其中，由用于通過估計(jì)進(jìn)行獲取的裝置所測(cè)試的矢量在由相機(jī)位置或方向的改變所預(yù)測(cè)的所述運(yùn)動(dòng)矢量的方向上被偏置。
18.根據(jù)權(quán)利要求15、16或17中任一項(xiàng)權(quán)利要求所述的設(shè)備，其中，用于由通過運(yùn)動(dòng)估計(jì)進(jìn)行獲取的裝置從候選矢量集中選擇矢量的得分函數(shù)被修改成與由相機(jī)位置或方向的改變預(yù)測(cè)的運(yùn)動(dòng)矢量相類似的有利候選矢量。
19.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述圖像序列中的像素的深度信息用于計(jì)算因相機(jī)位置或方向的改變導(dǎo)致的預(yù)測(cè)運(yùn)動(dòng)。
20.根據(jù)權(quán)利要求19所述的設(shè)備，其中，由所述用于調(diào)整所述候選運(yùn)動(dòng)矢量集的裝置獲取的每個(gè)候選運(yùn)動(dòng)矢量包括因相機(jī)位置或方向的改變導(dǎo)致的矢量與因場(chǎng)景中所述對(duì)象的移動(dòng)導(dǎo)致的矢量之和。
21.根據(jù)權(quán)利要求20所述的設(shè)備，其中，從鄰近位置選擇的候選運(yùn)動(dòng)矢量不利用表示相機(jī)或觀察者位置的運(yùn)動(dòng)的矢量進(jìn)行調(diào)整。
22.根據(jù)權(quán)利要求21所述的設(shè)備，其中，候選運(yùn)動(dòng)矢量被存儲(chǔ)在由等于因場(chǎng)景中對(duì)象的移動(dòng)導(dǎo)致的運(yùn)動(dòng)的分量的矢量所偏移的位置。
23.根據(jù)權(quán)利要求19或22所述的設(shè)備，其中，之前存儲(chǔ)在所述偏移位置的候選運(yùn)動(dòng)矢量的獲得進(jìn)一步由從因相機(jī)位置或方向的改變而計(jì)算的運(yùn)動(dòng)中獲取的量進(jìn)行補(bǔ)償。
全文摘要
提供了用于圖像序列中的運(yùn)動(dòng)估計(jì)的方法和設(shè)備。確定表示圖像序列中的每對(duì)場(chǎng)或幀之間相機(jī)或觀察者位置或方向的移動(dòng)的一個(gè)或多個(gè)運(yùn)動(dòng)矢量。然后確定用于從之前場(chǎng)或幀中的對(duì)象位置獲取場(chǎng)或幀中的對(duì)象位置的候選運(yùn)動(dòng)矢量集。該候選運(yùn)動(dòng)矢量集使用表示相機(jī)或觀察者位置的移動(dòng)的運(yùn)動(dòng)矢量進(jìn)行調(diào)整，從而使用所調(diào)整的候選運(yùn)動(dòng)矢量集獲取用于圖像序列的運(yùn)動(dòng)矢量集。
文檔編號(hào)H04N5/14GK102771110SQ201180011195
公開日2012年11月7日 申請(qǐng)日期2011年2月18日 優(yōu)先權(quán)日2010年2月25日
發(fā)明者S·莫費(fèi)特, S·菲什威克 申請(qǐng)人:想象技術(shù)有限公司