專利名稱：運(yùn)動(dòng)補(bǔ)償幀速率轉(zhuǎn)換的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻和圖形處理的改進(jìn)。
背景技術(shù)：
在逐行數(shù)字顯示設(shè)備的低顯示更新率下(例如，隔行視頻材料的50場(chǎng)/秒，以及原始電影材料的24幀/秒)，可能發(fā)生被稱為“區(qū)域閃爍”的顯示假象。由于人類視覺(jué)外圍區(qū)域?qū)﹂W爍的高度敏感，隨著顯示器尺寸的增大，該區(qū)域閃爍越來(lái)越可見(jiàn)。降低區(qū)域閃爍的簡(jiǎn)單辦法是通過(guò)以更高的速率(例如，隔行視頻100場(chǎng)/秒)重復(fù)輸入場(chǎng)或者幀來(lái)提高顯示更新率。這解決了靜態(tài)場(chǎng)景的區(qū)域閃爍問(wèn)題。但是，在具有運(yùn)動(dòng)的場(chǎng)景中，重復(fù)引入了新的假象，已知的是“運(yùn)動(dòng)抖動(dòng)”或者“運(yùn)動(dòng)拖尾”，由于人眼傾向于跟蹤運(yùn)動(dòng)對(duì)象的軌跡，所以尤其在高對(duì)比度的區(qū)域容易發(fā)生上述的狀況。為此，最好存在一個(gè)運(yùn)動(dòng)補(bǔ)償幀內(nèi)插，其中在一個(gè)內(nèi)插幀或者場(chǎng)中，在本地運(yùn)動(dòng)軌跡的中點(diǎn)計(jì)算像素，從而在由于人眼的跟蹤所產(chǎn)生的期待圖像運(yùn)動(dòng)和顯示圖像運(yùn)動(dòng)之間不存在差異。從一場(chǎng)或者幀向下一場(chǎng)或者幀的本地圖像運(yùn)動(dòng)軌跡被稱為一個(gè)運(yùn)動(dòng)矢量。
運(yùn)動(dòng)矢量可以在空間分辨率的不同級(jí)別上計(jì)算，例如在像素級(jí)別，在圖像塊級(jí)別，或者在對(duì)象級(jí)別。為每個(gè)像素獨(dú)立的計(jì)算一個(gè)運(yùn)動(dòng)矢量理論上會(huì)產(chǎn)生一個(gè)理想的數(shù)據(jù)集，但是由于所需的巨大的計(jì)算量，這是不可行的。為每個(gè)圖像塊計(jì)算運(yùn)動(dòng)矢量降低了計(jì)算量，但是由于圖像塊內(nèi)的運(yùn)動(dòng)矢量的不連續(xù)可能導(dǎo)致假象出現(xiàn)。以一個(gè)對(duì)象為基礎(chǔ)計(jì)算運(yùn)動(dòng)矢量理論上會(huì)產(chǎn)生高的分辨率和更低的運(yùn)算需求，但是對(duì)象分割卻是一個(gè)存在挑戰(zhàn)的問(wèn)題。
因此，需要一種有效并且精確的確定運(yùn)動(dòng)矢量的方法，這樣在由于人眼跟蹤造成的期待圖像運(yùn)動(dòng)與數(shù)字視頻中的顯示圖像運(yùn)動(dòng)之間沒(méi)有或者幾乎沒(méi)有差異。

發(fā)明內(nèi)容
本發(fā)明提供用于有效并且精確的確定運(yùn)動(dòng)矢量的方法和裝置，從而在由于人眼跟蹤造成的期待圖像運(yùn)動(dòng)與數(shù)字視頻中的顯示圖像運(yùn)動(dòng)之間沒(méi)有或者幾乎沒(méi)有差異。
通常，在一個(gè)方面，本發(fā)明提供了方法和裝置，包括計(jì)算機(jī)程序產(chǎn)品，執(zhí)行和使用用于在數(shù)字視頻序列中計(jì)算運(yùn)動(dòng)矢量的技術(shù)。以第一分辨率接收第一圖像幀。該第一圖像幀包括幾個(gè)圖像塊，每個(gè)圖像塊分別具有一個(gè)第一位置。以第一分辨率接收第二圖像幀。第二圖像幀包括與第一圖像幀中的圖像塊相應(yīng)的一個(gè)或者多個(gè)圖像塊，并且每個(gè)圖像塊都具有一個(gè)第二位置。為在第二圖像幀中具有一個(gè)相應(yīng)的圖像塊的第一圖像幀中的每個(gè)圖像塊確定一個(gè)運(yùn)動(dòng)矢量。確定包括生成兩個(gè)或者多個(gè)每個(gè)第一和第二圖像幀的副本，每個(gè)副本包括與第一分辨率不同的，低于第一分辨率的分辨率，并且在每個(gè)分辨率的多個(gè)矢量中選擇一個(gè)最佳的運(yùn)動(dòng)矢量。確定的運(yùn)動(dòng)矢量用于在一個(gè)內(nèi)插幀中建立圖像塊的一個(gè)中間位置，該內(nèi)插幀是第一和第二幀的中間幀。
有利的執(zhí)行可以包括下面的一個(gè)或者多個(gè)特征。確定可以包括a)在最低的分辨率選擇第一圖像幀的副本；b)選擇一個(gè)為先前的圖像幀對(duì)確定的運(yùn)動(dòng)矢量；c)將選定的運(yùn)動(dòng)矢量投射到選定的第一圖像幀的副本上；d)在第一圖像幀的選定副本上生成一個(gè)或者多個(gè)更新矢量；e)在投射的矢量和更新矢量中選擇一個(gè)新的最佳運(yùn)動(dòng)矢量；f)選擇一個(gè)具有更高分辨率級(jí)別的第一圖像幀的新的副本；g)重復(fù)步驟c)-f)，直到達(dá)到第一分辨率為止；以及h)使用第一分辨率級(jí)別的選定的最佳運(yùn)動(dòng)矢量作為確定的運(yùn)動(dòng)矢量。每個(gè)圖像塊可以包括多個(gè)像素，例如，可以是8×8像素。
生成兩個(gè)或者多個(gè)副本包括生成每個(gè)第一和第二圖像幀的兩個(gè)副本，每個(gè)副本包括與第一分辨率不同的，低于第一分辨率的分辨率。選擇一個(gè)運(yùn)動(dòng)矢量包括如果在圖像幀對(duì)之間存在不連續(xù)，或者先前的圖像幀不存在，就選擇一個(gè)零矢量作為運(yùn)動(dòng)矢量。選擇一個(gè)運(yùn)動(dòng)矢量包括濾波根據(jù)先前的圖像幀對(duì)確定的運(yùn)動(dòng)矢量。
濾波包括在一組用于先前的圖像幀對(duì)的兩個(gè)或者多個(gè)運(yùn)動(dòng)矢量中確定一個(gè)中間矢量。濾波可以包括在用于一組用于先前圖像幀對(duì)的兩個(gè)或者多個(gè)運(yùn)動(dòng)矢量中執(zhí)行一個(gè)時(shí)間分割處理。生成一個(gè)或者多個(gè)更新矢量包括生成與選定的運(yùn)動(dòng)矢量具有相同的原點(diǎn)的一個(gè)或者多個(gè)運(yùn)動(dòng)矢量，生成的運(yùn)動(dòng)矢量結(jié)束于在水平方向或者垂直方向上不同于選定的運(yùn)動(dòng)矢量的結(jié)束點(diǎn)的像素。更新矢量可以在被一個(gè)或者多個(gè)像素在水平或者垂直方向上與選定的運(yùn)動(dòng)矢量結(jié)束位置的像素分離的像素處結(jié)束。
選擇一個(gè)新的最佳的運(yùn)動(dòng)矢量可以包括對(duì)于每個(gè)選定的運(yùn)動(dòng)矢量和更新矢量將第一窗口集中在形成矢量原點(diǎn)的第一圖像幀的像素上；將第二窗口集中在形成矢量的結(jié)束點(diǎn)的第二圖像幀的像素上，第二窗口與第一窗口具有相同的尺寸；為第一窗口中的像素和第二窗口中的相應(yīng)位置的像素確定亮度值的絕對(duì)差的和。選擇具有最佳絕對(duì)差的和的矢量為新的最佳運(yùn)動(dòng)矢量。第一和第二窗口的尺寸可以等于圖像塊的尺寸。確定可以進(jìn)一步包括將一個(gè)攝影矢量投射到選定的第一圖像幀的副本上，攝影矢量描述了第一和第二圖像幀之間的綜合矢量，并且在投射矢量，更新矢量和攝影矢量當(dāng)中選擇一個(gè)新的最佳運(yùn)動(dòng)矢量。
在追加的附圖和下面的描述中將詳細(xì)闡述本發(fā)明的一個(gè)或者多個(gè)實(shí)施例的細(xì)節(jié)。本發(fā)明的其他特征，對(duì)象以及優(yōu)點(diǎn)將通過(guò)說(shuō)明書(shū)和附圖，以及權(quán)利要求的描述變得清楚明了。


圖1表明了用于確定一個(gè)運(yùn)動(dòng)矢量的遞歸分級(jí)處理的流程圖。
圖2表明了用于在一個(gè)視頻幀的原始分辨率的1∶4的分辨率下確定一個(gè)最佳的運(yùn)動(dòng)矢量的示例矢量。
圖3表明了在一個(gè)視頻幀的原始分辨率的1∶2的分辨率下確定一個(gè)最佳的運(yùn)動(dòng)矢量的示例矢量。
圖4表明了在一個(gè)視頻幀的原始分辨率下確定一個(gè)最佳運(yùn)動(dòng)矢量的示例矢量。
圖5表明了用于執(zhí)行本發(fā)明的一個(gè)計(jì)算機(jī)系統(tǒng)。
在多個(gè)附圖當(dāng)中相同的參考符號(hào)表示相同的元件。
具體實(shí)施例方式
本發(fā)明提供了一種用于有效并且精確的確定運(yùn)動(dòng)矢量的方法和裝置，這樣在由于人眼跟蹤造成的期待圖像運(yùn)動(dòng)與數(shù)字視頻中的顯示圖像運(yùn)動(dòng)之間沒(méi)有或者幾乎沒(méi)有差異。這可以通過(guò)使用一種確定運(yùn)動(dòng)矢量的遞歸分級(jí)方法來(lái)實(shí)現(xiàn)。
通常，為了較好的運(yùn)行運(yùn)動(dòng)補(bǔ)償方法，包括這里所述的遞歸分級(jí)方法，需要對(duì)對(duì)象運(yùn)動(dòng)的特性做兩個(gè)基本假設(shè)1)運(yùn)動(dòng)對(duì)象具有慣性，以及2)運(yùn)動(dòng)對(duì)象很大。慣性假設(shè)暗示著對(duì)于一個(gè)時(shí)間矢量采樣間隔(就是，數(shù)字視頻中的幀速率)來(lái)說(shuō)，運(yùn)動(dòng)矢量逐漸的發(fā)生變化。較大對(duì)象的假設(shè)暗示著對(duì)于一個(gè)空間矢量采樣間隔來(lái)說(shuō)，運(yùn)動(dòng)矢量?jī)H是逐漸變化，就是說(shuō)，矢量場(chǎng)是平滑的，并且具有較少的邊緣運(yùn)動(dòng)不連續(xù)。
遞歸分級(jí)方法的目標(biāo)是通過(guò)將一個(gè)源相關(guān)窗口應(yīng)用到第一圖像幀和將一個(gè)目標(biāo)相關(guān)窗口應(yīng)用到下一圖像幀，并且放置目標(biāo)相關(guān)窗口，從而獲得目標(biāo)相關(guān)窗口與源相關(guān)窗口之間的最佳匹配，也就是，源相關(guān)窗口的內(nèi)容與目標(biāo)相關(guān)窗口的內(nèi)容盡可能的相同，從而找到一個(gè)運(yùn)動(dòng)矢量。同時(shí)，執(zhí)行源相關(guān)窗口和目標(biāo)相關(guān)窗口之間的匹配所需的計(jì)算量盡可能的少，而仍然搜索全部矢量空間限制。為了實(shí)現(xiàn)這些目標(biāo)，遞歸分級(jí)算法使用了圖像幀的多種分辨率級(jí)別。首先確定最低分辨率級(jí)別的最佳運(yùn)動(dòng)矢量，這是通過(guò)將先前的最高分辨率級(jí)別的最佳運(yùn)動(dòng)矢量向下投射到最低的分辨率級(jí)別，對(duì)其進(jìn)行測(cè)試，并且更新一個(gè)或者多個(gè)。然后將該最佳運(yùn)動(dòng)矢量向上傳輸?shù)揭粋€(gè)更高的分辨率級(jí)別，在那進(jìn)行一些調(diào)整并且確定一個(gè)新的最佳運(yùn)動(dòng)矢量。該新的最佳運(yùn)動(dòng)矢量繼續(xù)向上傳輸?shù)搅硪粋€(gè)更高的分辨率級(jí)別，在那進(jìn)行一些調(diào)整并且確定另一個(gè)新的運(yùn)動(dòng)矢量。該處理一直重復(fù)進(jìn)行直到達(dá)到了最高的，原始的分辨率級(jí)別并且確定了一個(gè)最佳運(yùn)動(dòng)矢量為止。
圖1表明了一個(gè)遞歸分級(jí)處理(100)的執(zhí)行。假設(shè)已經(jīng)生成了圖像幀的多種分辨率級(jí)別。如圖1所示，確定一個(gè)運(yùn)動(dòng)矢量的遞歸分級(jí)處理(100)開(kāi)始于將一個(gè)先前圖像幀的運(yùn)動(dòng)矢量向下投射到一個(gè)最低的分辨率級(jí)別(步驟102)。產(chǎn)生一組更新矢量并且進(jìn)行測(cè)試從而找到最低分辨率級(jí)別上的最佳運(yùn)動(dòng)矢量(步驟104)。在一個(gè)實(shí)施例中，這種測(cè)試是通過(guò)將集中在運(yùn)動(dòng)矢量的原點(diǎn)的源相關(guān)窗口與集中在每個(gè)更新矢量的結(jié)束點(diǎn)的目標(biāo)相關(guān)窗口中的相應(yīng)位置的像素比較來(lái)實(shí)現(xiàn)的。比較可以，例如通過(guò)將每個(gè)目標(biāo)窗口中的每個(gè)像素減去源窗口中的相應(yīng)像素的亮度值來(lái)實(shí)現(xiàn)。在這種情況下，最佳匹配將通過(guò)找到源相關(guān)窗口和目標(biāo)相關(guān)窗口對(duì)中的絕對(duì)差的最小和(SAD)來(lái)定義，并且最佳運(yùn)動(dòng)矢量將是與該源相關(guān)窗口和目標(biāo)相關(guān)窗口對(duì)有關(guān)的矢量。
在找到了最小SAD以后，選擇最佳矢量(步驟106)。然后處理(100)檢查是否存在更高的分辨率級(jí)別(步驟108)。如果存在更高的分辨率級(jí)別，處理將最佳矢量向上傳輸?shù)较乱粋€(gè)更高的分辨率級(jí)別(步驟110)，并且重復(fù)步驟104-108。如果沒(méi)有更高的分辨率級(jí)別，處理前進(jìn)到步驟112，在那里選擇最佳矢量作為運(yùn)動(dòng)矢量，并且用于運(yùn)動(dòng)補(bǔ)償，這樣完成了當(dāng)前幀的處理。
該方法的優(yōu)點(diǎn)在于在一個(gè)較低的級(jí)別，一個(gè)像素的更新等于在下一個(gè)較高級(jí)別的兩個(gè)或者多個(gè)像素的更新，這取決于兩個(gè)級(jí)別之間的分辨率的差。如果例如存在三個(gè)分辨率級(jí)別，就是1∶1，1∶2和1∶4，并且在每個(gè)級(jí)別更新+/-1個(gè)像素，那么會(huì)聚延遲潛在的降低了四倍。換種說(shuō)法，使用有效的分辨率分級(jí)來(lái)加速時(shí)間遞歸會(huì)聚。這帶來(lái)了顯著的改進(jìn)，尤其對(duì)于具有高速運(yùn)動(dòng)的小對(duì)象的幀。
現(xiàn)在將參照附圖1-4，通過(guò)具有1∶1，1∶2以及1∶4的三個(gè)分辨率級(jí)別的遞歸分級(jí)方案，4×4像素的圖像塊柵格為例，詳細(xì)描述本發(fā)明。應(yīng)當(dāng)注意附圖2-4所示的矢量?jī)H是為了表明該例子，分辨率級(jí)別的數(shù)目以及每個(gè)分辨率級(jí)別的矢量數(shù)目和/或類型可以根據(jù)不同的參數(shù)，例如計(jì)算成本，質(zhì)量，處理速度等改變。
圖4表明了一個(gè)圖像塊柵格(400)，其被分成了4×4像素的圖像塊(405)，其中每個(gè)像素被表示為一個(gè)圓(410)。黑色的像素(415)表示為每個(gè)4×4圖像像素塊計(jì)算運(yùn)動(dòng)矢量的位置。從圖4可以看出，為每個(gè)4×4圖像像素塊計(jì)算一個(gè)運(yùn)動(dòng)矢量，并且每個(gè)4×4圖像像素塊中的運(yùn)動(dòng)矢量原點(diǎn)的位置是相同的。圖3表明了分辨率是圖4所示的原始像素柵格一半的相同的像素柵格(400)。圖2表明了更低分辨率的相同的像素柵格(400)，在本實(shí)施例中，分辨率是圖3所示的分辨率的一半，或者圖4所示的分辨率的四分之一。
如圖1和圖2所示，確定一個(gè)運(yùn)動(dòng)矢量的遞歸分級(jí)處理開(kāi)始于將一個(gè)先前圖像的運(yùn)動(dòng)矢量(205)向下投射到最低的分辨率級(jí)別(步驟102)，在本實(shí)施例中是原始分辨率的1∶4，如圖2所示。在一個(gè)實(shí)施例中，在投射之前，濾波該陳舊運(yùn)動(dòng)矢量(205)，這主要是考慮到鄰近像素中含有造成矢量不連續(xù)的對(duì)象背景邊緣的情況。在一個(gè)實(shí)施例中，通過(guò)跟蹤?quán)徑噶炕蛘哒业洁徑噶拷M的中間矢量，或者執(zhí)行一個(gè)時(shí)間分割程序來(lái)執(zhí)行濾波。在兩種情況下，濾波輸出是一個(gè)1∶1級(jí)別的新的基礎(chǔ)矢量，其接下來(lái)向下投射到1∶4的級(jí)別。在該序列的第一幀中，就是，當(dāng)沒(méi)有先前圖像時(shí)，處理(100)開(kāi)始于將零矢量作為陳舊運(yùn)動(dòng)矢量。在一個(gè)實(shí)施例中，當(dāng)視頻中存在場(chǎng)景中斷時(shí)，就是當(dāng)兩幀之間沒(méi)有連續(xù)性時(shí)，也使用零矢量。
生成了一組更新矢量(210a-210f)并且測(cè)試這些更新矢量從而找到與陳舊濾波投射運(yùn)動(dòng)矢量之間相差+/-1個(gè)像素或者+/-2個(gè)像素的最小SAD。在圖2中，表明了六個(gè)更新矢量(210a-210f)，由于水平方向的移動(dòng)通常大于垂直方向的移動(dòng)，因此兩個(gè)用于水平方向上的+/-1個(gè)像素，兩個(gè)用于水平方向上的+/-2個(gè)像素，以及兩個(gè)用于垂直方向上的+/-1個(gè)像素。但是，本領(lǐng)域的技術(shù)人員能夠理解，可以在與投射矢量(205)相關(guān)的任何水平和/或垂直方向上生成任何數(shù)目的更新矢量并對(duì)其進(jìn)行測(cè)試。在一個(gè)執(zhí)行當(dāng)中，一個(gè)預(yù)測(cè)的攝影矢量也向下投射1∶4的級(jí)別。該攝影矢量將被進(jìn)一步詳細(xì)描述。
在一個(gè)執(zhí)行當(dāng)中，通過(guò)將一個(gè)圖像塊的候選矢量指向目標(biāo)幀中的不同的像素位置來(lái)計(jì)算SAD，其中候選矢量源于源幀中的相同的圖像塊位置。對(duì)于每個(gè)候選矢量，一個(gè)矩形的窗口集中目標(biāo)幀中的每個(gè)候選矢量所指向的像素上。一個(gè)相應(yīng)的矩形窗口集中在源幀中候選矢量起源的像素上。然后計(jì)算兩個(gè)窗口中的相應(yīng)亮度像素，就是，在兩個(gè)窗口中具有相同相對(duì)位置的像素的絕對(duì)差對(duì)。所有絕對(duì)差的總和就是SAD值。SAD值隨著窗口的更加匹配而減小，當(dāng)像素相同時(shí)，理想中SAD減小到零。實(shí)際上，當(dāng)然，由于噪聲和其他因素的影響，最佳矢量具有非零的SAD，但是最佳矢量將具有候選矢量組中的矢量的最小SAD。
當(dāng)找到了最小SAD以后，最佳矢量，就是，具有最小SAD(210f)的矢量被選擇并且存儲(chǔ)在存儲(chǔ)器中(步驟106)。然后處理檢查是否存在更高的分辨率級(jí)別(步驟108)。如上所述，在本實(shí)施例中，存在兩個(gè)更高的分辨率級(jí)別，因此處理傳輸最佳矢量(210f)，將其投射到1∶2的分辨率級(jí)別上，如圖3所示(步驟110)。當(dāng)最佳矢量已經(jīng)向上投射到1∶2級(jí)別以后(步驟104)，圍繞著該最佳矢量(210f)生成一組更新矢量(305a-305d)。在該級(jí)別上，圍繞著向下投射到1∶2分辨率級(jí)別上的陳舊1∶1濾波矢量(205)也生成第二組更新矢量(310a-310d)。通過(guò)計(jì)算所有更新矢量中的最小SAD，如同在1∶4分辨率級(jí)別上一樣，找到一個(gè)新的最佳矢量(305a)。然后選擇該最佳更新矢量并且存儲(chǔ)在存儲(chǔ)器中(步驟106)。
然后處理再次檢查是否存在任何更高的分辨率級(jí)別(步驟108)。在該點(diǎn)上，在分辨率金字塔中剩余一個(gè)更高的分辨率級(jí)別，因此處理再次返回到步驟104，其中圖3中的1∶2分辨率級(jí)別的最佳矢量(305a)被濾波并且向上投射到如圖4所示的最高的1∶1分辨率級(jí)別上。圍繞著投射和濾波的最佳矢量(305a)再次生成一組更新矢量(405a-405d)(步驟104)。在該級(jí)別上，圍繞著陳舊1∶1濾波矢量也生成第二組更新矢量(410a-410d)。圍繞著攝影矢量(415)還生成第三組更新矢量(420a-420d)。
攝影矢量描述了幀內(nèi)容的整體運(yùn)動(dòng)，與完全獨(dú)立的計(jì)算每個(gè)圖像塊位置的本地矢量相反，攝影矢量可以用于協(xié)助找到一個(gè)更為真實(shí)的運(yùn)動(dòng)矢量。在幾個(gè)通常發(fā)生的場(chǎng)景當(dāng)中，由于一幀中每個(gè)位置上的攝影移動(dòng)產(chǎn)生的運(yùn)動(dòng)矢量能夠利用一個(gè)簡(jiǎn)單的模式輕松預(yù)測(cè)。例如，在攝像機(jī)鏡頭搖動(dòng)攝影遠(yuǎn)處風(fēng)景的情況下，所有的運(yùn)動(dòng)矢量將是相同的，并且等于攝像機(jī)的速度。當(dāng)攝像機(jī)鏡頭移動(dòng)到位于一個(gè)平面上的對(duì)象，例如墻面上的一幅畫(huà)時(shí)，將是另外的一個(gè)場(chǎng)景。然后所有的運(yùn)動(dòng)矢量具有一個(gè)輻射方向，并且從圖像中央的零增大到圖像邊緣的最大值。
在一個(gè)執(zhí)行當(dāng)中，處理試圖將一個(gè)數(shù)學(xué)模式應(yīng)用到使用最小平方算法計(jì)算的運(yùn)動(dòng)矢量上。攝影運(yùn)動(dòng)矢量和數(shù)學(xué)模型之間的最好的匹配表明上述的一個(gè)場(chǎng)景可能正在發(fā)生，并且可以使用攝影模式預(yù)測(cè)矢量作為下一個(gè)遞歸分級(jí)矢量估算步驟中的附加候選矢量。考慮到攝影矢量的優(yōu)勢(shì)在于遞歸分級(jí)搜索的遞歸部分是一個(gè)本地搜索方法，其可以會(huì)聚成一個(gè)虛假的本地最小值來(lái)代替真實(shí)的最小值。攝影預(yù)測(cè)矢量候選可能潛在的幫助避免虛假本地最小值的檢測(cè)并且使處理直接前進(jìn)到真實(shí)的最小值。
然后如同在1∶4和1∶2分辨率級(jí)別一樣，找到新的最佳矢量(405d)(步驟106)，并且存儲(chǔ)在存儲(chǔ)器中。然后處理再次檢查是否存在任何更高的分辨率級(jí)別(步驟108)。這次不存在更高的分辨率級(jí)別，因此處理前進(jìn)到步驟112，在那里選擇出最佳矢量，并且使用該最佳矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，這樣完成了當(dāng)前幀的處理。
上述處理是針對(duì)幀中的所有4×4像素的圖像塊進(jìn)行的，并且根據(jù)確定的運(yùn)動(dòng)矢量，在源幀和目標(biāo)幀之間執(zhí)行幀的內(nèi)插，從而使由于人眼的跟蹤造成的期待圖像矢量和顯示圖像矢量之間存在較小的差異或者根本沒(méi)有差異。
從上面的討論可以看到，本發(fā)明提供了一個(gè)平滑并且精確的矢量場(chǎng)，并且僅使用了非常少的運(yùn)算量。而且，由于分辨率的多種級(jí)別，降低了會(huì)聚延遲。與傳統(tǒng)的方法相比可以使用更少的分辨率級(jí)別，并且由于通過(guò)在每個(gè)分辨率上使用投影矢量保證在更高的分辨率級(jí)別改變分辨率，更低級(jí)別的矢量誤差不會(huì)被放大。
本發(fā)明也可以在數(shù)字電子電路或者在計(jì)算機(jī)硬件，固件，軟件或者它們的結(jié)合當(dāng)中實(shí)現(xiàn)。本發(fā)明中的裝置可以在實(shí)際嵌入到一個(gè)計(jì)算機(jī)可讀的存儲(chǔ)設(shè)備中的計(jì)算機(jī)程序產(chǎn)品中，通過(guò)可編程的處理器的執(zhí)行來(lái)實(shí)現(xiàn)；并且，本發(fā)明的方法步驟可以通過(guò)可編程的處理器通過(guò)執(zhí)行指令程序，操作輸入數(shù)據(jù)和產(chǎn)生輸出來(lái)實(shí)現(xiàn)本發(fā)明的功能。本發(fā)明也可以在一個(gè)可編程系統(tǒng)中執(zhí)行一個(gè)或者多個(gè)計(jì)算機(jī)程序來(lái)實(shí)現(xiàn)，所述的可編程系統(tǒng)包括至少一個(gè)可編程的處理器，至少一個(gè)輸入設(shè)備以及至少一個(gè)輸出設(shè)備，所述的處理器與一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)耦和，用于從該系統(tǒng)接收數(shù)據(jù)和指令，并且向該系統(tǒng)發(fā)射數(shù)據(jù)和指令。每個(gè)計(jì)算機(jī)程序可以在高級(jí)流程或者面向?qū)ο蟮木幊陶Z(yǔ)言，或者如果需要在匯編或者在機(jī)器語(yǔ)言中執(zhí)行。并且在任何情況下，語(yǔ)言可以是一個(gè)編譯的或者解釋的語(yǔ)言。合適的處理器包括，例如，通用和專用的微處理器。通常，一個(gè)處理器將從一個(gè)只讀存儲(chǔ)器和/或一個(gè)隨機(jī)訪問(wèn)存儲(chǔ)器接收指令和數(shù)據(jù)。通常，一個(gè)計(jì)算機(jī)將包括一個(gè)或者多個(gè)用于存儲(chǔ)數(shù)據(jù)文件的大型存儲(chǔ)設(shè)備；這樣的設(shè)備包括磁盤，例如內(nèi)部的硬盤和可移動(dòng)盤；磁-光盤；以及光盤。存儲(chǔ)設(shè)備適于實(shí)際的嵌入計(jì)算機(jī)程序指令和數(shù)據(jù)，包括所有形式的非易失性存儲(chǔ)器，包括，例如半導(dǎo)體存儲(chǔ)設(shè)備，例如EPROM，EEPROM。以及閃存設(shè)備；磁盤，例如內(nèi)部硬盤和可移動(dòng)盤；磁-光盤；以及CD-ROM盤。任何前述的盤都可以由ASIC(專用集成電路)補(bǔ)充或者集成到ASIC當(dāng)中。
圖5表明了一個(gè)用于執(zhí)行本發(fā)明的計(jì)算機(jī)系統(tǒng)(500)。該計(jì)算機(jī)系統(tǒng)(500)僅是圖形系統(tǒng)的例子，其中應(yīng)用了本發(fā)明。該計(jì)算機(jī)系統(tǒng)(500)包括一個(gè)中央處理單元(CPU)(510)，一個(gè)隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)(520)，一個(gè)只讀存儲(chǔ)器(ROM)(525)，一個(gè)或者多個(gè)外部設(shè)備(530)，一個(gè)圖形控制器(560)，主存儲(chǔ)器設(shè)備(540和550)以及一個(gè)數(shù)字顯示單元(570)。在現(xiàn)有技術(shù)中已知，ROM單向的向CPU(510)傳送數(shù)據(jù)和指令，同時(shí)通常使用RAM(520)以雙向的方式傳輸數(shù)據(jù)和指令。CPU(510)通常包括任意數(shù)量的處理器。主存儲(chǔ)設(shè)備(540和550)包括任何合適的計(jì)算機(jī)可讀介質(zhì)。第二存儲(chǔ)介質(zhì)(580)，通常是一個(gè)大型存儲(chǔ)設(shè)備，也與CPU(510)雙向耦合并且提供附加的數(shù)據(jù)存儲(chǔ)容量。大型存儲(chǔ)設(shè)備(580)是一個(gè)用于存儲(chǔ)含有計(jì)算機(jī)代碼，數(shù)據(jù)等的程序的計(jì)算機(jī)可讀介質(zhì)。大型存儲(chǔ)設(shè)備(580)是一個(gè)通常比主存儲(chǔ)設(shè)備(540，550)速度慢的存儲(chǔ)介質(zhì)，例如硬盤或者磁帶。大型存儲(chǔ)設(shè)備(580)可以是磁盤或者紙帶讀取器或者其他已知類型的設(shè)備。應(yīng)當(dāng)理解大型存儲(chǔ)設(shè)備(580)中的保留的信息在合適的情況下可以以標(biāo)準(zhǔn)方式結(jié)合作為虛擬的存儲(chǔ)器的RAM(520)的一部分。
CPU(510)也耦合到一個(gè)或者多個(gè)輸入/輸出設(shè)備(590)上，其包括，但不局限于視頻監(jiān)視器，跟蹤球，鼠標(biāo)，鍵盤，麥克風(fēng)，觸覺(jué)顯示器，傳感卡讀取器，磁或者紙帶讀取器，輸入板，鐵筆，語(yǔ)音或者字跡識(shí)別器，或者其他已知的輸入設(shè)備，例如其他的計(jì)算機(jī)。最后，CPU(510)使用(595)所示的網(wǎng)絡(luò)連接，選擇性的耦合到一個(gè)計(jì)算機(jī)或者無(wú)線電通訊網(wǎng)絡(luò)，例如一個(gè)互聯(lián)網(wǎng)網(wǎng)絡(luò)或者一個(gè)內(nèi)部網(wǎng)絡(luò)。利用這樣的網(wǎng)絡(luò)連接，可以預(yù)期CPU(510)能夠從網(wǎng)絡(luò)接收信息，或者在執(zhí)行上述步驟的過(guò)程中向網(wǎng)絡(luò)輸出信息。這樣的信息，通常被表示為使用CPU(510)執(zhí)行的指令序列，可以從網(wǎng)絡(luò)接收以及輸出到網(wǎng)絡(luò)當(dāng)中，例如以嵌入在載波中的計(jì)算機(jī)數(shù)據(jù)信號(hào)的形式。上述的設(shè)備和材料對(duì)于計(jì)算機(jī)硬件和軟件領(lǐng)域的技術(shù)人員來(lái)說(shuō)是非常熟悉的。
圖形控制器(560)生成圖像數(shù)據(jù)和一個(gè)相應(yīng)的參考信號(hào)，并且將其提供給數(shù)字顯示單元(570)?？梢愿鶕?jù)，例如從CPU(510)或者外部編碼器(未顯示)接收的像素?cái)?shù)據(jù)，生成圖像數(shù)據(jù)。在一個(gè)實(shí)施例中，圖像數(shù)據(jù)以RGB的形式提供，并且參考符號(hào)包括本領(lǐng)域所熟知的VSYNC和HSYNC。但是，應(yīng)當(dāng)理解本發(fā)明可以以其他形式的數(shù)據(jù)和/或參考符號(hào)執(zhí)行。
已經(jīng)描述了本發(fā)明的多種執(zhí)行方式。不論怎樣，應(yīng)當(dāng)理解不背離本發(fā)明的精神和范圍內(nèi)可以做出各種改變。例如除了中間層的分級(jí)和時(shí)間矢量，向下投射產(chǎn)生的攝影模式矢量也可以用作SAD計(jì)算的候選矢量。而且，如上所述生成的運(yùn)動(dòng)矢量能夠用于幀速率轉(zhuǎn)換的目的，例如解交織，噪聲降低，等。因此，其他的實(shí)施例也包含在后面的權(quán)利要求的范圍之內(nèi)。
權(quán)利要求
1.一種用于計(jì)算數(shù)字視頻序列中的運(yùn)動(dòng)矢量的方法包括以第一分辨率接收第一圖像幀，第一圖像幀包括多個(gè)圖像塊，其中每個(gè)圖像塊分別具有一個(gè)第一位置；以第一分辨率接收第二圖像幀，第二圖像幀包括與第一圖像幀中的圖像塊相應(yīng)的一個(gè)或者多個(gè)圖像塊，其中每個(gè)圖像塊都具有一個(gè)第二位置；對(duì)于在第二圖像幀中具有一個(gè)相應(yīng)的圖像塊的第一圖像幀中的每個(gè)圖像塊為該圖像塊確定一個(gè)運(yùn)動(dòng)矢量，確定包括生成兩個(gè)或者多個(gè)每個(gè)第一和第二圖像幀的副本，每個(gè)副本包括與第一分辨率不同的，低于第一分辨率的分辨率，并且在每個(gè)分辨率的多個(gè)矢量中選擇一個(gè)最佳的運(yùn)動(dòng)矢量；以及使用確定的運(yùn)動(dòng)矢量在一個(gè)內(nèi)插幀中建立圖像塊的一個(gè)中間位置，該內(nèi)插幀是第一和第二幀的中間幀。
2.根據(jù)權(quán)利要求1所述的方法，其中確定進(jìn)一步包括a)在最低的分辨率選擇第一圖像幀的副本；b)選擇一個(gè)為先前的圖像幀對(duì)確定的運(yùn)動(dòng)矢量；c)將選定的運(yùn)動(dòng)矢量投射到選定的第一圖像幀的副本上；d)在第一圖像幀的選定副本上生成一個(gè)或者多個(gè)更新矢量；e)在投射的矢量和更新矢量中選擇一個(gè)新的最佳運(yùn)動(dòng)矢量；f)選擇一個(gè)具有更高分辨率級(jí)別的第一圖像幀的新的副本；g)重復(fù)步驟c)-f)，直到達(dá)到第一分辨率為止；以及h)使用第一分辨率級(jí)別的選定的最佳運(yùn)動(dòng)矢量作為確定的運(yùn)動(dòng)矢量。
3.根據(jù)權(quán)利要求1所述的方法，其中每個(gè)圖像塊包括多個(gè)像素。
4.根據(jù)權(quán)利鑰去3所述的方法，其中每個(gè)圖像塊的尺寸是8×8像素。
5.根據(jù)權(quán)利要求2所述的方法，其中生成兩個(gè)或者多個(gè)副本包括為每個(gè)第一和第二圖像幀生成兩個(gè)副本，每個(gè)副本包括與第一分辨率不同的，低于第一分辨率的分辨率。
6.根據(jù)權(quán)利要求2所述的方法，其中為一個(gè)先前的圖像幀對(duì)選擇一個(gè)運(yùn)動(dòng)矢量包括如果在先前的圖像幀對(duì)和第一圖像幀之間存在不連續(xù)，或者如果先前的圖像幀對(duì)不存在，選擇一個(gè)零矢量作為運(yùn)動(dòng)矢量。
7.根據(jù)權(quán)利要求2所述的方法，其中選擇一個(gè)為先前的圖像幀對(duì)所確定的運(yùn)動(dòng)矢量包括濾波根據(jù)先前的圖像幀對(duì)確定的運(yùn)動(dòng)矢量。
8.根據(jù)權(quán)利要求7所述的方法，其中濾波包括在一組用于先前的圖像幀對(duì)的兩個(gè)或者多個(gè)運(yùn)動(dòng)矢量中確定一個(gè)中間矢量。
9.根據(jù)權(quán)利要求7所述的方法，其中濾波包括在用于一組用于先前圖像幀對(duì)的兩個(gè)或者多個(gè)運(yùn)動(dòng)矢量中執(zhí)行一個(gè)時(shí)間分割處理。
10.根據(jù)權(quán)利要求2所述的方法，其中生成一個(gè)或者多個(gè)更新矢量包括生成與選定的運(yùn)動(dòng)矢量具有相同的原點(diǎn)的一個(gè)或者運(yùn)動(dòng)矢量，生成的運(yùn)動(dòng)矢量結(jié)束于在水平方向或者垂直方向上不同于選定的運(yùn)動(dòng)矢量的結(jié)束點(diǎn)的像素的像素。
11.根據(jù)權(quán)利要求10所述的方法，其中更新矢量在被一個(gè)或者多個(gè)像素在水平和/或者垂直方向上與選定的運(yùn)動(dòng)矢量結(jié)束位置的像素分離的像素處結(jié)束。
12.根據(jù)權(quán)利要求2所述的方法，其中選擇一個(gè)新的最佳運(yùn)動(dòng)矢量包括對(duì)于每個(gè)選定的運(yùn)動(dòng)矢量和更新矢量將第一窗口集中在形成矢量原點(diǎn)的第一圖像幀的像素上；將第二窗口集中在形成矢量的結(jié)束點(diǎn)的第二圖像幀的像素上，第二窗口具有與第一窗口相同的尺寸；為第一窗口中的像素和第二窗口中的相應(yīng)位置的像素確定亮度值的絕對(duì)差的和；以及選擇具有最小絕對(duì)差的和的矢量為新的最佳運(yùn)動(dòng)矢量。
13.根據(jù)權(quán)利要求12所述的方法，其中第一和第二窗口的尺寸等于圖像塊的尺寸。
14.根據(jù)權(quán)利要求1所述的方法，其中確定進(jìn)一步包括將一個(gè)攝影矢量投射到選定的第一圖像幀的副本上，攝影矢量描述了第一和第二圖像幀之間的綜合矢量；以及在投射矢量，更新矢量和攝影矢量當(dāng)中選擇一個(gè)新的最佳運(yùn)動(dòng)矢量。
全文摘要
公開(kāi)了一種執(zhí)行和使用用于在數(shù)字視頻序列中計(jì)算運(yùn)動(dòng)矢量技術(shù)的方法和裝置，包括計(jì)算機(jī)程序產(chǎn)品。通過(guò)使用圖像幀中的多個(gè)分辨率級(jí)別，利用一個(gè)遞歸分級(jí)方法來(lái)確定一個(gè)運(yùn)動(dòng)矢量。首先確定最低分辨率級(jí)別的最佳運(yùn)動(dòng)矢量。然后將該最佳運(yùn)動(dòng)矢量傳輸?shù)揭粋€(gè)更高的分辨率級(jí)別，在那里做一些調(diào)整并且確定一個(gè)新的最佳運(yùn)動(dòng)矢量。然后新的最佳運(yùn)動(dòng)矢量被傳輸?shù)搅硪粋€(gè)更高的分辨率級(jí)別，在那里再做一些調(diào)整并且確定了另一個(gè)新的最佳運(yùn)動(dòng)矢量。該處理一直重復(fù)進(jìn)行，直到達(dá)到最高的，原始的分辨率級(jí)別，并且確定了一個(gè)最佳運(yùn)動(dòng)矢量為止。在原始分辨率級(jí)別確定的最佳運(yùn)動(dòng)矢量用于執(zhí)行運(yùn)動(dòng)補(bǔ)償。
文檔編號(hào)H04N5/44GK1681291SQ200410102089
公開(kāi)日2005年10月12日 申請(qǐng)日期2004年12月22日 優(yōu)先權(quán)日2003年12月23日
發(fā)明者H·N·奈爾, G·佩特里德斯 申請(qǐng)人:創(chuàng)世紀(jì)微芯片公司