專利名稱：用于運動估計的視頻幀相關(guān)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明整體上涉及對視頻數(shù)據(jù)的處理，更具體地說涉及一種對視頻數(shù)據(jù)進行編碼的方法和系統(tǒng)。
背景技術(shù)：
通常對數(shù)字視頻數(shù)據(jù)進行編碼，以壓縮表示一個視頻流所需的數(shù)據(jù)量。本領(lǐng)域中已知一次僅對一幀像素組進行編碼。例如，可以通過將一幀中每個宏塊的像素與先前所顯示或解碼的前一幀中的其他宏塊的像素進行比較，來對當前幀中的每個宏塊進行編碼。一旦發(fā)現(xiàn)前一幀中的像素組與正在被編碼的像素組非常接近時，識別出指向該像素組的一個運動矢量。一旦識別出指向該像素組的運動矢量，就能夠量化并有效地壓縮這兩個像素組之間的任何信息差。
已知的編碼方法是將正在被編碼的像素組與前一幀中或前一幀的一部分中的像素組進行相關(guān)，直至達到一個相關(guān)性閾值。一旦達到這個閾值，就表明在前一幀中已經(jīng)找到了與正在被編碼的像素組充分接近的像素組。由于與視頻流和視頻幀相關(guān)的數(shù)據(jù)量非常大，編碼過程可能是一個非常耗時的過程。因此，能夠更為有效地對像素組進行編碼的系統(tǒng)或方法將是非常有用的。


。
圖1以框圖的形式示出了根據(jù)本發(fā)明的視頻數(shù)據(jù)參考幀的圖形表示方法；圖2以流程圖的形式示出了根據(jù)本發(fā)明的一種方法；以及圖3以框圖的形式示出了實現(xiàn)本發(fā)明的一個特定實施例的系統(tǒng)。
具體實施例方式
根據(jù)本發(fā)明的一個特定實施例，在視頻數(shù)據(jù)的一個參考幀中選擇第一個窗口。所述第一個窗口包含一個或多個像素組，其中每個像素組與正在被編碼的一個像素組相關(guān)，以確定一個相關(guān)性因數(shù)。另外，為所述第一個搜索窗口確定第一個閾值。所述第一個閾值是與相關(guān)性因數(shù)進行比較的值。例如，如果第一個搜索窗口中的一個特定像素組與正在被編碼的像素組之間的一個相關(guān)性因數(shù)達到了第一個閾值，則發(fā)現(xiàn)這兩個像素組之間實現(xiàn)了成功的匹配，并且可以將一個相應(yīng)的運動矢量分配給正在被編碼的像素組。
如果第一個窗口中沒有像素組達到第一個閾值，則在所述第一幀內(nèi)選擇第二個搜索窗口。為所述第二個搜索窗口確定不同于第一個閾值的第二個閾值。典型地，第二個閾值沒有第一個閾值那么嚴格。用于第二個搜索窗口中的、與正在被編碼的像素組相關(guān)的像素組的相關(guān)性因數(shù)與第二個閾值進行比較。通過利用具有不同閾值的多個搜索窗口，可以獲得更有效的編碼過程。例如，通過將第一個搜索窗口設(shè)定為相對較小，可以實現(xiàn)更快速的匹配，同時保持很高的相關(guān)性等級。這為解碼器系統(tǒng)提供了一種機制，以在編碼過程的處理能力和所需要的編碼過程質(zhì)量之間進行折衷。圖1至圖4進一步示出了本發(fā)明的特定實施例。
圖1示出了幀F(xiàn)1 102和F2 104。幀F(xiàn)1 102表示相對于正在被編碼的幀F(xiàn)2 104的參考幀。幀F(xiàn)1 102是一個參考幀，當幀F(xiàn)2 104中的像素組正在被編碼或解碼時，在幀F(xiàn)1 102中可獲得并使用與幀F(xiàn)1相關(guān)聯(lián)的像素數(shù)據(jù)。因此，在編碼過程期間，幀F(xiàn)2 104中的每個像素組，如宏塊(macroblocks)或塊，將與幀F(xiàn)1 102的一部分進行比較，以確定在幀F(xiàn)1 102中是否存在基本相似的像素組。本發(fā)明的一個特定實施例將參照圖2中的方法和圖1中的幀數(shù)據(jù)來進一步討論。
在步驟201確定第一個搜索窗口的大小和位置。例如參照圖1，定義了搜索窗口111。搜索窗口111表示幀F(xiàn)1 102的一個區(qū)域，該區(qū)域具有一個或多個要與宏塊F2/52進行相關(guān)的像素組。要注意F2/52指的是位于幀F(xiàn)2 104中的宏塊位置52處的宏塊，它是正在被編碼的宏塊。還應(yīng)該理解，在特定的搜索窗口內(nèi)，并沒有通過特定的像素組(如宏塊邊界)對搜索加以限制。換句話說，在一個搜索窗口內(nèi)識別出的像素組可能跨越編碼像素組的邊界而存在。在一個實施例中，第一個搜索窗口111包含要搜索的單個像素組。在其他實施例中，所述第一個搜索窗口包含多個像素組。
應(yīng)理解的是，第一個搜索窗口的位置通常是基于一個被預測的運動矢量。應(yīng)該理解，有許多預測運動矢量的方法，并且能夠通過多種方法來決定如何確定第一個搜索窗口的最初位置。
在圖2的步驟202，為第一個窗口設(shè)定一個相關(guān)性閾值。當正在被編碼的像素組與第一個窗口中的像素組進行相關(guān)時，確定一個相關(guān)性因數(shù)。這個相關(guān)性因數(shù)與第一個窗口的相關(guān)性閾值進行比較，以確定何時發(fā)現(xiàn)像素組之間實現(xiàn)了成功的匹配。通常，第一個窗口的相關(guān)性閾值與其他相關(guān)性閾值相比被設(shè)定為相對較高，因為第一個窗口內(nèi)的像素組數(shù)目相對較少。由于第一個窗口內(nèi)可能包含的像素組數(shù)目相對較少，因此可以使用較高一些的相關(guān)性因數(shù)，而不會影響性能。
在步驟203，確定一個搜索窗口像素組。對于圖1，可能存在一個單個的搜索窗口像素組。不管怎樣，都要在搜索窗口內(nèi)識別一個像素組。
在步驟204，確定正在被編碼的像素組和所述搜索窗口像素組之間的一個相關(guān)性因數(shù)?？梢岳枚喾N相關(guān)技術(shù)中的任意一種來確定這個相關(guān)性因數(shù)。這些相關(guān)技術(shù)可能非常簡單，如從其他像素組中減去一個像素組，以確定像素組之間的差。其他技術(shù)可能較為復雜。例如，當像素組信息代表空間數(shù)據(jù)時，相關(guān)技術(shù)可能執(zhí)行一個數(shù)學變換，將該數(shù)據(jù)轉(zhuǎn)換為非空間像素組數(shù)據(jù)。例如，可以采用二次采樣技術(shù)和/或?qū)︻l域數(shù)據(jù)進行操作的技術(shù)。此外，應(yīng)該理解，在由步驟204-205-211-210所形成的循環(huán)中，步驟204中的各種應(yīng)用可以使用相同的相關(guān)技術(shù)也可以使用不同的相關(guān)技術(shù)。例如，第一個搜索窗口位置可以采用不同于下一個搜索窗口的相關(guān)技術(shù)來確定。
在步驟205，確定所述相關(guān)性因數(shù)是否滿足步驟202中識別的相關(guān)性閾值。如果相關(guān)性因數(shù)滿足了所述相關(guān)性閾值，則流程進行到步驟206，其中一個運動矢量被用來對應(yīng)于所述搜索窗口像素組。如果在步驟205相關(guān)性因數(shù)未滿足相關(guān)性閾值，則流程進行到步驟211。請注意，在當前窗口是最后要搜索的窗口的實施例中，可以將相關(guān)性閾值設(shè)置為永遠也不會滿足該閾值。這允許在步驟221選擇具有最佳相關(guān)性因數(shù)的像素組。
在步驟211，確定在當前搜索窗口是否存在更多的搜索窗口像素組。如果是這樣的話，流程進行到步驟210，否則流程進行到步驟209。
在步驟210，在當前窗口內(nèi)確定下一個搜索窗口像素組。一旦確定了下一個搜索窗口像素組，則流程進行到步驟204。由步驟204、205、211和210形成的循環(huán)持續(xù)進行，直到當前窗口內(nèi)的所有搜索窗口像素組都已和正在被編碼的像素組進行了相關(guān)，或者直到完成了成功的相關(guān)。
在當前搜索窗口中不存在更多的搜索窗口像素組的情況下，流程從步驟211進行到步驟209。在步驟209，確定是否要識別更多的搜索窗口。如果不是，則流程從步驟209進行到步驟221，在該步驟中圖2中的方法選擇最佳的像素組位置和/或并未完成成功相關(guān)而結(jié)束。但是，如果要識別其他的搜索窗口，則流程進行到步驟208。
在步驟208，確定下一個搜索窗口的大小和位置。參照圖1，搜索窗口112是下一個要識別的搜索窗口。
在步驟207，為下一個搜索窗口112設(shè)定一個相關(guān)性閾值。再次參照圖1，將為窗口大小112設(shè)定一個新的相關(guān)性閾值。由于窗口大小112比搜索窗口111包含更多的像素組，因此將容忍不那么嚴格的相關(guān)性因數(shù)。換句話說，為了避免較長的編碼時間，允許對相關(guān)性質(zhì)量進行折衷。
在步驟203，識別一個新的搜索窗口像素組。應(yīng)該理解，當?shù)谝粋€搜索窗口111是新的搜索窗口112的子集時，與第一個搜索窗口中的像素組相關(guān)聯(lián)的相關(guān)性因數(shù)可以被保留，而不必進行重新相關(guān)，并與新的閾值進行比較。通過保留第一個搜索窗口的相關(guān)性因數(shù)，只需要將第二個搜索窗口112所獨有的搜索窗口像素組進行相關(guān)，從而節(jié)省了處理時間。
同樣以先前所述的方式，步驟204、205、211和210重復進行，直到所有的搜索窗口像素組都已經(jīng)與正在被編碼的像素組進行了相關(guān)，或者直到完成了成功的像素組相關(guān)。
以所述方式，可以分別搜索多個搜索窗口，即搜索窗口111、112和113，以尋找滿足不同相關(guān)性閾值的像素組。通過這種方式，可以在圖片質(zhì)量和預期可能要花費的處理時間之間動態(tài)地保持平衡。應(yīng)該理解，這是相對于現(xiàn)有技術(shù)所具有的優(yōu)點，在現(xiàn)有技術(shù)中僅識別一個窗口和一個閾值。
圖3示出了一種根據(jù)本發(fā)明的一個特定實施例的系統(tǒng)。具體來說，圖3示出了具有一個數(shù)據(jù)處理器310和一個存儲器320的系統(tǒng)300。在操作中，數(shù)據(jù)處理器310訪問存儲器300，以執(zhí)行程序指令322并處理視頻數(shù)據(jù)324。例如，視頻數(shù)據(jù)324通常包括圖1中的幀F(xiàn)1 102和F2 104的視頻幀數(shù)據(jù)。類似地，視頻處理器310通常包括一個用于實現(xiàn)指令的指令執(zhí)行單元。另外，數(shù)據(jù)處理器310可包括輔助處理器312，該輔助處理器可包含專用的硬件加速器和/或微代碼引擎，能夠?qū)崿F(xiàn)這里所描述的編碼處理中的一些或全部。此外還應(yīng)該理解，圖3中的信息處理器300可以是通用計算機或?qū)Ｓ糜嬎銠C的一部分，或者集成為大型系統(tǒng)中的一部分。
在前面詳細描述的實施例中，并且參照了作為其一部分的附圖，其中通過實例方式示出了特別的實施例，對本發(fā)明進行了公開。這些實施例被充分詳細地描述，以使本領(lǐng)域技術(shù)人員能夠?qū)嵤┍景l(fā)明，并且應(yīng)該理解，也可以使用其他的實施例，可以對本發(fā)明做出邏輯、機械和電氣上的改動，而不會背離本發(fā)明的主旨或保護范圍。為了避免對于本領(lǐng)域技術(shù)人員實施本發(fā)明不必要的細節(jié)，說明書中省去了本領(lǐng)域技術(shù)人員所公知的信息。此外，本領(lǐng)域技術(shù)人員可以很容易地構(gòu)造包含了本發(fā)明的指導的許多其他實施例。因此，本發(fā)明并不局限于這里所提到的特定方式，相反，本發(fā)明覆蓋了其他的改動、改進和等價物，這可以很合理地包括在本發(fā)明的主旨和保護范圍中。因此前面詳細描述的說明并不具有限制意義，本發(fā)明保護范圍僅通過所附的權(quán)利要求來限定。
權(quán)利要求
1.處理視頻圖像的方法，該方法包括選擇第一個視頻數(shù)據(jù)幀的第一個搜索窗口，所述第一個搜索窗口具有第一個窗口大?。淮_定第一個搜索窗口內(nèi)的第一個像素組與第二個視頻數(shù)據(jù)幀中的第二個像素組之間的第一個相關(guān)性因數(shù)；將所述第一個相關(guān)性因數(shù)與第一個閾值進行比較；選擇所述第一幀的第二個搜索窗口，所述第二個搜索窗口具有第二個窗口大小，所述第二個窗口大小大于所述第一個窗口大??；確定第二個搜索窗口內(nèi)的第三個像素組與所述第二個像素組之間的第二個相關(guān)性因數(shù)；并且將所述第二個相關(guān)性因數(shù)與第二個閾值進行比較，所述第二個閾值不同于所述第一個閾值。
2.如權(quán)利要求1所述的方法，其中所述選擇第二個搜索窗口的步驟包括所述第一個像素組位于所述第二個搜索窗口內(nèi)。
3.如權(quán)利要求1所述的方法，還包括選擇所述第一幀的第三個搜索窗口，所述第三個搜索窗口具有第三個窗口大小，所述第三個窗口大小大于所述第二個窗口大小。
4.如權(quán)利要求3所述的方法，還包括確定第三個搜索窗口內(nèi)的第三個像素組與所述第二個像素組之間的第三個相關(guān)性因數(shù)。
5.如權(quán)利要求4所述的方法，還包括將所述第三個相關(guān)性因數(shù)與第三個相關(guān)性閾值進行比較，所述第三個相關(guān)性閾值不同于所述第二個相關(guān)性閾值，且不同于所述第一個相關(guān)性閾值。
6.如權(quán)利要求1所述的方法，還包括根據(jù)第三個搜索窗口內(nèi)的第三個像素組中的至少一個像素來確定一個運動矢量。
7.如權(quán)利要求1所述的方法，還包括保留第一個相關(guān)性因數(shù)；并且將第一個相關(guān)性因數(shù)與第二個閾值進行比較。
8.如權(quán)利要求7所述的方法，其中將第一個相關(guān)性因數(shù)與第二個閾值進行比較的步驟發(fā)生在將第二個相關(guān)性因數(shù)與第二個閾值進行比較之前。
9.如權(quán)利要求1所述的方法，其中所述確定第一個相關(guān)性因數(shù)的步驟是根據(jù)第一種相關(guān)技術(shù)來確定的，所述確定第二個相關(guān)性因數(shù)的步驟是根據(jù)不同于所述第一種相關(guān)技術(shù)的第二種相關(guān)技術(shù)來確定的。
10.如權(quán)利要求2所述的方法，其中所述確定第一個相關(guān)性因數(shù)的步驟是根據(jù)第一種相關(guān)技術(shù)來確定的，所述確定第二個相關(guān)性因數(shù)的步驟也是根據(jù)第一種相關(guān)技術(shù)來確定的。
11.如權(quán)利要求1所述的方法，包括選擇所述第一幀的第三個搜索窗口，所述第三個搜索窗口具有第三個窗口大小，所述第三個窗口大小大于所述第一個窗口大??；確定第三個搜索窗口內(nèi)的第四個像素組與第二個像素組之間的第三個相關(guān)性因數(shù)；當所述第四個像素組具有第三個搜索窗口中的像素組的最佳相關(guān)性因數(shù)時，將所述第四個像素組識別為具有第三個窗口中最佳相關(guān)性因數(shù)的像素組。
12.一種方法，包括選擇第一個視頻數(shù)據(jù)幀的第一個搜索窗口，所述第一個搜索窗口具有第一個窗口大小；將所述第一個搜索窗口內(nèi)的第一個像素組與第二個視頻數(shù)據(jù)幀中的一個像素組進行比較，以確定第一個相關(guān)性；選擇所述第一個視頻數(shù)據(jù)幀的第二個搜索窗口，所述第二個搜索窗口具有第二個窗口大小，所述第二個窗口大小大于所述第一個窗口大小；并且將所述第二個搜索窗口內(nèi)的第二個像素組與第二個視頻數(shù)據(jù)幀中的所述像素組進行比較，以確定第二個相關(guān)性。
13.如權(quán)利要求12所述的方法，還包括利用第一個閾值來評估第一個相關(guān)性，并利用第二個閾值來評估第二個相關(guān)性，所述第一個閾值比所述第二個閾值更為嚴格。
14.如權(quán)利要求12所述的方法，還包括選擇所述第一個視頻數(shù)據(jù)幀的第三個搜索窗口，所述第三個搜索窗口具有第三個窗口大小，所述第三個窗口大小大于所述第二個窗口大小。
15.如權(quán)利要求14所述的方法，還包括將所述第三個搜索窗口內(nèi)的第三個像素組與第二個視頻數(shù)據(jù)幀中的所述像素組進行比較，以確定第三個相關(guān)性。
16.如權(quán)利要求12所述的方法，其中所述第一個窗口大小等于第二個像素組的大小。
17.如權(quán)利要求1所述的方法，其中所述比較第一個像素組的步驟包括根據(jù)第一種相關(guān)技術(shù)來確定第一個相關(guān)性，并且所述比較第二個像素組的步驟包括根據(jù)不同于第一種相關(guān)技術(shù)的第二種相關(guān)技術(shù)來確定第二個相關(guān)性。
18.如權(quán)利要求1所述的方法，其中所述比較第一個像素組的步驟包括根據(jù)第一種相關(guān)技術(shù)來確定第一個相關(guān)性，并且所述比較第二個像素組的步驟包括根據(jù)第一種相關(guān)技術(shù)來確定第二個相關(guān)性。
19.如權(quán)利要求12所述的方法，其中所述選擇第二個搜索窗口的步驟包括所述第一個像素組位于所述第二個搜索窗口內(nèi)。
20.一種系統(tǒng)，包括一個視頻數(shù)據(jù)處理單元；一個與所述視頻數(shù)據(jù)處理單元相連接的存儲器，該存儲器包括一個用于存儲第一個視頻數(shù)據(jù)幀和第二個視頻數(shù)據(jù)幀的視頻數(shù)據(jù)存儲區(qū)；一個用于存儲程序指令的程序存儲區(qū)，所述程序指令用來選擇第一個視頻數(shù)據(jù)幀的第一個搜索窗口，所述第一個搜索窗口具有第一個窗口大?。粚⑺龅谝粋€搜索窗口內(nèi)的第一個像素組與第二個視頻數(shù)據(jù)幀中的一個像素組進行比較，以確定第一個相關(guān)性；選擇所述第一個視頻數(shù)據(jù)幀的第二個搜索窗口，所述第二個搜索窗口具有第二個窗口大小，所述第二個窗口大小大于所述第一個窗口大?。徊⑶覍⑺龅诙€搜索窗口內(nèi)的第二個像素組與第二個視頻數(shù)據(jù)幀中的所述像素組進行比較，以確定第二個相關(guān)性。
21.如權(quán)利要求20所述的系統(tǒng)，其中所述程序指令還用來利用第一個閾值來評估第一個相關(guān)性；利用第二個閾值來評估第二個相關(guān)性，所述第一個閾值與所述第二個閾值不同。
22.如權(quán)利要求20所述的系統(tǒng)，其中所述程序指令還用來選擇所述第一個視頻數(shù)據(jù)幀的第三個搜索窗口，所述第三個搜索窗口具有第三個窗口大小，其中所述第三個窗口大小大于所述第二個窗口大小。
23.如權(quán)利要求20所述的系統(tǒng)，其中選擇所述第一個窗口大小的程序指令包括第一個窗口大小是單個像素，而第二個窗口大小包括多個像素。
24.為一個正在被編碼的像素組確定一個運動矢量的方法，包括選擇第一個視頻數(shù)據(jù)幀的第一個搜索窗口，所述第一個搜索窗口具有第一個窗口大?。粚τ谡诒痪幋a的像素組，判斷是否有與所述第一個搜索窗口相關(guān)聯(lián)的任何像素組滿足第一個相關(guān)性要求；當有與第一個搜索窗口相關(guān)聯(lián)的像素組滿足了第一個相關(guān)性要求時，為該像素組確定一個運動矢量；并且當沒有與第一個搜索窗口相關(guān)聯(lián)的像素組滿足第一個相關(guān)性要求時選擇第一個視頻數(shù)據(jù)幀的第二個搜索窗口，所述第二個搜索窗口具有比第一個窗口大小更大的第二個窗口大?。粚τ谡诒痪幋a的像素組，判斷是否有與所述第一個搜索窗口相關(guān)聯(lián)的任何像素組滿足第二個相關(guān)性要求，所述第二個相關(guān)性要求不同于所述第一個相關(guān)性要求；當有與第一個搜索窗口相關(guān)聯(lián)的像素組滿足了第二個相關(guān)性要求時，為該像素組確定一個運動矢量。
25.如權(quán)利要求24所述的方法，其中為正在被編碼的像素組確定一個運動矢量的步驟包括第二個相關(guān)性要求沒有第一個相關(guān)性要求嚴格。
全文摘要
在一個視頻數(shù)據(jù)參考幀內(nèi)的第一個搜索窗口與第一個窗口的第一個相關(guān)性閾值一起被識別。所述第一個相關(guān)性閾值是正在被編碼的像素組與第一個搜索窗口內(nèi)的像素組之間的相關(guān)性因數(shù)與之進行比較的值。例如，如果第一個搜索窗口中的一個特定像素組與正在被編碼的像素組之間的相關(guān)性因數(shù)滿足了所述第一個閾值，則發(fā)現(xiàn)在上述兩個像素組之間已經(jīng)實現(xiàn)了成功的匹配，并且可以將一個相應(yīng)的運動矢量分配給這個正在被編碼的像素組。如果第一個窗口內(nèi)沒有像素組滿足第一個閾值，則選擇第一幀內(nèi)的第二個搜索窗口以及第二個相關(guān)性閾值。將第二個窗口內(nèi)的像素組的相關(guān)性因數(shù)與第二個相關(guān)性閾值進行比較。
文檔編號G06T7/20GK1739121SQ200480002261
公開日2006年2月22日 申請日期2004年1月14日 優(yōu)先權(quán)日2003年1月16日
發(fā)明者帕特里克·勞特, 曾志華 申請人:Vixs系統(tǒng)公司