專利名稱：一種快速亞像素運動估計方法
技術領域：
本發(fā)明涉及一種提高亞像素運動估計速度、減少亞像素運動估計過程中存儲開銷的方法，屬于圖像處理技術領域。
背景技術：
近10年來，基于離散余弦變換和運動補償的編碼方案在視頻壓縮中得到了廣泛應用，并納入到一系列國際標準，如H.263、MPEG-4和JVT等。在該方案中，運動估計是消除視頻幀間冗余的有效方法，但由于其采用幀間逐塊搜索比較，計算量巨大，成為影響視頻壓縮性能的關鍵技術障礙。運動估計由整像素運動估計和亞像素運動估計兩部分組成。整像素運動估計直接以已編碼幀為參考幀，搜索整像素級的最優(yōu)匹配塊；亞像素運動估計則通過插值估算參考幀中非直接采樣點(亞像素點)的值，以此為參考，在整像素運動估計的基礎上進一步搜索亞像素級的最優(yōu)匹配塊。實驗表明，在整像素運動估計的基礎上進行亞像素運動估計，能夠明顯提高運動補償效果，因此亞像素運動估計已成為提高圖像壓縮比的有效方法。
目前視頻壓縮標準中普遍采用的亞像素運動估計是全搜索方法，即先對整幅圖像進行插值，在此基礎上，搜索整像素運動估計最優(yōu)點周圍的8個1/2像素點，得到1/2像素級的最優(yōu)點，如此類推，每一級亞像素搜索都以上一級搜索的最優(yōu)點為中心搜索其周圍的8個下一級亞像素點。對于K級(或稱1/2K)亞像素運動估計，則每個當前塊需進行8×K個塊的搜索，同時插值后的圖像增大為輸入圖像的22K倍，編碼過程中需增加22K-1倍的插值存儲空間。這種全搜索方法不僅運算復雜度極高而且隨亞像素精度的增加插值存儲開銷也呈指數級增長。
為解決亞像素全搜索方法中存在的問題，產生了許多快速算法。當前的這些方法一般從搜索策略、終止條件等方面縮小搜索范圍以減少搜索點數?？偟膩碚f其搜索精度與全搜索仍存在較大差距，搜索速度也需要進一步提高；此外，大量的插值存儲開銷也是一個難以解決的問題。實際應用中，尤其針對存儲資源有限的應用環(huán)境，一種好的亞像素運動估計方法必須同時考慮搜索精度、運行效率及存儲開銷。

發(fā)明內容
本發(fā)明的目的在于提供一種快速亞像素運動估計方法。該方法根據鄰近整像素值直接推導任意精度下的最優(yōu)亞像素位置，從而避免了傳統逐點搜索比較的方法所帶來的存儲開銷。
為實現上述的發(fā)明目的，本發(fā)明采用下述的技術方案一種快速亞像素運動估計方法，包括根據整像素運動估計得到整像素最優(yōu)匹配塊，其特征在于進一步包括以下步驟步驟一根據當前塊、整像素最優(yōu)匹配塊及其相鄰塊，分別計算任意精度下的水平、垂直最優(yōu)亞像素塊的位置；步驟二根據具體應用中采用的亞像素精度，對步驟一中得到的最優(yōu)亞像素位置進行近似處理，得到指定精度下的近似最優(yōu)位置；步驟三將步驟二中分別獲得的水平和垂直方向上近似最優(yōu)位置進行合成，得到二維近似最優(yōu)位置；所述二維近似最優(yōu)位置若處于亞像素位置，將其對應塊作為一候選塊；并從步驟二中得到水平方向上和垂直方向上的近似最優(yōu)亞像素位置中選取殘差最小者，其處于亞像素位置則將其對應塊作為另一候選塊；對所述候選塊進行搜索匹配，并與所述整像素運動估計結果相比較，取最優(yōu)塊作為最終結果。
所述步驟一包括步驟11)分別計算當前塊與整像素運動估計最優(yōu)匹配塊左、右兩側的亞像素塊之間的最小匹配誤差，并取兩者中的最小值作為水平最小殘差；12)分別計算當前塊與整像素運動估計最優(yōu)匹配塊上、下兩側的亞像素塊之間的最小匹配誤差，并取兩者中的最小值作為垂直最小殘差。
所述步驟一進一步包括以下步驟13)根據步驟12)中得到的水平和垂直方向上的最小匹配誤差，分別計算其對應的任意精度下最優(yōu)亞像素位置。
所述最小匹配誤差和及其對應的任意精度下最優(yōu)亞像素位置的計算，包括用當前塊、整像素最優(yōu)匹配塊及其鄰近整像素塊表示當前塊與整像素最優(yōu)匹配塊周圍的亞像素塊的最小均方差及其相應的最優(yōu)亞像素塊的位置，并用當前塊、整像素最優(yōu)匹配塊及其鄰近整像素塊之間的關系來表示。
所述當前塊與亞像素塊的最小均方差和所述當前塊、整像素最優(yōu)匹配塊及其鄰近整像素塊之間的關系為Min(Dci,jsi,j)=4Dri,jri+1,iDci,jri,j-(Dci,jri,j-Dci,jri+1,j-Dri,jri+1,j)24Dri,jri+1,j]]>所述最優(yōu)亞像素塊的位置與當前塊、整像素最優(yōu)匹配塊及其鄰近整像素塊之間的關系為mb=Dci,jri+1,j-Dci,jri,j2Dcr,jri+1,j+12]]>其中形如Ddx，yd′x，y的符號表示圖像中左上位置點為dx，y、d′x，y的兩個塊的絕對差和，ci，j為當前塊上的點，ri，j為整像素最優(yōu)匹配塊上的點，Min(Dci，jkij)表示亞像素塊與當前塊之間的最小均方差，mb表示最優(yōu)位置。
所述最小匹配誤差為最小均方誤差和最小絕對差和中的一種。
所述步驟二中的對步驟一中得到的最優(yōu)亞像素位置進行近似處理，包括當指定搜索精度為1/2K時，一維近似最優(yōu)位置m′與步驟一中得到的最優(yōu)位置mb間關系為m′=round(mb×2K)/2K,]]>其中，round()表四舍五入，由此得到近似最優(yōu)位置。
所述步驟三中從二維近似最優(yōu)位置及水平和垂直方向上近似最優(yōu)亞像素位置中選取處于亞像素位置的候選塊，包括1)若二維近似最優(yōu)位置對應塊處于亞像素位置，則將其作為一個候選塊。
2)判斷水平方向近似最優(yōu)位置和垂直方向近似最優(yōu)位置對應的最小絕對差和，如果水平方向近似最優(yōu)位置對應的最小絕對差和較小，則進一步判斷水平方向近似最優(yōu)位置是否在亞像素位置，如果是，則選定水平方向近似最優(yōu)位置對應塊為候選塊；如果垂直方向近似最優(yōu)位置對應的最小絕對差和較小，則進一步判斷垂直方向近似最優(yōu)位置是否在亞像素位置，如果是，則選定垂直方向近似最優(yōu)位置對應塊為候選塊。
步驟三還包括通過插值計算候選塊中各亞像素點的值，并計算該塊與當前塊的最小絕對差和，并與整像素運動估計得到的最小絕對差和進行比較，將兩者中較小值的對應位置作為最終搜索到的運動矢量。
本發(fā)明利用整像素運動估計的中間結果，通過計算直接確定0-2個最優(yōu)亞像素候選塊，并在此候選塊基礎上進行搜索。理論分析表明，對于搜索精度為1/2K的亞像素運動估計，與亞像素全搜索方法相比，搜索塊數下降率高達(8×K-2)/8×K以上。實驗結果顯示，1/4亞像素運動估計時，搜索塊數下降率在90％以上，而圖像質量和壓縮碼率都沒有明顯變化。同時，本發(fā)明搜索過程中的插值存儲開銷趨近于零，這對于在專用芯片、DSP上實現的視頻編碼器十分重要。


圖1是本發(fā)明所述的亞像素運動估計方法的流程圖；圖2是二維亞像素運動的像素分布示意圖；圖3是對二維運動分解為一維運動進行運動估計的示意圖；圖4是一維最優(yōu)近似位置的示意圖。
具體實施例方式
本發(fā)明在整像素運動估計的基礎上，根據鄰近整像素值直接推導任意精度下的最優(yōu)亞像素位置，從而提出了一種基于最優(yōu)位置計算的快速亞像素運動估計方法。
由于亞像素位置點并非直接采樣，而是由鄰近整像素采樣點插值而來，因此與當前塊具有最優(yōu)匹配的亞像素塊的位置完全可由其周圍的整像素值直接導出，以避免當前方法中的逐點搜索比較。
下面結合

本發(fā)明的實現方式。圖1中明確表示了本發(fā)明所述方法的整體流程，即先分別計算水平和垂直方向上的一維最優(yōu)亞像素位置；再根據設定的精度，對一維最優(yōu)亞像素位置進行近似處理，分別得到水平和垂直方向上的近似最優(yōu)位置；最后再根據水平和垂直方向上的近似最優(yōu)位置選擇侯選塊，完成搜索。下面詳細說明如下步驟一根據當前塊與整像素最優(yōu)匹配塊及其鄰塊間的關系，分別計算任意精度下的水平、垂直最優(yōu)亞像素塊的位置。
下面結合圖2、圖3具體說明如何計算水平或垂直最優(yōu)亞像素位置。在圖2和圖3中，用“●”表示整像素點；“X”表示亞像素點。圖3中各點為其所在塊的左上點，Ri，j為整像素運動估計(IME)最優(yōu)匹配塊，Ri+1，j、Ri-1，j為其水平兩側距離為1個像素的鄰塊，Ri，j+1、Ri，j+1為其垂直兩側距離為1個像素的鄰塊。
在本發(fā)明所述方法中，設編碼幀中當前待搜索塊上的點為ci，j(i∈(0，M)，j∈(0，N))，其中M，N分別表示搜索塊包含的水平、垂直方向像素數；整像素運動估計后得到的參考幀中最優(yōu)匹配塊上各點為ri，j(i∈(0，M)，j∈(0，N))；最優(yōu)匹配塊上各點ri，j之間插值得到的亞像素塊為si，j，且si，j滿足公式si，j＝mri，j+(1-m)ri+1，j，其中，m是位置參數。
通過數學上的推導，IME最優(yōu)匹配塊水平或垂直方向上一側的亞像素塊與當前塊之間的均方差經過化簡可最終表示為Dci,Jsi,j=Dri,jri+1,jm2+(Dci,jri,j-Dci,jri+1,j-Dri,jri+1,j)m+Dci,jri+1,j---(1)]]>對(2)式求導，并根據二次函數的性質，可知亞像素塊與當前塊的最小均方差為Min(Dci,jsi,j)=4Dri,jri+1,jDci,jri,j-(Dci,jri,j-Dci,jri+1,j-Dri,jri+1,j)24Dri,jri+1,j---(2)]]>其對應的任意精度下的最優(yōu)亞像素位置為mb=Dci,¬jri+1,j-Dci,jri,j2Dri,jri+1,j+12---(3)]]>其中形如Ddx，yd′x，y的符號表示圖像中左上位置點為dx，y、d′x，y的兩個塊的絕對差和，ci，j為當前塊的上點，ri，j為整像素最優(yōu)匹配塊上的點，Min(Dci，jsi，j)表示亞像素塊與當前塊之間的最小均方差，mb表示最優(yōu)位置。
需要指出的是運動估計通常以均方誤差(MSE)或其簡化形式絕對差之和(SAD)作為匹配準則，在上述的數學分析中，取MSE匹配準則進行分析。實際運動估計過程中為減少運算量通常以絕對差和SAD值取代均方差MSE。因此可以理解，本發(fā)明所述的方法也可以類似地采用SAD匹配準則。在這種情況下，式(2)、(3)中MSE值以相應的SAD值取代。
根據上述數學推導所獲得的數學公式，在步驟一中需要進行的具體實施步驟如下
(1)由式(2)分別計算當前塊與Ri，j的左、右兩側的亞像素塊最小絕對差和，并取兩者中的最小值作為水平最小殘差，記作Sh；(2)由式(2)分別計算當前塊與Ri，j的上、下兩側的亞像素塊最小絕對差和，并取兩者中的最小值作為垂直最小殘差，記作Sv；(3)由式(3)分別計算Sh、Sv對應的任意精度下最優(yōu)亞像素位置h、v。
步驟二根據具體應用中采用的亞像素精度，對步驟一中得到的最優(yōu)亞像素位置進行近似處理，得到指定精度下的近似最優(yōu)位置。
步驟一得到任意精度下的最優(yōu)位置。但實際應用中，在運動估計(ME)達到一定精度后，殘差系數的減少量很小，而運動矢量卻占用較多比特數，從而導致最終編碼比特數不再顯著下降。因此，實際應用中一般采用1/2，1/4或1/8精度，如MPEG-4的ME采用1/2像素，JVT則可精確到1/8像素。為與國際標準相吻合，在實際應用中的mb取值應該與標準中所用的搜索精度(1/2，1/4或1/8)保持一致。
由式(1)，當前塊與整像素最優(yōu)匹配塊周圍的亞像素塊的絕對差和Dci，jxi，j為亞像素位置m的二次拋物線函數，由拋物線的對稱單調性可知當指定搜索精度為1/2k時，距離計算最優(yōu)位置最近的亞像素位置為最優(yōu)近似，據此得到指定精度下的一維近似最優(yōu)位置m′的計算公式m′=round(mb×2K)/2K---(4)]]>其中round表示四舍五入，mb為步驟一中得到的最優(yōu)位置。如圖2所示，當采用1/4像素精度、亞像素位置為9/16時取得最小絕對差和，此時與9/16最近的1/4亞像素位置是1/2，因此1/2為最優(yōu)近似位置。
根據步驟一中得到的最優(yōu)位置h、v及指定的搜索精度，按照式(4)計算得到該搜索精度下的近似最優(yōu)位置h’和v’。
步驟三將步驟二中的水平和垂直方向上近似最優(yōu)位置合成得到二維近似最優(yōu)位置。從合成得到的二維近似最優(yōu)位置及前述步驟中水平和垂直方向上近似最優(yōu)亞像素位置中選取處于亞像素位置的候選塊，并對候選塊進行搜索，獲得運動估計結果。
步驟二中分別計算出水平、垂直兩個一維方向上的近似最優(yōu)位置，考慮到二維運動可看作水平、垂直兩個一維方向上的分運動的合成，本發(fā)明中將該水平、垂直位置合成對應的二維位置塊作為一個候選塊。此外，考慮到該候選塊的位置是一種近似結果，為提高ME的精度又將水平最優(yōu)位置塊Sh、垂直最優(yōu)位置塊中殘差Sv中較小者的對應塊作為另一候選塊。對兩個候選塊中處于亞像素位置的塊進行搜索匹配，并與整像素搜索結果相比較，取最優(yōu)塊作為最終結果?？梢?，本發(fā)明將侯選塊減少至兩個或更少，因此顯著降低了開銷，但是搜索速度卻很快。步驟三的具體步驟如下(1)置候選塊集合為空，若點(h’，v’)處于亞像素位置，將其對應塊加入候選塊集合；(2)若Sh≤Sv且點(h’，0)處于亞像素位置，則將(h’，0)對應塊加入候選塊集合；轉(4)；(3)若Sh＞Sv且點(0，v’)處于亞像素位置，則將(v’，0)對應塊加入候選塊集合；(4)對候選塊集合中各塊進行插值、搜索等運算，確定最終結果。即通過插值計算候選塊中各亞像素點的值，并計算其與當前塊的絕對差和，比較其與整像素運動估計的最小絕對差和，將兩者中最小值的對應位置作為最終搜索到的運動矢量。
以上公開的僅為本發(fā)明的具體實施例，根據本發(fā)明提供的思想，本領域的技術人員能思及的變化，都應落入本發(fā)明的保護范圍內。
權利要求
1.一種快速亞像素運動估計方法，包括根據整像素運動估計得到整像素最優(yōu)匹配塊，其特征在于進一步包括以下步驟步驟一根據當前塊、整像素最優(yōu)匹配塊及其相鄰塊，分別計算任意精度下的水平、垂直最優(yōu)亞像素塊的位置；步驟二根據具體應用中采用的亞像素精度，對步驟一中得到的最優(yōu)亞像素位置進行近似處理，得到指定精度下的近似最優(yōu)位置；步驟三將步驟二中分別獲得的水平和垂直方向上近似最優(yōu)位置進行合成，得到二維近似最優(yōu)位置；所述二維近似最優(yōu)位置若處于亞像素位置，將其對應塊作為一候選塊；并從步驟二中得到水平方向上和垂直方向上的近似最優(yōu)亞像素位置中選取殘差最小者，其處于亞像素位置則將其對應塊作為另一候選塊；對所述候選塊進行搜索匹配，并與所述整像素運動估計結果相比較，取最優(yōu)塊作為最終結果。
2.如權利要求1所述的快速亞像素運動估計方法，其特征在于所述步驟一包括步驟11)分別計算當前塊與整像素運動估計最優(yōu)匹配塊左、右兩側的亞像素塊之間的最小匹配誤差，并取兩者中的最小值作為水平最小殘差；12)分別計算當前塊與整像素運動估計最優(yōu)匹配塊上、下兩側的亞像素塊之間的最小匹配誤差，并取兩者中的最小值作為垂直最小殘差。
3.如權利要求2所述的快速亞像素運動估計方法，其特征在于所述步驟一進一步包括以下步驟13)根據步驟12)中得到的水平和垂直方向上的最小匹配誤差，分別計算其對應的任意精度下最優(yōu)亞像素位置。
4.如權利要求2或3所述的快速亞像素運動估計方法，其特征在于所述最小匹配誤差和及其對應的任意精度下最優(yōu)亞像素位置的計算，包括用當前塊、整像素最優(yōu)匹配塊及其鄰近整像素塊表示當前塊與整像素最優(yōu)匹配塊周圍的亞像素塊的最小均方差及其相應的最優(yōu)亞像素塊的位置，并用當前塊、整像素最優(yōu)匹配塊及其鄰近整像素塊之間的關系來表示。
5.如權利要求4所述的快速亞像素運動估計方法，其特征在于所述當前塊與亞像素塊的最小均方差和所述當前塊、整像素最優(yōu)匹配塊及其鄰近整像素塊之間的關系為Min(Dci,jsi,j)=4Dri,jri+1,jDci,jri,j-(Dci,jri,j-Dci,jri+1,j-Dri,jri+1,j)24Dri,jri+1,j]]>所述最優(yōu)亞像素塊的位置與當前塊、整像素最優(yōu)匹配塊及其鄰近整像素塊之間的關系為mb=Dci,jri+1,j-Dci,jri,j2Dri,jri+1,j+12]]>其中形如Ddx，rd′x，r的符號表示圖像中左上位置點為dx，y、d′x，y的兩個塊的絕對差和，ci，j為當前塊上的點，ri，j為整像素最優(yōu)匹配塊上的點，Min(Dci，ri，j)表示亞像素塊與當前塊之間的最小均方差，mb表示最優(yōu)位置。
6.如權利要求2或3所述的快速亞像素運動估計方法，其特征在于所述最小匹配誤差為最小均方誤差和最小絕對差和中的一種。
7.如權利要求1所述的快速亞像素運動估計方法，其特征在于所述步驟二中的對步驟一中得到的最優(yōu)亞像素位置進行近似處理，包括當指定搜索精度為1/2K時，一維近似最優(yōu)位置m′與步驟一中得到的最優(yōu)位置mb間關系為m′＝round(mb×2K)/2K，其中，round()表四舍五入，由此得到近似最優(yōu)位置。
8.如權利要求1所述的快速亞像素運動估計方法，其特征在于所述步驟三中從二維近似最優(yōu)位置及水平和垂直方向上近似最優(yōu)亞像素位置中選取處于亞像素位置的候選塊，包括1)若二維近似最優(yōu)位置對應塊處于亞像素位置，則將其作為一個候選塊。2)判斷水平方向近似最優(yōu)位置和垂直方向近似最優(yōu)位置對應的最小絕對差和，如果水平方向近似最優(yōu)位置對應的最小絕對差和較小，則進一步判斷水平方向近似最優(yōu)位置是否在亞像素位置，如果是，則選定水平方向近似最優(yōu)位置對應塊為候選塊；如果垂直方向近似最優(yōu)位置對應的最小絕對差和較小，則進一步判斷垂直方向近似最優(yōu)位置是否在亞像素位置，如果是，則選定垂直方向近似最優(yōu)位置對應塊為候選塊。
9.如權利要求8所述的快速亞像素運動估計方法，其特征在于步驟三還包括通過插值計算候選塊中各亞像素點的值，并計算該塊與當前塊的最小絕對差和，并與整像素運動估計得到的最小絕對差和進行比較，將兩者中較小值的對應位置作為最終搜索到的運動矢量。
全文摘要
本發(fā)明涉及一種快速亞像素運動估計方法，屬于圖像處理領域。本發(fā)明在整像素運動估計的基礎上，直接計算出最優(yōu)亞像素的位置，從而可將亞像素運動估計的搜索點數減少到2個以下，避免了傳統方法的逐點搜索比較，不僅大幅度提高了搜索速度，而且插值亞像素點所需的存儲開銷趨近于零。實驗結果表明該方法以極小的搜索代價取得了與全搜索相當的效果。
文檔編號H04N7/32GK1741618SQ20041007383
公開日2006年3月1日 申請日期2004年9月3日 優(yōu)先權日2004年9月3日
發(fā)明者李波, 張藎尹, 李煒 申請人:北京航空航天大學