專利名稱：改善利用相位相關(guān)估計的運動的精確度和可靠度的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像和視頻處理的領(lǐng)域。更具體而言，本發(fā)明涉及執(zhí)行相位相關(guān)運動估計(phase correlation motion estimation)。
背景技術(shù)：
執(zhí)行運動估計的過程能夠以若干種方式來實現(xiàn)。一種實現(xiàn)方式包括利用相位相關(guān)。相位相關(guān)使用頻率域方法來估計兩個相似圖像之間的平移性偏移。有若干種傳統(tǒng)的方法來從相位相關(guān)表面確定亞像素(sub-pel)精度。這些亞像素方法大體可分類為I-D方法或2-D方法。I-D方法在每個空間維度上獨立地操作。換言之， 運動的垂直和水平亞像素分量被分開確定。圖I示出了不同的亞像素方法使用的記號。條目au就是在相位相關(guān)表面中的峰的位置的鄰域中s [X, y](相位相關(guān)表面)的值。峰值是a22,并且au = s [xk+j_2, yk+i_2], 其中(xk，yk)是峰的位置。注意，由于FFT的屬性，相位相關(guān)表面s[x，y]的索引的求值是以N為模執(zhí)行的。2D亞像素方法能夠使用圖中的相關(guān)值的一些或全部。一些2D方法使用更大的窗口，這些窗口能夠利用延伸到超過所演示的3 X 3鄰域的相關(guān)值。I-D亞像素方法獨立地考慮水平和垂直亞像素分量，并且使用圖2中所示的相關(guān)值。H. Foroosh 等人在 “Extension of Phase Correlation to Subpixel Registration”中指出，sine函數(shù)非常良好地近似了在存在平移性運動的情況下的相位相關(guān)表面。Foroosh等人的文章中的推導得出了在每個空間方向上獨立操作的相對簡單的 I-D亞像素方法。該方法被應用到靠近相位相關(guān)峰的鄰域。在G. A. Thomas 所著的 “Television Motion Measurement for DATV and Other Applications”中，1_D 二次函數(shù)被擬合到相位相關(guān)峰的鄰域中的三個點(圖2中所示的水平或垂直值)。在 I. E. Abdou 所著的 “Practical Approach to the Registration of Multiple Frames of Video Images”中，以類似的方式擬合 1_D 高斯函數(shù)。Thomas 和 Abdou 的方法的結(jié)果是不重要的，因為正如Foroosh等人的文章中所指出的，相位相關(guān)表面既不是二次的也不是高斯的，因此這些方法由于不適當?shù)臄M合函數(shù)而是有局限的。另外，在許多情況下，I-D亞像素方法在峰鄰域中不會提供像使用2-D亞像素方法時可能的那樣完整的擬合。在V. Argyriou 等人所著的 “A Study of Sub-Pixel Motion Estimation Using Phase Correlation”中，考慮了以下的經(jīng)修改的sine函數(shù)
權(quán)利要求
1.一種被編程在設(shè)備中的存儲器中的執(zhí)行相位相關(guān)以消除亞像素運動偏置的方法，包括a.執(zhí)行第一遍的相位相關(guān)；b.根據(jù)在所述第一遍中確定的運動利用偏移來偏移參考圖片中的窗口；c.利用原始當前窗口和偏移參考窗口執(zhí)行第二遍的所述相位相關(guān)以生成第二相位相關(guān)表面；d.基于所述第二相位相關(guān)表面來計算亞像素運動估計；以及e.通過對所述偏移和亞像素估計求和來計算最終運動估計。
2.如權(quán)利要求I所述的方法，其中執(zhí)行第一遍的相位相關(guān)進一步包括a.向當前幀的窗口應用窗口函數(shù)以獲得當前幀結(jié)果；b.向所述當前幀結(jié)果應用快速傅立葉變換以得出第一組復數(shù)值；c.向參考幀的窗口應用所述窗口函數(shù)以獲得參考幀結(jié)果；d.向所述參考幀結(jié)果應用快速傅立葉變換以得出第二組復數(shù)值；e.對所述第二組復數(shù)值與所述第一組復數(shù)值的復共軛的積進行正規(guī)化；f.計算逆快速傅立葉變換以得出相位相關(guān)表面；以及g.從所述相位相關(guān)表面識別一個或多個峰，其中所述峰的索引對應于可能的運動。
3.如權(quán)利要求2所述的方法，其中執(zhí)行第二遍的相位相關(guān)進一步包括a.向參考幀的窗口應用偏移窗口函數(shù)以獲得偏移幀結(jié)果；b.向所述偏移幀結(jié)果應用快速傅立葉變換以得出第三組復數(shù)值；c.對所述第三組復數(shù)值與所述第一組復數(shù)值的復共軛的積進行正規(guī)化；以及d.計算逆快速傅立葉變換以得出第二相位相關(guān)表面。
4.如權(quán)利要求I所述的方法，還包括實現(xiàn)可靠度度量。
5.如權(quán)利要求I所述的方法，其中所述設(shè)備是從由以下各項構(gòu)成的組中選擇的個人計算機、膝上型計算機、計算機工作站、服務器、大型機計算機、手持式計算機、個人數(shù)字助理、蜂窩/移動電話、智能器具、游戲控制器、數(shù)字相機、數(shù)字便攜式攝像機、相機電話、 iPhone、iPod 、視頻播放器、DVD寫入器/播放器、Blu-ray 寫入器/播放器、電視機以及家庭娛樂系統(tǒng)。
6.如權(quán)利要求4所述的方法，其中所述可靠度度量是通過以下步驟來計算的a.執(zhí)行運動估計以估計最佳峰的運動的整數(shù)分量以及最佳峰的亞像素分量；b.在所述最佳峰的鄰域中向相位相關(guān)表面應用濾波器；以及c.利用所得到的經(jīng)濾波的表面計算所述可靠度度量。
7.如權(quán)利要求6所述的方法，其中所述濾波器實現(xiàn)了正規(guī)化常數(shù)。
8.如權(quán)利要求6所述的方法，其中計算可靠度使用了次佳峰的位置。
9.一種相機設(shè)備,包括a.視頻獲取組件，用于獲取視頻；b.編碼器，用于對視頻編碼，包括通過以下操作進行的相位相關(guān)運動估計i.執(zhí)行第一遍的相位相關(guān)； .根據(jù)在所述第一遍中確定的運動利用偏移來偏移參考圖片中的窗口 ；iii.利用原始當前窗口和偏移參考窗口執(zhí)行第二遍的所述相位相關(guān)以生成第二相位相關(guān)表面；iv.基于所述第二相位相關(guān)表面來計算亞像素運動估計；以及 V.通過對所述偏移和亞像素估計求和來計算最終運動估計；以及 C.存儲器，用于存儲經(jīng)編碼的視頻。
10.如權(quán)利要求9所述的相機設(shè)備，其中執(zhí)行第一遍的相位相關(guān)進一步包括a.向當前幀的窗口應用窗口函數(shù)以獲得當前幀結(jié)果；b.向所述當前幀結(jié)果應用快速傅立葉變換以得出第一組復數(shù)值；c.向參考幀的窗口應用所述窗口函數(shù)以獲得參考幀結(jié)果；d.向所述參考幀結(jié)果應用快速傅立葉變換以得出第二組復數(shù)值；e.對所述第二組復數(shù)值與所述第一組復數(shù)值的復共軛的積進行正規(guī)化；f.計算逆快速傅立葉變換以得出相位相關(guān)表面；以及g.從所述相位相關(guān)表面識別一個或多個峰，其中所述峰的索引對應于可能的運動。
11.如權(quán)利要求10所述的相機設(shè)備，其中執(zhí)行第二遍的相位相關(guān)進一步包括a.向參考幀的窗口應用偏移窗口函數(shù)以獲得偏移幀結(jié)果；b.向所述偏移幀結(jié)果應用快速傅立葉變換以得出第三組復數(shù)值；c.對所述第三組復數(shù)值與所述第一組復數(shù)值的復共軛的積進行正規(guī)化；以及d.計算逆快速傅立葉變換以得出第二相位相關(guān)表面。
12.如權(quán)利要求9所述的相機設(shè)備，其中所述編碼器還包括實現(xiàn)可靠度度量。
13.如權(quán)利要求12所述的相機設(shè)備，其中所述可靠度度量是通過以下操作來計算的a.執(zhí)行運動估計以估計最佳峰的運動的整數(shù)分量以及最佳峰的亞像素分量；b.在所述最佳峰的鄰域中向相位相關(guān)表面應用濾波器；以及c.利用所得到的經(jīng)濾波的表面計算所述可靠度度量。
14.如權(quán)利要求13所述的相機設(shè)備，其中所述濾波器實現(xiàn)了正規(guī)化常數(shù)。
15.如權(quán)利要求13所述的相機設(shè)備，其中計算可靠度使用了次佳峰的位置。
全文摘要
本發(fā)明提供了改善利用相位相關(guān)估計的運動的精確度和可靠度的方法。這里描述了改善運動估計的精確度和可靠度的方法。在一個方面中，利用兩個1D向量的外積來近似相位相關(guān)峰的2D鄰域以消除亞像素誤差。在另一方面中，改善對可靠度的估計。在另一方面中，實現(xiàn)兩遍相位相關(guān)來消除亞像素運動偏置。
文檔編號H04N5/14GK102611824SQ20111031736
公開日2012年7月25日 申請日期2011年10月13日 優(yōu)先權(quán)日2010年10月26日
發(fā)明者倉田徹, 明-昌·劉, 村上義弘, 米田豐, 馬克·羅伯遜 申請人:索尼公司