基于匹配和方向平滑約束優(yōu)化的多尺度微分光流計算方法
【專利摘要】本發(fā)明公開了一種用于計算圖像幀間運動速度的高精度光流場計算方法。這種方法在多尺度的拉普拉斯圖像金字塔基礎(chǔ)上，由差值平方和SSD(Sum-of-SquaredDifference)匹配方法從大尺度的灰度信息中得到流速的粗略估計，并在小尺度的灰度信息中加以修正。方向平滑約束對估計的流速進(jìn)行傳播和優(yōu)化，并且使垂直于梯度方向上的流速的變化盡可能的小，避免了對遮擋和運動不連續(xù)處的過度平滑。
【專利說明】
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明與計算機(jī)視覺和圖像理解有關(guān)，隨著視頻流的廣泛應(yīng)用，需要精確地計算 圖像幀間的運動速度，本發(fā)明涉及一種計算圖像幀間運動速度的精確光流場方法。 基于匹配和方向平滑約束優(yōu)化的多尺度微分光流計算方法

【背景技術(shù)】
[0002] 光流場是場景中可見點的三維速度場在象平面上的投影，它不僅包含了被觀察物 體的運動信息，而且攜帶著有關(guān)景物三維結(jié)構(gòu)的豐富信息，因此，在運動目標(biāo)檢測、機(jī)器人 導(dǎo)航、自運動信息的提取和三維結(jié)構(gòu)恢復(fù)等方面具有重要的應(yīng)用，但是，從圖像序列中計算 精確的光流場一直是一個很困難的問題，微分法是典型的光流場計算方法，但是，實際應(yīng)用 中，獲得精確的數(shù)值差分通常是很困難的. 在先方法[1](參見 P. Anandan, A computation framework and an algorithm for the measurement of visual motion Int J. Comp. Vision, 1988, 2: 283-310), Anandan提出了將匹配算法和均勻平滑約束相結(jié)合的計算框架，并且從SSD曲面的主曲率 引入了具體的置信測量，具有一定的新穎性； 在先方法[2](參見 A. Singh. An Estimation-Theoretic Framework for Image Flow Computation. Pro. 3rd Intern, conf. Comp. Vision, Osaka, 1990, 168-177)將 光流的計算分為基于圖像保守信息的初始估計和鄰域信息的求精過程，并且將SSD曲面計 算的平均速度的協(xié)方差方差矩陣的特征值作為光流的置信測量，也具有一定的代表性. 本發(fā)明通過研究表明，在先方法[2]計算置信測量的方法比Anandan的方法更能夠反 映光流計算的可靠程度，但是，由于迭代是收斂的，利用鄰域信息的求精是不必要的，而在 先方法[1]利用均勻平滑約束對初始光流場傳播和優(yōu)化的思想是優(yōu)秀的，但是，均勻平滑 會造成對邊界和運動不連續(xù)處的過度平滑. 由此，本發(fā)明建立基于SSD匹配和方向平滑約束優(yōu)化的多尺度光流算法。這種方法從 圖像的重要信息位于邊緣和角點的思想出發(fā)，首先建立拉普拉斯多尺度金字塔；在大尺度 的圖像層，采用SSD匹配算法獲得光流場的初始估計，并在該層通過方向平滑約束對初始 估計進(jìn)行優(yōu)化和傳播，并將其映射到小尺度的圖像層，對其進(jìn)行修正。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明建立一種計算圖像幀間大運動速度的光流方法，首先建立多分辨率分析框 架，該框架下圖像分解為不同分辨率的圖像金字塔；其次，在多分辨率分析框架體系下建立 微分算法；第三，將各向異性擴(kuò)散應(yīng)用于光流在不同分辨率的松弛迭代計算中，緩解均勻多 柵格算法中處理較大運動時的誤差傳播效應(yīng). 本發(fā)明的基本原理如下： 一、一種基于SSD的匹配算法，假設(shè)相鄰的兩幀圖像分別為Λ(Λ7)和/2(^),并且設(shè) 相鄰圖像間的時間間隔為單位時間，則幀間的位移即為速度，建立第一幀圖像上的像素 α/)周圍大小為(2?+?Μ^+ι)的鄰域，即為相關(guān)窗，在第二幀圖像上圍繞像素 a/)建立 (2JV + l)x(2M + i)的搜索區(qū)域，即搜索窗，利用差值平方和準(zhǔn)則，可以得到在搜索窗范圍的關(guān) 于速度d = (K)的誤差分布函數(shù)，由公式（1)描述

【權(quán)利要求】
1. 一種基于SSD的匹配算法，假設(shè)相鄰的兩幀圖像分別為/仏力和Λ?Χ/),并且設(shè) 相鄰圖像間的時間間隔為單位時間，則幀間的位移即為速度，建立第一幀圖像上的像素 〔U)周圍大小為( 2m+1)x(2?+1)的鄰域，即為相關(guān)窗，在第二幀圖像上圍繞像素〇，/)建立 (2W + l)x(2W + l)的搜索區(qū)域，即搜索窗，利用差值平方和準(zhǔn)則，可以得到在搜索窗范圍的關(guān) 于速度d = (K)的誤差分布函數(shù)，由公式（1)描述
(1) 對公式⑴最小化，可以得到第一幀圖像像素(Λ.力在第二幀上的最佳像素匹配 (x + A^y + 4y) ΚΔιΔγ)為最佳匹配時的整像素速度。
2. 建立圍繞最佳匹配點+ + 的對稱的SSD誤差分布函數(shù)
這個誤差分布函數(shù)可以看成是圍繞整像素最佳匹配處的離散的二次曲面函數(shù)，因此可 以通過對其擬合的方法求得曲面的最小值，從而獲得在整像素最佳匹配附近的亞像素精度 的速度偏移(ΔκΔν)。
3. 這樣利用匹配算法得到亞像素精度的最佳匹配，其偏移量為I = (^，義）
(3) 公式⑵的誤差函數(shù)可以轉(zhuǎn)化為對所有可能速度i = 的響應(yīng)分布
(4) = -h( 0.95) /SSD),為歸一化參數(shù)，而此時，\某種程度上是圍繞〇 + Δ·υ+Δχ) 在SSD曲面求取的加權(quán)均值，因而，在公式（2)的SSD曲面坐標(biāo)范圍內(nèi)，τι,的協(xié)方差矩陣為

(5) 對于要計算的光流u = (IV),本發(fā)明使m同^的誤差最小化
(6) 可以看出，這個方法具有明晰的物理意義。
4. 方向平滑約束傳播和優(yōu)化，方程（6)有兩個未知變量，因而需要附加的約束條件。
5. 另一方面，由匹配算法計算的光流場是粗略的和非全局的，需要將其傳播到鄰域且 優(yōu)化，方向平滑約束要求在垂直灰值變化很大的方向上速度1的變化應(yīng)盡可能的小，可以 有效抑制對運動不連續(xù)處的過度平滑，最小化方向平滑約束由公式（7)表示為
(7) ▽是梯度算子，％表示速度矢量相對于圖像坐標(biāo)的一次偏導(dǎo)數(shù)矩陣，7是方向平滑 約束的權(quán)矩陣，權(quán)矩陣可以使平滑約束沿著圖像灰度變化很小或沒有變化的方向上傳播， 并且抑制沿著圖像灰值有很大變化方向的傳播。
為控制方向平滑程度的權(quán)值，/是前一幀圖像A，/是2x2單位陣，r是權(quán)。
6.通常，灰值變化很大的區(qū)域?qū)?yīng)著圖像表面的邊界，這樣可以得到光流場的求解方 程 (8a) (8b) (8c)
【文檔編號】G06T17/00GK104157006SQ201310174530
【公開日】2014年11月19日 申請日期:2013年5月13日 優(yōu)先權(quán)日:2013年5月13日
【發(fā)明者】張澤旭, 王綱 申請人:哈爾濱點石仿真科技有限公司