本發(fā)明涉及的是一種基于場景流的車流量統(tǒng)計與測速方法。

背景技術：

隨著我國經(jīng)濟發(fā)展人們的生活水平不斷提高，我國的家用汽車每年以2000萬的數(shù)量增長，隨著路上車輛不斷增多，城市道路及高速公路的擴建，交通狀況變得越來越復雜，車輛在給我們的出行帶來便利的同時也帶來了一定的交通問題。智能交通管理是目前世界上正在研究和廣泛關注的課題，相對人力監(jiān)管的有限性，智能交通系統(tǒng)的應用對交通運輸業(yè)帶來了很大的效益，對道路車輛管理起到了越來越大的作用。而視頻車輛檢測技術具有安裝方便，成本低的特點。

目前存在的車輛檢測技術應用最多的是基于單目攝像機的，而使用的檢測車輛的方法為幀間差分法，背景建模法，光流法等。幀間差分法對環(huán)境噪聲較為敏感，對閾值選擇有很強的依賴性，還可能產(chǎn)生目標空洞，背景差需要實時更新背景圖像，易受光照變化的影響，光流法不需要事先知道場景的任何信息，被證明是較好的檢測方法，但是它是一種2維空間的速度場。根據(jù)機器視覺原理，由雙目或多目攝像機的空間關系，可以得到物體的空間位置和3維結構信息。而場景流充分利用了多目相機獲取的圖像序列之間的立體對應關系，能通過計算得到運動目標的速度信息和結構信息。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種使用多目相機的基于3維結構張量各向異性流驅動的場景流車流量統(tǒng)計與測速方法。

本發(fā)明的目的是這樣實現(xiàn)的：

步驟一：利用多目立體相機獲取圖像序列，利用相機參數(shù)將像素坐標轉換成實際的物理坐標；

步驟二：根據(jù)多目攝像機獲取的立體圖像序列之間的對應關系，將hsv空間中色彩梯度約束方法與基于3維擴散張量各向異性流驅動平滑相結合，構建場景流能量泛函，e(u,v,w)＝÷ω(ehsv+αesmooth)dx，其中u,v,w分別為場景流在水平、豎直和深度方向的速度分量，ehsv為數(shù)據(jù)項,esmooth為平滑項，參數(shù)α為平衡因子；

步驟三：構建基于hsv空間的色彩梯度恒常假設,多視角約束的數(shù)據(jù)項；

步驟四：將場景流用(u,v,w)的形式表示，設計基于3維擴散張量各向異性流驅動的場景流平滑項；

步驟五：極小化能量函數(shù)，得到對應的歐拉-拉格朗日方程，利用金子塔分層細化的方案迭代計算場景流，采樣因子選擇0.9，在每一層中，使用超松弛迭代方案迭代計算；

步驟六：將得到的場景流分量u、v、w組合成一組幅度圖利用基于變分全局熵自適應水平集圖像分割方法，對圖像進行分割處理，得到運動目標輪廓；

步驟七：根據(jù)前后幀計算得到的閉合曲線及場景流，判斷前后幀中分割得到的目標是否為同一個，并進行目標數(shù)量統(tǒng)計；

步驟八：根據(jù)步驟七得到的移動目標的形心ol^t(x,y)和計算出的場景流，計算對應的實際速度

本發(fā)明還可以包括：

1、步驟三具體包括：

步驟3.1數(shù)據(jù)項滿足hsv空間中彩色梯度恒常假設，將t時刻和t+1時刻的rgb圖像轉換為hsv格式的彩色圖像；

將t時刻多視角圖像序列的彩色梯度用iθ0、iθ1…iθn表示，t+1時刻圖像序列的梯度用i'θ0、i'θ1…i'θn表示，基于hsv空間色彩梯度恒常假設的數(shù)據(jù)項由如下的形式。

edata＝∫ω(ef+es1+es2)dx

其中：ef為t時刻和t+1時刻的能量約束，es1和es2分別為t時刻和t+1時刻不同視角之間的能量約束；

步驟3.2利用多目相機拍攝到的圖像序列，在數(shù)據(jù)項中采用多視角約束，令

δi＝i'θi(pi,t)-iθ0(p0,t)(5)

δi和指的是在t和t+1時刻相機在不同角度拍攝同一位置的點，圖像的彩色梯度保持一致，δ^ti指的是在同一角度下，物體經(jīng)過t到t+1時刻的微小位移彩色梯度保持一致，根據(jù)等式edata＝∫ω(ef+es1+es2)dx，數(shù)據(jù)項該寫作：

2、步驟四具體包括：

將像素表示的2維圖像坐標u-v擴展為3維坐標系u-v-z，設計3維結構張量j

其中，為對變量求3維方向的梯度，結構張量j為一個3x3的矩陣，含有3個相互正交的矢量v1、v2、v3，它們對應的特征值為μ1、μ2、μ3；設計基于3維結構張量各向異性，場景流驅動的平滑項：

ψ為魯棒懲罰函數(shù)，經(jīng)最速下降法得到擴散項：

由于每一項對應特征值ψ'(μ1)、ψ'(μ2)、ψ'(μ3)不同，所以為3維各向異性擴散。

3、步驟六具體包括：

步驟6.1將得到的場景流分量u、v、w組合成一組3維向量w＝(u,v,w)，將場景流3維向量w看做目標圖像，建立基于變分全局熵自適應水平集能量泛函模型：

其中，h為流場w的2維熵：

步驟6.2計算場景流圖像w的熵值，根據(jù)等式

構建基于變分全局熵自適應水平集圖像分割能量泛函e，根據(jù)數(shù)值大小，自適應調(diào)整cv模型和gac模型對整個能量泛函的貢獻度，其中數(shù)值較大時，gac模型起主要的作用，當較小時，cv模型起主要的作用；

步驟6.3對能量泛函模型極小化，得到基于變分全局熵自適應水平集能量泛函對應的歐拉-拉格朗日方程：

本發(fā)明使用多目相機，設計基于3維結構張量各向異性流驅動的場景流車流量統(tǒng)計與測速方法，解決了現(xiàn)有車輛測速和計數(shù)技術中的不足。本發(fā)明的方法主要用于智能交通管理。

附圖說明

圖1為本發(fā)明的流程圖。

圖2為多目攝像機采集到圖像序列的立體對應關系。

具體實施方式

下面結合附圖舉例對本發(fā)明作進一步描述。

結合圖1，基于多目立體視覺的道路車流量統(tǒng)計與測速方法，包括以下步驟：

s1利用多目立體相機獲取圖像序列，利用相機參數(shù)將像素坐標轉換成實際的物理坐標。

其中[mⁱ]1,2是變換矩陣m的前兩行，m是[mⁱ]3的第3行，pi(x,y,z)為圖中像的像素點，

p(x,y,z)是實際得物理坐標。

s2.根據(jù)多目攝像機獲取的立體圖像序列之間的對應關系，將hsv空間中色彩梯度約束方法與自適應全變分平滑相結合，構建場景流能量泛函：

e(u,v,w)＝∫ω(ehsv+αesmooth)dx(2)

等式(1)中ehsv為數(shù)據(jù)項,esmooth為平滑項，參數(shù)α為平衡因子。

s3.構建基于hsv空間的色彩梯度恒常假設的數(shù)據(jù)項。具體步驟如下：

s3.1將多目立體相機系統(tǒng)進行標定，得到參數(shù)矩陣。用多目立體相機獲取立體圖像序列，將t時刻和t+1時刻的rgb圖像變換為與人類感知接近的hsv色度圖。在rgb彩色空間中，取最大的像素記為cmax，取最小的像素記為cmin。

cmax＝max(r,g,b)(3)

cmin＝min(r,g,b)(4)

hsv空間中h、s、v有以下形式：

v＝cmax(7)

將梯度擴展成向量的形式：令h、s、v分別為hsv空間沿著h、s、v軸的單位向量，并將它們投影到x，y軸組成新的向量a、b。

hsv空間中，單位像素的角度θ(x,y)和此角度下的梯度值fθ(x,y)在x-y坐標系下定義為：

此處由于tan(θ+π)＝tanθ，規(guī)定θ(x,y)只在[0,π)內(nèi)計算。等式(11)中gxx、gxy、gyy為向量a、b的點積。

彩色梯度相對于灰色梯度包含更多的顏色信息，根據(jù)附圖1所示的立體圖像序列之間的對應關系，將t時刻多視角圖像序列的梯度用iθ0、iθ1…iθn表示，t+1時刻圖像序列的梯度用i'θ0、i'θ1…i'θn表示，基于hsv空間色彩梯度恒常假設的數(shù)據(jù)項有如下的形式。

edata＝∫ω(ef+es1+es2)dx(15)

s3.2利用多目相機拍攝到的圖像序列，在數(shù)據(jù)項中利用多視角約束。令

δi＝i'θi(pi,t)-iθ0(p0,t)(16)

δ^ti＝iθi(p'i,t+1)-iθi(pi,t)(18)

δi和指的是在t和t+1時刻相機在不同拍攝同一位置的點，圖像的彩色梯度保持一致δ^ti指的是在同一角度下，物體經(jīng)過t到t+1時刻的微小位移彩色梯度保持一致。根據(jù)等式(15)，數(shù)據(jù)項應該寫作：

s4將場景流用(u,v,w)的形式表示，設計3維擴散張量場景流平滑項。在3維坐標系u-v-z中，設計3維結構張量j

其中：為對變量求3維方向的梯度，例如有如下的形式：

因此結構張量j為一個3x3的矩陣，含有3個相互正交的矢量v1、v2、v3，它們對應的特征值為μ1、μ2、μ3，這3個特征值能反應場景流在v1、v2、v3方向上的變化。

通過以上定義，設計基于3維結構張量各向異性，場景流驅動的平滑項。

經(jīng)最速下降法得到擴散項：

由于每一項對應特征值為ψ'(μ1)、ψ'(μ2)、ψ'(μ3)的不同，所以為各向異性擴散。

s5.極小化變分能量函數(shù)，利用多分辨率由粗及精的方案求解得到場景流。根據(jù)以上步驟分析，最終的能量泛函有以下的形式：

對等式(28)進行變分極小化，即求能量泛函(28)對u、v、w的導數(shù)，并令結果等于0。能量泛函(27)對u求偏導得到如下的歐拉-拉格朗日等式。

能量泛函(28)對v和w求偏導也有相同的形式。引入將金字塔分層細化的方案解決場景流中的大位移問題，采樣因子選擇0.9。在圖像金字塔的每一層采用超松弛迭代方案迭代計算。

s6.將得到的場景流分量u、v、w組合成一組流場幅度圖利用基于變分全局熵自適應水平集圖像分割方法，對圖像w進行分割處理，得到運動目標的運動輪廓。具體步驟如下：

s6.1在原始的場景流圖像中，定義一個任意的封閉曲線。將場景流幅度圖看做目標圖像，建立基于變分全局熵自適應水平集能量泛函模型：

其中，h為流場w的2維熵：

pi為流場中w第i個點出現(xiàn)的概率值。h不僅表征了流場的統(tǒng)計信息，還能反應某流場位置與鄰域中流場分布的整體特性。當目標運動流場分布有序時，h值較小，當運動流場分布雜亂時，h值較大。表示流場的梯度和，β為歸一化系數(shù)。g(ψ)為懲罰項，具有以下的形式：

等式(31)用來懲罰函數(shù)水平集函數(shù)ψ(x)，避免不斷的重復計算ψ(x)。

ecv為chan-vese模型，有如下的形式：

ecv(c,c1,c2)＝μ·length(c)(33)

+λ1∫in|w-c1|²h(ψ(x,y))dx

+λ2∫out|w-c2|²(1-h(ψ(x,y))dx

其中l(wèi)ength(c)是閉合輪廓線的長度，定義如下：

δ(s)為dirace函數(shù)：

h(s)函數(shù)為heaviside函數(shù)：

μ、λ1、λ2是大于0的常數(shù)，表示各能量項的權重系數(shù)。等式(30)中最后一項要求曲線的長度最短，用來保證曲線的光滑性，前兩項則是為了使輸入在曲線c內(nèi)、外部各點的灰度值與其所對應區(qū)域的平均灰度值的差值最小。

egac為測地線主動輪廓模型geodesicacticecontour(gac)，有如下的形式：

g為邊緣檢測函數(shù)，可以是任意單調(diào)遞減的非負函數(shù)，s是曲線的歐幾里得弧長參數(shù)。

s6.2計算場景流圖像w的熵值，根據(jù)等式(28)構建基于變分全局熵自適應水平集圖像分割能量泛函e。根據(jù)數(shù)值大小，自適應的調(diào)整cv模型和gac模型對整個能量泛函的貢獻度，其中數(shù)值較大時，gac模型起主要的作用，當較小時，cv模型起主要的作用。

s6.3對能量泛函模型極小化，得到基于變分全局熵自適應水平集能量泛函對應的歐拉-拉格朗日等式：

采用任意的迭代方案進行迭代計算，直到兩次迭代輪廓線基本不變，得到分割后的目標和背景，每一個閉合曲線為一個移動目標。

s7根據(jù)前后幀計算得到的閉合曲線及場景流，判斷前后幀中分割得到的目標是否為同一個，并進行目標數(shù)量統(tǒng)計。

對于攝像機t時刻的左測圖像il，求上一步驟得到的閉合曲線形心，記為根據(jù)求得的場景流，對進行位移變換得到對于攝像機t+1時刻的左測圖像求上一步驟得到的閉合曲線形心，記為設定閾值κ，求和的距離，若此距離小于閾值κ，則認為是移動后的目標形心，若此距離大于閾值，則認為t時刻目標停止運動，從t+1時刻開始，有新目標開始運動。對于t+n和t+n-1時刻的圖像，也按照此方法判斷。

在攝像機左圖像中設定一條場景分割線，若有目標形心穿過，則令計數(shù)變量加1。

s8根據(jù)步驟s7得到的移動目標的形心和計算出的場景流，計算對應的實際速度