本發(fā)明涉及僅用兩幅場景圖像標定PTZ攝像機的方法，可應(yīng)用于計算機視覺和視頻監(jiān)控領(lǐng)域中的PTZ攝像機標定。

背景技術(shù)：

PTZ相機(Pan、Tilt和Zoom的簡寫)，是集高分辨率攝像頭、變速云臺和光學(xué)變焦鏡頭等部件于一體的監(jiān)控設(shè)備，因其高度的靈活性，廣泛應(yīng)用于現(xiàn)代工業(yè)的各個行業(yè)。隨著視覺測量技術(shù)的發(fā)展，傳統(tǒng)固定參數(shù)的靜態(tài)攝像機已經(jīng)不足以滿足某些環(huán)境下的測量工作，例如大尺寸測量等。PTZ攝像機應(yīng)用于視覺測量領(lǐng)域，解決了測量視角范圍小、視角視向固定等問題，在增加視覺測量系統(tǒng)靈活性的同時，降低了對攝像機數(shù)目的要求。

獲取精確的PTZ相機標定結(jié)果，對于后續(xù)應(yīng)用具有決定性的影響。一般來說，常用的PTZ相機標定技術(shù)可分為三類：傳統(tǒng)標定方法，基于主動視覺的標定方法與自標定方法。傳統(tǒng)標定方法需要借助一個標準的參照物或者是標定模板，利用參照物或標定模板上滿足一定條件的點與其對應(yīng)的圖像點的一些約束條件來確定攝像機模型參數(shù)。文獻“基于一維標定物的反射折射攝像機標定方法”(鄧小明，吳福朝，段福慶等。計算機學(xué)報，2007，2010，Vol.30，No.5)：該方法首先使用一維標定物的圖像和主點滿足的不變量計算主點；然后通過一維標定物圖像所隱含的正交消影點信息，線性地求解絕對二次曲線的像(IAC)，并對IAC矩陣進行Cholesky分解確定尺度因子和畸變因子；最后通過一維標定物的3次或3次以上的一般剛體運動，就能夠標定反射折射攝像機的參數(shù)?？梢钥闯鰝鹘y(tǒng)方法的缺點是標定過程太復(fù)雜，需要高精度的標定塊。其中基于主動視覺的標定方法是指，在已知攝像機的某些運動信息下標定攝像機的方法。文獻“攝像機的一種主動視覺標定方法”(朱嘉，李醒飛等。光學(xué)學(xué)報，2010，Vol.30，No.5)：該方法控制攝像機作一組二維的平移運動，采集圓孔靶標件的圖像并計算圓心的像點坐標，同時記錄攝像機的移動距離，得到標定所需的特征點，利用這些特征點計算攝像機標定參數(shù)。這種方法的缺點是：需要高精度的攝影平臺來實現(xiàn)，且要求獲得攝像機的運動信息。

自標定方法不需要標定物，是指僅依靠多幅圖像對應(yīng)點之間的關(guān)系直接進行標定的過程。目前常用的自標定方法，有的需要借助場景中的信息來完成標定，文獻“單目主動視覺無人機導(dǎo)引中攝像機內(nèi)參數(shù)標定的線性方法”(王睿，李欣，張廣軍。航空學(xué)報，2006，Vol.27，No.4)：該方法先在攝像機主點位置進行預(yù)標定，然后攝像機只需拍攝一幅著艦平面靶標上的一組正方形圖像，無須知道該組正方形的任何幾何信息，通過計算圓環(huán)點，建立絕對二次曲線對攝像機內(nèi)參數(shù)的約束方程即可線性求解攝像機內(nèi)參數(shù)。但是這種方法的缺點是：需要借助場景中特定圖案包含的信息來完成標定。針對這種方法的不足，有文獻如“基于同一場景3張影像的相機自標定算法”(李海濱，郝向陽，山海濤，陳杰。測繪科學(xué)技術(shù)學(xué)報，2008)：該方法控制相機獲得同一場景的三幅未標定圖像，依次進行角點提取，估計基本矩陣并得到同一參考系統(tǒng)下的三個投影矩陣，最后對相機進行自標定處理，獲得相機的內(nèi)部參數(shù)。這種方法雖然克服了上述方法依賴場景信息進行標定的缺點，但是它的不足在于：需要拍攝至少三幅圖像來完成自標定?？梢钥闯觯壳巴ㄓ玫南鄼C自標定方法，存在依賴場景信息和需要拍攝多幅圖像這兩種缺點，因此本領(lǐng)域需要一種能同時改善這兩種缺點的自標定方法，并期望這種方法能有較高的精度和實用意義。

技術(shù)實現(xiàn)要素：

針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了僅用兩幅場景圖像標定PTZ攝像機的方法，只需拍攝有重疊區(qū)域的兩幅圖像并且不依賴于場景中的特定信息，即可完成標定，在簡化PTZ攝像機的內(nèi)參標定過程的同時提高標定的精度。

本發(fā)明提出的僅用兩幅場景圖像標定PTZ攝像機的方法，包括以下步驟：

步驟(1)控制待標定的PTZ(Pan-Tilt-Zoom)攝像機，保持Zoom參數(shù)不變，進行任意角度地Pan-Tilt旋轉(zhuǎn)，在不同的姿態(tài)下拍攝任意場景有重疊區(qū)域的兩幅圖像。

步驟(2)采用基于點特征的圖像匹配方法，對所拍攝的兩幅圖像所含特征點進行匹配，得到兩幅圖像的匹配點對在圖像坐標系下的坐標值。

步驟(3)基于協(xié)方差矩陣求解步驟(2)中匹配特征點定位的不確定性，表示為各向異性非同分布的特征點定位噪聲。綜合考慮這種特征點定位噪聲與相機透鏡畸變，依據(jù)步驟(2)中兩幅圖像匹配點對之間滿足的單應(yīng)性約束關(guān)系，求解圖像間的單應(yīng)性矩陣H以及相機畸變系數(shù)η。

步驟(4)基于步驟(1)中2次任意角度地Pan-Tilt旋轉(zhuǎn)這一事實，構(gòu)建Givens旋轉(zhuǎn)矩陣對步驟(3)中求得的單應(yīng)性矩陣H進行分解，得到PTZ攝像機內(nèi)參的四個等式約束，求解出包括焦距和主點的四個內(nèi)部參數(shù)：縱橫比α，焦距f，主點坐標(u₀，v₀)，從而可實現(xiàn)PTZ相機五個參數(shù)(η，α，f，u₀，v₀)的標定。

其中，考慮到相機所拍攝圖像存在畸變以及匹配特征點定位的不確定性，提出了一種高精度含待估計透鏡畸變系數(shù)η的單應(yīng)性矩陣估計方法，并且在估計單應(yīng)性矩陣H的同時估計出透鏡畸變系數(shù)η。

其中，僅需要攝像機在相同的焦距，不同的Pan-Tilt角度下拍攝到的任意場景有重疊區(qū)域的兩幅圖像，在得到兩幅圖像間精確的單應(yīng)性矩陣后，根據(jù)2次任意角度地Pan-Tilt旋轉(zhuǎn)這一事實，構(gòu)建Givens旋轉(zhuǎn)矩陣對單應(yīng)性矩陣H進行分解，得到關(guān)于相機內(nèi)參的四個等式約束并進行求解，從而完成相機(α，f，u₀，v₀)標定。

本發(fā)明原理在于：控制PTZ攝像機在相同的焦距，不同Pan-Tilt角度下拍攝任意場景有重疊區(qū)域的兩幅圖像，采用一種基于尺度不變特性的圖像特征點匹配方法，得到兩幅圖像之間的匹配點對，利用匹配點對，基于結(jié)合透鏡畸變以及特征各向異性非同分布定位噪聲的高精度單應(yīng)矩陣估計方法完成圖像間的單應(yīng)性矩陣估計。最后引入Givens旋轉(zhuǎn)矩陣，對單應(yīng)性矩陣進行分解，得到PTZ相機的四個內(nèi)部參數(shù)以及畸變系數(shù)，完成相機的標定。

與現(xiàn)有技術(shù)相比，本發(fā)明的方法首先采用基于尺度不變特性的特征點匹配方法(如SIFT，SURF，SCARF等)，得到精確的匹配特征點。在進行單應(yīng)性矩陣估計的時候，本發(fā)明綜合考慮了攝像機鏡頭畸變和特征定位噪聲，從而保證了較高的單應(yīng)性矩陣估計精度。另外，本發(fā)明的方法只需要控制PTZ攝像機在相同焦距，不同位姿下拍攝任意場景有重疊區(qū)域的兩幅圖像，利用Givens旋轉(zhuǎn)矩陣對兩幅圖像之間的單應(yīng)性矩陣H進行分解，就可以得到精確的PTZ攝像機內(nèi)參(α，f，u₀，v₀)。

附圖說明

圖1為本發(fā)明實施例提供的僅用兩幅場景圖像標定PTZ攝像機的方法的整體流程圖；

圖2為本發(fā)明一個實例中所拍攝的兩幅圖像；

圖3為圖2兩幅圖像的特征點匹配結(jié)果。

具體實施方式：

為了更好地理解被發(fā)明的技術(shù)方案，下面將結(jié)合附圖對本發(fā)明實施方式作進一步地詳細描述。

本發(fā)明的PTZ攝像機標定方法包括以下步驟：

1.拍攝標定所用圖像：控制待標定的PTZ(Pan-Tilt-Zoom)攝像機，在相同的焦距，不同Pan-Tilt角度下拍攝任意場景有重疊的兩幅圖像。圖2為一個實施例中所拍攝場景的兩幅圖像，其中I₁為相機在初始位置拍攝到的圖像，I₂為對相機進行Pan-Tilt旋轉(zhuǎn)后，拍攝到的圖像。

2.特征點匹配：可采用本領(lǐng)域所知的圖像匹配算法對兩幅圖像I₁和I₂進行特征點匹配，如：SIFT，SURF，SCARF等特征點匹配算法。

3.求解單應(yīng)性矩陣H和畸變系數(shù)η：

采用基于特征的單應(yīng)性矩陣估計方法進行單應(yīng)性矩陣H和畸變系數(shù)η的估計，主要方法為：利用SCARF特征點匹配得到兩幅圖像之間的匹配特征點以后，考慮相機鏡頭畸變和匹配特征點定位的不確定性，采用結(jié)合特征點定位噪聲以及透鏡畸變的內(nèi)點檢測方法對所有的匹配特征點進行內(nèi)點檢測，在單應(yīng)性約束條件下剔除匹配對中存在的外點數(shù)據(jù)。最后利用得到的內(nèi)點數(shù)最多的內(nèi)點集合，基于L-M優(yōu)化方法重新估計單應(yīng)矩陣H和畸變系數(shù)η。具體步驟如下：

3.1對步驟2中得到的匹配點對，求解匹配特征點定位的不確定性，即各向異性非同分布的特征定位噪聲，用協(xié)方差矩陣Γ表示，可以用Hessian矩陣的逆來估計。因為Γ是對稱矩陣，可以分解為：

其中，λ₁和λ₂為Γ的特征值，V＝[v₁v₂]是對應(yīng)的特征向量。

3.2隨機選取特征點對的五對特征點，用如下所述方法求得一個候選單應(yīng)性矩陣H和徑向畸變系數(shù)η：

假設(shè)m_u和m'_u為兩幅圖像之間的無失真匹配點對，匹配點對之間的關(guān)系可以用單應(yīng)性矩陣H表示為下式：

m'_u×Hm_u＝0 (2)

畸變模型我們采用單參數(shù)除法模型，可以用下式表示：

其中m_u是無失真的特征點坐標，m_d是對應(yīng)的失真圖像點坐標。O是畸變中心，通常被表示為相機主點坐標或者圖像的中心，我們將畸變中心表示為圖像的中心，η為相機徑向畸變系數(shù)。結(jié)合(2)(3)，可以得到：

(m'_d+ηz'_d)×H(m_d+ηz_d)＝0

m'_d×Hm_d+η(z'_d×Hm_d+m'_d×Hz_d)+η²(z'_d×Hz_d)＝0 (4)

其中將(3)式展開，可得關(guān)于單應(yīng)性矩陣H和畸變系數(shù)η的如下等式約束：

(D₁+ηD₂+η²D₃)h＝0 (5)

h為一個列向量，其中的元素為單應(yīng)性矩陣H中的九個元素，D₁，D₂，D₃分別為2×9的矩陣：

其中，r＝||m_d||,r'＝||m′_d||，(x,y,1)^T和(x′,y′,1)^T為兩幅圖像對應(yīng)匹配點的圖像齊次坐標。根據(jù)(5)式，在所有匹配點對中隨機選取五對匹配點，可以得到一個單應(yīng)性矩陣H和畸變系數(shù)η。

3.3對于每個特征點其計算殘差為：

其中，m_ui和m′_ui是第i對無失真的匹配點，i＝1，2，…，是m_ui關(guān)于單應(yīng)性矩陣H的重投影坐標。如果殘差小于一定的閾值，則認為該特征點為內(nèi)點，否則為外點。對所有匹配點對進行內(nèi)點檢驗，得到一個內(nèi)點集合。

3.4重復(fù)步驟3.2和3.3，找到內(nèi)點數(shù)目最多的集合對應(yīng)的單應(yīng)性矩陣和畸變系數(shù)作為初始估計結(jié)果。

3.5利用3.4中輸出的內(nèi)點集合，將(7)式作為目標函數(shù)，利用優(yōu)化算法估計最終的單應(yīng)性矩陣H和畸變系數(shù)η。

其中n_max為內(nèi)點的個數(shù)。

4.求解相機內(nèi)參：構(gòu)建Givens矩陣對3.5中求解的單應(yīng)性矩陣H進行分解，得到PTZ相機的四個內(nèi)參(α，f，u₀，v₀)。

在三維空間中，Givens旋轉(zhuǎn)相當(dāng)于平面內(nèi)繞任一組坐標軸進行旋轉(zhuǎn)。設(shè)實數(shù)c與s滿足c²+s²＝1，稱：

為Givens矩陣。其中c＝cosθ，s＝sinθ。這里的c和s出現(xiàn)在第i行和第j行以及第i列和第j列的交叉點上。

I₁和I₂分別為攝像機在Zoom不變，P、T變化的情況下拍攝到的兩幅圖像，兩幅圖像之間的單應(yīng)性矩陣可用式(8)表示，這是本領(lǐng)域的技術(shù)人員所熟知的。

H₂₁～KR₂₁K^-1 (8)

其中K為相機內(nèi)參標定矩陣，R₂₁為攝像機的相對旋轉(zhuǎn)。

重新排列式(8)得：

K^-1H₂₁～R₂₁K^-1 (9)

可以看到式(9)的右邊僅僅有相機的內(nèi)部參數(shù)矩陣K和未知的旋轉(zhuǎn)矩陣R₂₁，所以，我們可以構(gòu)建一系列的Givens旋轉(zhuǎn)矩陣左乘等式的兩邊，其中Givens旋轉(zhuǎn)矩陣的作用是消去等式右邊的R₂₁，并將等式左邊分解為上三角矩陣，從而得到如下形式：

G₃G₂G₁K^-1H₂₁～K^-1 (10)

中K^-1＝[k₁ k₂ k₃]^T，是K^-1的行向量。H₂₁＝[h₁h₂h₃]，h_i(i＝1，2，3)是單應(yīng)性矩陣的列向量。將(10)的左邊表示為如下形式：

假定不同圖像主點坐標保持不變，結(jié)合(10)(11)，我們可以得到如下四個獨立的等式約束：

通過(12)，我們可以解算獲得相機的四個內(nèi)部參數(shù)(α，f，u₀，v₀)，結(jié)合步驟3.5中得到的畸變系數(shù)η，我們實現(xiàn)了PTZ相機五個內(nèi)部參數(shù)(η，α，f，u₀，v₀)的標定。