本發(fā)明屬于攝像測量技術領域，涉及攝像機標定方法，特指一種全景攝像機標定方法。

背景技術：

在攝像測量中，為了從圖像中定量提取和測量空間物體的幾何信息或運動信息，必須建立空間物點和圖像中像點位置的相互對應關系，這種對應關系由攝像系統(tǒng)成像模型及攝像機參數(shù)決定，但攝像機的光心、光軸、焦距等并非物理實體，通常利用實驗和數(shù)學模型分析確定參數(shù)，這一過程被稱為攝像測量系統(tǒng)標定。攝像測量中像機標定的任務主要包括內參數(shù)、外參數(shù)和像差系數(shù)的確定，在計算機視覺研究中多用像機采集標定參照物的圖像，再通過分析圖像來求解像機參數(shù)。研究者們提出了多種多樣的像機標定方法。這些方法大致可分為三類：傳統(tǒng)標定方法、基于主動視覺的標定方法和自標定方法。

傳統(tǒng)像機標定方法有直接非線性優(yōu)化法，基于控制點的三維坐標與其對應圖像點之間的非線性關系，通過對某些代價函數(shù)最小化直接搜索像機參數(shù)。該算法的優(yōu)點是獲得參數(shù)精度高，可求取各類像差，但參數(shù)個數(shù)太多、計算量大，算法穩(wěn)定性差。直接線性變換解法，由Abdel和Karara提出采用線性解法得到一組中間參數(shù)，然后分解得到最終參數(shù)，該方法通過線性變換直接求解，簡單快速，但未對鏡頭像差修正，精度較差。以Tsai和Weng提出和改進的“兩步法”標定，對大部分標定參數(shù)采用線性求解，少部分參數(shù)采用非線性優(yōu)化或迭代求解，該方法具有簡單方便、精度較高的特點，同時考慮了像差，算法穩(wěn)定。

基于主動視覺的標定方法需要控制相機做某些可控運動，如繞光心旋轉或純平移等，利用這種運動的特殊性計算像機參數(shù)，多用于機器人視覺標定。

像機自標定方法與三維結構重建聯(lián)系緊密，F(xiàn)augeras等首先提出了像機自標定的思想，描述多次成像之間約束關系的Kruppa方程，但直接求解方程非常復雜。研究者又提出了分層逐步標定的思想，首先對圖像序列做攝影重建，再進行仿射標定和歐氏標定，以QR分解法、模約束法等為代表，主要用于序列圖像三維重建標定方法中。

基于空間坐標精確已知的控制點標定像機的方法是經典的像機標定方法。這類標定方法需要構造若干控制點，然后用待標定像機采集這些控制點的圖像并提取各控制點的像點，再根據控制點的空間坐標和對應像點的圖像坐標計算像機的參數(shù)?，F(xiàn)有的大多數(shù)雙目攝像機標定方法都是基于這種經典標定方法，同時依賴兩個相機之間存在的公共視場區(qū)域，當雙目像機間不存在共同視場或視場交叉范圍較小時，則無法求取雙目攝像機的外部參數(shù)。

技術實現(xiàn)要素：

針對現(xiàn)有技術存在的缺陷，本發(fā)明提供一種全景攝像機標定方法。本發(fā)明其創(chuàng)新性在于克服公共視場限制，通過對左右標定板的設計，求取全景像機坐標系下像點與參考坐標系下物點的對應關系，自動提取特征角點，優(yōu)化目標函數(shù)，得到穩(wěn)定的參數(shù)。本發(fā)明方法可推廣到多個像機，用于背靠背雙目像機、環(huán)形布置多像機等應用場景的標定。

本發(fā)明的技術方案是，

一種全景攝像機標定方法，包括以下步驟：

S1：設置左、右兩塊標定板M1和M2，兩標定板位于同一電子顯示屏上，兩標定板的棋盤格上每個格子的長度相同均為1。

S2：建立一個標定參考坐標系W，全景相機的兩個具有廣角鏡頭的左側攝像機和右側攝像機分別對左、右標定板M1和M2拍攝，以左、右標定板M1和M2作為標定參照物，左、右標定板M1和M2的棋盤格上的網格角點為控制點；C1為左側攝像機的像機坐標系，C2為右側攝像機的像機坐標系，在標定參考坐標系W下，分別建立像機坐標系C1、C2與圖像坐標系下像點的中心透視投影成像關系。

S3：對左、右標定板M1和M2上的控制點作投影變換得到像點，將投影變換得到的像點與圖像檢測的實際像點(x,y)作差，得到圖像的殘差，利用最小二乘法求解殘差最小值，作為目標函數(shù)最優(yōu)解，并通過極大似然估計計算映射矩陣H；其中，目標函數(shù)如下：

其中：(x_i,y_i)是第i個控制點的實際像點坐標，第i個控制點通過投影變換得到的像點坐標。

S4：利用求解得到的映射矩陣H作為已知量，分別對左側攝像機和右側攝像機求解線性參數(shù)，得到左側攝像機定標的外參矩陣即其旋轉矩陣R1和平移矩陣T1和右側攝像機定標的外參矩陣即其旋轉矩陣R2平移矩陣T2。

S5：根據全景攝像機其兩像機坐標系C1、C2對應的幾何關系，獲取同一標定參考坐標系下兩像機坐標系標定的相對關系中的旋轉矩陣R和平移矩陣T：

S6：以步驟S5得到的旋轉矩陣R和平移矩陣T為初始值，將全景相機拍攝的多組圖像代入映射矩陣，進行迭代優(yōu)化，提高標定精度。

在步驟S1中，通過設計不同的標定圖形或尺寸大小來區(qū)分左、右標定板M1和M2，如在兩標定板上的棋盤格中添加不同顏色或不同形狀的標記塊。對于非彩色相機，可以設置不同尺寸的左、右標定板來予以區(qū)分兩標定板，比如左標定板的尺寸大小設置為7*9(即7行9列)，右標定板尺寸設置為5*7(即5行7列)。

在步驟S2中，任取空間一點為坐標原點，根據右手定則建立一個標定參考坐標系W。由于左、右標定板M1和M2的棋盤格上各格子的長寬度均為1，因此左、右標定板M1和M2上的控制點在標定參考坐標系W中的三維坐標已知。

全景相機中的兩個攝像鏡頭是相同且對稱設置的，像機坐標系C1、C2與圖像坐標系下像點的中心透視投影成像關系是相同的。以全景相機中的一個攝像鏡頭為例，依據中心透視投影模型的基本關系，建立像機坐標系與圖像坐標系之間的關系，方法如下：

設C-X_cY_cZ_c為像機坐標系C1或C2，為圖像物理坐標系，S為像平面，點O為像平面和光軸的交點，稱為圖像主點。

圖像坐標系為I-xy，其是以圖像左上角點I為原點，以像素為坐標單位的直角坐標系。圖像坐標系下的坐標為圖像像素坐標。

點P為物點，點p為其對應的像點。設點P在空間內物點坐標為P(X,Y,Z)，點P在像機坐標系C-X_cY_cZ_c下坐標為P(X_c,Y_c,Z_c)，像點p的圖像物理坐標為像點p對應的圖像像素坐標為建立像機坐標系C-X_cY_cZ_c與圖像坐標系的關系，得到像點p的圖像像素坐標與物點P在像機坐標系C-X_cY_cZ_c下坐標(X_c,Y_c,Z_c)的關系式為：

其中，圖像主點即光軸與像平面交點O的圖像坐標為(C_x,C_y)，d_x、d_y分別為攝像機的單個像元在與方向上的物理尺寸，定義焦距f與像元的橫縱尺寸d_x、d_y之比分別為等效焦距(F_x,F_y)。

根據中心透視投影模型線性關系，定義一個3×4階矩陣M來描述空間點到圖像點的中心透視投影關系，M由攝像機的內參數(shù)矩陣和外參數(shù)矩陣組成，稱為投影矩陣。外參數(shù)矩陣即旋轉矩陣和平移矩陣?？擅枋鰹椋?/p>

其中：r₀至r₈都是旋轉矩陣R中的元素值。

對于平面場景成像，平面內所有點由Z恒為零(平面場景成像，不涉及到第三維Z方向，因此平面內所有點的Z方向上坐標值為0)，則投影矩陣M可簡化為映射矩陣H，有：

在S3中，已知左、右標定板上各控制點的坐標和攝像機的內參數(shù)矩陣，要確定外參數(shù)矩陣，即只需得到投影模型中的映射矩陣H，則可求出攝像機的各參數(shù)。通過極大似然估計計算映射矩陣H，由于像差、圖像噪聲、像點提取誤差等問題的存在，實際上圖像點與實際點并不嚴格滿足映射矩陣的對應變換關系，因此對對控制點進行重投影得到像點，通過極大似然估計的方法求取投影變換得到的像點與實際像點(x,y)之間的殘差，根據H的估計值最小化目標函數(shù)，得到映射矩陣H。極大似然估計過程就是使根據H的估計值對控制點重投影得到的像點與實際像點之間的殘差最小化過程，目標函數(shù)如(5)式所示。

其中：(x_i,y_i)是第i個控制點的實際像點坐標，第i個控制點通過投影變換得到的像點坐標。

在S4中，利用求解得到的映射矩陣H作為已知量，分別對左側攝像機和右側攝像機求解線性參數(shù)，得到左側攝像機定標的外參矩陣即其旋轉矩陣R1和平移矩陣T1R1、T1和右側攝像機定標的外參矩陣即其旋轉矩陣R1和平移矩陣T1R2、T2，方法如下；

記映射矩陣H的列向量h₁、h₂、h₃，組成旋轉矩陣R的各列向量記作Cr₁、Cr₂，則映射矩陣表達式有：

其中K為左/右側攝像機的內參數(shù)矩陣，T為平移矩陣，Z_c為比例系數(shù)。

根據旋轉矩陣R的正交性，有：

Cr₁^TCr₂＝0,Cr₁^TCr₁＝Cr₂^TCr₂＝1 (7)

聯(lián)立式子(6)和式子(7)可得：

利用式(8)分別對左側攝像機和右側攝像機求解線性參數(shù)，得到左側攝像機定標的旋轉矩陣R1和平移矩陣T1和右側攝像機定標的旋轉矩陣R2和平移矩陣T2。

本發(fā)明提出了一種新的全景攝像機標定方法，能夠克服公共視場限制，通過對左右標定板的設計，求取全景像機坐標系下像點與參考坐標系下物點的對應關系，自動提取特征角點，優(yōu)化目標函數(shù)，得到精確穩(wěn)定的參數(shù)。

附圖說明

圖1標定方法流程框圖

圖2不同顏色和尺寸的標定板模板

圖3基準坐標系與像機坐標系示意圖

圖4像機坐標系與圖像坐標系的關系示意圖

圖5圖像自動標定結果

具體實施方式

為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合附圖對本發(fā)明實施方式作進一步地詳細描述。

攝像機的成像過程可以看作是三維現(xiàn)實世界到二維圖像的一個映射，圖像上坐標點與世界坐標點之間的變換關系可以用一個攝像機內部參數(shù)矩陣和外部參數(shù)矩陣表示，攝像機標定就是通過求取上述參數(shù)矩陣，以便建立攝像機的成像模型。本發(fā)明提出了一種新的全景攝像機標定方法，能夠克服公共視場限制，求取全景像機坐標系下像點與標定參考坐標系下物點的對應關系，得到精確穩(wěn)定的參數(shù)。首先在同一電子顯示屏上制作兩個標定板，通過設計不同的標定圖形或不同尺寸的棋盤格來區(qū)分左右標定板；然后基于標定板建立一個標定參考坐標系，分別計算左右像機坐標系與標定參考坐標系之間的相對位置姿態(tài)轉移關系；獲取同一標定參考坐標系下，“背對式”雙目攝像機進行標定的相對關系矩陣；攝取多組圖像，以重投影像點與實際像點誤差最小作為目標函數(shù)，進行迭代優(yōu)化，實現(xiàn)精確標定。

如圖1所示用全景攝像機的兩個具有魚眼鏡頭的左側攝像機和右側攝像機分別對左右標定板進行圖像采集，并在同一標定參考坐標系下建立各像機坐標系、圖像物理坐標系、圖像像素坐標系。依據中心透視投影模型，利用Harris角點檢測提取標定板圖像特征點，通過映射矩陣分別求取兩像機的外部參數(shù)矩陣R1、T1、R2、T2；然后根據“背對式”攝像機兩坐標系對應的幾何關系，得到同一標定參考坐標系下兩像機坐標系標定的相對關系中的旋轉矩陣R和平移矩陣T；拍攝多組圖像，以求得的R、T為初值，進行迭代優(yōu)化，實現(xiàn)參數(shù)精確標定。

首先制作兩個標定板，通過設計不同的標定圖形或尺寸大小來區(qū)分左右標定板M1和M2，如在左、右標定板的棋盤格中添加不同顏色或不同形狀的標記塊。對于非彩色相機，可以設置左右標定板不同尺寸來區(qū)分，比如左標定板的尺寸大小設置為7*9(即7行9列)，右標定板尺寸設置為5*7(即5行7列)。兩標定板位于同一電子顯示屏上，兩標定板其棋盤格上每個格子長度為1，如圖2所示。左、右標定板M1和M2的棋盤格上的網格角點為控制點，棋盤格上各格子的長寬度均為1，因此左、右標定板M1和M2上的控制點在標定參考坐標系W中的三維坐標已知。

在攝像測量常用坐標系中，像機坐標系與世界坐標系之間的相對位置關系可以分解為繞坐標原點進行了一次旋轉和一次平移。設空間內存在一點P，在世界坐標系下的坐標表示為P(X,Y,Z)，對應在像機坐標系下的坐標為P(X_c,Y_c,Z_c)，則可以用旋轉矩陣R和平移矩陣T來描述兩坐標系下點的關系如下：

如圖3所示，選定任一點作為坐標原點，根據右手定則建立一個標定參考坐標系W。全景相機的兩個具有廣角鏡頭的左側攝像機和右側攝像機分別對左右標定板M1和M2拍攝。以左右標定板M1和M2作為標定參照物，左、右標定板M1和M2的棋盤格上的網格角點為控制點。兩標定板其棋盤格上每個格子長度為1，因此左、右標定板M1和M2上的控制點在標定參考坐標系W中的三維坐標已知。

C1為左側攝像機的像機坐標系，C2為右側攝像機的像機坐標系。在像機坐標系和標定參考坐標系之間的相對位置可以分解為繞坐標原點進行了一次旋轉和一次平移，則左標定板M1上的所有控制點在標定參考坐標系W和像機坐標系C1的關系用R1，T1描述，右標定板M2上的所有控制點在標定參考坐標系W和像機坐標系C2的關系用R2，T2描述。在標定參考坐標系W下，分別建立像機坐標系C1、C2與圖像坐標系下像點的中心透視投影成像關系。

全景相機中左側攝像機和右側攝像機是相同且對稱的，以全景相機中的一個攝像機為例，依據中心透視投影模型的基本關系，建立像機坐標系與圖像坐標系之間的關系，如圖4所示。其中C-X_cY_cZ_c為像機坐標系C1或C2，為圖像物理坐標系，S為像平面，點O為像平面和光軸的交點，稱為圖像主點。圖像像素坐標系為I-xy，其是以圖像左上角點I為原點，以像素為坐標單位的直角坐標系。

如圖3所示，像機坐標系C-X_cY_cZ_c是以攝像頭軸線所對方向為Z_c軸，根據右手定則將標定參考坐標系W進行旋轉到對應位置，確定X_c軸和Y_c軸。圖像物理坐標系是以點O為原點的直角坐標系，其坐標軸方向與圖像的寬高方向一致。

點P為物點，點p為其對應的像點；設點P在空間內物點坐標為P(X,Y,Z)，點P在像機坐標系C-X_cY_cZ_c下坐標為P(X_c,Y_c,Z_c)，像點p的圖像物理坐標為像點p對應的圖像像素坐標為建立像機坐標系C-X_cY_cZ_c與圖像坐標系的關系，得到像點p的圖像像素坐標與物點P在像機坐標系C-X_cY_cZ_c下坐標(X_c,Y_c,Z_c)的關系式為：

其中，圖像主點即光軸與像平面交點O的圖像坐標為(C_x,C_y)，d_x、d_y分別為攝像機的單個像元在與方向上的物理尺寸，定義焦距f與像元的橫縱尺寸d_x、d_y之比分別為等效焦距(F_x,F_y)。

中心透視投影模型線性關系是用來描述空間任一點坐標經透視投影成像后，映射到圖像上點坐標的對應關系。這一關系可由內、外參數(shù)矩陣進行數(shù)學表達，M定義為內外參數(shù)矩陣組成的投影矩陣，用來描述兩點之間的關系。

根據中心透視投影模型線性關系，定義一個3×4階矩陣M來描述空間點到圖像點的中心透視投影關系，M由攝像機的內參數(shù)矩陣和外參數(shù)矩陣組成，稱為投影矩陣?？擅枋鰹椋?/p>

其中：r₀至r₈都是旋轉矩陣中的元素值。

對于平面場景成像，平面內所有點由Z恒為零，則投影矩陣M可簡化為映射矩陣H，有：

已知左右標定板上各控制點的坐標和相機的內參數(shù)矩陣，要確定外參數(shù)矩陣，即只需得到投影模型中的映射矩陣H，則可求出攝像機的各參數(shù)。通過極大似然估計計算映射矩陣H，由于像差、圖像噪聲、像點提取誤差等問題的存在，實際上圖像點與實際點并不嚴格滿足映射矩陣的對應變換關系，因此對控制點進行重投影得到像點，通過極大似然估計的方法求取像點與實際點(x,y)之間的殘差，根據H的估計值最小化目標函數(shù)(5)，得到映射矩陣H。

利用最小二乘法求解殘差最小值，作為目標函數(shù)最優(yōu)解，并通過極大似然估計得到映射矩陣H。極大似然估計過程就是使根據H的估計值對控制點重投影得到的像點與實際像點之間的殘差最小化過程，目標函數(shù)如(5)式所示。

記映射矩陣H的列向量h₁、h₂、h₃，組成旋轉矩陣R的各列向量記作Cr₁、Cr₂，則映射矩陣表達式有：

其中K為攝像機的內參數(shù)矩陣，T為平移向量，Z_c為比例系數(shù)。

根據旋轉矩陣R的正交性，有：

Cr₁^TCr₂＝0,Cr₁^TCr₁＝Cr₂^TCr₂＝1 (7)

聯(lián)立式子(6)和式子(7)可得：

至此，以上步驟得到了對攝像機線性參數(shù)的求解表達式，利用式(8)分別對左側攝像機和右側攝像機求解線性參數(shù)，得到左側攝像機定標的外參矩陣即其旋轉矩陣R1和平移矩陣T1和右側攝像機定標的外參矩陣即其旋轉矩陣R2平移矩陣T2。

根據“背對式”(即全景攝相機中的兩個攝像鏡頭是相同且對稱設置)攝像機兩坐標系對應的幾何關系，相對于同一標定參考坐標系W而言，兩像機坐標系之間的轉移關系為矩陣R、T關系式如下：

最后根據求得的外參矩陣R、T作為初始值，使左右側攝像機的光軸與標定平面大致平行，并位于左右標定板的兩個棋盤中間，上下平移、繞鏡頭光軸旋轉或左右翻轉像機，拍攝多對圖像，將拍攝的多組圖像代入映射矩陣(6)，進行迭代優(yōu)化，提高標定精度。

以上包含了本發(fā)明優(yōu)選實施例的說明，這是為了詳細說明本發(fā)明的技術特征，并不是想要將發(fā)明內容限制在實施例所描述的具體形式中，依據本發(fā)明內容主旨進行的其他修改和變型也受本專利保護。本發(fā)明內容的主旨是由權利要求書所界定，而非由實施例的具體描述所界定。