專利名稱：基于一維物體的多相機分層標(biāo)定方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種相機標(biāo)定方法，特別是基于一維物體的多相機分層標(biāo)定方法，屬 于計算機視覺技術(shù)領(lǐng)域。
背景技術(shù)：
計算機視覺技術(shù)通過計算機圖形學(xué)相關(guān)技術(shù)，構(gòu)造虛擬環(huán)境，或者把現(xiàn)實環(huán)境編 制到計算機中去，產(chǎn)生逼真的虛擬環(huán)境，使用戶能夠得到一種沉浸于虛擬環(huán)境中的感覺。計 算機視覺研究的目的在于使計算機能夠通過二維圖像，對三維空間環(huán)境信息進行認(rèn)知，能 夠使機器感知三維環(huán)境中物體的幾何信息，并能進行描述、存儲、識別與理解。計算機視覺 有其獨立的計算理論與算法，占據(jù)統(tǒng)治地位的理論是Marr理論。而Marr理論的最終研究 目標(biāo)，在于從二維圖像中恢復(fù)三維物體幾何結(jié)構(gòu)，也即三維重建。
目前三維重建技術(shù)多采用多相機技術(shù)，對人眼的成像原理進行模擬，根據(jù)不同圖 像間的視差進行重建。而在三維重建前，需要對重建中用到的多個相機進行標(biāo)定，確定單個 相機固有的光電特性和幾何結(jié)構(gòu)相關(guān)的參數(shù)，也即內(nèi)參數(shù)，以及多個相機之間的相對位置 關(guān)系，即外參數(shù)。相機標(biāo)定結(jié)果的好壞往往直接決定三維重建結(jié)果的好壞，因此相機標(biāo)定方 法的研究具有重要的應(yīng)用價值。
在相機標(biāo)定方法中，棋盤格方法為目前較為成熟的方法，該方法利用棋盤格平面 作為ζ = 0平面，以棋盤格某一個邊界角點作為世界坐標(biāo)系原點，以棋盤格朝向的方向作為 ζ軸正方向，定義世界坐標(biāo)系，作為絕對坐標(biāo)系。在標(biāo)定過程，利用棋盤格的角點作為標(biāo)志 點，通過變換棋盤格的朝向，也即變換世界坐標(biāo)系，獲取多幅圖像，對相機的內(nèi)參數(shù)進行標(biāo) 定，并確定相機在多個世界坐標(biāo)系下的外參數(shù)。該方法中，相機的外參數(shù)為相機相對于某一 絕對坐標(biāo)系的位置的描述，要想獲得多個相機之間的相對位置關(guān)系，則要求所有相機至少 共享某一世界坐標(biāo)系下的圖像，該條件在通常條件下很難得到滿足。改進的方法利用棋盤 格對兩個或多個能夠共享同一視野的相機進行標(biāo)定，求取其轉(zhuǎn)換矩陣，進而得到所有相機 的轉(zhuǎn)換矩陣。該方法對相機之間的視野要求較為苛刻，相機兩兩標(biāo)定開銷較大，且標(biāo)定物體 對不同相機存在可見與不可見的問題，不適合于分布的多相機標(biāo)定。因此，目前棋盤格方法 多僅用于內(nèi)參數(shù)標(biāo)定。
目前流行的分布的多相機標(biāo)定方法多利用分層思路，首先利用棋盤格單獨標(biāo)定每 個相機的內(nèi)參數(shù)，然后利用其他方法，如一維物體，對相機的外參數(shù)進行求解。典型的方法 如加州大學(xué)伯克利分校提出的分層標(biāo)定的方法，首先利用棋盤格對相機的內(nèi)參數(shù)進行標(biāo) 定，然后利用一維物體，對相機的外參數(shù)進行求解。相機外參數(shù)求解時，根據(jù)兩個相機共同 圖像的個數(shù)，對相機的共同視野進行描述，并以此構(gòu)造帶權(quán)連通圖，求解最短轉(zhuǎn)換路徑，對 相機進行兩兩標(biāo)定。但該標(biāo)定方法只考慮了相機之間的共同視界，而忽略了其視界內(nèi)標(biāo)定 點的質(zhì)量，對標(biāo)定的精度造成了一定的影響，另外，該分層標(biāo)定過程需要兩次圖像獲取，分 別獲取棋盤格，以及一維標(biāo)定物體圖像，進而進行計算。當(dāng)相機的內(nèi)參數(shù)發(fā)生變動時，需要 的工作量較大。發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有多相機標(biāo)定算法的不足，提供一種基 于一維物體的多相機分層標(biāo)定方法，該方法提高了標(biāo)定精度，簡化標(biāo)定流程，降低標(biāo)定開 銷。
本發(fā)明的技術(shù)解決方案基于一維物體的多相機分層標(biāo)定方法，實現(xiàn)步驟如下
(1)利用排列在一條直線上的多個球形標(biāo)志物作為一維標(biāo)定物體，通過同步觸發(fā) 機制控制相機同步采集，獲取圖片；
(2)對于多個相機中的每一個相機，利用基于優(yōu)良性評價的相機內(nèi)參數(shù)標(biāo)定過程 進行內(nèi)參數(shù)計算，所述基于優(yōu)良性評價的相機內(nèi)參數(shù)標(biāo)定過程為針對每個相機獲取到的 圖片，提取一維標(biāo)定物體的中心點在圖片坐標(biāo)系下的坐標(biāo)信息，并對一幅圖片中標(biāo)定點識 別的質(zhì)量進行優(yōu)良性評價，根據(jù)評價結(jié)果，選取優(yōu)良性評價最優(yōu)的圖片集合，利用圖片集合 中每幅圖片所包含的標(biāo)志點的坐標(biāo)信息構(gòu)成求解集，對相機的內(nèi)參數(shù)進行求解，并進行優(yōu) 化；
(3)得到所有相機的內(nèi)參數(shù)之后，利用基于視界圖的相機外參數(shù)標(biāo)定過程，求解任 意兩個相機之間的外參數(shù)，所述基于視界圖的相機外參數(shù)標(biāo)定過程為對任意兩個相機的 求解集合求交集，根據(jù)得到的交集中所包含的共同圖片的個數(shù)以及對應(yīng)的圖片的優(yōu)良性評 價，構(gòu)造視界圖，對兩個相機的共同視界進行評價，并求解以某一個相機對應(yīng)的頂點為根節(jié) 點，頂點之間，也即相機之間的最短轉(zhuǎn)換路徑，對路徑中直接相連的相機進行兩兩標(biāo)定，對 與不相鄰的兩個相機，通過鏈?zhǔn)椒▌t，求解不相鄰相機的外參數(shù)關(guān)系。
所述步驟O)中優(yōu)良性評價方法的步驟如下
(2. 1)根據(jù)采取的標(biāo)志物體的不同，從相機獲取的圖片中提取標(biāo)定物體中標(biāo)志物 體的中心點在圖片坐標(biāo)系下的坐標(biāo)信息；
(2. 2)利用步驟(2. 1)得到的一幅圖片中的標(biāo)志物體的中心點在圖片坐標(biāo)系下的 坐標(biāo)信息，進行線性擬合，求取最佳擬合直線；
(2. 3)利用步驟(2. 2)得到的最佳擬合直線，求取該圖片中每個坐標(biāo)點與直線的 偏離程度，用偏離程度之和作為該幅圖片的優(yōu)良性評價。
所述步驟(3)中的視界圖構(gòu)造過程如下
(3. 1)對任意兩個相機，對步驟(2)得到的每個相機的求解集中的圖片，對圖片的 優(yōu)良性評價進行歸一化處理；
(3. 2)對兩個相機的求解集求交集，求取兩個相機求解集中共同包含的圖片，對交 集中圖片的歸一化的優(yōu)良性評價求均值，作為兩個相機共同視野的質(zhì)量描述；
(3. 3)用頂點代表相機，用頂點對應(yīng)相機的共同視野的質(zhì)量描述作為兩個頂點之 間的邊的權(quán)值，構(gòu)造視界圖。
本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于本發(fā)明利用一維物體，對分布的多相機的內(nèi) 外參數(shù)進行分層標(biāo)定，從而簡化標(biāo)定過程；通過構(gòu)造優(yōu)良性評價，選擇最優(yōu)的數(shù)據(jù)集，對相 機的內(nèi)參數(shù)進行計算。另外，利用視界圖綜合描述兩個相機的公共視界，利用視界圖求取相 機之間最優(yōu)的轉(zhuǎn)換路徑，并進行外參數(shù)標(biāo)定，從而降低相機外參數(shù)標(biāo)定階段對共同視界的 要求，從而達到簡化標(biāo)定流程，降低標(biāo)定開銷，提高標(biāo)定了精度。


圖1是本發(fā)明典型應(yīng)用場景的描述；
圖2是在標(biāo)定過程中用到的一維標(biāo)定物體的示意圖3是本發(fā)明標(biāo)定過程中的典型實現(xiàn)的系統(tǒng)結(jié)構(gòu)；
圖4是本發(fā)明方法的整體流程圖5是本發(fā)明中單個相機內(nèi)參數(shù)標(biāo)定過程的描述；
圖6是本發(fā)明中外參數(shù)標(biāo)定過程描述。
具體實施方式
本發(fā)明的典型應(yīng)用環(huán)境如圖1所示，在圖1中，利用箭頭表示相機，箭頭的指向代 表相機的朝向。在該環(huán)境中，利用多個相機，從多個角度，獲取場景中的人體的圖片，通過對 圖片的后續(xù)處理，達到三維重建的目的。在此過程中，需要對環(huán)境中圍繞場景的多個相機進 行標(biāo)定。
本發(fā)明利用利用幾何特征一直的一維物體作為標(biāo)定物體，如圖2所示，通過一次 圖像獲取，實現(xiàn)分層對相機的內(nèi)參數(shù)和外參數(shù)進行標(biāo)定。標(biāo)定的整體流程如圖4所示，首先 通過同步機制，觸發(fā)重建中用到的每個相機獲取多幅標(biāo)定物體圖片，對標(biāo)定物體圖片進行 識別處理以及優(yōu)良性評價后，得到求解集合，利用求解集合進行內(nèi)參數(shù)標(biāo)定，當(dāng)計算得到所 有相機內(nèi)參數(shù)之后，利用基于視界圖的相機外參數(shù)標(biāo)定方法，求解任意兩個相機之間的相 對位置關(guān)系，也即外參數(shù)。對各個步驟具體描述如下。
(1)多相機同步獲取一維標(biāo)定物體圖片
標(biāo)定過程中，使用幾何特征已知的一維物體對相機的內(nèi)外參數(shù)進行標(biāo)定。使用到 的一維標(biāo)定物體，由多個球狀標(biāo)志物(小球或LED)排列在一條直線上組成。任意兩個小球 中心點之間的距離通過測量已知。在標(biāo)定過程中，固定一個標(biāo)志物不動，其余標(biāo)志物繞該標(biāo) 志物旋轉(zhuǎn)，進行標(biāo)定。標(biāo)定物體的結(jié)構(gòu)示意如圖2所示，一般利用3個以上的球形物體作為 標(biāo)志物，在圖2中的標(biāo)定物體包含了四個標(biāo)志物，依次為A，B, C，D0對于一維標(biāo)定物體，任 意兩個標(biāo)志物之間的距離通過精確的測量已知，因此利用AB，BC, CD段的長度與總體長度 AD的比值定義標(biāo)定物體的幾何特征，也即,IM-BII[。。3。] [_]
其中λ2，λ 3分別為各段在整體長度中所占的比例。
在進行標(biāo)定時，為了達到同步觸發(fā)的目的，利用1394線連接相機和主機，構(gòu)成數(shù) 據(jù)傳輸鏈路，以觸發(fā)線連接相機的觸發(fā)接口和主機并口，構(gòu)成控制鏈路。當(dāng)所有相機完成初 始化后，與相機相連的采集客戶端進入采集等待狀態(tài)。當(dāng)所有采集客戶端完成初始化并進 入等待狀態(tài)后，主機通過并口發(fā)送特定頻率或人工控制的觸發(fā)信號，觸發(fā)相機同步獲取一維標(biāo)定物體的圖片。
圖3是本發(fā)明的一個典型應(yīng)用實現(xiàn)結(jié)構(gòu)，該結(jié)構(gòu)采用了 C/S架構(gòu)。在圖中，利用 一臺服務(wù)器作為觸發(fā)服務(wù)器，該服務(wù)器一方面通過并口連接相機的觸發(fā)信號輸入接口 GPIO 口，構(gòu)成控制鏈路，集中提供觸發(fā)信號，另一方面通過網(wǎng)絡(luò)與客戶端相連，匯總與客戶端相 連的各個相機的內(nèi)參數(shù)信息以及圖片信息，求解相機之間的外參數(shù)?？蛻舳伺c相機通過 1394總線與一個或多個相機相連，構(gòu)成數(shù)據(jù)傳輸鏈路，傳輸相機獲取的圖片。客戶端負(fù)責(zé)處 理相機采集的圖片，提取標(biāo)志點，并計算內(nèi)參數(shù)。
(2)識別標(biāo)志點，對圖片進行優(yōu)良性評價，而后構(gòu)造求解集合，求解相機的內(nèi)參數(shù)矩陣。
基于優(yōu)良性評價的相機內(nèi)參數(shù)標(biāo)定過程其步驟如圖5所示，具體步驟描述如下。
經(jīng)過步驟(1)，對于單個相機Ci,得到包含標(biāo)定物體的圖片的集合P”對于所有的 相機，其所對應(yīng)的圖片集合P中所包含的圖片的數(shù)量相同，獲取的時間相同。對于一個相機 Ci獲取的一幅圖片h e Pi,其中必包含用于標(biāo)定相機的η個標(biāo)志物。對圖像h進行背景剔 除，并進行橢圓匹配，得到可能包含標(biāo)定物體的區(qū)域。如果在標(biāo)定中使用的是小球，則直接 利用橢圓匹配結(jié)果的幾何中心，作為標(biāo)志物的中心點；如果標(biāo)定中使用的標(biāo)志物體是LED， 則利用平方會讀法，求解標(biāo)志物的中心點坐標(biāo)。這樣，就得到在圖片坐標(biāo)下，η個標(biāo)志物中 心點所對應(yīng)的坐標(biāo)的集合Sij = {<Xl，Yl>, -<xn, yn>}，集合中的元素<Xi，yi>分別對應(yīng)與 標(biāo)志物中心點在圖片坐標(biāo)系下的坐標(biāo)。
理想狀態(tài)下，一維標(biāo)定物體的多個標(biāo)志物排列在同一條直線上，因此投 影到圖片坐標(biāo)系下，一幅圖片中所包含的標(biāo)志點的的坐標(biāo)信息也應(yīng)該滿足線性關(guān) 系。為此，對集合Su進行線性擬合，求取擬合直線方程Y = f(x) =aX+b，使其滿足
權(quán)利要求
1.基于一維物體的多相機分層標(biāo)定方法，其特征在于實現(xiàn)步驟如下(1)利用排列在一條直線上的多個球形標(biāo)志物作為一維標(biāo)定物體，通過同步觸發(fā)機制 控制相機同步采集，獲取圖片；(2)對于多個相機中的每一個相機，利用基于優(yōu)良性評價的相機內(nèi)參數(shù)標(biāo)定過程進行 內(nèi)參數(shù)計算，所述基于優(yōu)良性評價的相機內(nèi)參數(shù)標(biāo)定過程為針對每個相機獲取到的圖片， 提取一維標(biāo)定物體的中心點在圖片坐標(biāo)系下的坐標(biāo)信息，并對一幅圖片中標(biāo)定點識別的質(zhì) 量進行優(yōu)良性評價，根據(jù)評價結(jié)果，選取優(yōu)良性評價最優(yōu)的圖片集合，利用圖片集合中每幅 圖片所包含的標(biāo)志點的坐標(biāo)信息構(gòu)成求解集，對相機的內(nèi)參數(shù)進行求解，并進行優(yōu)化；(3)得到所有相機的內(nèi)參數(shù)之后，利用基于視界圖的相機外參數(shù)標(biāo)定過程，求解任意兩 個相機之間的外參數(shù)，所述基于視界圖的相機外參數(shù)標(biāo)定過程為對任意兩個相機的求解 集合求交集，根據(jù)得到的交集中所包含的共同圖片的個數(shù)以及對應(yīng)的圖片的優(yōu)良性評價， 構(gòu)造視界圖，對兩個相機的共同視界進行評價，并求解以某一個相機對應(yīng)的頂點為根節(jié)點， 頂點之間，也即相機之間的最短轉(zhuǎn)換路徑，對路徑中直接相連的相機進行兩兩標(biāo)定，對與不 相鄰的兩個相機，通過鏈?zhǔn)椒▌t，求解不相鄰相機的外參數(shù)關(guān)系。
2.根據(jù)權(quán)利要求1所述的基于一維物體的多相機分層標(biāo)定方法，其特征在于所述步 驟O)中優(yōu)良性評價方法的步驟如下(2. 1)根據(jù)采取的標(biāo)志物體的不同，從相機獲取的圖片中提取標(biāo)定物體中標(biāo)志物體的 中心點在圖片坐標(biāo)系下的坐標(biāo)信息；(2. 2)利用步驟(2. 1)得到的一幅圖片中的標(biāo)志物體的中心點在圖片坐標(biāo)系下的坐標(biāo) 信息，進行線性擬合，求取最佳擬合直線；(2. 3)利用步驟(2. 2)得到的最佳擬合直線，求取該圖片中每個坐標(biāo)點與直線的偏離 程度，用偏離程度之和作為該幅圖片的優(yōu)良性評價。
3.根據(jù)權(quán)利要求1所述的基于一維物體的多相機分層標(biāo)定方法，其特征在于所述步 驟(3)中的視界圖構(gòu)造過程如下(3. 1)對任意兩個相機，對步驟( 得到的每個相機的求解集中的圖片，對圖片的優(yōu)良 性評價進行歸一化處理；(3. 2)對兩個相機的求解集求交集，求取兩個相機求解集中共同包含的圖片，對交集中 圖片的歸一化的優(yōu)良性評價求均值，作為兩個相機共同視野的質(zhì)量描述；(3. 3)用頂點代表相機，用頂點對應(yīng)相機的共同視野的質(zhì)量描述作為兩個頂點之間的 邊的權(quán)值，構(gòu)造視界圖。
全文摘要
基于一維物體的多相機分層標(biāo)定方法，利用排列在一條直線上的多個球形標(biāo)志物作為標(biāo)定物體對相機的內(nèi)外參數(shù)進行分層標(biāo)定；在標(biāo)定過程中，首先利用同步機制控制多個相機同步獲取標(biāo)定物體圖像，從獲取的圖像中提取標(biāo)志物體的中心點信息，并對圖像標(biāo)志點識別的質(zhì)量進行優(yōu)良性評價，利用評價結(jié)果，構(gòu)造最優(yōu)求解集合，計算相機的內(nèi)參數(shù)；在得到多個相機的內(nèi)參數(shù)之后，根據(jù)任意兩個個相機之間的共同圖像的個數(shù)以及每幅圖像的優(yōu)良性評價，構(gòu)造視景圖，以視景圖為依據(jù)，對相機的外參數(shù)進行標(biāo)定。本發(fā)明提高了標(biāo)定精度，簡化標(biāo)定流程，降低標(biāo)定開銷。
文檔編號G06T7/00GK102034236SQ20101057339
公開日2011年4月27日 申請日期2010年12月1日 優(yōu)先權(quán)日2010年12月1日
發(fā)明者吳威, 周忠, 趙沁平, 龔如曦 申請人:北京航空航天大學(xué)