本發(fā)明涉及基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)標(biāo)定平臺(tái)及標(biāo)定方法。
背景技術(shù):
在立體視覺理論體系中,像機(jī)內(nèi)外參數(shù)求解(攝像機(jī)標(biāo)定)和左右圖像立體匹配是兩大核心問題,從某種意義上講,像機(jī)標(biāo)定技術(shù)和立體匹配算法的發(fā)展決定了立體視覺方法的發(fā)展。像機(jī)畸變系數(shù)的求解會(huì)影響無論單像機(jī)還是雙像機(jī)在應(yīng)變場(chǎng)測(cè)量方面的結(jié)果。
經(jīng)典的兩步法標(biāo)定技術(shù)采用三維標(biāo)定塊進(jìn)行攝像機(jī)標(biāo)定,該方法精度高但標(biāo)定塊制作復(fù)雜,考慮的畸變模型簡(jiǎn)單粗略,使用較少。目前,常用的標(biāo)定工具為平面標(biāo)定板與標(biāo)定尺。其中,經(jīng)典的張正友棋盤格標(biāo)定算法通過提取Harris角點(diǎn)尋找世界坐標(biāo)與圖像坐標(biāo)之間的關(guān)系,算法的復(fù)雜度降低,并且標(biāo)定板制作容易,得到了廣泛的應(yīng)用。在國(guó)內(nèi),西安交通大學(xué),南京航空航天大學(xué)等在標(biāo)定算法方面做了大量研究,將帶有編碼的實(shí)心圓圓心作為靶點(diǎn)進(jìn)行標(biāo)定,使用的靶標(biāo)為標(biāo)定板、高精度標(biāo)定十字架、漸變標(biāo)定板等。此外,也有學(xué)者使用高精度標(biāo)尺作為標(biāo)定工具。然而,這些靶標(biāo)的圓心需要通過查找編碼表進(jìn)行排序,不易編程實(shí)現(xiàn);而高精度標(biāo)尺和標(biāo)定十字架雖方便用于大視場(chǎng)標(biāo)定,但造價(jià)較高,不適用于普通測(cè)量試驗(yàn)。此外,傳統(tǒng)邊緣檢測(cè)方法有Roberts算子、Laplace算子、Prewitt算子和Canny算子等,這些方法只能定位到像素級(jí),不能滿足精確定位要求。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的是為了解決現(xiàn)有各種標(biāo)定方法的優(yōu)化變量數(shù)目過多,計(jì)算繁復(fù)的問題,而提出一種基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)的標(biāo)定系統(tǒng)及方法。
一種基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)標(biāo)定平臺(tái)包括:
用于輸入待標(biāo)定圖片張數(shù)以及標(biāo)定板上相鄰實(shí)心圓的圓心距參數(shù)的參數(shù)輸入模塊;
用于對(duì)參數(shù)輸入模塊中的待標(biāo)定圖片進(jìn)行預(yù)處理的圖像預(yù)處理模塊;
用于對(duì)圖像預(yù)處理模塊處理后的圖片進(jìn)行左圖像標(biāo)定、右圖像標(biāo)定和立體標(biāo)定的系統(tǒng)標(biāo)定模塊;
用于對(duì)系統(tǒng)標(biāo)定模塊標(biāo)定后的圖片進(jìn)行標(biāo)定結(jié)果輸出的參數(shù)輸出模塊。
一種基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)標(biāo)定方法,具體過程為:
步驟一:對(duì)左右相機(jī)采集的圖像進(jìn)行處理,得到圓形標(biāo)識(shí)點(diǎn)中心的圖像坐標(biāo);
步驟二:根據(jù)圓形標(biāo)識(shí)點(diǎn)中心的圖像坐標(biāo)進(jìn)行圓心排序;
步驟三:對(duì)步驟二排序后的圖像進(jìn)行立體視覺系統(tǒng)標(biāo)定,得到左右攝像機(jī)外參數(shù)的優(yōu)化解;
步驟四、根據(jù)左右攝像機(jī)外參數(shù)的優(yōu)化解求解平移向量和旋轉(zhuǎn)矩陣。
一種基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)包括兩臺(tái)CCD相機(jī)、實(shí)心圓標(biāo)定板、射燈、光學(xué)鏡頭、相機(jī)支架、射燈支架、多通道圖像采集卡和計(jì)算機(jī);
所述實(shí)心圓標(biāo)定板為白色底面上均勻分布49個(gè)黑色圓形斑點(diǎn);
光學(xué)鏡頭與CCD相機(jī)相連,CCD相機(jī)安裝在相機(jī)支架上;射燈安裝在射燈支架上;
其中,安裝的CCD相機(jī)型號(hào)性能相同,且CCD相機(jī)都具有較高圖像分辨率;光學(xué)鏡頭尺寸與CCD相機(jī)尺寸匹配,接口類型匹配;光學(xué)鏡頭像素為百萬像素級(jí)光學(xué)鏡頭;相機(jī)支架用于固定相機(jī);
所述較高圖像分辨率為百萬像素以上;
每臺(tái)CCD相機(jī)通過導(dǎo)線連接到多通道圖像采集卡上,多通道圖像采集卡安裝在計(jì)算機(jī)上,將計(jì)算機(jī)接通電源;將射燈接通電源,射燈作為補(bǔ)償光源;
所述多通道圖像采集卡采用模擬采集卡或數(shù)字采集卡,接口類型為IEEE1394、千兆網(wǎng)卡或USB接口。
本發(fā)明的有益效果為:
首先利用Canny-Zernike組合算法對(duì)靶標(biāo)圓心進(jìn)行識(shí)別并提出基于三角形標(biāo)記的圓心排序方法。接著基于線性針孔模型獲得立體視覺系統(tǒng)的內(nèi)外參數(shù),然后分別對(duì)左右攝像機(jī)內(nèi)外參數(shù)進(jìn)行優(yōu)化,優(yōu)化變量數(shù)目減半,獲得外參數(shù)近似解。最后以實(shí)心圓靶標(biāo)對(duì)角線上兩實(shí)心圓的距離作為約束條件,對(duì)攝像機(jī)外參數(shù)進(jìn)行優(yōu)化,獲得外參數(shù)最優(yōu)解。本標(biāo)定方法具有較高的精度,可以實(shí)現(xiàn)自動(dòng)化標(biāo)定,具有工程應(yīng)用性。
附圖說明
圖1為基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)標(biāo)定軟件界面示意圖,A為圖4f表示的識(shí)別實(shí)心圓標(biāo)定板上的所有點(diǎn)示意圖;
圖2為立體視覺三維測(cè)量模型示意圖;
圖3為圓形標(biāo)識(shí)識(shí)別算法流程圖;
圖4a為實(shí)心圓標(biāo)定板示意圖;
圖4b為實(shí)心圓標(biāo)定板的二值化圖像示意圖;
圖4c為識(shí)別實(shí)心圓標(biāo)定板上的3點(diǎn)示意圖;
圖4d為識(shí)別實(shí)心圓標(biāo)定板上的4點(diǎn)示意圖;
圖4e為重排實(shí)心圓標(biāo)定板上的角點(diǎn)示意圖;
圖4f為識(shí)別實(shí)心圓標(biāo)定板上的所有點(diǎn)示意圖,為圖1、圖7、圖8、圖9、圖10、圖11、圖12中A的放大圖;
圖5為實(shí)施例提出的基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)標(biāo)定軟件的初始界面示意圖;
圖6為實(shí)施例提出的圖片預(yù)處理界面示意圖;
圖7為實(shí)施例提出的左相機(jī)標(biāo)定界面示意圖,A為圖4f表示的識(shí)別實(shí)心圓標(biāo)定板上的所有點(diǎn)示意圖;
圖8為實(shí)施例提出的左相機(jī)標(biāo)定結(jié)果示意圖,A為圖4f表示的識(shí)別實(shí)心圓標(biāo)定板上的所有點(diǎn)示意圖;
圖9為實(shí)施例提出的右相機(jī)標(biāo)定界面示意圖,A為圖4f表示的識(shí)別實(shí)心圓標(biāo)定板上的所有點(diǎn)示意圖;
圖10為實(shí)施例提出的右相機(jī)標(biāo)定結(jié)果示意圖,A為圖4f表示的識(shí)別實(shí)心圓標(biāo)定板上的所有點(diǎn)示意圖;
圖11為實(shí)施例提出的立體標(biāo)定界面示意圖,A為圖4f表示的識(shí)別實(shí)心圓標(biāo)定板上的所有點(diǎn)示意圖;
圖12為實(shí)施例提出的立體標(biāo)定結(jié)果示意圖,A為圖4f表示的識(shí)別實(shí)心圓標(biāo)定板上的所有點(diǎn)示意圖。
具體實(shí)施方式
具體實(shí)施方式一:本實(shí)施方式的一種基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)標(biāo)定平臺(tái)包括:
用于輸入待標(biāo)定圖片張數(shù)以及標(biāo)定板上相鄰實(shí)心圓的圓心距參數(shù)的輸入模塊(Parameter input);
用于對(duì)參數(shù)輸入模塊中的待標(biāo)定圖片進(jìn)行預(yù)處理的圖像預(yù)處理模塊(Pretreatment);
用于對(duì)圖像預(yù)處理模塊處理后的圖片進(jìn)行左圖像標(biāo)定、右圖像標(biāo)定和立體標(biāo)定的系統(tǒng)標(biāo)定模塊(Calibration);
用于對(duì)系統(tǒng)標(biāo)定模塊標(biāo)定后的圖片進(jìn)行標(biāo)定結(jié)果輸出的參數(shù)輸出模塊(Calib result)。
具體實(shí)施方式二:本實(shí)施方式與具體實(shí)施方式一不同的是:所述圖像預(yù)處理模塊(Pretreatment)包括:
用于考慮光照的影響,對(duì)不符合要求的圖片進(jìn)行剔除的的Light子模塊.
用于對(duì)標(biāo)定圖片進(jìn)行圖像預(yù)處理的預(yù)處理First_elim子模塊。
其它步驟及參數(shù)與具體實(shí)施方式一相同。
具體實(shí)施方式三:本實(shí)施方式與具體實(shí)施方式一或二不同的是:所述系統(tǒng)標(biāo)定模塊Calibration包括:
用于顯示待標(biāo)定的標(biāo)定板圖片的標(biāo)定顯示Calib window子模塊;
用于對(duì)左相機(jī)進(jìn)行標(biāo)定的左相機(jī)標(biāo)定Left_calib子模塊;
用于對(duì)右相機(jī)進(jìn)行標(biāo)定的右相機(jī)標(biāo)定Right_calib子模塊;
用于進(jìn)行立體標(biāo)定的立體標(biāo)定Stereo_calib子模塊;
用于標(biāo)定完成后退出界面并保存標(biāo)定結(jié)果的輸出Exit子模塊。
其它步驟及參數(shù)與具體實(shí)施方式一或二相同。
具體實(shí)施方式四:本實(shí)施方式與具體實(shí)施方式一至三之一不同的是:所述參數(shù)輸出模塊Calib result包括:
用于顯示左相機(jī)標(biāo)定結(jié)果的左參數(shù)Left_parameter子模塊;
用于顯示右相機(jī)標(biāo)定結(jié)果的右參數(shù)Right_parameter子模塊;
用于顯示立體標(biāo)定結(jié)果的立體參數(shù)Stereo_parameter子模塊。
其它步驟及參數(shù)與具體實(shí)施方式一至三之一相同。
具體實(shí)施方式五:結(jié)合圖1、2、3、4a、4b、4c、4d、4e、4f說明本實(shí)施方式,本實(shí)施方式的一種基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)標(biāo)定方法,具體過程為:
根據(jù)針孔透視模型,空間點(diǎn)P在攝像機(jī)成像平面上的投影表示為
其中[u,v,1]T為點(diǎn)P在圖像坐標(biāo)系下投影點(diǎn)的無畸變圖像的齊次坐標(biāo),[xw,yw,zw]T是點(diǎn)P在世界坐標(biāo)下的坐標(biāo);[xc,yc,zc]T是點(diǎn)P在攝像機(jī)坐標(biāo)下的坐標(biāo);R和T分別為世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量,A為攝像機(jī)的內(nèi)參數(shù)矩陣;
由于攝像機(jī)鏡頭存有畸變,實(shí)際成像點(diǎn)與理想成像點(diǎn)之間有一定偏差??紤]徑向畸變及切向畸變,本發(fā)明選擇4參數(shù)畸變模型,畸變模型表示為
其中(Xu,Yu)為無畸變情況下的像點(diǎn)歸一化坐標(biāo),(Xd,Yd)為有畸變情況下的像點(diǎn)歸一化坐標(biāo);k1,k2為徑向畸變,p1,p2為切向畸變;式(1)中的攝像機(jī)的內(nèi)參數(shù)矩陣A及k1,k2,p1,p2統(tǒng)稱為攝像機(jī)的內(nèi)部參數(shù);
一般情況下,立體視覺測(cè)量系統(tǒng)對(duì)兩攝像機(jī)的位置不做任何要求。如圖2所示,P為空間中某一測(cè)點(diǎn);設(shè)左攝像機(jī)坐標(biāo)系位于世界坐標(biāo)系o-xwywzw的原點(diǎn)處且無旋轉(zhuǎn),圖像坐標(biāo)系為Ol-XlYl;右攝像機(jī)坐標(biāo)系為or-yrxrzr,圖像坐標(biāo)系為Or-XrYr;假定圖像中對(duì)應(yīng)點(diǎn)匹配關(guān)系已知,則根據(jù)兩攝像機(jī)幾何約束求得空間點(diǎn)P在世界坐標(biāo)系下的三維坐標(biāo),如式(3)所示;
式中fl,fr分別為左右像機(jī)有效焦距;r1,...,r9,tx,ty,tz為兩攝像機(jī)相互位置關(guān)系的外參數(shù);
一種基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)實(shí)現(xiàn)的,所述基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)包括兩臺(tái)CCD相機(jī)、實(shí)心圓標(biāo)定板、射燈、鏡頭、相機(jī)支架、射燈支架、多通道圖像采集卡和計(jì)算機(jī)。
步驟一:對(duì)左右相機(jī)采集的圖像進(jìn)行處理,得到圓形標(biāo)識(shí)點(diǎn)中心的圖像坐標(biāo);
步驟二:根據(jù)圓形標(biāo)識(shí)點(diǎn)中心的圖像坐標(biāo)進(jìn)行圓心排序;
步驟三:對(duì)步驟二排序后的圖像進(jìn)行立體視覺系統(tǒng)標(biāo)定,得到左右攝像機(jī)外參數(shù)的優(yōu)化解;
步驟四、根據(jù)左右攝像機(jī)外參數(shù)的優(yōu)化解求解平移向量和旋轉(zhuǎn)矩陣。
具體實(shí)施方式六:本實(shí)施方式與具體實(shí)施方式五不同的是:所述步驟一中對(duì)左右相機(jī)采集的圖像進(jìn)行處理,得到圓形標(biāo)識(shí)點(diǎn)中心的圖像坐標(biāo);具體過程為:
選用實(shí)心圓標(biāo)定板進(jìn)行標(biāo)定的過程中,因不能保證標(biāo)定板與兩像機(jī)光軸絕對(duì)垂直,故圖像識(shí)別過程中看到的圓為橢圓。本發(fā)明通過提取實(shí)心圓標(biāo)定板上圓形標(biāo)識(shí)點(diǎn)的圓心坐標(biāo)來實(shí)現(xiàn)圓形標(biāo)識(shí)的定位,涉及圓形標(biāo)識(shí)點(diǎn)的邊緣檢測(cè)、特征識(shí)別及中心擬合算法等,具體工作流程如圖3所示。
步驟一一、對(duì)左右相機(jī)采集的圖像進(jìn)行濾波去噪及二值化處理,得到實(shí)心圓標(biāo)定板上各個(gè)圓形標(biāo)識(shí)點(diǎn)目標(biāo)參數(shù),圓形標(biāo)識(shí)點(diǎn)目標(biāo)參數(shù)包括形狀參數(shù)、偏心率、球狀度、圓形度及邊緣長(zhǎng)度等,以便進(jìn)行實(shí)心圓靶標(biāo)的邊緣檢測(cè);
步驟一二、根據(jù)實(shí)心圓標(biāo)定板上各個(gè)圓形標(biāo)識(shí)點(diǎn)目標(biāo)參數(shù),利用Canny算法進(jìn)行初步的邊緣點(diǎn)粗定位,得到單一的邊緣,為下一步精確定位提供了方便;使用Zernike矩算法對(duì)單一的邊緣進(jìn)行亞像素定位,以提高定位精度,兩者的結(jié)合充分發(fā)揮了二者優(yōu)點(diǎn),可快速精確地得到實(shí)心圓標(biāo)定板上圓形標(biāo)識(shí)點(diǎn)的邊緣;為了滿足測(cè)量系統(tǒng)高精度實(shí)時(shí)檢測(cè)要求,本發(fā)明提出一種Canny-Zernike組合算法進(jìn)行邊緣檢測(cè)。
步驟一三、由于透視投影變換所固有的特性,根據(jù)步驟一二得到的實(shí)心圓標(biāo)定板上各個(gè)圓形標(biāo)識(shí)點(diǎn)的邊緣在相機(jī)成像平面上呈現(xiàn)的往往是一個(gè)橢圓,利用最小二乘法擬合橢圓方程,設(shè)定各個(gè)邊緣點(diǎn)到擬合橢圓距離的閥值,通過迭代提高擬合橢圓中心的精度,每次剔除5%的邊緣點(diǎn),直到距離標(biāo)準(zhǔn)差小于閥值位置,這樣可以有效控制橢圓的擬合精度。通過對(duì)試驗(yàn)中圓形標(biāo)識(shí)中心坐標(biāo)的定位發(fā)現(xiàn),采用以上算法可以實(shí)現(xiàn)0.02pixel的精度,實(shí)現(xiàn)亞像素定位,得到實(shí)心圓標(biāo)定板上各個(gè)(49個(gè))圓形標(biāo)識(shí)點(diǎn)中心的圖像坐標(biāo)。
其它步驟及參數(shù)與具體實(shí)施方式五相同。
具體實(shí)施方式七:本實(shí)施方式與具體實(shí)施方式五或六不同的是:所述步驟二中根據(jù)圓形標(biāo)識(shí)點(diǎn)中心的圖像坐標(biāo)進(jìn)行圓心排序;具體過程為:
步驟二一、識(shí)別距離最遠(yuǎn)的兩點(diǎn)坐標(biāo):
經(jīng)過橢圓圓心識(shí)別,得到的實(shí)心圓靶標(biāo)的圓心坐標(biāo)是隨機(jī)排序的;而要實(shí)現(xiàn)各圓心世界坐標(biāo)與圖像坐標(biāo)的一一對(duì)應(yīng),需要對(duì)這些圓心坐標(biāo)進(jìn)行重排序。為此,本發(fā)明提出基于三角形標(biāo)記的圓心排序方法。如圖4a所示,實(shí)心圓標(biāo)定板的一角為等邊直角三角形,根據(jù)該三角形可確定1號(hào)實(shí)心圓的位置,由此實(shí)現(xiàn)標(biāo)定板上所有實(shí)心圓的排序。該標(biāo)定板含有49個(gè)實(shí)心圓,所以靶點(diǎn)即為實(shí)心圓圓心。實(shí)心圓標(biāo)定板上的圓心坐標(biāo)排序可通過如下過程實(shí)現(xiàn):
對(duì)實(shí)心圓標(biāo)定板上49個(gè)坐標(biāo)點(diǎn)的任意兩點(diǎn)求距離,距離最遠(yuǎn)的兩點(diǎn)位于對(duì)角線上,令其編號(hào)為1、2;這是由于標(biāo)定板上靶點(diǎn)幾乎在同一平面上。
步驟二二、通過搜索剩余坐標(biāo)點(diǎn)圓心坐標(biāo)使得與點(diǎn)1、2所形成的角度達(dá)到最小,利用余弦絕對(duì)值最小的方式得到第3個(gè)點(diǎn);如圖4c所示。
步驟二三、由搜索到的1、2、3三個(gè)點(diǎn)發(fā)現(xiàn),1及3形成一條直線,而剩余的46個(gè)點(diǎn)同樣與2點(diǎn)形成直線,存在一個(gè)點(diǎn)與2點(diǎn)形成的直線平行1、3點(diǎn)形成的直線,且與2點(diǎn)的距離最遠(yuǎn),這時(shí)找到的點(diǎn)編號(hào)為4;見圖4d。
步驟二四、從圖4a看出,該實(shí)心圓標(biāo)定板左上角有一個(gè)等邊直角三角形,將最靠近該等邊直角三角形部位的圓心作為坐標(biāo)原點(diǎn)建立坐標(biāo)系,需要對(duì)步驟二一、步驟二二、步驟二三識(shí)別到的四個(gè)角點(diǎn)重新排序;
排序方法是讓編號(hào)為1、2、3、4的4個(gè)點(diǎn)向外搜索,首先進(jìn)入到黑色區(qū)域的點(diǎn)重新編號(hào)為1點(diǎn),編號(hào)為1的點(diǎn)位于實(shí)心圓標(biāo)定板的左上角,即最靠近等邊三角形的圓心;
對(duì)另外三個(gè)點(diǎn)與點(diǎn)1求距離,將距離最遠(yuǎn)的點(diǎn)定義為點(diǎn)4,剩余兩個(gè)點(diǎn)與點(diǎn)1形成兩條相交的直線,交點(diǎn)為點(diǎn)1;對(duì)這兩直線做叉積運(yùn)算,若叉積大于零,為正方向,從而得到點(diǎn)2、3的位置;見圖4e;若叉積小于零時(shí),點(diǎn)2,3位置互換;
步驟二五、對(duì)49個(gè)圓心進(jìn)行排序,首先對(duì)所有點(diǎn)與1、2點(diǎn)形成的直線求距離,可以定出7列,在對(duì)這些點(diǎn)與1、3形成的直線求距離,對(duì)每一列進(jìn)行再次排序,通過這兩個(gè)步驟,最終完成了49個(gè)點(diǎn)的排序;如圖4f所示。
其它步驟及參數(shù)與具體實(shí)施方式五或六相同。
具體實(shí)施方式八:本實(shí)施方式與具體實(shí)施方式五至七之一不同的是:所述步驟三中對(duì)步驟二排序后的圖像進(jìn)行立體視覺系統(tǒng)標(biāo)定,得到左右攝像機(jī)外參數(shù)的優(yōu)化解;具體過程為:
本發(fā)明對(duì)經(jīng)典兩步標(biāo)定算法進(jìn)行改進(jìn),提出一種基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)標(biāo)定方法,具體標(biāo)定過程如下:
步驟三一、與傳統(tǒng)兩步法的第一步相同,皆是以不考慮像機(jī)畸變的線性針孔模型為計(jì)算模型,分別對(duì)左右標(biāo)定板的靶點(diǎn)進(jìn)行像點(diǎn)重建,通過極大似然估計(jì)方法求解映射矩陣,結(jié)合旋轉(zhuǎn)矩陣的正交特性求解左右像機(jī)線性參數(shù);
步驟三二、以左右像機(jī)線性參數(shù)為初值,考慮攝像機(jī)的畸變,減半優(yōu)化變量數(shù)目,分別對(duì)左右像機(jī)進(jìn)行Levenberg-Marquardt(LM)優(yōu)化,求解左右攝像機(jī)外參數(shù)近似解;具體過程為:
基于畸變模型的攝像機(jī)內(nèi)外參數(shù)求解,對(duì)左右攝像機(jī)進(jìn)行Levenberg-Marquardt(LM)優(yōu)化,優(yōu)化目標(biāo)函數(shù)見式(4)
式中,上標(biāo)j表示第j個(gè)實(shí)心圓,上標(biāo)i表示第i幅標(biāo)定圖片;AL為線性針孔模型下的左像機(jī)內(nèi)參數(shù)矩陣,為左相機(jī)的徑向畸變,為左相機(jī)的切向畸變,AR為線性針孔模型下的右像機(jī)內(nèi)參數(shù)矩陣,為右相機(jī)的徑向畸變,為右相機(jī)的切向畸變,為左相機(jī)第i幅圖片上第j個(gè)實(shí)心圓經(jīng)式(1)與(2)計(jì)算得到的圖像坐標(biāo),為右相機(jī)第i幅圖片上第j個(gè)實(shí)心圓經(jīng)式(1)與(2)計(jì)算得到的圖像坐標(biāo),為真實(shí)圖像坐標(biāo),i、j取值為正整數(shù),Rr2l為表征左右像機(jī)相對(duì)位置的旋轉(zhuǎn)矩陣,Tr2l為表征左右像機(jī)相對(duì)位置的平移向量,為左靶標(biāo)平面和左像機(jī)坐標(biāo)系間的旋轉(zhuǎn)矩陣,為左靶標(biāo)平面和左像機(jī)坐標(biāo)系間的平移向量,n、取值范圍為正整數(shù),n為左或右標(biāo)定圖片幅數(shù),為左圖片實(shí)心圓個(gè)數(shù),為右圖片實(shí)心圓個(gè)數(shù);
由式(4)可知,該目標(biāo)函數(shù)優(yōu)化變量共14個(gè),即AL、AR、Rr2l、Tr2l為優(yōu)化變量數(shù)目,式(4)中優(yōu)化參數(shù)過多,在初值選擇不合適的情況下可能導(dǎo)致結(jié)果不收斂。為避免結(jié)果不收斂,本發(fā)明減少優(yōu)化變量數(shù)目,利用式(5)的目標(biāo)函數(shù)分別對(duì)左右攝像機(jī)進(jìn)行Levenberg-Marquardt(LM)優(yōu)化;相比(4)式,(5)式優(yōu)化變量數(shù)目從14個(gè)降為7個(gè);
式中,m為標(biāo)定板上實(shí)心圓的個(gè)數(shù),n為標(biāo)定圖片張數(shù);為第i幅圖片上第j個(gè)實(shí)心圓經(jīng)式(1)與(2)計(jì)算得到的圖像坐標(biāo),Xij為第i幅圖片上第j個(gè)實(shí)心圓的真實(shí)圖像坐標(biāo),A為線性針孔模型下的單像機(jī)內(nèi)參數(shù)矩陣,k1、k2為徑向畸變,p1、p2為切向畸變,R為旋轉(zhuǎn)矩陣,T為平移向量;R、T為外參數(shù);
A、k1、k2、p1、p2、R、T為優(yōu)化變量數(shù)目;
將式(5)計(jì)算結(jié)果帶入式(6)
Rr2l=Rr(Rl)-1,Tr2l=Tr-Rr(Rl)-1Tl (6)
得到不同姿態(tài)下左右攝像機(jī)外參數(shù)Rr2l,Tr2l;
理論上所有姿態(tài)下Rr2l,Tr2l應(yīng)該相等。但由于噪聲的存在,且沒有經(jīng)過傳統(tǒng)二步法的全局優(yōu)化處理,會(huì)導(dǎo)致不同標(biāo)定姿態(tài)下兩像機(jī)外部參數(shù)的差異。因此對(duì)所有姿態(tài)得到的左右攝像機(jī)外參數(shù)Rr2l,Tr2l取平均,得到左右攝像機(jī)外參數(shù)Rr2l,Tr2l的近似值;
步驟三三、以步驟三二得到的不同標(biāo)定姿態(tài)下左右攝像機(jī)外參數(shù)近似解的均值為初值,以實(shí)心圓標(biāo)定板的對(duì)角線長(zhǎng)度為約束條件對(duì)左右攝像機(jī)進(jìn)行LM全局優(yōu)化,獲得左右攝像機(jī)外參數(shù)的優(yōu)化解;具體過程為:
根據(jù)步驟三三以實(shí)心圓標(biāo)定板的對(duì)角線長(zhǎng)度為約束條件對(duì)左右攝像機(jī)進(jìn)行LM全局優(yōu)化,通過該長(zhǎng)度縮放修正步驟三二得到的左右攝像機(jī)外參數(shù)Rr2l,Tr2l的近似值,步驟三優(yōu)化變量?jī)H包含外參數(shù)Rr2l,Tr2l,算法復(fù)雜度大幅降低,且獲得Rr2l,Tr2l的優(yōu)化解。
其它步驟及參數(shù)與具體實(shí)施方式五至七之一相同。
具體實(shí)施方式九:本實(shí)施方式與具體實(shí)施方式五至八之一不同的是:所述步驟四中根據(jù)左右攝像機(jī)外參數(shù)的優(yōu)化解求解平移向量和旋轉(zhuǎn)矩陣;具體過程為:
根據(jù)步驟三三中左右攝像機(jī)外參數(shù)的優(yōu)化解求解平移向量和旋轉(zhuǎn)矩陣;具體過程為:
設(shè)經(jīng)過畸變校正獲得的左右圖像理想圖像坐標(biāo)為(Xl,Yl),(Xr,Yr),則根據(jù)式(3)的第三個(gè)公式有
(frtx-Xrtz)(r4Xl+r5Yl+flr6)-(frty-Yrtz)(r1Xl+r2Yl+flr3)=(Yrtx-Xrty)(r7Xl+r8Yl+flr9) (7)
式中,fr為右像機(jī)有效焦距,fl為左像機(jī)有效焦距,r1,...,r9,tx,ty,tz為表征兩像機(jī)相互位置關(guān)系的外參數(shù);
由于tx≠0,上式兩邊同時(shí)除tx,且令α=1/tx,則T'=αT,T'=(1,t'y,t'z)T,式(7)得到含有11個(gè)未知數(shù)的方程,11個(gè)未知數(shù)為t'y、t'z、r1、r2、r3、r4、r5、r6、r7、r8、r9,該方程可表示為f(x)=0,其中x=(t'y,t'z,r1,r2,r3,r4,r5,r6,r7,r8,r9);
式中,α為比例系數(shù),T'為參數(shù)歸一化向量,t'y=ty/tx,tz′=tz/tx;
此外,旋轉(zhuǎn)矩陣R具有正交性,因此作為f(x)=0的罰函數(shù),形式如下:
這樣,可得到式(9)所示的49個(gè)點(diǎn)的無約束最優(yōu)目標(biāo)函數(shù);
其中,M1,M2,...,M6六個(gè)系數(shù)為罰因子,fi(x)為第i個(gè)圓心對(duì)應(yīng)的非線性函數(shù),由公式(7)做公式變形得到,n取值為1≤n≤49;
為了保證正交性,6個(gè)罰因子都取較大的值為105,當(dāng)罰因子大于105時(shí),得到的49個(gè)點(diǎn)的無約束最優(yōu)目標(biāo)函數(shù)不變;通過LM優(yōu)化方法求得x值,再利用式(3)求解得到帶有比例系數(shù)的zi',需要通過確定比例系數(shù)α值來求解平移向量和旋轉(zhuǎn)矩陣真實(shí)值,下面介紹α的求解方法;
設(shè)圖4f所示實(shí)心圓標(biāo)定板編號(hào)1、49兩圓圓心形成的對(duì)角線長(zhǎng)度為L(zhǎng),已知圓心距,通過幾何計(jì)算得到L值;圓1、49對(duì)應(yīng)的左圖像坐標(biāo)分別為(Xl1,Yl1)、(Xl49,Yl49);通過式(3)有以下等式成立:
式中,z1為實(shí)心圓標(biāo)定板編號(hào)1,z49為實(shí)心圓標(biāo)定板編號(hào)49,Xl1為實(shí)心圓標(biāo)定板編號(hào)1對(duì)應(yīng)的左圖像橫坐標(biāo),Xl49為實(shí)心圓標(biāo)定板編號(hào)49對(duì)應(yīng)的左圖像橫坐標(biāo),Yl1為實(shí)心圓標(biāo)定板編號(hào)1對(duì)應(yīng)的左圖像縱坐標(biāo),Yl49為實(shí)心圓標(biāo)定板編號(hào)1對(duì)應(yīng)的左圖像縱坐標(biāo);
又由于z'1=αz1,z'49=αz49,則式(10)變?yōu)?/p>
由式(11)可求得
事實(shí)上α的符號(hào)由坐標(biāo)選取法決定,本發(fā)明中取負(fù)號(hào),至此,得到平移向量T*和旋轉(zhuǎn)矩陣R*可以求得,而T*可能仍含有比例因子,需要進(jìn)一步進(jìn)行縮放;通過式(3)再一次重建圓1,49形成的對(duì)角線長(zhǎng)度,設(shè)此時(shí)重建的長(zhǎng)度為L(zhǎng)*,因此,最終得到的平移向量為T=LT*/L*,旋轉(zhuǎn)矩陣R=R*。
其它步驟及參數(shù)與具體實(shí)施方式五至八之一相同。
具體實(shí)施方式十:本實(shí)施方式的一種基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)包括:
(1)基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)包括兩臺(tái)CCD相機(jī)、實(shí)心圓標(biāo)定板、射燈、鏡頭、相機(jī)支架、射燈支架、多通道圖像采集卡和計(jì)算機(jī);所述實(shí)心圓標(biāo)定板為白色底面上均勻分布49個(gè)黑色圓形斑點(diǎn);標(biāo)定板本身須有較大剛度,不會(huì)輕易發(fā)生變形;
(2)將光學(xué)鏡頭與CCD傳感器相連,并將CCD相機(jī)安裝在相機(jī)支架上;將射燈安裝在射燈支架上;
其中,安裝的CCD相機(jī)型號(hào)性能相同,并且CCD相機(jī)都具有較高圖像分辨率;光學(xué)鏡頭尺寸與CCD傳感器尺寸匹配,接口類型匹配;光學(xué)鏡頭根據(jù)物距和靶標(biāo)成像的大小來選擇鏡頭焦距;光學(xué)鏡頭像素為百萬像素級(jí)光學(xué)鏡頭;相機(jī)支架用于固定相機(jī);較高圖像分辨率為百萬像素以上;
(3)每臺(tái)CCD相機(jī)通過導(dǎo)線連接到多通道圖像采集卡上,多通道圖像采集卡安裝在計(jì)算機(jī)上,將計(jì)算機(jī)接通電源;將射燈接通電源,射燈作為補(bǔ)償光源,根據(jù)拍攝照片時(shí)的光照需要來選擇射燈是否打開;
(4)打開CCD相機(jī),調(diào)整CCD相機(jī)的角度和焦距,使標(biāo)定板位于視場(chǎng)中央且圖像清晰,然后將CCD相機(jī)固定;打開射燈,并調(diào)整射燈的角度來對(duì)準(zhǔn)靶標(biāo);調(diào)整完成后,將射燈固定;打開電腦,安裝CCD相機(jī)驅(qū)動(dòng)程序,確保CCD相機(jī)正常工作;
(5)打開計(jì)算機(jī),運(yùn)行計(jì)算機(jī)中的基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)標(biāo)定軟件進(jìn)行圖片標(biāo)定;
所述步驟(5)中多通道圖像采集卡采用模擬采集卡或數(shù)字采集卡,接口類型為IEEE1394、千兆網(wǎng)卡或USB接口。
其它步驟及參數(shù)與具體實(shí)施方式六相同。
采用以下實(shí)施例驗(yàn)證本發(fā)明的有益效果:
實(shí)施例一:
本實(shí)施例一種基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)的標(biāo)定系統(tǒng)及方法具體是按照以下步驟制備的:
步驟一:運(yùn)行計(jì)算機(jī)中的基于實(shí)心圓標(biāo)定板的立體視覺系統(tǒng)標(biāo)定軟件得到標(biāo)定初始界面,如圖5所示;
步驟二:將待標(biāo)定圖片存放到當(dāng)前目錄下;
步驟三:選擇光照條件“dark”,在“Parameter_input”中輸入相應(yīng)的參數(shù),點(diǎn)擊“First_elilm”進(jìn)行圖片預(yù)處理,如圖6所示;
步驟四:選擇要進(jìn)行標(biāo)定的圖片張數(shù),對(duì)“Parameter_input”中參數(shù)進(jìn)行修改,點(diǎn)擊“Left_calib”,進(jìn)行左相機(jī)標(biāo)定,如圖7所示。得到左相機(jī)標(biāo)定結(jié)果如圖8所示;
步驟九:點(diǎn)擊“Right_calib”,得到右相機(jī)標(biāo)定界面如圖9所示。得到右相機(jī)標(biāo)定結(jié)果如圖10所示;
步驟十:點(diǎn)擊“Stereo_calib”,選擇標(biāo)定板序號(hào)“1”,得到圖11。
至此,如圖12所示,整個(gè)標(biāo)定過程完畢,相應(yīng)的數(shù)據(jù)保存在當(dāng)前路徑下。
本實(shí)施例為立體視覺標(biāo)定提供一種優(yōu)化變量數(shù)目少,計(jì)算簡(jiǎn)單、快速和精度高的標(biāo)定軟件和方法。
本發(fā)明還可有其它多種實(shí)施例,在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下,本領(lǐng)域技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形,但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。