專利名稱：可調(diào)精度的神經(jīng)網(wǎng)絡(luò)攝像機(jī)標(biāo)定方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種可調(diào)精度的神經(jīng)網(wǎng)絡(luò)攝像機(jī)標(biāo)定方法，用于對(duì)攝像機(jī)進(jìn)行標(biāo)定。屬于先進(jìn)制造與自動(dòng)化技術(shù)領(lǐng)域。
背景技術(shù)：
計(jì)算機(jī)視覺的基本任務(wù)是從攝像機(jī)獲取的圖像信息計(jì)算出物體的三維空間幾何信息，圖像上每一個(gè)點(diǎn)的位置與物體表面相應(yīng)點(diǎn)的幾何位置有關(guān)。圖像中這些位置的相互關(guān)系由攝像機(jī)成像幾何模型決定。模型的參數(shù)稱為攝像機(jī)參數(shù)，包括確定攝像機(jī)內(nèi)部幾何與光學(xué)參數(shù)(內(nèi)部參數(shù))以及攝像機(jī)相對(duì)于世界坐標(biāo)系的關(guān)系(外部參數(shù))。這些參數(shù)必須通過實(shí)驗(yàn)來確定，這個(gè)過程稱為攝像機(jī)標(biāo)定。目前常用的標(biāo)定方法有線性法、非線性優(yōu)化法、兩步法、雙平面法、主動(dòng)標(biāo)定法等，這些方法都是利用成像的幾何性質(zhì)，標(biāo)定出攝像機(jī)的內(nèi)部與外部參數(shù)。
目前使用神經(jīng)網(wǎng)絡(luò)進(jìn)行攝像機(jī)標(biāo)定方法仍然不為多見。直接將整個(gè)圖像區(qū)域作為訓(xùn)練與識(shí)別的區(qū)域，沒有考慮到在圖像的不同部分對(duì)應(yīng)的透鏡徑向畸變嚴(yán)重程度是不同的，因而最后的識(shí)別誤差較大，如文獻(xiàn)“攝像機(jī)神經(jīng)網(wǎng)絡(luò)標(biāo)定技術(shù)”(趙清杰，孫增圻，蘭麗。控制與決策。2002；17(3)，May336-342)所介紹。某些文獻(xiàn)考慮到了這一因素，但是卻沒有就神經(jīng)網(wǎng)絡(luò)的訓(xùn)練區(qū)域進(jìn)行明確劃分，只是簡單的將圖像區(qū)域根據(jù)經(jīng)驗(yàn)人為的劃分為圖像中心區(qū)域與非中心區(qū)域，對(duì)圖像中心區(qū)域以外的部分認(rèn)為畸變程度是一樣的，這種方法在一定程度上提高了系統(tǒng)的識(shí)別率，但是仍然不能從根本上解決距圖像中心越遠(yuǎn)，畸變嚴(yán)重程度越大這一問題，簡單的將圖像外層區(qū)域劃分為一類，仍然存在著較大的誤差。如文獻(xiàn)“Junghee Jun and Choongwon Kim，“Robust Camera CalibrationUsing Neural Network”，IEEE TENCON，1999，pp694-697.)所介紹。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提出一種可調(diào)精度的神經(jīng)網(wǎng)絡(luò)攝像機(jī)標(biāo)定方法，降低圖像徑向畸變帶來的誤差，實(shí)現(xiàn)簡單、靈活與高精度的攝像機(jī)標(biāo)定。
為實(shí)現(xiàn)這樣的目的，本發(fā)明首先根據(jù)徑向畸變程度的不同對(duì)圖像區(qū)域進(jìn)行劃分，由初始半徑得到一系列同心圓環(huán)，將同心圓環(huán)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練區(qū)域?？梢愿鶕?jù)畸變嚴(yán)重程度改變區(qū)域劃分的數(shù)目，對(duì)遠(yuǎn)離圖像中心的區(qū)域，即畸變程度嚴(yán)重的區(qū)域，劃分的類別細(xì)密，而靠近圖像中心畸變輕微的區(qū)域，劃分粗疏，以減小因徑向畸變帶來的誤差。對(duì)標(biāo)定圖像進(jìn)行區(qū)域劃分后，將標(biāo)定紙的世界坐標(biāo)作為輸入，而將圖像坐標(biāo)作為輸出，構(gòu)成三輸入、兩輸出BP神經(jīng)網(wǎng)絡(luò)對(duì)所劃分區(qū)域進(jìn)行訓(xùn)練。最后使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行攝像機(jī)標(biāo)定。
本發(fā)明的方法具體包括以下幾個(gè)步驟1.神經(jīng)網(wǎng)絡(luò)訓(xùn)練區(qū)域的劃分。
在可調(diào)精度的神經(jīng)網(wǎng)絡(luò)攝像機(jī)標(biāo)定法中，攝像機(jī)的球面鏡頭存在畸變現(xiàn)象，且距離透鏡中心越遠(yuǎn)，畸變程度越嚴(yán)重，因此如果不加區(qū)別的將所有的圖像點(diǎn)作為一類樣本進(jìn)行訓(xùn)練與識(shí)別將會(huì)給結(jié)果帶來很大的誤差。透鏡畸變包括兩個(gè)部分徑向變形與偏心。由于誤差主要由徑向畸變引起，所以在實(shí)際應(yīng)用中，一般只考慮徑向畸變面忽略偏心。本發(fā)明只考慮徑向畸變并且認(rèn)為畸變誤差關(guān)于透鏡中心對(duì)稱。
本發(fā)明首先對(duì)棋盤標(biāo)定紙采集所得到的標(biāo)定圖像進(jìn)行區(qū)域劃分。由于畸變量關(guān)于圖像中心徑向?qū)ΨQ，將圖像劃分為若干同心圓環(huán)。每個(gè)圓環(huán)內(nèi)畸變量差異不大，相鄰圓環(huán)內(nèi)畸變相對(duì)量的改變幅度在設(shè)定的某個(gè)允許誤差范圍之內(nèi)。通過計(jì)算本發(fā)明可以得到畸變誤差的徑向相對(duì)量與到圖像中心的徑向距離的平方近似成正比，根據(jù)徑向畸變程度的不同將整幅圖像劃分為一系列間距不斷縮小的同心圓環(huán)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練區(qū)域。
本發(fā)明確定了訓(xùn)練區(qū)域即同心圓環(huán)之間的半徑關(guān)系為rn=r1n,]]>rn為第n個(gè)訓(xùn)練區(qū)域的半徑，rl為第1個(gè)訓(xùn)練區(qū)域的半徑。在實(shí)際應(yīng)用中，首先將一標(biāo)定紙圖像作為訓(xùn)練樣本，根據(jù)需要的精度設(shè)定初始半徑rl，然后由上述關(guān)系可以自動(dòng)得到整幅圖像上所有訓(xùn)練區(qū)域。
2.使用神經(jīng)網(wǎng)絡(luò)對(duì)所劃分區(qū)域進(jìn)行訓(xùn)練。
對(duì)標(biāo)定圖像進(jìn)行區(qū)域劃分后，根據(jù)訓(xùn)練劃分區(qū)域的數(shù)目決定神經(jīng)網(wǎng)絡(luò)的數(shù)目，對(duì)每一個(gè)同心圓環(huán)，即訓(xùn)練區(qū)域使用對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。對(duì)圖像進(jìn)行去噪處理后，將灰度圖像進(jìn)行二值化處理得到二值化圖像。對(duì)二值化圖像進(jìn)行Hough(霍夫)直線檢測，得到一系列相互交叉的直線。求取每個(gè)交叉點(diǎn)的二維圖像坐標(biāo)，將二維圖像坐標(biāo)作為神經(jīng)網(wǎng)絡(luò)的輸出樣本，而在標(biāo)定紙中與交叉點(diǎn)二維圖像對(duì)應(yīng)的三維世界坐標(biāo)作為輸入。本發(fā)明使用BP神經(jīng)網(wǎng)絡(luò)作為訓(xùn)練用的網(wǎng)絡(luò)。將各個(gè)坐標(biāo)分別輸入到對(duì)應(yīng)的BP神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。最后將各個(gè)劃分區(qū)域上神經(jīng)網(wǎng)絡(luò)所得到的訓(xùn)練結(jié)果作為整幅圖像的訓(xùn)練結(jié)果。
3.使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行攝像機(jī)標(biāo)定。
對(duì)任意物體進(jìn)行圖像采集得到的物體圖像進(jìn)行相應(yīng)的區(qū)域劃分，計(jì)算圖像中任意坐標(biāo)點(diǎn)到圖像中心點(diǎn)的距離r，根據(jù)訓(xùn)練區(qū)域即同心圓環(huán)之間的半徑關(guān)系公式可以得到，nx=rn2/r12,]]>如果n-1＜nx≤n，則圖像點(diǎn)對(duì)應(yīng)于第n個(gè)神經(jīng)網(wǎng)絡(luò)。將圖像點(diǎn)對(duì)應(yīng)的世界坐標(biāo)輸入到訓(xùn)練好神經(jīng)網(wǎng)絡(luò)中，輸出的結(jié)果即為得到的標(biāo)定好的真實(shí)的圖像坐標(biāo)。
本發(fā)明的方法簡單、靈活、實(shí)現(xiàn)容易，可以根據(jù)不同的畸變嚴(yán)重程度自動(dòng)完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練區(qū)域的劃分，在避免人為因素引起誤差的同時(shí)縮短了構(gòu)造神經(jīng)網(wǎng)絡(luò)訓(xùn)練區(qū)域所需要的時(shí)間。在實(shí)際應(yīng)用中，通過改變區(qū)域劃分的數(shù)目，大大降低因徑向畸變帶來的誤差，可以滿足實(shí)際攝像機(jī)標(biāo)定中的不同精度要求。


圖1為本發(fā)明神經(jīng)網(wǎng)絡(luò)區(qū)域劃分示意圖。
圖2為不同初始半徑對(duì)應(yīng)的訓(xùn)練區(qū)域。
圖3為識(shí)別率—初始半徑變化曲線。
圖4為訓(xùn)練時(shí)間—初始半徑變化曲線。
具體實(shí)施例方式為了更好的理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖和實(shí)施例作進(jìn)一步的詳細(xì)描述。
圖1為本發(fā)明神經(jīng)網(wǎng)絡(luò)區(qū)域劃分示意圖。由于攝像機(jī)的球面鏡頭存在徑向畸變現(xiàn)象，且距離透鏡中心越遠(yuǎn)，畸變程度越嚴(yán)重，因此如果不加區(qū)別的將所有的圖像點(diǎn)作為一類樣本進(jìn)行訓(xùn)練將會(huì)給結(jié)果帶來很大的誤差。
描述非線性畸變可用下列公式x′=x~+δx(x,y)]]>y′=y~+δy(x,y)---(1)]]>(x′，y′)表示真實(shí)的圖像坐標(biāo)， 表示未修正的圖像坐標(biāo)。(δx(x，y)，δy(x，y))是畸變量。
徑向畸變的修正量可以由距圖像中心的徑向距離的偶次冪多項(xiàng)式模型來表示δx(x,y)=(x~-xp)(κ1r2+κ2r4+κ3r6+···)]]>δy(x,y)=(y~-yp)(κ1r2+κ2r4+κ3r6+···)---(2)]]>其中(xp，yp)是圖像中心位置坐標(biāo)的精確值，而r=(x~-xp)2+(y~-yp)2]]>是到圖像中心的徑向距離。
所以由(2)得到總的畸變徑向相對(duì)量為，δ=1r(δx2(x,y)+δy2(x,y))1/2]]>=κ1r2+κ2r4+···]]>≈κ1r2]]>可以看到透鏡的畸變量的徑向相對(duì)量與到圖像中心的徑向距離的平方近似成正比，由于在整個(gè)圖像中各部分的畸變量是不同的，距離圖像中心越近，畸變量越小，靠近圖像邊緣，畸變量越大。
由于畸變量關(guān)于圖像中心徑向?qū)ΨQ，且畸變相對(duì)量與距圖像中心的半徑的平方成正比，將圖像劃分成若干同心圓，不妨用D1，D2，…Dn來表示，每個(gè)圓環(huán)內(nèi)畸變量差異不大。相鄰圓環(huán)內(nèi)畸變相對(duì)量的改變幅度在某個(gè)允許誤差的范圍ε之內(nèi)。
D1:δ1=κ1r12=ϵ,]]>D2:δ2-δ1=κ1r22-κ1r12=ϵ,]]>
Dn:δn-δn-1=κ1rn2-κ1rn-12=ϵ,---(3)]]>由(3)可以得到rn2=nκ1ϵ---(4)]]>由(4)可以獲得不同圓的半徑為r1=1κ1ϵ,r2=2κ1ϵ,···,rn=nκ1ϵ----(5)]]>不妨設(shè)ϵκ1=t,]]>則對(duì)于(5)來說r1=t,r2=t2,···,rn=tn---(6)]]>可以得到rn=r1n---(7)]]>由(7)可以得到rn=r1n,]]>rn-1=r1n-1,···,]]>r2=r12]]>于是rn-rn-1=r1(n-n-1)]]>rn-1-rn-2=r1(n-1-n-2)]]>r2-r1=r1(2-1)]]>不難得到rn-rn-1＜rn-1-rn-2＜…＜r2-r1＜r1由此可知畸變劃分區(qū)域?yàn)橐幌盗虚g距不斷縮小的同心圓環(huán)。將得到的同心圓環(huán)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練區(qū)域。
圖2是實(shí)驗(yàn)用的棋盤標(biāo)定紙。本發(fā)明將標(biāo)定紙的世界坐標(biāo)作為輸入，而將圖像坐標(biāo)作為輸出，構(gòu)成三輸入、兩輸出BP神經(jīng)網(wǎng)絡(luò)。
對(duì)棋盤標(biāo)定紙進(jìn)行圖像采集，得到標(biāo)定圖像，如圖2(圖2a-2d)所示。對(duì)圖像進(jìn)行去噪處理后，將灰度圖像進(jìn)行二值化處理得到二值化圖像。對(duì)二值化圖像進(jìn)行Hough(霍夫)直線檢測，得到一系列相互交叉的直線。
求取每個(gè)交叉點(diǎn)的二維圖像坐標(biāo) 又知圖像中心點(diǎn)坐標(biāo)為(xp，yp)，可以得到交叉點(diǎn)到圖像中心點(diǎn)的距離r1=(x~i-xp)2+(y~i-yp)2.]]>如果rn＞r1＞rn-1，則交叉點(diǎn)坐標(biāo)屬于第n個(gè)劃分區(qū)域，也即對(duì)應(yīng)于第n個(gè)神經(jīng)網(wǎng)絡(luò)，將 第n個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練輸出樣本。與 對(duì)應(yīng)的三維世界坐標(biāo)則作為作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練輸入樣本，然后對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。依次類推，可以得到整幅圖像上，各個(gè)劃分區(qū)域中神經(jīng)網(wǎng)絡(luò)的訓(xùn)練輸入與輸出樣本。
如圖2a-d所示，分別采用不同的初始半徑，其中圖2a為初始半徑r1＝180，對(duì)應(yīng)于兩個(gè)同心圓，即系統(tǒng)有兩個(gè)供訓(xùn)練與識(shí)別的神經(jīng)網(wǎng)絡(luò)。在圖2b中，初始半徑r1＝150，對(duì)應(yīng)于三個(gè)同心圓。圖2c對(duì)應(yīng)于初始半徑r1＝130，對(duì)應(yīng)于四個(gè)畸變區(qū)域。而在圖2d中，初始半徑r1＝120，對(duì)應(yīng)于五個(gè)同心圓。在圖2中不難看出訓(xùn)練區(qū)域是一系列間距不斷縮小的同心圓環(huán)。
圖3為識(shí)別率—初始半徑變化曲線。圖3中曲線的橫坐標(biāo)對(duì)應(yīng)于圖2中所設(shè)定的初始半徑?？v坐標(biāo)對(duì)應(yīng)于識(shí)別率。r1＝180時(shí)，識(shí)別率為95.05％；當(dāng)r1＝150時(shí)，識(shí)別率為97.79％；當(dāng)r1＝130時(shí)，識(shí)別率為99.01％；當(dāng)r1＝120時(shí)，識(shí)別率為99.45％。因此可以知道，初始半徑越大，同心圓數(shù)目越少，系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)數(shù)目也越少，同時(shí)識(shí)別精度越低。
圖4為訓(xùn)練時(shí)間—初始半徑變化曲線。圖4中曲線的橫坐標(biāo)對(duì)應(yīng)于圖2中所設(shè)定的初始半徑?？v坐標(biāo)對(duì)應(yīng)于神經(jīng)網(wǎng)絡(luò)所需要的訓(xùn)練時(shí)間。r1＝180時(shí)，訓(xùn)練時(shí)間為25s；當(dāng)r1＝150時(shí)，訓(xùn)練時(shí)間為44s；當(dāng)r1＝130時(shí)，訓(xùn)練時(shí)間為60s；當(dāng)r1＝120時(shí)，為70s。由此可以知道，初始半徑越大，同心圓數(shù)目越小，系統(tǒng)所需要的訓(xùn)練時(shí)間越少。
權(quán)利要求
1.一種可調(diào)精度的神經(jīng)網(wǎng)絡(luò)攝像機(jī)標(biāo)定方法，其特征在于包括如下具體步驟1)神經(jīng)網(wǎng)絡(luò)訓(xùn)練區(qū)域的劃分將棋盤標(biāo)定紙采集所得到的標(biāo)定圖像劃分為一系列間距不斷縮小的同心圓環(huán)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練區(qū)域，相鄰圓環(huán)內(nèi)畸變相對(duì)量的改變幅度在設(shè)定的允許誤差范圍內(nèi)，訓(xùn)練區(qū)域之間的半徑關(guān)系為rn=r1n,]]>rn為第n個(gè)訓(xùn)練區(qū)域的半徑，r1為第1個(gè)訓(xùn)練區(qū)域的半徑；2)使用神經(jīng)網(wǎng)絡(luò)對(duì)所劃分區(qū)域進(jìn)行訓(xùn)練根據(jù)訓(xùn)練劃分區(qū)域的數(shù)目決定神經(jīng)網(wǎng)絡(luò)的數(shù)目，對(duì)每一個(gè)訓(xùn)練區(qū)域使用對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對(duì)圖像進(jìn)行去噪處理后，將灰度圖像進(jìn)行二值化處理得到二值化圖像，對(duì)二值化圖像進(jìn)行霍夫直線檢測，得到一系列相互交叉的直線，求取每個(gè)交叉點(diǎn)的二維圖像坐標(biāo)作為神經(jīng)網(wǎng)絡(luò)的輸出樣本，而在標(biāo)定紙中與交叉點(diǎn)二維圖像對(duì)應(yīng)的三維世界坐標(biāo)作為輸入，將各個(gè)坐標(biāo)分別輸入到對(duì)應(yīng)的BP神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，最后將各個(gè)劃分區(qū)域上神經(jīng)網(wǎng)絡(luò)所得到的訓(xùn)練結(jié)果作為整幅圖像的訓(xùn)練結(jié)果；3)使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行攝像機(jī)標(biāo)定對(duì)采集得到的任意物體圖像進(jìn)行相應(yīng)的區(qū)域劃分，計(jì)算圖像中任意坐標(biāo)點(diǎn)到圖像中心點(diǎn)的距離，根據(jù)訓(xùn)練區(qū)域之間的半徑關(guān)系，找出圖像坐標(biāo)點(diǎn)對(duì)應(yīng)的劃分區(qū)域，即找到對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)，將圖像點(diǎn)對(duì)應(yīng)的世界坐標(biāo)輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，得到標(biāo)定好的真實(shí)圖像坐標(biāo)。
全文摘要
一種可調(diào)精度的神經(jīng)網(wǎng)絡(luò)攝像機(jī)標(biāo)定方法，首先根據(jù)徑向畸變程度的不同對(duì)圖像區(qū)域進(jìn)行劃分，由初始半徑得到一系列同心圓環(huán)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練區(qū)域，根據(jù)畸變嚴(yán)重程度改變區(qū)域劃分的數(shù)目，對(duì)遠(yuǎn)離圖像中心的區(qū)域，即畸變程度嚴(yán)重的區(qū)域，劃分的類別細(xì)密，而靠近圖像中心畸變輕微的區(qū)域，劃分粗疏，以減小因徑向畸變帶來的誤差；對(duì)標(biāo)定圖像進(jìn)行區(qū)域劃分后，將標(biāo)定紙的世界坐標(biāo)作為輸入，而將圖像坐標(biāo)作為輸出，構(gòu)成三輸入、兩輸出BP神經(jīng)網(wǎng)絡(luò)對(duì)所劃分區(qū)域進(jìn)行訓(xùn)練，再使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行攝像機(jī)標(biāo)定。本發(fā)明根據(jù)不同的畸變嚴(yán)重程度自動(dòng)完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練區(qū)域的劃分，大大降低因徑向畸變帶來的誤差，可以滿足實(shí)際攝像機(jī)標(biāo)定中的不同精度要求。
文檔編號(hào)G01B21/00GK1529124SQ03151299
公開日2004年9月15日 申請(qǐng)日期2003年9月29日 優(yōu)先權(quán)日2003年9月29日
發(fā)明者劉宏建, 羅毅, 劉允才 申請(qǐng)人:上海交通大學(xué)