專(zhuān)利名稱(chēng)：環(huán)眼鏡頭圖像半柱面全景展開(kāi)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及全向視覺(jué)領(lǐng)域,特指一種環(huán)眼鏡頭圖像(Pano-Eye Lens Image)的半柱面全景展開(kāi)方法。
背景技術(shù)：
全景圖像/視頻憑借360度全方位視角、能覆蓋大范圍場(chǎng)景的優(yōu)勢(shì)，在全景視頻監(jiān)控、機(jī)器人視覺(jué)導(dǎo)航、虛擬實(shí)景空間構(gòu)建等領(lǐng)域得到了越來(lái)越廣泛的研究和應(yīng)用。環(huán)眼鏡頭是一種類(lèi)似于魚(yú)眼鏡頭的超廣角鏡頭，能夠提供180°甚至更大視野范圍的成像效果。魚(yú)眼鏡頭成像面不同區(qū)域，其分辨率是不同的，越靠近圖像中心，分辨率越高，細(xì)節(jié)信息越多，越偏離圖像中心，分辨率越低，細(xì)節(jié)信息越少，變形越嚴(yán)重，有明顯的桶形失真(畸變)。而環(huán)眼鏡頭(Pano-Eye Lens)通過(guò)特殊的光學(xué)設(shè)計(jì)，使得圖像中心與邊緣分辨率差別減少，從而降低了變形，提高了全景觀察效果。目前還沒(méi)有針對(duì)環(huán)眼鏡頭的圖像校正方法，常見(jiàn)的魚(yú)眼 圖像校正方法主要有以下幾種球面投影模型是一種簡(jiǎn)單有效的方法，把魚(yú)眼鏡頭成像面看成一個(gè)球面。但這種方法需要預(yù)先知道魚(yú)眼圖像的光學(xué)中心和變換球面的半徑。因此現(xiàn)有的方法只適用于具有圓形區(qū)域的魚(yú)眼圖像。經(jīng)典的該類(lèi)算法如英向華和胡占義提出的“一種基于球面透視投影約束的魚(yú)眼鏡頭校正方法”(《計(jì)算機(jī)學(xué)報(bào)》，2003，Vol. 26，No. 12)。拋物面成像模型比較復(fù)雜，把魚(yú)眼鏡頭成像面看成一個(gè)拋物面，在恢復(fù)場(chǎng)景深度時(shí)可以得到更加精確的效果。但用該模型計(jì)算時(shí)過(guò)于復(fù)雜，一般用于利用魚(yú)眼照片恢復(fù)深度信息技術(shù)。相關(guān)的研究可以參考論文賈云得，呂宏靜，劉萬(wàn)春的“魚(yú)眼變形立體圖像恢復(fù)稠密深度圖的方法”(《計(jì)算機(jī)學(xué)報(bào)》，2003，Vol. 23，No. 12)。2D魚(yú)眼圖像變形校正，該方法不涉及到空間點(diǎn)信息，直接確定變形圖像與待校正圖像上對(duì)應(yīng)點(diǎn)坐標(biāo)變換，然后進(jìn)行像素灰度插值。該類(lèi)方法包括有球面坐標(biāo)定位，多項(xiàng)式坐標(biāo)變換，射影不變性以及通過(guò)極半徑映射來(lái)校正魚(yú)眼圖像畸變。球面坐標(biāo)定位展開(kāi)的算法最早由 T. Nathan Mundhenk 在論文 “Techniques for Fisheye Lens Calibaration usinga Minimal Number of Measurements” (Proc. of the SPIE Intelligent Robotics andComputer Vision Conference, 2000)中提出來(lái)的。3D魚(yú)眼圖像變形校正，包括投影轉(zhuǎn)換和魚(yú)眼鏡頭標(biāo)定兩種方法。投影轉(zhuǎn)換算法是將魚(yú)眼圖像轉(zhuǎn)換成透視投影的圖像，把魚(yú)眼圖像上每個(gè)平面像素點(diǎn)映射到三維場(chǎng)景投影構(gòu)成的二維平面點(diǎn)，根據(jù)圖像像素點(diǎn)和對(duì)應(yīng)光線(xiàn)三維向量間的關(guān)系，來(lái)實(shí)現(xiàn)校正。經(jīng)典的方法見(jiàn) D. B. Gennery 的論文 “Generalized Camera Calibration Including Fish-EyeLenses，，(International Journal of Computer Vision, 2006), X. H Ying 等的論文 “CanWe Consider Central Catadioptric Cameras and Fisheye Cameras within a UnifiedImaging Model”(ECCV 2004)等。魚(yú)眼鏡頭標(biāo)定算法是一類(lèi)精確恢復(fù)的方法，在建立魚(yú)眼鏡頭變形模型的基礎(chǔ)上，考慮到成像的各種畸變類(lèi)型，如常見(jiàn)的徑向變形、離心變形、薄棱鏡變形等，通過(guò)實(shí)驗(yàn)和目標(biāo)函數(shù)來(lái)求解出魚(yú)眼鏡頭內(nèi)外部參數(shù)，從而達(dá)到精確恢復(fù)魚(yú)眼圖像變形。此類(lèi)算法可參見(jiàn)賈云得等的“一種魚(yú)眼鏡頭成像立體視覺(jué)系統(tǒng)的標(biāo)定方法”(《計(jì)算機(jī)學(xué)報(bào)》，2000，Vol. 23，No. 11)等。然而，以往的魚(yú)眼圖像校正方法還是存在一些不足之處，如校正后圖像邊緣存在較為嚴(yán)重的變形，圖像原始信息的丟失，算法復(fù)雜等等。本發(fā)明針對(duì)傳統(tǒng)的魚(yú)眼圖像校正方法的不足，提出了一種針對(duì)環(huán)眼鏡頭圖像的半柱面全景展開(kāi)方法。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題在于針對(duì)環(huán)眼鏡頭圖像校正這個(gè)特定問(wèn)題，為了避免傳統(tǒng)魚(yú)眼圖像球面投影校正方法和平面透視投影校正方法等導(dǎo)致的圖像校正失真嚴(yán)重、圖像信息丟失等問(wèn)題，提出一種半柱面全景展開(kāi)方法，通過(guò)計(jì)算原始環(huán)眼鏡頭圖像與校正后柱面全景圖像之間的坐標(biāo)映射關(guān)系，提高了環(huán)眼鏡頭圖像校正后的圖像質(zhì)量和視覺(jué)效果。為解決上述技術(shù)問(wèn)題，本發(fā)明采取的技術(shù)方案包括如下步驟
I.根據(jù)0° -180°半柱面空間任一點(diǎn)通過(guò)環(huán)眼鏡頭成像到全向圖的投影關(guān)系，將半柱面空間中的每一個(gè)像素點(diǎn)P映射到環(huán)眼鏡頭圖像中的對(duì)應(yīng)點(diǎn)P’ ;2.推導(dǎo)半柱面空間中任一點(diǎn)p到半柱面全景展開(kāi)平面中的對(duì)應(yīng)點(diǎn)t的坐標(biāo)映射關(guān)系;3.根據(jù)步驟I和步驟2，推導(dǎo)得到半柱面全景展開(kāi)平面上的任一像素點(diǎn)t與環(huán)眼鏡頭圖像中對(duì)應(yīng)點(diǎn)P’的映射關(guān)系；4.遍歷半柱面全景展開(kāi)平面中的每一個(gè)像素點(diǎn)，重復(fù)步驟1-3，直至生成一幅完整的0° -180°半柱面全景圖像。其中步驟I中的半柱面空間任一點(diǎn)通過(guò)環(huán)眼鏡頭成像到全向圖的投影關(guān)系是根據(jù)所設(shè)計(jì)的環(huán)眼鏡頭的各項(xiàng)參數(shù)，通過(guò)光學(xué)成像幾何分析推導(dǎo)得到的。本發(fā)明所用的環(huán)眼鏡頭不同于傳統(tǒng)的標(biāo)準(zhǔn)魚(yú)眼鏡頭基本滿(mǎn)Srs = f* 0映射，而是〃 =
關(guān)系，使用高精度的非球面元件來(lái)降低遠(yuǎn)離軸的被擠壓效應(yīng)，相比于標(biāo)準(zhǔn)的f-9設(shè)計(jì)，降低了變形，這樣就使得圖像邊緣獲得更多的像素。其中W內(nèi)是e的函數(shù)，滿(mǎn)足d<(p{9)<\mie, (0<沒(méi)<冗/2),平面小孔透視成像滿(mǎn)足& = ^七&110，(如附圖I和附圖2所示)。步驟2是根據(jù)平面二維坐標(biāo)與空間三維坐標(biāo)的變換關(guān)系推導(dǎo)半柱面空間中任一點(diǎn)P到半柱面全景展開(kāi)平面中的對(duì)應(yīng)點(diǎn)t的坐標(biāo)映射關(guān)系。


圖I是環(huán)眼鏡頭、傳統(tǒng)魚(yú)眼鏡頭和普通透視鏡頭光線(xiàn)映射關(guān)系對(duì)比圖；圖2是本發(fā)明所用的環(huán)眼鏡頭滿(mǎn)足的光線(xiàn)映射關(guān)系與傳統(tǒng)的標(biāo)準(zhǔn)魚(yú)眼鏡頭和普通鏡頭滿(mǎn)足的光線(xiàn)映射關(guān)系對(duì)比圖；圖3是半柱面空間中任一點(diǎn)通過(guò)環(huán)眼鏡頭成像到全向圖的投影關(guān)系示意圖；圖4是半柱面全景展開(kāi)平面中任一點(diǎn)到半柱面空間中的對(duì)應(yīng)點(diǎn)的坐標(biāo)映射關(guān)系示意圖；圖5是環(huán)眼鏡頭圖像半柱面全景展開(kāi)方法實(shí)際效果圖。
具體實(shí)施例方式實(shí)施例I :以本發(fā)明所用環(huán)眼鏡頭成像為例，結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。第一步環(huán)眼鏡頭成像的投影是指將三維空間中的任意一點(diǎn)映射通過(guò)環(huán)眼鏡頭成像到像平面上一點(diǎn)。如附圖3所示，半柱面空間中任一點(diǎn)p (xp，yp，zp)發(fā)出的一條入射光線(xiàn)PO經(jīng)小孔中心0與成像平面xO’y交于點(diǎn)p' (xf，yf)，Ap’即為空間點(diǎn)P在環(huán)眼鏡頭圖像中的投影點(diǎn)。在環(huán)眼鏡頭圖像平面F中，圖像中的任一點(diǎn)p’可以用式(I)得到，其中r是點(diǎn)P’到環(huán)眼鏡頭圖像中心0’的距離，0是視場(chǎng)角，即入射光線(xiàn)和光軸的夾角，f 是等效焦距 (Effective Focal Length)。
xf-r cos Ap = f (p{&) cos Xp
<
yf = Mhap = f(p{6)^nXp⑴視場(chǎng)角0通過(guò)式⑵得到
(I 一2—T、0 = arctan --
ZP
K 7 (2)方位角Xp，即入射光線(xiàn)和X軸的夾角，通過(guò)式⑶得到
^ [ VxX、= arccos --
xP
、J(3)因此，半柱面空間中任一點(diǎn)P (xp，yp，zp)與環(huán)眼鏡頭成像平面xO’y對(duì)應(yīng)點(diǎn)p' (xf,yf)的映射關(guān)系如式(4)所示
( f「2-H、 ( (廠2-
r . Wp^xp+yP
xf = f(p arctan -- cos arccos --
^V \ F JJ \ \ F JJ
4( (廠I—n、( (廠2—
Jxn+yn Jxn + vn/* . \ p \ p pyf-f(p arctan - sin arccos --
-V I p JJ I V p JJ⑷第二步如附圖4所示，半柱面全景展開(kāi)平面T中任一點(diǎn)t(xt，yt)到半柱面空間P中的對(duì)應(yīng)點(diǎn)P(Xp，yp，zp)的坐標(biāo)映射關(guān)系，附圖4(c)為半柱面橫截面示意圖，因此有如下關(guān)系式xp = r cos ( a )(5)yp = yt(6)zp = r sin ( a )(7)并且有(W - X1) =-—-冗
W (8)
Wr =-
n(9)其中，W是全景展開(kāi)圖的寬度。
最后，結(jié)合兩步的結(jié)果，就可以推導(dǎo)得到半柱面全景展開(kāi)平面上的任一像素點(diǎn)t與環(huán)眼鏡頭圖像中對(duì)應(yīng)點(diǎn)P’的映射關(guān)系，達(dá)到了本發(fā)明所要實(shí)現(xiàn)的目標(biāo)。由上述環(huán)眼鏡頭圖像的半柱面全景展開(kāi)方法得到的半柱面全景展開(kāi)圖如附圖5所示，圖像質(zhì)量高，校正后圖像失真變形小，且圖像水平方向沒(méi)有信息丟失。本發(fā)明中提出的方法實(shí)際上可用于一般魚(yú)眼或廣角鏡頭成像全景展開(kāi)方法。以上實(shí)施例僅起到解釋本發(fā)明技術(shù)方案的作用，本發(fā)明所要求的保護(hù)范圍并不局限于上述實(shí)施例所述的實(shí)現(xiàn)方法和具體實(shí)施步驟。因此，僅對(duì)上述實(shí)施例中具體的成像模型、公式及算法進(jìn)行簡(jiǎn)單替換，但其實(shí)質(zhì)內(nèi)容仍與本發(fā)明所述方法相一致的技術(shù)方案，均應(yīng)屬于本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種環(huán)眼鏡頭圖像(Pano-Eye Image)的半柱面全景展開(kāi)方法,其特征包括如下步驟 1)根據(jù)0°-180°半柱面空間任一點(diǎn)通過(guò)環(huán)眼鏡頭成像到全向圖的投影關(guān)系，將半柱面空間中的每一個(gè)像素點(diǎn)P映射到環(huán)眼鏡頭圖像中的對(duì)應(yīng)點(diǎn)P’ ； 2)推導(dǎo)半柱面空間中任一點(diǎn)p到半柱面全景展開(kāi)平面中的對(duì)應(yīng)點(diǎn)t的坐標(biāo)映射關(guān)系； 3)根據(jù)步驟I和步驟2，推導(dǎo)得到半柱面全景展開(kāi)平面上的任一像素點(diǎn)t與環(huán)眼鏡頭圖像中對(duì)應(yīng)點(diǎn)p’的映射關(guān)系； 4)遍歷半柱面全景展開(kāi)平面中的每一個(gè)像素點(diǎn)，重復(fù)步驟1)_3)，直至生成一幅完整的0° -180°半柱面全景展開(kāi)圖像。
2.根據(jù)權(quán)利要求I所述環(huán)眼鏡頭圖像半柱面全景展開(kāi)方法，所述步驟I)中的半柱面空間任一點(diǎn)通過(guò)環(huán)眼鏡頭成像到全向圖的投影關(guān)系是根據(jù)所設(shè)計(jì)的環(huán)眼鏡頭的各項(xiàng)參數(shù)，通過(guò)光學(xué)成像幾何分析推導(dǎo)得到的；本發(fā)明所用的環(huán)眼鏡頭使用高精度的非球面元件來(lái)降低遠(yuǎn)離軸的被擠壓效應(yīng)，相比于標(biāo)準(zhǔn)的魚(yú)眼鏡頭f_ 6設(shè)計(jì)，變形減小，使得圖像邊緣獲得更多的像素。
3.根據(jù)權(quán)利要求I所述環(huán)眼鏡頭圖像半柱面全景展開(kāi)方法，所述步驟2)中的半柱面空間中任一點(diǎn)P到半柱面全景展開(kāi)平面中的對(duì)應(yīng)點(diǎn)t的坐標(biāo)映射關(guān)系是根據(jù)平面二維坐標(biāo)與空間三維坐標(biāo)的變換關(guān)系推導(dǎo)。
全文摘要
本發(fā)明公開(kāi)了一種環(huán)眼鏡頭圖像(Pano-Eye Image)的半柱面全景展開(kāi)方法。首先根據(jù)0°-180°半柱面空間任一點(diǎn)通過(guò)環(huán)眼鏡頭成像到全向圖的投影關(guān)系，將半柱面空間中的目標(biāo)像素點(diǎn)映射到原始采集的環(huán)眼鏡頭圖像中；然后再根據(jù)半柱面空間中任一點(diǎn)到半柱面全景展開(kāi)平面的坐標(biāo)映射關(guān)系，得到環(huán)眼鏡頭圖像的半柱面全景展開(kāi)圖。本發(fā)明所述方法避免了傳統(tǒng)魚(yú)眼圖像球面投影校正方法和平面透視投影校正方法等導(dǎo)致的圖像校正失真嚴(yán)重、圖像信息丟失等問(wèn)題，大大提高了環(huán)眼鏡頭圖像半柱面全景展開(kāi)圖的圖像質(zhì)量和視覺(jué)效果。
文檔編號(hào)H04N5/225GK102780834SQ20111012054
公開(kāi)日2012年11月14日 申請(qǐng)日期2011年5月11日 優(yōu)先權(quán)日2011年5月11日
發(fā)明者張茂軍, 李永樂(lè) 申請(qǐng)人:張茂軍, 李永樂(lè)