利用旋轉(zhuǎn)對稱廣角透鏡獲得全景和直線性圖像的方法和裝置本申請是2008年7月24日提出的、申請?zhí)枮?00880108548.0、名稱為“利用旋轉(zhuǎn)對稱廣角透鏡獲得全景和直線性圖像的方法和裝置”的發(fā)明申請的分案申請。技術(shù)領(lǐng)域本發(fā)明一般涉及從利用裝配有廣角透鏡的照相機(jī)得到的圖像中獲取無失真直線性圖像和全景圖像的數(shù)學(xué)上精確的圖像處理方法、以及利用該方法的設(shè)備,該直線性圖像和全景圖像對裸眼呈現(xiàn)得最為自然,該廣角透鏡繞光軸旋轉(zhuǎn)對稱。
背景技術(shù):捕捉諸如旅游勝地的景色優(yōu)美的地方的360°視圖的全景照相機(jī)是全景成像系統(tǒng)的示例。全景成像系統(tǒng)是從給定點(diǎn)捕捉一個(gè)人能夠通過做出一個(gè)完整的轉(zhuǎn)向所得到的視圖的成像系統(tǒng)。另一方面,全向成像系統(tǒng)從給定點(diǎn)捕捉每個(gè)可能方向的視圖。全向成像系統(tǒng)提供一個(gè)人從給定位置通過轉(zhuǎn)向以及上下看所能觀察到的視圖。在數(shù)學(xué)術(shù)語中,能夠由成像系統(tǒng)捕捉的區(qū)域的立體角為4π球面度。不僅在諸如拍攝建筑物、自然景物以及天體的傳統(tǒng)領(lǐng)域中,而且在利用CCD(電荷耦合器件)或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)照相機(jī)的安全/監(jiān)視系統(tǒng)中,在房地產(chǎn)、旅館以及旅游勝地的虛擬旅游中,以及在用于移動(dòng)式遙控裝置和無人機(jī)(UAV)的導(dǎo)航設(shè)備中,對全景成像系統(tǒng)都已經(jīng)進(jìn)行了大量的研究和發(fā)展。獲得全景圖像的一個(gè)方法是使用具有寬的視場(FOV)的魚眼透鏡。例如,整個(gè)天空和地平線能夠通過將裝配有具有180°FOV的魚眼透鏡指向天頂(即,將照相機(jī)的光軸調(diào)整為垂直于地平面)而捕捉在單個(gè)圖像中。由于這個(gè)原因,魚眼透鏡已經(jīng)經(jīng)常被稱為“全天空透鏡”。尤其是,Nikon的高端魚眼透鏡,即,6mmf/5.6魚眼-Nikkor,具有220°的FOV。因此,裝配有該透鏡的照相機(jī)能夠捕捉到該照相機(jī)的部分后部以及該照相機(jī)的前部。因而,在適當(dāng)?shù)膱D像處理之后,能夠從這樣獲得的魚眼圖像來獲得全景圖像。在很多情況下,成像系統(tǒng)安裝在豎直墻壁上。安裝在建筑物的外墻上的用于監(jiān)控環(huán)境的成像系統(tǒng)或者以及用于監(jiān)控客車后部的后視照相機(jī)便是這樣的實(shí)例。在這些情況下,如果水平視場明顯大于180°,則效率較低。這是因?yàn)闊o需監(jiān)控的墻壁在監(jiān)視屏中占據(jù)較大的空間。在這種情況下浪費(fèi)了像素,并且屏幕顯得遲鈍。因此,對于這些情況,180°左右的水平FOV更為合適。然而,對于這種應(yīng)用來說,具有180°FOV的魚眼透鏡不是理想的。這是因?yàn)榘殡S魚眼透鏡的桶形失真引起心理上的不適并且被消費(fèi)者所痛恨。搖拍-俯仰-縮放照相機(jī)是能夠安裝在內(nèi)部墻壁用于監(jiān)控整個(gè)房間的成像系統(tǒng)的實(shí)例。這種照相機(jī)由裝配有光學(xué)變焦透鏡的攝像機(jī)組成,其安裝在搖拍-俯仰物臺上。搖拍是對于給定角度在水平方向上的旋轉(zhuǎn)操作,而仰俯是對于給定角度在豎直方向上的旋轉(zhuǎn)操作。換言之,如果我們假設(shè)照相機(jī)位于天球的中心,則搖拍是改變經(jīng)度的操作,而仰俯是改變緯度的操作。因此,搖拍操作的理論范圍是360°,而仰俯操作的理論范圍是180°。搖拍-俯仰-縮放照相機(jī)的缺點(diǎn)包括高價(jià)、較大尺寸以及較重的重量。由于設(shè)計(jì)的困難以及復(fù)雜的結(jié)構(gòu),光學(xué)變焦透鏡大、重且昂貴。此外,搖拍-俯仰物臺也是不比照相機(jī)便宜的昂貴設(shè)備。因此,安裝搖拍-俯仰-縮放照相機(jī)需要花費(fèi)大量的金錢。此外,由于搖拍-俯仰-縮放照相機(jī)大且重,因而這點(diǎn)對某些應(yīng)用可能成為阻礙。這些情況的實(shí)例包括有效負(fù)載的重量非常重要的飛機(jī),或者存在嚴(yán)格的尺寸限制來在受限的空間安裝照相機(jī)。此外,因?yàn)閾u拍-俯仰-縮放操作為機(jī)械操作,因而較為耗時(shí)。因此,取決于將進(jìn)行的具體應(yīng)用,這種機(jī)械操作可能不夠快速。參考文獻(xiàn)1和2提供了從具有其他非所期望觀察點(diǎn)或投影方案的圖像中獲取具有特定觀察點(diǎn)或投影方案的圖像的基本技術(shù)。具體地,參考文獻(xiàn)2提供了立方體全景圖的實(shí)例。簡言之,立方體全景圖為一種特殊的顯示技術(shù),其中,假定觀察者位于由玻璃制成的虛構(gòu)立方體房間的正中央,而在該玻璃房間的中心外部的視圖直接轉(zhuǎn)錄在玻璃墻壁的、從物體到觀察者的光線矢量與玻璃墻壁相交的區(qū)域。在上述參考文獻(xiàn)中提供了更加先進(jìn)的技術(shù)的實(shí)例,利用該技術(shù),能夠計(jì)算從任意形狀的鏡面的反射。具體地,參考文獻(xiàn)2的作者創(chuàng)建了如同由金屬表面制成的具有高度反射的鏡類皮膚的虛構(gòu)蜥蜴,然后建立與該蜥蜴分開的觀察者的觀察點(diǎn),并計(jì)算從虛構(gòu)觀察者的觀察點(diǎn)的在蜥蜴皮膚上反射的虛構(gòu)環(huán)境。然而,該環(huán)境不是由光學(xué)透鏡捕捉的真實(shí)環(huán)境,而是用虛構(gòu)無失真針孔照相機(jī)捕捉的計(jì)算機(jī)創(chuàng)建的虛擬環(huán)境。另一方面,在參考文獻(xiàn)3中描述的成像系統(tǒng)能夠執(zhí)行搖拍-俯仰-縮放操作而沒有物理移動(dòng)部分。所述發(fā)明利用裝配有具有大于180°FOV的魚眼透鏡來給環(huán)境照相。因而,用戶利用諸如操縱桿的多種設(shè)備指定景象的主方向,基于此,計(jì)算機(jī)從能夠通過將無失真照相機(jī)朝向該特定方向而獲得的魚眼圖像中獲取直線性圖像。該發(fā)明和現(xiàn)有技術(shù)之間的主要區(qū)別在于該發(fā)明創(chuàng)建了與用戶采用諸如操縱桿或計(jì)算機(jī)鼠標(biāo)的設(shè)備指定的特定方向相對應(yīng)的直線性圖像。在虛擬現(xiàn)實(shí)領(lǐng)域,或者當(dāng)期望替代機(jī)械搖拍-俯仰-縮放照相機(jī)時(shí),該技術(shù)是核心技術(shù),并且關(guān)鍵詞是“交互式照片”。在該技術(shù)中,在照相機(jī)中沒有物理移動(dòng)部件。因此,系統(tǒng)反應(yīng)快速,并且機(jī)械故障的概率更低。通常,當(dāng)安裝諸如安全照相機(jī)的成像系統(tǒng)時(shí),需要進(jìn)行預(yù)防措施以使得垂直于水平面的豎直線在所獲取的圖像中同樣呈現(xiàn)為豎直。在這種情況下,即使進(jìn)行搖拍-俯仰-縮放操作,豎直線也仍然呈現(xiàn)為豎直。另一方面,在所述發(fā)明中,在執(zhí)行了軟件搖拍-俯仰-縮放操作后,豎直線通常不呈現(xiàn)為豎直。為了補(bǔ)正這種不自然的結(jié)果,需要額外進(jìn)行旋轉(zhuǎn)操作,這在機(jī)械的搖拍-俯仰-縮放照相機(jī)中是找不到的。此外,所述發(fā)明不提供轉(zhuǎn)動(dòng)角的精確數(shù)量,而這是將豎直線顯示為豎直線所需的。因此,為了將豎直線顯示為豎直線,必須在試錯(cuò)法中得到轉(zhuǎn)動(dòng)角。此外,所述發(fā)明假定魚眼透鏡的投影方案為理想的等距投影方案。但是,魚眼透鏡的真實(shí)投影方案通常示出與理想的等距投影方案的巨大偏差。因?yàn)樵摪l(fā)明未考慮實(shí)際透鏡的失真性質(zhì),因而圖像處理后獲得的圖像仍然顯示出失真。參考文獻(xiàn)4中描述的發(fā)明糾正了參考文獻(xiàn)3中描述的發(fā)明的缺點(diǎn),即,未考慮圖像處理中使用的魚眼透鏡的真實(shí)投影方案。然而,在監(jiān)視屏中未將豎直線顯示為豎直線的缺點(diǎn)并沒有解決。從另一方面說,由于萬有引力,包括人類在內(nèi)的所有動(dòng)物和植物都限制在地球表面上,并且在需要注意或需采取預(yù)防措施的事件的多數(shù)都發(fā)生在地平線附近。因此,即使必須監(jiān)視地平線上的全部360°方向,也沒有必要沿著豎直方向監(jiān)視例如高至天頂或低至天底。如果我們想要在二維平面上描述全部360°方向的景物,那么失真是不可避免的。類似的困難出現(xiàn)在地圖學(xué)中,其中作為球表面上的結(jié)構(gòu)的地球上的地理需要映射到平面的二維地圖上。在所有失真當(dāng)中,對人類來說呈現(xiàn)得最為不自然的失真是豎直線呈現(xiàn)為曲線的失真。因此,即使存在其他種類的失真,確保不存在這種失真也是重要的。參考文獻(xiàn)5中描述了多種地圖投影方案中的公知的地圖投影方案,諸如等矩形投影、墨卡脫(Mercator)投影以及圓柱投影方案,而參考文獻(xiàn)6提供了多種地圖投影方案的簡史。在這些當(dāng)中,當(dāng)我們描述地球上的地理時(shí),或者當(dāng)我們繪制天球以便制作星座圖時(shí),等矩形投影方案是我們最為熟悉的。參見圖1,如果我們假設(shè)地球或天球表面為半徑為S的球面,那么地球表面上的任意點(diǎn)Q具有經(jīng)度ψ和緯度δ。另一方面,圖2為根據(jù)等矩形投影方案繪制的平面圖的示意圖。地球表面上的具有的經(jīng)度ψ和緯度δ點(diǎn)Q在根據(jù)等矩形投影方案繪制的平面圖(234)上具有對應(yīng)的點(diǎn)P"。該對應(yīng)點(diǎn)的直角坐標(biāo)設(shè)定為(x",y")。此外,經(jīng)度為0°和緯度為0°的赤道上參考點(diǎn)在該平面圖上具有對應(yīng)點(diǎn)O",并且該對應(yīng)點(diǎn)O"為直角坐標(biāo)系的原點(diǎn)。在此,根據(jù)等矩形投影方案,經(jīng)度上的相同間隔(即,沿著赤道的相同角距離)對應(yīng)于平面圖上的相同橫向間隔。換言之,平面圖(234)上的橫坐標(biāo)x"與經(jīng)度成正比。數(shù)學(xué)式1[數(shù)學(xué)式l]x"=cψ此處,c是比例常數(shù)。同樣,縱坐標(biāo)y"與緯度成正比,并且具有與橫坐標(biāo)相同的比例常數(shù)。數(shù)學(xué)式2[數(shù)學(xué)式2]y"=Cδ經(jīng)度跨度是360°,范圍從-180°到+180°,緯度跨度是180°,范圍從-90°到+90°。因此,根據(jù)等矩形投影方案繪制的平面圖必須具有360:180=2:1的寬度W:高度H比。此外,如果比例常數(shù)c設(shè)定為地球的半徑S,那么上述平面圖的寬度設(shè)定為在等式3中給定的沿著赤道測量的地球周長。數(shù)學(xué)式3[數(shù)學(xué)式3]W=2πS考慮到地球表面接近于球面的事實(shí),這種等矩形投影方案呈現(xiàn)為自然投影方案。然而,不利之處在于地理范圍的尺寸嚴(yán)重失真。例如,在根據(jù)等矩形投影方案繪制的地圖中,北極附近兩個(gè)非常接近的點(diǎn)能夠呈現(xiàn)為如同它們位于地球的相對側(cè)面上。另一方面,在根據(jù)墨卡脫投影方案繪制的地圖中,經(jīng)度坐標(biāo)給定為等式4給出的復(fù)雜函數(shù)。數(shù)學(xué)式4[數(shù)學(xué)式4]另一方面,圖3為圓柱投影方案的概念圖或全景透視。在圓柱投影方案中,虛構(gòu)的觀察者位于半徑為S的天球(331)的中心N處,并且期望使得該天球圖的中心位于該觀察者上,除了天頂和天底之外,該地圖覆蓋大部分區(qū)域。換言之,經(jīng)度跨度必定是360°,范圍從-180°到+180°,而緯度跨度可能較窄,包括其跨度內(nèi)的赤道。具體地,緯度跨度的范圍能夠假設(shè)為從-Δ到+Δ,而此處,Δ必定小于90°。在該投影方案中,假設(shè)了在赤道(303)處接觸天球(331)的假定圓柱面(334)。然后,對于天球上的具有給定的經(jīng)度ψ和緯度δ的點(diǎn)Q(ψ,δ),將連接天球中心和點(diǎn)Q的線段延伸,直到其與所述圓柱面相交。該交點(diǎn)標(biāo)定為P(ψ,δ)。這樣,對于天球(331)上的在所述緯度范圍內(nèi)的每個(gè)點(diǎn)Q,都能夠得到圓柱面(334)上的對應(yīng)點(diǎn)P。從而,當(dāng)將圓柱面切割并變平時(shí),得到了具有圓柱投影方案的地圖。因此,變平的圓柱面上的點(diǎn)P的橫坐標(biāo)x"由等式5給出,并且經(jīng)度y"由等式6給出。數(shù)學(xué)式5[數(shù)學(xué)式5]x"=Sψ數(shù)學(xué)式6[數(shù)學(xué)式6]y"=Stanδ對于通過在水平面中旋轉(zhuǎn)而產(chǎn)生全景圖像的全景照相機(jī),這種圓柱投影方案為自然投影方案。特別地,如果安裝在旋轉(zhuǎn)全景照相機(jī)上的透鏡為無失真的直線性透鏡,那么傳輸?shù)娜皥D像精確地符合圓柱投影方案。大體上,這種圓柱投影方案是最為精確的全景投影方案。然而,當(dāng)經(jīng)度范圍較大時(shí),全景圖像呈現(xiàn)為非自然的,因而在實(shí)際中并未得到廣泛地應(yīng)用。從而產(chǎn)生的并具有圓柱投影方案的打開的全景圖像具有由等式3給定的橫向?qū)挾萕。另一方面,如果緯度的范圍從δ1到δ2,那么打開的全景圖像的經(jīng)度高度由等式7給出。數(shù)學(xué)式7[數(shù)學(xué)式7]H=S(tanδ2-tanδ1)因此,以下等式能夠由等式3和等式7得到。數(shù)學(xué)式8[數(shù)學(xué)式8]因此,符合圓柱投影方案的打開的全景圖像必定滿足等式8。地球上所有的動(dòng)物、植物以及諸如建筑物的無生命體都受到重力的影響,而重力的方向?yàn)榇怪狈较蚧蜇Q直方向。地平面正垂直于重力,但是不必說,在傾斜地面上并不是那樣。因此,詞語“地平面”實(shí)際上是指水平面,而豎直方向是垂直于水平面的方向。因此,即使我們?yōu)榱撕啽銓⑵浞Q為地平面、橫向和縱向,當(dāng)需要解釋術(shù)語的精確含義時(shí),地平面也必定理解為水平面,豎直方向必定理解為垂直于水平面的方向,而水平方向必定理解為平行于水平面的方向。在參考文獻(xiàn)7和8中描述的全景透鏡將全景圖像放在一個(gè)鏡頭中,將全景透鏡的光軸對準(zhǔn)為垂直于地平面。通過之前描述的具有水平旋轉(zhuǎn)透鏡的照相機(jī)的全景圖像獲取方法的更便宜的可選方法包括利用光軸水平對準(zhǔn)的普通照相機(jī)獲得圖像,并且在水平方向上將該光軸旋轉(zhuǎn)一定量之后重復(fù)地去進(jìn)行照相。通過這種方式拍攝四到八張圖片,從而能夠通過連續(xù)地將這些圖片無縫地接合起來而獲得具有圓柱投影方案的全景圖像。這種技術(shù)稱為拼接。蘋果計(jì)算機(jī)公司的QuickTimeVR為支持該拼接技術(shù)的商業(yè)軟件。該方法需要復(fù)雜的、耗時(shí)的且精細(xì)的精確結(jié)合若干圖片的操作,并需要校正透鏡失真。根據(jù)參考文獻(xiàn)9,獲得全景或全向圖像的另一方法為通過使裝配有具有大于180°FOV的魚眼透鏡的水平朝向來獲得半球圖像,然后將該照相機(jī)朝向精確的相對方向,并獲得另一半球圖像。通過采用適當(dāng)軟件對從該照相機(jī)獲得的兩張圖片進(jìn)行拼接,能夠獲得具有各個(gè)方向(即,4π球面度)的視圖的全向圖像。通過采用諸如因特網(wǎng)的通信裝置將從而獲得的圖像發(fā)送至地理上分開的遠(yuǎn)程用戶,該用戶能夠根據(jù)其自身的個(gè)人興趣來從所接收的全向圖像選取其自身的視點(diǎn),并且該用戶的計(jì)算設(shè)備上的圖像處理軟件能夠獲取與該用戶選取的視點(diǎn)相對應(yīng)的局部圖像,并且能夠在該計(jì)算設(shè)備上顯示依透視畫法正確的平面圖像。因此,通過圖像處理軟件,用戶能夠選擇旋轉(zhuǎn)(搖拍)、上下看(俯仰)或者獲得較近的(放大)或遙遠(yuǎn)的(縮?。┑囊晥D,如同用戶實(shí)際上位于圖像中的特定位置一樣。該方法具有的明顯優(yōu)勢在于訪問相同因特網(wǎng)站點(diǎn)的多個(gè)用戶能夠沿著他們本身選擇的方向進(jìn)行觀察。在應(yīng)用諸如搖拍-俯仰照相機(jī)的移動(dòng)照相機(jī)的全景成像系統(tǒng)中不能具有該優(yōu)點(diǎn)。參考文獻(xiàn)10和11描述了獲得提供每個(gè)方向的視圖、中心位于觀察者上的全向圖像的方法。盡管該發(fā)明的說明書較長,但是該參考文獻(xiàn)提供的投影方案實(shí)質(zhì)上是一種等距投影方案。換言之,這些文獻(xiàn)描述的技術(shù)使得可能從真實(shí)的環(huán)境或從立方體全景圖中獲得全向圖像,但是所獲得的全向圖像僅符合等距投影方案,因而其有效性受到限制。另一方面,參考文獻(xiàn)12提供了采用魚眼透鏡將奧姆尼麥克斯(OMNIMAX)電影投影到半圓柱形屏幕上的算法。特別地,考慮到安裝在電影放映機(jī)上的魚眼透鏡的投影方案偏離于理想的等距投影方案,描述了一種用于將膠片上的物點(diǎn)的位置定位為與其上形成的像點(diǎn)的屏幕上的某一點(diǎn)相對應(yīng)的方法。因此,可能要計(jì)算需要位于膠片上的圖像以便將具體的圖像投影到屏幕上,并且在膠片上采用計(jì)算機(jī)生成這種圖像。特別地,由于在該圖像處理算法中已經(jīng)反映了透鏡失真,因而靠近電影放映機(jī)的觀眾能夠通過令人滿意的全景圖像來使自己娛樂。然而,在所述參考文獻(xiàn)中的魚眼透鏡的真實(shí)投影方案不便于應(yīng)用,這是因?yàn)槠湟呀?jīng)用膠片平面上的實(shí)像高度模擬為自變量,而用入射光線的天頂角模擬為因變量。此外,不必要地,魚眼透鏡的真實(shí)投影方案已經(jīng)僅僅用奇數(shù)多項(xiàng)式進(jìn)行了模擬。參考文獻(xiàn)13提供了由PaulBourke教授提出的立體全景圖像的實(shí)例。每個(gè)全景圖像均符合圓柱投影方案,并且提供了由計(jì)算機(jī)生成的虛構(gòu)景物的全景圖像以及由旋轉(zhuǎn)狹縫照相機(jī)生成的全景圖像。對于由計(jì)算機(jī)生成的或者由旋轉(zhuǎn)狹縫照相機(jī)的傳統(tǒng)方法生成的全景圖像,透鏡失真不是嚴(yán)重的問題。然而,旋轉(zhuǎn)狹縫照相機(jī)不能用來獲得真實(shí)世界的實(shí)時(shí)全景圖像(即,電影)。參考文獻(xiàn)14和15提供了具有190°FOV的魚眼透鏡的實(shí)例,而參考文獻(xiàn)16提供了廣角透鏡的多種實(shí)例,包括具有赤平投影方案的折射及折反射魚眼透鏡。另一方面,參考文獻(xiàn)17提供了從采用包括魚眼透鏡的旋轉(zhuǎn)對稱廣角透鏡獲取的圖像獲得符合圓柱投影方案、等矩形投影方案和墨卡脫投影方案的多種實(shí)例。參見圖4至圖12,在所述參考文獻(xiàn)中提供的多數(shù)實(shí)例能夠總結(jié)如下。圖4為示出了包括魚眼透鏡的旋轉(zhuǎn)對稱廣角透鏡(412)的真實(shí)投影方案的概念圖。描述由廣角透鏡捕捉的世界坐標(biāo)系的Z軸與廣角透鏡(412)的光軸(401)重合。具有相對于Z軸的天頂角θ的入射光線(405)由透鏡(412)折射,并作為經(jīng)折射的光線(406),會(huì)聚到焦平面(432)上的像點(diǎn)P。透鏡的節(jié)點(diǎn)N和所述焦平面之間的距離近似等于該透鏡的有效焦距。在其上已經(jīng)形成實(shí)像點(diǎn)的焦平面上的分區(qū)為像平面(433)。為了獲得清晰圖像,所述像平面(433)必須與照相機(jī)體部(414)內(nèi)的圖像傳感器平面(413)重合。所述焦平面和所述圖像傳感器平面垂直于光軸。光軸(401)和像平面(433)之間的交點(diǎn)O在下文中稱為第一交點(diǎn)。第一交點(diǎn)和所述像點(diǎn)P之間的距離為r。對于普通的廣角透鏡,圖像高度r由等式9給出。數(shù)學(xué)式9[數(shù)學(xué)式9]r=r(θ)此處,入射角θ的單位為弧度,上述函數(shù)r(θ)為入射光線的天頂角θ的單調(diào)遞增函數(shù)。透鏡的這種真實(shí)投影方案能夠采用實(shí)際透鏡實(shí)驗(yàn)地測量,或者能夠采用諸如CodeV或Zemax的專門的透鏡設(shè)計(jì)軟件從透鏡規(guī)格中計(jì)算。例如,通過具有給定水平和豎直入射角的入射光線的焦平面上的像點(diǎn)的y軸坐標(biāo)y能夠采用Zemax算符REAY計(jì)算,并且能夠類似地采用算符REAY計(jì)算x軸坐標(biāo)x。圖5是PaulBourke教授通過采用計(jì)算機(jī)生成的虛構(gòu)室內(nèi)景物,并且已假定用來捕捉圖像的虛構(gòu)透鏡為FOV為180°的具有理想等距投影方案的魚眼透鏡。該圖像為正方形圖像,其橫向和縱向尺寸均為250像素。因此,光軸的坐標(biāo)為(125.5,125.5),且對于天頂角為90°的入射光線來說圖像高度給定為r'(π/2)=125.5-1=124.5。此處,r'不是物理距離,而是以像素距離測量的圖像高度。因?yàn)樵撎摌?gòu)魚眼透鏡符合等距投影方案,因而該透鏡的投影方案由等式10給出。數(shù)學(xué)式10[數(shù)學(xué)式10]圖6至圖8示出了在參考文獻(xiàn)16中提出的廣角透鏡的幾個(gè)實(shí)施方式。圖6是具有赤平投影方案的折光(即,折射)魚眼透鏡,圖7是具有赤平投影方案的折反射魚眼透鏡,而圖8是具有直線性投影方案的折反射魚眼透鏡。通過這種方式,所述參考文獻(xiàn)和本發(fā)明中的廣角透鏡不限于具有等距投影方案的魚眼透鏡,而是包括所有種類的繞光軸旋轉(zhuǎn)對稱的廣角透鏡。參考文獻(xiàn)17中發(fā)明的主要點(diǎn)是關(guān)于將數(shù)學(xué)精確的圖像處理算法應(yīng)用到采用旋轉(zhuǎn)對稱廣角透鏡得到的圖像上的方法。參考文獻(xiàn)17中的多個(gè)實(shí)施方式能夠總結(jié)如下。所述發(fā)明的世界坐標(biāo)系將旋轉(zhuǎn)對稱廣角透鏡的節(jié)點(diǎn)N作為原點(diǎn),并將穿過該原點(diǎn)的豎直線作為Y軸。此處,豎直線為垂直于地平面的線,或者更精確地是垂直于水平面(917)。該世界坐標(biāo)系X軸和Z軸包含在地平面內(nèi)。所述廣角透鏡的光軸(901)通常不與Y軸重合,并且能夠包含在地平面內(nèi)(即,平行于地面),或者不包含在地平面內(nèi)。包含所述Y軸和所述光軸(901)的平面(904)稱為參考面。該參考面(904)和地平面(917)之間的交線(902)與世界坐標(biāo)系的Z軸重合。另一方面,來自世界坐標(biāo)系中的直角坐標(biāo)為(X,Y,Z)的物點(diǎn)Q的入射光線(905)具有從地平面的高度角δ,以及相對于參考面的方位角ψ。包含Y軸和所述入射光線(905)的平面(906)為入射面。所述入射光線相對于所述參考面的水平入射角ψ由等式11給出。數(shù)學(xué)式ll[數(shù)學(xué)式11]另一方面,由所述入射光線和X-Z平面界定的豎直入射角(即,高度角)δ由等式12給出。數(shù)學(xué)式12[數(shù)學(xué)式12]所述入射光線的傾斜角μ由等式13給出,其中χ為大于-90°且小于90°的任意角度。數(shù)學(xué)式13[數(shù)學(xué)式13]μ=δ-χ圖10是本發(fā)明的設(shè)備的示意圖,其也與參考文獻(xiàn)17的發(fā)明一致,具有成像系統(tǒng),該成像系統(tǒng)主要包括:圖像采集裝置(1010)、圖像處理裝置(1016)以及圖像顯示裝置(1015,1017)。圖像采集裝置(1010)包括旋轉(zhuǎn)對稱廣角透鏡(1012)以及內(nèi)部具有圖像傳感器(1013)的照相機(jī)體部(1014)。所述廣角透鏡能夠是FOV大于180°并具有等距投影方案的魚眼透鏡,但其并不限于這種魚眼透鏡。而是,其能夠是任意旋轉(zhuǎn)對稱的廣角透鏡,包括折反射魚眼透鏡。下文中,為了符號的簡便,將廣角透鏡稱為魚眼透鏡。所述照相機(jī)體部包含諸如CCD或CMOS的光電傳感器,并且其既能夠獲得靜止圖像,也能獲得電影。通過所述魚眼透鏡(1012),物平面(1031)的實(shí)像形成在焦平面(1032)上。為了獲得清晰圖像,圖像傳感器平面(1013)必須與焦平面(1032)重合。物平面(1031)上的物體的由魚眼透鏡(1012)形成的實(shí)像由圖像傳感器(1013)轉(zhuǎn)換為電信號,并在圖像顯示裝置(1015)上顯示為未修正的像平面(1034)。該未修正的像平面(1034)含有由魚眼透鏡產(chǎn)生的桶形失真。該失真的像平面能夠由圖像處理裝置(1016)校正,然后在諸如計(jì)算機(jī)監(jiān)視器或者CCTV監(jiān)視器的圖像顯示裝置(1017)上顯示為經(jīng)處理的像平面。所述圖像處理能夠是由計(jì)算機(jī)進(jìn)行的軟件圖像處理,或者是由現(xiàn)場可編程門陣列(FPGA)或者ARM核心處理器進(jìn)行的硬件圖像處理。包括魚眼透鏡的任意旋轉(zhuǎn)對稱透鏡都不提供所述全景圖像或無失真直線性圖像。因此,為了得到所期望的圖像,圖像處理階段是必需的。圖11是在圖像處理階段之前的未修正的像平面(1134)的概念圖,其對應(yīng)于圖像傳感器平面(1013)上的實(shí)像。如果圖像傳感器平面(1013)的橫向尺寸為B且縱向尺寸為V,那么未修正的像平面的橫向尺寸為gB且縱向尺寸為gV,其中g(shù)為比例常數(shù)。未修正的像平面(1134)能夠被認(rèn)為是在圖像顯示裝置上顯示的未經(jīng)失真修正的圖像,并且是圖像傳感器平面上的實(shí)像以放大率g放大了的圖像。例如1/3英寸CCD傳感器的圖像傳感器平面具有矩形形狀,其橫向尺寸為4.8mm,且縱向尺寸為3.6mm。另一方面,如果監(jiān)視器寬度為48cm且高度為36cm,那么放大率g為100。更期望地是,將數(shù)字圖像中的像素的側(cè)面尺寸當(dāng)作是1。VGA級1/3英寸CCD傳感器具有陣列形式的像素,該陣列具有640列和480行。因此,每個(gè)像素的形狀均為正方形,寬度和高度測量為4.8mm/640=7.5μm,并且在這種情況下,放大率給定為1像素/7.5μm=133.3像素/mm??傮w來說,未修正的像平面(1134)為通過將形成在圖像傳感器平面上的實(shí)像轉(zhuǎn)換為電信號而獲得的失真的數(shù)字圖像。圖像傳感器平面上的第一交點(diǎn)O是光軸和圖像傳感器平面之間的交點(diǎn)。因此,沿著光軸進(jìn)入的光線在所述第一交點(diǎn)O上形成像點(diǎn)。通過定義,未修正的像平面上的與圖像傳感器平面中的第一交點(diǎn)O相對應(yīng)的點(diǎn)O'(在下文中稱為第二交點(diǎn))與由沿著光軸進(jìn)入的入射光線形成的像點(diǎn)相對應(yīng)。假定了第二直角坐標(biāo)系,其中將經(jīng)過未修正的像平面上的第二交點(diǎn)O'并且平行于未修正的像平面的橫側(cè)的軸作為x'軸,而將經(jīng)過未修正的像平面上的第二交點(diǎn)O'并且平行于未修正的像平面的縱側(cè)的軸作為y'軸。x'軸的正向?yàn)閺淖蟮接遥襶'軸的正向?yàn)閺纳系较?。因而,未修正的像平面?134)上的任意點(diǎn)的橫坐標(biāo)x'具有最小值x'1=gx1和最大值x'2=gx2(即,gx1≤x'≤gx2)。同樣,所述點(diǎn)的縱坐標(biāo)y'具有最小值y'1=gy1和最大值y'2=gy2(即,gy1≤y'≤gy2)。圖12是本發(fā)明經(jīng)校正的屏幕的概念圖,其中已經(jīng)除去了失真。換言之,圖12是能夠在圖像顯示裝置上顯示的經(jīng)處理的像平面(1235)的概念圖。經(jīng)處理的像平面(1235)具有矩形的形狀,該形狀的橫側(cè)測量為W,縱側(cè)測量為H。此外,假定了第三直角坐標(biāo)系,其中x"軸平行于經(jīng)處理的像平面的橫側(cè),而y"軸平行于經(jīng)處理的像平面的縱側(cè)。第三直角坐標(biāo)系的z"軸與第一直角坐標(biāo)系的z軸以及第二直角坐標(biāo)系的z'軸重合。所述z"軸和經(jīng)處理的像平面之間的交點(diǎn)O"(下文稱為第三交點(diǎn))能夠占據(jù)任意位置,并且甚至能夠位于經(jīng)處理的像平面之外。此處,x"軸的正向?yàn)閺淖蟮接遥襶″軸的正向?yàn)閺纳系较?。第一和第二交點(diǎn)對應(yīng)于光軸的位置。另一方面,第三交點(diǎn)不與光軸的位置對應(yīng),而是與景象的主方向相對應(yīng)。景象的主方向可以與光軸重合,但并非必須如此。景象的主方向是與所期望的全景或直線性圖像相對應(yīng)的虛構(gòu)的全景或直線照相機(jī)的光軸的方向。經(jīng)處理的像平面(1235)上的第三點(diǎn)P"的橫坐標(biāo)x"具有最小值x"1和最大值x"2(即,x"1≤x"≤x"2)。通過定義,最大橫向坐標(biāo)和最小橫向坐標(biāo)之間的差異為經(jīng)處理的像平面的橫向尺寸(即,x"2-x"1=W)。同樣,第三點(diǎn)P"的縱坐標(biāo)y"具有最小值y"1和最大值y"2(即,y"1≤y"≤y"2)。通過定義,最大縱向坐標(biāo)和最小縱向坐標(biāo)之間的差異為經(jīng)處理的像平面的縱向尺寸(即,y"2-y"1=H)。下表1總結(jié)了物平面、圖像傳感器平面、未修正的像平面以及經(jīng)處理的像平面上的對應(yīng)的變量。表1[表1][表]表面物平面圖像傳感器平未修正的像平經(jīng)處理的像平平面的橫向尺寸BgBW平面的縱向尺寸VgvH坐標(biāo)系世界坐標(biāo)系第一直角坐標(biāo)系第二直角坐標(biāo)系第三直角坐標(biāo)系坐標(biāo)原點(diǎn)的位置透鏡節(jié)點(diǎn)透鏡節(jié)點(diǎn)透鏡節(jié)點(diǎn)透鏡節(jié)點(diǎn)原點(diǎn)的符號OO'O"坐標(biāo)軸(X,Y,Z)(x,y,z)(x',y',z')(x",y",z")物點(diǎn)或像點(diǎn)的名稱物點(diǎn)第一點(diǎn)第二點(diǎn)第三點(diǎn)物點(diǎn)或像點(diǎn)的符號QPP'P"物點(diǎn)或像點(diǎn)的二維坐(x,y)(x',y')(x",y")另一方面,如果我們假設(shè)經(jīng)處理的像平面(1235)上與世界坐標(biāo)系中的坐標(biāo)為(X,Y,Z)的物點(diǎn)相對應(yīng)的像點(diǎn)P"的坐標(biāo)為(x",y"),那么所述圖像處理裝置處理該圖像,以使得與來自所述物點(diǎn)的入射光線相對應(yīng)的像點(diǎn)呈現(xiàn)在所述屏幕上,坐標(biāo)為(x",y"),其中像點(diǎn)的橫坐標(biāo)x"由等式14給出。數(shù)學(xué)式14[數(shù)學(xué)式14]x"=cψ此處,c為比例常數(shù)。此外,所述像點(diǎn)的縱坐標(biāo)y"由等式15給出。數(shù)學(xué)式15[數(shù)學(xué)式15]y"=cF(μ)此處,F(xiàn)(μ)為經(jīng)過原點(diǎn)的單調(diào)遞增函數(shù)。在數(shù)學(xué)術(shù)語中,其意味著滿足等式16和17。數(shù)學(xué)式16[數(shù)學(xué)式16]F(0)=0數(shù)學(xué)式17[數(shù)學(xué)式17]0]]>上述函數(shù)F能夠采用任意形式,但是最為期望的形式由等式18至21給出。數(shù)學(xué)式18[數(shù)學(xué)式18]F(μ)=tanμ數(shù)學(xué)式19[數(shù)學(xué)式19]數(shù)學(xué)式20[數(shù)學(xué)式20]F(μ)=μ數(shù)學(xué)式21[數(shù)學(xué)式21]圖13為普通的車輛后視照相機(jī)(1310)的示意圖。對于車輛后視照相機(jī)來說,應(yīng)用FOV大于150°的廣角透鏡是非常普通的,并且如圖13所示,透鏡的光軸通常向地平面(1317)傾斜。通過以這種方式安裝照相機(jī),當(dāng)?shù)管嚨臅r(shí)候能夠容易地識別停車車道。此外,因?yàn)橥哥R表面向下朝向地面,因而防止落下塵土,并且提供了對雨雪的部分保護(hù)。為了得到水平FOV約為180°的全景圖像,需要在客車的車廂頂部安裝圖像采集裝置(1310),并以和地平面成一定的角度對準(zhǔn)光軸。此外,最為優(yōu)選的是FOV大于180°并具有等距投影方案的魚眼透鏡,并且需要緊鄰駕駛員座位安裝圖像顯示裝置??梢圆捎闷涔廨S向地平面傾斜的廣角照相機(jī)獲得所述全景圖像。在這種情況下,世界坐標(biāo)系將成像系統(tǒng)(1310)的節(jié)點(diǎn)N作為原點(diǎn),并將垂直于地平面的豎直線作為Y軸,而Z軸設(shè)置為平行于汽車(1351)車軸。根據(jù)右手坐標(biāo)系的傳統(tǒng),X軸的正方向?yàn)橹苯硬迦雸D13的紙面的方向。因此,如果透鏡光軸傾斜到地平線以下角度為α,那么固定至照相機(jī)的坐標(biāo)系已繞著世界坐標(biāo)系的X軸旋轉(zhuǎn)了角度α。該坐標(biāo)系稱為第一世界坐標(biāo)系,而該第一世界坐標(biāo)系的三個(gè)軸分別稱為X'軸、Y'軸和Z'軸。在圖13中,呈現(xiàn)出第一世界坐標(biāo)系已繞著X軸、相對于世界坐標(biāo)系順時(shí)針旋轉(zhuǎn)了角度α。然而,考慮到正X軸的方向,實(shí)際上其被逆時(shí)針旋轉(zhuǎn)了角度α。因?yàn)樾D(zhuǎn)方向?qū)⒛鏁r(shí)針旋轉(zhuǎn)看做為正方向,因此圖13中的第一世界坐標(biāo)系已繞著世界坐標(biāo)系的X軸轉(zhuǎn)動(dòng)了+α。關(guān)于坐標(biāo)系的轉(zhuǎn)動(dòng),使用歐拉矩陣是方便的。為此,三維空間中的物點(diǎn)Q的坐標(biāo)指定為以下給出的三維矢量。數(shù)學(xué)式22[數(shù)學(xué)式22]此處,為世界坐標(biāo)系中在原點(diǎn)開始并在點(diǎn)Q結(jié)束的三維矢量。因而,可通過在空間中將點(diǎn)Q繞X軸旋轉(zhuǎn)-α角度得到的新點(diǎn)的坐標(biāo)通過將等式23中給出的矩陣乘以上述矢量給出。數(shù)學(xué)式23[數(shù)學(xué)式23]同樣,在等式24中給出的矩陣能夠用來得到可通過在空間中將點(diǎn)Q繞Y軸旋轉(zhuǎn)-β角度得到的新點(diǎn)的坐標(biāo),而在等式25中給出的矩陣能夠用來得到可通過在空間中將點(diǎn)Q繞Z軸旋轉(zhuǎn)-γ角度得到的新的點(diǎn)的坐標(biāo)。數(shù)學(xué)式24[數(shù)學(xué)式24]數(shù)學(xué)式25[數(shù)學(xué)式25]等式23到25中的矩陣能夠描述坐標(biāo)系固定且已將空間中的點(diǎn)旋轉(zhuǎn)的情況,而且相同的矩陣還能夠描述空間中的點(diǎn)固定且已將坐標(biāo)系在相反方向上旋轉(zhuǎn)的情況。這兩種情況是數(shù)學(xué)上等同的。因此,在如圖13所示的可通過將世界坐標(biāo)系繞X軸旋轉(zhuǎn)角度α得到的第一世界坐標(biāo)系中的點(diǎn)Q的坐標(biāo)由等式26給出。數(shù)學(xué)式26[數(shù)學(xué)式26]采用等式23中給出的矩陣,根據(jù)世界坐標(biāo)系中的坐標(biāo),第一世界坐標(biāo)系中的坐標(biāo)能夠按以下方式給出。數(shù)學(xué)式27[數(shù)學(xué)式27]X′=X數(shù)學(xué)式28[數(shù)學(xué)式28]Y′=YCOSα+ZSinα數(shù)學(xué)式29[數(shù)學(xué)式29]Z′=-Ysinα+ZCOSα參見圖13,讓我們假設(shè)已安裝了成像系統(tǒng)且其光軸向地平面傾斜,然而,需要得到平行于地平面的全景圖像。如果我們假設(shè)圖5是α=0°的廣角圖像,那么圖14是α=30°的廣角圖像。在這種情況下,以下算法能夠用來得到平行于地平面的全景圖像。首先,在所述成像系統(tǒng)平行于地平面的假設(shè)下,經(jīng)處理的像平面的尺寸(W,H)、第三交點(diǎn)O"的位置以及水平視場Δψ被確定。為了討論的簡便,假設(shè)水平FOV為對稱的。因而,與經(jīng)處理的像平面上的橫坐標(biāo)x"相對應(yīng)的水平入射角ψ以及與縱坐標(biāo)y"相對應(yīng)的豎直入射角δ由等式30至32給出。數(shù)學(xué)式30[數(shù)學(xué)式30]數(shù)學(xué)式31[數(shù)學(xué)式31]數(shù)學(xué)式32[數(shù)學(xué)式32]此處,角度χ為0°。因此,函數(shù)F(δ)與等式16至21中給出的函數(shù)F(μ)相同。換言之,F(xiàn)(δ)=F(μ)為真。接著,假設(shè)具有這些水平和豎直入射角的入射光線源自半徑為S且中心位于透鏡節(jié)點(diǎn)的半球上的物點(diǎn)。然后,所述物點(diǎn)在世界坐標(biāo)系中的坐標(biāo)由等式33至36給出。數(shù)學(xué)式33[數(shù)學(xué)式33]X=Scosδsinψ數(shù)學(xué)式34[數(shù)學(xué)式34]y=Ssinδ數(shù)學(xué)式35[數(shù)學(xué)式35]Z=Scosδcosψ數(shù)學(xué)式36[數(shù)學(xué)式36]第一世界坐標(biāo)系中該物點(diǎn)的坐標(biāo)由等式27至29給出。該第一世界坐標(biāo)系的X'軸、Y'軸和Z'軸分別平行于第一直角坐標(biāo)系中的x軸、y軸和z軸。因此,入射光線的天頂角和方位角由等式37和38給出。數(shù)學(xué)式37[數(shù)學(xué)式37]數(shù)學(xué)式38[數(shù)學(xué)式38]最后,未修正的像平面中具有上述天頂角和方位角的第二點(diǎn)的二維直角坐標(biāo)(x',y')能夠通過等式39和40從二維極坐標(biāo)(r',θ')得到。數(shù)學(xué)式39[數(shù)學(xué)式39]x′=gr(θ)cosφ數(shù)學(xué)式40[數(shù)學(xué)式40]y′=gr(θ)sinφ采用等式9至40,具有理想投影方案的全景圖像能夠從采用呈現(xiàn)失真像差的魚眼透鏡獲得的圖像獲取。首先,取決于用戶的需要,確定全景圖像的所期望尺寸(W,H)以及第三交點(diǎn)O"的位置。所述第三交點(diǎn)甚至能夠位于經(jīng)處理的像平面之外。換言之,經(jīng)處理的像平面上的橫坐標(biāo)的范圍(x"1≤x"≤x"2)以及縱坐標(biāo)的范圍(y"1≤y"≤y"2)能夠采用任意實(shí)數(shù)。同樣,該全景圖像(即,經(jīng)處理的像平面)的水平FOVΔψ確定。指示所期望的沿著豎直方向的投影方案的函數(shù)形式F(δ)也被確定。然后,與具有直角坐標(biāo)(x",y")的全景圖像上的第三點(diǎn)相對應(yīng)的入射光線的水平入射角ψ和豎直入射角δ能夠采用等式30至32獲得。然后,采用等式37和38計(jì)算具有所述水平入射角和豎直入射角的入射光線的天頂角θ和方位角接著,采用等式9獲得與入射光線的天頂角θ相對應(yīng)的真實(shí)圖像高度r。利用該入射光線的真實(shí)圖像高度r、放大率g以及方位角采用等式39和40獲得未修正的像平面上的像點(diǎn)的直角坐標(biāo)(x',y')。在這種程序中,未修正的像平面上的第二交點(diǎn)的坐標(biāo),或者等同地,圖像傳感器平面上的第一交點(diǎn)的坐標(biāo),需要精確的確定。交點(diǎn)的這種位置能夠容易地采用包括圖像處理方法的多種方法獲得。因?yàn)檫@種技術(shù)是本領(lǐng)域技術(shù)人員公知的,因此本文中不再描述。最后,來自具有所述直角坐標(biāo)的像點(diǎn)的通過魚眼透鏡的視頻信號(即,RGB信號)給定為用于全景圖像上在具有直角坐標(biāo)(x",y")的像點(diǎn)的視頻信號。通過上述方法,能夠通過對于經(jīng)處理的像平面上所有像點(diǎn)的圖像處理得到具有理想投影方案的全景圖像??紤]到所有的圖像傳感器和顯示設(shè)備都是數(shù)字設(shè)備的事實(shí),圖像處理程序必須采用以下一組等式。首先,確定經(jīng)處理的像平面的所期望尺寸以及第三交點(diǎn)的位置(I0,J0)。此處,第三交點(diǎn)的位置(I0,J0)是指第三交點(diǎn)O"的像素坐標(biāo)。傳統(tǒng)地,數(shù)字化圖像的左上角上的像素的坐標(biāo)被定義為(1,1)或(0,0)。在本發(fā)明中,我們將假設(shè)左上角上的像素的坐標(biāo)被給定為(1,1)。然后,確定與橫向像素坐標(biāo)J=1相對應(yīng)的水平入射角ψ1和與橫向像素坐標(biāo)J=Jmax相對應(yīng)的水平入射角ψJmax。然后,對于經(jīng)處理的像平面上每個(gè)像素(I,J),采用等式41和42來計(jì)算水平入射角ψJ和豎直入射角δI。數(shù)學(xué)式41[數(shù)學(xué)式41]數(shù)學(xué)式42[數(shù)學(xué)式42]從以上水平和豎直入射角,采用等式43至45計(jì)算世界坐標(biāo)系中的虛構(gòu)物點(diǎn)的坐標(biāo)。數(shù)學(xué)式43[數(shù)學(xué)式43]XI,J=cosδIsinψJ數(shù)學(xué)式44[數(shù)學(xué)式44]YI,J=sinδI數(shù)學(xué)式45[數(shù)學(xué)式45]ZI,J=csoδIcosψJ此處,物距S沒有影響最終結(jié)果,并因而為了簡便將其假定為1。從物點(diǎn)在世界坐標(biāo)系中的該坐標(biāo),通過等式46至48計(jì)算該物點(diǎn)在第一世界坐標(biāo)系中的坐標(biāo)。數(shù)學(xué)式46[數(shù)學(xué)式46]X′I,J=XI,J數(shù)學(xué)式47[數(shù)學(xué)式47]Y′I,J=YI,Jcosα+ZI,Jsinα數(shù)學(xué)式48[數(shù)學(xué)式48]Z′I,J=-YI,Jsinα+ZI,Jcosα通過該坐標(biāo),采用等式49和50來計(jì)算入射光線的天頂角θI,J和方位角ΦI,J。數(shù)學(xué)式49[數(shù)學(xué)式49]θI,J=coa-1(Z′I,J)數(shù)學(xué)式50[數(shù)學(xué)式50]接著,采用等式51計(jì)算圖像傳感器平面上的圖像高度rI,J。數(shù)學(xué)式51[數(shù)學(xué)式51]rI,J=r(θI,J)然后,利用第二交點(diǎn)在未修正的像平面上的的位置(K0,L0)以及放大率g來得到第二點(diǎn)在未修正的像平面上的位置。數(shù)學(xué)式52[數(shù)學(xué)式52]x′I,J=Lo+grI,JcosφI,J)數(shù)學(xué)式53[數(shù)學(xué)式53]y′I,J=Ko+grI,Jsin(φI,J)一旦獲得了相應(yīng)的第二點(diǎn)的位置,便能夠利用諸如最近鄰法、雙直線性插值法以及雙三次插值法的多種插值法來得到全景圖像。圖15是采用這種方法得到的全景圖像,并且已應(yīng)用了圓柱投影方案。如能夠從圖15看到的那樣,盡管光軸不平行于地平面,但是已獲得了完美的全景圖像。將這種全景成像系統(tǒng)用作車輛后視照相機(jī),能夠完全監(jiān)視車輛的背部而沒有任何盲點(diǎn)。需要特別注意的一點(diǎn)是,當(dāng)將這種全景成像系統(tǒng)用作車輛后視照相機(jī)時(shí),對于移動(dòng)方向?yàn)閳D像采集裝置的光軸的正相對的方向的設(shè)備(即,車輛),如果未經(jīng)任何進(jìn)一步處理便顯示通過上述方法獲得的全景圖像,那么這會(huì)對駕駛員引起極大的混亂。因?yàn)檐囕v后視照相機(jī)指向車輛的背部,因此車輛的右端在顯示由后視照相機(jī)捕捉的圖像的監(jiān)視器上呈現(xiàn)為左端。然而,駕駛員可能從其自身在車輛的前端觀察的觀察點(diǎn)而認(rèn)為圖像顯示的是車輛的左端而使其自身迷惑,因而,存在極大的可能發(fā)生事故的危險(xiǎn)。為了防止這種危險(xiǎn)的迷惑,在將采用車輛后視照相機(jī)獲得的圖像顯示在監(jiān)視器上之前,將該圖像的左側(cè)和右側(cè)轉(zhuǎn)換是非常重要的。對于在經(jīng)鏡像的(即,左側(cè)和右側(cè)互換)經(jīng)處理的像平面中的坐標(biāo)為(I,J)的像素的視頻信號S'(I,J),由來自經(jīng)處理的像平面的坐標(biāo)為(I,Jmax-J+1)的像素的視頻信號S(I,Jmax-J+1)給出。數(shù)學(xué)式54[數(shù)學(xué)式54]S′(I,J)=S(I,Jmax-J+1)同樣的圖像采集裝置能夠被安裝在房間鏡、前保險(xiǎn)杠或散熱器護(hù)柵附近,以便用作連接至用于記錄車輛行駛歷史的車輛黑匣子處的記錄照相機(jī)。已關(guān)于車輛后視照相機(jī)描述了以上實(shí)施方式,但是必定顯然的是本發(fā)明的用途不限于車輛后視照相機(jī)。參考文獻(xiàn)17中的所述發(fā)明提供用于獲取數(shù)學(xué)上精確的全景圖像的圖像處理算法以及實(shí)施該算法的設(shè)備。然而,在多種情況下,無失真直線性圖像能夠具有更大的價(jià)值?;蛘?,當(dāng)全景圖像和直線性圖像都可利用時(shí),能夠更加令人滿意。[參考文獻(xiàn)1]J.F.BUnnandM.E.Newel,"Textureandreflectionincomputergeneratedimages(計(jì)算機(jī)生成圖像中的結(jié)構(gòu)和反射)",CommunicationsoftheACM,19,542-547(1976).[參考文獻(xiàn)2]N.Greene,"Environmentmappingandotherapplicationsofworldprojections(世界投影的環(huán)境映射和其他應(yīng)用",IEEEComputerGraphicsandApplications,6,21-29(1986).[參考文獻(xiàn)3]S.D.Zimmermann,"Omniviewmotionless照相機(jī)orientationsystem(全景靜止照相機(jī)導(dǎo)向系統(tǒng))",美國專利5,185,667,專利日期1993年2月9日.[參考文獻(xiàn)4]E.GulchsenandS.Wyshynski,"Wide-angleimagedewarpingmethodandapparatus(廣角圖像反扭曲方法和裝置)",美國專利6,005,611,專利日期,1999年12月21日.[參考文獻(xiàn)5]E.W.Weisstein,"CylindricalProjection(圓柱投影)",http://mathworld.wolfram.com/CylindricalProjection.html.[參考文獻(xiàn)6]W.D.G.Cox,"Anintroductiontothetheoryofperspective-part1(遠(yuǎn)景理論的介紹-部分1)",TheBritishJournalofPhotography,4,628-634(1969).[參考文獻(xiàn)7]G.Kweon,K.Kim,Y.Choi,G.Kim,andS.Yang,"Catadioptricpanoramiclenswitharectilinearprojectionscheme(具有直線性投影方案的折反射全景透鏡)",JournaloftheKoreanPhysicalSociety,48,554-563(2006).[參考文獻(xiàn)8]G.Kweon,Y.Choi,G.Kim,andS.Yang,"Extractionofperspectivelynormalimagesfromvideosequencesobtainedusingacatadioptricpanoramiclenswiththerectilinearprojectionscheme(從采用具有直線性投影方案的折反射全景透鏡得到的視頻序列獲得依透視畫法正常的圖像)",TechnicalProceedingsofthe10thWorldMulti-ConferenceonSystemics,Cybernetics,andInformatics,67-75(2006年6月,美國佛羅里達(dá)州奧蘭多).[參考文獻(xiàn)9]H.L.MartinandD.P.Kuban,"Systemforomnidirectionalimageviewingataremotelocationwithoutthetransmissionofcontrolsignalstoselectviewingparameters(用于在遙遠(yuǎn)位置處觀測全向圖像而無需傳輸控制信號來選取觀測參數(shù)的系統(tǒng))",美國專利5,384,588,專利日期,1995年1月24日.[參考文獻(xiàn)10]F.Oxaal,"Methodandapparatusforperformingperspectivetransformationonvisiblestimuli(用于執(zhí)行可見光刺激上的透鏡轉(zhuǎn)換的方法和裝置)",美國專利5,684,937,專利日期,1997年11月4日.[參考文獻(xiàn)11]F.Oxaal,"Methodforgeneratingandinteractivelyviewingsphericalimagedata(用于生成并交互式觀測球形圖像數(shù)據(jù)的方法)",美國專利6,271,853,專利日期,2001年8月7日.[參考文獻(xiàn)12]N.L.Max,"ComputergraphicsdistortionforIMAXandOMMMAXprojection(對于IMAX和OMNIMAX投影的計(jì)算機(jī)圖像失真)",Proc.MCOGRAPH,137-159(1983).[參考文獻(xiàn)13]P.D.Bourke,"Syntheticstereoscopicpanoramicimages(合成立體全景圖像)",LectureNotesinComputerGraphics(LNCS),Springer,4270,147-155(2006).[參考文獻(xiàn)14]G.KweonandM.Laikin,"Fisheyelens(魚眼透鏡)",韓國專利10-0888922,專利日期,2009年3月10日.[參考文獻(xiàn)15]G.Kweon,Y.Choi,andM.Laikin,"Fisheyelensforimageprocessingapplications(用于圖像處理應(yīng)用的魚眼透鏡)",J.oftheOpticalSocietyofKorea,12,79-87(2008).[參考文獻(xiàn)16]G.KweonandM.Laikin,"Wide-anglelenses(廣角透鏡)",韓國專利10-0826571,專利日期April24,2008年4月24日.[參考文獻(xiàn)17]G.Kweon,"Methodsofobtainingpanoramicimagesusingrotationallysymmetricwide-anglelensesanddevicesthereof(采用旋轉(zhuǎn)對稱廣角透鏡獲得全景圖像的方法及其設(shè)備)",韓國專利10-0882011,專利日期2009年1月29日.[參考文獻(xiàn)18]W.K.Pratt,DigitalImageProcessing(數(shù)字圖像處理),第三版(JohnWiley,紐約,2001),Chap.19.
技術(shù)實(shí)現(xiàn)要素:技術(shù)問題本發(fā)明的目的在于提供用于從利用裝配有廣角透鏡的照相機(jī)得到的數(shù)字化圖像中獲取看上去自然的全景圖像和直線性圖像的圖像處理算法以及實(shí)施這些算法的設(shè)備,其中所述廣角透鏡繞光軸旋轉(zhuǎn)對稱。技術(shù)方案本發(fā)明提供了基于與通過具有失真的廣角透鏡的圖像形成有關(guān)的幾何光學(xué)原理以及全景和直線性圖像的數(shù)學(xué)定義的、基本上精確的圖像處理算法。有益效果通過在采用旋轉(zhuǎn)對稱廣角透鏡得到的圖形上應(yīng)用精確的圖像處理算法,能夠得到對于裸眼最為自然的全景圖像以及直線性圖像。附圖說明圖1是經(jīng)度和緯度的概念圖;圖2是具有等矩形投影方案的地圖的概念圖;圖3是示出圓柱投影方案的概念圖;圖4是示出普通旋轉(zhuǎn)對稱透鏡的真實(shí)投影方案的概念圖;圖5是由計(jì)算機(jī)生成的示例性圖像,其中假設(shè)具有等距投影方案的魚眼透鏡已被用來為虛構(gòu)景物拍照;圖6是示出具有立體投影方案的折射魚眼透鏡的光學(xué)結(jié)構(gòu)連同光線追跡的簡圖;圖7是示出具有立體投影方案的折反射魚眼透鏡的光學(xué)結(jié)構(gòu)連同光線追跡的簡圖;圖8是示出具有直線性投影方案的折反射全景透鏡的光學(xué)結(jié)構(gòu)連同光線追跡的簡圖;圖9是現(xiàn)有技術(shù)的發(fā)明的世界坐標(biāo)系的概念圖;圖10是現(xiàn)有技術(shù)的發(fā)明的全景成像系統(tǒng)的示意圖;圖11是未修正的像平面的概念圖;圖12是能夠顯示在圖像顯示裝置上的經(jīng)處理的像平面的概念圖;圖13是應(yīng)用現(xiàn)有技術(shù)的發(fā)明的全景成像系統(tǒng)的車輛后視照相機(jī)的示意圖;圖14是由傾斜的成像系統(tǒng)捕捉的示例性魚眼圖像;圖15是從圖14獲取的示例性全景圖像;圖16是示出本發(fā)明的第一實(shí)施方式的直線性投影方案的概念圖;圖17是示出當(dāng)經(jīng)處理的像平面的相對位置改變時(shí)視場中的變化的概念圖;圖18是示出本發(fā)明的第一實(shí)施方式的經(jīng)處理的像平面的概念圖;圖19是從圖5得到的具有120°的水平FOV的示例性直線性圖像;圖20是在應(yīng)用滑動(dòng)和縮放操作后的示例性直線性圖像;圖21是采用現(xiàn)有技術(shù)的發(fā)明的魚眼透鏡捕捉的室內(nèi)景物的示例性圖像;圖22是從圖21中給出的魚眼圖像獲取的具有190°的水平FOV并符合圓柱投影方案的直線性圖像;圖23是從圖21中給出的魚眼圖像獲取的具有60°的水平FOV的直線性圖像;圖24是應(yīng)用本發(fā)明的概念全景照相機(jī)電話的示意圖;圖25是在對圖5中給出的魚眼圖像應(yīng)用搖拍-俯仰操作后得到的示例性直線性圖像;圖26是在對圖21中給出的魚眼圖像應(yīng)用搖拍-俯仰操作后得到的示例性直線性圖像;圖27是采用現(xiàn)有技術(shù)的發(fā)明的魚眼透鏡捕捉的室內(nèi)景物的另一示例性圖像;圖28是在對圖27中給出的魚眼圖像應(yīng)用搖拍-俯仰操作后得到的示例性直線性圖像;圖29是在對圖27中給出的魚眼圖像應(yīng)用俯仰-搖拍操作后得到的示例性直線性圖像;圖30是示出直線性投影方案中最普通的第二世界坐標(biāo)系的概念圖;圖31是示出直線性投影方案中第二世界坐標(biāo)系和經(jīng)處理的像平面之間的關(guān)系的示意圖;圖32是應(yīng)用滑動(dòng)-搖拍-俯仰操作的車輛后視照相機(jī)的示意圖;圖33在對圖5中給出的魚眼圖像應(yīng)用俯仰操作后得到的示例性直線性圖像;圖34是具有較大搖拍-俯仰角度而沒有滑動(dòng)操作的成像系統(tǒng)的概念圖;圖35是具有較大搖拍-俯仰角度并具有適當(dāng)滑動(dòng)操作的成像系統(tǒng)的概念圖;圖36是在對圖5中給出的魚眼圖像應(yīng)用滑動(dòng)和俯仰操作后得到的示例性直線性圖像;圖37是采用現(xiàn)有技術(shù)的發(fā)明的魚眼透鏡捕捉的室外景物的另一示例性圖像;圖38是從圖37中給出的魚眼圖像獲取的符合墨卡脫投影方案的全景圖像;圖39在對圖37中給出的魚眼圖像應(yīng)用俯仰操作后得到的示例性直線性圖像;圖40在對圖37中給出的魚眼圖像應(yīng)用搖拍-俯仰操作后得到的示例性直線性圖像;圖41是用于體現(xiàn)本發(fā)明概念的車輛的成像系統(tǒng)的示意圖;圖42是用于監(jiān)視體現(xiàn)本發(fā)明概念的建筑物的環(huán)境的成像系統(tǒng)的示意圖;圖43是采用現(xiàn)有技術(shù)的發(fā)明的魚眼透鏡捕捉的室外景物的另一示例性圖像;圖44是從圖43中給出的魚眼圖像獲取的示例性直線性圖像;圖45是用于理解在圖44中給出的直線性圖像的示意圖;圖46是示出在車輛上安裝照相機(jī)的所期望方法的示意圖;圖47是采用現(xiàn)有技術(shù)的發(fā)明的魚眼透鏡捕捉的室外景物的另一示例性圖像;圖48是從圖47中給出的魚眼圖像獲取的示例性直線性圖像;圖49是示出在車輛上安裝照相機(jī)的所期望方法的另一示意圖;圖50是用于監(jiān)控體現(xiàn)本發(fā)明概念的建筑物的環(huán)境的成像系統(tǒng)的另一示意圖;圖51是多觀察點(diǎn)全景成像系統(tǒng)中的物平面的概念圖;圖52從圖5中給出的魚眼圖像獲取的示例性多觀察點(diǎn)全景圖像;圖53是示出多觀察點(diǎn)全景圖像的概念的概念圖;圖54是從圖5中給出的魚眼圖像獲取的另一示例性多觀察點(diǎn)全景圖像;圖55是從圖37中給出的魚眼圖像獲取的示例性多觀察點(diǎn)全景圖像;圖56是從圖27中給出的魚眼圖像獲取的示例性多觀察點(diǎn)全景圖像;圖57是采用現(xiàn)有技術(shù)的發(fā)明的魚眼透鏡捕捉的室內(nèi)景物的另一示例性圖像;圖58是從圖57中給出的魚眼圖像獲取的示例性全景圖像;圖59是從圖57中給出的魚眼圖像獲取的示例性多觀察點(diǎn)全景圖像;以及圖60是本發(fā)明的圖像處理裝置的所期望實(shí)施方式的示意圖。具體實(shí)施方式參見圖16至圖60,將詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施方式。第一實(shí)施方式圖16是示出本發(fā)明的第一實(shí)施方式的直線性投影方案的概念圖。通過定義,具有直線性投影方案的透鏡為無失真透鏡,并且在數(shù)學(xué)觀點(diǎn)中,直線性透鏡的特性被認(rèn)為與針孔照相機(jī)的特性相同。為了獲得這種具有直線性投影方案的圖像,我們假設(shè)如圖16所示的世界坐標(biāo)系中的物平面(1631)和經(jīng)處理的像平面(1635)。本實(shí)施方式的成像系統(tǒng)在任意方向上指向,且第三直角坐標(biāo)系將成像系統(tǒng)的光軸(1601)作為負(fù)z"軸,并將透鏡的節(jié)點(diǎn)作為原點(diǎn)。圖像傳感器平面具有矩形形狀,橫向?qū)挾葹锽且縱向高度為V,并且圖像傳感器平面為垂直于光軸的平面。另一方面,經(jīng)處理的像平面具有矩形形狀,橫向?qū)挾葹閃且縱向高度為H。第一直角坐標(biāo)系的x軸、第二直角坐標(biāo)系的x'軸、第三直角坐標(biāo)系的x"軸以及世界坐標(biāo)系的X軸都平行于圖像傳感器平面的橫向。此外,第一直角坐標(biāo)系的z軸、第二直角坐標(biāo)系的z'軸和第三直角坐標(biāo)系的z"軸都彼此相同并與世界坐標(biāo)系的Z軸相反。在本實(shí)施方式中,假設(shè)經(jīng)處理的像平面定位為距離透鏡的節(jié)點(diǎn)一定距離s"。在直線性投影方案中,物平面(1631)的形狀同樣為垂直于光軸的平面,并且物平面上的物體圖像如實(shí)地復(fù)制在經(jīng)處理的像平面(1635)上,且保留橫向和縱向比例。直線性透鏡的理想投影方案與針孔照相機(jī)的投影方案相同。考慮到針孔照相機(jī)的簡單的幾何特性,便于假設(shè)物平面(1631)的形狀和尺寸與經(jīng)處理的像平面的形狀和尺寸相同。因此,從物平面(1631)到透鏡節(jié)點(diǎn)N的距離同樣假設(shè)為s"。圖17是示出透鏡的水平視場Δψ如何由經(jīng)處理的像平面(1735)的相對位置改變的概念圖。在圖17(a)中,經(jīng)處理的像平面的位置相對于光軸對稱。因此,在經(jīng)處理的像平面上顯示的圖像具有對稱的水平視場。另一方面,在圖17(b)中,已將經(jīng)處理的像平面(1735)相對于光軸橫向移置,并且對于左側(cè)和右側(cè),F(xiàn)OV是不同的。當(dāng)需要在不改變景象的主方向的情況下改變所監(jiān)視的區(qū)域時(shí),這種操作是有用的。物理上,這對應(yīng)于相對于光軸橫向移置圖像傳感器。在本發(fā)明中,這種操作將稱為滑動(dòng)操作。另一方面,圖17(c)示出了節(jié)點(diǎn)和經(jīng)處理的像平面之間的距離s"已被增加的情況。在這種情況下,如圖所示,視場變得更窄,并且僅監(jiān)視較小區(qū)域。物理上,這對應(yīng)于縮放操作。因此,通過改變經(jīng)處理的像平面相對于光軸的相對位置以及到節(jié)點(diǎn)的距離,能夠獲得滑動(dòng)和縮放效果。圖18示出了圖像傳感器平面和光軸之間的交叉點(diǎn)O(或者,等同地,在經(jīng)處理的像平面上與第一交點(diǎn)O相對應(yīng)的第三交點(diǎn)O")不與經(jīng)處理的像平面的中心C"重合的情況。因此,這對應(yīng)于具有滑動(dòng)操作的成像系統(tǒng)。在將第三交點(diǎn)作為原點(diǎn)的二維直角坐標(biāo)系中,所述中心C"的坐標(biāo)假設(shè)為(x"c,y"c)。因?yàn)榻?jīng)處理的像平面的橫向尺寸為W,因而相對于中心C"的橫坐標(biāo)具有最小值x"1=-W/2,最大值x"2=W/2??紤]在此之上的中心C"的坐標(biāo),經(jīng)處理的像平面的橫坐標(biāo)的范圍具有最小值x"1=x"c-W/2,最大值x"2=x"c+W/2。同樣,縱坐標(biāo)的范圍具有最小值y"1=y"c–H/2,最大值y"2=y"c+H/2。經(jīng)處理的像平面上的第三交點(diǎn)O"到第三點(diǎn)P"的距離或圖像高度r"由等式55給出。數(shù)學(xué)式55[數(shù)學(xué)式55]因?yàn)橥哥R節(jié)點(diǎn)到經(jīng)處理的像平面之間的虛距離為s",因此通過直線性透鏡到達(dá)第三點(diǎn)的入射光線具有由等式56給出的天頂角。數(shù)學(xué)式56[數(shù)學(xué)式56]另一方面,所述入射光線的方位角由等式57給出。數(shù)學(xué)式57[數(shù)學(xué)式57]因此,當(dāng)具有所述天頂角和所述方位角的入射光線由透鏡的圖像形成特性在圖像傳感器平面上形成像點(diǎn)時(shí),像點(diǎn)的坐標(biāo)由等式58和59給出。數(shù)學(xué)式58[數(shù)學(xué)式58]x′=gr(θ)csoφ數(shù)學(xué)式59[數(shù)學(xué)式59]y′=gr(θ)sinφ因此,僅需要用具有這種直角坐標(biāo)的未修正的像平面上的像點(diǎn)的信號值來代替經(jīng)處理的像平面上第三點(diǎn)的信號值。在不存在滑動(dòng)動(dòng)作時(shí),換言之,當(dāng)?shù)谌稽c(diǎn)的位置與經(jīng)處理的像平面的中心重合時(shí),等式60中給出的以下等式滿足。數(shù)學(xué)式60[數(shù)學(xué)式60]采用等式60,能夠計(jì)算具有給定水平或豎直FOV的經(jīng)處理的像平面的虛距離s"。純粹為了方便,首先確定經(jīng)處理的像平面的尺寸(W,H)和水平FOVΔψ。然后,得到經(jīng)處理的像平面的虛距離,并且從該距離,自動(dòng)確定對稱豎直FOVΔδ。另一方面,如果由于滑動(dòng)操作將經(jīng)處理的像平面的中心的坐標(biāo)假設(shè)為(x"c,y"c),那么以下等式61和62得到滿足。數(shù)學(xué)式61[數(shù)學(xué)式61]數(shù)學(xué)式62[數(shù)學(xué)式62]此處,ψmax和ψmin為水平方向上的最大和最小入射角,同樣,δmax和δmin為豎直方向上的最大和最小入射角。此外,與中心的位置無關(guān),以下在等式63中給出的關(guān)系必須一直滿足。數(shù)學(xué)式63[數(shù)學(xué)式63]與現(xiàn)有技術(shù)發(fā)明的所述實(shí)施方式類似,考慮到所有的圖像傳感器和顯示設(shè)備都是數(shù)字設(shè)備的事實(shí),在圖像處理程序中采用以下等式是方便的。首先,在任何滑動(dòng)操作之前,確定經(jīng)處理的像平面的尺寸(Imax,Jmax)以及水平FOVΔψ。然后,采用等式64,能夠得到透鏡節(jié)點(diǎn)和經(jīng)處理的像平面之間的像素距離s"。數(shù)學(xué)式64[數(shù)學(xué)式64]此外,經(jīng)處理的像平面的中心的坐標(biāo)由等式65給出。數(shù)學(xué)式65[數(shù)學(xué)式65]此處,等式65反映出數(shù)字圖像的左上角上的像素的坐標(biāo)給定為(1,1)的習(xí)慣。接著,根據(jù)需要,確定從第三交點(diǎn)到所述中心的位移(ΔI,ΔJ)。當(dāng)已完成這個(gè)預(yù)備階段時(shí),對于經(jīng)處理的像平面上的每個(gè)像素,計(jì)算等式66中給出的天頂角以及等式67中給出的方位角。數(shù)學(xué)式66[數(shù)學(xué)式66]數(shù)學(xué)式67[數(shù)學(xué)式67]接著,利用等式68計(jì)算圖像傳感器平面上的圖像高度rI,J。數(shù)學(xué)式68[數(shù)學(xué)式68]rI,J=r(θI,J)接著,利用未修正的像平面上的第二交點(diǎn)的位置以及放大率g來計(jì)算未修正的像平面上的第二點(diǎn)的位置。數(shù)學(xué)式69[數(shù)學(xué)式69]x′I,J=Lo+grI,Jcos(φI,J)數(shù)學(xué)式70[數(shù)學(xué)式70]y′I,J=Ko+grI,Jsin(φI,J)一旦已經(jīng)得到對應(yīng)的第二點(diǎn)的位置,就能夠采用之前描述的插值方法得到直線性圖像。圖19是從圖5給出的魚眼圖像獲取的直線性圖像,其中經(jīng)處理的像平面的橫向尺寸為240像素,縱向尺寸為180像素,水平FOV為120°,并且不存在滑動(dòng)操作。如能夠從圖19中看到的那樣,所有的直線都捕捉為直線。另一方面,圖20示出了直線性圖像,其參數(shù)與圖19的參數(shù)相同,除了經(jīng)處理的像平面的中心已經(jīng)沿著橫向滑動(dòng)了70像素并沿著縱向滑動(dòng)了-30像素。另一方面,圖21是室內(nèi)景物的示例性圖像,其通過將參考文獻(xiàn)14和15中描述的具有190°FOV的魚眼透鏡的光軸對準(zhǔn)為與地平面平行而獲得。在所述參考文獻(xiàn)中詳細(xì)描述了該魚眼透鏡的真實(shí)投影方案。另一方面,圖22是從圖21中給出的魚眼圖像獲取的具有圓柱投影方案的全景圖像。此處,經(jīng)處理的像平面的寬度:高度比為16:9,第三交點(diǎn)的位置與經(jīng)處理的像平面的中心重合,并且水平FOV設(shè)置為190°。如能夠從圖22中看到的那樣,所有的豎直線都捕捉為豎直線并且所有物體都顯示的較自然。輕微的誤差是由于將光軸對準(zhǔn)為平行于地平面的誤差以及在實(shí)驗(yàn)上確定未修正的像平面上的光軸的位置的誤差而引起的。另一方面,圖23是從圖21中獲取的直線性圖像,寬度:高度比為4:3,其中第三交點(diǎn)的位置與經(jīng)處理的像平面的中心重合,并且水平FOV為60°。此處,能夠看到,世界坐標(biāo)系中所有的直線在經(jīng)處理的像平面中都捕捉為直線。第二實(shí)施方式圖24示出了這種發(fā)明能夠使用的一個(gè)示例性應(yīng)用。內(nèi)置照相機(jī)模塊是確定便攜式電話的市價(jià)的非常重要的因素。如果便攜式電話(2414)能夠拍攝全景照片,那么將會(huì)極大地增加消費(fèi)者的滿意度。當(dāng)前安裝在照相機(jī)電話中的普通透鏡由2到4片雙非球面透鏡元件組成,并且具有典型FOV為60°百萬像素等級的分辨率。另一方面,可能采用3到5片雙非球面透鏡元件實(shí)現(xiàn)FOV為120°和180°之間的魚眼透鏡。此外,由于諸如ARM核心處理器的高端處理器通常植入在便攜式電話中,因此其能夠處理實(shí)施當(dāng)前發(fā)明的概念所需的圖像處理負(fù)荷。因此,能夠通過安裝具有大于120°的FOV的廣角透鏡并且將圖像處理功能賦予便攜式電話的電子電路中來實(shí)現(xiàn)全景照相機(jī)電話。用于該應(yīng)用的圖像傳感器的分辨率優(yōu)選地大于1M像素。通過利用這種照相機(jī)電話,用戶能夠得到諸如圖22中給出的或者諸如圖23中給出的全景圖像。如果期望將大于180°的FOV賦予到用于便攜式電話的內(nèi)置透鏡則出現(xiàn)復(fù)雜化。如果透鏡不從便攜式電話的壁凸出,那么即使透鏡本身具有大于180°的FOV,該壁也遮蔽透鏡的景物。因此,為了獲得大于180°的FOV,透鏡必須從便攜式電話的壁凸出。然而,由于便攜式電話一直由用戶攜帶的特性,凸出的透鏡可能刮擦或染污。考慮到這個(gè)事實(shí),可獲得透鏡蓋以便當(dāng)內(nèi)置照相機(jī)在不使用時(shí)來覆蓋透鏡。另一方法是使得照相機(jī)模塊僅在要使用電話照相機(jī)時(shí)才從便攜式電話的壁露出。最后,最簡單的方法是使透鏡的FOV小于170°。對于這種FOV,透鏡無需從壁中凸出,并且固定的透鏡模塊就足夠了。考慮到具有旋轉(zhuǎn)透鏡的全景照相機(jī)的水平FOV僅為120°的事實(shí),很顯然這種FOV對于消費(fèi)者滿意度來說是足夠的。相同的技術(shù)能夠在PC照相機(jī)或網(wǎng)絡(luò)照相機(jī)中使用,并且用于必要圖像處理的計(jì)算能力能夠由連接至該P(yáng)C照相機(jī)的PC、或者連接至因特網(wǎng)的另一用戶的計(jì)算機(jī)、或者網(wǎng)絡(luò)服務(wù)器提供。此外,魚眼圖像能夠采用裝配有魚眼透鏡的數(shù)字照相機(jī)獲得,然后全景圖像或直線性圖像能夠采用在PC上運(yùn)行的圖像編輯軟件獲取。第三實(shí)施方式如果裝配有具有180°FOV的魚眼透鏡的照相機(jī)安裝在室內(nèi)墻壁上,則事實(shí)上,不存在安全監(jiān)視的盲區(qū)。這是因?yàn)槲幢徽障鄼C(jī)捕捉的區(qū)域是無需進(jìn)行安全監(jiān)視的墻壁。然而,如上所述,魚眼透鏡的圖像由于其桶形失真引起心理上的不適。另一方面,盡管以本發(fā)明的第一實(shí)施方式的方式獲取的超廣角圖像捕捉到大多數(shù)室內(nèi)景物,但是所捕捉的距離光軸較遠(yuǎn)的物體對于裸眼顯得不自然。在這種情況下,看起來最為自然的圖像是能夠通過將照相機(jī)指向物體方向獲得的直線性圖像。能夠物理上提供這種圖像的照相機(jī)是裝配有直線性透鏡并被安裝在搖拍-俯仰物臺上的照相機(jī)。因?yàn)檎障鄼C(jī)能夠?qū)蜃钚枰P(guān)注的方向,因而能夠提供最令人滿意的圖像。此外,當(dāng)動(dòng)態(tài)地追蹤諸如貓或入侵者的移動(dòng)物體時(shí),圖像能夠連續(xù)地生成。利用軟件實(shí)現(xiàn)這種功能的方法提供如下。由于三維旋轉(zhuǎn)的數(shù)學(xué)特性,取決于首先進(jìn)行兩個(gè)操作(即,搖拍或俯仰操作)中的哪個(gè),得到不同的圖像。在該實(shí)施方式中,我們假設(shè)首先進(jìn)行搖拍操作。此外,如同在第一實(shí)施方式中那樣,允許進(jìn)行滑動(dòng)和縮放操作。僅出于方便理解的目的,更佳地假設(shè)滑動(dòng)和縮放操作在搖拍操作之前,而俯仰操作在搖拍操作之后。描述在搖拍操作之前的物體的坐標(biāo)系為世界坐標(biāo)系,搖拍操作之后的坐標(biāo)系為第一世界坐標(biāo)系,而俯仰操作之后的坐標(biāo)系為第二世界坐標(biāo)系。第二世界坐標(biāo)系的X"軸、Y"軸和Z"軸分別平行于第一直角坐標(biāo)系的x軸、y軸和z軸。如同在本發(fā)明的第一實(shí)施方式中那樣,首先確定滑動(dòng)操作之前的經(jīng)處理的像平面的尺寸(W,H)和水平FOVΔψ。然后,通過等式60確定經(jīng)處理的像平面的距離s"。接著,確定滑動(dòng)操作的適當(dāng)量(x"c,y"c),以便得到所需的水平FOV(ψmin≤ψ≤ψmax)以及豎直FOV(δmin≤δ≤δmax)。物平面上的與經(jīng)處理的像平面上的像點(diǎn)相對應(yīng)的每個(gè)物點(diǎn)均具有由等式56給出的天頂角以及由等式57給出的方位角。然后,在距離透鏡節(jié)點(diǎn)的物距R處的物點(diǎn)Q的坐標(biāo)由等式71至74給出。數(shù)學(xué)式71[數(shù)學(xué)式71]X=Rsinθcosφ數(shù)學(xué)式72[數(shù)學(xué)式72]Y=Rsinθsinφ數(shù)學(xué)式73[數(shù)學(xué)式73]Z=Rcosθ數(shù)學(xué)式74[數(shù)學(xué)式74]此處,物距能夠是任意值,且為了簡便能夠是1。在當(dāng)前發(fā)明的坐標(biāo)系中,搖拍操作為繞Y軸的旋轉(zhuǎn)操作,而俯仰操作為繞X'軸的旋轉(zhuǎn)操作。與世界坐標(biāo)系中具有坐標(biāo)(X,Y,Z)的物點(diǎn)相對應(yīng)的、繞Y軸旋轉(zhuǎn)的角度為-β的新點(diǎn)的坐標(biāo)假設(shè)為(X',Y',Z'),而與所述新點(diǎn)相對應(yīng)的、繞X'軸旋轉(zhuǎn)的角度為-α的另一點(diǎn)的坐標(biāo)假設(shè)為(X",Y",Z")。采用在本發(fā)明的第一實(shí)施方式中給出的歐拉矩陣,新點(diǎn)的坐標(biāo)由等式75給出。數(shù)學(xué)式75[數(shù)學(xué)式75]由于歐拉矩陣的數(shù)學(xué)特性,以下關(guān)系成立。數(shù)學(xué)式76[數(shù)學(xué)式76]MX′(α)=MY(β)MX(α)MY(-β)因此,等式75能夠以如下給出的更為簡單的形式表達(dá)。數(shù)學(xué)式77[數(shù)學(xué)式77]通過計(jì)算這些旋轉(zhuǎn)矩陣,新點(diǎn)的坐標(biāo)由等式78至80給出。數(shù)學(xué)式78[數(shù)學(xué)式78]X"=Xcosβ+Ysinβsinα+Zsinβcosα數(shù)學(xué)式79[數(shù)學(xué)式79]Y″=Ycosα-Zsinα數(shù)學(xué)式80[數(shù)學(xué)式80]Z″=-Xsinβ+Ycsoβsinα+Zcosβcosα用于從該新點(diǎn)的坐標(biāo)獲得第一點(diǎn)的坐標(biāo)的程序與第一實(shí)施方式的程序相同??紤]到所有的圖像傳感器和顯示設(shè)備都是數(shù)字設(shè)備的事實(shí),用于直線性投影方案的圖像處理程序能夠采用以下總結(jié)的程序進(jìn)行。首先,得到滿足等式81的經(jīng)處理的像平面的尺寸(Imax,Jmax)、水平視場Δψ、豎直視場Δδ以及從透鏡節(jié)點(diǎn)到經(jīng)處理的像平面的像素距離s"。數(shù)學(xué)式81[數(shù)學(xué)式81]經(jīng)處理的像平面的中心的坐標(biāo)由等式82給出。數(shù)學(xué)式82[數(shù)學(xué)式82]接著,根據(jù)需要,確定從第三交點(diǎn)到所述中心的位移(ΔI,ΔJ)。當(dāng)已完成這個(gè)預(yù)備階段時(shí),對于經(jīng)處理的像平面上的所有像素,計(jì)算在等式83中給出的天頂角以及在等式84中給出的方位角。數(shù)學(xué)式83[數(shù)學(xué)式83]數(shù)學(xué)式84[數(shù)學(xué)式84]接著,利用等式85至87計(jì)算物平面上具有這些天頂角和方位角的物點(diǎn)Q的坐標(biāo)。數(shù)學(xué)式85[數(shù)學(xué)式85]XI,J=sinθI,JcosφI,J數(shù)學(xué)式86[數(shù)學(xué)式86]YI,J=sinθI,JsinφI,J數(shù)學(xué)式87[數(shù)學(xué)式87]ZI,J=cosθI,J此處,已假設(shè)物距為1。接著,使用等式88至90來計(jì)算該物點(diǎn)在第二世界坐標(biāo)系中的坐標(biāo)。數(shù)學(xué)式88[數(shù)學(xué)式88]X"I,J=XI,Jcosβ+YI,Jsinβsinα+ZI,Jsinβcosα數(shù)學(xué)式89[數(shù)學(xué)式89]Y″I,J=YI,Jcsoα-ZI,Jsinα數(shù)學(xué)式90[數(shù)學(xué)式90]Z″I,J=-XI,Jsinβ+YI,Jcosβsinα+ZI,Jcosβcosα從該坐標(biāo),利用等式91和92來計(jì)算入射光線的天頂角θI,J和方位角數(shù)學(xué)式91[數(shù)學(xué)式91]數(shù)學(xué)式92[數(shù)學(xué)式92]接著,利用等式93計(jì)算圖像傳感器平面上的圖像高度rI,J。數(shù)學(xué)式93[數(shù)學(xué)式93]rI,J=r(θI,J)接著,從未修正的像平面上的第二交點(diǎn)的位置(KO,LO)以及放大率g來計(jì)算未修正的像平面上的第二點(diǎn)的位置。數(shù)學(xué)式94[數(shù)學(xué)式94]x′I,J=Lo+grI,Jcos(φI,J)數(shù)學(xué)式95[數(shù)學(xué)式95]Y′I,J=Ko+grI,Jsin(φI,J)一旦已經(jīng)得到對應(yīng)的第二點(diǎn)的位置,就能夠采用與在第一實(shí)施方式中描述的插值方法相同的方法得到直線性圖像。圖25是從圖5給出的魚眼圖像獲取的直線性圖像,其中經(jīng)處理的像平面的橫向尺寸為240像素,縱向尺寸為180像素,在滑動(dòng)-搖拍-俯仰操作之前的水平FOV為120°,不存在滑動(dòng)操作,并且轉(zhuǎn)動(dòng)角度給定為α=β=30°。如能夠從圖25中看到的那樣,所有的直線都捕捉為直線。另一方面,圖26示出了從圖21給出的魚眼圖像獲取的直線性圖像,其中經(jīng)處理的像平面的橫向尺寸為1280像素,縱向尺寸為960像素,在滑動(dòng)-搖拍-俯仰操作之前的水平FOV為70°,不存在滑動(dòng)操作,并且轉(zhuǎn)動(dòng)角度給定為α=40°,β=20°。第四實(shí)施方式圖27是采用參考文獻(xiàn)14和15中描述的魚眼透鏡捕捉的室內(nèi)景物的另一示例性圖像,其中坐標(biāo)系的光軸已從水平面朝地面(即,最低點(diǎn))向下傾斜了45°。另一方面,圖28是從圖27獲取的具有搖拍-俯仰操作的直線性圖像。具體地,經(jīng)處理的像平面的橫向尺寸為1280像素,縱向尺寸為960像素,在滑動(dòng)-搖拍-俯仰操作之前的水平FOV為60°,不存在滑動(dòng)操作,并且轉(zhuǎn)動(dòng)角度給定為α=45°,β=50°。然而,從圖28中能夠看到諸如書架的豎直延伸的物體呈現(xiàn)為傾斜的。在這種情況下,當(dāng)俯仰操作先于搖拍操作進(jìn)行時(shí)能夠得到令人滿意的圖像。換言之,在第三實(shí)施方式中提出的獲得直線性圖像的方法是這樣的方法,其中首先進(jìn)行滑動(dòng)操作,然后依次進(jìn)行搖拍和俯仰操作。然而,取決于應(yīng)用范圍,如果搖拍和俯仰操作的次序互換的話,則可能更為有利。與本發(fā)明的第三實(shí)施方式類似,可通過依次進(jìn)行俯仰和搖拍操作獲得的新點(diǎn)的坐標(biāo)由等式96給出。數(shù)學(xué)式96[數(shù)學(xué)式96]通過對這些旋轉(zhuǎn)矩陣進(jìn)行求值,物點(diǎn)在第二世界坐標(biāo)系中的坐標(biāo)由等式97至99給出。數(shù)學(xué)式97[數(shù)學(xué)式97]X"=Xcosβ+Zsinβ數(shù)學(xué)式98[數(shù)學(xué)式98]Y"=Xsinαsinβ+Ycosα-Zsinαcosβ數(shù)學(xué)式99[數(shù)學(xué)式99]Z"=-Xcosαsinβ+Ysinα+Zcosαcosβ用于從物點(diǎn)的坐標(biāo)獲得第二點(diǎn)的坐標(biāo)的程序與第三實(shí)施方式中給出的程序相同??紤]到所有的圖像傳感器和顯示設(shè)備都是數(shù)字設(shè)備的事實(shí),用于直線性投影方案的圖像處理程序能夠采用以下總結(jié)的程序進(jìn)行。首先,得到滿足等式100的經(jīng)處理的像平面的尺寸(Imax,Jmax)、水平視場Δψ、豎直視場Δδ以及從透鏡節(jié)點(diǎn)到經(jīng)處理的像平面的像素距離s"。數(shù)學(xué)式100[數(shù)學(xué)式100]經(jīng)處理的像平面的中心的坐標(biāo)由等式101給出。數(shù)學(xué)式101[數(shù)學(xué)式101]接著,根據(jù)需要,確定從第三交點(diǎn)到所述中心的位移(ΔI,ΔJ)。當(dāng)已完成這個(gè)預(yù)備階段時(shí),對于經(jīng)處理的像平面上的所有像素,計(jì)算在等式102中給出的天頂角以及在等式103中給出的方位角。數(shù)學(xué)式102[數(shù)學(xué)式102]數(shù)學(xué)式103[數(shù)學(xué)式103]接著,利用等式104至106計(jì)算物平面上具有這些天頂角和方位角的物點(diǎn)Q的坐標(biāo)。數(shù)學(xué)式104[數(shù)學(xué)式104]XI,J=sinθI,JcosφI,J數(shù)學(xué)式105[數(shù)學(xué)式105]YI,J=sinθI,JsinφI,J數(shù)學(xué)式106[數(shù)學(xué)式106]ZI,J=cosθI,J接著,該物點(diǎn)在第二世界坐標(biāo)系中的坐標(biāo)采用等式107至109來計(jì)算。數(shù)學(xué)式107[數(shù)學(xué)式107]X″I,J=XI,Jcosβ+ZI,JsinβY″I,J=XI,Jsinαsinβ+Ycsoα-ZI,Jsinαcosβ數(shù)學(xué)式108[數(shù)學(xué)式108]Y″I,J=XI,Jsinαsinβ+YI,Jcsoα-ZI,Jsinαcsoβ數(shù)學(xué)式109[數(shù)學(xué)式109]Z″I,J=-XI,Jcsoαsinβ+YI,Jsinα+ZI,Jcsoαcsoβ從該坐標(biāo),利用等式110和111來計(jì)算入射光線的天頂角θI,J和方位角數(shù)學(xué)式110[數(shù)學(xué)式110]θI,J=cos-1(Z″I,J)數(shù)學(xué)式111[數(shù)學(xué)式111]接著,利用等式112計(jì)算圖像傳感器平面上的圖像高度rI,J。數(shù)學(xué)式112[數(shù)學(xué)式112]rI,J=r(θI,J)接著,利用未修正的像平面上的第二交點(diǎn)的位置(KO,LO)以及放大率g來計(jì)算未修正的像平面上的第二點(diǎn)的位置。數(shù)學(xué)式113[數(shù)學(xué)式113]x′I,J=Lo+grI,Jcos(φI,J)數(shù)學(xué)式114[數(shù)學(xué)式114]y′I,J=Ko+grI,Jsin(φI,J)一旦已經(jīng)得到對應(yīng)的第二點(diǎn)的位置,就能夠采用與在第一和第三實(shí)施方式中描述的插值方法相同的方法得到直線性圖像。圖29是從圖27中給出的魚眼圖像獲取的具有搖拍-俯仰操作的直線性圖像。具體地,經(jīng)處理的像平面的橫向尺寸為1280像素,縱向尺寸為960像素,在滑動(dòng)-搖拍-俯仰操作之前的水平FOV為60°,不存在滑動(dòng)操作,并且轉(zhuǎn)動(dòng)角度給定為α=45°,β=50°。從圖29中能夠看到書架呈現(xiàn)為以豎直狀態(tài)立起。這些直線性投影方案能夠總結(jié)如下。本發(fā)明的成像系統(tǒng)應(yīng)用的世界坐標(biāo)系在圖9中示意性地示出。圖30示出了第二世界坐標(biāo)系(X",Y",Z"),其通過將圖9中示出的世界坐標(biāo)系(X,Y,Z)轉(zhuǎn)動(dòng)和平移獲得。具體地,圖30示出的第二世界坐標(biāo)系的原點(diǎn)N"是世界坐標(biāo)系中沿著X軸方向平移ΔX并沿著Y軸方向平移ΔY的原點(diǎn)N。然后,X"軸和Y"軸是在上述平移操作后,分別繞Z軸旋轉(zhuǎn)γ角度的X軸和Y軸。圖31示出了第二世界坐標(biāo)系中的物點(diǎn)的坐標(biāo)(X",Y")與經(jīng)處理的像平面上的像點(diǎn)的坐標(biāo)(x",y")成正比。換言之,等式115中給出的關(guān)系成立。數(shù)學(xué)式115[數(shù)學(xué)式115]一般說來,直線性投影方案是這樣的方案,其中,第二世界坐標(biāo)系(X",Y",Z")存在為使得對于經(jīng)處理的像平面上的所有像點(diǎn)(x",y"),等式115中給出的關(guān)系成立。其中第二世界坐標(biāo)系(X",Y",Z")可通過在三維空間中以任意次數(shù)和隨機(jī)順序轉(zhuǎn)動(dòng)和平移所述世界坐標(biāo)系(X,Y,Z)獲得。第五實(shí)施方式圖32是應(yīng)用本發(fā)明的廣角成像系統(tǒng)的車輛后視照相機(jī)的示意圖。參考文獻(xiàn)17中描述的現(xiàn)有技術(shù)的發(fā)明的全景成像系統(tǒng)能夠用作車輛后視照相機(jī)以便在監(jiān)測中完全消除盲區(qū)。所述魚眼透鏡能夠安裝在客車(3251)車廂的內(nèi)部,用于監(jiān)測汽車的背部而沒有盲區(qū)。還能夠?qū)⑵浒惭b在保險(xiǎn)杠或后窗處。然而,考慮到后視照相機(jī)的用途,車廂的頂部將是安裝后視照相機(jī)的理想位置。此外,對于巴士和卡車來說,后視照相機(jī)需要安裝在車輛的后端的頂部。另一方面,在停車或倒車時(shí),車輛的近距離后部區(qū)域的圖像是最有用的,而不是遠(yuǎn)景的視圖。為了在駕駛車輛的同時(shí)獲得遠(yuǎn)距離后部區(qū)域的圖像,圖像采集裝置(3210)的光軸(3201)將被對準(zhǔn)為與地平面(3217)平行。因此,為了從視覺上檢查位于車后或停車道后的障礙物,在第三至第四實(shí)施方式中提供的搖拍-俯仰操作將是有用的。圖33是從圖5中給出的魚眼圖像獲取的直線性圖像。經(jīng)處理的像平面的橫向尺寸為240像素,縱向尺寸為180像素,在滑動(dòng)-搖拍-俯仰操作之前的水平FOV為120°,不存在滑動(dòng)操作,并且轉(zhuǎn)動(dòng)角度給定為α=90°,β=0°。因此,這對應(yīng)于進(jìn)行了俯仰操作而沒有搖拍操作的情況。順便地,如能夠從圖33中看到的那樣,僅一半屏幕含有有用的圖像。參見圖34能夠理解這個(gè)原因。圖34是在假設(shè)圖像采集裝置的廣角透鏡的FOV為180°時(shí)繪出的。在圖34(a)中示出的不存在滑動(dòng)-搖拍-俯仰操作時(shí),符合直線性投影方案的經(jīng)處理的像平面(3435)以及物平面(3431)垂直于光軸,并且物平面上所有的物點(diǎn)都在所述透鏡的FOV內(nèi)。當(dāng)俯仰角度在圖34(b)中變?yōu)?0°時(shí),則一半的經(jīng)處理的像平面(3435)以及一半的物平面(3431)位于透鏡的FOV之外。因此,當(dāng)純粹在軟件中進(jìn)行俯仰角為90°的俯仰操作時(shí),則沒有視覺信息的區(qū)域呈現(xiàn)為占據(jù)一半的屏幕。此外,參見圖32和圖34,透鏡的FOV之外的區(qū)域?yàn)檐囕v的車身,因而監(jiān)視該區(qū)域沒有實(shí)際意義。另一方面,圖35示出了解決該問題的方法。如果期望作出等于90°的搖拍或俯仰角以便使得景象的主方向垂直于光軸,則如圖35(a)中示意性示出的那樣,優(yōu)選地,首先對經(jīng)處理的像平面(3535)進(jìn)行滑動(dòng)操作,以使得物平面(3531)位于旋轉(zhuǎn)操作所要沿著的光軸的方向的相對側(cè)。然后,即使如圖35(b)中所示的旋轉(zhuǎn)角變?yōu)?0°,物平面仍然保持在透鏡的FOV內(nèi)并且獲得令人滿意的直線性圖像。圖36是通過在俯仰操作之前應(yīng)用滑動(dòng)操作而獲得的廣角圖像的實(shí)例。圖37是采用光軸對準(zhǔn)為平行于地平面的所述魚眼透鏡獲得的另一魚眼圖像。裝配有所述魚眼透鏡的照相機(jī)安裝在大巴士的側(cè)壁附近并從該巴士向外指向。照相機(jī)的高度與巴士的高度相當(dāng)。如能夠從圖37中看到的那樣,半球內(nèi)包括巴士的側(cè)壁的所有物體都已被捕捉在圖像中。圖38是從圖37中獲得的水平FOV為190°的全景圖像。所應(yīng)用的投影方案為莫卡脫投影方案,且第三交點(diǎn)的坐標(biāo)為(Io,Jo)=(1,Jmax/2)。另一方面,圖39是從圖37中獲取的直線性圖像,其中水平FOV為90°,俯仰角度為-90°,且滑動(dòng)操作的大小為(ΔI,ΔJ)=(-Imax/2,0)。另一方面,圖40是從圖37中獲取的另一直線性圖像,其中水平FOV為90°,且滑動(dòng)操作的大小為(ΔI,ΔJ)=(0,Jmax/2)。為了獲得示出巴士前側(cè)的圖像,已應(yīng)用了-100°的搖拍操作,然后應(yīng)用-30°的俯仰操作。從圖38至40能夠看出這種成像系統(tǒng)作為用于車輛的照相機(jī)時(shí)是有用的。圖41示出了應(yīng)用這種成像系統(tǒng)的示意圖。將至少一個(gè)照相機(jī)(4110L,4110R,4110B)安裝在諸如客車或巴士的車輛(4151)的外壁,優(yōu)選地,在所有的照相機(jī)上都安裝相同的魚眼透鏡。此外,該照相機(jī)能夠安裝為平行于地平面、垂直于地平面或者與地平面呈一定角度。采用上述選擇中的哪個(gè)取決于具體的應(yīng)用領(lǐng)域。從這些照相機(jī)獲得的魚眼圖像由圖像處理裝置(4116)收集,在經(jīng)過適當(dāng)?shù)膱D像處理操作之后在圖像顯示裝置(4117)上顯示,并且能夠同時(shí)記錄在圖像記錄裝置(4118)上。該圖像記錄裝置能夠是DVR(數(shù)字視頻記錄器)。連接該圖像處理裝置(4116)的另一設(shè)備是態(tài)勢感知模塊或圖像選擇裝置。該圖像選擇裝置從汽車的電子電路接收信號,該信號指示汽車是否在前進(jìn)或后退,或者駕駛員是否給出向左或向右轉(zhuǎn)的改變車道信號。甚至當(dāng)車輛向前移動(dòng)時(shí),可能有必要在快速和慢速行駛之間進(jìn)行區(qū)分。獨(dú)立于所有的上述信號,駕駛員能夠通過操縱儀表板上的菜單而手動(dòng)地忽略這些信號,從而使投影方案和圖像的參數(shù)顯示在圖像顯示裝置上?;谟蓤D像選擇裝置提供的這些信號,圖像處理裝置提供適于當(dāng)前行駛態(tài)勢的最為合適的圖像,諸如來自左側(cè)照相機(jī)(4110L)或者來自后視照相機(jī)(4110B)的圖像。即使后視照相機(jī)(4110B)是安裝在車輛上的唯一照相機(jī),態(tài)勢感知模塊也仍然是有用的。例如,當(dāng)汽車向前移動(dòng)時(shí),諸如圖22中給出的全景圖像或者諸如圖23中給出的直線性圖像的平行于地平面的直線性圖像能夠從后視照相機(jī)(4110B)獲得的魚眼圖像得到并顯示給駕駛員。當(dāng)打開右轉(zhuǎn)信號燈時(shí),諸如圖40中給出的搖拍-俯仰圖像的圖像能夠顯示給駕駛員。并且,當(dāng)打開倒退信號燈時(shí),則諸如圖39中給出的俯仰圖像的圖像能夠顯示給駕駛員,以便避免可能的事故,。當(dāng)如圖41所示的同時(shí)使用若干照相機(jī)時(shí),則來自各個(gè)照相機(jī)的每個(gè)原圖像能夠分別進(jìn)行圖像處理,然后經(jīng)處理的圖像能夠被無縫地結(jié)合在一起,以便形成單個(gè)全景圖像或直線性圖像。在這種情況下,能夠?qū)⒏钊藵M意的圖像顯示給駕駛員,諸如如同從空中拍攝的提供車輛及其周圍環(huán)境的圖像的鳥瞰圖。總的說來,用于車輛的成像系統(tǒng)包括:用于獲取未修正的像平面的圖像采集裝置,其裝配有繞光軸旋轉(zhuǎn)對稱的廣角透鏡;用于從未修正的像平面生成經(jīng)處理的像平面的圖像處理裝置;確定經(jīng)處理的像平面的投影方案和參數(shù)的圖像選擇裝置;以及在形狀為矩形的屏幕上顯示經(jīng)處理的像平面的圖像顯示裝置。所述經(jīng)處理的像平面的投影方案包括全景投影方案和直線性投影方案。車輛是具有用于車輛的成像系統(tǒng)的設(shè)備。用于該成像系統(tǒng)的世界坐標(biāo)系將廣角透鏡的節(jié)點(diǎn)作為原點(diǎn)并將經(jīng)過所述原點(diǎn)的豎直線作為Y軸。當(dāng)所述形狀為矩形的屏幕上的與世界坐標(biāo)系中的坐標(biāo)為(X,Y,Z)的物點(diǎn)相對應(yīng)的像點(diǎn)的坐標(biāo)假設(shè)為(x",y")時(shí),那么,所述全景投影方案是這樣的方案,其中,平行于世界坐標(biāo)系中的所述Y軸的直線都呈現(xiàn)為與所述屏幕上的y"軸平行的直線,并且在所述世界坐標(biāo)系中的X-Z平面上具有相同角距離的兩個(gè)像點(diǎn)在所述屏幕上沿著x"軸具有相同的距離。另一方面,所述直線性投影方案是這樣的方案,其中,所述世界坐標(biāo)系中的任意直線均在所述屏幕上呈現(xiàn)為直線。以上原理能夠用在用于車輛的成像系統(tǒng)的領(lǐng)域之外的許多其他領(lǐng)域中。例如,所述設(shè)備為照相機(jī)電話,而所述圖像選擇裝置為該照相機(jī)上的用戶能選擇的菜單按鈕。或者,所述設(shè)備為PC照相機(jī),所述圖像采集裝置為具有魚眼透鏡的USBCMOS照相機(jī),而所述圖像處理裝置為在計(jì)算機(jī)上運(yùn)行的軟件。或者,所述設(shè)備為數(shù)字照相機(jī),所述圖像處理裝置為在計(jì)算機(jī)上運(yùn)行的軟件。在這種情況下,所述圖像采集裝置和所述圖像處理裝置為兩個(gè)不僅物理上分開而且在時(shí)間上也分開的裝置。換言之,圖像采集裝置為裝配有魚眼透鏡的照相機(jī),而圖像處理裝置為在計(jì)算機(jī)上運(yùn)行的圖像編輯軟件。此外,圖像選擇裝置為圖像編輯軟件上的菜單按鈕,而所述圖像顯示裝置當(dāng)然是PC監(jiān)視器。第六實(shí)施方式圖42是采用先前的實(shí)施方式的成像系統(tǒng)的建筑物監(jiān)測系統(tǒng)的示意圖。如圖42所示,在建筑物的每個(gè)壁上的高點(diǎn)都安裝一個(gè)照相機(jī)。因?yàn)榈湫偷慕ㄖ镄螤顬榫匦?,因而一般需要四個(gè)照相機(jī)。如果建筑物的四個(gè)壁分別面向東方、西方、北方和南方,那么與建筑物的東壁相鄰的地平面的矩形區(qū)域分配為用于東側(cè)照相機(jī)(4210E)物平面。同樣,當(dāng)相應(yīng)的物平面(4231W,4231N,4231S)分別分配為西側(cè)照相機(jī)(4210W)、北側(cè)照相機(jī)(4210N)和南側(cè)照相機(jī)(4210S)時(shí),則確保了相鄰的物平面彼此緊鄰,以使得能夠完全監(jiān)測建筑物的周圍事物,而沒有盲點(diǎn)。所期望地是,每個(gè)照相機(jī)均安裝為朝向地平面豎直向下指向,但是通過以一定角度安裝照相機(jī)能夠獲得類似的效果。在從由所安裝的照相機(jī)獲得的圖像中獲取直線性圖像之后,與圖42中示出的物平面相對應(yīng)的圖像的區(qū)域被刪掉。當(dāng)這些圖像都放在一起時(shí),得到了以鳥瞰圖提供建筑物周圍事物的令人滿意的圖像。在這種情況下,同樣,態(tài)勢感知模塊(4219)在圖像顯示裝置(4217)上顯示與安保人員的操作相對應(yīng)的多個(gè)圖像。在本實(shí)施方式中,組合從每個(gè)方向獲得的直線性圖像的程序稱為圖像配準(zhǔn)。這種圖像配準(zhǔn)技術(shù)在參考文獻(xiàn)18中詳細(xì)描述,且基本原理是從至少部分重疊的兩個(gè)子圖像計(jì)算相關(guān)函數(shù),并且從該相關(guān)函數(shù)的峰值,確定兩個(gè)圖像之間的相對平移或旋轉(zhuǎn)量,這對兩個(gè)圖像最優(yōu)匹配是必要的。第七實(shí)施方式圖43是從裝配有魚眼透鏡的照相機(jī)獲得的圖像,該照相機(jī)如圖13所示安裝在客車的頂部,且照相機(jī)俯仰角為-45°。如能夠從圖43看到的那樣,F(xiàn)OV較寬,使得甚至能夠讀出車輛的車號牌。另一方面,圖44是從圖43獲取的、水平FOV為120°且俯仰角為-45°的直線性圖像。此外,能夠看到地平面上的停車道清晰可見。然而,能夠看到的是汽車的后保險(xiǎn)杠呈現(xiàn)為比停車道更大。這種直線性圖像對于停車輔助裝置不是很有用。通過參見圖45,能夠理解圖像以這種方式呈現(xiàn)的原因。圖45是汽車后視照相機(jī)(4510)安裝在客車(4551)的車廂頂部附近的情況的示意圖。提供直線性圖像的照相機(jī)的特性與針孔照相機(jī)的特性相同。在圖45中,停車道(4555)的寬度顯然大于客車或者后保險(xiǎn)杠(4553)的寬度。因此,客車能夠完全包含在該停車道內(nèi)。然而,當(dāng)從安裝在中心的直線性透鏡觀察時(shí),由于保險(xiǎn)杠的高度,保險(xiǎn)杠呈現(xiàn)為比停車道寬。從圖45中的照相機(jī)觀察,停車道的邊界(4563)呈現(xiàn)為必定比保險(xiǎn)杠(4563)的邊界窄,并且這與透鏡的投影方案無關(guān),而是純觀察點(diǎn)的結(jié)果。為了使停車道呈現(xiàn)為比保險(xiǎn)杠寬,兩個(gè)物體的高度必須類似,但這實(shí)際上是不可能的。圖46是用于車輛的解決了上述問題的成像系統(tǒng)的示意圖。用于車輛的照相機(jī)安裝在車輛的每個(gè)角,并且光軸對準(zhǔn)為垂直于地平面。例如,其能夠安裝在保險(xiǎn)杠的角處,保險(xiǎn)杠為汽車的凸出端。在照相機(jī)安裝的這種狀態(tài)中,獨(dú)立于保險(xiǎn)杠的高度,獲得車輛相對于地平面的精確位置(4663),因此,當(dāng)試圖停放車輛時(shí),能夠精確地估計(jì)到停車道的距離。然而,并非必須使圖像采集裝置的光軸垂直于地平面,并且其甚至能夠平行于地平面。甚至當(dāng)圖像采集裝置的光軸與地平面呈一定角度時(shí),通過搖拍、俯仰和滑動(dòng)操作的適當(dāng)組合,也能夠獲得與光軸垂直于地平面的照相機(jī)的圖像相同的圖像。圖47是采用裝配有魚眼透鏡的照相機(jī)得到的圖像,該照相機(jī)安裝在休閑車的頂部附近且光軸垂直于地平面,而圖48是從這種魚眼圖像獲取的直線性圖像。從圖48中,能夠看到車輛和停車道呈現(xiàn)為彼此適當(dāng)?shù)胤珠_。這種成像系統(tǒng)對于如圖49所示意性示出的諸如巴士或卡車的高度較高的車輛尤其有用。因?yàn)槌上裣到y(tǒng)安裝在比人的身高更高的高度處,因而直線性圖像呈現(xiàn)更加自然,其更易于維修,且破損或染污的幾率更小。這種用于車輛的成像系統(tǒng)的特征在于,其包括:第一和第二圖像采集裝置,用于采用繞光軸旋轉(zhuǎn)對稱的廣角透鏡獲得第一和第二未修正的像平面;圖像處理裝置,用于從所述第一和第二未修正的像平面獲取符合直線性投影方案的第一和第二經(jīng)處理的像平面以及隨后從第一和第二經(jīng)處理的像平面生成配準(zhǔn)的經(jīng)處理的像平面;以及圖像顯示裝置,用于在形狀為矩形的屏幕上顯示所述配準(zhǔn)的經(jīng)處理的像平面。所述設(shè)備為具有所述用于車輛的成像系統(tǒng)的汽車。優(yōu)選地,所述第一和第二圖像采集裝置安裝在車輛的后端的兩個(gè)角處且朝向地平面向下指向,并且所述配準(zhǔn)的經(jīng)處理的像平面包含所述兩個(gè)角的視圖。另一方面,圖50示出了采用相同的原理用于監(jiān)視建筑物外部的成像系統(tǒng)。此處,所述設(shè)備為建筑物本身。這種用于監(jiān)測建筑物外部的成像系統(tǒng)的特征在于,其包括:第一至第四圖像采集裝置(5010NW,5010NE,5010SW,5010SE),用于采用繞光軸旋轉(zhuǎn)對稱的廣角透鏡獲得第一至第四未修正的像平面;圖像處理裝置(5016),用于從所述第一至第四未修正的像平面獲取符合直線性投影方案的第一至第四經(jīng)處理的像平面、以及隨后從第一至第四經(jīng)處理的像平面生成配準(zhǔn)的經(jīng)處理的像平面;以及圖像顯示裝置(5017),用于在形狀為矩形的屏幕上顯示所述配準(zhǔn)的經(jīng)處理的像平面。優(yōu)選地,所述第一至第四圖像采集裝置安裝在建筑物的后端的四個(gè)角處且朝向地平面向下指向,并且所述配準(zhǔn)的經(jīng)處理的像平面包含所述四個(gè)角的視圖。第八實(shí)施方式參考文獻(xiàn)17中的全景成像系統(tǒng)需要方向感測裝置,以便連續(xù)地提供看起來自然的全景圖像,而不管具有該成像系統(tǒng)的設(shè)備相對于地平面的傾斜。然而,可能發(fā)生的是對于諸如摩托車或無人機(jī)的某些設(shè)備來說,方向感測裝置的額外安裝在成本、重量或體積方面可能是困難的。圖51是提供能夠在這些情況中有利地使用的多觀察點(diǎn)全景的物平面的概念圖。本實(shí)施方式的物平面具有這樣的結(jié)構(gòu),其中,多于兩個(gè)的子物平面連接在一起,且每個(gè)子物平面本身均為平坦表面。雖然圖51示出為使用了三個(gè)子物平面(即,5131-1,5131-2和5131-3)的情況,但是也能夠容易理解使用n個(gè)子物平面的更為普遍的情況。為了容易地理解本實(shí)施方式,假設(shè)了半徑為T且中心位于透鏡節(jié)點(diǎn)上的球體。如果將折疊屏幕設(shè)置在球體周圍同時(shí)保持該折疊屏幕接觸該球體,則該折疊屏幕與本實(shí)施方式的物平面相對應(yīng)。因此,n個(gè)子物平面都位于具有與透鏡節(jié)點(diǎn)相同的距離T。因此,所有物平面都具有相同的縮放率或放大率。在采用三個(gè)物平面的圖51中,第一子物平面(5131-1)的景象的主方向(5101-1)與第二子物平面(5131-2)的景象的主方向(5101-2)形成了角度ψ1-2,且第三子物平面(5131-3)的景象的主方向(5101-3)與第二子物平面(5131-2)的景象的主方向(5101-2)形成了角度ψ3-4。第一子物平面的水平FOV的范圍為從最小值ψ1到最大值ψ2,第二子物平面的水平FOV的范圍為從最小值ψ2到最大值ψ3。通過使相鄰子物平面的水平FOV無縫的延續(xù),能夠獲得看起來自然的多觀察點(diǎn)全景圖像。圖52是從圖5獲取的多觀察點(diǎn)全景圖像的實(shí)例,其中,每個(gè)子經(jīng)處理的像平面在沿著橫向均是240像素寬且沿著縱向均是180像素高。此外,每個(gè)子物平面或子經(jīng)處理的像平面的水平FOV均為60°,對于每個(gè)子物平面均不存在滑動(dòng)操作,并且對于所有子物平面來說到子物平面的距離都相等。對于左側(cè)的第三物平面的搖拍角度為-60°,對于中間的第二物平面的搖拍角度為0°,對于右側(cè)的第一物平面的搖拍角度為60°。因?yàn)槿齻€(gè)子物平面中的每個(gè)的水平FOV均為60°,因而所述三個(gè)子物平面包括總體上具有180°的水平FOV的多觀察點(diǎn)全景圖像。如能夠從圖52看到的那樣,在每個(gè)子物平面中,所有的直線都呈現(xiàn)為直線。圖53是示出了多觀察點(diǎn)全景圖像的定義的概念圖。提供多觀察點(diǎn)全景圖像的成像系統(tǒng)包括:包括:圖像采集裝置,裝配有繞光軸旋轉(zhuǎn)對稱的廣角透鏡且用于獲得未修正的像平面;圖像處理裝置,用于從所述未修正的像平面獲取經(jīng)處理的像平面;以及圖像顯示裝置,用于在形狀為矩形的屏幕上顯示所述經(jīng)處理的像平面。所述經(jīng)處理的像平面是多觀察點(diǎn)全景圖像,其中所述多觀察點(diǎn)全景圖像包括水平地布置在所述屏幕上的第一至第n子直線性像平面,n是大于2的自然數(shù);在將廣角透鏡的節(jié)點(diǎn)作為原點(diǎn)的世界坐標(biāo)系中的任意直線在任一第一至第n子直線性像平面上均呈現(xiàn)為直線(5381A),而世界坐標(biāo)系中的呈現(xiàn)在多于兩個(gè)的相鄰子直線性像平面上的任一直線均呈現(xiàn)為連接的線段(5381B-l,5381B-2,5381B-3)。另一方面,圖54是從圖5獲得的另一多觀察點(diǎn)全景圖像。該多觀察點(diǎn)全景圖像是通過首先將三個(gè)子物平面俯仰-55°、然后接著將所述子物平面以與圖52應(yīng)用相同的條件搖拍而獲得的。如能夠從圖54看到的那樣,即使世界坐標(biāo)系中的豎直線不與圖像傳感器平面的縱側(cè)平行,它們在經(jīng)處理的像平面中仍呈現(xiàn)為直線。圖55是從圖37獲得的多觀察點(diǎn)全景圖像,而圖56是從圖27獲得的多觀察點(diǎn)全景圖像。在圖55和圖56中,三個(gè)物平面中的每個(gè)的水平FOV均為190°/3。圖57是魚眼圖像的另一實(shí)例,其示出了將FOV為190°的魚眼透鏡安裝在室內(nèi)的天花板的中心上的效果。圖58是從圖57中給出的魚眼圖像獲取的全景圖像。另一方面,圖59是從圖57中獲得的多觀察點(diǎn)全景圖像。每個(gè)子物平面的水平FOV均為360°/4,這是通過首先將所有子物平面俯仰-90°、然后將子物平面搖拍必要數(shù)量而獲得的。從圖59能夠看出這種成像系統(tǒng)可用作室內(nèi)安全照相機(jī)。以下是用來獲得圖59中圖像的MatLab代碼。第九實(shí)施方式圖60是實(shí)施本發(fā)明的概念的示例性圖像處理裝置的示意圖。本發(fā)明的圖像處理裝置(6016)具有輸入幀緩存器(6071),輸入幀緩存器(6071)存儲(chǔ)從圖像采集裝置(6010)獲得的圖像的一幀。如果圖像采集裝置(6010)是模擬CCTV,則需要對NTSC、PAL或塞康(Secam)信號進(jìn)行解碼并對兩個(gè)交錯(cuò)的子幀進(jìn)行反交錯(cuò)。另一方面,該程序?qū)τ跀?shù)字照相機(jī)是必要的。在進(jìn)行了上述必要程序之后,輸入幀緩存器(6071)以二維陣列的形式存儲(chǔ)從圖像采集裝置(6010)獲得的數(shù)字圖像。該數(shù)字圖像為未修正的像平面。另一方面,輸出幀緩存器(6073)以二維陣列的形式存儲(chǔ)輸出信號,其與能夠在圖像顯示裝置(6017)上顯示的經(jīng)處理的像平面(6035)相對應(yīng)。還存在中央處理器(CPU:6075),其從存在于輸入幀緩存器中的未修正的像平面生成經(jīng)處理的像平面并存儲(chǔ)在輸出幀緩存器中。輸出幀緩存器和輸入幀緩存器之間的映射關(guān)系以查找表格的形式存儲(chǔ)在諸如SDRAM的非易失性存儲(chǔ)器(6079)中。換言之,采用本發(fā)明的實(shí)施方式的算法,生成并存儲(chǔ)了與輸出幀緩存器中的具體像素相對應(yīng)的用于輸入幀緩存器的較長列表的像素地址。中央處理器(6075)是指存儲(chǔ)在非易失性存儲(chǔ)器中的用來處理圖像的該列表。態(tài)勢感知模塊或圖像選擇裝置已在本發(fā)明的前述實(shí)施方式中描述。圖60中的圖像選擇裝置(6077)接收來自多個(gè)傳感器以及連接至成像系統(tǒng)的開關(guān)的信號并且將其發(fā)送至中央處理器。通過識別用戶所按壓的按鈕,能夠指示是否未經(jīng)任何處理便顯示了原始的失真魚眼圖像、或者顯示了具有圓柱或莫卡脫投影方案的全景圖像、或者顯示了直線性圖像。所述非易失性存儲(chǔ)器存儲(chǔ)與用戶能夠選擇的可能選項(xiàng)的數(shù)量相對應(yīng)的多個(gè)列表。本發(fā)明的實(shí)施方式的圖像處理裝置可實(shí)施在FPGA(現(xiàn)場可編程門陣列)芯片上。在這種情況下,所有所述中央處理器、所述輸入幀緩存器以及所述輸出幀緩存器都能夠?qū)崿F(xiàn)在FPGA芯片上。在使用FPGA芯片來實(shí)現(xiàn)圖像處理裝置的情況下,不可能直接實(shí)施本發(fā)明的實(shí)施方式的算法。然而,在FPGA芯片上實(shí)施諸如三角函數(shù)或除法的表面上簡單的函數(shù)是非常有挑戰(zhàn)性的工作,并需要大量的資源。如之前已描述的那樣,更好的選擇是采用開發(fā)的算法制作精確的查找表格、將該查找表格存儲(chǔ)在非易失性存儲(chǔ)器上并且參見該查找表格進(jìn)行圖像處理。另一方面,如果用戶更喜歡能夠連續(xù)地改變直線性圖像的搖拍或俯仰角度,那么不可能提前準(zhǔn)備所有相應(yīng)的查找表格。在這種情況下,中央處理器能夠參見算法以及與用戶選擇相對應(yīng)的參數(shù)動(dòng)態(tài)地生成查找表格,并將其存儲(chǔ)在易失性或非易失性存儲(chǔ)器上。因此,如果用戶未通過諸如移動(dòng)鼠標(biāo)的適當(dāng)手段提供新的輸入,那么已經(jīng)生成的查找表格用于圖像處理,并且當(dāng)提供新的輸入時(shí),則快速生成相對應(yīng)的查找表格并存儲(chǔ)在所述存儲(chǔ)器中。在本發(fā)明的成像系統(tǒng)的一個(gè)優(yōu)選實(shí)施方式中,所述圖像采集裝置為裝配有FOV大于180°的魚眼透鏡的模擬CCTV,所述圖像處理裝置是采用FPGA芯片并將圖像處理算法作為查找表格存儲(chǔ)在非易失性存儲(chǔ)器上的獨(dú)立設(shè)備,而所述模擬CCTV和所述圖像處理裝置通過信號和電力線連接。或者,所述圖像采集裝置是裝配有FOV大于180°的魚眼透鏡的網(wǎng)絡(luò)照相機(jī),所述圖像處理裝置是采用FPGA芯片并將圖像處理算法作為查找表格存儲(chǔ)在非易失性存儲(chǔ)器上的獨(dú)立設(shè)備,而通過所述網(wǎng)絡(luò)照相機(jī)獲得的未修正的像平面通過因特網(wǎng)提供至所述圖像處理裝置。已參照附圖詳細(xì)描述了本發(fā)明的優(yōu)選實(shí)施方式。然而,詳細(xì)的描述以及本發(fā)明的實(shí)施方式純粹為了說明的目的,并且對于本領(lǐng)域技術(shù)人員來說,在不偏離本發(fā)明的精神和范圍的情況下,顯然能夠作出變化和修改。工業(yè)應(yīng)用性以上全景成像系統(tǒng)和設(shè)備不僅能夠用在用于室內(nèi)和室外環(huán)境的安全監(jiān)視應(yīng)用中,而且還能用在諸如用于公寓入口門的視頻電話、用于車輛的后視照相機(jī)、用于自動(dòng)機(jī)械的視覺傳感器的多種領(lǐng)域中,此外,其能夠采用數(shù)字照相機(jī)獲得全景照片。