具有由數(shù) 學(xué)式20給出的橫向入射角(即、經(jīng)度值)和由數(shù)學(xué)式21給出的豎向入射角(即、煒度值) 的物體面上的物點(diǎn)的光線在圖像傳感器面上形成的像點(diǎn)的信號值。
[0097] 根據(jù)現(xiàn)有發(fā)明,從具有畸變的魚眼透鏡的圖像能夠如下得到具有優(yōu)選投影方式的 全方位圖像。首先,根據(jù)使用者的需要定理想的全方位圖像的大?。╓,H)和第三交點(diǎn)0" 的位置。上述第三交點(diǎn)還可位于上述修正后圖像面的外部。換言之,修正后圖像面上的橫 坐標(biāo)的范圍(X" i,X" 2)和縱坐標(biāo)的范圍(y" i,y" 2)能夠具有任意實(shí)數(shù)值。而且,定該 全方位圖像(即、修正后圖像面)的橫向視場角△ Φ。這樣一來,使用數(shù)學(xué)式20和21即可 求得與該全方位圖像內(nèi)的第三點(diǎn)的直角坐標(biāo)(X",y")對應(yīng)的入射光的橫向入射角Φ和 豎向入射角S。接著,使用數(shù)學(xué)式22和23求出與該橫向入射角和豎向入射角對應(yīng)的入射 光的天頂角Θ和方位角Φ。
[0098] 數(shù)學(xué)式22
[0099]
[0100] 數(shù)學(xué)式23
[0101] Θ = cos 1 (cos δ cos Φ )
[0102] 接著,使用數(shù)學(xué)式6求出與該入射光的天頂角θ對應(yīng)的像大小r。使用該像大小 r和倍率g以及入射光的方位角φ并使用下面的數(shù)學(xué)式24和25求出修正前圖像面上的像 點(diǎn)的直角坐標(biāo)(X',y')。
[0103] 數(shù)學(xué)式24
[0104] X1 = gr ( Θ ) cos Φ
[0105] 數(shù)學(xué)式25
[0106] y ' = gr ( Θ ) sin Φ
[0107] 在這種過程中,應(yīng)當(dāng)精確地確定修正前圖像面上的第二交點(diǎn)的坐標(biāo)或等同地確定 傳感器面上的第一交點(diǎn)的位置。通過圖像處理技術(shù)等多種方法可容易求得這種交點(diǎn)的位 置,由于是在本領(lǐng)域廣為人知的技術(shù),因而在本說明書中不再贅述。最后,代入通過具有該 直角坐標(biāo)的魚眼透鏡的像點(diǎn)的信號(即、RGB信號)作為在上述全方位圖像的具有直角坐 標(biāo)(X",y")的像點(diǎn)的信號。以這種方法對于全方位圖像上的所有像點(diǎn)進(jìn)行圖像處理,則 能夠得到具有優(yōu)選投影方式的全方位圖像。
[0108] 但實(shí)際上由于存在所有圖像傳感器和顯示器單元均被數(shù)字化的事實(shí),因而發(fā)生更 復(fù)雜的問題。修正后圖像面具有橫向?yàn)?_個列(column)且豎向?yàn)镮 _個行(row)的二維 矩陣形態(tài)的像素(pixel),各像素大體上為橫向和豎向長度均為p的正方形的形狀,但在圖 像處理(image processing)領(lǐng)域?qū)⑾袼氐臋M向和豎向邊長均看做1。為了指定某一像素 P"使用行(row)號I和列(column)號J。
[0109] 有與上述修正后圖像面上的像素 P"對應(yīng)的圖像傳感器面上的像點(diǎn)(即、第一 點(diǎn))。在該第一點(diǎn)成像的入射光的在世界坐標(biāo)系的橫向入射角可以是Φ(Ι,Χ)。而 且,豎向入射角可以是Su= δ (I,J)。但該第一點(diǎn)的位置并不是與某一像素的位置精確 地一致。
[0110] 此時,若上述修正后圖像面為全方位圖像則橫向入射角如在數(shù)學(xué)式26給出那樣, 應(yīng)為僅與橫向像素坐標(biāo)J相關(guān)的函數(shù)。
[0111] 數(shù)學(xué)式26
[0112] Φ ^j= Φ J= Φ (J)
[0113] 與此相同地、豎向入射角應(yīng)為僅與豎向像素坐標(biāo)I相關(guān)的函數(shù)。
[0114] 數(shù)學(xué)式27
[0115] δ U= δ δ ⑴
[0116] 若與上面所述的圖像處理方法比較,則在數(shù)字化的畫面上的圖像處理方法通過如 下過程。首先,依據(jù)試驗(yàn)或基于精確的透鏡的設(shè)計(jì)圖求出用于獲得圖像的廣角透鏡的實(shí)際 投影方式。這里,透鏡的實(shí)際投影方式是指對于光軸具有天頂角Θ的入射光在通過上述透 鏡的成像作用而在圖像傳感器面上形成清晰的像點(diǎn)時,以入射光的天頂角Θ的函數(shù)求得 從上述圖像傳感器面與光軸的交點(diǎn)〇到上述像點(diǎn)的距離r。
[0117] 數(shù)學(xué)式28
[0118] r = r( Θ )
[0119] 上述函數(shù)是對天頂角Θ的單調(diào)遞增函數(shù)。接著,在修正前圖像面求出光軸的位置 即在圖像傳感器面與第一交點(diǎn)〇對應(yīng)的修正前圖像面上的第二交點(diǎn)〇'的位置。將該第二 交點(diǎn)的像素坐標(biāo)假設(shè)為(K ci,LJ。而且,求出與圖像傳感器面上的像點(diǎn)的大小r對應(yīng)的修正 前圖像面上的像素距離r'的放大倍數(shù)g。該放大倍數(shù)g如數(shù)學(xué)式29給出。
[0120] 數(shù)學(xué)式29
[0121]
[0122] 若這種一系列的預(yù)先作業(yè)結(jié)束,則與地面平行地設(shè)置安裝有上述魚眼透鏡的照相 機(jī)的光軸而獲得原圖像(即、修正前圖像面)。接著,定理想的修正后圖像面的大小和第三 交點(diǎn)的位置(1。,1),并對于上述修正后圖像面內(nèi)的所有像素(I,J)計(jì)算由數(shù)學(xué)式30和31 給出的橫向入射角灼和豎向入射角δ 1<3
[0123] 數(shù)學(xué)式30
[0124]
[0125] 數(shù)學(xué)式31
[0126]
[0127] 使用數(shù)學(xué)式32和33從該橫向入射角和豎向入射角求出在第一直角坐標(biāo)系的入射 光的天頂角S 1,;和方位角Φ ^
[0128] 數(shù)學(xué)式32
[0129] Θ ^ J= cos 1 (cos δ j cos Φ j)
[0130] 數(shù)學(xué)式33
[0131]
[0132] 接著,使用數(shù)學(xué)式32和28求出圖像傳感器面上的像大小ri,j。
[0133] 數(shù)學(xué)式34
[0134] ^liJ= r( Θ J j)
[0135] 接著,使用修正前圖像面上的第二交點(diǎn)的位置(Kci,LJ和放大倍數(shù)g并使用數(shù)學(xué)式 35和36求出修正前圖像面上的第二點(diǎn)的位置。
[0136] 數(shù)學(xué)式35
[0137] X' U= L ^grlij COS(J)lij
[0138] 數(shù)學(xué)式36
[0139] y1 J J= K0+gr:iJ β?ηΦ:^
[0140] 上述第二點(diǎn)的位置不是與某一像素的位置精確地一致。因此,可以將 (X' u,y' u)看做是與修正后圖像面上的第三點(diǎn)對應(yīng)的修正前圖像面上的虛擬的像素坐 標(biāo),一般來講,具有實(shí)數(shù)值。
[0141] 由于上述第二點(diǎn)不是與某一像素精確地一致,因而為了進(jìn)行圖像處理應(yīng)使用恰當(dāng) 的插補(bǔ)法(interpolation)。圖16是從圖5的圖像提取的圓柱投影方式的全方位圖像,是 橫邊長W與豎邊長H均為250像素,第三交點(diǎn)位于修正后圖像面的中央。而且,修正后圖 像面的橫向視場角是180°即π。從圖16可知,圖5的正面壁與左、右壁的垂直線在圖16 顯為直線。另一方面,圖17是在與地面平行地設(shè)置了參考文獻(xiàn)5和6中所記載的視場角 190°的魚眼透鏡的光軸的狀態(tài)下捕捉的室內(nèi)全景。上述參考文獻(xiàn)詳細(xì)地描述了該魚眼透 鏡的實(shí)際投影方式。另一方面,圖18是從圖17的魚眼圖像提取的圓柱投影方式的全方位 圖像。這里,修正后圖像面的橫向?qū)ωQ向之比以16:9給出,第三交點(diǎn)的位置與修正后圖像 面的中心一致,水平方向的視場角設(shè)定成190°。從圖18可知,垂直線均以垂直線表示出, 被攝體均顯得很自然。稍許的誤差主要是由將光軸調(diào)節(jié)到水平的以及在修正前圖像面定光 軸的位置的實(shí)驗(yàn)性誤差引起的。
[0142] 上面所述的參考文獻(xiàn)8的發(fā)明提供一種提供數(shù)學(xué)上精確的全方位圖像的圖像處 理算法及裝置。但在多數(shù)情況下,無畸變的直線像差修正圖像會更重要?;蛘?,一同使用全 方位圖像和直線像差修正圖像從而能夠得到更大的滿足。圖19是記載在參考文獻(xiàn)9中的 現(xiàn)有發(fā)明的一實(shí)施例的直線像差修正投影方式的概念圖。直線像差修正投影方式的透鏡是 通常所說的無畸變的透鏡,直線像差修正透鏡的特性看做與針孔照相機(jī)的特性相同。如圖 19所示,為了得到這種直線像差修正投影方式的圖像,考慮世界坐標(biāo)系的物體面1931與修 正后圖像面1935。
[0143] 上述實(shí)施例的成像系統(tǒng)朝向任意方向,第三直角坐標(biāo)系以該成像系統(tǒng)的光軸1901 為負(fù)的z"軸,并透鏡的節(jié)點(diǎn)N為原點(diǎn)。圖像傳感器面是橫邊長為B且豎邊長為V的長方形 的形狀,圖像傳感器面是垂直于光軸的平面。另一方面,修正后圖像面是橫邊長為W且豎邊 長為H的長方形的形狀。第一直角坐標(biāo)系的X軸、第二直角坐標(biāo)系的X'軸、第三直角坐標(biāo) 系的X"軸、以及世界坐標(biāo)系的X軸均平行于圖像傳感器的傳感器面的橫邊。而且,第一直 角坐標(biāo)系的z軸、第二直角坐標(biāo)系的z'軸、以及第三直角坐標(biāo)系的z"軸均相同且指向與世 界坐標(biāo)系的Z軸正相反的方向。
[0144] 在上述實(shí)施例中,假設(shè)修正后圖像面位于距透鏡的節(jié)點(diǎn)有距離s "的位置。在直線 像差修正投影方式中,物體面1931的形狀也是垂直于光軸的平面,物體面上的被攝體的圖 像以依舊保存了橫向比率和豎向比率的狀態(tài)重現(xiàn)在修正后圖像面1935上。直線像差修正 透鏡的優(yōu)選投影方式與針孔照相機(jī)的投影方式相同??紤]到針孔照相機(jī)的單純的幾何學(xué) 特性,便利的是,將物體面1931的大小或形狀假設(shè)為與修正后圖像面的大小或形狀相同。 因此,從物體面1931到透鏡的節(jié)點(diǎn)N的距離也假設(shè)為s"。
[0145] 圖20圖示了圖像傳感器面與光軸交點(diǎn)0即與第一交點(diǎn)對應(yīng)的修正后圖像面上的 第三交點(diǎn)〇"與修正后圖像面2035的中心C"不一致的情況。因此,相當(dāng)于在現(xiàn)有發(fā)明的 一實(shí)施例中起了滑動作用的成像系統(tǒng)。在以第三交點(diǎn)為原點(diǎn)的二維直角坐標(biāo)系中上述中心 C"的坐標(biāo)是(X"。)。由于修正后圖像面的橫向長度為W,因而橫坐標(biāo)以上述中心C" 為基準(zhǔn)為最小值X" i = - W/2至最大值X" 2=W/2。這里考慮到中心C"的坐標(biāo),修正后 圖像面上的橫坐標(biāo)的范圍是最小值X" iix"。一 W/2至最大值X" 2=x"。+胃/2。與此 相同地、縱坐標(biāo)的范圍是最小值y" :=7"。一 H/2至最大值y" 2=y" c+H/2。
[0146] 從修正后圖像面上的第三交點(diǎn)0"到第三點(diǎn)P"的距離即像大小r"如數(shù)學(xué)式37 給出。
[0147] 數(shù)學(xué)式37
[0148]
[0149] 由于從透鏡的節(jié)點(diǎn)到修正后圖像面的虛擬的距離為s",因而通過上述直線像差 修正透鏡到達(dá)第三點(diǎn)的入射光具有由數(shù)學(xué)式38給出的天頂角。
[0150] 數(shù)學(xué)式38 LiN 丄utajyddz λ 「/j 丄
[0151]
[0152] 另一方面,上述入射光的方位角如數(shù)學(xué)式39給出。
[0153] 數(shù)學(xué)式39
[0154]
[0155] 因此,在具有這種天頂角和方位角的入射光通過透鏡的成像作用而在上述圖像傳 感器面形成像點(diǎn)時,其像點(diǎn)的坐標(biāo)如數(shù)學(xué)式40和41給出。
[0156] 數(shù)學(xué)式40
[0157] X' = gr ( Θ ) cos Φ
[0158] 數(shù)學(xué)式41
[0159] y ' = gr ( Θ ) sin Φ
[0160] 因此,將具有這種直角坐標(biāo)的修正前圖像面上的信號值作為修正后圖像面上的第 三點(diǎn)的信號值代入即可。
[0161] 與上面所述的現(xiàn)有的實(shí)施例相同地、考慮到所有圖像傳感器和顯示器單元均被數(shù) 字化的事實(shí),便利的是,圖像處理過程使用如下數(shù)學(xué)式。首先,定修正后圖像面的大?。?_, J_)和滑動前的橫向視場角A φ。這樣一來,可利用數(shù)學(xué)式42求得從透鏡的節(jié)點(diǎn)到修正 后圖像面的像素距離s"。
[0162] 數(shù)學(xué)式42
[0163]
[0164] 而且,修正后圖像面的中心的坐標(biāo)如數(shù)學(xué)式43給出。
[0165] 數(shù)學(xué)式43
[0166]
[0167] 這里,數(shù)學(xué)式43反映的是在數(shù)字化的圖像中指定左上的像素坐標(biāo)為(1,1)的慣 例。
[0168] 接著,根據(jù)需要從第三交點(diǎn)定上述中心的位移(Δ I,Δ J)。若這種設(shè)定結(jié)束,則對 于修正后圖像面上的所有像素計(jì)算由數(shù)學(xué)式44給出的天頂角和由數(shù)學(xué)式45給出的方位 角。
[0169] 數(shù)學(xué)式44
[0170]
[0171] 數(shù)學(xué)式45
[0172]
[0173] 接著,使用數(shù)學(xué)式46求出圖像傳感器面上的像大小ri,j。
[0174] 數(shù)學(xué)式46
[0175] ri,j= r ( θ i,j)
[0176] 接著,使用修正前圖像面上的第二交點(diǎn)的位置(Kci, LJ和放大倍數(shù)g求出修正前圖 像面上的第二點(diǎn)的位置。
[0177] 數(shù)學(xué)式47
[0178] X' J J= L^grljJ cos (Φ ^j)
[0179] 數(shù)學(xué)式48
[0180] j' J J= K^grljJ sin (Φ ^j)
[0181] 這樣,若找到了對應(yīng)的第二點(diǎn)的位置,則使用上面所述的插補(bǔ)法能夠求得直線像 差修正圖像。
[0182] 圖21是從圖5的魚眼圖像提取的直線像差修正圖像,修正后圖像面的大小是橫 向、豎向均為250像素,表示無滑動作用的直線像差修正圖像。從圖21可知,所有直線均捕 捉成直線。另一方面,圖22是從圖17的圖像提取的直線像差修正圖像,橫向?qū)ωQ向之比為 4:3,第三交點(diǎn)的位置位于修正后圖像面的中心,橫向視場角是60°。從該圖像中可知,世界 坐標(biāo)系中的所有直線在修正后圖像面顯為直線。
[0183] 參考文獻(xiàn)8的全方位成像系統(tǒng)為了提供與具備成像系統(tǒng)的裝置對于地面的傾斜 無關(guān)地總是自然的全方位圖像,需要方向指示單元。但如摩托車或無人機(jī)那樣在費(fèi)用或重 量以及體積等方面有可能不存在易搭載方向指示單元的情況。圖23是表示這種情況下可 以使用的多視點(diǎn)全景(multiple viewpoint panorama)的定義的概念圖。
[0184] 提供多視點(diǎn)全景的成像系統(tǒng)的特征是,包括:利用以光軸為中心的旋轉(zhuǎn)對稱式廣 角透鏡而獲得修正前圖像面的圖像獲得單元;基于上述修正前圖像面生成修正后圖像面的 圖像處理單元;以及在長方形形狀的畫面上顯示與述修正后圖像面的圖像顯示單元。
[0185] 在圖23中,修正后圖像面由第一子直線像差修正圖像面2331-1、第二子直線像差 修正圖像面2331-2、以及第三子直線像差修正圖像面2331-3這三個子直線像差修正圖像 面構(gòu)成,第一至第三子直線像差修正圖像面在修正后圖像面上橫向排列。更為通常地、上述 修正后圖像面為多視點(diǎn)全景,上述多視點(diǎn)全景由在上述畫面上橫向排列的第一至第η子直 線像差修正圖像面構(gòu)成,這里,η2為以上的自然數(shù),以上述廣角透鏡的節(jié)點(diǎn)為原點(diǎn)的世界坐 標(biāo)系中的任意直線在上述第一至第η子直線像差修正圖像面顯示為直線2381Α,顯示在相 鄰的兩個以上的子直線像差修正圖像面的上述世界坐標(biāo)系中的任意直線在上述修正后圖 像面顯示為相連的線段2381Β-1、2381Β-2、2381Β-3。
[0186] 圖24是提供這種多視點(diǎn)全景方式的圖像的物體面的概念圖。本實(shí)施例的物體 面做成2個以上的作為平面的子物體面相連的構(gòu)造。雖然在圖24中圖示了使用2431-1、 2431-2、以及2431-3這三張子物體面的情況,但一般來講,對于η個子物體面的情況也能同 樣容易理解。為了容易理解本實(shí)施例,假設(shè)以透鏡的節(jié)點(diǎn)N為中心的半徑為T的球。假設(shè) 用屏風(fēng)以相接的方式圍住了該球,則就是該屏風(fēng)相當(dāng)于本實(shí)施例的物體面。因此,η個子物 體面均距透鏡的節(jié)點(diǎn)有相同的距離Τ。其結(jié)果,各個子物體面均具有相同的可變焦比(zoom ratio)或圖像的放大倍數(shù)。
[0187] 在使用三張子物體面的圖24中,第一子物體面2431-1的主視方向2401-1與第 二子物體面2431-2的主視方向2401-2具有角度Φ i 2,第三子物體面2431-3的主視方向 2401-3與第二子物體面2431-2的主視方向2401-2具有角度Φ 34。第一子物體面的橫向 視場角的范圍為最小值叭至最大值Φ 2,第二子物體面的橫向視場角的范圍為最小值Φ2 至最大值Φ3。通過相鄰的子物體面的橫向視場角以這種方式連續(xù)地連接,能夠得到自然的 多視點(diǎn)方式的全景圖像。第一子物體面與第三子物體面通過以適當(dāng)?shù)慕嵌葘Φ诙游矬w施 以搖攝作用而得到。
[0188] 圖25是另一魚眼圖像的例,可觀察到在室內(nèi)天花板上設(shè)置了視場角為190°的魚 眼透鏡時得到的效果。另一方面,圖26是從圖25提取的多視點(diǎn)全景圖像。各個物體面具 有190° /3的橫向視場角。從圖26的圖像可知這種成像系統(tǒng)對室內(nèi)保安相機(jī)有用。
[0189] 圖27是利用現(xiàn)有發(fā)明和本發(fā)明的思想的成像系統(tǒng)的實(shí)施例的概念圖,由圖像獲 得單元2710和圖像處理單元2716以及圖像顯示單元2717構(gòu)成。本發(fā)明的圖像處理單元 2716具有存儲從圖像獲得單元2710獲得的圖像的幀(frame)的輸入緩沖器(input frame buffer)2771。在輸入緩沖器2771中存儲有在圖像獲得單元2710獲得的具有二維矩陣的 形態(tài)的數(shù)字圖像。該圖像即為修正前圖像面。另一方面,與能夠顯示于圖像顯示單元2717 的修正后圖像面2735對應(yīng)的輸出信號以二維矩陣的形態(tài)存在于輸出緩沖器(output frame buffer)2773中。存在從存在于該輸入緩沖器中的修正前圖像面生成修正后圖像面并存 儲到輸出緩沖器的中央處理裝置2775。該輸出緩沖器與輸入緩沖器的對應(yīng)關(guān)系以參照表 (LUT:lookup table)的形態(tài)存儲于如Flash Memory的非易失性存儲器2779中。換言之, 存儲有使用相應(yīng)于本發(fā)明實(shí)施例的算法而指定與輸出緩沖器的特定像素對應(yīng)的輸入緩沖 器的像素地址的較長的目錄。中央處理裝置2775參照存儲于該非易失性存儲器中的目錄 而進(jìn)行圖像處理。
[0190] 另一方面,圖像選擇裝置2777起著接收來自傳感器或圖像選擇單元的信號并向 中央處理裝置傳遞的作用。而且,圖像選擇裝置識別使用者按下的按鈕而發(fā)出照原樣輸出 畸變的魚眼圖像,或者輸出圓柱全景或墨卡托投影方式的全景,或者輸出直線像差修正圖 像的指示。在上述非易失性存儲器中有與使用者可選擇的選項(xiàng)的項(xiàng)數(shù)對應(yīng)的數(shù)量之多的目 錄。
[0191] 在如此多種情況下,安裝于上述圖像獲得單元的旋轉(zhuǎn)對稱式廣角透鏡可以成為視 場角180°以上的折射式魚眼透鏡,但也有需要反射折射式魚眼透鏡的情況。而且,投影方 式可以使用等距投影方式,但還可以使用赤平投影方式。一般從多個角度來講,赤平投影方 式的魚眼透鏡更為理想,但赤平投影方式的魚眼透鏡在設(shè)計(jì)或制作上難易度尤其高,因而 等距投影方式的魚眼透鏡可成為現(xiàn)實(shí)性的代行方案。
[0192] 圖像顯示單元2717根據(jù)應(yīng)用例可以是計(jì)算機(jī)屏幕、CCTV監(jiān)視器、CRT監(jiān)視器、數(shù)字 電視、IXD projector、network monitor、手機(jī)畫面、安裝在汽車上的導(dǎo)航儀等多種裝置。
[0193] 這種成像系統(tǒng)中有兩個缺點(diǎn)。其一是,由于在圖像處理單元需要附加如DSP chip 或Flash Memory的零部件,因而成像系統(tǒng)的制造成本變高。其二是,第個圖像處理過程需 要幾十milliseconds以上的時間,因而在從圖像顯示單元看到的圖像與實(shí)際被攝體的現(xiàn) 狀態(tài)之間存在時間上的間距。雖然幾十mi 11 i seconds并不是較長的時間,但對于高速行駛 的汽車來講,有可能相當(dāng)于幾米的差距。因此,不存在容許那樣段的時間間距的應(yīng)用例。那 種差異在如航空器或?qū)椀念I(lǐng)域中將更大。
[0194] 參考文獻(xiàn)10中提出有使圖像傳感器自身的像素的配置與全方位圖像一致從而不 進(jìn)行圖像處理即可得到全方位圖像的技術(shù)思想。圖28中圖示有通常的反射折射式全方位 成像系統(tǒng)的概念圖。如圖28所示,現(xiàn)有的反射折射式全方位成像系統(tǒng)由截面的形狀為近似 于雙曲線(hyperbola)的旋轉(zhuǎn)對稱式全方位鏡2811、位于該鏡2811的旋轉(zhuǎn)對稱軸2801上 朝向鏡2811配置的成像透鏡2812、以及其內(nèi)部具備圖像傳感器2813的照相機(jī)主體2814構(gòu) 成。此時,在鏡2811周邊的360°所有方向朝向旋轉(zhuǎn)對稱軸2801入射,具有天頂角(zenith angle) Θ的入射光2805在鏡面2811上的一點(diǎn)M反射而被捕捉到圖像傳感器2813,此時, 像大小由r = r ( Θ )給出。
[0195] 圖29是利用圖示在圖28中的現(xiàn)有的反射折射式全方位成像系統(tǒng)而獲得的示例性 的田園風(fēng)景的概念圖。如圖29所示,雖然膠卷或圖像傳感器(image sensor)2813自身的 形狀是正方形(square)或長方形(rectangle)的形狀,但利用全方位成像系統(tǒng)而獲得的全 方位圖像是環(huán)(ring)形。圖29中除了劃有斜線的(hatching)區(qū)域之外的其它部分為全 方位圖像,中央的劃有斜線的圓表示因照相機(jī)主體遮擋了視線而未能拍攝到的照相機(jī)后部 區(qū)域。在該圓內(nèi)存在映照到鏡2811的照相機(jī)自身的圖像。另一方面,四個角處的劃有斜線 的區(qū)域是因照相機(jī)透鏡2812的對角線(diagonal)方向的視場角比全方位鏡2811的視場 角寬而產(chǎn)生的部分。全方位透鏡不存在時所捕捉的照相機(jī)前方的圖像被捕捉到該部分。另 一方面,參照圖30,圖示有利用圖像處理軟件并以切割線為基準(zhǔn)將圖29的未展開的環(huán)形全 方位圖像轉(zhuǎn)換成正常的視點(diǎn)(perspectively normal)的圖像的展開的全方位圖像。
[0196] 圖31表示將例示在圖29中的環(huán)形全方位圖像轉(zhuǎn)換成圖30的展開的全方位圖像 所需幾何學(xué)上的關(guān)系。在圖像傳感器面3113,直角坐標(biāo)系(rectangular coordinate)的原 點(diǎn)0位于傳感器面的中央,X坐標(biāo)值自圖像傳感器面的左向右增加,y坐標(biāo)值自上端向下端 增加。圖像面3133在圖像傳感器面3113具有以同心圓狀(concentric)的內(nèi)部邊緣3133a 和外部邊緣3133b定義的環(huán)(ring)形,內(nèi)部邊緣3133a的半徑(radius) Sr1,外部邊緣 3133b的半徑為巧。在直角坐標(biāo)系中全方位圖像面3133中心的坐標(biāo)為(0,0),標(biāo)注內(nèi)部邊 緣3133a與外部邊緣3133b之間的全方位圖像面3133內(nèi)的一點(diǎn)P的坐標(biāo)為(X,y)。另一 方面,在極坐標(biāo)系(polar coordinate)中以(r,Θ)表示上述一點(diǎn)P的坐標(biāo)。直角坐標(biāo)系 和極坐標(biāo)系中變量滿足下面的如數(shù)學(xué)式49至數(shù)學(xué)式52的單純的幾何學(xué)上關(guān)系,利用這種 關(guān)系式能夠進(jìn)行兩種坐標(biāo)系之間的自如的轉(zhuǎn)換。
[0197] 數(shù)學(xué)式49
[0198] X = r cos Φ
[0199] 數(shù)學(xué)式50
[0200] y = r sin Φ
[0201] 數(shù)學(xué)式51
[0202]
[0203] 數(shù)學(xué)式52
[0204]
[0205] 這里,所展開的全方位圖像的橫坐標(biāo)與方位角Φ成比例,縱坐標(biāo)與半徑r成比例。
[0206] 如上面所述,在參考文獻(xiàn)10中提出有不必進(jìn)行旨在將環(huán)形未展開的全方位圖像 轉(zhuǎn)換為長方形形狀的展開的全方位圖像的圖像處理的CMOS圖像傳感器。
[0207] 如圖32所示,通常的CMOS圖像傳感器面3213包括排列成格子狀的多個像素 (pixel)3281、垂直移位寄存器(vertical shift resister)3285、以及水平移位寄存器 (horizontal shift register) 3284。各像素3281具備將所受光的光的強(qiáng)度轉(zhuǎn)換為電荷 的量的光電元件3282和以電壓表示電荷的量的電荷檢測用放大器3283。捕捉到某一像 素上的光在像素單位轉(zhuǎn)換為電壓之后,通過水平移位寄存器和垂直移位寄存器輸出到信號 線。這里,垂直移位寄存器能夠選擇性地選擇互不相同的行的像素,水平移位寄存器能夠選 擇性地選擇互不相同的列的像素。具有這種構(gòu)成的CMOS圖像傳感器可在低壓、單一電源驅(qū) 動且耗電小。
[0208] 在每一個像素3281占有一定面積的電荷檢測用放大器3283部分是不能對受光 作貢獻(xiàn)的區(qū)域。對于像素的面積的受光面積即光電元件的面積的比稱為占空因數(shù)(Fill Factor),該占空因數(shù)越大光檢測效率就越高。
[0209] 具有這種構(gòu)造特性的現(xiàn)有的CMOS圖像傳感器與CXD圖像傳感器相比設(shè)計(jì)自由度 高且容易排列像素。圖33是表示根據(jù)現(xiàn)有發(fā)明的一實(shí)施例的全方位成像系統(tǒng)用CMOS圖像 傳感器的像素的排列的平面圖。CMOS圖像傳感器具有排列像素3381的傳感器面(imaging plane) 3313。雖然在圖33中以一個點(diǎn)表示了像素3381,但該點(diǎn)相當(dāng)于表示像素的位置的中 心點(diǎn),實(shí)質(zhì)上像素3381占有