專利名稱:全景成像裝置的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種全景成像裝置。
背景技術(shù):
已知有多種用于以大捕獲角度或范圍來捕獲位于附近的圖像的裝置,例 如用于監(jiān)視汽車周圍障礙物的監(jiān)視器攝像機(jī)以及監(jiān)視器系統(tǒng)。例如, 一種己 知的用于監(jiān)視汽車周圍三個(gè)方向(即前方、左方和右方)的攝像機(jī)裝置使用 安置在成像元件的光線進(jìn)入側(cè)的棱鏡,使得棱鏡折射或彎曲進(jìn)入左右方向或 范圍的光線,從而在成像元件的預(yù)定區(qū)域中形成圖像,同時(shí)基于從前面方向 或范圍進(jìn)入而沒有通過棱鏡的光線,在成像元件的分離區(qū)域中形成圖像。形 成的左邊和右邊的圖像以及形成的前面的圖像分別顯示在監(jiān)視器屏幕上(參見例如日本特開2003-207836)。 一種已知的廣角成像裝置使用多個(gè)光學(xué)成 像單元,用于在成像平面或焦平面上形成光學(xué)圖像,使得多個(gè)光學(xué)成像單元 的光軸在透鏡附近的一個(gè)點(diǎn)交叉,并且使相鄰的光學(xué)成像單元的圖像觀察角 度或范圍不間斷。各個(gè)光學(xué)成像單元捕獲的圖像被再生為全景圖像,該全景 圖像顯示在監(jiān)視器屏幕上(參見例如日本特開2006-25340)。已知的成像裝置有很多問題有待解決。在引用的第一個(gè)專利公開中所描 述的攝像機(jī)裝置(日本特開2003-207836)能夠在汽車的三個(gè)方向上(前方 以及左方/右方)獲取圖像。但是,這些圖像在監(jiān)視器屏幕上顯示為三個(gè)獨(dú)立 的圖像,而不是再生為連續(xù)圖像(全景圖像)。此外,為了讓攝像機(jī)裝置能 夠監(jiān)視較大范圍,例如攝像機(jī)周圍的180度,要求三個(gè)方向上的三個(gè)圖像中 的每一個(gè)都具有60度或更大的像角(picture angle)。這就要求采用所謂的 廣角鏡頭(wide-angle lens)作為成像透鏡。但是,采用廣角鏡頭可能導(dǎo)致在 這樣捕獲的圖像周圍出現(xiàn)桶形失真(barrel distortion)。雖然可以對(duì)圖像周 圍的桶形失真進(jìn)行數(shù)字校正,但是要校正桶形失真就必須采用復(fù)雜的程序。在引用的第二個(gè)專利公開中所描述的廣角成像裝置(日本特開
2006-25340)能夠根據(jù)各個(gè)光學(xué)成像單元捕獲的圖像來再生全景圖像。在使 用廣角成像裝置作為監(jiān)視器攝像機(jī)時(shí),能獲得很好的監(jiān)視功能而不會(huì)在圖像 之間出現(xiàn)所謂的死角(無成像區(qū)域)。但是,廣角成像裝置存在這樣的問題: 由于是三維地安置多個(gè)光學(xué)成像單元,它的整個(gè)體積可能變大。發(fā)明內(nèi)容本發(fā)明的目的是提供一種全景成像裝置,用于形成像角至少為大約180 度的全景圖像,而不需要使用捕獲角大于60度的廣角鏡頭,并且能夠?qū)⒍?個(gè)圖像組合為全景圖像而不需要復(fù)雜的圖像校正,也不會(huì)導(dǎo)致在相鄰的圖像 之間留下不自然的過渡,此外,還能夠減少整個(gè)裝置的體積和厚度。根據(jù)本發(fā)明的第一方案,上述目的通過這樣的全景成像裝置來實(shí)現(xiàn),其 包括光學(xué)透鏡系統(tǒng),用于收集進(jìn)入至少為180度的捕獲角中的光線,以在 預(yù)定焦平面上形成圖像;成像器件,設(shè)置在所述焦平面上,用于將所述光學(xué) 透鏡系統(tǒng)形成的圖像轉(zhuǎn)換為電子圖像信息;以及圖像再生器件,用于對(duì)從所 述成像器件獲得的電子圖像信息進(jìn)行成像處理,以再生出全景圖像。所述光學(xué)透鏡系統(tǒng)包括光學(xué)透鏡陣列;以及多個(gè)棱鏡,設(shè)置在所述側(cè) 透鏡的光線進(jìn)入側(cè),用于彎曲和收集進(jìn)入捕獲角的劃分的多對(duì)左和右范圍 內(nèi)、由所述側(cè)透鏡接收的光線,且分別沿著所述左和右側(cè)透鏡的光軸引導(dǎo)所 述光線,使所述光線指向所述左和右側(cè)透鏡。其中所述光學(xué)透鏡陣列包括 中間透鏡,具有光軸,所述中間透鏡形成在一個(gè)平面上,用于接收進(jìn)入捕獲 角的前方范圍內(nèi)的光線;以及多對(duì)左和右側(cè)透鏡,形成在所述一個(gè)平面上, 分別位于所述中間透鏡的左側(cè)和右側(cè),所述多對(duì)左和右側(cè)透鏡的光軸與所述 中間透鏡的光軸平行,以分別接收進(jìn)入捕獲角的左和右范圍內(nèi)的光線,所述 左和右范圍被分成多對(duì)左和右范圍,使得所述多對(duì)左和右側(cè)透鏡分別接收進(jìn) 入劃分的多對(duì)左和右范圍內(nèi)的光線。所述成像器件由光電檢測(cè)器陣列形成,所述光電檢測(cè)器陣列與所述光學(xué) 透鏡陣列平行并相距預(yù)定距離,用于捕獲所述中間透鏡以及所述左和右側(cè)透 鏡形成的圖像。此外,所述圖像再生器件將由位于捕獲角的前方范圍內(nèi)的所 述中間透鏡所形成的圖像與分別由位于捕獲角的劃分的多對(duì)左和右范圍內(nèi) 的所述多對(duì)左和右側(cè)透鏡所形成的圖像相組合,從而再生出像角至少為180
度的全景圖像。優(yōu)選地,所述中間透鏡和所述側(cè)透鏡接收的各光線為進(jìn)入至少為180度的捕獲角的小于大約60度的范圍內(nèi)的光線。更優(yōu)選地,捕獲角為大約180度,其中,所述中間透鏡接收的光線為進(jìn)入捕獲角的大約36度的前方范圍內(nèi)的光線,以及其中,所述側(cè)透鏡包括兩個(gè)左側(cè)透鏡和兩個(gè)右側(cè)透鏡,分別接收進(jìn)入劃分的兩對(duì)左和右范圍且每個(gè)范圍大約為36度內(nèi)的光線,所述光線是分別進(jìn)入所述捕獲角的左和右范圍 各約為77度的光線。更優(yōu)選地,所述捕獲角為大約180度,其中,所述中間透鏡接收的光線 為進(jìn)入所述捕獲角的大約26度的前方范圍內(nèi)的光線,以及其中,所述側(cè)透 鏡包括三個(gè)左側(cè)透鏡和三個(gè)右側(cè)透鏡,分別接收進(jìn)入劃分的三對(duì)左和右范 圍且每一個(gè)大約為26度的內(nèi)的光線,所述光線是分別進(jìn)入所述捕獲角的左 和右范圍各約為77度的光線。根據(jù)本發(fā)明的第二方案,上述目的通過這樣的全景成像裝置來實(shí)現(xiàn),其 包括光學(xué)透鏡系統(tǒng),用于收集進(jìn)入大約為180度的捕獲角中的光線,以在 預(yù)定焦平面上形成圖像;成像器件,設(shè)置在所述焦平面上,用于將所述光學(xué) 透鏡系統(tǒng)形成的圖像轉(zhuǎn)換為電子圖像信息;以及圖像再生器件,用于對(duì)從所 述成像器件獲得的電子圖像信息進(jìn)行成像處理,以再生出全景圖像。設(shè)置在 所述左和右側(cè)透鏡的光線進(jìn)入側(cè),且在避免大約為36度的前方范圍內(nèi)的光 線進(jìn)入所述中間透鏡時(shí)發(fā)生中斷的位置處分別面對(duì)所述左和右側(cè)透鏡,所述光學(xué)透鏡系統(tǒng)包括光學(xué)透鏡陣列;以及兩對(duì)左和右直角棱鏡,設(shè) 置在所述左和右側(cè)透鏡的光線進(jìn)入側(cè),且在避免大約為36度的前方范圍內(nèi) 的光線進(jìn)入所述中間透鏡時(shí)發(fā)生中斷的位置處分別面對(duì)所述左和右側(cè)透鏡, 用于彎曲和收集進(jìn)入所述捕獲角內(nèi)劃分的兩對(duì)左和右范圍且每個(gè)范圍大約 為36度、將要由所述左和右側(cè)透鏡接收的光線,且分別沿著所述左和右側(cè) 透鏡的光軸引導(dǎo)所述光線,使所述光線指向所述左和右側(cè)透鏡。其中所述光 學(xué)透鏡陣列包括中間透鏡,具有光軸,所述中間透鏡形成在一個(gè)平面上, 用于接收進(jìn)入捕獲角的大約為36度的前方范圍內(nèi)的光線;以及兩對(duì)左和右 側(cè)透鏡,形成在所述一個(gè)平面上,位于所述中間透鏡的左側(cè)和右側(cè),所述兩 對(duì)左和右側(cè)透鏡的光軸與所述中間透鏡的光軸平行,以分別接收進(jìn)入捕獲角
的左和右范圍各約為72度的光線,其中,所述左和右范圍劃分成兩對(duì)左和 右范圍且每個(gè)范圍大約為36度,使得所述兩對(duì)左和右側(cè)透鏡分別接收進(jìn)入 所劃分的兩對(duì)左和右范圍內(nèi)的光線。中間所述成像器件由光電檢測(cè)器陣列形成,所述光電檢測(cè)器陣列與所述光學(xué) 透鏡陣列平行并相距預(yù)定距離,用于捕獲所述中間透鏡以及所述兩對(duì)左和右 側(cè)透鏡形成的圖像。此外,所述圖像再生器件將由位于捕獲角的大約為36 度的前方范圍內(nèi)的所述中間透鏡所形成的圖像與分別由位于捕獲角的劃分 的兩對(duì)左和右范圍且每個(gè)范圍約為36度內(nèi)的所述兩對(duì)左和右側(cè)透鏡所形成 的圖像組合,從而再生出像角大約為180度的全景圖像。根據(jù)本發(fā)明形成的全景成像裝置不需使用具有例如60度或更大的捕獲 角的光學(xué)透鏡(廣角鏡頭),從而能夠使形成的圖像基本上不失真,因此在 組合圖像時(shí),不需要對(duì)圖像進(jìn)行復(fù)雜的圖像校正處理,并且能夠?qū)D像組合 成像角至少為180度或大約180度的全景圖像,而不會(huì)在相鄰圖像之間產(chǎn)生 不自然的過渡。此外,這樣還能夠減少整個(gè)全景成像裝置的體積和厚度。雖然在所附的權(quán)利要求書中說明了本發(fā)明的新穎性特征,但是從以下結(jié) 合附圖進(jìn)行的詳細(xì)說明中將更好的理解本發(fā)明。
以下參照附圖描述本發(fā)明。應(yīng)注意所示附圖用于示出本發(fā)明或者其實(shí) 施例的技術(shù)原理,其中圖1為根據(jù)本發(fā)明實(shí)施例的全景成像裝置的透視圖; 圖2為上述全景成像裝置中光學(xué)透鏡系統(tǒng)的前視圖;圖3為沿著圖2中的A-A線的放大橫截面視圖,示出全景成像裝置的光 學(xué)透鏡系統(tǒng)的光路圖,其中,光通量(light flux)通過每一個(gè)透鏡;圖4A和圖4B為分別從對(duì)角的左上方以及對(duì)角的右上方觀看時(shí),放置為 朝向在180度的范圍內(nèi)待成像的目標(biāo)物體的全景成像裝置的透視圖;圖5為示意圖,在左邊示出全景成像裝置的光電檢測(cè)器陣列上的單位圖 像(single-eye image)的矩陣圖像,在中間和在右邊的矩陣圖像示出對(duì)作為 圖像信息的單位圖像進(jìn)行處理而形成全景圖像的過程;圖6為根據(jù)第一改型實(shí)例的全景成像裝置的前視圖7為根據(jù)第二改型實(shí)例的全景成像裝置的前視圖。
具體實(shí)施方式
以下參照附圖描述本發(fā)明的實(shí)施例,作為實(shí)施本發(fā)明的最佳模式。本發(fā) 明涉及全景成像裝置。應(yīng)理解的是,這些實(shí)施例并非用于限制本發(fā)明或者包 含本發(fā)明的全部范圍。注意附圖中相似的部分使用同樣的參考數(shù)字、字符 或者記號(hào)進(jìn)行標(biāo)識(shí)。參照?qǐng)D1至圖5,描述根據(jù)本發(fā)明實(shí)施例的全景成像裝置1。如圖1至 圖3所示,本實(shí)施例的全景成像裝置1包括光學(xué)透鏡系統(tǒng)2,用于收集以至少180度(大約180度)的捕獲角(圖像獲取角)進(jìn)入其中的光線,從而 在預(yù)定焦平面上形成圖像;光電檢測(cè)器陣列(稱作"成像器件")3,安置 在光學(xué)透鏡系統(tǒng)2的焦平面上,用于將光學(xué)透鏡系統(tǒng)2形成的圖像轉(zhuǎn)換為電 子圖像信息;以及處理電路,用于信號(hào)處理和顯示。該處理電路包括A/D (模擬-數(shù)字)轉(zhuǎn)換器4,用于將光電檢測(cè)器陣列3的電子圖像信息轉(zhuǎn)換為數(shù) 字信號(hào);DSP (數(shù)字信號(hào)處理器)5,用于接收由光電檢測(cè)器陣列3從圖像轉(zhuǎn) 換而來的電子圖像信息的數(shù)字信號(hào);以及圖像再生微處理器(稱作"圖像再 生器件")6,用于對(duì)DSP5接收的圖像信息的數(shù)字信號(hào)進(jìn)行圖像處理,以再 生出全景圖像;以及顯示單元7 (例如液晶面板),用于顯示圖像再生微處 理器6再生出的全景圖像。根據(jù)本實(shí)施例的光學(xué)透鏡系統(tǒng)2包括光學(xué)透鏡陣列9,具有9 (九) 個(gè)光學(xué)透鏡L,這9個(gè)光學(xué)透鏡具有相互平行的光軸La,設(shè)置為3 (三)行 3 (三)列的矩陣,并在透明基底8的一個(gè)平面或表面上整體地構(gòu)成為單個(gè) 凸透鏡;以及4個(gè)45-45-90度直角棱鏡P,左右各兩個(gè),安置在光學(xué)透鏡陣 列9的光線進(jìn)入側(cè),分別朝向4個(gè)光學(xué)透鏡L。以下,各個(gè)光學(xué)透鏡L通過 附在后面對(duì)應(yīng)于在3行3列矩陣中位置的后綴來指定和區(qū)分彼此。例如,位 于行l(wèi) (第一行)-列l(wèi) (第一列)的光學(xué)透鏡L指定為L(zhǎng)1-1。4個(gè)45-45-90度直角棱鏡P分別放置為朝向光學(xué)透鏡Ll-l、 Ll-3、 L3-l、 L3-3。以下,各個(gè)45-45-90度直角棱鏡P也通過附在后面對(duì)應(yīng)于其位置的后 綴來指定和區(qū)分彼此。例如,安置在朝向位于第一行第一列的光學(xué)透鏡L1-1 的45-45-90度直角棱鏡P指定為P1-1 (參見圖1和圖2)。如圖3所示,'每
一個(gè)45_45-90度直角棱鏡P1-1、 Pl-3、 P3-l、 P 3-3的橫截面都是等腰直角 三角形(兩個(gè)邊Pa和Pb構(gòu)成直角,斜邊Pc朝向直角),并且向光學(xué)透鏡 陣列9傾斜。45-45-90度直角棱鏡Pl-l和Pl-3以較大的角度(大約26度)向光學(xué)透 鏡陣列9傾斜,而45-45-90度直角棱鏡P3-l和P3-3以較小的角度(大約10 度)向光學(xué)透鏡陣列9傾斜。注意圖3示出沿圖2中的A-A線的放大的橫 截面。所有9個(gè)光學(xué)透鏡L1-1、 Ll-2…的捕獲角都為36度(小于60度,相 對(duì)不大),因此各個(gè)光學(xué)透鏡形成的圖像基本上不會(huì)產(chǎn)生失真。這里要注意: 雖然未示出,但是在光學(xué)透鏡陣列9與各個(gè)45-45-90度直角棱鏡Pl-l、Pl-3、 P3-l、 P 3-3之間設(shè)置有阻隔件。還要注意光學(xué)透鏡L1-1、 Ll-2…不要求 在透明基底8上整體地形成,而可以例如通過透鏡夾持器夾持來設(shè)置在二維 平面上。如圖3所示,位于中間位置的光學(xué)透鏡L2-2 (以下稱作"中心透鏡") 直接接收進(jìn)入捕獲角大約36度的前方范圍的光線,而另外四個(gè)光學(xué)透鏡 Ll-l、 Ll-3、 L3-l、 L3-3 (以下稱作"側(cè)透鏡")分別通過45-45-90度直角 棱鏡P1-1、 Pl-3、 P3-l、 P3-3接收進(jìn)入捕獲角的左右范圍各大約72度的光 線,更具體而言,接收進(jìn)入處于左右范圍中各大約36度的兩個(gè)劃分范圍, 即,總共四個(gè)各大約36度的范圍的光線。每一個(gè)45-45-90度直角棱鏡P1-1、 Pl-3…設(shè)置為使得光線通過構(gòu)成直角的兩個(gè)邊Pa、 Pb中向外的邊Pa進(jìn)入, 被斜邊Pc反射后經(jīng)另一邊Pb出射,從而將光線引導(dǎo)并指引到(進(jìn)入各個(gè)光 學(xué)透鏡L)各個(gè)光學(xué)透鏡L的光軸并沿著各個(gè)光學(xué)透鏡L的光軸。在此說明 書中,各個(gè)直角棱鏡L用于引導(dǎo)和使得光線進(jìn)入的表面以及用于反射和出射 光線的表面稱作"邊"和"斜邊",以參照?qǐng)D3的光路圖來描述這些表面。更具體而言,如圖3所示,45-45-90度直角棱鏡Pl-l和Pl-3設(shè)置為彎 曲并收集進(jìn)入范圍Z1 (以下稱作"第一左和右范圍")的光線,第一左和右 范圍分別大約為36度,所述范圍Zl為在各個(gè)大約為72度的左和右范圍中 的劃分的范圍,并且分別鄰近(靠近)大約為36度的前方范圍的左方和右 方,從而將光線引導(dǎo)至光學(xué)透鏡L1-1、 Ll-3。另一方面,45-45-90度直角棱 鏡P3-l和P3-3設(shè)置為彎曲并收集進(jìn)入范圍Z2(以下稱作"第二左和右范圍") 的光線,第二左和右范圍分別大約為36度,所述范圍Z2為在各個(gè)大約為
72度的左和右范圍中的劃分的范圍,并且分別鄰近第一左和右范圍Z1的左 方和右方(即,比第一左和右范圍Z1離大約為36度的前方范圍更遠(yuǎn)),從 而將光線引導(dǎo)至光學(xué)透鏡L3-1、 L3-3。各個(gè)45-45-90度直角棱鏡P1-1、 Pl-3、 P3-l、 P3-3收集的光線被它們的 斜邊Pc反射,并通過各個(gè)棱鏡朝向光學(xué)透鏡陣列9的另一個(gè)邊Pb出射,這 樣,從45-45-90度直角棱鏡P1-1、 Pl-3、 P3-l、 P3-3出射的光線分別被側(cè)透 鏡L1-1、 Ll-3、 L3陽l、 L3-3收集。注意從中間透鏡L2-2來觀察,45-45-90 度直角棱鏡P完全不出現(xiàn)在捕獲角大約為36度的前方范圍內(nèi),因此進(jìn)入中 間透鏡L2-2的光線能夠避免被中斷。換而言之,左右側(cè)透鏡L1-1、 Ll-3以及左右側(cè)透鏡L3-1、 L3-3接收大 約為180度的捕獲范圍中左和右范圍內(nèi)各為72度的光線。 一對(duì)左和右 45-45-90度直角棱鏡P1-1、 Pl-3 (比45-45-90度直角棱鏡P3-l、 P3-3相對(duì) 于光學(xué)透鏡陣列9傾斜得更多)彎曲并收集72度范圍內(nèi)各自大約為36度的 一對(duì)第一左和右范圍Z1內(nèi)的光線,并將光線引導(dǎo)至側(cè)透鏡L1-1、 Ll-3。另 一方面, 一對(duì)左和右45-45-90度直角棱鏡P3-l、 P3-3 (比45-45-90度直角 棱鏡P1-1、 Pl-3相對(duì)于光學(xué)透鏡陣列9傾斜得少)彎曲并收集72度范圍內(nèi) 各自大約為36度的一對(duì)第二左和右范圍Z2內(nèi)的光線,并將光線引導(dǎo)至側(cè)透 鏡L3-1、 L3-3。這里注意顯然,通過簡(jiǎn)單地增大各光學(xué)透鏡L以及將光線 彎曲、收集并引導(dǎo)至各光學(xué)透鏡L的各棱鏡P的捕獲范圍,就能夠使大約180 度的捕獲角得到擴(kuò)展。以下描述光電檢測(cè)器陣列3。光電檢測(cè)器陣列3設(shè)置為與光學(xué)透鏡陣列 9平行,并相距預(yù)定距離。更具體而言,光電檢測(cè)器陣列3的主平面與光學(xué) 透鏡陣列9的主平面平行。在此使用的光電檢測(cè)器陣列3為固態(tài)成像元件, 該固態(tài)成像元件例如由成像區(qū)域位于各個(gè)光學(xué)透鏡1^1-1、1^1-2...的焦平面上 的半導(dǎo)體基底構(gòu)成,并且,例如為CMOS (互補(bǔ)型金屬氧化物半導(dǎo)體)圖像 傳感器。固態(tài)成像元件(光電檢測(cè)器陣列3)也可以是CCD (電荷耦合器件)。通過3行3列矩陣中的9個(gè)光學(xué)透鏡L1-1、 Ll-2...,在光電檢測(cè)器陣列 3上形成9個(gè)單位圖像F。如同光學(xué)透鏡L1-1、 Ll-2...,各個(gè)單位圖像f通 過附在后面對(duì)應(yīng)于在3行3列矩陣中位置的后綴來指定和區(qū)分彼此。例如,對(duì)應(yīng)于光學(xué)透鏡Li-i的單位圖像指定為fi-i。如同將參照?qǐng)D5描述的那樣r
中間透鏡L2-2形成的單位圖像F2-2相對(duì)于原始圖像上/下和左/右翻轉(zhuǎn)。另一方面,側(cè)透鏡L1-1、 Ll-3、 L3國(guó)l、 L3-3形成的單位圖像F1-1、 Fl-3、 F3-l、 F3-3相對(duì)于原始圖像只上/下翻轉(zhuǎn),這是由于各個(gè)45-45-90度直角棱鏡P1-1、 Pl-3、 P3-l、 P3-3的鏡像效應(yīng)而消除了左/右翻轉(zhuǎn)。以下參照?qǐng)D4A、圖4B以及圖5詳細(xì)描述全景成像裝置1的操作。圖4A 和圖4B為分別從對(duì)角的左上方以及對(duì)角的右上方觀看時(shí),放置為朝向在180 度的范圍內(nèi)待成像的目標(biāo)物體的全景成像裝置的透視圖。另一方面,在圖5 的左矩陣圖像中示出的光電檢測(cè)器陣列3上的圖像為從目標(biāo)物體B觀看時(shí)的 圖像。這里假定如圖4A和圖4B所示,放在全景成像裝置l前面的目標(biāo)物 體B在180度的捕獲角(圖像獲取角)中連續(xù)的36度角范圍內(nèi)具有等角(或 等長(zhǎng))的圖像片段"Q" 、 "L" 、 "C" 、 "R"以及"P"。在這種情況下, 如上所述,中間圖像片段"C"(即,位于36度角范圍內(nèi)的中心圖像片斷) 如上所述被中間透鏡L2-2上/下和左/右翻轉(zhuǎn),從而在光電檢測(cè)器陣列3的中 間形成"C"的單位圖像F2-2,但是,當(dāng)從目標(biāo)物體B觀看"C"的單位圖 像F2-2時(shí),它相對(duì)于"C"的原始圖像片段只出現(xiàn)上/下翻轉(zhuǎn)。注意在本實(shí)施例中,不僅中間透鏡L2-2,還有光學(xué)透鏡Ll-2、 L2-l、 L2-3、 L3-2也接收從大約36度的前方范圍內(nèi)進(jìn)入的光線。這樣,如圖5的左矩陣圖像所示,相對(duì)于目標(biāo)物體B中間的"C"的原始圖像片段上/下翻轉(zhuǎn) 的單位圖像Fl-2、 F2-l、 F2-3、 F3-2在光電檢測(cè)器陣列3的對(duì)應(yīng)位置形成。 另一方面,鄰近36度前方范圍(在圖4A和圖4B中用Z0表示)的第一左 和右范圍Z1中的圖像片段"L"和"R"分別被45-45-90度直角棱鏡P1-1、 Pl-3左/右翻轉(zhuǎn),然后分別被側(cè)透鏡L1-1、 Ll-3上/下和左/右翻轉(zhuǎn),從而在光 電檢測(cè)器陣列3的對(duì)應(yīng)位置上形成"R"和"L"的單位圖像F1-1、 Fl-3,如 圖5的左矩陣圖像所示。當(dāng)從目標(biāo)物體B觀看時(shí),這些單位圖像"L"和"R" 被上/下和左/右翻轉(zhuǎn),如圖5的左矩陣圖像所示。類似地,鄰近第一左和右范圍Zl的第二左和右范圍Z2中的圖像片段 "Q"和"P"分別被45-45-90度直角棱鏡P3-1、 P3-3左/右翻轉(zhuǎn),然后分別被側(cè)透鏡L3-1、 L3-3上/下和左/右翻轉(zhuǎn),從而在光電檢測(cè)器陣列3的對(duì)應(yīng)位置上形成"P"和"Q"的單位圖像F1-1、 Fl-3,如圖5的左矩陣圖像所示。 當(dāng)從目標(biāo)物體B觀看時(shí),這些單位圖像"Q"和"P"被上/下和左/右翻,
如圖5的左矩陣圖像所示。這9個(gè)單位圖像F1-1、 Fl-2…被光電檢測(cè)器陣列3轉(zhuǎn)換為圖像信息。從 光電檢測(cè)器陣列3最下方-最左方像素至最上方-最右方像素依次讀取經(jīng)光電 檢測(cè)器陣列3轉(zhuǎn)換產(chǎn)生的圖像信息,如圖5的左矩陣圖像所示。如圖5的中 間矩陣圖像(中間步驟)所示,依次讀取的圖像信息相對(duì)于如圖5的左矩陣 圖像所示的光電檢測(cè)器陣列3上的圖像信息上/下翻轉(zhuǎn),用于正常圖像的恢 復(fù)。但是,除了 "C"之外,圖像"P" 、 "Q" 、 "L"和"R"并沒有完全 恢復(fù)正常。更具體而言,左右列"P" 、 "Q" 、 "L"和"R"的位置相對(duì)于它們 在目標(biāo)物體B上的原始位置發(fā)生交換或翻轉(zhuǎn),而在圖5的中間矩陣圖像的左 右列中的"P" 、 "Q" 、 "L"和"R"圖像本身相對(duì)于它們?cè)谀繕?biāo)物體B 上的原始位置而左/右翻轉(zhuǎn)。圖5的中間矩陣圖像內(nèi)的這些圖像信息經(jīng)圖像再 生微處理器6處理,以翻轉(zhuǎn)左右列的位置,并翻轉(zhuǎn)其中的"P"、 "Q"、 "L" 和"R"圖像本身,從而再生出像角為180度的全景圖像(單行矩陣圖像) PF,如圖5所示。注意圖5的中間矩陣圖像示出圖像再生微處理器6進(jìn)行 處理的中間步驟的圖像,并可以顯示在顯示單元7上。這在下文中將作更詳 細(xì)的說明。圖像再生微處理器6基于圖5的黑框所示的中間矩陣圖像中"P"、 "Q"、 "C" 、 "R"和"L"的5個(gè)單位圖像F3-1、 F3畫3、 F2-2、 Fl畫l、 Fl-3的圖 像信息進(jìn)行圖像處理。更具體而言,圖像再生微處理器6進(jìn)行鏡像翻轉(zhuǎn),從 而將"P" 、 "Q" 、 "L"和"R"的單位圖像F3-1、 F3-3、 Fl-3、 Fl-l (已 經(jīng)被左/右翻轉(zhuǎn))分別恢復(fù)為它們的正常圖像,然后通過適當(dāng)?shù)貙?P"、 "Q"、 "L"和"R"的正常圖像相對(duì)于中間單位圖像"C"進(jìn)行定位,使"P"、 "Q" 、 "L"和"R"的這些正常圖像與中間單位圖像"C"相組合,從而 再生或形成像角為180度的全景圖像(單行矩陣圖像)PF,如圖5所示。根據(jù)本實(shí)施例的全景成像裝置1的優(yōu)點(diǎn)在于各個(gè)單位圖像F1-1、 Fl-3… 的周圍基本上不會(huì)產(chǎn)生失真,這是由于中間透鏡L2-2以及側(cè)透鏡Ll-l、Ll-3、 L3-l、 L3-3的捕獲角小至36度(小于大約60度),因此在組合單位圖像時(shí) 不需要對(duì)各個(gè)單位圖像進(jìn)行復(fù)雜的失真校正處理。此外,由于各個(gè)單位圖像 Fl-l、 Fl-3…為大約36度范圍內(nèi)的圖像,所以結(jié)合5個(gè)單位圖像時(shí)在相鄰的 兩個(gè)單位圖像之間基本上不會(huì)出現(xiàn)重疊。這樣,全景成像裝置1在將多個(gè)圖 像組合為全景圖像,而不需要復(fù)雜的圖像校正,不會(huì)在相鄰圖像之間留下不 自然的過渡,并且其整體體積和厚度可以減少。注意本實(shí)施例的圖像再生微處理器6基于位于光電檢測(cè)器陣列3中間的"C"的單位圖像F2-2的圖像信息來進(jìn)行圖像處理。但是,例如圖5的左 矩陣圖像所示,各個(gè)單位圖像Fl-2、 F2-l、 F2-3、 F3-2也是對(duì)應(yīng)于位于目標(biāo) 物體像B中間的圖像片段"C"的圖像"C"。因此,圖像再生微處理器6 也可以利用單位圖像Fl-2、 F2-l、 F2-3、 F3-2其中之一的圖像信息來再生全 景圖像PF。在這種情況下,用于形成單位圖像Fl-2、 F2-l、 F2-3、 F3-2其 中之一 (在此用于再生全景圖像PF)的光學(xué)透鏡Ll-2、 L2-l、 L2-3、 L3-2 中的一個(gè)對(duì)應(yīng)于或者用作上面所定義的以及權(quán)利要求1和5中"中間透鏡"。 相反,如果單位圖像Fl-2、 F2-l、 F2-3、 F3-2不是用于再生全景圖像PF, 則可以省略光學(xué)透鏡Ll-2、 L2-l、 L2-3、 L3-2?;蛘撸梢詫?duì)應(yīng)于各個(gè)光 學(xué)透鏡Ll-2、 L2-l、 L2-3、 L3-2的光圈(stop aperture)關(guān)閉,以防止在第 一行第二列、第二行第一列、第二行第三列以及第三行第二列的位置形成單 位圖像。以下參照?qǐng)D6和圖7詳細(xì)描述根據(jù)本實(shí)施例的第一改型實(shí)例和第二改型 實(shí)例的全景成像裝置l。如圖6所示,在根據(jù)第一改型實(shí)例的全景成像裝置 1有6個(gè)45-45-90度直角棱鏡Pl-l、 Pl畫3、 P2-l、 P2-3、 P3-l、 P3-3,分別 設(shè)置為朝向光學(xué)透鏡L1-1、 Ll-3、 L2-l、 L2-3、 L3-l、 L3-3。位于第一行的 45-45-90度直角棱鏡P1-1、 Pl-3,位于第三行的45-45-90度直角棱鏡P3-1、 P3-3,以及位于第二行的45-45-90度直角棱鏡P2-l、 P2-3相對(duì)于光學(xué)透鏡陣 列9傾斜的角度分別是最大、最小以及中等。由于相對(duì)于光學(xué)透鏡陣列9傾斜的角度最大,所以位于第一行的 45-45-90度直角棱鏡Pl-l、Pl-3彎曲并收集進(jìn)入捕獲角內(nèi)最靠近前方范圍的 左右范圍的光線。由于相對(duì)于光學(xué)透鏡陣列9傾斜的角度最小,所以位于第 三行的45-45-90度直角棱鏡P3-l、 P3-3彎曲并收集進(jìn)入捕獲角內(nèi)離前方范 圍最遠(yuǎn)的左右范圍的光線。另一方面,由于相對(duì)于光學(xué)透鏡陣列9傾斜的角 度中等,所以位于第二行的45-45-90度直角棱鏡P2-1、 P2-3彎曲并fe集進(jìn) 入捕獲角內(nèi)離前方范圍中等距離的左右范圍的光線。
更具體而言,位于中間的光學(xué)透鏡L2-2接收進(jìn)入180度捕獲角的光線 中大約為26度的前方范圍內(nèi)的光線。此光學(xué)透鏡L2-2對(duì)應(yīng)于并用作"中間 透鏡"。180度捕獲角減去大約26度的前方范圍之后的獲取角被分成各為大 約77度的左和右范圍,左和右范圍進(jìn)而被分成三對(duì)左和右范圍,分別離前 方范圍最近、中等距離和最遠(yuǎn)。每一對(duì)左和右范圍中的每一個(gè)范圍大約為26 度。45-45-90度直角棱鏡P1-1、 Pl-3分別彎曲并收集進(jìn)入最靠近前方范圍的 一對(duì)左和右范圍(每一個(gè)大約為26度)的光線,以使光線進(jìn)入光學(xué)透鏡L1-1、 Ll畫3。此外,45-45-90度直角棱鏡P2-1、 P2-3分別彎曲并收集進(jìn)入離前方范圍 中等距離(或較為靠近前方范圍)的一對(duì)左和右范圍(每一個(gè)大約為26度) 的光線,以使光線進(jìn)入光學(xué)透鏡L2-1、 L2-3。另一方面,45-45-卯度直角棱 鏡P3-1、 P3-3分別彎曲并收集進(jìn)入離前方范圍最遠(yuǎn)的一對(duì)左和右范圍(每一 個(gè)大約為26度)的光線,以使光線進(jìn)入光學(xué)透鏡L3-1、 L3-3。根據(jù)第一改 型實(shí)例,6個(gè)光學(xué)透鏡L1-1、 Ll-3、 L2-l、 L2-3、 L3-l、 L3-3對(duì)應(yīng)于并用作 "側(cè)透鏡"。結(jié)果,第一改型實(shí)例的全景成像裝置1在光電檢測(cè)器陣列3上形成7個(gè) 單位圖像,這7個(gè)單位圖像包括一個(gè)對(duì)應(yīng)于大約26度的前方范圍的單位圖 像以及6個(gè)對(duì)應(yīng)于三對(duì)左和右范圍的單位圖像,這三對(duì)左和右范圍的每一個(gè) 為大約26度,由分別為77度的左和右范圍劃分得到。全景成像裝置l組合 這7個(gè)單位圖像以再生出全景圖像PF。由于各個(gè)光學(xué)透鏡L1-1、 Ll-2…只 要求26度那么小的捕獲角,因此第一改型實(shí)例的全景成像裝置1能夠進(jìn)一 步減少在光電檢測(cè)器陣列3上形成的各個(gè)單位圖像的失真,并進(jìn)一步減少組 合和再生為全景圖像PF的相鄰圖像之間不自然的過渡。注意除了將各個(gè) 分別大約為77度的左和右范圍(減去大約為26度的前方范圍)分成三個(gè)大 約為26度的范圍之外,也可以將各個(gè)大約為77度的左和右范圍分別分成另 一組范圍,例如30度、25度和22度。如圖7所示,根據(jù)第二改型實(shí)例的全景成像裝置1的光學(xué)透鏡陣列9為 1 (一)行5 (五)列,其中4個(gè)45-45-90度直角棱鏡P1-1、 Pl-2、 Pl-4、 Pl-5設(shè)置為分別朝向光學(xué)透鏡Ll-l、 Ll-2、 Ll-41、 Ll-5。相應(yīng)地,光電檢 測(cè)器陣列3形成為具有拉長(zhǎng)的形狀,以在上面形成1行5列的單位圖像。根
據(jù)第二改型實(shí)例,4個(gè)光學(xué)透鏡L1-1、 Ll-2、 Ll-41、 Ll-5對(duì)應(yīng)于并用作"側(cè) 透鏡",而中間光學(xué)透鏡Ll-3對(duì)應(yīng)于并用作"中間透鏡"。45-45-90度直角 棱鏡Pl-2、 Pl-4固定為相對(duì)于光學(xué)透鏡陣列9傾斜較大的角度,而45-45-90 度直角棱鏡Pl-l、Pl-5固定為相對(duì)于光學(xué)透鏡陣列9傾斜較小的角度。因此, 45-45-卯度直角棱鏡Pl-2、 Pl-4彎曲并收集進(jìn)入更靠近捕獲角內(nèi)對(duì)應(yīng)于光學(xué) 透鏡L2-2的前方范圍的左和右范圍(第一左和右范圍)的光線。另一方面, 45-45-90度直角棱鏡Pl-l、Pl-5彎曲并收集進(jìn)入捕獲角內(nèi)離前方范圍更遠(yuǎn)的 左和右范圍(第二左和右范圍)的光線。結(jié)果,第二改型實(shí)例的全景成像裝置1在光電檢測(cè)器陣列3上形成5個(gè) 單位圖像,這5個(gè)單位圖像包括一個(gè)對(duì)應(yīng)于前方范圍的單位圖像以及4個(gè)位 于第一左和右范圍以及第二左和右范圍的單位圖像。全景成像裝置1組合5 個(gè)單位圖像,以再生出全景圖像PF。由于光學(xué)透鏡陣列9和光電檢測(cè)器陣列 3的面積都顯著減少,所以能進(jìn)一步減少全景成像裝置1的體積和厚度。注 意在包括第一和第二改型實(shí)例的本實(shí)施例中,用于彎曲和收集進(jìn)入捕獲角 左和右范圍的光線并將此光線引導(dǎo)至側(cè)透鏡的棱鏡不限于45-45-90度直角 棱鏡,也可以是30-60-90度直角棱鏡或者等邊三角棱鏡。還要注意上述實(shí)施例描述了全景圖像的像角為大約180度的情況。但 是顯然,通過簡(jiǎn)單地增大用于將光線彎曲、收集并引導(dǎo)至各光學(xué)透鏡的各棱 鏡P的捕獲角度或范圍,就能夠使全景圖像的像角得到擴(kuò)展。此外應(yīng)該注意, 上述實(shí)施例描述了各個(gè)棱鏡和光學(xué)透鏡的捕獲角為大約36度或26度等情 況。但是,捕獲角不限于此,可以是任何小于大約60度的角度。顯然,如 果各個(gè)棱鏡和光學(xué)透鏡的捕獲角小于大約60度,就可以實(shí)現(xiàn)全景成像裝置 的優(yōu)點(diǎn),這是因?yàn)槟軌驅(qū)⒉划a(chǎn)生圖像失真的光學(xué)透鏡用于每一個(gè)捕獲范圍。如上所述,在根據(jù)本實(shí)施例的全景成像裝置l中,將捕獲角減去前方范 圍后分成左和右范圍,并進(jìn)一步將左和右范圍分成多對(duì)左和右范圍,從而能 夠通過分別設(shè)置為對(duì)應(yīng)于多對(duì)范圍的棱鏡來彎曲并收集進(jìn)入多對(duì)左和右范 圍的光線。因此,不需使用具有例如60度或更大的捕獲角的鏡頭(廣角鏡 頭),就可以形成全景成像裝置1,從而能夠使形成的單位圖像基本上不失 真,因此在組合單位圖像時(shí),不需要對(duì)單位圖像進(jìn)行復(fù)雜的圖像校正處理, 并且能夠?qū)挝粓D像組合成像角至少為或大約180度的全景圖像PF,而不會(huì) 在相鄰的單位圖像之間產(chǎn)生不自然的過渡。此外,這樣還能夠減少整個(gè)全景 成像裝置1的體積和厚度。以上通過優(yōu)選實(shí)施例描述了本發(fā)明,但是這樣的描述不應(yīng)解釋為限制本 發(fā)明。對(duì)于閱讀了此描述的本領(lǐng)域技術(shù)人員,各種改型顯而易見。因此,所 附權(quán)利要求應(yīng)解釋為涵蓋落入本發(fā)明原理和范圍內(nèi)的所有改型和變型。本申請(qǐng)基于2006年8月11日提交的日本專利申請(qǐng)2006-219158,其內(nèi)容通過參考合并于此。
權(quán)利要求
1、 一種全景成像裝置,包括光學(xué)透鏡系統(tǒng),用于收集進(jìn)入至少為180度的捕獲角中的光線,以在預(yù) 定焦平面上形成圖像;成像器件,設(shè)置在所述焦平面上,用于將所述光學(xué)透鏡系統(tǒng)形成的圖像 轉(zhuǎn)換為電子圖像信息;以及圖像再生器件,用于對(duì)從所述成像器件中獲得的電子圖像信息進(jìn)行成像 處理,以再生出全景圖像,其中,所述光學(xué)透鏡系統(tǒng)包括 光學(xué)透鏡陣列,包括多個(gè)中間透鏡,具有光軸,中間且形成在一個(gè)平面上,用于接 收進(jìn)入所述捕獲角的前方范圍內(nèi)的光線;以及多對(duì)左和右側(cè)透鏡,形成在所述一個(gè)平面上,位于所述中間透 鏡的左側(cè)和右側(cè),所述多對(duì)左和右側(cè)透鏡的光軸與所述中間透鏡的光軸平 行,以分別接收進(jìn)入所述捕獲角的左和右范圍內(nèi)的光線,所述左和右范圍被 劃分成多對(duì)左和右范圍,使得所述多對(duì)左和右側(cè)透鏡分別接收進(jìn)入所劃分的 多對(duì)左和右范圍內(nèi)的光線;以及多個(gè)棱鏡,設(shè)置在所述左和右側(cè)透鏡的光線進(jìn)入側(cè),用于彎曲和收 集進(jìn)入所述捕獲角內(nèi)劃分的多對(duì)左和右范圍、將要由所述左和右側(cè)透鏡接收 的光線,從而分別沿著所述左和右側(cè)透鏡的光軸引導(dǎo)所述光線,使所述光線 指向所述左和右側(cè)透鏡,其中,所述成像器件由光電檢測(cè)器陣列形成,所述光電檢測(cè)器陣列與所 述光學(xué)透鏡陣列平行并相距預(yù)定距離,用于捕獲所述中間透鏡以及所述左和 右側(cè)透鏡形成的圖像,以及其中,所述圖像再生器件將由位于所述捕獲角的前方范圍內(nèi)的所述中間 透鏡所形成的圖像與分別由位于所述捕獲角內(nèi)劃分的多對(duì)左和右范圍內(nèi)的 所述多對(duì)左和右側(cè)透鏡所形成的圖像相組合,從而再生像角至少為180度的 全景圖像。
2、 如權(quán)利要求1所述的全景成像裝置,. 其中,所述中間透鏡、所述左和右側(cè)透鏡接收的各光線為進(jìn)入至少為180 度的捕獲角的小于大約60度范圍內(nèi)的光線。
3、 如權(quán)利要求2所述的全景成像裝置, 其中,所述捕獲角為大約180度,其中,所述中間透鏡接收的光線為進(jìn)入所述捕獲角內(nèi)大約36度的前方 范圍內(nèi)的光線,以及其中,所述側(cè)透鏡包括兩個(gè)左側(cè)透鏡和兩個(gè)右側(cè)透鏡,分別接收進(jìn)入 劃分成兩對(duì)左和右范圍且每個(gè)范圍大約為36度內(nèi)的光線,其中,所述光線 是分別進(jìn)入所述捕獲角的左和右范圍各約為72度的光線。
4、 如權(quán)利要求2所述的全景成像裝置, 其中,所述捕獲角為大約180度,其中,所述中間透鏡接收的光線為進(jìn)入所述捕獲角的大約26度的前方 范圍內(nèi)的光線,以及其中,所述側(cè)透鏡包括三個(gè)左側(cè)透鏡和三個(gè)右側(cè)透鏡,分別接收進(jìn)入 劃分成三對(duì)左和右范圍且每個(gè)范圍大約為26度內(nèi)的光線,其中,所述光線 是分別進(jìn)入所述捕獲角的左和右范圍各約為77度的光線。
5、 一種全景成像裝置,包括光學(xué)透鏡系統(tǒng),用于收集進(jìn)入大約為180度的捕獲角中的光線,以在預(yù) 定焦平面上形成圖像;成像器件,設(shè)置在所述焦平面上,用于將所述光學(xué)透鏡系統(tǒng)形成的圖像 轉(zhuǎn)換為電子圖像信息;以及圖像再生器件,用于對(duì)從所述成像器件中獲得的電子圖像信息進(jìn)行成像 處理,以再生出全景圖像,其中,所述光學(xué)透鏡系統(tǒng)包括 光學(xué)透鏡陣列,包括多個(gè)中間透鏡,具有光軸,中間且形成在一個(gè)平面上,用于接 收進(jìn)入所述捕獲角的大約為36度的前方范圍內(nèi)的光線;以及兩對(duì)左和右側(cè)透鏡,形成在所述一個(gè)平面上,位于所述中間透 鏡的左側(cè)和右側(cè),所述兩對(duì)左和右側(cè)透鏡的光軸與所述中間透鏡的光軸平行,以分別接收進(jìn)入捕獲角的左和右范圍各約為72度的光線,其中,k述 左和右范圍劃分成兩對(duì)左和右范圍且每個(gè)范圍大約為36度,使得所述兩對(duì)左和右側(cè)透鏡分別接收進(jìn)入所劃分的兩對(duì)左和右范圍內(nèi)的光線;以及兩對(duì)左和右直角棱鏡,設(shè)置在所述左和右側(cè)透鏡的光線進(jìn)入側(cè),且 在避免大約為36度的前方范圍內(nèi)的光線進(jìn)入所述中間透鏡時(shí)發(fā)生中斷的位 置處分別面對(duì)所述左和右側(cè)透鏡,用于彎曲和收集進(jìn)入所述捕獲角內(nèi)劃分的 兩對(duì)左和右范圍且每個(gè)范圍大約為36度、將要由所述左和右側(cè)透鏡接收的 光線,且分別沿著所述左和右側(cè)透鏡的光軸引導(dǎo)所述光線,使所述光線指向 所述左和右側(cè)透鏡,其中,所述成像器件由光電檢測(cè)器陣列形成,所述光電檢測(cè)器陣列與所 述光學(xué)透鏡陣列平行并相距預(yù)定距離,用于捕獲所述中間透鏡以及所述兩對(duì) 左和右側(cè)透鏡形成的圖像,以及其中,所述圖像再生器件將由位于所述捕獲角的大約為36度的前方范 圍內(nèi)的所述中間透鏡所形成的圖像與分別由位于所述捕獲角內(nèi)劃分的兩對(duì) 左和右范圍且每個(gè)范圍大約為36度的所述兩對(duì)左和右側(cè)透鏡所形成的圖像 相組合,從而再生像角大約為180度的全景圖像。
全文摘要
一種全景成像裝置,包括光電檢測(cè)器陣列;透鏡陣列,在一個(gè)平面上具有用于接收36度的前方范圍內(nèi)的光線以在光電檢測(cè)器陣列上形成中間單位圖像的中間透鏡,還具有用于接收180度的捕獲角中分別為72度的左和右范圍內(nèi)的光線的左和右側(cè)透鏡;以及4個(gè)棱鏡,分為兩對(duì),設(shè)置為朝向側(cè)透鏡。兩對(duì)左和右棱鏡(一對(duì)傾斜角大,一對(duì)傾斜角小)分別收集位于72度范圍內(nèi)的劃分的兩對(duì)左和右范圍(一對(duì)離前方范圍近,一對(duì)離前方范圍遠(yuǎn))內(nèi)的光線,一對(duì)左和右范圍各為36度,從而在光電檢測(cè)器陣列上形成4個(gè)側(cè)單位圖像,所述4個(gè)側(cè)單位圖像與中間單位圖像組合后再生出全景圖像。本發(fā)明的全景成像裝置不需要使用廣角鏡頭或者復(fù)雜的圖像校正處理。
文檔編號(hào)H04N7/18GK101122734SQ200710141190
公開日2008年2月13日 申請(qǐng)日期2007年8月13日 優(yōu)先權(quán)日2006年8月11日
發(fā)明者中尾良純, 政木康生, 豊田孝 申請(qǐng)人:船井電機(jī)株式會(huì)社