本發(fā)明涉及一種攝像裝置、攝像方法及圖像處理程序，尤其涉及一種能夠同時(shí)獲取特性不同的多個(gè)圖像的攝像裝置、攝像方法及圖像處理程序。

背景技術(shù)：

以往，提出有一種攝像裝置，其具備：復(fù)雜鏡頭，包括具有第1特性的第1區(qū)域和具有與第1特性不同的第2特性的第2區(qū)域；及定向傳感器，對(duì)透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束進(jìn)行光瞳分割并接收該光束，并能夠同時(shí)獲取具有第1特性的第1圖像和具有第2特性的第2圖像(專利文獻(xiàn)1及專利文獻(xiàn)2)。

在此，定向傳感器構(gòu)成為使光檢測(cè)靈敏度中具有角特性，專利文獻(xiàn)1及專利文獻(xiàn)2中公開了下述定向傳感器。

(1)一種定向傳感器，通過對(duì)多個(gè)受光單元分配一個(gè)微透鏡使光檢測(cè)靈敏度中按每一個(gè)受光單元具有角特性。

(2)一種定向傳感器，在受光單元附近配置遮光罩，并通過對(duì)透過復(fù)雜鏡頭的第1區(qū)域的光束或透過第2區(qū)域的光束進(jìn)行遮光而使光檢測(cè)靈敏度中具有角特性。

(3)一種定向傳感器，按每一個(gè)受光單元設(shè)置作為棱鏡而發(fā)揮功能的棱鏡要件，并通過棱鏡要件使光檢測(cè)靈敏度中具有角特性。

專利文獻(xiàn)1、2中所記載的攝像裝置中，組合根據(jù)光瞳區(qū)域的部位而特性不同的復(fù)雜鏡頭與在光檢測(cè)靈敏度中具有角特性的定向傳感器，由此能夠利用單一定向傳感器和復(fù)雜鏡頭同時(shí)拍攝特性不同的各種圖像。

并且，提出有一種攝像裝置，其能夠使用僅在一部分受光單元中設(shè)置有遮光罩的定向傳感器，同時(shí)拍攝特性不同的各種圖像(專利文獻(xiàn)3)。

專利文獻(xiàn)3中所記載的攝像裝置具備：復(fù)雜鏡頭，復(fù)雜鏡頭的第1區(qū)域所占的比例a與第2區(qū)域所占的比例b(在此，a＜b)不同；及定向傳感器，該定向傳感器包括以僅透過復(fù)雜鏡頭的第1區(qū)域的光束所入射的方式設(shè)置有遮光罩的第1受光單元和透過復(fù)雜鏡頭的第1區(qū)域及第2區(qū)域的光束所入射的第2受光單元。而且，從定向傳感器的第1受光單元獲取具有第1區(qū)域特性的第1圖像，并從第2受光單元獲取具有第1特性、第2特性的第2圖像。在此，第2圖像中混在復(fù)雜鏡頭的第1特性和第2特性，但由于第2區(qū)域所占的比例b比第1區(qū)域所占的比例a大，因此主要具有第2特性。

并且，專利文獻(xiàn)1、2中所記載的定向傳感器構(gòu)成為在光檢測(cè)靈敏度中具有角特性。但是，很難以高精度對(duì)透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束進(jìn)行光瞳分割，并分別使透過第1區(qū)域的光束僅入射于第1受光單元，使透過第2區(qū)域的光束僅入射于第2受光單元。因此第1圖像中包含表示復(fù)雜鏡頭的第2區(qū)域特性的干擾成分，第2圖像中包含表示第1區(qū)域特性的干擾成分。并且，專利文獻(xiàn)3中所記載的定向傳感器的第2受光單元在光檢測(cè)靈敏度中原本就不具有角特性，因此從第2受光單元獲取的第2圖像中包含表示復(fù)雜鏡頭的第1特性的干擾成分。

另外，專利文獻(xiàn)4中公開了一種分別從第1圖像及第2圖像通過圖像處理去除/降低干擾成分的方法。并且，專利文獻(xiàn)5中記載有一種排列成方格狀(棋盤狀)的第1受光單元和第2受光單元(受光部)的受光面積不同的彩色固態(tài)攝像裝置。

以往技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開2012-253670號(hào)公報(bào)

專利文獻(xiàn)2：國際公開第2012/043212號(hào)

專利文獻(xiàn)3：國際公開第2013/027507號(hào)

專利文獻(xiàn)4：國際公開第2013/146506號(hào)

專利文獻(xiàn)5：日本特開2005-286104號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的技術(shù)課題

然而，對(duì)多個(gè)受光單元設(shè)置一個(gè)微透鏡的定向傳感器的結(jié)構(gòu)本身與通常的圖像傳感器大為不同，并且，必須以高精度設(shè)置較大的微透鏡，因此存在很難制造和調(diào)整的問題。

配設(shè)遮光罩或棱鏡要件的定向傳感器中，需要追加在通常的圖像傳感器中不需要的遮光罩或棱鏡要件來作為各個(gè)受光單元的結(jié)構(gòu)體，其中存在成本上升和妨礙受光單元尺寸(像素間距或厚度)的微細(xì)化的問題。

并且，專利文獻(xiàn)3中所記載的攝像裝置的情況下，雖在定向傳感器的一部分受光單元中未設(shè)有遮光罩，但仍然需要在定向傳感器的其他受光單元中嵌入結(jié)構(gòu)體(遮光罩)，成本上升和妨礙受光單元尺寸(像素間距或厚度)的微細(xì)化的課題未得到解決。

另一方面，專利文獻(xiàn)5中所記載的彩色固態(tài)攝像裝置中，排列成方格狀的第1受光單元和第2受光單元的受光面積不同，但這是為了同時(shí)拍攝高靈敏度的圖像和低靈敏度的圖像，并生成高動(dòng)態(tài)范圍的圖像。即，專利文獻(xiàn)5中沒有對(duì)同時(shí)拍攝具有復(fù)雜鏡頭的第1區(qū)域特性及第2區(qū)域特性的第1圖像及第2圖像的構(gòu)想。

本發(fā)明是鑒于上述內(nèi)容而完成的，其目的在于提供一種能夠使用結(jié)構(gòu)與通常的圖像傳感器相同的圖像傳感器同時(shí)拍攝與具有多個(gè)特性的復(fù)雜鏡頭的各特性對(duì)應(yīng)的圖像，由此能夠?qū)崿F(xiàn)圖像傳感器的傳感器像素的微細(xì)化和制造工時(shí)/成本的抑制的攝像裝置、攝像方法及圖像處理程序。

用于解決技術(shù)課題的手段

為了實(shí)現(xiàn)上述目的，本發(fā)明的一方式所涉及的攝像裝置具備：復(fù)雜鏡頭，包括具有第1特性的第1區(qū)域和具有與第1特性不同的第2特性的第2區(qū)域；圖像傳感器，二維排列有具有第1微透鏡的第1受光元件和具有成像倍率與第1微透鏡的成像倍率不同的第2微透鏡的第2受光元件，并具有透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束經(jīng)由第1微透鏡而干擾入射的第1受光元件及透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束經(jīng)由第2微透鏡而干擾入射且干擾比率與第1受光元件的干擾比率不同的第2受光元件；及干擾去除處理部，分別從由圖像傳感器的第1受光元件得到的第1干擾圖像及由第2受光元件得到的第2干擾圖像去除干擾成分，并生成分別具有復(fù)雜鏡頭的第1特性及第2特性的第1圖像及第2圖像。

根據(jù)本發(fā)明的一方式，容許透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束干擾入射于圖像傳感器的第1受光元件和第2受光元件，另一方面，使與圖像傳感器的第1受光元件對(duì)應(yīng)設(shè)置的第1微透鏡和與第2受光元件對(duì)應(yīng)設(shè)置的第2微透鏡的成像倍率不同，其結(jié)果，使第1受光元件和第2受光元件的干擾比率不同。而且，分別從由圖像傳感器的第1受光元件得到的第1干擾圖像及由第2受光元件得到的第2干擾圖像去除干擾成分，并生成分別具有復(fù)雜鏡頭的第1特性及第2特性的第1圖像及第2圖像。本發(fā)明所涉及的圖像傳感器中，對(duì)第1受光元件設(shè)置的第1微透鏡和對(duì)第2受光元件設(shè)置的第2微透鏡的成像倍率不同，但與通常的圖像傳感器相比無追加結(jié)構(gòu)，從而能夠?qū)崿F(xiàn)傳感器像素的微細(xì)化和制造工時(shí)/成本的抑制。另外，這里所說的“特性”這一用語為包含“光學(xué)特性”的意思的概念。

本發(fā)明的另一方式所涉及的攝像裝置中，干擾去除處理部優(yōu)選根據(jù)由第1干擾圖像及第2干擾圖像各自的檢測(cè)增益分布及干擾增益分布構(gòu)成的矩陣的逆矩陣和第1干擾圖像及第2干擾圖像計(jì)算第1圖像及第2圖像。另外，檢測(cè)增益分布及干擾增益分布為與每個(gè)透過具有復(fù)雜鏡頭的第1特性的第1區(qū)域的攝像光及透過具有第2特性的第2區(qū)域光學(xué)系統(tǒng)的攝像光有關(guān)的分布信息。檢測(cè)增益分布表示最初設(shè)想的通過受光元件正確地受光的攝像光的分布(信息數(shù)據(jù))。例如，通過“通過與第1區(qū)域?qū)?yīng)的第1受光元件受光的攝像光中的透過第1區(qū)域的攝像光的分布(信息數(shù)據(jù))”及“通過與第2區(qū)域?qū)?yīng)的第2受光元件受光的攝像光中的透過第2區(qū)域的攝像光的分布(信息數(shù)據(jù))”表示檢測(cè)增益分布。另一方面，干擾增益分布表示在第1受光元件及第2受光元件中，最初未設(shè)想的非正確地受光的攝像光的分布(信息數(shù)據(jù))。例如，通過“通過與第1區(qū)域?qū)?yīng)的第1受光元件受光的攝像光中的透過第2區(qū)域的攝像光的分布(信息數(shù)據(jù))”及“通過與第2區(qū)域?qū)?yīng)的第2受光元件受光的攝像光中的透過第1區(qū)域的攝像光的分布(信息數(shù)據(jù))”表示干擾增益分布。

本發(fā)明的又一方式所涉及的攝像裝置中，分別對(duì)每一個(gè)第1受光元件及每一個(gè)第2成像元件各設(shè)置一個(gè)第1微透鏡及第2微透鏡。而且，第1微透鏡使復(fù)雜鏡頭的光瞳像在第1受光元件的受光面上以第1成像倍率成像，第2微透鏡使復(fù)雜鏡頭的光瞳像在第2受光元件的受光面上以與第1成像倍率不同的第2成像倍率成像。第1微透鏡和第2微透鏡的成像倍率不同，因此經(jīng)由第1微透鏡入射于第1受光元件的受光面的透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束的干擾比率與經(jīng)由第2微透鏡入射于第2受光元件的受光面的透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束的干擾比率不同。這是由于第1受光元件及第2受光元件的各受光面上的復(fù)雜鏡頭的光瞳像的大小根據(jù)第1微透鏡及第2微透鏡的成像倍率而改變。

本發(fā)明的又一方式所涉及的攝像裝置中，第1微透鏡和第2微透鏡分別具有不同的第1曲率半徑及第2曲率半徑，且根據(jù)第1曲率半徑及第2曲率半徑配置于距第1受光元件的受光面及第2受光元件的受光面分別不同的第1距離及第2距離。另外，微透鏡的曲率半徑越大，成像距離越長，并且成像倍率越大。

本發(fā)明又一方式所涉及的攝像裝置中，圖像傳感器優(yōu)選為背面照射型圖像傳感器。背面照射型圖像傳感器不僅有利于像素尺寸的微細(xì)化，由于光利用效率較高，因此還有利于高靈敏度化。另外，背面照射型圖像傳感器中，在受光部的入射面?zhèn)葻o電路層，因此無法應(yīng)用將電路層的一部分利用于遮光罩的以往技術(shù)中，但本發(fā)明所涉及的圖像傳感器不使用遮光罩，因此能夠應(yīng)用于背面照射型圖像傳感器。

本發(fā)明的又一方式所涉及的攝像裝置中，復(fù)雜鏡頭優(yōu)選包括與具有第1特性的第1區(qū)域?qū)?yīng)的第1光學(xué)透鏡和與具有第2特性的第2區(qū)域?qū)?yīng)的第2光學(xué)系統(tǒng)。

本發(fā)明的又一方式所涉及的攝像裝置中，優(yōu)選第1光學(xué)系統(tǒng)與第2光學(xué)系統(tǒng)的光軸共用，更優(yōu)選第1光學(xué)系統(tǒng)為圓形中央光學(xué)系統(tǒng)，第2光學(xué)系統(tǒng)為相對(duì)于中央光學(xué)系統(tǒng)配設(shè)成同心圓狀的環(huán)狀光學(xué)系統(tǒng)。分別將第1光學(xué)系統(tǒng)及第2光學(xué)系統(tǒng)設(shè)為旋轉(zhuǎn)對(duì)稱的光學(xué)系統(tǒng)，由此在第1圖像與第2圖像之間并不產(chǎn)生視差，且與非旋轉(zhuǎn)對(duì)稱的光學(xué)系統(tǒng)相比，能夠獲取畫質(zhì)優(yōu)異的第1圖像及第2圖像。

本發(fā)明的又一方式所涉及的攝像裝置中，優(yōu)選第1光學(xué)系統(tǒng)和第2光學(xué)系統(tǒng)分別在焦距、對(duì)焦距離及調(diào)制傳遞函數(shù)特性中的至少一個(gè)方面不同。

又一方式所涉及的發(fā)明中，一種攝像裝置的攝像方法，該攝像裝置具備：復(fù)雜鏡頭，包括具有第1特性的第1區(qū)域和具有與第1特性不同的第2特性的第2區(qū)域；及圖像傳感器，二維排列有具有第1微透鏡的第1受光元件和具有成像倍率與第1微透鏡的成像倍率不同的第2微透鏡的第2受光元件，并具有透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束經(jīng)由第1微透鏡而干擾入射的第1受光元件及透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束經(jīng)由第2微透鏡而干擾入射且干擾比率與第1受光元件的干擾比率不同的第2受光元件；其中，該攝像方法包括如下步驟：獲取通過攝像裝置同時(shí)拍攝的第1干擾圖像及第2干擾圖像，第1干擾圖像通過圖像傳感器的第1受光元件已被光電轉(zhuǎn)換，第2干擾圖像通過第2受光元件已被光電轉(zhuǎn)換；及分別從所獲取的第1干擾圖像及第2干擾圖像去除干擾成分，并生成分別具有復(fù)雜鏡頭的第1特性及第2特性的第1圖像及第2圖像。

本發(fā)明的又一方式所涉及的攝像方法中，生成第1圖像及第2圖像的步驟中，優(yōu)選根據(jù)由第1干擾圖像及第2干擾圖像各自的檢測(cè)增益分布及干擾增益分布構(gòu)成的矩陣的逆矩陣和第1干擾圖像及第2干擾圖像計(jì)算第1圖像及第2圖像。

又一方式所涉及的發(fā)明中，一種攝像裝置的圖像處理程序，該攝像裝置具備：復(fù)雜鏡頭，包括具有第1特性的第1區(qū)域和具有與第1特性不同的第2特性的第2區(qū)域；及圖像傳感器，二維排列有具有第1微透鏡的第1受光元件和具有成像倍率與第1微透鏡的成像倍率不同的第2微透鏡的第2受光元件，并具有透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束經(jīng)由第1微透鏡而干擾入射的第1受光元件及透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束經(jīng)由第2微透鏡而干擾入射且干擾比率與第1受光元件的干擾比率不同的第2受光元件；其中，使計(jì)算機(jī)實(shí)現(xiàn)如下步驟：獲取通過攝像裝置同時(shí)拍攝的第1干擾圖像及第2干擾圖像，第1干擾圖像通過圖像傳感器的第1受光元件已被光電轉(zhuǎn)換，第2干擾圖像通過第2受光元件已被光電轉(zhuǎn)換；及分別從所獲取的第1干擾圖像及第2干擾圖像去除干擾成分，并生成分別具有復(fù)雜鏡頭的第1特性及第2特性的第1圖像及第2圖像。

本發(fā)明的又一方式所涉及的圖像處理程序中，生成第1圖像及第2圖像的步驟中，優(yōu)選根據(jù)由第1干擾圖像及第2干擾圖像各自的檢測(cè)增益分布及干擾增益分布構(gòu)成的矩陣的逆矩陣和第1干擾圖像及第2干擾圖像計(jì)算第1圖像及第2圖像。

發(fā)明效果

根據(jù)本發(fā)明，能夠使用單一圖像傳感器同時(shí)拍攝與具有多個(gè)特性的復(fù)雜鏡頭的各特性對(duì)應(yīng)的圖像，尤其由于能夠?qū)⒈景l(fā)明所涉及的圖像傳感器設(shè)為結(jié)構(gòu)與通常的圖像傳感器相同(由于無需追加結(jié)構(gòu))，因此能夠?qū)崿F(xiàn)傳感器像素的微細(xì)化和制造工時(shí)及成本的抑制。

附圖說明

圖1為表示能夠應(yīng)用本發(fā)明的數(shù)碼相機(jī)(攝像裝置)的一例的立體圖。

圖2為表示能夠應(yīng)用本發(fā)明的自動(dòng)跟蹤攝像裝置(攝像裝置)的一例的立體圖。

圖3表示第1實(shí)施方式所涉及的復(fù)雜鏡頭的截面結(jié)構(gòu)。

圖4為放大本實(shí)施方式的圖像傳感器的主要部分的剖視圖。

圖5為表示圖3所示的圖像傳感器的截面結(jié)構(gòu)例的圖。

圖6為表示入射于圖3所示的復(fù)雜鏡頭(尤其第1光學(xué)系統(tǒng))及圖像傳感器的廣角圖像的光束的光路的圖。

圖7為表示入射于圖3所示的復(fù)雜鏡頭(尤其第2光學(xué)系統(tǒng))及圖像傳感器的長焦圖像的光束的光路的圖。

圖8為在圖4所示的圖像傳感器追記廣角圖像的光路和長焦圖像的光路的圖。

圖9為表示標(biāo)準(zhǔn)廣角圖像、標(biāo)準(zhǔn)長焦圖像、第1干擾圖像、第2干擾圖像及由檢測(cè)增益分布及干擾增益分布構(gòu)成的矩陣的關(guān)系的圖。

圖10為表示根據(jù)從圖像傳感器獲取的第1干擾圖像及第2干擾圖像計(jì)算干擾去除圖像(標(biāo)準(zhǔn)廣角圖像、標(biāo)準(zhǔn)長焦圖像)的方法的示意圖。

圖11為表示使用本實(shí)施方式的圖像傳感器獲取第1干擾圖像及第2干擾圖像，并通過干擾去除方法獲取干擾去除圖像(標(biāo)準(zhǔn)廣角圖像、標(biāo)準(zhǔn)長焦圖像)的模擬結(jié)果的圖。

圖12為表示計(jì)算去除了干擾的第1圖像(標(biāo)準(zhǔn)廣角圖像)及第2圖像(標(biāo)準(zhǔn)長焦圖像)的式(1)的圖。

圖13為表示構(gòu)成圖12所示的式(1)中的“w1”的元素w1_11～w1_mn的圖。

圖14為表示計(jì)算元素“w1_ij”的式(2)的圖，該元素“w1_ij”與構(gòu)成根據(jù)圖12所示的式(1)導(dǎo)出的第1圖像(標(biāo)準(zhǔn)廣角圖像)的像素成分(像素值)對(duì)應(yīng)。

圖15為表示計(jì)算元素“t1_ij”的式(3)的圖，該元素“t1_ij”與構(gòu)成根據(jù)圖12所示的式(1)導(dǎo)出的第2圖像(標(biāo)準(zhǔn)長焦圖像)的像素成分(像素值)對(duì)應(yīng)。

圖16為表示圖1及圖2所示的攝像裝置的主要部分的內(nèi)部結(jié)構(gòu)的框圖。

圖17為用于說明使用了第2實(shí)施方式所涉及的復(fù)雜鏡頭的拍攝機(jī)理的圖。

圖18為表示第3實(shí)施方式所涉及的復(fù)雜鏡頭的第1光學(xué)系統(tǒng)和第2光學(xué)系統(tǒng)的調(diào)制傳遞函數(shù)特性(mtf：modulationtransferfunction)的曲線圖。

圖19為放大另一實(shí)施方式的圖像傳感器的主要部分的剖視圖。

圖20為表示本發(fā)明的攝像裝置的一實(shí)施方式的智能手機(jī)的外觀的圖。

圖21為表示圖20所示的智能手機(jī)的結(jié)構(gòu)的框圖。

具體實(shí)施方式

以下，參考附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。

本發(fā)明能夠廣泛應(yīng)用于能夠使用具有多種光學(xué)特性的復(fù)雜鏡頭拍攝多種圖像的攝像裝置、攝像方法及該些應(yīng)用技術(shù)中，能夠應(yīng)用本發(fā)明的技術(shù)領(lǐng)域并無特別限定。例如，本發(fā)明不僅能夠應(yīng)用于根據(jù)用戶操作進(jìn)行拍攝的攝像裝置，還能夠應(yīng)用于自動(dòng)進(jìn)行拍攝的攝像裝置。并且，本發(fā)明不僅能夠應(yīng)用于拍攝靜止圖像的攝像裝置，還能夠應(yīng)用于拍攝動(dòng)態(tài)圖像的攝像裝置。

圖1為表示能夠應(yīng)用本發(fā)明的數(shù)碼相機(jī)10(攝像裝置30)的一例的立體圖。圖1所示的例中，在數(shù)碼相機(jī)10的相機(jī)主體的前面設(shè)置有復(fù)雜鏡頭11及閃光燈13等，且在相機(jī)主體的上面設(shè)置有釋放按鈕12等。圖1的符號(hào)“l(fā)”表示復(fù)雜鏡頭11的光軸。

圖2為表示能夠應(yīng)用本發(fā)明的自動(dòng)跟蹤攝像裝置14(攝像裝置30)的一例的立體圖。圖2所示的自動(dòng)跟蹤攝像裝置14中，包含齒輪19的保持部18和安裝在保持部18的復(fù)雜鏡頭11固定安裝在設(shè)置于裝置主體15上的底座16上。底座16被設(shè)置成圍繞裝置主體15的垂直方向z的軸旋轉(zhuǎn)自如，并通過未圖示的平搖驅(qū)動(dòng)部進(jìn)行圍繞垂直方向z的軸的平搖動(dòng)作。齒輪19設(shè)置在與水平方向x的軸相同的軸上，從未圖示的俯仰驅(qū)動(dòng)部經(jīng)由齒輪19傳遞驅(qū)動(dòng)力，由此使復(fù)雜鏡頭11向上下方向轉(zhuǎn)動(dòng)并進(jìn)行俯仰動(dòng)作。這些復(fù)雜鏡頭11、保持部18(齒輪19)及底座16被防塵及防水用球形罩17覆蓋。

以下進(jìn)行說明的本發(fā)明的各實(shí)施方式及各變形例例如可以應(yīng)用于如圖1所示的數(shù)碼相機(jī)10，也可以應(yīng)用于如圖2所示的自動(dòng)跟蹤攝像裝置14。

<第1實(shí)施方式>

圖3為表示第1實(shí)施方式所涉及的復(fù)雜鏡頭11及圖像傳感器24的截面結(jié)構(gòu)的圖。

本例中，復(fù)雜鏡頭11包括具有第1特性的第1區(qū)域和具有與第1特性不同的第2特性的第2區(qū)域，本實(shí)施方式中，其由對(duì)應(yīng)于第1區(qū)域的第1光學(xué)系統(tǒng)21和對(duì)應(yīng)于第2區(qū)域的第2光學(xué)系統(tǒng)22構(gòu)成。并且，第1光學(xué)系統(tǒng)21和第2光學(xué)系統(tǒng)22的焦距(光學(xué)特性的一例)不同，且光軸l共用。而且，第1光學(xué)系統(tǒng)21為廣角透鏡，第2光學(xué)系統(tǒng)22為長焦透鏡。

圖3所示的第1光學(xué)系統(tǒng)(廣角透鏡)21包括配置于相同的光軸l上的第1廣角用透鏡21a、第2廣角用透鏡21b、第3廣角用透鏡21c、第4廣角用透鏡21d及共用透鏡23。另一方面，第2光學(xué)系統(tǒng)(長焦透鏡)22包括第1長焦用透鏡22a、設(shè)有第1長焦用反射鏡22c的第1長焦用反射體22b、設(shè)有第2長焦用反射鏡22e的第2長焦用反射體22d及共用透鏡23。第1光學(xué)系統(tǒng)21(尤其第1廣角用透鏡21a、第2廣角用透鏡21b、第3廣角用透鏡21c及第4廣角用透鏡21d)形成圓形中央光學(xué)系統(tǒng)。另一方面，第2光學(xué)系統(tǒng)22(尤其第1長焦用透鏡22a、第1長焦用反射體22b、第1長焦用反射鏡22c、第2長焦用反射體22d及第2長焦用反射鏡22e)設(shè)置于第1光學(xué)系統(tǒng)21所形成的中央光學(xué)系統(tǒng)的周邊部，并形成相對(duì)于第1光學(xué)系統(tǒng)21所形成的中央光學(xué)系統(tǒng)配設(shè)成同心圓狀的環(huán)狀光學(xué)系統(tǒng)。另外，共用透鏡23配置于光軸l上，且在第1光學(xué)系統(tǒng)21與第2光學(xué)系統(tǒng)22之間共用。

如此，第2光學(xué)系統(tǒng)22包括設(shè)置于構(gòu)成第1光學(xué)系統(tǒng)21的透鏡組(第1廣角用透鏡21a～第4廣角用透鏡21d及共用透鏡23)的周邊的透鏡組(第1長焦用透鏡22a及共用透鏡23)及反射鏡組(第1長焦用反射鏡22c(第1長焦用反射體22b)及第2長焦用反射鏡22e(第2長焦用反射體22d))，并具有與第1光學(xué)系統(tǒng)21相同的光軸l，具有與第1光學(xué)系統(tǒng)21不同的焦距。

圖像傳感器24以多個(gè)受光元件(還稱為“受光單元”或“受光傳感器”)25對(duì)于與光軸l呈垂直的方向二維配置的方式構(gòu)成。尤其本實(shí)施方式的圖像傳感器24以如下方式構(gòu)成，即作為多個(gè)受光元件25，如圖4所示，具有第1成像倍率的第1微透鏡29a的第1受光元件25a和具有第2成像倍率的第2微透鏡29b的第2受光元件25b排列成方格狀(棋盤狀)。另外，如圖4所示，第1微透鏡29a的曲率半徑(第1曲率半徑)比第2微透鏡29b的曲率半徑(第2曲率半徑)大。并且，第1微透鏡29a的頂點(diǎn)與第1光電二極管26a的入射面的距離(第1距離)比第2微透鏡29b的頂點(diǎn)與第2光電二極管26b的入射面的距離(第2距離)大。由此，通過具有第1曲率半徑的第1微透鏡29a，使復(fù)雜鏡頭11的光瞳像在第1光電二極管26a的入射面以第1成像倍率成像，且通過具有第2曲率半徑的第2微透鏡29b，使復(fù)雜鏡頭11的光瞳像在第2光電二極管26b的入射面以倍率比第1成像倍率低的第2成像倍率成像。

圖4為放大圖像傳感器24的主要部分的剖視圖，并示出第1受光元件25a和第2受光元件25b。

圖4所示的圖像傳感器24為在第1光電二極管26a及第2光電二極管26b的受光面(表面)側(cè)設(shè)置有配線層27的表面照射型圖像傳感器，該配線層27中形成有用于讀取與蓄積在第1光電二極管26a及第2光電二極管26b的電荷對(duì)應(yīng)的圖像信號(hào)的配線等。并且，在配線層27的入射面?zhèn)仍O(shè)置有平滑化層28a及平滑化層28b，且在平滑化層28a及平滑化層28b的入射面?zhèn)刃纬捎械?微透鏡29a及第2微透鏡29b(片上微透鏡)。

對(duì)每一個(gè)第1受光元件25a及每一個(gè)第2受光元件25b分別設(shè)置有一個(gè)第1微透鏡29a及第2微透鏡29b，使入射于第1微透鏡29a及第2微透鏡29b的廣角圖像的光及長焦圖像的光(復(fù)雜鏡頭11的光瞳像)在第1光電二極管26a及第2光電二極管26b的受光面分別以不同的成像倍率(第1成像倍率及第2成像倍率)成像(參考圖8)。

另外，入射于第1微透鏡29a及第2微透鏡29b的入射光線根據(jù)距圖像傳感器24的中心的距離(像高)而其入射角發(fā)生變化。因此，第1微透鏡29a及第2微透鏡29b優(yōu)選根據(jù)圖像傳感器24上的位置(像高)相對(duì)于受光元件25偏移稍許而配置(縮放)。并且，圖像傳感器24可以構(gòu)成為替代平滑化層28a及平滑化層28b形成例如紅、綠、藍(lán)各種顏色的濾色器作為彩色圖像傳感器，或者在平滑化層28a及平滑化層28b與第1微透鏡29a及第2微透鏡29b之間形成例如紅、綠、藍(lán)各種顏色的濾色器作為彩色圖像傳感器。

圖5為表示圖3所示的圖像傳感器24的截面結(jié)構(gòu)例的圖。

如圖4所示，構(gòu)成本例的圖像傳感器24的多個(gè)受光元件25包括具有第1微透鏡29a的第1受光元件25a和具有第2微透鏡29b的第2受光元件25b，這些第1受光元件25a及第2受光元件25b被交替配置成二維狀。

從該圖像傳感器24區(qū)分讀取第1受光元件25a組的像素信號(hào)和第2受光元件25b組的像素信號(hào)，第1受光元件25a組的像素信號(hào)及第2受光元件25b組的像素信號(hào)如后述作為第1干擾圖像的傳感器輸出及第2干擾圖像的傳感器輸出而獲取。

圖6為表示入射于圖3所示的復(fù)雜鏡頭11(尤其第1光學(xué)系統(tǒng)21)及圖像傳感器24的廣角圖像w的光束的光路的圖。本實(shí)施方式中，廣角圖像w依次透過第1光學(xué)系統(tǒng)21的第1廣角用透鏡21a、第2廣角用透鏡21b、第3廣角用透鏡21c、第4廣角用透鏡21d及共用透鏡23，并在圖像傳感器24上成像。

圖7為表示入射于圖3所示的復(fù)雜鏡頭11(尤其第2光學(xué)系統(tǒng)22)及圖像傳感器24的長焦圖像t的光束的光路的圖。本實(shí)施方式中，長焦圖像t透過(透射)第1長焦用透鏡22a，通過第1長焦用反射鏡22c及第2長焦用反射鏡22e的每一個(gè)反射之后透過共用透鏡23，并在圖像傳感器24上成像。如此，通過第1長焦用反射鏡22c及第2長焦用反射鏡22e的每一個(gè)反射而光路被折回，由此能夠縮短焦距較長的長焦圖像拍攝用第2光學(xué)系統(tǒng)22在光軸l的方向上的長度。

如圖6及圖7所示，廣角圖像w的光束和長焦圖像t的光束的入射于圖像傳感器24的角度不同。

圖8為在圖4所示的圖像傳感器24追記廣角圖像w的光路pw和長焦圖像t的光路pt的圖。

第1受光元件25a的第1微透鏡29a和第2受光元件25b的第2微透鏡29b的曲率半徑(焦距)及頂點(diǎn)的高度不同，其結(jié)果，在第1光電二極管26a及第2光電二極管26b的受光面成像的復(fù)雜鏡頭11的光瞳像的成像倍率不同，且第1光電二極管26a及第2光電二極管26b的受光靈敏度特性也不同。本例中，基于第1受光元件25a的第1微透鏡29a的復(fù)雜鏡頭11的光瞳像的成像倍率(第1成像倍率)比基于第2受光元件25b的第2微透鏡29b的復(fù)雜鏡頭11的光瞳像的成像倍率(第2成像倍率)高，且在受光面上成像的復(fù)雜鏡頭11的光瞳像也較大。

在圖8所示的第1受光元件25a的受光面上成像的復(fù)雜鏡頭11的光瞳像比在第2受光元件25b的受光面上成像的復(fù)雜鏡頭11的光瞳像大，在第1光電二極管26a的開口主要入射有光瞳像的中央部的光(即，廣角圖像w的光)。另一方面，在第2受光元件25b的受光面上成像的復(fù)雜鏡頭11的光瞳像比在第1受光元件25a的受光面上成像的復(fù)雜鏡頭11的光瞳像小，在第2光電二極管26b的開口大致均等地入射有光瞳像的中央部的光(即，廣角圖像w的光)和光瞳像周邊部的光(長焦圖像t的光)。

即，圖像傳感器24的第1受光元件25a及第2受光元件25b中，廣角圖像w的光束和長焦圖像t的光束分別干擾入射，但第1受光元件25a與第2受光元件25b的干擾比率不同。具體而言，在第1受光元件25a中，長焦圖像t相對(duì)于廣角圖像w的干擾比率較小，在第2受光元件25b中，長焦圖像t相對(duì)于廣角圖像w干擾比率比第1受光元件25a大。

如圖5所示，能夠從圖像傳感器24中所包含的多個(gè)第1受光元件25a和多個(gè)第2受光元件25b獲取表示如上述那樣廣角圖像w和長焦圖像t的干擾比率分別不同的第1干擾圖像和第2干擾圖像的傳感器輸出。

在此，將從圖像傳感器24中所包含的多個(gè)第1受光元件25a得到的第1干擾圖像作為傳感器輸出w2，并將從圖像傳感器24中所包含的多個(gè)第2受光元件25b得到的第2干擾圖像作為傳感器輸出t2。在此，進(jìn)行從這些傳感器輸出w2、傳感器輸出t2(第1干擾圖像、第2干擾圖像)去除干擾成分的干擾去除處理，由此能夠得到無干擾的所希望的第1圖像(廣角圖像w1)及第2圖像(長焦圖像t1)。

[干擾去除方法]

接著，對(duì)能夠應(yīng)用于本發(fā)明的干擾去除方法進(jìn)行說明。

圖9為表示標(biāo)準(zhǔn)廣角圖像w1(w1ij)、標(biāo)準(zhǔn)長焦圖像t1(t1ij)、傳感器輸出w2(w2ij)、傳感器輸出t2(t2ij)及由檢測(cè)增益分布及干擾增益分布構(gòu)成的矩陣m的關(guān)系的圖。另外，下標(biāo)i、j表示二維圖像上的像素位置。

如圖9所示，從圖像傳感器24(第1受光元件25a及第2受光元件25b)輸出的傳感器輸出w2及傳感器輸出t2以“由廣角標(biāo)準(zhǔn)信號(hào)的檢測(cè)增益分布a(aij)、長焦標(biāo)準(zhǔn)信號(hào)的檢測(cè)增益分布d(dij)、長焦圖像相對(duì)于廣角圖像的干擾增益分布b(bij)及廣角圖像相對(duì)于長焦圖像的干擾增益分布c(cij)構(gòu)成的矩陣m”與“僅由透過第1光學(xué)系統(tǒng)21及第2光學(xué)系統(tǒng)22的每一個(gè)的廣角圖像w及僅由長焦圖像t生成的標(biāo)準(zhǔn)廣角圖像w1及標(biāo)準(zhǔn)長焦圖像t1”的積表示。

如圖9所示，由檢測(cè)增益分布a、檢測(cè)增益分布d及干擾增益分布b、干擾增益分布c構(gòu)成的矩陣m為2×2矩陣。

作為圖像傳感器，檢測(cè)增益分布a、檢測(cè)增益分布d分別為1，且干擾增益分布b、干擾增益分布c分別為0的情況較為理想。若為理想的圖像傳感器，則傳感器輸出w2與標(biāo)準(zhǔn)廣角圖像w1一致，傳感器輸出t2與標(biāo)準(zhǔn)長焦圖像t1一致。

然而，即使為本實(shí)施方式的圖像傳感器24(不具有理想特性的圖像傳感器)，若存在矩陣m的逆矩陣m^-1，則能夠從由圖像傳感器24獲取的傳感器輸出w2(第1干擾圖像)及傳感器輸出t2(第2干擾圖像)去除干擾成分而得到標(biāo)準(zhǔn)廣角圖像w1(第1圖像)及標(biāo)準(zhǔn)長焦圖像t1(第2圖像)。

假設(shè)，如c＝0.5、d＝0.5，即使在傳感器輸出t2中所包含的廣角圖像和長焦圖像的成分均等的情況(即，第2受光元件25b中無廣角圖像與長焦圖像的分離能力的情況)下，只要a≠b，則滿足ad-bc≠0(存在矩陣m的逆矩陣m^-1的條件)，并能夠從傳感器輸出w2及傳感器輸出t2去除干擾成分。

圖10為表示根據(jù)從圖像傳感器24獲取的傳感器輸出w2及傳感器輸出t2計(jì)算干擾去除圖像(標(biāo)準(zhǔn)廣角圖像w1、標(biāo)準(zhǔn)長焦圖像t1)的方法的示意圖。

標(biāo)準(zhǔn)廣角圖像w1及標(biāo)準(zhǔn)長焦圖像t1能夠根據(jù)傳感器輸出w2、傳感器輸出t2及圖9所示的矩陣m的逆矩陣m^-1，并通過圖12所示的式(1)計(jì)算。

另外，式(1)中，構(gòu)成逆矩陣m^-1的a、b、c、d如前述為廣角標(biāo)準(zhǔn)信號(hào)的檢測(cè)增益分布a、長焦圖像相對(duì)于廣角圖像的干擾增益分布b、廣角圖像相對(duì)于長焦圖像的干擾增益分布c及長焦標(biāo)準(zhǔn)信號(hào)的檢測(cè)增益分布d。圖10所示的例中，示出了a＝0.7、b＝0.3、c＝0.5及d＝0.5的情況。

圖11為表示使用本實(shí)施方式的圖像傳感器24獲取傳感器輸出w2(第1干擾圖像)及傳感器輸出t2(第2干擾圖像)，并通過上述干擾去除方法獲取干擾去除圖像(標(biāo)準(zhǔn)廣角圖像w1、標(biāo)準(zhǔn)長焦圖像t1)的模擬結(jié)果的圖。

本實(shí)施方式的圖像傳感器24的各部的尺寸等如下。

第1微透鏡29a的曲率半徑：3.7μm

第2微透鏡29b的曲率半徑：2.8μm

第1微透鏡29a及第2微透鏡29b的折射率：1.55

第1微透鏡29a的頂點(diǎn)與第1光電二極管26a的入射面的距離：9.1μm

第2微透鏡29b的頂點(diǎn)與第2光電二極管26b的入射面的距離：8.1μm

第1受光元件25a與第2受光元件25b的間隔(像素間距)：7μm

第1受光元件25a的第1光電二極管26a的開口尺寸/像素間距：38％

第2受光元件25b的第2光電二極管26b的開口尺寸/像素間距：38％

基于第1微透鏡29a的第1成像倍率a與基于第2微透鏡29b的第2成像倍率b之比：a/b＝0.72

圖11(a1)及圖11(a2)表示通過第1受光元件25a的第1微透鏡29a及第2受光元件25b的第2微透鏡29b成像的復(fù)雜鏡頭11的光瞳像與第1受光元件25a的第1光電二極管26a及第2受光元件25b的第2光電二極管26b各自的開口0的關(guān)系。

如圖11(a1)所示那樣通過第1受光元件25a的第1微透鏡29a成像的復(fù)雜鏡頭11的光瞳像比如圖11(a2)所示那樣通過第2受光元件25b的第2微透鏡29b成像的復(fù)雜鏡頭11的光瞳像大。其結(jié)果，入射于第1光電二極管26a及第2光電二極管26b各自的開口0的光瞳像的中央部的光(廣角圖像w的光)與周邊部的光(長焦圖像t的光)的干擾比率不同。

本例中，從第1受光元件25a得到的傳感器輸出w2的廣角標(biāo)準(zhǔn)信號(hào)的檢測(cè)增益分布a為a＝0.4198，長焦圖像相對(duì)于廣角圖像的干擾增益分布b為b＝0.0765。并且，從第2受光元件25b得到的傳感器輸出t2的廣角圖像相對(duì)于長焦圖像的干擾增益分布c為c＝0.2600，長焦圖像標(biāo)準(zhǔn)信號(hào)的檢測(cè)增益分布d為d＝0.2437。

圖11(b1)及圖11(b2)分別表示傳感器輸出w2(第1干擾圖像)及傳感器輸出t2(第2干擾圖像)。如圖11(b1)及圖11(b2)所示，基于第1受光元件25a的第1光電二極管26a及第2受光元件25b的第2光電二極管26b的復(fù)雜鏡頭11的光瞳像的對(duì)焦度不同，由此第1干擾圖像和第2干擾圖像的長焦圖像t相對(duì)于廣角圖像w的干擾比率不同。

圖11(c1)及圖11(c2)分別表示去除了干擾的標(biāo)準(zhǔn)廣角圖像w1及標(biāo)準(zhǔn)長焦圖像t1。

標(biāo)準(zhǔn)廣角圖像w1及標(biāo)準(zhǔn)長焦圖像t1能夠根據(jù)由傳感器輸出w2及傳感器輸出t2的各自的檢測(cè)增益分布及干擾增益分布構(gòu)成的矩陣的逆矩陣m^-1和傳感器輸出w2及傳感器輸出t2，并通過圖12所示的式(1)計(jì)算。

圖13表示構(gòu)成圖12所示的式(1)中的“w1”的元素w1_11～w1_mn。即“w1”由與標(biāo)準(zhǔn)廣角圖像w1的像素成分(像素值)對(duì)應(yīng)的元素w1_11～w1_mn構(gòu)成。

同樣地，圖12所示的“w2”、“t1”及“t2”也分別由與傳感器輸出w2、標(biāo)準(zhǔn)長焦圖像t1及傳感器輸出t2的像素成分(像素值)對(duì)應(yīng)的元素w2_11～w2_mn、t1_11～t1_mn及t2_11～t2_mn構(gòu)成(省略圖示)。

并且，圖11所示的模擬中，將構(gòu)成圖12所示的式(1)中的逆矩陣m^-1的增益分布a～d設(shè)為a＝0.4198、b＝0.0765、c＝0.2600及d＝0.2437，但嚴(yán)格來講，增益分布a～d按圖像傳感器24的部位而不同，因此優(yōu)選使用各部位中的矩陣/逆矩陣(存在與像素?cái)?shù)相當(dāng)?shù)牧?求出標(biāo)準(zhǔn)圖像。即，構(gòu)成逆矩陣m^-1的增益分布a～d也優(yōu)選分別由根據(jù)廣角圖像及長焦圖像的各像素確定的元素a11～amn、b11～bmn、c11～cmn及d11～dmn構(gòu)成(省略圖示)。

圖14表示計(jì)算元素“w1_ij”的式(2)，該元素“w1_ij”與構(gòu)成根據(jù)圖12所示的式(1)導(dǎo)出的標(biāo)準(zhǔn)廣角圖像w1的像素成分(像素值)對(duì)應(yīng)。同樣地，圖15表示計(jì)算元素“t1_ij”的式(3)，該元素“t1_ij”與構(gòu)成根據(jù)圖12所示的式(1)導(dǎo)出的標(biāo)準(zhǔn)長焦圖像t1的像素成分(像素值)對(duì)應(yīng)。

<攝像裝置的內(nèi)部結(jié)構(gòu)>

圖16為表示圖1及圖2所示的攝像裝置30的主要部分的內(nèi)部結(jié)果的框圖。

如圖16所示，攝像裝置30除了前述復(fù)雜鏡頭11及圖像傳感器24之外，主要還具備圖像獲取部32、干擾去除處理部34及數(shù)字信號(hào)處理部36等。圖像獲取部32、干擾去除處理部34及數(shù)字信號(hào)處理部36等例如通過一個(gè)或多個(gè)微處理器而實(shí)現(xiàn)。

通過復(fù)雜鏡頭11的第1光學(xué)系統(tǒng)21及第2光學(xué)系統(tǒng)22拍攝的廣角圖像及長焦圖像在圖像傳感器24的受光面成像，并通過各光電二極管26a、光電二極管26b轉(zhuǎn)換為對(duì)應(yīng)于入射光量的電荷量的信號(hào)電壓(或電荷)。

蓄積在圖像傳感器24的信號(hào)電壓(或電荷)蓄積于各受光元件25本身或附設(shè)的電容器。所蓄積的信號(hào)電壓(或電荷)利用使用了x-y地址方式的mos(metaloxidesemiconductor)型圖像傳感器(所謂的cmos(complementarymetaloxidesemiconductor)傳感器)的方法，選擇受光元件25的位置的同時(shí)被讀取。

由此，能夠從圖像傳感器24中所包含的多個(gè)第1受光元件25a讀取表示第1干擾圖像的圖像信號(hào)(傳感器輸出w2)，從圖像傳感器24中所包含的多個(gè)第2受光元件25b讀取表示第2干擾圖像的圖像信號(hào)(傳感器輸出t2)。

關(guān)于從圖像傳感器24讀取的圖像信號(hào)(電壓信號(hào))，通過相關(guān)雙采樣處理(以減輕傳感器輸出中所包含的噪聲(尤其熱噪聲)等為目的，通過求出每一個(gè)受光元件的輸出信號(hào)中所包含的饋通成分電平與信號(hào)成分電平之差而得到正確的像素?cái)?shù)據(jù)的處理)，每一個(gè)受光元件的圖像信號(hào)被采樣保持，并在增幅之后施加于a/d(analog-to-digital)轉(zhuǎn)換器20。a/d轉(zhuǎn)換器20將依次輸入的圖像信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)而輸出至圖像獲取部32。另外，有些mos型圖像傳感器中內(nèi)置有a/d轉(zhuǎn)換器，該情況下，從圖像傳感器24直接輸出數(shù)字信號(hào)。

圖像獲取部32選擇圖像傳感器24的受光元件的位置并讀取圖像信號(hào)，由此能夠獲取同時(shí)拍攝的表示第1干擾圖像的圖像信號(hào)和表示第2干擾圖像的圖像信號(hào)。

即，選擇圖像傳感器24的多個(gè)第1受光元件25a，并從多個(gè)第1受光元件25a選擇性地讀取圖像信號(hào)，由此能夠獲取表示第1干擾圖像的圖像信號(hào)。另一方面，選擇圖像傳感器24的多個(gè)第2受光元件25b，并從多個(gè)第2受光元件25b選擇性地讀取圖像信號(hào)，由此能夠獲取表示第2干擾圖像的圖像信號(hào)。

另外，可以從圖像傳感器24讀取所有的圖像信號(hào)并暫時(shí)存儲(chǔ)在緩沖存儲(chǔ)器，并從存儲(chǔ)在緩沖存儲(chǔ)器的圖像信號(hào)對(duì)第1干擾圖像和第2干擾圖像這兩個(gè)圖像的圖像信號(hào)進(jìn)行分組。

通過圖像獲取部32獲取的表示第1干擾圖像及第2干擾圖像的圖像信號(hào)被輸出至干擾去除處理部34。

干擾去除處理部34為從圖像獲取部32輸入的表示第1干擾圖像及第2干擾圖像的圖像信號(hào)去除干擾成分，生成表示分別具有復(fù)雜鏡頭11的第1光學(xué)系統(tǒng)的第1特性(廣角)及第2光學(xué)系統(tǒng)22的第2特性(長焦)的第1圖像(廣角圖像)及第2圖像(長焦圖像)的圖像信號(hào)。而且，根據(jù)圖12所示的式(1)生成表示無干擾的廣角圖像及長焦圖像的圖像信號(hào)。

即，干擾去除處理部34具有存儲(chǔ)構(gòu)成式(1)所示的逆矩陣m^-1的增益分布a～d的rom(readonlymemory)等的存儲(chǔ)部34a，通過對(duì)存儲(chǔ)在存儲(chǔ)部34a的逆矩陣m^-1和從圖像獲取部32輸入的表示第1干擾圖像及第2干擾圖像的圖像信號(hào)(傳感器輸出w2、傳感器輸出t2)進(jìn)行乘法運(yùn)算，生成表示無干擾的廣角圖像w1及長焦圖像t1的圖像信號(hào)。另外，構(gòu)成逆矩陣m^-1的增益分布a～d能夠唯一通過復(fù)雜鏡頭11及圖像傳感器24的特性確定，因此能夠預(yù)先計(jì)算出并存儲(chǔ)于存儲(chǔ)部34a。

通過干擾去除處理部34生成的表示無干擾的廣角圖像w1及長焦圖像t1的圖像信號(hào)分別被輸出至數(shù)字信號(hào)處理部36。

數(shù)字信號(hào)處理部36對(duì)所輸入的數(shù)字圖像信號(hào)進(jìn)行偏移處理、伽馬校正處理等規(guī)定的信號(hào)處理。

在數(shù)字信號(hào)處理部36進(jìn)行處理的表示廣角圖像及長焦圖像的圖像信號(hào)分別被輸出至記錄部38及顯示部40。記錄部38將由數(shù)字信號(hào)處理部36進(jìn)行處理的表示廣角圖像及長焦圖像的靜態(tài)圖像記錄用或動(dòng)態(tài)圖像記錄用圖像信號(hào)記錄于記錄介質(zhì)(硬盤、存儲(chǔ)卡等)。

顯示部40通過由數(shù)字信號(hào)處理部36進(jìn)行處理的表示廣角圖像及長焦圖像的靜態(tài)圖像顯示用或動(dòng)態(tài)圖像顯示用圖像信號(hào)，顯示廣角圖像及長焦圖像。另外，顯示部40還能夠根據(jù)記錄在記錄部38的圖像信號(hào)播放廣角圖像及長焦圖像。

<第2實(shí)施方式>

圖17為用于說明使用了第2實(shí)施方式所涉及的復(fù)雜鏡頭11的拍攝機(jī)理的圖。

圖17所示的復(fù)雜鏡頭11由圓形第1光學(xué)系統(tǒng)21和相對(duì)于第1光學(xué)系統(tǒng)21配設(shè)成同心圓狀的環(huán)狀第2光學(xué)系統(tǒng)22構(gòu)成，第1光學(xué)系統(tǒng)21和第2光學(xué)系統(tǒng)的光軸共用，但對(duì)焦距離不同。

圖17中，各參考符號(hào)所表示的內(nèi)容如下。

a1：第1光學(xué)系統(tǒng)21(遠(yuǎn)對(duì)焦區(qū)域60a)的透鏡-受光面之間的距離

a2：第2光學(xué)系統(tǒng)22(近對(duì)焦區(qū)域60b)的透鏡-受光面之間的距離

b1：第1光學(xué)系統(tǒng)21(遠(yuǎn)對(duì)焦區(qū)域60a)的透鏡-被攝體之間的距離

b2：第2光學(xué)系統(tǒng)22(近對(duì)焦區(qū)域60b)的透鏡-被攝體之間的距離

fd1：第1光學(xué)系統(tǒng)21(遠(yuǎn)對(duì)焦區(qū)域60a)的對(duì)焦距離

fd2：第2光學(xué)系統(tǒng)22(近對(duì)焦區(qū)域60b)的對(duì)焦距離

q1a、q1b及q2：被攝體

另外，本實(shí)施方式中，“對(duì)焦距離”是指，定向傳感器24的受光元件25的受光面至處于與受光元件25對(duì)焦的關(guān)系的被攝體的距離。圖17所示的例中，“fd1＝a1+b1”及“fd2＝a2+b2”的關(guān)系成立。并且，若將第1光學(xué)系統(tǒng)21(遠(yuǎn)對(duì)焦區(qū)域60a)的焦距設(shè)為“f1”，并將第2光學(xué)系統(tǒng)22(近對(duì)焦區(qū)域60b)的焦距設(shè)為“f2”，則“1/f1＝(1/a1)+(1/b1)”及“1/f2＝(1/a2)+(1/b2)”的關(guān)系成立。

具備這種“對(duì)焦距離不同的第1光學(xué)系統(tǒng)21及第2光學(xué)系統(tǒng)22”的攝像裝置30中，也能夠通過與第1實(shí)施方式相同的功能結(jié)構(gòu)(參考圖16)同時(shí)拍攝通過第1光學(xué)系統(tǒng)21對(duì)焦于遠(yuǎn)距離的被攝體q1a及被攝體q1b的第1圖像和通過第2光學(xué)系統(tǒng)22對(duì)焦于近距離的被攝體q2的第2圖像。

即，通過第1光學(xué)系統(tǒng)21對(duì)焦于遠(yuǎn)距離的被攝體q1b及被攝體q1b的第1對(duì)焦圖像的光和通過第2光學(xué)系統(tǒng)22對(duì)焦于近距離的被攝體q2的第2對(duì)焦圖像的光相干擾，并入射于圖像傳感器24的第1受光元件25a及第2受光元件25b。

由此，能夠從圖像傳感器24的第1受光元件25a獲取第1對(duì)焦圖像和第2對(duì)焦圖像相干擾的第1干擾圖像，并能夠從圖像傳感器24的第2受光元件25b獲取干擾比率與第1受光元件25a不同且第1對(duì)焦圖像和第2對(duì)焦圖像相干擾的第2干擾圖像。

干擾去除處理部34對(duì)逆矩陣m^-1(圖12所示的式(1)中的m^-1)和從圖像傳感器24獲取的第1干擾圖像及第2干擾圖像進(jìn)行乘法運(yùn)算，由此能夠分別生成無干擾的對(duì)焦于遠(yuǎn)距離的被攝體q1b及被攝體q1b的第1圖像和對(duì)焦于近距離的被攝體q2的第2圖像。

另外，第2實(shí)施方式所涉及的復(fù)雜鏡頭11的特性與圖3等所示的復(fù)雜鏡頭11不同，因此構(gòu)成逆矩陣m^-1的增益分布a～d也不同是不言而喻的。

<第3實(shí)施方式>

圖18為表示第3實(shí)施方式所涉及的復(fù)雜鏡頭(未圖示)的第1光學(xué)系統(tǒng)和第2光學(xué)系統(tǒng)的調(diào)制傳遞函數(shù)特性(mtf：modulationtransferfunction)的曲線圖。

第3實(shí)施方式所涉及的復(fù)雜鏡頭的第1光學(xué)系統(tǒng)和第2光學(xué)系統(tǒng)的焦距及對(duì)焦距離相同，但mtf不同，第1光學(xué)系統(tǒng)具有圖18的mtf曲線a所示的第1mtf，第2光學(xué)系統(tǒng)具有圖18的mtf曲線b所示的第2mtf。另外，第3實(shí)施方式所涉及的復(fù)雜鏡頭例如能夠設(shè)為外觀形狀與圖17所示的復(fù)雜鏡頭11大致相同。

根據(jù)圖18所示的mtf曲線a，具有第1mtf的第1光學(xué)系統(tǒng)為與具有第2mtf的第2光學(xué)系統(tǒng)相比分辨率較高，但對(duì)比度較低的光學(xué)系統(tǒng)。另一方面，根據(jù)圖18所示的mtf曲線b，具有第2mtf的第2光學(xué)系統(tǒng)為與具有第1mtf的第1光學(xué)系統(tǒng)相比分辨率較低，但對(duì)比度較高的光學(xué)系統(tǒng)。

具備這種“mtf不同的第1光學(xué)系統(tǒng)及第2光學(xué)系統(tǒng)”的攝像裝置30中，也能通過與第1實(shí)施方式相同的功能結(jié)構(gòu)(參考圖16)同時(shí)拍攝與第1光學(xué)系統(tǒng)及第2光學(xué)系統(tǒng)各自的mtf對(duì)應(yīng)的第1圖像和第2圖像。

即，與第1光學(xué)系統(tǒng)的第1mtf對(duì)應(yīng)的第1圖像的光和與第2光學(xué)系統(tǒng)的第2mtf對(duì)應(yīng)的第2圖像的光相干擾，并入射于圖像傳感器24的第1受光元件25a及第2受光元件25b。

由此，能夠從圖像傳感器24的第1受光元件25a獲取第1圖像和第2圖像相干擾的第1干擾圖像。而且，能夠從圖像傳感器24的第2受光元件25b獲取干擾比率與第1受光元件25a不同且第1圖像和第2圖像相干擾的第2干擾圖像。

干擾去除處理部34對(duì)逆矩陣m^-1(圖12所示的式(1)中的m^-1)和從圖像傳感器24獲取的第1干擾圖像及第2干擾圖像進(jìn)行乘法運(yùn)算，由此能夠分別生成無干擾的具有第1mtf的第1圖像和具有第2mtf的第2圖像。

<圖像傳感器的另一實(shí)施方式>

圖19為表示應(yīng)用于本發(fā)明的圖像傳感器的另一實(shí)施方式的剖視圖，并為放大圖像傳感器的主要部分的剖視圖。

圖19所示的圖像傳感器1.24為在第1光電二極管126a及第2光電二極管126b的受光面相反的一側(cè)(背面?zhèn)?設(shè)置有配線層127的背面照射型圖像傳感器，該配線層127中形成有用于讀取與蓄積在第1光電二極管126a及第2光電二極管126b的電荷對(duì)應(yīng)的圖像信號(hào)的配線等。并且，在第1光電二極管126a及第2光電二極管126b的受光面(表面)側(cè)設(shè)置有防反射層、平滑化層、濾色器等的層128，且在層128的入射面?zhèn)刃纬捎械?微透鏡129a、第2微透鏡129b(片上微透鏡)，從而構(gòu)成第1受光元件125a及第2受光元件125b。

對(duì)每一個(gè)第1受光元件125a及每一個(gè)第2受光元件125b分別設(shè)置有一個(gè)第1微透鏡129a及第2微透鏡129b，使入射于第1微透鏡129a及第2微透鏡129b的廣角圖像的光及長焦圖像的光(復(fù)雜鏡頭11的光瞳像)在第1光電二極管126a及第2光電二極管126b的受光面分別以不同的成像倍率成像。另外，與圖4所示的圖像傳感器24的第1微透鏡29a及第2微透鏡29b相同，第1微透鏡129a及第2微透鏡129b的曲率半徑及高度不同。

該實(shí)施方式所涉及的圖像傳感器124為背面照射型圖像傳感器，因此在第1光電二極管126a及第2光電二極管126b的受光面(表面)側(cè)無配線層，其結(jié)果，與圖4所示的第1實(shí)施方式所涉及的圖像傳感器24(即，在第1光電二極管26a及第2光電二極管26b的受光面(表面)側(cè)形成有配線層27的表面照射型圖像傳感器)相比，不僅有利于像素尺寸的微細(xì)化，由于光利用效率較高，因此還有利于高靈敏度化。

<其他變形例>

本發(fā)明并不限定于上述實(shí)施方式，在不脫離本發(fā)明的思想的范圍內(nèi)能夠進(jìn)行各種變形。

例如，可以將上述實(shí)施方式彼此適當(dāng)組合，并能夠?qū)⒈景l(fā)明應(yīng)用于組合兩個(gè)以上的第1實(shí)施方式所涉及的復(fù)雜鏡頭、第2實(shí)施方式所涉及的復(fù)雜鏡頭及第3實(shí)施方式所涉及的復(fù)雜鏡頭各自的特性的復(fù)雜鏡頭。

并且，上述實(shí)施方式中，對(duì)由兩種光學(xué)系統(tǒng)(第1光學(xué)系統(tǒng)21及第2光學(xué)系統(tǒng)22)構(gòu)成復(fù)雜鏡頭11的例進(jìn)行了說明，但也可以由3種以上的光學(xué)系統(tǒng)構(gòu)成復(fù)雜鏡頭11。

并且，本實(shí)施方式的圖像傳感器24通過第1受光元件25a和第2受光元件25b排列成方格狀(棋盤狀)而構(gòu)成。但是，本發(fā)明所涉及的圖像傳感器并不限定于此，包括基于微透鏡的對(duì)焦度不同的第1受光元件和第2受光元件相鄰而成為一組，且該一對(duì)排列成二維狀的圖像傳感器、第1受光元件與第2受光元件的數(shù)量的比率并非為1∶1，而是第1受光元件的數(shù)量比第2受光元件的數(shù)量多的圖像傳感器，相反第1受光元件的數(shù)量比第2受光元件的數(shù)量少的圖像傳感器等。另外，當(dāng)?shù)?受光元件的數(shù)量和第2受光元件的數(shù)量不同時(shí)，為了能夠?qū)D12所示的式(1)進(jìn)行運(yùn)算，優(yōu)選對(duì)數(shù)量較少的受光元件的傳感器輸出進(jìn)行插值處理而將圖像尺寸設(shè)為與數(shù)量較多的受光元件的傳感器輸出相同。

而且，本發(fā)明能夠應(yīng)用于攝像方法中，該攝像方法包括如下步驟：從圖像傳感器的多個(gè)第1受光元件獲取第1干擾圖像，并從多個(gè)第2受光元件獲取第2干擾圖像；分別從所獲取的第1干擾圖像及第2干擾圖像去除干擾成分，并生成分別具有復(fù)雜鏡頭的第1特性及所述第2特性的第1圖像及第2圖像。

并且，上述各結(jié)構(gòu)及各功能能夠通過任意硬件、軟件或組合兩者來適當(dāng)實(shí)現(xiàn)。例如，從具備復(fù)雜鏡頭11及圖像傳感器24(圖3)的攝像裝置直接或經(jīng)由記錄介質(zhì)間接地將第1干擾圖像及第2干擾圖像輸入于計(jì)算機(jī)，且本發(fā)明還能夠應(yīng)用于使計(jì)算機(jī)執(zhí)行上述步驟的圖像處理程序、記錄有這種圖像處理程序的計(jì)算機(jī)可讀取記錄介質(zhì)(非暫時(shí)性記錄介質(zhì))、或者能夠安裝這種圖像處理程序的計(jì)算機(jī)。

并且，能夠應(yīng)用本發(fā)明的方式并不限定于圖1所示的數(shù)碼相機(jī)10及圖2所示的自動(dòng)跟蹤攝像裝置14，除了以拍攝為主要功能的相機(jī)類以外，本發(fā)明還能夠應(yīng)用于在攝像功能的基礎(chǔ)上還具備攝像以外的其他功能(通話功能、通信功能或其他計(jì)算機(jī)功能)的移動(dòng)設(shè)備類。作為能夠應(yīng)用本發(fā)明的另一方式，例如可舉出具有相機(jī)功能的移動(dòng)電話或智能手機(jī)、pda(personaldigitalassistants)及便攜式游戲機(jī)。以下，對(duì)能夠應(yīng)用本發(fā)明的智能手機(jī)的一例進(jìn)行說明。

<智能手機(jī)的結(jié)構(gòu)>

圖20為表示本發(fā)明的攝像裝置的一實(shí)施方式的智能手機(jī)101的外觀的圖。圖20所示的智能手機(jī)101具有平板狀殼體102，并在殼體102的一個(gè)面上設(shè)置作為顯示部的顯示面板121和作為輸入部的操作面板122形成為一體的顯示輸入部120。并且，該殼體102具備揚(yáng)聲器131、麥克風(fēng)132、操作部140及相機(jī)部141。另外，殼體102的結(jié)構(gòu)并不限定于此，例如還能夠采用獨(dú)立設(shè)置顯示部和輸入部的結(jié)構(gòu)，或者采用具有折疊結(jié)構(gòu)和滑動(dòng)機(jī)構(gòu)的結(jié)構(gòu)。

圖21為表示圖20所示的智能手機(jī)101的結(jié)構(gòu)的框圖。如圖21所示，作為智能手機(jī)101的主要構(gòu)成要件，具備無線通信部110、顯示輸入部120、通話部130、操作部140、相機(jī)部141、存儲(chǔ)部150、外部輸入輸出部160、gps(globalpositioningsystem)接收部170、動(dòng)作傳感器部180、電源部190及主控制部100。并且，作為智能手機(jī)101的主要功能，具備經(jīng)由基站裝置和移動(dòng)通信網(wǎng)進(jìn)行移動(dòng)無線通信的無線通信功能。

無線通信部110根據(jù)主控制部100的命令，在與連接在移動(dòng)通信網(wǎng)的基站裝置之間進(jìn)行無線通信。使用該無線通信，進(jìn)行語音數(shù)據(jù)及圖像數(shù)據(jù)等各種文件數(shù)據(jù)和電子郵件等的收發(fā)及web數(shù)據(jù)和流數(shù)據(jù)等的接收。

顯示輸入部120為具備顯示面板121及操作面板122的所謂的觸摸面板，通過主控制部100的控制，顯示圖像(靜態(tài)圖像及動(dòng)態(tài)圖像)和文字信息等而視覺性地向用戶傳遞信息，并且檢測(cè)針對(duì)所顯示的信息的用戶操作。

顯示面板121將lcd(liquidcrystaldisplay)或oeld(organicelectro-luminescencedisplay)等用作顯示設(shè)備。操作面板122為以能夠辨識(shí)顯示于顯示面板121的顯示面上圖像的狀態(tài)設(shè)置，并檢測(cè)通過用戶的手指或尖筆操作的一個(gè)或多個(gè)坐標(biāo)的設(shè)備。若該設(shè)備通過用戶的手指或尖筆而被操作，則操作面板122將因操作而產(chǎn)生的檢測(cè)信號(hào)輸出至主控制部100。接著，主控制部100根據(jù)所接收的檢測(cè)信號(hào)檢測(cè)顯示面板121上的操作位置(坐標(biāo))。

作為本發(fā)明的攝像裝置的一實(shí)施方式而圖20中所例示的智能手機(jī)101的顯示面板121與操作面板122成為一體而構(gòu)成顯示輸入部120，并配置成操作面板122完全覆蓋顯示面板121。當(dāng)采用該配置時(shí)，操作面板122可以在顯示面板121以外的區(qū)域也具備檢測(cè)用戶操作的功能。換言之，操作面板122可以具備針對(duì)與顯示面板121重疊的重疊部分的檢測(cè)區(qū)域(以下，稱為“顯示區(qū)域”)和其以外的不與顯示面板121重疊的外緣部分的檢測(cè)區(qū)域(以下，稱為“非顯示區(qū)域”)。

另外，可以使顯示區(qū)域的大小和顯示面板121的大小完全一致，但無需使兩者一定一致。并且，操作面板122可以具備外緣部分及其以外的內(nèi)側(cè)部分這兩個(gè)感應(yīng)區(qū)域。而且，該外緣部分的寬度可根據(jù)殼體102的大小等適當(dāng)設(shè)計(jì)。此外，作為在操作面板1.22中采用的位置檢測(cè)方式，可舉出矩陣開關(guān)方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應(yīng)方式、靜電電容方式等，可以采用任意方式。

通話部130具備揚(yáng)聲器131及麥克風(fēng)132，將通過麥克風(fēng)132輸入的用戶的語音轉(zhuǎn)換為能夠通過主控制部100處理的語音數(shù)據(jù)而輸出至主控制部100，或者對(duì)通過無線通信部110或外部輸入輸出部160接收的語音數(shù)據(jù)進(jìn)行解碼而從揚(yáng)聲器131輸出。并且，如圖20所示，例如能夠?qū)P(yáng)聲器131及麥克風(fēng)132搭載于與設(shè)置有顯示輸入部120面相同的面上。

操作部140為使用鍵開關(guān)等的硬件鍵，并接收來自用戶的命令。例如，如圖20所示，操作部140搭載于智能手機(jī)101的殼體102的側(cè)面，且為通過手指等按壓時(shí)成為開關(guān)打開的狀態(tài)，將手指移開則通過彈簧等的復(fù)原力而成為開關(guān)關(guān)閉的狀態(tài)的按鈕式開關(guān)。

存儲(chǔ)部150存儲(chǔ)主控制部100的控制程序和控制數(shù)據(jù)、應(yīng)用軟件、與通信對(duì)象的名稱和電話號(hào)碼等建立對(duì)應(yīng)關(guān)聯(lián)的地址數(shù)據(jù)、收發(fā)的電子郵件的數(shù)據(jù)、通過web瀏覽器下載的web數(shù)據(jù)及已下載的內(nèi)容數(shù)據(jù)等，并且暫時(shí)存儲(chǔ)流數(shù)據(jù)等。并且，存儲(chǔ)部150由內(nèi)置于智能手機(jī)的內(nèi)部存儲(chǔ)部151和具有裝卸自如的外部存儲(chǔ)器插槽的外部存儲(chǔ)部152構(gòu)成。另外，構(gòu)成存儲(chǔ)部150的內(nèi)部存儲(chǔ)部151及外部存儲(chǔ)部152各自可通過使用閃存類型(flashmemorytype)、硬盤類型(harddisktype)、微型多媒體卡類型(multimediacardmicrotype)、卡類型存儲(chǔ)器(例如，microsd(注冊(cè)商標(biāo))存儲(chǔ)器等)、ram(randomaccessmemory)或rom(readonlymemory)等存儲(chǔ)介質(zhì)來實(shí)現(xiàn)。

外部輸入輸出部160起到與智能手機(jī)101連結(jié)的所有外部設(shè)備的接口的作用，用于通過通信等(例如，usb(universalserialbus)、ieee1394等)或網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng)、無線lan、藍(lán)牙(bluetooth)(注冊(cè)商標(biāo))、rfid(radiofrequencyidentification)、紅外線通信(infrareddataassociation：irda)(注冊(cè)商標(biāo))、uwb(ultrawideband)(注冊(cè)商標(biāo))、紫蜂(zigbee)(注冊(cè)商標(biāo))等)直接或間接地與其他外部設(shè)備連接。

作為與智能手機(jī)101連結(jié)的外部設(shè)備，例如有：有線/無線頭戴式耳機(jī)、有線/無線外部充電器、有線/無線數(shù)據(jù)端口、經(jīng)由卡插槽而連接的存儲(chǔ)卡(memorycard)或sim(subscriberidentitymodulecard)/u[m(useridentitymodulecard)卡、經(jīng)由音頻/視頻i/o(input/output)端子而連接的外部音頻/視頻設(shè)備、無線連接的外部音頻/視頻設(shè)備、有線/無線連接的智能手機(jī)、有線/無線連接的個(gè)人計(jì)算機(jī)、有線/無線連接的pda及耳機(jī)等。外部輸入輸出部160可以構(gòu)成為將從這種外部設(shè)備接收發(fā)送的數(shù)據(jù)傳遞至智能手機(jī)101的內(nèi)部的各構(gòu)成要件，或者將智能手機(jī)101的內(nèi)部數(shù)據(jù)發(fā)送到外部設(shè)備。

gps接收部170根據(jù)主控制部100的命令接收從gps衛(wèi)星st1、gps衛(wèi)星st2～gps衛(wèi)星stn發(fā)送的gps信號(hào)，執(zhí)行基于所接收的多個(gè)gps信號(hào)的測(cè)位運(yùn)算處理，并檢測(cè)通過智能手機(jī)101的緯度、經(jīng)度及高度而確定的位置。能夠從當(dāng)無線通信部110和/或外部輸入輸出部160(例如，無線lan)獲取位置信息時(shí)，gps接收部170還能夠利用該位置信息來檢測(cè)位置。

動(dòng)作傳感器部180例如具備3軸加速傳感器等，并根據(jù)主控制部100的命令檢測(cè)智能手機(jī)101的物理運(yùn)動(dòng)。通過檢測(cè)智能手機(jī)101的物理運(yùn)動(dòng)，可檢測(cè)智能手機(jī)101的移動(dòng)方向和加速。將該檢測(cè)結(jié)果輸出到主控制部100。

電源部190根據(jù)主控制部100的命令，向智能手機(jī)101的各部供給蓄積于電池(未圖示)的電力。

主控制部100具備微處理器，根據(jù)存儲(chǔ)部150所存儲(chǔ)的控制程序或控制數(shù)據(jù)進(jìn)行動(dòng)作，從而統(tǒng)一控制智能手機(jī)101的各部。并且，主控制部100具備為了通過無線通信部110進(jìn)行語音通信及數(shù)據(jù)通信而控制通信系統(tǒng)的各部的移動(dòng)通信控制功能和應(yīng)用處理功能。

應(yīng)用處理功能通過主控制部100根據(jù)存儲(chǔ)部150所存儲(chǔ)的應(yīng)用軟件進(jìn)行動(dòng)作來實(shí)現(xiàn)。作為應(yīng)用處理功能，例如有通過控制外部輸入輸出部160而與對(duì)象設(shè)備進(jìn)行數(shù)據(jù)通信的紅外線通信功能和進(jìn)行電子郵件的收發(fā)的電子郵件功能及預(yù)覽web頁的web瀏覽器功能等。

并且，主控制部100具備根據(jù)接收數(shù)據(jù)、已下載的流數(shù)據(jù)等圖像數(shù)據(jù)(靜止圖像或動(dòng)態(tài)圖像的數(shù)據(jù))而將影像顯示于顯示輸入部120等的圖像處理功能。圖像處理功能是指，主控制部100對(duì)上述圖像數(shù)據(jù)進(jìn)行解碼，并對(duì)該解碼結(jié)果實(shí)施圖像處理，從而將經(jīng)過該圖像處理而得到的圖像顯示于顯示輸入部120的功能。

而且，主控制部100執(zhí)行針對(duì)顯示面板121的顯示控制和檢測(cè)通過操作部140或操作面板122進(jìn)行的用戶操作的操作檢測(cè)控制。

通過執(zhí)行顯示控制，主控制部100顯示用于啟動(dòng)應(yīng)用軟件的圖標(biāo)或滾動(dòng)條等軟件鍵，或者顯示用于創(chuàng)建電子郵件的窗口。另外，滾動(dòng)條是指，用于針對(duì)無法容納于顯示面板121的顯示區(qū)域的較大的圖像等接收移動(dòng)圖像的顯示部分的命令的軟件鍵。

并且，通過執(zhí)行操作檢測(cè)控制，主控制部100檢測(cè)通過操作部140進(jìn)行的用戶操作，或者通過操作面板122接收針對(duì)上述圖標(biāo)的操作、針對(duì)上述窗口的輸入欄的文字列的輸入，或者接收通過滾動(dòng)條進(jìn)行的顯示圖像的滾動(dòng)請(qǐng)求。

而且，通過執(zhí)行操作檢測(cè)控制，主控制部100具備判定針對(duì)操作面板122的操作位置是否對(duì)應(yīng)于與顯示面板121重疊的重疊部分(顯示區(qū)域)，或者是否對(duì)應(yīng)于其以外的并不與顯示面板121重疊的外緣部分(非顯示區(qū)域)，并控制操作面板122的感應(yīng)區(qū)域或軟件鍵的顯示位置的觸摸面板控制功能。

并且，主控制部100還能夠檢測(cè)針對(duì)操作面板122的手勢(shì)操作，并根據(jù)檢測(cè)出的手勢(shì)操作執(zhí)行預(yù)先設(shè)定的功能。手勢(shì)操作并非為以往的簡單的觸摸操作，而是利用手指等描繪軌跡、或者同時(shí)指定多個(gè)位置、或者將它們進(jìn)行組合而從多個(gè)位置對(duì)至少一個(gè)位置描繪軌跡的操作。

相機(jī)部141能夠應(yīng)用前述攝像裝置30。并且，相機(jī)部141能夠通過主控制部100的控制，將通過拍攝而得到的圖像數(shù)據(jù)例如轉(zhuǎn)換成jpeg(jointphotographicexpertsgroup)等壓縮的圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)記錄于存儲(chǔ)部150，或者通過外部輸入輸出部160或無線通信部110進(jìn)行輸出。如圖20所示，智能手機(jī)101中，相機(jī)部141搭載于與顯示輸入部120相同的面上，但相機(jī)部141的搭載位置并不限定于此，相機(jī)部141可以搭載于殼體102的背面而不是設(shè)置有顯示輸入部120的殼體102的表面，或者多個(gè)相機(jī)部141可以搭載于殼體102。另外，當(dāng)搭載有多個(gè)相機(jī)部141時(shí)，可以切換供拍攝的相機(jī)部141而通過單獨(dú)的相機(jī)部141進(jìn)行拍攝，或者也可以同時(shí)使用多個(gè)相機(jī)部141進(jìn)行拍攝。

并且，相機(jī)部141能夠利用于智能手機(jī)101的各種功能。例如，通過相機(jī)部獲取的圖像可以顯示于顯示面板121，也可以作為操作面板122的操作輸入方法之一而利用通過相機(jī)部141拍攝獲取的圖像。并且，在gps接收部170檢測(cè)位置時(shí)，可以參考來自相機(jī)部141的圖像而檢測(cè)位置。并且，還能夠參考來自相機(jī)部141的圖像，且不使用3軸加速傳感器或者并用3軸加速傳感器來判斷智能手機(jī)101的相機(jī)部141的光軸方向和當(dāng)前的使用環(huán)境。當(dāng)然，還能夠在應(yīng)用軟件內(nèi)利用來自相機(jī)部141的圖像。

此外，還能夠?qū)⑼ㄟ^gps接收部170獲取的位置信息、通過麥克風(fēng)132獲取的聲音信息(可以通過主控制部等進(jìn)行聲音文本變換而獲取文本信息)及通過動(dòng)作傳感器部180獲取的姿勢(shì)信息等附加于靜態(tài)圖像數(shù)據(jù)和動(dòng)態(tài)圖像數(shù)據(jù)而得到的數(shù)據(jù)記錄于存儲(chǔ)部150，或者通過輸入輸出部160或無線通信部110進(jìn)行輸出。

另外，上述圖像獲取部32、干擾去除處理部34、數(shù)字信號(hào)處理部36等(參考圖16)例如能夠通過主控制部100實(shí)現(xiàn)。

符號(hào)說明

10-數(shù)碼相機(jī)，11-復(fù)雜鏡頭，14-自動(dòng)跟蹤攝像裝置，21-第1光學(xué)系統(tǒng)，22-第2光學(xué)系統(tǒng)，24、124-圖像傳感器，25-受光元件，25a、125a-第1受光元件，25b、125b-第2受光元件，26a-第1光電二極管，26b-第2光電二極管，27、127-配線層，29a、129a-第1微透鏡，29b、129b-第2微透鏡，30-攝像裝置，32-圖像獲取部，34-干擾去除處理部，36-數(shù)字信號(hào)處理部，38-記錄部，40-顯示部，100-主控制部，101-智能手機(jī)，141-相機(jī)部。