本發(fā)明涉及一種攝像裝置、攝像方法及圖像處理程序，尤其涉及一種能夠同時獲取特性不同的多個圖像的攝像裝置、攝像方法及圖像處理程序。

背景技術(shù)：

以往，提出有一種攝像裝置，其具備：復(fù)雜鏡頭，包括具有第1特性的第1區(qū)域和具有與第1特性不同的第2特性的第2區(qū)域；及定向傳感器，對透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束進行光瞳分割并接收該光束，并能夠同時獲取具有第1特性的第1圖像和具有第2特性的第2圖像(專利文獻1、2)。

在此，定向傳感器構(gòu)成為使光檢測靈敏度中具有角特性，專利文獻1、2中公開了下述定向傳感器。

(1)一種定向傳感器，通過對多個受光單元分配一個微透鏡使光檢測靈敏度中按每一個受光單元具有角特性。

(2)一種定向傳感器，在受光單元附近配置遮光罩，并通過對透過復(fù)雜鏡頭的第1區(qū)域的光束或透過第2區(qū)域的光束進行遮光而使光檢測靈敏度中具有角特性。

(3)一種定向傳感器，按每一個受光單元設(shè)置作為棱鏡而發(fā)揮功能的棱鏡要件，并通過棱鏡要件使光檢測靈敏度中具有角特性。

專利文獻1、2中所記載的攝像裝置中，組合根據(jù)光瞳區(qū)域的部位而特性不同的復(fù)雜鏡頭與在光檢測靈敏度中具有角特性的定向傳感器，由此能夠利用單一定向傳感器和復(fù)雜鏡頭同時拍攝特性不同的各種圖像。

并且，提出有一種攝像裝置，其能夠使用僅在一部分受光單元中設(shè)置有遮光罩的定向傳感器，同時拍攝特性不同的各種圖像(專利文獻3)。

專利文獻3中所記載的攝像裝置具備：復(fù)雜鏡頭，復(fù)雜鏡頭的第1區(qū)域所占的比例a與第2區(qū)域所占的比例b(a＜b)不同；及定向傳感器，該定向傳感器包括以僅透過復(fù)雜鏡頭的第1區(qū)域的光束所入射的方式設(shè)置有遮光罩的第1受光單元和透過復(fù)雜鏡頭的第1區(qū)域及第2區(qū)域的光束所入射的第2受光單元。而且，從定向傳感器的第1受光單元獲取具有第1區(qū)域特性的第1圖像，并從第2受光單元獲取具有第1特性、第2特性的第2圖像。在此，第2圖像中混在復(fù)雜鏡頭的第1特性和第2特性，但由于第2區(qū)域所占的比例b比第1區(qū)域所占的比例a大，因此主要具有第2特性。

并且，專利文獻1、2中所記載的定向傳感器構(gòu)成為在光檢測靈敏度中具有角特性，但很難以高精度對透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束進行光瞳分割，并分別使透過第1區(qū)域的光束僅入射于第1受光單元，使透過第2區(qū)域的光束僅入射于第2受光單元，第1圖像中包含表示復(fù)雜鏡頭的第2區(qū)域特性的干擾成分，第2圖像中包含表示第1區(qū)域特性的干擾成分。并且，專利文獻3中所記載的定向傳感器的第2受光單元在光檢測靈敏度中原本就不具有角特性，因此從第2受光單元獲取的第2圖像中包含表示復(fù)雜鏡頭的第1特性的干擾成分。

另外，專利文獻4中公開了一種分別從第1圖像及第2圖像通過圖像處理去除/降低干擾成分的方法。并且，專利文獻5中記載有一種排列成方格狀(棋盤狀)的第1受光單元和第2受光單元(受光部)的受光面積不同的彩色固態(tài)攝像裝置。

以往技術(shù)文獻

專利文獻

專利文獻1：日本特開2012-253670號公報

專利文獻2：國際公開第2012/043212號

專利文獻3：國際公開第2013/027507號

專利文獻4：國際公開第2013/146506號

專利文獻5：日本特開2005-286104號公報

技術(shù)實現(xiàn)要素：

發(fā)明要解決的技術(shù)課題

然而，對多個受光單元設(shè)置一個微透鏡的定向傳感器的結(jié)構(gòu)本身與通常的圖像傳感器大為不同，并且，必須以高精度設(shè)置較大的微透鏡，因此存在很難制造和調(diào)整的問題。

配設(shè)遮光罩或棱鏡要件的定向傳感器中，需要追加在通常的圖像傳感器中不需要的遮光罩或棱鏡要件來作為各個受光單元的結(jié)構(gòu)體，其中存在成本上升和妨礙受光單元尺寸(像素間距或厚度)的微細化的問題。

并且，專利文獻3中所記載的攝像裝置的情況下，雖在定向傳感器的一部分受光單元中未設(shè)有遮光罩，但仍然需要在定向傳感器的其他受光單元中嵌入結(jié)構(gòu)體(遮光罩)，成本上升和妨礙受光單元尺寸(像素間距或厚度)的微細化的課題未得到解決。

另一方面，專利文獻5中所記載的彩色固態(tài)攝像裝置中，排列成方格狀的第1受光單元和第2受光單元的受光面積不同，但這是為了同時拍攝高靈敏度的圖像和低靈敏度的圖像，并生成高動態(tài)范圍的圖像。即，專利文獻5中沒有對同時拍攝具有復(fù)雜鏡頭的第1區(qū)域特性及第2區(qū)域特性的第1圖像及第2圖像的構(gòu)想。

本發(fā)明是鑒于上述內(nèi)容而完成的，其目的在于提供一種能夠使用結(jié)構(gòu)與通常的圖像傳感器相同的圖像傳感器同時拍攝與具有多個特性的復(fù)雜鏡頭的各特性對應(yīng)的圖像，由此能夠?qū)崿F(xiàn)圖像傳感器的傳感器像素的微細化和制造工時/成本的抑制的攝像裝置、攝像方法及圖像處理程序。

用于解決技術(shù)課題的手段

為了實現(xiàn)上述目的，本發(fā)明的一方式所涉及的攝像裝置具備：復(fù)雜鏡頭，包括具有第1特性的第1區(qū)域和具有與第1特性不同的第2特性的第2區(qū)域；圖像傳感器，二維排列有第1受光元件和受光部的開口尺寸與第1受光元件的開口尺寸不同的第2受光元件，并具有使透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束干擾入射的第1受光元件、及使透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束干擾入射且干擾比率與第1受光元件的干擾比率不同的第2受光元件；及干擾去除處理部，分別從由圖像傳感器的第1受光元件得到的第1干擾圖像及由第2受光元件得到的第2干擾圖像去除干擾成分，并生成分別具有復(fù)雜鏡頭的第1特性及第2特性的第1圖像及第2圖像。

根據(jù)本發(fā)明的一方式，容許透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束干擾入射于圖像傳感器的第1受光元件和第2受光元件，另一方面，使圖像傳感器的第1受光元件和第2受光元件的受光部的開口尺寸不同，從而使第1受光元件和第2受光元件的干擾比率不同。而且，分別從由圖像傳感器的第1受光元件得到的第1干擾圖像及由第2受光元件得到的第2干擾圖像去除干擾成分，并生成分別具有復(fù)雜鏡頭的第1特性及第2特性的第1圖像及第2圖像。本發(fā)明所涉及的圖像傳感器中，第1受光元件及第2受光元件的受光部的開口尺寸不同，但與通常的圖像傳感器相比無追加結(jié)構(gòu)，從而能實現(xiàn)制傳感器像素的微細化和制造工時/成本的抑制。另外，這里所說的“特性”這一術(shù)語為包含“光學(xué)特性”的意思的概念。

本發(fā)明的另一方式所涉及的攝像裝置中，干擾去除處理部優(yōu)選根據(jù)由第1干擾圖像及第2干擾圖像各自的檢測增益分布及干擾增益分布構(gòu)成的矩陣的逆矩陣和第1干擾圖像及第2干擾圖像計算第1圖像及第2圖像。另外，檢測增益分布及干擾增益分布為與每個透過具有復(fù)雜鏡頭的第1特性的第1區(qū)域的攝像光及透過具有第2特性的第2區(qū)域光學(xué)系統(tǒng)的攝像光有關(guān)的分布信息。檢測增益分布表示最初設(shè)想的通過受光元件正確地受光的攝像光的分布(信息數(shù)據(jù))。例如，通過“通過與第1區(qū)域?qū)?yīng)的第1受光元件受光的攝像光中的透過第1區(qū)域的攝像光的分布(信息數(shù)據(jù))”及“通過與第2區(qū)域?qū)?yīng)的第2受光元件受光的攝像光中的透過第2區(qū)域的攝像光的分布(信息數(shù)據(jù))”表示檢測增益分布。另一方面，干擾增益分布表示在第1受光元件及第2受光元件中，最初未設(shè)想的非正確地受光的攝像光的分布(信息數(shù)據(jù))。例如，通過“通過與第1區(qū)域?qū)?yīng)的第1受光元件受光的攝像光中的透過第2區(qū)域的攝像光的分布(信息數(shù)據(jù))”及“通過與第2區(qū)域?qū)?yīng)的第2受光元件受光的攝像光中的透過第1區(qū)域的攝像光的分布(信息數(shù)據(jù))”表示干擾增益分布。

本發(fā)明的又一方式所涉及的攝像裝置中，圖像傳感器中對每一個第1受光元件及每一個第2受光元件分別設(shè)置有一個微透鏡。并且，對每一個第1受光元件及每一個第2受光元件設(shè)置的微透鏡的曲率半徑分別相同，且距第1受光元件的受光面及第2受光元件的受光面的距離恒定。即，本發(fā)明所涉及的圖像傳感器中設(shè)置有與通常的圖像傳感器相同的微透鏡。

本發(fā)明又一方式所涉及的攝像裝置中，圖像傳感器優(yōu)選為背面照射型圖像傳感器。背面照射型圖像傳感器不僅有利于像素尺寸的微細化，由于光利用效率較高，因此還有利于高靈敏度化。另外，背面照射型圖像傳感器中，在受光部的入射面?zhèn)葻o電路層，因此無法應(yīng)用將電路層的一部分利用于遮光罩的以往技術(shù)中，但本發(fā)明所涉及的圖像傳感器不使用遮光罩，因此能夠應(yīng)用于背面照射型圖像傳感器。

本發(fā)明的又一實施方式所涉及的攝像裝置中，復(fù)雜鏡頭優(yōu)選包括與具有第1特性的第1區(qū)域?qū)?yīng)的第1光學(xué)透鏡和與具有第2特性的第2區(qū)域?qū)?yīng)的第2光學(xué)系統(tǒng)。

本發(fā)明的又一方式所涉及的攝像裝置中，優(yōu)選第1光學(xué)系統(tǒng)與第2光學(xué)系統(tǒng)的光軸共用，更優(yōu)選第1光學(xué)系統(tǒng)為圓形中央光學(xué)系統(tǒng)，第2光學(xué)系統(tǒng)為相對于中央光學(xué)系統(tǒng)配設(shè)成同心圓狀的環(huán)狀光學(xué)系統(tǒng)。分別將第1光學(xué)系統(tǒng)及第2光學(xué)系統(tǒng)設(shè)為旋轉(zhuǎn)對稱的光學(xué)系統(tǒng)，由此在第1圖像與第2圖像之間并不產(chǎn)生視差，且與非旋轉(zhuǎn)對稱的光學(xué)系統(tǒng)相比，能夠獲取畫質(zhì)優(yōu)異的第1圖像及第2圖像。

本發(fā)明的又一方式所涉及的攝像裝置中，優(yōu)選第1光學(xué)系統(tǒng)和第2光學(xué)系統(tǒng)分別在焦距、對焦距離及調(diào)制傳遞函數(shù)特性中的至少一個方面不同。

又一方式所涉及的發(fā)明中，一種攝像裝置的攝像方法，該攝像裝置具備：復(fù)雜鏡頭，包括具有第1特性的第1區(qū)域和具有與第1特性不同的第2特性的第2區(qū)域；及圖像傳感器，二維排列有第1受光元件和受光部的開口尺寸與第1受光元件的開口尺寸不同的第2受光元件，并具有使透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束干擾入射的第1受光元件、及使透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束干擾入射且干擾比率與第1受光元件的干擾比率不同的第2受光元件，其中，該攝像方法包括如下步驟：獲取通過攝像裝置同時拍攝的第1干擾圖像及第2干擾圖像，第1干擾圖像通過圖像傳感器的第1受光元件已被光電轉(zhuǎn)換，第2干擾圖像通過第2受光元件已被光電轉(zhuǎn)換；及分別從所獲取的第1干擾圖像及第2干擾圖像去除干擾成分，并生成分別具有復(fù)雜鏡頭的第1特性及第2特性的第1圖像及第2圖像。

本發(fā)明的又一方式所涉及的攝像方法中，生成第1圖像及第2圖像的步驟中，優(yōu)選根據(jù)由第1干擾圖像及第2干擾圖像各自的檢測增益分布及干擾增益分布構(gòu)成的矩陣的逆矩陣、第1干擾圖像及第2干擾圖像計算第1圖像及第2圖像。

又一方式所涉及的發(fā)明中，一種攝像裝置的圖像處理程序，該攝像裝置具備：復(fù)雜鏡頭，包括具有第1特性的第1區(qū)域和具有與第1特性不同的第2特性的第2區(qū)域；及圖像傳感器，二維排列有第1受光元件和受光部的開口尺寸與第1受光元件的開口尺寸不同的第2受光元件，并具有使透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束干擾入射的第1受光元件、及使透過復(fù)雜鏡頭的第1區(qū)域的光束和透過第2區(qū)域的光束干擾入射且干擾比率與第1受光元件的干擾比率不同的第2受光元件，其中，使計算機實現(xiàn)如下步驟：獲取通過攝像裝置同時拍攝的第1干擾圖像及第2干擾圖像，第1干擾圖像通過圖像傳感器的第1受光元件已被光電轉(zhuǎn)換，第2干擾圖像通過第2受光元件已被光電轉(zhuǎn)換；及分別從所獲取的第1干擾圖像及第2干擾圖像去除干擾成分，并生成分別具有復(fù)雜鏡頭的第1特性及第2特性的第1圖像及第2圖像。

本發(fā)明又一方式所涉及的圖像處理程序中，生成第1圖像及第2圖像的步驟中，優(yōu)選根據(jù)由第1干擾圖像及第2干擾圖像各自的檢測增益分布及干擾增益分布構(gòu)成的矩陣的逆矩陣和第1干擾圖像及第2干擾圖像計算第1圖像及第2圖像。

發(fā)明效果

根據(jù)本發(fā)明，能夠使用單一圖像傳感器同時拍攝與具有多個特性的復(fù)雜鏡頭的各特性對應(yīng)的圖像，尤其由于能夠?qū)⒈景l(fā)明所涉及的圖像傳感器設(shè)為結(jié)構(gòu)與通常的圖像傳感器相同(由于無需追加結(jié)構(gòu))，因此能夠?qū)崿F(xiàn)傳感器像素的微細化和制造工時/成本的抑制。

附圖說明

圖1為表示能夠應(yīng)用本發(fā)明的數(shù)碼相機(攝像裝置)的一例的立體圖。

圖2為表示能夠應(yīng)用本發(fā)明的自動跟蹤攝像裝置(攝像裝置)的一例的立體圖。

圖3表示第1實施方式所涉及的復(fù)雜鏡頭的截面結(jié)構(gòu)。

圖4為放大本實施方式的圖像傳感器的主要部分的剖視圖。

圖5為表示圖3所示的圖像傳感器的截面結(jié)構(gòu)例的圖。

圖6為表示入射于圖3所示的復(fù)雜鏡頭(尤其第1光學(xué)系統(tǒng))及圖像傳感器的廣角圖像的光束的光路的圖。

圖7為表示入射于圖3所示的復(fù)雜鏡頭(尤其第2光學(xué)系統(tǒng))及圖像傳感器的長焦圖像的光束的光路的圖。

圖8為在圖4所示的圖像傳感器追記廣角圖像的光路和長焦圖像的光路的圖。

圖9為表示標(biāo)準(zhǔn)廣角圖像、標(biāo)準(zhǔn)長焦圖像、第1干擾圖像、第2干擾圖像及由檢測增益分布及干擾增益分布構(gòu)成的矩陣的關(guān)系的圖。

圖10為表示根據(jù)從圖像傳感器獲取的第1干擾圖像及第2干擾圖像計算干擾去除圖像(標(biāo)準(zhǔn)廣角圖像、標(biāo)準(zhǔn)長焦圖像)的方法的示意圖。

圖11為表示使用本實施方式的圖像傳感器獲取第1干擾圖像及第2干擾圖像，并通過干擾去除方法獲取干擾去除圖像(標(biāo)準(zhǔn)廣角圖像、標(biāo)準(zhǔn)長焦圖像)的模擬結(jié)果的圖。

圖12為表示計算去除了干擾的第1圖像(標(biāo)準(zhǔn)廣角圖像)及第2圖像(標(biāo)準(zhǔn)長焦圖像)的式(1)的圖。

圖13為表示構(gòu)成圖12所示的式(1)中的“w1”的元素w1_11～w1_mn的圖。

圖14為表示計算元素“w1_ij”的式(2)的圖，該元素“w1_ij”與構(gòu)成根據(jù)圖12所示的式(1)導(dǎo)出的第1圖像(標(biāo)準(zhǔn)廣角圖像)的像素成分(像素值)對應(yīng)。

圖15為表示計算元素“t1_ij”的式(3)的圖，該元素“t1_ij”與構(gòu)成根據(jù)圖12所示的式(1)導(dǎo)出的第2圖像(標(biāo)準(zhǔn)長焦圖像)的像素成分(像素值)對應(yīng)。

圖16為表示圖1及圖2所示的攝像裝置的主要部分的內(nèi)部結(jié)構(gòu)的框圖。

圖17為用于說明使用了第2實施方式所涉及的復(fù)雜鏡頭的拍攝機理的圖。

圖18為表示第3實施方式所涉及的復(fù)雜鏡頭的第1光學(xué)系統(tǒng)和第2光學(xué)系統(tǒng)的調(diào)制傳遞函數(shù)特性(mtf：modulationtransferfunction)的曲線圖。

圖19為放大另一實施方式的圖像傳感器的主要部分的剖視圖。

圖20為表示本發(fā)明的攝像裝置的一實施方式的智能手機的外觀的圖。

圖21為表示圖20所示的智能手機的結(jié)構(gòu)的框圖。

具體實施方式

以下，參考附圖對本發(fā)明的實施方式進行說明。

本發(fā)明能夠廣泛應(yīng)用于能夠使用具有多種光學(xué)特性的復(fù)雜鏡頭拍攝多種圖像的攝像裝置、攝像方法及該些應(yīng)用技術(shù)中，能夠應(yīng)用本發(fā)明的技術(shù)領(lǐng)域并無特別限定。例如，本發(fā)明不僅能夠應(yīng)用于根據(jù)用戶操作進行拍攝的攝像裝置，還能夠應(yīng)用于自動進行拍攝的攝像裝置，并且，本發(fā)明不僅能夠應(yīng)用于拍攝靜止圖像的攝像裝置，還能夠應(yīng)用于拍攝動態(tài)圖像的攝像裝置。

圖1為表示能夠應(yīng)用本發(fā)明的數(shù)碼相機10(攝像裝置30)的一例的立體圖。圖1所示的例中，在數(shù)碼相機10的相機主體的前面設(shè)置有復(fù)雜鏡頭11及閃光燈13等，且在相機主體的上面設(shè)置有釋放按鈕12等。圖1的符號“l(fā)”表示復(fù)雜鏡頭11的光軸。

圖2為表示能夠應(yīng)用本發(fā)明的自動跟蹤攝像裝置14(攝像裝置30)的一例的立體圖。圖2所示的自動跟蹤攝像裝置14中，包含齒輪19的保持部18和安裝在保持部18的復(fù)雜鏡頭11固定安裝在設(shè)置于裝置主體15上的底座16上。底座16被設(shè)置成圍繞裝置主體15的垂直方向z的軸旋轉(zhuǎn)自如，并通過未圖示的平搖驅(qū)動部進行圍繞垂直方向z的軸的平搖動作。齒輪19設(shè)置在與水平方向x的軸相同的軸上，從未圖示的俯仰驅(qū)動部經(jīng)由齒輪19傳遞驅(qū)動力，由此使復(fù)雜鏡頭11向上下方向轉(zhuǎn)動并進行俯仰動作。這些復(fù)雜鏡頭11、保持部18(齒輪19)及底座16被防塵及防水用球形罩17覆蓋。

以下進行說明的本發(fā)明的各實施方式及各變形例例如可以應(yīng)用于如圖1所示的數(shù)碼相機10，也可以應(yīng)用于如圖2所示的自動跟蹤攝像裝置14。

＜第1實施方式＞

圖3為表示第1實施方式所涉及的復(fù)雜鏡頭11及圖像傳感器24的截面結(jié)構(gòu)的圖。

復(fù)雜鏡頭11包括具有第1特性的第1區(qū)域和具有與第1特性不同的第2特性的第2區(qū)域，本實施方式中，其由對應(yīng)于第1區(qū)域的第1光學(xué)系統(tǒng)21和對應(yīng)于第2區(qū)域的第2光學(xué)系統(tǒng)22構(gòu)成。并且，第1光學(xué)系統(tǒng)21和第2光學(xué)系統(tǒng)22的焦距(光學(xué)特性)不同，且光軸l共用，第1光學(xué)系統(tǒng)21為廣角透鏡，第2光學(xué)系統(tǒng)22為長焦透鏡。另外，如上述，第1實施方式所涉及的復(fù)雜鏡頭11中的不同的光學(xué)特性(第1特性和與第1特性不同的第2特性)為與焦距不同(長焦/廣角)有關(guān)的光學(xué)特性，但本發(fā)明的結(jié)構(gòu)并不限定于此，作為不同的光學(xué)特性的例，例如，包括對焦距離(對焦位置)不同的情況、透射波長區(qū)域不同(可見光和紅外光等。此外，通過多層膜涂布使透射波長區(qū)域不同，或者通過以色素著色而使透射波長區(qū)域不同等)的情況等不同的光學(xué)特性。

圖3所示的第1光學(xué)系統(tǒng)(廣角透鏡)21包括配置于相同的光軸l上的第1廣角用透鏡21a、第2廣角用透鏡21b、第3廣角用透鏡21c、第4廣角用透鏡21d及共用透鏡23。另一方面，第2光學(xué)系統(tǒng)(長焦透鏡)22包括第1長焦用透鏡22a、設(shè)有第1長焦用反射鏡22c的第1長焦用反射體22b、設(shè)有第2長焦用反射鏡22e的第2長焦用反射體22d及共用透鏡23。第1光學(xué)系統(tǒng)21(尤其第1廣角用透鏡21a、第2廣角用透鏡21b、第3廣角用透鏡21c及第4廣角用透鏡21d)形成圓形中央光學(xué)系統(tǒng)。另一方面，第2光學(xué)系統(tǒng)22(尤其第1長焦用透鏡22a、第1長焦用反射體22b、第1長焦用反射鏡22c、第2長焦用反射體22d及第2長焦用反射鏡22e)設(shè)置于第1光學(xué)系統(tǒng)21所形成的中央光學(xué)系統(tǒng)的周邊部，并形成相對于第1光學(xué)系統(tǒng)21所形成的中央光學(xué)系統(tǒng)配設(shè)成同心圓狀的環(huán)狀光學(xué)系統(tǒng)。另外，共用透鏡23配置于光軸l上，且在第1光學(xué)系統(tǒng)21與第2光學(xué)系統(tǒng)22之間共用。

如此，第2光學(xué)系統(tǒng)22包括設(shè)置于構(gòu)成第1光學(xué)系統(tǒng)21的透鏡組(第1廣角用透鏡21a～第4廣角用透鏡21d及共用透鏡23)的周邊的透鏡組(第1長焦用透鏡22a及共用透鏡23)及反射鏡組(第1長焦用反射鏡22c(第1長焦用反射體22b)及第2長焦用反射鏡22e(第2長焦用反射體22d))，并具有與第1光學(xué)系統(tǒng)21相同的光軸l，具有與第1光學(xué)系統(tǒng)21不同的焦距。

圖像傳感器24以多個受光元件(還稱為“受光單元”或“受光傳感器”)25對于與光軸l呈垂直的方向二維配置的方式構(gòu)成，尤其本實施方式的圖像傳感器24以如下方式構(gòu)成，即作為多個受光元件25，如圖4所示，成為光電轉(zhuǎn)換部的光電二極管(受光部)26a、光電二極管(受光部)26b的開口尺寸不同的第1受光元件25a和第2受光元件25b排列成方格狀(棋盤狀)而構(gòu)成。

圖4為放大圖像傳感器24的主要部分的剖視圖，并示出第1受光元件25a和第2受光元件25b。

圖4所示的圖像傳感器24為在光電二極管26a、光電二極管26b的受光面(表面)側(cè)設(shè)置有配線層27的表面照射型圖像傳感器，該配線層27中形成有用于讀取與蓄積在光電二極管26a、光電二極管26b的電荷對應(yīng)的圖像信號的配線等。并且，在配線層27的入射面?zhèn)仍O(shè)置有平滑化層28，且在平滑化層28的入射面?zhèn)刃纬捎形⑼哥R(片上微透鏡)29。

對每一個第1受光元件25a及每一個第2受光元件25b分別設(shè)置有一個微透鏡29，使入射于微透鏡29的廣角圖像的光及長焦圖像的光在光電二極管26a、光電二極管26b的受光面成像(參考圖8)。

另外，入射于微透鏡29的入射光線根據(jù)距圖像傳感器24的中心的距離(像高)而其入射角發(fā)生變化，因此各微透鏡29優(yōu)選根據(jù)圖像傳感器24上的位置(像高)相對于受光元件25偏移稍許而配置(縮放)。并且，圖像傳感器24也可以構(gòu)成為替代平滑化層28形成例如紅、綠、藍各種顏色的濾色器作為彩色圖像傳感器，或者在平滑化層28與微透鏡29之間形成例如紅、綠、藍各種顏色的濾色器作為彩色圖像傳感器。

圖5為表示圖3所示的圖像傳感器24的截面結(jié)構(gòu)例的圖。

如圖4所示，構(gòu)成本例的圖像傳感器24的多個受光元件25包括具有光電二極管26a的第1受光元件25a和具有開口尺寸與光電二極管26a不同的光電二極管26b的第2受光元件25b，這些第1受光元件25a及第2受光元件25b被交替配置成二維狀。

從該圖像傳感器24區(qū)分讀取第1受光元件25a組的像素信號和第2受光元件25b組的像素信號，第1受光元件25a組的像素信號及第2受光元件25b組的像素信號如后述作為第1干擾圖像的傳感器輸出及第2干擾圖像的傳感器輸出而獲取。

圖6為表示入射于圖3所示的復(fù)雜鏡頭11(尤其第1光學(xué)系統(tǒng)21)及圖像傳感器24的廣角圖像w的光束的光路的圖。本實施方式中，廣角圖像w依次透過第1光學(xué)系統(tǒng)21的第1廣角用透鏡21a、第2廣角用透鏡21b、第3廣角用透鏡21c、第4廣角用透鏡21d及共用透鏡23，并在圖像傳感器24上成像。

圖7為表示入射于圖3所示的復(fù)雜鏡頭11(尤其第2光學(xué)系統(tǒng)22)及圖像傳感器24的長焦圖像t的光束的光路的圖。本實施方式中，長焦圖像t透過(透射)第1長焦用透鏡22a，通過第1長焦用反射鏡22c及第2長焦用反射鏡22e的每一個反射之后透過共用透鏡23，并在圖像傳感器24上成像。如此，通過第1長焦用反射鏡22c及第2長焦用反射鏡22e的每一個反射而光路被折回，由此能夠縮短焦距較長的長焦圖像拍攝用第2光學(xué)系統(tǒng)22在光軸l的方向上的長度。

如圖6及圖7所示，廣角圖像w的光束和長焦圖像t的光束的入射于圖像傳感器24的角度不同。

圖8為在圖4所示的圖像傳感器24追記廣角圖像w的光路pw和長焦圖像t的光路pt的圖。

關(guān)于第1受光元件25a和第2受光元件25b，由于光電二極管26a、光電二極管26b的開口尺寸不同，因此受光靈敏度特性電不同。

圖8所示的第1受光元件25a中，與廣角圖像w的光束相比，長焦圖像t的光束的入射量極其少，但在第2受光元件25b中除了廣角圖像w的光束還入射一定程度的長焦圖像t的光束。

從而，第1受光元件25a中，與對于廣角圖像w的受光靈敏度相比，對于長焦圖像t的受光靈敏度極其低，另一方面，第2受光元件25b不僅具有廣角圖像w的受光靈敏度，還具有一定程度的對于長焦圖像t的受光靈敏度。即，圖像傳感器24的第1受光元件25a及第2受光元件25b中，廣角圖像w的光束和長焦圖像t的光束分別干擾入射，但第1受光元件25a與第2受光元件25b的干擾比率不同，在第1受光元件25a中，長焦圖像t相對于廣角圖像w的干擾比率極其小，在第2受光元件25b中，長焦圖像t相對于廣角圖像w的干擾比率明遠遠于第1受光元件25a。

如圖5所示，能夠從圖像傳感器24中所包含的多個第1受光元件25a和多個第2受光元件25b獲取表示如上述那樣廣角圖像w和長焦圖像t的干擾比率分別不同的第1干擾圖像和第2干擾圖像的傳感器輸出。

在此，將從圖像傳感器24中所包含的多個第1受光元件25a得到的第1干擾圖像作為傳感器輸出w2，并將從圖像傳感器24中所包含的多個第2受光元件25b得到的第2干擾圖像作為傳感器輸出t2時，進行從這些傳感器輸出w2、傳感器輸出t2(第1干擾圖像、第2干擾圖像)去除干擾成分的干擾去除處理，由此能夠得到無干擾的所希望的第1圖像(廣角圖像w1)及第2圖像(長焦圖像t1)。

[干擾去除方法]

接著，對能夠應(yīng)用于本發(fā)明的干擾去除方法進行說明。

圖9為表示標(biāo)準(zhǔn)廣角圖像w1(w1ij)、標(biāo)準(zhǔn)長焦圖像t1(t1ij)、傳感器輸出w2(w2ij)、傳感器輸出t2(t2ij)及由檢測增益分布及干擾增益分布構(gòu)成的矩陣m的關(guān)系的圖。另外，下標(biāo)i、j表示二維圖像上的像素位置。

如圖9所示，從圖像傳感器24(第1受光元件25a及第2受光元件25b)輸出的傳感器輸出w2及傳感器輸出t2以“由廣角標(biāo)準(zhǔn)信號的檢測增益分布a(aij)、長焦標(biāo)準(zhǔn)信號的檢測增益分布d(dij)、長焦圖像相對于廣角圖像的干擾增益分布b(bij)及廣角圖像相對于長焦圖像的干擾增益分布c(cij)構(gòu)成的矩陣m”與“僅由透過第1光學(xué)系統(tǒng)21及第2光學(xué)系統(tǒng)22的每一個的廣角圖像w及僅由長焦圖像t生成的標(biāo)準(zhǔn)廣角圖像w1及標(biāo)準(zhǔn)長焦圖像t1”的積表示。

如圖9所示，由檢測增益分布a、檢測增益分布d及干擾增益分布b、干擾增益分布c構(gòu)成的矩陣m為2×2矩陣。

作為圖像傳感器，檢測增益分布a、檢測增益分布d分別為1，且干擾增益分布b、干擾增益分布c分別為0的情況較為理想，若為理想的圖像傳感器，則傳感器輸出w2與標(biāo)準(zhǔn)廣角圖像w1一致，傳感器輸出t2與標(biāo)準(zhǔn)長焦圖像t1一致。

然而，即使為本實施方式的圖像傳感器24(不具有理想特性的圖像傳感器)，若存在矩陣m的逆矩陣m^-1，則能夠從由圖像傳感器24獲取的傳感器輸出w2(第1干擾圖像)及傳感器輸出t2(第2干擾圖像)去除干擾成分而得到標(biāo)準(zhǔn)廣角圖像w1(第1圖像)、標(biāo)準(zhǔn)長焦圖像t1(第2圖像)。

假設(shè)，如c＝0.5、d＝0.5，即使在傳感器輸出t2中所包含的廣角圖像和長焦圖像的成分均等的情況(即，第2受光元件25b中無廣角圖像與長焦圖像的分離能力的情況)下，只要a≠b，則滿足ad-bc≠0(存在矩陣m的逆矩陣m^-1的條件)，并能夠從傳感器輸出w2及傳感器輸出t2去除干擾成分。

圖10為表示根據(jù)從圖像傳感器24獲取的傳感器輸出w2及傳感器輸出t2計算干擾去除圖像(標(biāo)準(zhǔn)廣角圖像w1、標(biāo)準(zhǔn)長焦圖像t1)的方法的示意圖。

標(biāo)準(zhǔn)廣角圖像w1、標(biāo)準(zhǔn)長焦圖像t1能夠根據(jù)傳感器輸出w2、傳感器輸出t2及圖9所示的矩陣m的逆矩陣m^-1，并通過圖12所示的式(1)計算。

另外，式(1)中，構(gòu)成逆矩陣m^-1的a、b、c、d如前述為廣角標(biāo)準(zhǔn)信號的檢測增益分布a、長焦圖像相對于廣角圖像的干擾增益分布b、廣角圖像相對于長焦圖像的干擾增益分布c及長焦標(biāo)準(zhǔn)信號的檢測增益分布d，圖10所示的例中，示出了a＝0.7、b＝0.3、c＝0.5、d＝0.5的情況。

圖11為表示使用本實施方式的圖像傳感器24獲取傳感器輸出w2(第1干擾圖像)及傳感器輸出t2(第2干擾圖像)，并通過上述干擾去除方法獲取干擾去除圖像(標(biāo)準(zhǔn)廣角圖像w1、標(biāo)準(zhǔn)長焦圖像t1)的模擬結(jié)果的圖。

本實施方式的圖像傳感器24的各部的尺寸等如下。

微透鏡29的曲率半徑：3.7μm

微透鏡29的折射率：1.55

微透鏡29的頂點與光電二極管26a、光電二極管26b的入射面的距離：9.1μm

第1受光元件25a與第2受光元件25b的間隔(像素間距)：7μm

第1受光元件25a的光電二極管26a的開口尺寸/像素間距：18％

第2受光元件25b的光電二極管26b的開口尺寸/像素間距：46％

圖11(a1)及圖11(a2)表示通過微透鏡29成像的復(fù)雜鏡頭11的光瞳像與第1受光元件25a的光電二極管26a及第2受光元件25b的光電二極管26b的開口oa、ob的關(guān)系。

從第1受光元件25a得到的傳感器輸出w2的廣角標(biāo)準(zhǔn)信號的檢測增益分布a為a＝0.2294，長焦圖像相對于廣角圖像的干擾增益分布b為b＝0.0079。并且，從第2受光元件25b得到的傳感器輸出t2的廣角圖像相對于長焦圖像的干擾增益分布c為c＝0.4729，長焦圖像標(biāo)準(zhǔn)信號的檢測增益分布d為d＝0.2898。

圖11(b1)及圖11(b2)分別表示傳感器輸出w2(第1干擾圖像)及傳感器輸出t2(第2干擾圖像)。如圖11(b1)及圖11(b2)所示，由于第1受光元件25a的光電二極管26a及第2受光元件25b的光電二極管26b的開口oa、ob的開口尺寸不同(開口oa＜開口ob)而第1干擾圖像比第2干擾圖像暗。并且，第1干擾圖像中，對于廣角圖像的受光靈敏度較高，且廣角圖像占優(yōu)勢。另一方面，第2干擾圖像中，針對廣角圖像的受光靈敏度也比長焦圖像的受光靈敏度高，但兩者的受光靈敏度接近。

圖11(c1)及圖11(c2)分別表示去除了干擾的標(biāo)準(zhǔn)廣角圖像w1及標(biāo)準(zhǔn)長焦圖像t1。

標(biāo)準(zhǔn)廣角圖像w1及標(biāo)準(zhǔn)長焦圖像t1能夠根據(jù)由傳感器輸出w2及傳感器輸出t2的各自的檢測增益分布及干擾增益分布構(gòu)成的矩陣的逆矩陣m^-1和傳感器輸出w2及傳感器輸出t2，并通過圖12所示的式(1)計算。

圖13表示構(gòu)成圖12所示的式(1)中的“w1”的元素w1_11～w1_mn。即“w1”由與標(biāo)準(zhǔn)廣角圖像w1的像素成分(像素值)對應(yīng)的元素w1_11～w1_mn構(gòu)成。

同樣地，圖12所示的“w2”、“t1”及“t2”也分別由與傳感器輸出w2、標(biāo)準(zhǔn)長焦圖像t1及傳感器輸出t2的像素成分(像素值)對應(yīng)的元素w2_11～w2_mn、t1_11～t1_mn及t2_11～t2_mn構(gòu)成(省略圖示)。

并且，圖11所示的模擬中，將構(gòu)成圖12所示的式(1)中的逆矩陣m^-1的增益分布a～d設(shè)為a＝0.2294、b＝0.0079、c＝0.4729、d＝0.42898，但嚴(yán)格來講，增益分布a～d按圖像傳感器24的部位而不同，因此優(yōu)選使用各部位中的矩陣/逆矩陣(存在與像素數(shù)相當(dāng)?shù)牧?求出標(biāo)準(zhǔn)圖像。即，構(gòu)成逆矩陣m^-1的增益分布a～d也優(yōu)選分別由根據(jù)廣角圖像及長焦圖像的各像素確定的元素a11～amn、b11～bmn、c11～cmn及d11～dmn構(gòu)成(省略圖示)。

圖14表示計算元素“w1_ij”的式(2)，該元素“w1_ij”與構(gòu)成根據(jù)圖12所示的式(1)導(dǎo)出的標(biāo)準(zhǔn)廣角圖像w1的像素成分(像素值)對應(yīng)。同樣地，圖15表示計算元素“t1_ij”的式(3)，該元素“t1_ij”與構(gòu)成根據(jù)圖12所示的式(1)導(dǎo)出的標(biāo)準(zhǔn)長焦圖像t1的像素成分(像素值)對應(yīng)。

＜攝像裝置的內(nèi)部結(jié)構(gòu)＞

圖16為表示圖1及圖2所示的攝像裝置30的主要部分的內(nèi)部結(jié)果的框圖。

如圖16所示，攝像裝置30除了前述復(fù)雜鏡頭11及圖像傳感器24之外，主要還具備圖像獲取部32、干擾去除處理部34及數(shù)字信號處理部36等。圖像獲取部32、干擾去除處理部34及數(shù)字信號處理部36等例如通過位于圖1所示的數(shù)碼相機和圖20所示的智能手機內(nèi)部的一個或多個微處理器而實現(xiàn)。

通過復(fù)雜鏡頭11的第1光學(xué)系統(tǒng)21及第2光學(xué)系統(tǒng)22拍攝的廣角圖像及長焦圖像在圖像傳感器24的受光面成像，并通過各光電二極管26a、光電二極管26b轉(zhuǎn)換為對應(yīng)于入射光量的電荷量的信號電壓(或電荷)。

蓄積在圖像傳感器24的信號電壓(或電荷)蓄積于各受光元件25本身或附設(shè)的電容器。所蓄積的信號電壓(或電荷)利用使用了x-y地址方式的mos(metaloxidesemiconductor)型圖像傳感器(所謂的cmos(complementarymetaloxidesemiconductor)傳感器)的方法，選擇受光元件25的位置的同時被讀取。

由此，能夠從圖像傳感器24中所包含的多個第1受光元件25a讀取表示第1干擾圖像的圖像信號(傳感器輸出w2)，從圖像傳感器24中所包含的多個第2受光元件25b讀取表示第2干擾圖像的圖像信號(傳感器輸出t2)。

關(guān)于從圖像傳感器24讀取的圖像信號(電壓信號)，通過相關(guān)雙采樣處理(以減輕傳感器輸出中所包含的噪聲(尤其熱噪聲)等為目的，通過求出每一個受光元件的輸出信號中所包含的饋通成分電平與信號成分電平之差而得到正確的像素數(shù)據(jù)的處理)，每一個受光元件的圖像信號被采樣保持，并在增幅之后施加于a/d(analog-to-digital)轉(zhuǎn)換器20。a/d轉(zhuǎn)換器20將依次輸入的圖像信號轉(zhuǎn)換為數(shù)字信號而輸出至圖像獲取部32。另外，有些mos型圖像傳感器中內(nèi)置有a/d轉(zhuǎn)換器，該情況下，從圖像傳感器24直接輸出數(shù)字信號。

圖像獲取部32選擇圖像傳感器24的受光元件的位置并讀取圖像信號，由此能夠獲取同時拍攝的表示第1干擾圖像的圖像信號和表示第2干擾圖像的圖像信號。

即，選擇圖像傳感器24的多個第1受光元件25a，并從多個第1受光元件25a選擇性地讀取圖像信號，由此能夠獲取表示第1干擾圖像的圖像信號，另一方面，選擇圖像傳感器24的多個第2受光元件25b，并從多個第2受光元件25b選擇性地讀取圖像信號，由此能夠獲取表示第2干擾圖像的圖像信號。

另外，可以從圖像傳感器24讀取所有的圖像信號并暫時存儲在緩沖存儲器，并從存儲在緩沖存儲器的圖像信號對第1干擾圖像和第2干擾圖像這兩個圖像的圖像信號進行分組。

通過圖像獲取部32獲取的表示第1干擾圖像及第2干擾圖像的圖像信號被輸出至干擾去除處理部34。

干擾去除處理部34為從圖像獲取部32輸入的表示第1干擾圖像及第2干擾圖像的圖像信號去除干擾成分，生成表示分別具有復(fù)雜鏡頭11的第1光學(xué)系統(tǒng)的第1特性(廣角)及第2光學(xué)系統(tǒng)22的第2特性(長焦)的第1圖像(廣角圖像)及第2圖像(長焦圖像)的圖像信號的部分，并根據(jù)圖12所示的式(1)生成表示無干擾的廣角圖像及長焦圖像的圖像信號。

即，干擾去除處理部34具有存儲構(gòu)成式(1)所示的逆矩陣m^-1的增益分布a～d的rom(readonlymemory)等的存儲部34a，通過對存儲在存儲部34a的逆矩陣m^-1和從圖像獲取部32輸入的表示第1干擾圖像及第2干擾圖像的圖像信號(傳感器輸出w2、傳感器輸出t2)進行乘法運算，生成表示無干擾的廣角圖像w1及長焦圖像t1的圖像信號。另外，構(gòu)成逆矩陣m^-1的增益分布a～d能夠唯一通過復(fù)雜鏡頭11及圖像傳感器24的特性確定，因此能夠預(yù)先計算出并存儲于存儲部34a。

通過干擾去除處理部34生成的表示無干擾的廣角圖像w1及長焦圖像t1的圖像信號分別被輸出至數(shù)字信號處理部36。

數(shù)字信號處理部36對所輸入的數(shù)字圖像信號進行偏移處理、伽馬校正處理等規(guī)定的信號處理。

在數(shù)字信號處理部36進行處理的表示廣角圖像及長焦圖像的圖像信號分別被輸出至記錄部38及顯示部40。記錄部38將由數(shù)字信號處理部36進行處理的表示廣角圖像及長焦圖像的靜態(tài)圖像記錄用或動態(tài)圖像記錄用圖像信號記錄于記錄介質(zhì)(硬盤、存儲卡等)。

顯示部40通過由數(shù)字信號處理部36進行處理的表示廣角圖像及長焦圖像的靜態(tài)圖像顯示用或動態(tài)圖像顯示用圖像信號，顯示廣角圖像及長焦圖像。另外，顯示部40還能夠根據(jù)記錄在記錄部38的圖像信號播放廣角圖像及長焦圖像。

＜第2實施方式＞

圖17為用于說明使用了第2實施方式所涉及的復(fù)雜鏡頭11的拍攝機理的圖。

圖17所示的復(fù)雜鏡頭11由圓形第1光學(xué)系統(tǒng)21和相對于第1光學(xué)系統(tǒng)21配設(shè)成同心圓狀的環(huán)狀第2光學(xué)系統(tǒng)22構(gòu)成，第1光學(xué)系統(tǒng)21和第2光學(xué)系統(tǒng)的光軸共用，但對焦距離不同。

圖17中，各參考符號所表示的內(nèi)容如下。

a1：第1光學(xué)系統(tǒng)21(遠對焦區(qū)域60a)的透鏡-受光面之間的距離

a2：第2光學(xué)系統(tǒng)22(近對焦區(qū)域60b)的透鏡-受光面之間的距離

b1：第1光學(xué)系統(tǒng)21(遠對焦區(qū)域60a)的透鏡-被攝體之間的距離

b2：第2光學(xué)系統(tǒng)22(近對焦區(qū)域60b)的透鏡-被攝體之間的距離

fd1：第1光學(xué)系統(tǒng)21(遠對焦區(qū)域60a)的對焦距離

fd2：第2光學(xué)系統(tǒng)22(近對焦區(qū)域60b)的對焦距離

q1a、q1b及q2：被攝體

另外，本實施方式中，“對焦距離”是指，定向傳感器24的受光元件25的受光面至處于與受光元件25對焦的關(guān)系的被攝體的距離，圖17所示的例中，“fd1＝a1+b1”及“fd2＝a2+b2”的關(guān)系成立。并且，若將第1光學(xué)系統(tǒng)21(遠對焦區(qū)域60a)的焦距設(shè)為“f1”，并將第2光學(xué)系統(tǒng)22(近對焦區(qū)域60b)的焦距設(shè)為“f2”，則“1/f1＝(1/a1)+(1/b1)”及“1/f2＝(1/a2)+(1/b2)”的關(guān)系成立。

具備這種“對焦距離不同的第1光學(xué)系統(tǒng)21及第2光學(xué)系統(tǒng)22”的攝像裝置30中，也能夠通過與第1實施方式相同的功能結(jié)構(gòu)(參考圖16)同時拍攝通過第1光學(xué)系統(tǒng)21對焦于遠距離的被攝體q1a及被攝體q1b的第1圖像和通過第2光學(xué)系統(tǒng)22對焦于近距離的被攝體q2的第2圖像。

即，通過第1光學(xué)系統(tǒng)21對焦于遠距離的被攝體q1b及被攝體q1b的第1對焦圖像的光和通過第2光學(xué)系統(tǒng)22對焦于近距離的被攝體q2的第2對焦圖像的光相干擾，并入射于圖像傳感器24的第1受光元件25a及第2受光元件25b。

由此，能夠從圖像傳感器24的第1受光元件25a獲取第1對焦圖像和第2對焦圖像相干擾的第1干擾圖像，并能夠從圖像傳感器24的第2受光元件25b獲取干擾比率與第1受光元件25a不同且第1對焦圖像和第2對焦圖像相干擾的第2干擾圖像。

干擾去除處理部34對逆矩陣m^-1(圖12所示的式(1)中的m^-1)和從圖像傳感器24獲取的第1干擾圖像及第2干擾圖像進行乘法運算，由此能夠分別生成無干擾的對焦于遠距離的被攝體q1b及被攝體q1b的第1圖像和對焦于近距離的被攝體q2的第2圖像。

另外，第2實施方式所涉及的復(fù)雜鏡頭11的特性與圖3等所示的復(fù)雜鏡頭11不同，因此構(gòu)成逆矩陣m^-1的增益分布a～d也不同是不言而喻的。

＜第3實施方式＞

圖18為表示第3實施方式所涉及的復(fù)雜鏡頭(未圖示)的第1光學(xué)系統(tǒng)和第2光學(xué)系統(tǒng)的調(diào)制傳遞函數(shù)特性(mtf：modulationtransferfunction)的曲線圖。

第3實施方式所涉及的復(fù)雜鏡頭的第1光學(xué)系統(tǒng)和第2光學(xué)系統(tǒng)的焦距及對焦距離相同，但mtf不同，第1光學(xué)系統(tǒng)具有圖18的mtf曲線a所示的第1mtf，第2光學(xué)系統(tǒng)具有圖18的mtf曲線b所示的第2mtf。另外，第3實施方式所涉及的復(fù)雜鏡頭例如能夠設(shè)為外觀形狀與圖17所示的復(fù)雜鏡頭11大致相同。

根據(jù)圖18所示的mtf曲線a，具有第1mtf的第1光學(xué)系統(tǒng)為與具有第2mtf的第2光學(xué)系統(tǒng)相比分辨率較高，但對比度較低的光學(xué)系統(tǒng)，另一方面，根據(jù)圖18所示的mtf曲線b，具有第2mtf的第2光學(xué)系統(tǒng)為與具有第1mtf的第1光學(xué)系統(tǒng)相比分辨率較低，但對比度較高的光學(xué)系統(tǒng)。

具備這種“mtf不同的第1光學(xué)系統(tǒng)及第2光學(xué)系統(tǒng)”的攝像裝置30中，也能通過與第1實施方式相同的功能結(jié)構(gòu)(參考圖16)同時拍攝與第1光學(xué)系統(tǒng)及第2光學(xué)系統(tǒng)各自的mtf對應(yīng)的第1圖像和第2圖像。

即，與第1光學(xué)系統(tǒng)的第1mtf對應(yīng)的第1圖像的光和與第2光學(xué)系統(tǒng)的第2mtf對應(yīng)的第2圖像的光相干擾，并入射于圖像傳感器24的第1受光元件25a及第2受光元件25b。

由此，能夠從圖像傳感器24的第1受光元件25a獲取第1圖像和第2圖像相干擾的第1干擾圖像，并能夠從圖像傳感器24的第2受光元件25b獲取干擾比率與第1受光元件25a不同且第1圖像和第2圖像相干擾的第2干擾圖像。

干擾去除處理部34對逆矩陣m^-1(圖12所示的式(1)中的m^-1)和從圖像傳感器24獲取的第1干擾圖像及第2干擾圖像進行乘法運算，由此能夠分別生成無干擾的具有第1mtf的第1圖像和具有第2mtf的第2圖像。

＜圖像傳感器的另一實施方式＞

圖19為表示應(yīng)用于本發(fā)明的圖像傳感器的另一實施方式的剖視圖，并為放大圖像傳感器的主要部分的剖視圖。

圖19所示的圖像傳感器124為在光電二極管126a、光電二極管126b的受光面相反的一側(cè)(背面?zhèn)?設(shè)置有配線層127的背面照射型圖像傳感器，該配線層127中形成有用于讀取與蓄積在光電二極管126a、光電二極管126b的電荷對應(yīng)的圖像信號的配線等。并且，在光電二極管126a、光電二極管126b的受光面(表面)側(cè)設(shè)置有防反射層、平滑化層、濾色器等的層128，且在層128的入射面?zhèn)刃纬捎形⑼哥R(片上微透鏡)129。

對每一個第1受光元件125a及每一個第2受光元件125b分別設(shè)置有一個微透鏡129，使入射于微透鏡29的復(fù)雜鏡頭的光瞳像在光電二極管126a、光電二極管126b的受光面成像。

該實施方式所涉及的圖像傳感器124為背面照射型圖像傳感器，因此在光電二極管126a、光電二極管126b的受光面(表面)側(cè)無配線層，其結(jié)果，與圖4所示的第1實施方式所涉及的圖像傳感器24(即，在光電二極管26a、光電二極管26b的受光面(表面)側(cè)形成有配線層27的表面照射型圖像傳感器)相比，不僅有利于像素尺寸的微細化，由于光利用效率較高，因此還有利于高靈敏度化。

＜其他變形例＞

本發(fā)明并不限定于上述實施方式，在不脫離本發(fā)明的思想的范圍內(nèi)能夠進行各種變形。

例如，可以將上述實施方式彼此適當(dāng)組合，并能夠?qū)⒈景l(fā)明應(yīng)用于組合兩個以上的第1實施方式所涉及的復(fù)雜鏡頭、第2實施方式所涉及的復(fù)雜鏡頭及第3實施方式所涉及的復(fù)雜鏡頭各自的特性的復(fù)雜鏡頭。

并且，上述實施方式中，對由兩種光學(xué)系統(tǒng)(第1光學(xué)系統(tǒng)21及第2光學(xué)系統(tǒng)22)構(gòu)成復(fù)雜鏡頭11的例進行了說明，但也可以通過3種以上的光學(xué)系統(tǒng)構(gòu)成復(fù)雜鏡頭11。

并且，本實施方式的圖像傳感器24通過第1受光元件25a和第2受光元件25b排列成方格狀(棋盤狀)而構(gòu)成，但本發(fā)明所涉及的圖像傳感器并不限定于此，包括受光部的開口尺寸不同的第1受光元件和第2受光元件相鄰而成為一組，且該一對排列成二維狀的傳感器、第1受光元件與第2受光元件的數(shù)量的比率并非為1∶1，而是第1受光元件的數(shù)量比第2受光元件的數(shù)量多的傳感器，相反第1受光元件的數(shù)量比第2受光元件的數(shù)量少的傳感器等。另外，當(dāng)?shù)?受光元件的數(shù)量和第2受光元件的數(shù)量不同時，為了能夠?qū)D12所示的式(1)進行運算，優(yōu)選對數(shù)量較少的受光元件的傳感器輸出進行插值處理而將圖像尺寸設(shè)為與數(shù)量較多的受光元件的傳感器輸出相同。

而且，本發(fā)明還能夠應(yīng)用于攝像方法中，該攝像方法包括如下步驟：從圖像傳感器的多個第1受光元件獲取第1干擾圖像，并從多個第2受光元件獲取第2干擾圖像；分別從所獲取的第1干擾圖像及第2干擾圖像去除干擾成分，并生成分別具有復(fù)雜鏡頭的第1特性及第2特性的第1圖像及第2圖像。

并且，上述各結(jié)構(gòu)及各功能能夠通過任意硬件、軟件或組合兩者來適當(dāng)實現(xiàn)。例如，本發(fā)明還能夠應(yīng)用于從具備復(fù)雜鏡頭11及圖像傳感器24(圖3)的攝像裝置直接或經(jīng)由記錄介質(zhì)等間接地將第1干擾圖像及第2干擾圖像輸入于計算機，并使計算機執(zhí)行上述步驟的圖像處理程序、記錄有這種圖像處理程序的計算機可讀取記錄介質(zhì)(非暫時性記錄介質(zhì))或能夠安裝這種圖像處理程序的計算機。

并且，能夠應(yīng)用本發(fā)明的方式并不限定于圖1所示的數(shù)碼相機10及圖2所示的自動跟蹤攝像裝置14，除了以拍攝為主要功能的相機類以外，本發(fā)明還能夠應(yīng)用于在攝像功能的基礎(chǔ)上還具備攝像以外的其他功能(通話功能、通信功能或其他計算機功能)的移動設(shè)備類。作為能夠應(yīng)用本發(fā)明的另一方式，例如可舉出具有相機功能的移動電話或智能手機、pda(personaldigitalassistants)及便攜式游戲機。以下，對能夠應(yīng)用本發(fā)明的智能手機的一例進行說明。

＜智能手機的結(jié)構(gòu)＞

圖20為表示本發(fā)明的攝像裝置的一實施方式的智能手機101的外觀的圖。圖20所示的智能手機101具有平板狀殼體102，并在殼體102的一個面上設(shè)置作為顯示部的顯示面板121和作為輸入部的操作面板122形成為一體的顯示輸入部120。并且，該殼體102具備揚聲器131、麥克風(fēng)132、操作部140及相機部141。另外，殼體102的結(jié)構(gòu)并不限定于此，例如還能夠采用獨立設(shè)置顯示部和輸入部的結(jié)構(gòu)，或者采用具有折疊結(jié)構(gòu)和滑動機構(gòu)的結(jié)構(gòu)。

圖21為表示圖20所示的智能手機101的結(jié)構(gòu)的框圖。如圖21所示，作為智能手機101的主要構(gòu)成要件，具備無線通信部110、顯示輸入部120、通話部130、操作部140、相機部141、存儲部150、外部輸入輸出部160、gps(globalpositioningsystem)接收部170、動作傳感器部180、電源部190及主控制部100。并且，作為智能手機101的主要功能，具備經(jīng)由基站裝置和移動通信網(wǎng)進行移動無線通信的無線通信功能。

無線通信部110根據(jù)主控制部100的命令，在與連接在移動通信網(wǎng)的基站裝置之間進行無線通信。使用該無線通信，進行語音數(shù)據(jù)及圖像數(shù)據(jù)等各種文件數(shù)據(jù)和電子郵件等的收發(fā)及web數(shù)據(jù)和流數(shù)據(jù)等的接收。

顯示輸入部120為具備顯示面板121及操作面板122的所謂的觸摸面板，通過主控制部100的控制，顯示圖像(靜態(tài)圖像及動態(tài)圖像)和文字信息等而視覺性地向用戶傳遞信息，并且檢測針對所顯示的信息的用戶操作。

顯示面板121將lcd(liquidcrystaldisplay)或oeld(organicelectro-luminescencedisplay)等用作顯示設(shè)備。操作面板122為以能夠辨識顯示于顯示面板121的顯示面上圖像的狀態(tài)設(shè)置，并檢測通過用戶的手指或尖筆操作的一個或多個坐標(biāo)的設(shè)備。若該設(shè)備通過用戶的手指或尖筆而被操作，則操作面板122將因操作而產(chǎn)生的檢測信號輸出至主控制部100。接著，主控制部100根據(jù)所接收的檢測信號檢測顯示面板121上的操作位置(坐標(biāo))。

作為本發(fā)明的攝像裝置的一實施方式而圖20中所例示的智能手機101的顯示面板121與操作面板122成為一體而構(gòu)成顯示輸入部120，并配置成操作面板122完全覆蓋顯示面板121。當(dāng)采用該配置時，操作面板122可以在顯示面板121以外的區(qū)域也具備檢測用戶操作的功能。換言之，操作面板122可以具備針對與顯示面板121重疊的重疊部分的檢測區(qū)域(以下，稱為“顯示區(qū)域”)和其以外的不與顯示面板121重疊的外緣部分的檢測區(qū)域(以下，稱為“非顯示區(qū)域”)。

另外，可以使顯示區(qū)域的大小和顯示面板121的大小完全一致，但無需使兩者一定一致。并且，操作面板122可以具備外緣部分及其以外的內(nèi)側(cè)部分這兩個感應(yīng)區(qū)域。而且，該外緣部分的寬度可根據(jù)殼體102的大小等適當(dāng)設(shè)計。此外，作為在操作面板122中采用的位置檢測方式，可舉出矩陣開關(guān)方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應(yīng)方式、靜電電容方式等，可以采用任意方式。

通話部130具備揚聲器131及麥克風(fēng)132，將通過麥克風(fēng)132輸入的用戶的語音轉(zhuǎn)換為能夠通過主控制部100處理的語音數(shù)據(jù)而輸出至主控制部100，或者對通過無線通信部110或外部輸入輸出部160接收的語音數(shù)據(jù)進行解碼而從揚聲器131輸出。并且，如圖20所示，例如能夠?qū)P聲器131及麥克風(fēng)132搭載于與設(shè)置有顯示輸入部120面相同的面上。

操作部140為使用鍵開關(guān)等的硬件鍵，并接收來自用戶的命令。例如，如圖20所示，操作部140搭載于智能手機101的殼體102的側(cè)面，且為通過手指等按壓時成為開關(guān)打開的狀態(tài)，將手指移開則通過彈簧等的復(fù)原力而成為開關(guān)關(guān)閉的狀態(tài)的按鈕式開關(guān)。

存儲部150存儲主控制部100的控制程序和控制數(shù)據(jù)、應(yīng)用軟件、與通信對象的名稱和電話號碼等建立對應(yīng)關(guān)聯(lián)的地址數(shù)據(jù)、收發(fā)的電子郵件的數(shù)據(jù)、通過web瀏覽器下載的web數(shù)據(jù)及已下載的內(nèi)容數(shù)據(jù)等，并且暫時存儲流數(shù)據(jù)等。并且，存儲部150由內(nèi)置于智能手機的內(nèi)部存儲部151和具有裝卸自如的外部存儲器插槽的外部存儲部152構(gòu)成。另外，構(gòu)成存儲部150的內(nèi)部存儲部151及外部存儲部152各自可通過使用閃存類型(flashmemorytype)、硬盤類型(harddisktype)、微型多媒體卡類型(multimediacardmicrotype)、卡類型存儲器(例如，microsd(注冊商標(biāo))存儲器等)、ram(randomaccessmemory)或rom(readonlymemory)等存儲介質(zhì)來實現(xiàn)。

外部輸入輸出部160起到與智能手機101連結(jié)的所有外部設(shè)備的接口的作用，用于通過通信等(例如，usb(universalserialbus)、ieee1394等)或網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng)、無線lan、藍牙(bluetooth)(注冊商標(biāo))、rfid(radiofrequencyidentification)、紅外線通信(infrareddataassociation：irda)(注冊商標(biāo))、uwb(ultrawideband)(注冊商標(biāo))、紫蜂(zigbee)(注冊商標(biāo))等)直接或間接地與其他外部設(shè)備連接。

作為與智能手機101連結(jié)的外部設(shè)備，例如有：有線/無線頭戴式耳機、有線/無線外部充電器、有線/無線數(shù)據(jù)端口、經(jīng)由卡插槽而連接的存儲卡(memorycard)或sim(subscriberidentitymodulecard)/uim(useridentitymodulecard)卡、經(jīng)由音頻/視頻i/o(input/output)端子而連接的外部音頻/視頻設(shè)備、無線連接的外部音頻/視頻設(shè)備、有線/無線連接的智能手機、有線/無線連接的個人計算機、有線/無線連接的pda及耳機等。外部輸入輸出部160可以構(gòu)成為將從這種外部設(shè)備接收發(fā)送的數(shù)據(jù)傳遞至智能手機101的內(nèi)部的各構(gòu)成要件，或者將智能手機101的內(nèi)部數(shù)據(jù)發(fā)送到外部設(shè)備。

gps接收部170根據(jù)主控制部100的命令接收從gps衛(wèi)星st1、gps衛(wèi)星st2～gps衛(wèi)星stn發(fā)送的gps信號，執(zhí)行基于所接收的多個gps信號的測位運算處理，并檢測通過智能手機101的緯度、經(jīng)度及高度而確定的位置。能夠從當(dāng)無線通信部110和/或外部輸入輸出部160(例如，無線lan)獲取位置信息時，gps接收部170還能夠利用該位置信息來檢測位置。

動作傳感器部180例如具備3軸加速傳感器等，并根據(jù)主控制部100的命令檢測智能手機101的物理運動。通過檢測智能手機101的物理運動，可檢測智能手機101的移動方向和加速。將該檢測結(jié)果輸出到主控制部100。

電源部190根據(jù)主控制部100的命令，向智能手機101的各部供給蓄積于電池(未圖示)的電力。

主控制部100具備微處理器，根據(jù)存儲部150所存儲的控制程序或控制數(shù)據(jù)進行動作，從而統(tǒng)一控制智能手機101的各部。并且，主控制部100具備為了通過無線通信部110進行語音通信及數(shù)據(jù)通信而控制通信系統(tǒng)的各部的移動通信控制功能和應(yīng)用處理功能。

應(yīng)用處理功能通過主控制部100根據(jù)存儲部150所存儲的應(yīng)用軟件進行動作來實現(xiàn)。作為應(yīng)用處理功能，例如有通過控制外部輸入輸出部160而與對象設(shè)備進行數(shù)據(jù)通信的紅外線通信功能和進行電子郵件的收發(fā)的電子郵件功能及預(yù)覽web頁的web瀏覽器功能等。

并且，主控制部100具備根據(jù)接收數(shù)據(jù)、已下載的流數(shù)據(jù)等圖像數(shù)據(jù)(靜止圖像或動態(tài)圖像的數(shù)據(jù))而將影像顯示于顯示輸入部120等的圖像處理功能。圖像處理功能是指，主控制部100對上述圖像數(shù)據(jù)進行解碼，并對該解碼結(jié)果實施圖像處理，從而將經(jīng)過該圖像處理而得到的圖像顯示于顯示輸入部120的功能。

而且，主控制部100執(zhí)行針對顯示面板121的顯示控制和檢測通過操作部140或操作面板122進行的用戶操作的操作檢測控制。

通過執(zhí)行顯示控制，主控制部100顯示用于啟動應(yīng)用軟件的圖標(biāo)或滾動條等軟件鍵，或者顯示用于創(chuàng)建電子郵件的窗口。另外，滾動條是指，用于針對無法容納于顯示面板121的顯示區(qū)域的較大的圖像等接收移動圖像的顯示部分的命令的軟件鍵。

并且，通過執(zhí)行操作檢測控制，主控制部100檢測通過操作部140進行的用戶操作，或者通過操作面板122接收針對上述圖標(biāo)的操作、針對上述窗口的輸入欄的文字列的輸入，或者接收通過滾動條進行的顯示圖像的滾動請求。

而且，通過執(zhí)行操作檢測控制，主控制部100具備判定針對操作面板122的操作位置是否對應(yīng)于與顯示面板121重疊的重疊部分(顯示區(qū)域)，或者是否對應(yīng)于其以外的并不與顯示面板121重疊的外緣部分(非顯示區(qū)域)，并控制操作面板122的感應(yīng)區(qū)域或軟件鍵的顯示位置的觸摸面板控制功能。

并且，主控制部100還能夠檢測針對操作面板122的手勢操作，并根據(jù)檢測出的手勢操作執(zhí)行預(yù)先設(shè)定的功能。手勢操作并非為以往的簡單的觸摸操作，而是利用手指等描繪軌跡、或者同時指定多個位置、或者將它們進行組合而從多個位置對至少一個位置描繪軌跡的操作。

相機部141能夠應(yīng)用前述攝像裝置30。并且，相機部141能夠通過主控制部100的控制，將通過拍攝而得到的圖像數(shù)據(jù)例如轉(zhuǎn)換成jpeg(jointphotographicexpertsgroup)等壓縮的圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)記錄于存儲部150，或者通過外部輸入輸出部160或無線通信部110進行輸出。如圖20所示，智能手機101中，相機部141搭載于與顯示輸入部120相同的面上，但相機部141的搭載位置并不限定于此，相機部141可以搭載于殼體102的背面而不是設(shè)置有顯示輸入部120的殼體102的表面，或者多個相機部141可以搭載于殼體102。另外，當(dāng)搭載有多個相機部141時，可以切換供拍攝的相機部141而通過單獨的相機部141進行拍攝，或者也可以同時使用多個相機部141進行拍攝。

并且，相機部141能夠利用于智能手機101的各種功能。例如，通過相機部獲取的圖像可以顯示于顯示面板121，也可以作為操作面板122的操作輸入方法之一而利用通過相機部141拍攝獲取的圖像。并且，在gps接收部170檢測位置時，可以參考來自相機部141的圖像而檢測位置。并且，還能夠參考來自相機部141的圖像，且不使用3軸加速傳感器或者并用3軸加速傳感器來判斷智能手機101的相機部141的光軸方向和當(dāng)前的使用環(huán)境。當(dāng)然，還能夠在應(yīng)用軟件內(nèi)利用來自相機部141的圖像。

此外，還能夠?qū)⑼ㄟ^gps接收部170獲取的位置信息、通過麥克風(fēng)132獲取的聲音信息(可以通過主控制部等進行聲音文本變換而獲取文本信息)及通過動作傳感器部180獲取的姿勢信息等附加于靜態(tài)圖像數(shù)據(jù)和動態(tài)圖像數(shù)據(jù)而得到的數(shù)據(jù)記錄于存儲部150，或者通過輸入輸出部160或無線通信部110進行輸出。

另外，上述圖像獲取部32、干擾去除處理部34、數(shù)字信號處理部36等(參考圖16)例如能夠通過主控制部100實現(xiàn)。

符號說明

10-數(shù)碼相機，11-復(fù)雜鏡頭，14-自動跟蹤攝像裝置，21-第1光學(xué)系統(tǒng)，22-第2光學(xué)系統(tǒng)，24、124-圖像傳感器，25-受光元件，25a、125a-第1受光元件，25b、125b-第2受光元件，29、129-微透鏡，26a-第1光電二極管，26b-第2光電二極管，27、127-配線層，30-攝像裝置，32一圖像獲取部，34-干擾去除處理部，36-數(shù)字信號處理部，38-記錄部，40-顯示部，100-主控制部，101-智能手機，141-相機部。