相同。
[0423] 在實(shí)施方式2中，也可以使用以下的算式作為視差調(diào)制。
[0424] 左視差調(diào)制
[0428] 右視差調(diào)制
[0432] 此外，在以上的實(shí)施方式2的攝像元件中，視差像素的數(shù)量少于無視差像素的數(shù) 量。因此，當(dāng)考慮攝像元件上的像素排列的無視差像素與視差像素的密度比來進(jìn)行上述各 運(yùn)算時(shí)，能夠賦予與基于空間采樣的析像能力對應(yīng)的可靠度的權(quán)重。具體地，在實(shí)施方式2 中使用的無視差像素（N)與左視差像素（Lt)與右視差像素（Rt)之比是N :Lt :Rt = 6 :1 : 1，即，N : (Lt+Rt) = 3 :1，因此，對無視差像素賦予3/4次方的權(quán)重，對視差像素賦予1/4次 方的權(quán)重，設(shè)為重視密度較高的無視差像素的分配。在這種情況下，在上述2)、4)以及6) 中使用以下所示的算式為好。
[0433] 2)彩色、視差馬賽克圖像的全局增益平衡校正
[0434] a)左右之間進(jìn)行算術(shù)平均的情況
[0435] 平均值
[0439] 對于無視差像素的增益值
[0443] 對于左視差像素的增益值
[0447] 對于右視差像素的增益值

[0451] 對于無視差像素的全局增益校正
[0455] 對于左視差像素的全局增益校正
[0459] 對于右視差像素的全局增益校正
[0463] b)左右之間進(jìn)行幾何平均的情況
[0464] 平均值
[0468] 對于無視差像素的增益值
[0472] 對于左視差像素的增益值
[0476] 對于右視差像素的增益值
[0480] 對于無視差像素的全局增益校正

[0484] 對于左視差像素的全局增益校正
[0488] 對于右視差像素的全局增益校正
[0492] 4)基于左右的照度分布校正而生成無視差彩色馬賽克圖像
[0493] a)左右之間進(jìn)行算術(shù)平均的情況
[0494] 各像素的平均值
[0498] 對于無視差像素的各像素的增益值

[0502] 對于左視差像素的各像素的增益值
[0510] b)左右之間進(jìn)行幾何平均的情況
[0511] 各像素的平均值
[0515] 對于無視差像素的各像素的增益值

[0519] 對于左視差像素的各像素的增益值
[0523] 對于右視差像素的各像素的增益值
[0527] 6)生成實(shí)際的視差圖像
[0528] a)以算術(shù)平均值作為基準(zhǔn)點(diǎn)的視差調(diào)制
[0529] 左視差調(diào)制
[0533] 右視差調(diào)制
[0537] b)以幾何平均值作為基準(zhǔn)點(diǎn)的視差調(diào)制
[0538] 左視差調(diào)制
[0546] 若改寫上述算式，則
[0547] 左視差調(diào)制
[0551] 右視差調(diào)制
[0555] 此外，作為視差調(diào)制，也可以使用以下的算式。
[0556] 左視差調(diào)制
[0560] 右視差調(diào)制
[0564] 此外，也能夠考慮將在實(shí)施方式2中舉出的視差像素的一半設(shè)置為2/3開口，將剩 余的一半設(shè)置為3/4開口的組合等。若進(jìn)行這種組合，則通過利用圖10的說明進(jìn)行的遮蔽 開口的運(yùn)算得到的等效開口的最小單位變?yōu)?/12開口，與視點(diǎn)、模糊幅度有關(guān)的信息量、 自由度增大。
[0565] 另外，能夠認(rèn)為上述說明的開口較大的視差像素也適用于如顯微鏡這樣的放大光 學(xué)系統(tǒng)。這是因?yàn)?，放大光學(xué)系統(tǒng)等效于具有極大的光圈值的光學(xué)系統(tǒng)，在為半開口的視差 像素的情況下會(huì)產(chǎn)生得不到攝像信號這種程度的明顯的陰影問題。與之相對，至少能夠維 持?jǐn)z像靈敏度，并具有根據(jù)拾取的信息來獲取視差信息的可能性。
[0566] 此外，也能夠使個(gè)人計(jì)算機(jī)等設(shè)備作為實(shí)現(xiàn)圖像處理部205的功能的圖像處理裝 置起作用。在這種情況下，圖像處理裝置也可以從相機(jī)等其他的裝置取得攝像元件的輸出。 圖像處理裝置不僅限于個(gè)人計(jì)算機(jī)，也可以采用各種各樣的方式。例如，TV(電視）、手機(jī)、 游戲機(jī)等也能成為圖像處理裝置。此外，在以上的說明中，有時(shí)圖像指圖像數(shù)據(jù)，也有時(shí)指 按照格式展開并可視化的被攝體像本身。
[0567] 以上，使用實(shí)施方式對本發(fā)明進(jìn)行了說明，但本發(fā)明的技術(shù)范圍不限于上述實(shí)施 方式所記載的范圍。另外，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚，能夠?qū)ι鲜鰧?shí)施方式加以各種變更或 改進(jìn)。此外，由權(quán)利要求的記載可知，這種加以各種變更或改進(jìn)的實(shí)施方式也包含在本發(fā)明 的技術(shù)范圍內(nèi)。
[0568] 附圖標(biāo)記說明
[0569] 10數(shù)碼相機(jī)，20攝影透鏡，21光軸，100攝像元件，101微透鏡，102彩色濾光片， 103開口掩膜，104開口部，105布線層，106布線，107開口，108光電轉(zhuǎn)換元件，109基板，201 控制部，202A/D轉(zhuǎn)換電路，203存儲(chǔ)器，204驅(qū)動(dòng)部，205圖像處理部，207存儲(chǔ)卡IF，208操作 部，209顯示部，210LCD驅(qū)動(dòng)電路，220存儲(chǔ)卡，322中心線，1801分布曲線，1802分布曲線， 1803分布曲線，1804分布曲線，1805分布曲線，1806合成分布曲線，1807分布曲線，1808分 布曲線，1809合成分布曲線。
【主權(quán)項(xiàng)】
1. 一種攝像元件，其通過一個(gè)光學(xué)系統(tǒng)，對全部光束中通過相互不同區(qū)域的部分光束 的被攝體像進(jìn)行拍攝，其特征在于， 由無視差像素、第一視差像素及第二視差像素至少這3種像素分別配置有多個(gè)的像素 排列構(gòu)成， 所述無視差像素具有產(chǎn)生基準(zhǔn)方向的視點(diǎn)的開口掩膜， 所述第一視差像素具有產(chǎn)生與基準(zhǔn)方向不同的第一方向的視點(diǎn)的開口掩膜， 所述第二視差像素具有產(chǎn)生與基準(zhǔn)方向不同的第二方向的視點(diǎn)的開口掩膜， 所述第一視差像素的開口掩膜和所述第二視差像素的開口掩膜分別在視點(diǎn)變化的方 向上具有比半開口大的開口面積的寬度。2. 如權(quán)利要求1所述的攝像元件，其特征在于， 所述無視差像素的開口掩膜具有全開口或者具有與所述第一視差像素和所述第二視 差像素的開口掩膜相同的開口面積。3. 如權(quán)利要求1所述的攝像元件，其特征在于， 所述第一視差像素的開口掩膜和所述第二視差像素的開口掩膜分別在視點(diǎn)變化的方 向上具有大于1/2開口且在2/3開口以下的范圍的開口寬度。4. 如權(quán)利要求1~3中任一項(xiàng)所述的攝像元件，其特征在于， 與所述第一視差像素、所述第二視差像素相比，所述無視差像素配置為最高的密度。5. 如權(quán)利要求4所述的攝像元件，其特征在于， 所述無視差像素、所述第一視差像素及所述第二視差像素的像素密度的比例為6 :1 : 1，這3種像素各自具有R:G:B=I:2 :1的比例的RGB色濾光片。6. -種圖像處理裝置，其特征在于， 針對權(quán)利要求1~5中任一項(xiàng)所述的攝像元件的輸出， 還基于所述無視差像素的像素信息，對各像素生成基準(zhǔn)視點(diǎn)圖像， 基于所述第一視差像素的像素信息，對各像素生成臨時(shí)的第一視點(diǎn)圖像， 基于所述第二視差像素的像素信息，對各像素生成臨時(shí)的第二視點(diǎn)圖像， 對于所述基準(zhǔn)視點(diǎn)圖像，使用所述臨時(shí)的第一視點(diǎn)圖像和所述臨時(shí)的第二視點(diǎn)圖像使 視點(diǎn)位置變化，來生成新的第一視點(diǎn)圖像和新的第二視點(diǎn)圖像。7. 如權(quán)利要求6所述的圖像處理裝置，其特征在于， 在使用在所述臨時(shí)的第一視點(diǎn)圖像與所述臨時(shí)的第二視點(diǎn)圖像之間定義的比值來使 基準(zhǔn)視點(diǎn)圖像的視點(diǎn)位置變化時(shí)，通過將該比值乘以大于1的冪數(shù)來進(jìn)行放大， 在使用所述臨時(shí)的第一視點(diǎn)圖像與所述臨時(shí)的第二視點(diǎn)圖像之間的差值來使基準(zhǔn)視 點(diǎn)圖像的視點(diǎn)位置變化時(shí)，通過將該差值乘以大于1的常數(shù)倍來進(jìn)行放大。8. -種攝像元件，其特征在于， 具有偏移像素，該偏移像素的接收被攝體光束的第一受光區(qū)域包含像素區(qū)域的中心， 并且設(shè)定在相對于所述像素區(qū)域的中心偏移的位置。9. 如權(quán)利要求8所述的攝像元件，其特征在于， 具有不偏移像素，該不偏移像素的接收所述被攝體光束的第二受光區(qū)域設(shè)定在相對于 所述像素區(qū)域的中心不偏移的位置。10. 如權(quán)利要求9所述的攝像元件，其特征在于， 所述第一受光區(qū)域在偏移方向上具有的寬度比所述第二受光區(qū)域在該偏移方向上具 有的寬度的一半更大。11. 如權(quán)利要求10所述的攝像元件，其特征在于， 所述第一受光區(qū)域在偏移方向上具有的寬度為所述第二受光區(qū)域在該偏移方向上具 有的寬度的2/3倍以下。12. 如權(quán)利要求9所述的攝像元件，其特征在于， 所述第二受光區(qū)域的形狀與所述第一受光區(qū)域的形狀相同。13. 如權(quán)利要求9~12中任一項(xiàng)所述的攝像元件，其特征在于， 所述不偏移像素的數(shù)量比所述偏移像素的數(shù)量多。14. 如權(quán)利要求9~13中任一項(xiàng)所述的攝像元件，其特征在于， 所述偏移像素以及所述不偏移像素具有開口掩膜，該開口掩膜具有開口部，通過該開 口掩膜設(shè)定有所述第一受光區(qū)域以及所述第二受光區(qū)域。15. 如權(quán)利要求9~14中任一項(xiàng)所述的攝像元件，其特征在于， 所述偏移像素包括向第一方向賦予視差的第一偏移像素、向與所述第一方向相反的第 二方向賦予視差的第二偏移像素，所述不偏移像素、所述第一偏移像素及所述第二偏移像 素的比是6 :1 :1。16. 如權(quán)利要求15所述的攝像元件，其特征在于， 所述不偏移像素、所述第一偏移像素、所述第二偏移像素具有RGB中的某一個(gè)的彩色 濾光片，在所述不偏移像素、所述第一偏移像素、所述第二偏移像素中，各自的RGB的比分 別是1 :2 :1。17. -種圖像處理裝置，其特征在于， 具有： 獲取部，其獲取權(quán)利要求15或者16所述的攝像元件的輸出；和 圖像生成部，其使用所述第一偏移像素的輸出和所述第二偏移像素的輸出，根據(jù)所述 不偏移像素的輸出，生成向所述第一方向賦予視差的第一視差圖像數(shù)據(jù)和向所述第二方向 賦予視差的第二視差圖像數(shù)據(jù)。18. 如權(quán)利要求17所述的圖像處理裝置，其特征在于， 所述圖像生成部根據(jù)所述不偏移像素的輸出來生成基準(zhǔn)視點(diǎn)圖像，根據(jù)所述第一偏移 像素的輸出來生成臨時(shí)的第一視點(diǎn)圖像，根據(jù)所述第二偏移像素的輸出來生成臨時(shí)的第二 視點(diǎn)圖像， 通過對在所述臨時(shí)的第一視點(diǎn)圖像與所述臨時(shí)的第二視點(diǎn)圖像之間定義的比值以大 于1的冪數(shù)進(jìn)行乘冪運(yùn)算，使所述基準(zhǔn)視點(diǎn)圖像的位置變化。19. 如權(quán)利要求17所述的圖像處理裝置，其特征在于， 所述圖像生成部根據(jù)所述不偏移像素的輸出來生成基準(zhǔn)視點(diǎn)圖像，根據(jù)所述第一偏移 像素的輸出來生成臨時(shí)的第一視點(diǎn)圖像，根據(jù)所述第二偏移像素的輸出來生成臨時(shí)的第二 視點(diǎn)圖像， 通過將在所述臨時(shí)的第一視點(diǎn)圖像與所述臨時(shí)的第二視點(diǎn)圖像之間定義的差值乘以 大于1的系數(shù)，使所述基準(zhǔn)視點(diǎn)圖像的位置變化。20. -種攝像裝置，其特征在于，具有： 權(quán)利要求15或者16所述的攝像元件；和 權(quán)利要求17~19中任一項(xiàng)所述的圖像處理裝置。
【專利摘要】攝像元件通過一個(gè)光學(xué)系統(tǒng)，對全部光束中通過相互不同區(qū)域的部分光束的被攝體像進(jìn)行拍攝，其由無視差像素、第一視差像素及第二視差像素的至少3種像素分別配置有多個(gè)的像素排列構(gòu)成，其中，無視差像素具有產(chǎn)生基準(zhǔn)方向的視點(diǎn)的開口掩膜，第一視差像素具有產(chǎn)生與基準(zhǔn)方向不同的第一方向的視點(diǎn)的開口掩膜，第二視差像素具有產(chǎn)生與基準(zhǔn)方向不同的第二方向的視點(diǎn)的開口掩膜，第一視差像素的開口掩膜和第二視差像素的開口掩膜分別在視點(diǎn)變化的方向上具有比半開口大的開口面積的寬度。
【IPC分類】G03B35/08, H04N5/369, H04N5/225, H04N13/02
【公開號】CN105230000
【申請?zhí)枴緾N201480028423
【發(fā)明人】石賀健一
【申請人】株式會(huì)社尼康
【公開日】2016年1月6日
【申請日】2014年5月29日
【公告號】US20160198143, WO2014192300A1...