本公開涉及使用了壓縮傳感技術(shù)的彩色拍攝裝置。

背景技術(shù)：

為了拍攝彩色圖像，需要獲取與光的3原色相當(dāng)?shù)募t(R)、綠(G)、藍(B)這3個不同波長的信息。在多數(shù)的彩色拍攝裝置中，為了小型化和/或低成本化而僅搭載有一個圖像傳感器，因此，需要通過一個圖像傳感器來獲取R/G/B這3個波長信息。

以往，已知有如下方法：利用不同的位置的像素獲取R/G/B這3個波長的信息而進行被稱為去馬賽克(demosaicking)的處理，由此獲取所有的像素的R/G/B這3個波長的信息。

圖15是表示正在被廣泛利用的拜爾排列(bayer arrangement)的示意圖(例如，專利文獻1)。在拜爾排列中，獲取整體的像素的1/2的接近人的視覺特性的G像素，分別各獲取整體的像素的1/4的R像素與B像素，通過去馬賽克處理，獲取所有的像素的R/G/B這3個波長的信息。

另一方面，在專利文獻2中，公開了如下技術(shù)：以隨機的顏色圖案配置濾光器要素，對于采樣數(shù)據(jù)集合應(yīng)用壓縮傳感技術(shù)，由此進行去馬賽克。

現(xiàn)有技術(shù)文獻

專利文獻

專利文獻1：U.S.Patent No.5629734

專利文獻2：日本特表2013-511924

非專利文獻

非專利文獻1：Rudin L.I.,Osher S.J.,and Fatemi E.：Nonlinear total variation based noise removal algorithms.Physica D,vol.60,pp.259－268,1992

非專利文獻2：Shunsuke Ono,Isao Yamada,“Decorrelated Vectorial Total Variation”,IEEE Conference on Computer Vision and Pattern Recognition,2014

非專利文獻3：J.Ma,“Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement”,IEEE Transactions on Instrumentation&Measurement,vol.60,no.1,pp.126－136,2011

非專利文獻4：M.Aharon,M.Elad,and A.M.Bruckstein,“K－SVD：An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation,”IEEE Transactions on Image Processing,vol.54,no.11,pp.4311－4322,2006

非專利文獻5：D.Kiku,Y.Monno,M.Tanaka and M.Okutomi,“Minimized－Laplacian residual interpolation for color image demosaicking”,IS&T/SPIE Electronic Imaging(EI),2014.

非專利文獻6：Manya V.Afonso,José M.Bioucas－Dias,and Mário A.T.Figueiredo,“Fast Image Recovery Using Variable Splitting and Constrained Optimization”,IEEE Transactions on Image Rrocessing,VOL.19,NO.9,pp.2345－2356,2010.

技術(shù)實現(xiàn)要素：

然而，以往的技術(shù)在圖像傳感器的各像素中，僅能夠獲取R/G/B的某一個波長的信息，所以去馬賽克后的彩色圖像的分辨率降低，會產(chǎn)生被稱為假彩色(false color)的彩色合成(artifact)。

本公開的非限定性的例示的一個方式是一種拍攝裝置，通過利用一個圖像傳感器獲取彩色圖像，能夠抑制分辨率的降低和/或彩色合成的產(chǎn)生。

本公開的一個技術(shù)方案所涉及的拍攝裝置具備：對光信號進行成像的成像光學(xué)系統(tǒng)；拍攝元件，具有多個像素，利用所述多個像素接收成像后的所述光信號，并轉(zhuǎn)換為電信號；以及濾色器，被配置于所述成像光學(xué)系統(tǒng)與所述拍攝元件之間，在與所述多個像素對應(yīng)的各位置，對于多個波長范圍具有不同的光透射率。

上述一般且特定的技術(shù)方案可以使用系統(tǒng)、方法以及計算機程序來實現(xiàn)，或者可以使用系統(tǒng)、方法以及計算機程序的組合來實現(xiàn)。

根據(jù)本公開，一邊在像素內(nèi)進行加法運算，一邊獲取R圖像、G圖像、B圖像，并且使用壓縮傳感技術(shù)進行圖像復(fù)原，由此能夠僅利用一個圖像傳感器，以堪比3塊圖像傳感器的分辨率獲取彩色圖像。本公開的一個技術(shù)方案的附加的好處以及有利的點從本說明書以及附圖可以明確。該好處以及/或者有利的點能夠通過本說明書以及附圖所公開的各種技術(shù)方案以及特征獨立地提供，為了得到其1個以上，并不需要所有的技術(shù)方案以及特征。

附圖說明

圖1是表示本公開的一個實施方式所涉及的拍攝系統(tǒng)10的構(gòu)成的示意圖。

圖2是表示空間及波長調(diào)制部101以及調(diào)制圖像獲取部102的詳細構(gòu)成的圖。

圖3示意地表示包含濾色器202的拍攝系統(tǒng)10。

圖4是表示作為濾光片1～3的各波長特性的一部分的透射率的圖。

圖5是表示根據(jù)均勻分布設(shè)定各濾光片的各像素的厚度的例子的圖。

圖6是表示根據(jù)正態(tài)分布設(shè)定各濾光片的各像素的厚度的例子的圖。

圖7是表示利用空間光調(diào)制器204使每個像素的透射率變化的拍攝系統(tǒng)10的變形例的圖。

圖8是表示將透射率根據(jù)濾光片的厚度而變化的多個濾光片與空間光調(diào)制器204組合而使每個像素的透射率變化的拍攝系統(tǒng)10的進一步的變形例的圖。

圖9是表示圖像生成裝置12的主要的處理的步驟的流程圖。

圖10是表示像素數(shù)N＝16的調(diào)制圖像與生成圖像的示意圖。

圖11是表示R圖像的圖。

圖12是表示G圖像的圖。

圖13是表示B圖像的圖。

圖14是表示包含所有顏色的彩色圖像的一例的圖。

圖15是表示拜爾排列的示意圖。

圖16是本實施方式中的彩色圖像生成電路105所生成的彩色圖像中的G圖像的一例。

圖17是將圖16的(a)～(c)的圖像的一部分的區(qū)域放大后的圖像的一例。

附圖標(biāo)記說明

10拍攝系統(tǒng)；11拍攝裝置；12圖像生成裝置；101空間及波長調(diào)制部；102調(diào)制圖像獲取部；103發(fā)送電路；104接收電路；105彩色圖像生成電路；106輸出接口(I/F)裝置；201成像光學(xué)系統(tǒng)；202濾色器；203拍攝元件；204空間光調(diào)制器

具體實施方式

本公開的一個技術(shù)方案所涉及的拍攝裝置具備：對光信號進行成像的成像光學(xué)系統(tǒng)；拍攝元件，具有多個像素，利用所述多個像素接收成像后的所述光信號，并轉(zhuǎn)換為電信號；以及濾色器，被配置于所述成像光學(xué)系統(tǒng)與所述拍攝元件之間，在與所述多個像素對應(yīng)的各位置，對于多個波長范圍具有不同的光透射率。

也可以是：所述多個波長范圍為三個波長范圍。

也可以是：在所述濾色器中的與所述多個像素對應(yīng)的各位置，對于所述多個波長范圍的各個，具有不同的光透射率。

也可以是：關(guān)于所述濾色器中的所述多個波長范圍的各個，與各位置相關(guān)的透射率的相關(guān)系數(shù)小于1。

也可以是：關(guān)于所述濾色器中的所述多個波長范圍的各個，n個的各位置的透射率與其它的n個的各位置的透射率之間不相關(guān)。

也可以是：所述濾色器中的與所述多個像素對應(yīng)的各位置的透射率的分布依照均勻隨機數(shù)。

也可以是：所述濾色器中的與所述多個像素對應(yīng)的各位置的透射率的分布依照高斯隨機數(shù)。

也可以是：所述濾色器具有空間光調(diào)制器，所述空間光調(diào)制器在與所述多個像素對應(yīng)的各位置，對于所述多個波長范圍具有不同的光透射率。

也可以是：所述濾色器針對所述多個波長范圍的各個具有切割膜(cut film)，所述切割膜在與所述多個像素對應(yīng)的各位置具有不同的厚度。

也可以是：所述濾色器針對所述多個波長范圍的各個具有切割膜，所述切割膜僅配置于與所述多個像素中的一部分像素對應(yīng)的位置。

也可以是：所述切割膜在所述多個波長范圍中的至少一部分的波長范圍中，光透射率為1。

也可以是：還具備發(fā)送所述濾色器的透射率的信息的發(fā)送電路。

本公開的其它的一個技術(shù)方案所涉及的拍攝系統(tǒng)，是具備拍攝裝置與圖像生成裝置的拍攝系統(tǒng)，所述拍攝裝置具備：對光信號進行成像的成像光學(xué)系統(tǒng)；拍攝元件，具有多個像素，利用所述多個像素接收成像后的所述光信號，并轉(zhuǎn)換為電信號；濾色器，被配置于所述成像光學(xué)系統(tǒng)與所述拍攝元件之間，在與所述多個像素對應(yīng)的各位置，對于多個波長范圍具有不同的光透射率；以及發(fā)送電路，發(fā)送所述濾色器的透射率的信息和所述電信號，所述圖像生成裝置具備：接收電路，接收所述濾色器的透射率的信息和所述電信號；和圖像生成電路，使用所述透射率的信息和所述電信號，按所述多個波長范圍的各個，生成圖像。

本公開的其它的一個技術(shù)方案所涉及的圖像生成裝置，是在具備拍攝裝置的拍攝系統(tǒng)中使用的圖像生成裝置，所述拍攝裝置具備：對光信號進行成像的成像光學(xué)系統(tǒng)；拍攝元件，具有多個像素，利用所述多個像素接收成像后的所述光信號，并轉(zhuǎn)換為電信號；濾色器，被配置于所述成像光學(xué)系統(tǒng)與所述拍攝元件之間，在與所述多個像素對應(yīng)的各位置，對于多個波長范圍具有不同的光透射率；以及發(fā)送電路，發(fā)送所述濾色器的透射率的信息和所述電信號，所述圖像生成裝置具備：接收電路，接收所述濾色器的透射率的信息和所述電信號；和圖像生成電路，使用所述透射率的信息和所述電信號，按所述多個波長范圍的各個，生成圖像。

也可以是：所述圖像生成電路使用透射率的信息和所述電信號，使用壓縮傳感技術(shù)來生成所述圖像。

也可以是：在將與所述電信號對應(yīng)的調(diào)制圖像表示為y、將所述多個波長范圍的各個的所述圖像表示為x、將預(yù)先求出的采樣矩陣表示為A時，y＝Ax成立，所述圖像生成電路將使得評價式最小化的x作為所述圖像來生成，所述評價式包括：包含調(diào)制圖像y與復(fù)原后的信號Ax的誤差平方和|Ax－y|²的項；用于運算最小值的所述圖像x的像素值的約束項；以及將所述圖像的亮度成分與色差成分的梯度分離后的全變差(total variation)項。

本公開的其它的一個技術(shù)方案所涉及的濾色器，是對多個波長范圍的光進行濾波的濾色器，在所述多個波長范圍的光所透射的任意的位置，各波長范圍的透射率的組合不同。

也可以是：所述多個波長范圍包含第1波長范圍、第2波長范圍以及第3波長范圍，在第1位置，所述第1波長范圍的透射率為98～100％，所述第2波長范圍以及所述第3波長范圍的各透射率小于98％，在與所述第1位置不同的第2位置，所述第2波長范圍的透射率為98～100％，所述第1波長范圍以及所述第3波長范圍的各透射率小于98％，在與所述第1位置以及所述第2位置不同的第3位置，所述第3波長范圍的透射率為98～100％，所述第1波長范圍以及所述第2波長范圍的各透射率小于98％。

也可以是：對于所述第1波長范圍、第2波長范圍以及第3波長范圍的各個，各位置的透射率的分布依照均勻隨機數(shù)以及高斯隨機數(shù)中的某一個。

也可以是：在與所述電信號對應(yīng)的調(diào)制圖像飽和的情況下，所述圖像生成電路對處理進行切換。

也可以是：所述圖像生成電路生成使得評價函數(shù)最小化的圖像x，所述評價函數(shù)包含下述約束：在所述調(diào)制圖像飽和的像素中，在采樣矩陣乘以圖像x而得的值超過飽和值的情況下提供0，否則提供∞。

以下，一邊參照附圖，一邊對具有拍攝裝置以及圖像生成裝置的本公開的拍攝系統(tǒng)的實施方式進行說明。

(實施方式1)

圖1是表示本公開的一個實施方式所涉及的拍攝系統(tǒng)10的構(gòu)成的示意圖。本實施方式的拍攝系統(tǒng)10具備拍攝裝置11和圖像生成裝置12。

拍攝裝置11具有空間及波長調(diào)制部101、調(diào)制圖像獲取部102以及發(fā)送電路103。另一方面，圖像生成裝置12具有接收電路104、彩色圖像生成電路105以及輸出接口裝置106。

首先，一邊參照圖2，一邊對拍攝裝置11進行說明。

圖2表示空間及波長調(diào)制部101以及調(diào)制圖像獲取部102的詳細構(gòu)成。

如圖2所示，空間及波長調(diào)制部101對應(yīng)于成像光學(xué)系統(tǒng)201以及濾色器202。另外，調(diào)制圖像獲取部102對應(yīng)于拍攝元件203。

(成像光學(xué)系統(tǒng)201)

成像光學(xué)系統(tǒng)201至少具有1個或多個透鏡和透鏡位置調(diào)整機構(gòu)(均未圖示)。1個或多個透鏡將來自被拍攝對象的光會聚，而使光信號成像。光信號也可以表述為“被拍攝對象的像”。透鏡位置調(diào)整機構(gòu)例如為用于調(diào)整透鏡的成像位置的致動器以及控制致動器的驅(qū)動量的控制電路(控制器)。另外，在1個或多個透鏡的焦點被固定的情況下，不需要透鏡位置調(diào)整機構(gòu)。

(拍攝元件203)

拍攝元件203具有多個像素，利用多個各像素接收成像光學(xué)系統(tǒng)201成像而成的光信號，并轉(zhuǎn)換為電信號。電信號具有每個像素的調(diào)制圖像。拍攝元件203被配置于透鏡的焦距處。

(濾色器202)

濾色器202被配置于從成像光學(xué)系統(tǒng)201入射的光到達拍攝元件203之前的光路上。典型地，濾色器202與拍攝元件203的前表面相接觸地配置。所謂的拍攝元件203的“前表面”，也可以被規(guī)定為拍攝元件203的上表面或拍攝元件203的受光面。

濾色器202為了對入射到拍攝元件203的多個波長范圍的光進行濾波而使用。濾色器202在多個波長范圍的光透射的任意的位置具有不同的光透射率。這里所說的“位置”意味著具有一定的面積的微小區(qū)域的位置。各微小區(qū)域的面積與例如拍攝元件203的各像素的受光面積相等。光透射率也可以根據(jù)透射的不同波長范圍而不同。在本說明書中，如上所述，濾色器202的“位置”被設(shè)為與拍攝元件203的像素相對應(yīng)的區(qū)域的位置。例如，拍攝元件203的多個像素包含第1像素以及第2像素。多個波長范圍包含第1波長范圍、第2波長范圍以及第3波長范圍。針對第1波長范圍、第2波長范圍以及第3波長范圍的各個，對應(yīng)于第1像素的濾色器202的一部分具有與對應(yīng)于第2像素的濾色器202的一部分不同的光透射率。

濾色器202的更詳細的內(nèi)容在下文進行說明。

(發(fā)送電路103)

發(fā)送電路103將拍攝元件203所拍攝的調(diào)制圖像與通過濾色器202設(shè)定的作為濾光片信息的調(diào)制信息向圖像生成裝置12發(fā)送。發(fā)送可以為有線以及無線中的任意一個。

另外，在本實施方式中，設(shè)想設(shè)置發(fā)送電路103以及接收電路104來大致實時地發(fā)送接收調(diào)制圖像以及調(diào)制信息而進行處理。然而，也可以設(shè)置保存調(diào)制圖像以及調(diào)制信息的存儲裝置(例如硬盤驅(qū)動器)來非實時地進行處理。

再次參照圖1，分別說明圖像生成裝置12的接收電路104、彩色圖像生成電路105以及輸出接口裝置106。

(接收電路104)

接收電路104接收從拍攝裝置11輸出的調(diào)制圖像與調(diào)制信息。接收電路104與發(fā)送電路103之間的通信可以通過有線方式，也可以通過無線方式。另外，即便發(fā)送電路103通過有線方式發(fā)送調(diào)制圖像以及調(diào)制信息，也可以通過經(jīng)由將有線通信轉(zhuǎn)換為無線通信的設(shè)備，而使接收電路104通過無線方式接收這些信息。反之亦然。

(彩色圖像生成電路105)

彩色圖像生成電路105利用調(diào)制圖像以及調(diào)制信息來生成彩色圖像。生成彩色圖像的處理在下文詳述。彩色圖像生成電路105將所生成的彩色圖像向輸出接口裝置106發(fā)送。

(輸出接口裝置106)

輸出接口裝置106為影像輸出端子。輸出接口裝置106將彩色圖像設(shè)為數(shù)字信號或模擬信號而向圖像生成裝置12的外部輸出。

接下來，一邊參照圖3～圖6，一邊更詳細地說明濾色器202。

圖3示意地表示包含濾色器202的拍攝系統(tǒng)10。以下，關(guān)注濾色器202。

如上所述，濾色器202具有按各個位置且對應(yīng)于不同波長范圍而不同的光透射率。即，在多個波長范圍的光透射的任意的位置，各波長范圍的透射率的組合不同。為了實現(xiàn)這樣的光學(xué)特性，本實施方式的濾色器202具有規(guī)定光的透射波長范圍的多種濾光片1～3，且各濾光片的厚度按每個位置變化?！昂穸取睂?yīng)于沿著與透射光的光軸平行的方向的、濾光片的切割膜(cut film)(下述)的長度。

另外，在圖3中將3個濾光片(濾光片1、濾光片2、濾光片3)組合而記載，但這是一例。組合的濾光片的數(shù)量不限于3。

濾光片1具有切割膜202a，濾光片2具有切割膜202b，濾光片3具有切割膜202c。切割膜202a～202c的各個是將每1層具有預(yù)定的吸收率的膜從0個開始層疊多個而構(gòu)成的。

圖4表示作為濾光片1～3的各波長特性的一部分的透射率。

波長特性表示所入射的光的各波長以怎樣的程度反射、透射、吸收。反射光、透射光以及吸收光的總和與入射光相等。透射光與入射光的比率被稱為“透射率”，吸收光與入射光的比率被稱為“吸收率”。吸收率也可以通過從入射光的光量減去反射光的光量和透射光的光量，再除以入射光的光量而求得。圖4表示它們中的透射率與波長的關(guān)系。

如下所述，構(gòu)成濾色器202的3個濾光片的波長特性都為在任意的波長下，即使厚度變化透射率也不變，即吸收率為0％。

例如，在濾光片1中在波長450nm左右、在濾光片2中在波長580nm左右、在濾光片3中在波長640nm左右，吸收率為0％。在圖4中，濾光片1的透射率在波長450nm左右、濾光片2的透射率在波長580nm左右、濾光片3的透射率在波長640nm左右，透射率變?yōu)榉浅４?，分別為100％。

在本說明書中，吸收率為“0％”是理想情況，不排除0％以外的吸收率。即便吸收率為幾％左右，也能夠作為本實施方式的切割膜202a～202c發(fā)揮作用。例如，如果實際上吸收率為0～2％的范圍內(nèi)，則能夠?qū)⑽章首鳛?％來進行處理。同樣，透射率為“100％”是理想情況。如果透射率在98％以上100％以下的范圍內(nèi)，則能夠?qū)⑼干渎首鳛?00％而進行處理。

另外，如圖3所示，濾光片1～3按順序?qū)盈B而構(gòu)成。例如以濾光片3為例進行說明時，為了層疊濾光片2時的支撐，也可以在切割膜202c不存在的部位填充不實質(zhì)上對透射波長的透射率或吸收率造成影響的光學(xué)部件。對于其它的濾光片1以及2也同樣。由此，各切割膜的202a～202c的光學(xué)特性決定濾光片1～3的各自的光學(xué)特性。

在此，將與波長λ相關(guān)的、濾光片1的切割膜202a的透射率設(shè)為C1(λ)、將濾光片2的切割膜202b的透射率設(shè)為C2(λ)、將濾光片3的切割膜202c的透射率設(shè)為C3(λ)。另外，如果將位置(u，v)的切割膜202a的厚度設(shè)為T1(u，v)、將切割膜202b的厚度設(shè)為T2(u，v)、將切割膜202c的厚度設(shè)為T3(u，v)，則位置(u，v)處的波長特性由下式來表達。另外，為了記載的簡潔化，方便起見，將切割膜的厚度記述為“濾光片的厚度”。

【式1】

x(λ，u，v)＝Φ(C1(λ)，T1(u，v))·Φ(C2(λ)，T2(u，v))·Φ(C3(λ)，T3(u，v)).

這里，Φ(C(λ)，T(u，v))是由濾光片的波長特性C(λ)以及濾光片的厚度T(u，v)決定的、表示波長λ的光的透射率的函數(shù)。另外，Φ(C(λ)，T(u，v))是當(dāng)C(λ)所含的吸收率為0或T(u，v)為0時取固定值的函數(shù)。通常，如果濾光片的厚度增大，則透射率降低，但在濾光片的吸收率為0的情況下，無論濾光片的厚度如何，透射率變?yōu)楣潭ㄖ?。另外，在不配置濾光片(T(u，v)＝0)的情況下透射率也變?yōu)楣潭ㄖ?。這樣，通過按各個位置變更濾光片的厚度，能夠得到針對拍攝元件203的各個像素、波長范圍的透射率不同的濾色器。此時，在濾色器202的各切割膜上，n個位置的透射率的集合x_i(i：1～n的整數(shù))與其它的n個位置的透射率的集合y_i(i：1～n的整數(shù))的相關(guān)系數(shù)為0～0.2左右。即，可以說兩集合之間不相關(guān)。

另外，相關(guān)系數(shù)通過將集合x_i以及集合y_i的協(xié)方差除以各自的標(biāo)準偏差而求出。具體地說，相關(guān)系數(shù)ρ通過下述的式子求出。

【式2】

通過對濾色器202與拜爾排列的濾光片(圖15)進行比較，使兩者的差異明確?，F(xiàn)在，作為一例，關(guān)注拜爾排列的使紅色的波長透射的像素(R像素)。在拜爾排列中，所有的R像素的波長特性相同。由此，如果求取與R像素相關(guān)的透射率的相關(guān)系數(shù)，則始終為1。

接下來，關(guān)注濾色器202的、主要使紅色的波長透射的濾光片3。如上所述，在濾光片3的切割膜上，對應(yīng)于不同位置，切割膜的厚度不同，波長特性不同。即使在某位置的附近，如果位置不同，則波長特性也不同。因此，如果求出與濾光片3相關(guān)的每個位置的透射率的相關(guān)系數(shù)，則始終小于1。在該點上，濾色器202的各切割膜與拜爾排列的濾光片大不相同。

另外，如果將一定的范圍設(shè)定為包含拜爾排列的濾光片的所有顏色的像素，若求取進入其中的像素組的透射率的相關(guān)系數(shù)，則小于1。然而，此時的相關(guān)系數(shù)是一定的。另一方面，如果在包含所有的切割膜的濾色器202上設(shè)定同樣的范圍，若求取進入其中的濾色器202上的位置處的透射率的相關(guān)系數(shù)，則其值不是一定的。

在此，各濾光片的厚度設(shè)定為從厚度0％(不配置濾光片)到最大厚度100％為均勻分布。

圖5表示根據(jù)均勻分布設(shè)定各濾光片的各像素的厚度的例子。在圖5中，通過將最大厚度設(shè)為100時的濾光片的厚度的比例的數(shù)值表示濾光片1～3各個。通過采用這樣的濾色器202，由于在每個像素、各濾光片的厚度不同，所以能夠根據(jù)式1而實現(xiàn)按各個波長、按各個像素不同的透射率。另外，在專利文獻1所記載的拜爾排列和/或?qū)＠墨I2所記載的隨機的濾光片配置的情況下，每個像素的波長特性具有R像素、G像素、B像素的差別，但各自的透射率是一定的。即，即使是專利文獻2所記載的隨機的濾光片配置，針對各個波長，透射率也是一定的。通過如上所述那樣構(gòu)成濾色器202，能夠?qū)崿F(xiàn)不但針對各個像素、也針對各個波長進行基于均勻隨機數(shù)(uniform random number)的隨機采樣。

當(dāng)然，各濾光片的厚度并不限定于均勻隨機數(shù)。例如，也可以以將厚度50％作為平均的正態(tài)分布(高斯分布)來設(shè)定。

圖6表示根據(jù)正態(tài)分布設(shè)定各濾光片的各像素的厚度的例子。在圖6中，也通過使最大厚度為100時的濾光片的厚度的比例的數(shù)值來表示濾光片1～3的各個。通過如此設(shè)定，能夠?qū)崿F(xiàn)針對各個波長進行基于正態(tài)隨機數(shù)(normal random number)的隨機采樣。

另外，濾色器202也可以不按各個像素使濾光片的厚度變化。例如，也可以利用使用了液晶的濾色器和/或空間光調(diào)制器來實現(xiàn)。所謂的空間光調(diào)制器是使透射率在空間上和/或時間上進行調(diào)制的光學(xué)元件，能夠按各個像素使透射率變化。

圖7表示利用空間光調(diào)制器204使各個像素的透射率變化的拍攝系統(tǒng)10的變形例。濾色器202由濾光片1、濾光片2、濾光片3、空間光調(diào)制器204構(gòu)成。在此，在濾光片1，2，3的各個，存在設(shè)置有濾光片的像素與未設(shè)置濾光片的像素。在濾光片1，在像素(u，v)設(shè)置有濾光片的情況下，設(shè)為M1(u，v)＝1，未設(shè)置濾光片的情況下，設(shè)為M1(u，v)＝0。同樣，在濾光片2，在像素(u，v)設(shè)置有濾光片的情況下，設(shè)為M2(u，v)＝1，未設(shè)置濾光片的情況下，設(shè)為M2(u，v)＝0；在濾光片3，在像素(u，v)設(shè)置有濾光片的情況下，設(shè)為M3(u，v)＝1，未設(shè)置濾光片的情況下設(shè)為M3(u，v)＝0。另外，將像素(u，v)的空間光調(diào)制器204的透射率設(shè)為S(u，v)。此時，像素位置(u，v)處的波長特性由下式表達。

【式3】

x(λ，u，v)＝P(C1(λ)，M1(u，v))·P(C2(λ)，M2(u，v))·P(C3(λ)，M3(u，v))·S(u，v).

其中，P是通過是否設(shè)置有各濾光片來決定透射率的函數(shù)，通過下式表達。

【式4】

這樣，通過將多個濾光片與空間光調(diào)制器204組合，能夠?qū)崿F(xiàn)按拍攝元件203的各個像素，使波長范圍的透射率不同的濾色器。

當(dāng)然，也能夠?qū)D3所示的濾色器202與空間光調(diào)制器204進行組合。

圖8表示通過將透射率根據(jù)濾光片的厚度變化的多個濾光片與空間光調(diào)制器204組合而使各個像素的透射率變化的拍攝系統(tǒng)10的進一步的變形例。此時，像素位置(u，v)處的波長特性通過下式表達。

【式5】

x(λ，u，v)＝Φ(C1(λ)，T1(u，v))·Φ(C2(λ)，T2(u，v))·Φ(C3(λ)，T3(u，v))·S(u，v).

接下來，對圖像生成裝置12(圖1)進行說明。

圖9是表示圖像生成裝置12的主要的處理的步驟的流程圖。

圖像生成裝置12的接收電路104接收發(fā)送電路103所發(fā)送的調(diào)制圖像和調(diào)制信息(步驟S101)。

彩色圖像生成電路105利用圖像復(fù)原技術(shù)(例如壓縮傳感技術(shù))從調(diào)制圖像和調(diào)制信息，生成彩色圖像(步驟S102)。

以下，更詳細地說明該處理。彩色圖像的生成處理在將所拍攝的調(diào)制圖像設(shè)為y、將所生成的生成圖像設(shè)為x的情況下，能夠如以下那樣公式化。

【式6】

y＝Ax.

在此，矩陣A是由調(diào)制信息決定的采樣矩陣。采樣矩陣A表示所拍攝的調(diào)制圖像y與所生成的彩色RGB圖像x的關(guān)系。

以下，說明采樣矩陣A的獲取方法。在此，說明利用由麥克貝斯色彩測試標(biāo)準板進行的色彩校準的技術(shù)。麥克貝斯色彩測試標(biāo)準板是基于孟塞爾顏色系統(tǒng)的24色的色彩樣本，各色彩樣本的XYZ值和/或sRGB值已定。

在此，將利用本實施方式的彩色拍攝裝置拍攝該24色的色彩樣本j而得的某像素i(i＝1，2，3，…，N)處的調(diào)制亮度值設(shè)為I(j，i)(j＝1，2，3，…，24)，將各色彩樣本的sRGB值設(shè)為R’(j)、G’(j)、B’(j)。于是，以下的關(guān)系式成立。

【式7】

c(1，i)·R(j)+c(2，i)·G(j)+c(3，i)·B(j)＝I(j，i)，j＝1，2，…，24.

其中，c(x，i)(x＝1，2，3)為采樣矩陣A的i行(3(i－1)+x)列的要素。采樣矩陣A的i行(3(i－1)+x)列(i＝1，2，3，…，N、j＝1，2，3，…，24)以外的要素為0。另外，R(j)、G(j)、B(j)通過對R’(j)、G’(j)、B’(j)進行線性變換而得到。具體地說，通過以下那樣的計算而得到。

【式8】

R(j)＝{(R′(j)/255+0.055)/1.055}^2.4×255，

G(j)＝{(G′(j)/255+0.055)/1.055}^2.4×255，

B(j)＝{(B′(j)/255+0.055)/1.055}^2.4×255.

式7中，對于某像素i，未知數(shù)(c(1，i))為3，方程式為24，所以能夠通過最小二乘法求解。對于所有的像素i進行該處理，由此能夠獲取采樣矩陣A。

為了將說明簡略化，拍攝元件203的像素數(shù)設(shè)為N＝16。圖10是表示像素數(shù)N＝16的調(diào)制圖像與生成圖像的示意圖。在該圖中，(a)表示調(diào)制圖像，(b)表示作為生成圖像的彩色圖像的紅色(R)通道的生成R圖像，(c)表示作為生成圖像的彩色圖像的綠色(G)通道的生成G圖像，(d)表示作為生成圖像的彩色圖像的藍色(B)通道的生成B圖像。在式6中，y以及x如下。

【式9】

y＝[y₁ y₂ y₃ … y₁₆]^T.

x＝[r₁ g₁ b₁ r₂ g₂ b₂ r₃ g₃ b₃ … r₁₆ g₁₆ b₁₆]^T.

如從該式可知，式6中，對于作為未知數(shù)的x的要素數(shù)48，作為觀測數(shù)的y的要素數(shù)少至16，成為不良設(shè)定問題。

為了解決該不良設(shè)定問題，利用壓縮傳感技術(shù)。所謂壓縮傳感技術(shù)，是在信號的傳感時通過加法處理(編碼化)來壓縮數(shù)據(jù)量，利用壓縮后的數(shù)據(jù)，之后進行復(fù)原處理，由此對原來的信號進行解碼化的技術(shù)。在壓縮傳感處理中，為了解決不良設(shè)定問題，利用已有知識(prior knowledge)。作為針對自然圖像的已有知識，利用作為與圖像上的附近的亮度變化的絕對值和的全變差(Total Variation)(例如非專利文獻1、非專利文獻2)和/或、在小波(Wavelet)變換和/或DCT變換、曲波(Curvelet)變換等線性轉(zhuǎn)換中大多的系數(shù)變?yōu)?這一稀疏(sparse)性(例如非專利文獻3)、通過學(xué)習(xí)獲取上述的線性變換的變換系數(shù)的字典學(xué)習(xí)(Dictionary Learning)(例如非專利文獻4)等即可。

在此，對作為被分類為全變差的一種的技術(shù)的、去相關(guān)矢量全變差(Decorrelated Vectorial Total Variation)進行說明。該技術(shù)通過將彩色圖像的亮度成分與色差成分的梯度進行分離并計算，來抑制被稱為假彩色的彩色合成的產(chǎn)生。這通過將以下的評價函數(shù)最小化來實現(xiàn)。

【式10】

該評價函數(shù)由以下的3項成立。

1.數(shù)據(jù)保真度(Data Fidelity)項||Ax-y||²₂：用于滿足式6的約束項

2.動態(tài)范圍(Dynamic Range)項：用于運算最小值min的x的范圍(x為[0，255]3×N)：用于使像素值為0以上255以下的約束項。

3.去相關(guān)矢量全變差項J(x)：將彩色圖像的亮度成分與色差成分的梯度分離后的全變差項。

在此，以下的式子成立。

【式11】

其中，

x＝[x_R^T x_G^T x_B^T]^T∈R^3N，

C為正交色彩變換：

D＝diag(D₁ D₁ D₁)∈R^6N×3N是彩色圖像中的1次梯度運算符，

D₁＝[D_v^T D_h^T]^T∈A^2N×N為各通道的1次梯度運算符，

D_v，D_h∈R^N×N為垂直/水平的1次梯度運算符(諾依曼(Neumann)邊界)，

為x的第i個要素，x＝[x₁^T x₂^T]^T，

w∈(0，1).

R為實數(shù)，R+為非負的實數(shù)。

圖11～圖13是本實施方式中的彩色圖像生成電路105所生成的各個顏色的彩色圖像的一例。圖11表示R圖像，圖12表示G圖像，圖13表示B圖像。本申請發(fā)明人們實際生成彩色圖像并進行比較，但在本申請中利用各圖像的亮度值來圖示。

在這些圖中，(a)表示由3片式相機拍攝到的正確彩色圖像，(b)表示利用作為一般的去馬賽克技術(shù)的專利文獻1所記載的自適應(yīng)彩色平面插值(Adaptive Color Plane Interpolation)法(ACPI法)的去馬賽克圖像，(c)表示利用非專利文獻5所記載的最小的拉普拉斯殘余插值(Minimized-Laplacian Residual Interpolation)法(MLRI法)的去馬賽克圖像，(d)表示利用本實施方式中的彩色圖像生成電路105的復(fù)原圖像。

以下作為例子參照圖11進行說明，但同樣的說明也可適用于圖12以及圖13。

在圖11的(a)的中央部，示出具有格子狀的圖案的窗。

圖11的(b)、(c)利用通過圖15所示的以往的拜爾排列拍攝的圖像。本申請發(fā)明人們進行驗證，確認在圖11的(b)所示的利用ACPI的去馬賽克圖像中，在邊緣附近存在被稱為假彩色的彩色合成。具體地說，在窗的邊緣部分實際確認了假彩色的存在。本申請發(fā)明人們也確認了這樣的假彩色在圖11的(d)所示的利用本實施方式的復(fù)原圖像中不存在。

在圖11的(c)所示的利用MLRI法的去馬賽克圖像中，窗的格子狀的圖案等、高頻成分不能復(fù)原。另一方面，可知，本實施方式中的彩色圖像生成電路105與以往技術(shù)相比，也沒有彩色合成，直至高頻區(qū)域都能夠復(fù)原。

圖14是包含所有的顏色的彩色圖像的一例。圖14利用該彩色圖像的亮度值來表示。一看到窗的格子狀的圖案便可以明了，可以說利用本實施方式的復(fù)原圖像最接近正確圖像。

輸出接口(I/F)裝置106為了將彩色圖像生成電路105所生成的彩色圖像顯示于顯示器或在人檢測等圖像處理中利用而將其輸出(步驟S103)。

另外，在由拍攝元件203接收到的信號飽和的情況下，式6不成立，式10中的數(shù)據(jù)保真度項成為使復(fù)原畫質(zhì)降低的原因。因此，彩色圖像生成電路105通過針對飽和的像素變更式10中的數(shù)據(jù)保真度項，使復(fù)原畫質(zhì)提高。對此，可以將式10中的第2項如下變更即可。

【式12】

在此，上述第2項是針對飽和的像素的數(shù)據(jù)保真度項，稱為飽和約束。在此，

【式13】

y_i(i∈NS)

表示所拍攝的調(diào)制圖像y的不飽和的像素，

【式14】

y_i(i∈S)

表示所拍攝的調(diào)制圖像y的飽和的像素，

【式15】

a_i

表示將采樣矩陣A的第i行轉(zhuǎn)置后的矢量。另外，

【式16】

這是在對推定值x乘以采樣矩陣A而得的值飽和、即yi以上的情況下為0，其余情況下返回∞的值的函數(shù)。在此，式16的接近作用素通過

【式17】

來表達。因此，能夠通過利用交替方向乘子法(Alternating Direction Method of Multipliers；ADMM)等凸優(yōu)化的技術(shù)，來進行求解。(參照非專利文獻6)

圖16～圖17是本實施方式中的彩色圖像生成電路105生成的彩色圖像的一例。在此，表示G圖像。本申請發(fā)明人們實際生成彩色圖像并進行了比較，但在本申請中利用G圖像的亮度值來圖示。

在這些圖中，圖16的(a)表示通過3片式相機拍攝到的正確圖像，圖16的(b)表示通過式10的評價函數(shù)復(fù)原后的圖像、即沒有飽和約束的復(fù)原圖像，圖16的(c)表示將式10的評價函數(shù)中的第2項變更為式12而復(fù)原后的圖像、即有飽和約束的復(fù)原圖像。另外，圖17的(a)～(c)分別是將圖16的(a)～(c)的圖像中的、在圖16的(d)中表示為“放大對象的區(qū)域”的區(qū)域放大后的圖像。

圖16的(a)的一部分的像素的亮度值高，觀測到的調(diào)制圖像的一部分的像素飽和。因此，如圖16的(b)以及圖17的(b)所示，在不利用飽和約束的復(fù)原圖像中，數(shù)據(jù)保真度項不正確地發(fā)揮作用，產(chǎn)生椒鹽噪聲(salt-and-pepper noise)那樣的彩色合成。另一方面，確認了在圖16的(c)所示的、利用飽和約束的本實施方式的復(fù)原圖像中，沒有產(chǎn)生這樣的彩色合成。

如上所述，本實施方式的拍攝系統(tǒng)10利用濾色器202來進行拍攝，通過向壓縮傳感技術(shù)導(dǎo)入基于飽和像素的約束來進行彩色圖像生成處理，由此，能夠降低彩色合成，獲取高清晰的彩色圖像。

如上所述，本實施方式的拍攝系統(tǒng)10利用濾色器202進行拍攝，通過壓縮傳感技術(shù)進行彩色圖像生成處理，由此能夠降低彩色合成，獲取高清晰的彩色圖像。

本公開所涉及的拍攝系統(tǒng)為了在利用一個圖像傳感器獲取R/G/B這3個波長信息的彩色拍攝裝置中獲取抑制了分辨率的降低和/或彩色合成的產(chǎn)生的圖像是有用的。