專利名稱：圖像處理裝置、圖像處理方法以及攝影裝置的制作方法
技術領域：
本發(fā)明涉及可以同時獲取被攝體的彩色信息和偏振光信息的圖像處理裝置以及 方法。另外，本發(fā)明涉及可以很合適地應用于這種圖像處理的拍攝裝置。
背景技術：
近年來，數(shù)碼攝像機的進步異常顯著，可以預想到將來的便攜式電話的照相機也 可以獲得HDTV畫質。但是，如果將光學系統(tǒng)或拍攝元件小型化，則由于靈敏度或透鏡衍射 極限等原因，會產(chǎn)生圖像拍攝的極限問題，因此，可以認為在將來高精細化也會達到極限。 在這種情況下，在不夠滿意的被攝體的圖像信息中施加計算機圖形化處理對于畫質的提高 很有效。但是，為此需要獲取被攝體的三維形狀信息或照明被攝體的光源等圖像生成過程 中的物理信息。為了獲取形狀信息，通常需要使用激光或LED(Light Emitting Diode)的 有源傳感器或雙視野立體攝影等的距離測量系統(tǒng)。這些系統(tǒng)不僅規(guī)模大，而且受到各種制 約。例如，該制約包括只能在照相機和被攝體的距離最多為數(shù)米左右的范圍內進行拍攝， 或者作為拍攝對象的被攝體被限定為固定形狀的、明亮的漫射物體等。這樣一來，不能應用 于遠距離的室外場景拍攝、或者頭發(fā)或服裝很重要的人物拍攝。以往，作為無源的(被動的)被攝體形狀傳感方式，有利用偏振光的技術。這是一 種利用來自被照射了非偏振光的自然光的被攝體的反射光(鏡面反射光、或漫射反射光) 由于表面方向或視點這些幾何學上的原因而呈現(xiàn)各種部分偏振光的現(xiàn)象的技術。為了獲取 該信息，需要獲取被攝體各像素的部分偏振光狀態(tài)作為偏振光圖像。專利文獻1以及非專利文獻1公開了 為了同時獲取亮度圖像和被攝體的部分 偏振光圖像，在拍攝元件中空間上配置具有多個不同的偏振光主軸的圖形化偏振器。作 為圖形化偏振器，使用光子結晶或結構雙折射微偏極延遲陣列(form birefringence microretarder array)。但是，在這些技術中僅僅能同時獲取單色圖像和偏振光圖像。專利文獻2公開了通過在貝爾彩色拼接中的G(綠色)像素的一部分中配置偏振 光濾光器，使拍攝元件的一部分具有偏振光特性，且同時獲取彩色圖像和偏振光信息的內 容。通過該技術可以從彩色圖像中得到抑制了鏡面反射分量的圖像。在該技術中，由于進 行獲取不同的2個偏振光像素之間的差分的這一簡單操作，因此，不能完全獲取被攝體的 部分偏振光的信息。專利文獻1 JP特開2007-86720號公報專利文獻2 JP特開2006-254331號公報非專利文獻1 菊田、巖田“偏振光圖像測量系統(tǒng)”O(jiān)plus E、Vol.25、No. 11、 P1241-1247、2003在以往的技術中，不能同時獲取被攝體的彩色圖像和被攝體的部分偏振光的偏振 光圖像。因此，獲取彩色動態(tài)圖像和在時間上沒有偏差的形狀信息是不可能的。專利文獻2公開了在彩色圖像中加入一部分的偏振光信息來控制彩色圖像，并控 制鏡面反射的技術。在該技術中，如圖24所示，像素被配置成拜耳拼接(Bayer Mosiac)形狀。在圖23中，Gl和G2都表示G像素，但是，在Gl的位置上配置有偏振器，而在Gl的位置上沒有配置偏振器。另一方面，Rl和Bl分別表示R(紅色)和B (藍色)的像素，在這些 像素位置上沒有設置偏振器。即，在這種像素配置中，只有G2像素作為偏振光像素發(fā)揮功 能。專利文獻2的裝置進行的處理將Gl以及G2的像素位置上的亮度差設為常數(shù)倍， 分別與R1、G1、Bl這些非偏振光像素相加。由此可控制色彩亮度值。通過該結構即使獲得 彩色圖像和偏振光信息，由于在G2的像素位置上設置了偏振器而與原來的G像素不同，因 此，如果就在該狀態(tài)下進行彩色拼接內插，則會在彩色圖像上產(chǎn)生色偏差。并且，由于只使用2種偏振光像素，因此，獲取的部分偏振光的信息不完全。其結 果是，在各像素位置上，不清楚在哪個方向上產(chǎn)生了何種程度的部分偏振光。即，不能獲取 完全的偏振光信息的圖像。

發(fā)明內容
本發(fā)明是為了解決上述課題而完成的，其目的是提供一種能夠獲取彩色拼接被 正確地內插的全彩色圖像，并且能同時獲取表示偏振光的方向和程度的偏振光圖像的圖像 處理裝置以及圖像處理方法。另外，本發(fā)明的目的還在于提供一種可以很合適地應用于這種圖像處理的拍攝裝置。本發(fā)明的圖像處理裝置具有彩色偏振光獲取部，其包括單板彩色拍攝元件，該單 板彩色拍攝元件具有彩色拼接濾波器、以及具有不同的至少3種角度的透射偏振面的多 個偏振器單位被設置在上述彩色拼接濾波器內的同一顏色的多個像素中的圖形化偏振器； 偏振光信息處理部，其用正弦函數(shù)對在上述同一顏色的多個像素中透射過上述偏振器單位 的光的亮度與上述偏振器單位的透射偏振面的角度的關系進行近似；以及彩色拼接內插 部，其通過進行色彩亮度的內插，將透射偏振面的角度彼此不同、并且由相鄰的3個偏振器 單位形成的三角形區(qū)域作為像素單位，來生成色彩亮度圖像。在優(yōu)選的實施方式中，上述圖形化偏振器具有透射偏振面的角度彼此不同的3 種偏振器單位相鄰配置的結構。在優(yōu)選的實施方式中，上述彩色拼接濾波器具有單一特定顏色的像素排列成鋸 齒狀的結構，上述偏振器單位配置在上述排列成鋸齒狀的像素中。在優(yōu)選的實施方式中，上述彩色拼接濾波器具有將單一特定顏色的像素被排列 成鋸齒狀的正方形晶格旋轉45度的結構，上述偏振器單位配置在上述排列成鋸齒狀的像 素中。在優(yōu)選實施方式中，各像素具有八角形的形狀。在優(yōu)選實施方式中，上述單一特定顏色為R (紅色)、G (綠色)、B (藍色)中的G (綠 色)。在優(yōu)選實施方式中，上述彩色拼接濾波器具有各像素為六角形形狀的六角形晶格 的結構，上述偏振器單位配置在上述排列的單一特定顏色的像素中。在優(yōu)選實施方式中，上述彩色拼接內插部通過在應該內插色彩亮度的像素的旁 邊，將在同一顏色的像素中觀測到的亮度平均化，來消除偏振光的效果，并對色彩亮度進行內插，上述同一顏色的像素具有透射偏振面的角度彼此相差60度的3種偏振器單位。本發(fā)明的圖像處理方法具有利用在彩色像素排列中的單一特定顏色的多個像素 中設置了透射偏振面的角度不同的3種偏振器單位的單板彩色拍攝元件，來觀測各像素的 亮度的步驟；從在上述單一特定顏色的透射偏振面的角度不同的3種像素中觀測到的亮 度，獲取偏振光信息的步驟；以及將由上述單一特定顏色的透射偏振面的角度不同的3種 像素形成的三角形區(qū)域作為像素單位來進行色彩亮度的內插，從而生成色彩亮度圖像的步 馬聚ο本發(fā)明的拍攝裝置具有彩色拼接濾波器；圖形化偏振器，其中，具有不同的3種 角度的透射偏振面的多個偏振器單位被設置在上述彩色拼接濾波器內的同一顏色的多個 像素中；以及單板彩色拍攝元件，其以像素單位輸出與透射上述彩色拼接濾波器以及圖形 化偏振器的光的亮度相應的信號。在優(yōu)選的實施方式中，上述彩色拼接濾波器具有單一特定顏色的像素排列成鋸 齒狀的結構，上述偏振器單位配置在上述排列成鋸齒狀的像素中。在優(yōu)選的實施方式中，上述彩色拼接濾波器具有將單一特定顏色的像素被排列 成鋸齒狀的正方形晶格旋轉45度的結構，上述偏振器單位配置在上述排列成鋸齒狀的像 素中。 在優(yōu)選實施方式中，各像素具有八角形的形狀。在優(yōu)選實施方式中，上述彩色拼接濾波器具有各像素為六角形形狀的六角形晶格 的結構，上述偏振器單位配置在上述排列的單一特定顏色的像素中。(發(fā)明效果)根據(jù)本發(fā)明，由于是將多種偏振器單位組合到彩色拼接濾波器的像素排列中使 用，因此，可同時獲取、處理關于色彩亮度以及偏振光的信息。另外，在本發(fā)明中，透射偏振面的角度彼此不同，并且，將由相鄰的3種偏振器單 位構成的三角形區(qū)域作為像素單位，因此，與將由透射偏振面的角度彼此不同的4種以上 的偏振器單位構成的區(qū)域作為像素單位的情況相比，能夠從面積更小的像素單位獲取局部 的、精度高的偏振光信息。


圖1是表示本發(fā)明的圖像處理裝置的結構的框圖。圖2是表示本發(fā)明的彩色偏振光獲取部的結構的圖。圖3是偏振器單位的3種偏振光主軸的說明圖。圖4(a)和(b)是第1實施方式的彩色濾波器以及圖形化偏振光元件的排列狀態(tài) 的說明圖。圖5(a)和(b)是第1實施方式的彩色濾波器以及圖形化偏振光元件的排列狀態(tài) 的其他例子的說明圖。圖6是說明第1實施方式中的正弦函數(shù)狀亮度變動和觀測亮度點的圖。圖7是說明第1實施方式中的正弦函數(shù)的3種未知參數(shù)的圖。圖8是表示第1實施方式中的三角形區(qū)域的集合與G色彩亮度的內插方法的圖。圖9是表示第1實施方式中的三角形區(qū)域的集合與B色彩亮度的內插方法的圖。
圖10是表示第1實施方式中的三角形區(qū)域的集合與R色彩亮度的內插方法的圖。圖11是說明第1實施方式中的彩色拼接內插部的操作的流程圖。圖12是說明第1實施方式中的偏振光信息處理部的操作的流程圖。 圖13(a)是作為球體的塑料制成的球的被攝體的輸入圖像；(b)以及(C)是分別 表示針對(a)的被攝體的偏光度圖像P (x,y)以及偏振相位圖像Ψ (x,y)的例子的圖像。圖14(a)以及(b)是表示偏光度圖像P (x,y)以及偏振相位圖像Ψ (x,y)的被攝 體上的數(shù)值變化的示意圖。圖15(a)到(C)是表示向鏡面反射分量圖像和漫射反射分量圖像分離的例子的 圖。圖16是表示第2實施方式中的彩色濾波器和圖形化偏振器的排列以及單位像素 的形狀的圖。圖17是表示第2實施方式中的三角形區(qū)域的集合和內插方法的圖。圖18是說明第3實施方式中的彩色濾波器和圖形化偏振器的排列以及單位像素 的形狀的圖。圖19是表示第3實施方式中的三角形區(qū)域的集合的圖。圖20是說明第3實施方式中的三角形區(qū)域的集合和G色彩亮度的內插方法的圖。圖21是說明第3實施方式中的三角形區(qū)域的集合和B色彩亮度的內插方法的圖。圖22是說明第3實施方式中的三角形區(qū)域的集合和R色彩亮度的內插方法的圖。圖23是表示本發(fā)明的拍攝裝置的實施方式的結構的框圖。圖24是現(xiàn)有技術的說明圖。符號的說明100 透鏡101彩色偏振光獲取部102彩色拼接內插部103偏振光信息處理部104彩色圖像幀存儲器105偏光度圖像幀存儲器106偏振相位圖像幀存儲器107拼接圖像幀存儲器
具體實施例方式以下，參照附圖對本發(fā)明的圖像處理裝置以及圖像處理方法的實施方式進行說 明。以下要說明的本發(fā)明的優(yōu)選實施方式大概地具有如下結構。實施方式1 只在貝爾彩色拼接中的G像素中配置不同的3種偏振器。實施方式2:在將貝爾彩色拼接旋轉45度的結構中，只在G像素中配置不同的3種 偏振器。實施方式3 在六角晶格的彩色拼接排列中，只在G中配置不同的3種偏振器。(實施方式1)圖1是表示與在本說明書中說明的本發(fā)明的所有實施方式共通的基本結構的框圖。本實施方式的裝置可以在從被攝體實時地獲取彩色圖像信息的同時，獲取偏振光圖像 信息，并作為2種偏振光圖像(偏光度圖像Ρ以及偏振相位圖像φ)輸出。偏光度圖像Ρ 以及偏振相位圖像φ可以是靜止、動態(tài)圖像中的任意一種情況。通過圖1所示 的透鏡100的入射光入射到彩色偏振光獲取部101。彩色偏振光獲 取部101從該入射光同時獲取彩色動態(tài)圖像圖像和偏振光信息圖像的數(shù)據(jù)。從彩色偏振光 獲取部101輸出的彩色拼接圖像的數(shù)據(jù)存儲在拼接圖像幀存儲器107中。從拼接圖像幀存儲器107按順序讀出拼接圖像的數(shù)據(jù)，發(fā)送到彩色拼接內插部 102，進行內插處理。針對每個像素，內插處理的結果存儲在由RGB的3位面結構形成的彩 色圖像幀存儲器104中，也適當?shù)剡M行讀出。從拼接圖像幀存儲器107中按順序讀出像素信號，發(fā)送到偏振光信息處理部103。 這些像素信號由偏振光信息處理部103進行處理，并被存儲到偏光度圖像幀存儲器105以 及偏振相位圖像幀存儲器106中。偏光度圖像(P)的數(shù)據(jù)被從偏光度圖像幀存儲器105 輸出，偏振相位圖像(Ψ )的數(shù)據(jù)被從偏振相位圖像幀存儲器106輸出。圖2是表示彩色偏振光獲取部101的基本結構的示意圖。在所圖示的例子中，彩 色拼接濾波器201以及圖形化偏振器202重疊設置在拍攝元件像素203的前面。圖2為概 念性的圖，彩色拼接濾波器201和圖形化偏振器202的重疊順序與圖2相反，圖形化偏振器 202可以重疊在彩色拼接濾波器201的前面，另外，在使用融合了彩色濾波器功能和偏振光 功能的光學元件的情況下，由于其自身可以實現(xiàn)2種功能，因此，重疊操作這一操作本身就 不需要。入射光204透射彩色拼接濾波器201以及圖形化偏振器202到達拍攝元件，通過 拍攝元件像素203以像素單位觀測亮度。根據(jù)本實施方式，可使用單板彩色拍攝元件，同時 獲取彩色信息以及偏振光信息兩者。并且，如后面將要詳細說明的那樣，圖形化偏振器202 由包括透射偏振面的角度彼此不同的偏振器單位(節(jié)段)的多個偏振器單位構成。典型而 言，各個偏振器單位具有相當于1個像素的大小，但是，偏振器單位無需配置在彩色拼接濾 波器201的所有的像素中。圖形化偏振器202配置為方格花紋形狀。這種圖形化偏振器202可使用例如非專利文獻1記載的光子結晶來實現(xiàn)。在光 子結晶的情況下，具有與在其表面上形成的溝平行的電場矢量(振動面)的光為TE波 (Transverse Electricffave,電場分量相對于入射面為橫向)，具有垂直的電場矢量(振動 面)的光為TM波(Transverse Magnetic Wave，磁場分量相對于入射面為橫向)。另外，偏 振器單位表示在各波長頻域中TM波透射而TE波反射(不透射)的偏振光特性。圖3表示在圖形化偏振器202的各偏振器單位中示意性地畫出的斜線的含義。圖 3所示的各像素內的斜線表示在各像素上設置的微小的偏振片(偏振器單位)的偏振光主 軸方向。在此，“偏振光主軸”是指與透射偏振器的光的偏振面(透射偏振面)平行的軸。偏振器單位在主軸方向上透射具有振動面的光，而且屏蔽具有垂直振動面的光。 在本說明書中，分別將角度Ψ =0°、60°、120°的偏振光主軸分配給偏振器編號1 3的 偏振器單位。偏振器單位的偏振光透射率取決于所利用的光的波長，因此，與彩色拼接濾波 器的透射波長域一起進行設計。例如，用符合“G1”限定的偏振器單位被設計為在“G”的 波長域內，主軸方向使“1” (即，角度Ψ = 0° )的方向的偏振光透射。圖4表示本實施方式的彩色偏振光獲取部101中的像素的配置。圖4(a)表示只在貝爾彩色拼接濾波器中的G像素的位置上配置“G1” “G3”這3種偏振器單位。在該例 中，當關注G的排列的情況下，在縱向上排列了 Gl的列401、排列了 G2的列402和排列了 G3的列403按照該順序周期性地排列。在行404中，在橫向上Gl、G3、G2按照該順序交替 排列。另外，在行405中，雖然與行404同樣，G1、G3、G2按照該順序交替排列，但是，相對于 行404，排列的相位向橫向移位了 3個像素。并且，在R像素以及B像素的位置上沒有配置 偏振器單位。雖然圖4中只顯示了 5X5 = 25個像素，但是，在實際的彩色偏振光獲取部101中， 與此處所示的25個像素塊相同的多個像素塊在與拍攝面平行的面內周期性地排列。在圖 4(b)中，描述了三角形G1-G2-G3的集合體。以相鄰的3種G像素作為頂點的三角形區(qū)域實 際上很微小，在該三角形區(qū)域的內部，偏振光信息可認為是相同，因此，從以這3種偏振器 單位觀測的亮度獲取以下的偏振光信息。即，三角形成為獲取偏振光信息的基本單位。因 此，在本說明書中，可認為三角形區(qū)域G1-G2-G3是與作為拍攝元件表面上的物理性受光單 位的像素不同的虛擬三角形像素。在本實施方式中，拍攝面上的像素排列本身為正方形的 晶格，因此，虛擬三角形像素成為等腰三角形。圖5表示本實施方式的彩色偏振光獲取部101中的像素配置的其他的例子。該配 置方式為在縱向上排列了 G2的列501、排列了 Gl的列502和排列G3的列503按照該順 序周期性地排列。在行504中，在橫向上G2、G3、Gl按照該順序交替排列。另外，在行505 中，雖然與行504同樣，G2、G3、G1按照該順序交替排列，但是，相對于行504，排列的相位向 橫向移位了 3個像素。三角形G1-G2-G3的結構與圖4的排列的結構相同。
(偏振光信息)圖6表示透射了具有方向不同的偏振光主軸(Ψ = 0°、60°、120° )的3種偏 振器的G光的亮度601 603。在此，將偏振光主軸的旋轉角Ψ為Wi時的觀測亮度設為 Ii0其中，“i”是1以上N以下的整數(shù)，“N”為樣本數(shù)。在圖6所示的例子中，由于N = 3， 所以i = l、2、3。圖6中顯示了與3個G像素的樣本(Ψ^ Ii)對應的亮度601 603。偏 振光主軸的角度Ψ 與亮度601 603的關系通過周期=π (180° )的正弦函數(shù)來表示。 周期固定的正弦函數(shù)所具有的未知數(shù)只有振幅、相位以及平均值3種，通過觀測不同的Ψ 的3個亮度601 603，可完全確定1條正弦函數(shù)曲線。相對于偏振器單位的偏振光主軸的角Ψ的觀測亮度用以下的公式表示。公式1Ι(Ψ) = A · sin 2(Ψ-Β)+0 (式 1)在此，如圖7所示，A、B、C為未知常數(shù)，分別表示偏振光亮度的變動曲線的振幅、相 位、平均值。根據(jù)3個點的觀測(公式1)，成為以下的聯(lián)立方程式。公式2
未知數(shù)C為具有均等的相位差的偏振光像素亮度的平均值，因此，如以下的(公式 3)所示被確定。公式3
(式 3)另外，A以及B通過(公式2)的聯(lián)立方程式分別如(公式4)以及(公式5)所示
被確定。公式4
)(式 4)公式5
(式 5)并且，本說明書中的“偏振光信息”是指表示對于亮度的偏振光主軸角度的依存 性的正弦函數(shù)曲線上的振幅調制度P以及相位信息Φ。如果通過以上的處理，針對每個三 角形區(qū)域G1-G2-G3確定了正弦函數(shù)的A、B、C的3個參數(shù)，則可以求出表示各像素中的偏光 度P的偏光度圖像和表示各像素中的偏振相位Φ的偏振相位圖像。偏光度P表示該像 素的光偏振的程度，偏振相位Φ表示取正弦函數(shù)的最大值的角度位置。該角度是在圖像面 內部表示當來自被攝體的反射光引起內部漫射反射的情況下的被攝體的表面法線存在的 面的角度。并且，偏振光主軸的角度0°和180° (π)相同。數(shù)值P、Φ (0彡Φ彡π )分別通過以下的(公式6)以及(公式7)計算出。公式6

式6)公式7
并且，針對每個三角形區(qū)域G1-G2-G3求得上述偏光度和偏振相位意味著偏光度 圖像幀存儲器105以及偏振相位幀存儲器106的圖像成為三角形像素的結構。(G的色彩亮度的內插)圖9描述了圖4(b)或圖5(b)中的8個三角形像素的集合，三角形的各頂點(a) (i)對應于由G的偏振光像素Gl、G2、G3中的任意一個構成的9個像素。在本發(fā)明的優(yōu)選實施方式中，如圖9所示，色彩亮度內插也以三角形像素為單位實施。如果將各頂點像素的 觀測亮度設為Ia Ie，則將由圖中所示的(a) (b) (e) (d)構成的斜正方形進行上下分割后的 三角形(a) (b) (d)的G亮度即Gu以及三角形(b) (e) (d)的G亮度即Gd可通過以下的(公 式8)以及(公式9)求出。公式8
公式9
公式8、公式9中的常數(shù)2是在非偏振的光透射了直線偏振光的情況下光量變?yōu)?1/2的現(xiàn)象的校正項。另外，這些公式中的T表示偏振器的透射率，是T不為100%的修正 項。同樣，圖8的所有三角形區(qū)域中的G亮度Gl^PGd可以求出。并且，這些三角形像 素分別成為1個具有亮度的單位。(B的色彩亮度的內插)圖9是表示為了獲取圖4(b)或圖5(b)所示的三角形像素的B的色彩亮度所需的 像素的圖。圖9所示的9個頂點(a) (i)構成三角形像素的頂點，與G的偏振光像素1、 2、3中的任意一個對應。在圖9，作為用于獲取內插所需要的數(shù)據(jù)的像素位置，圖示了通過 上述頂點(a) ⑴構成的三角形像素的外側的4個頂點(α)(β)(Υ)(δ)以及外側的 頂點(μ) (ν).在圖9中，用虛線圍起來的矩形區(qū)域901 904表示具有B色彩亮度的正方形像
οB像素位于矩形區(qū)域901 904內，B像素的面積占三角形像素的面積的50%。作 為上下的三角形像素也采用該值。如果基于該想法，則在圖9中存在B值的是畫了斜線的 區(qū)域。具體而言，為斜正方形(b) (c) (f) (e)、斜正方形(e) (h) (g) (d)、三角形(a)(b) (a)、 三角形(a) (d) ( β )、三角形(f) ( γ ) (i)、三角形(h)⑴⑷。欠缺B亮度的三角形區(qū)域是斜正方形(a) (b) (e) (d)以及斜正方形(e) (f)⑴(h) 中所分別包含的2個白色區(qū)域所示的三角形。這些三角形像素中的B色彩亮度必須通過內 插生成。而且，可通過將矩形區(qū)域901 904的B色彩亮度進行平均來實施內插。例如，如 果將矩形區(qū)域901的B亮度記載為B9tll，則可以通過以下的(公式10)計算出內插值。公式10
其中，需要將斜正方形的區(qū)域上下分割為2個三角形像素。利用B色彩亮度和G 色彩亮度的相關性，通過以下的(公式11)計算每個三角形像素的B色彩亮度Bu、Bd。公式11
(式11) 圖10是表示為了獲取圖4(b)或圖5(b)所示的三角形像素的R的色彩亮度所需 的像素的圖。作為內插所需要的數(shù)據(jù)，也描述了由頂點(a) (i)構成的三角形像素的外 側的G像素位置即4個頂點(ε ) ( ζ ) ( η) ( θ )。在此，根據(jù)與上述B像素相同的想法，存在 R像素的是畫斜線的區(qū)域。具體而言是斜正方形(a) (b) (e) (d)、斜正方形(e) (f) (i) (h)的 位置、三角形(ε) (c) (b)、三角形(c) (ζ) (f)、三角形(d) (g)(n)、三角形(g) (h) ( θ ) 0(R的色彩亮度的內插)圖10是表示為了獲取圖4(b)或圖5(b)所示的三角形像素的R的色彩亮度所需 的像素的圖。作為內插所需要的數(shù)據(jù)，也描述了由頂點(a) (i)構成的三角形像素的外 側的G像素位置即4個頂點(ε ) ( ζ ) ( η) ( θ )。在此，根據(jù)與上述B像素相同的想法，存在 R像素的是畫斜線的區(qū)域。具體而言是斜正方形(a) (b) (e) (d)、斜正方形(e) (f) (i) (h)的 位置、三角形(ε) (c) (b)、三角形(c) (ζ) (f)、三角形(d) (g)(n)、三角形(g) 0ι)(θ)。不 具有R像素的三角形像素的內插與B像素的內插相同，可根據(jù)以下的(公式12)和(公式 13)計算出。公式12
(式⑵公式13
(式13) 通過以上的處理，生成圖4(b)或圖5(b)所示的每個三角形像素的偏光度圖像和 偏光相位圖像以及(RGB)全色亮度圖像。如果試著將彩色偏振光獲取部的像素結構和在獲得三角形像素圖像的情況下的 像素結構重疊顯示，則三角形像素和本來的正方形圖像在面積上相等。但是，在不使用三角 形像素的情況下，偏振光信息或G色彩亮度的內插結果所處的中心坐標位置會偏離原來的 正方形晶格的坐標系。出于復雜化的擔心而采用了該處理。接下來，參照圖11對圖1中的彩色拼接內插部102的操作進行說明。首先，將在彩色偏振光獲取部101獲取的彩色拼接圖像的數(shù)據(jù)設為存儲于拼接圖 像幀存儲器107中的數(shù)據(jù)。在步驟SllOl中，拼接圖像的G亮度的像素組(G1-G2-G3)被作 為1個單位讀出。在步驟S1102中，使用(公式8)或(公式9)將G亮度內插。在步驟S1103中，在彩色圖像幀存儲器104的G位面中存儲G亮度作為三角形像 素。在步驟S1104中，判斷所有的G亮度的像素組(G1-G2-G3)是否結束。在沒有結束的情況下，反復進行步驟1101 1104的處理。當在步驟S1104中判斷為“結束”的情況下，進 入步驟S1105。接下來，在步驟S1105中，從拼接圖像幀存儲器獲取B亮度和R亮度的像素。該 獲取可并列進行。在步驟S1106中，如果是B亮度則使用(公式10)；如果是R亮度則使用 (公式12)，計算出三角形像素中的B亮度和R基礎。在步驟S1107中，如果是欠缺B亮度 的三角形像素則使用(公式11)；如果是欠缺R亮度的三角形像素則使用(公式13)進行 內插。在步驟S1108中，將上述內插后的B亮度的三角形像素和R亮度的三角形像素存儲 在彩色圖像幀存儲器104的B、R位面中。在步驟S1109中，針對拼接圖 像幀存儲器中所包含的所有B亮度像素、R亮度像素， 判斷上述處理是否結束。當判斷為沒有結束的情況下，重復進行步驟S1105 S1109的處理。作為上述處理的結果，各像素中(RGB)的具有亮度值的色彩亮度圖像I (x、y)的數(shù) 據(jù)在彩色圖像幀存儲器104內生成。該I(x、y)的圖像雖然是三角形像素結構，但是，具有 與使用通常的貝爾彩色拼接的單板彩色拍攝元件相同程度的顏色再現(xiàn)性的全色圖像可內 插生成。接下來，參照圖12對圖1的偏振光信息處理部103的操作進行說明。首先，將由彩色偏振光獲取部101獲取的彩色拼接圖像的數(shù)據(jù)設為拼接圖像幀 存儲器107中所存儲的數(shù)據(jù)。在步驟S1201中，從拼接圖像幀存儲器讀出G亮度像素 (G1-G2-G3)組。接下來，使用G1、G2、G3這些偏振光亮度，利用(公式2)到(公式5)確定 正弦函數(shù)參數(shù)A、B、C。在步驟S1203中，使用(公式6)、(公式7)生成偏光度P和偏振相位Φ。在步驟S1204中，將生成的值存儲在偏振光圖像幀存儲器105和偏振相位圖像幀 存儲器106中的三角形像素的位置上?！钡接刹襟ES1205判斷出拼接圖像幀存儲器的所有像素都結束為止，反復進行 以上的處理。這樣，在偏光度圖像幀存儲器105內生成偏光度圖像P (x, y)的數(shù)據(jù)；另外， 在偏振相位圖像幀存儲器106內生成偏振相位圖像Φ (χ, y)的數(shù)據(jù)。由其形成過程可知， 這些圖像的大小與彩色拼接圖像的圖像結構不同，成為三角形像素的結構。其結果是盡管 只在G像素中配置了圖形化偏振器，但還是可通過與全色圖像I(x、y)相同的像素結構以及 清晰度獲得偏振光信息。并且，圖11以及圖12的處理相互獨立，因此，也可以并列地進行這些處理。另外， 這些處理可以利用軟件實施，也可以利用硬件實施。在本實施方式中，雖然使用由光子結晶形成的圖形化偏振器，但是，也可以使用薄 膜型的偏振光元件、或者利用線柵型或其他原理的偏振光元件。圖13(a)為球體即塑料制成的球的被攝體的輸入圖像。圖13(b)以及(c)分別表 示相對于圖13(a)的被攝體的偏光度圖像P (x、y)以及偏振相位圖像Φ (x、y)的例子。圖 13(a)、(b)示出，各圖像的偏光度P、偏振相位Φ越大，越表示明亮度高。圖14(a)以及(b)是用于說明圖13(b)以及(c)的圖像的示意圖。在偏光度圖 像Ρ (x、y)中，像素位置越是從照相機的視線方向和球的表面法線相同的中心附近向方位 1401方向偏離，該像素的偏光度ρ越增加。另外，在球的表面法線相對于照相機的視線方向接近90°的球的遮蔽邊緣(與背景的邊界)附近，偏光度P成為最大。在圖14(a)中， 用等高線示意性地表示了該偏光度P。由圖14(b)的偏振相位圖像Φ (χ、y)可知，相對于表示相位=0°的圖像的上下 方向的垂線，偏振相位以180°的周期在球體周圍逆時針旋轉地向箭頭1402、1403方向單 調增加。根據(jù)這些偏振光信息圖像可知，偏光度P和偏振相位Φ相當于被攝體的表面法 線的2自由度的方向。即，偏振光信息可推斷被攝體的形狀。 并且，在本實施方式中，雖然將被攝體的反射光中的漫射反射分量的偏光度圖像 和偏振相位圖像作為輸出，但是，其也可以是鏡面反射分量，在該情況下，偏振相位Φ變成 相差90°。另外，作為偏振光信息，除了(P、Φ)這一組合，如果是從圖7的正弦函數(shù)獲得的 信息，則也可以是其他的信息組，也可以是由該信息生成的圖像。例如，從偏振光信息將電 介質被攝體的漫射反射分量和鏡面反射分量作為分量進行分離，這一操作從應用的方面來 講是很重要的。為了在本發(fā)明中進行該操作，使用正弦函數(shù)參數(shù)的Α、C。圖15(a)用與正弦函數(shù)變動的關系表示鏡面反射分量和漫射反射分量的關系。因 此，如果假設將由菲涅耳反射公式確定的一定的折射率和具有照明入射角的鏡面反射的部 分偏振光比率(Specular PFR)設為r，則偏振光信息可以從G彩色分量獲得，公式14
Gs +A
(式 14)所以，可基于此，按照以下的方法求出色彩亮度鏡面反射分量。公式I5

及(式 15) 如上所述生成的圖像的例子如圖15(b) (C)所示。(實施方式2)以下，對本發(fā)明的圖像處理裝置的第2實施方式進行說明。圖1的框圖中也表示過本實施方式的基本結構，因此，在此適當?shù)貐⒄請D1。圖16表示本實施方式的彩色偏振光獲取部101中的像素的配置。本實施方式中的 像素處理裝置的特點在于彩色濾波器的排列與實施方式1中的彩色濾波器的排列不同。 具體而言，與將圖4或圖5所示的貝爾型的正方形晶格排列旋轉45度后的排列等效，相對 于2個G像素，R、B像素分別只配置1個的貝爾排列的性質得到維持。由于增大了受光面 積，所以各自的像素的形狀可以不是正方形而是八角形。在圖16中，作為具有八角形的形 狀的像素的代表例，示意性地記載了擴大的3個像素G1、B、G3。通過采用圖16所示的像素排列，內插后的彩色圖像、偏光度圖像、偏振相位圖像的像素排列結構呈直立，因此，可以生成適于圖像處理的圖像。在圖16的例子中，只在G像素配置了“G1” “G3”這3種偏振器單位而在R像素 以及B像素的位置上沒有配置偏振器單位。雖然在圖16中只表示了 32個像素，但是，在實 際的彩色偏振光獲取部101中，與圖中所示的32個像素塊相同的多個像素塊在與拍攝面平 行的面內被周期性地排列。圖17描述 了三角形G1-G2-G3的集合體。可認為在該三角形內偏振光信息相同， 因此，從以這3種偏振器單位觀測到的亮度獲取上述偏振光信息。與實施方式1相同，該三 角形像素成為偏振光信息獲取以及色彩亮度內插的基本單位。實際的內插處理或處理的流 程圖也與實施方式1所說明的相同，因此省略其說明。最終得到的像素結構成為圖17的正 方形晶格。在實施方式1中為斜的像素結構而在本實施方式中為直立狀態(tài)，因此，優(yōu)點是具 有便于處理的結構。(實施方式3)以下，對本發(fā)明的圖像處理裝置的第3實施方式進行說明。本實施方式的基本結構也在圖1的框圖中表示過，因此，在此適當?shù)貐⒄請D1。圖18表示本實施方式的彩色偏振光獲取部101中的像素的配置。本實施方式的 圖像處理裝置的特點在于成為追加圖形化偏振器的基礎的彩色濾波器的排列與實施方式 1或2在以下方面不同。1)不是基于正方形晶格的排列，而是基于六角形晶格的排列。這表明是像素各錯 開半個像素的排列。2) G像素、B像素、R像素的出現(xiàn)頻率都相等。以這種彩色拼接濾波器為基礎，只在G像素中設置了 3種偏振器G1、G2、G3。雖然 在圖18中只顯示了 9X5 = 45個像素，但是，在實際的彩色偏振光獲取部101中，與圖中所 示的45個像素塊相同的多個像素塊在與拍攝面平行的面內被周期性地排列。各像素單位的形狀可以不是正方形，而是可更加有效利用受光面積的六角形。在 圖18中，作為具有六角形的形狀的像素的代表例，示意性地描述了擴大的3個像素B、G3、 R0在圖18所示的排列中，成為信息獲取單位的三角形的形狀與第1、第2實施方式相 比，接近于正三角形，具有在從3種偏振光像素的信息獲取中偏差少的優(yōu)點。圖19描述了三角形G1-G2-G3的集合體。該等腰三角形的3個邊的長度如以下的 (公式16)所示。公式16
另一方面，第1、第2實施方式的三角形的3個邊如以下的(公式17)所示。公式17
由于在該局部的三角形內可認為偏振光信息相同，所以，能夠從以這3種偏光器 單位觀測到的亮度獲取以下的偏振光信息。即，該三角形成為偏振光信息獲取以及色彩亮度內插的基本單位這一內容與第1、第2實施方式相同。(偏振光信息)由圖19的結構可知，從具有僅G顏色的不同的3種偏振光信息的三角形區(qū)域可以 獲得1個偏振光信息。如在其他的實施方式中所詳細說明的那樣，在本實施方式中也可以 將平面作為三角形區(qū)域的像素的集合體來獲得偏光度圖像和偏振相位圖像信息。(G的色彩亮度的內插)圖20所示的點(a) (i)表示圖19的三角形的集合體的頂點。因此，可將各三 角形視為1個像素，將各三角形像素的G色彩亮度作為位于3個頂點的G1、G2、G3的平均值 進行內插。例如，將以點(b) (f) (e)作為頂點的三角形像素的G色彩亮度表示為Gb★的情 況下，亮度&+6可以通過以下的(公式18)計算。公式18
其中，Ib、If、Ie分別為在位于點(b)、(f)、(e)的G像素中觀測的G色彩亮度。(B、R的色彩亮度的內插)圖21、圖22是描述圖19中的三角形的集合的圖。圖21、圖22中表示了頂點與G 的偏振光像素G1、G2、G3中的任意一個對應的點(a) (i)的9個像素。在此，欠缺B色彩 亮度或R色彩亮度的三角形區(qū)域由周圍的三角形進行內插。在進行B色彩亮度的內插的情 況下，如圖21的箭頭所示，該內插利用周圍的3種三角形區(qū)域進行。在內插R色彩亮度的 情況下，如圖22的箭頭所示，使用周圍的3種三角形區(qū)域進行。例如，將以點(b) (f) (e)為頂點的三角形像素的B色彩亮度表示為Bb_f_e的情況下， 亮度Bb_f_e可以通過以下的(公式19)計算。公式19
另外，例如，將以點(e)(h)(d)為頂點的三角形像素的B色彩亮度表示為Bb_f_e的 情況下，亮度Re-h_d可以通過以下的(公式20)計算。公式20
通過以上處理，針對每個三角形區(qū)域，生成偏光度圖像和顯示各像素中的偏振相 位Φ的偏振相位圖像以及(RGB)全色亮度圖像。如圖1所示，上述各實施方式不僅具有彩色偏振光獲取部101，還具有彩色拼接內 插部102等的圖像處理部，但是，本發(fā)明不是作為這種圖像處理裝置，而是作為拍攝裝置也 可以實現(xiàn)。即，可作為具有圖2中舉例所示的彩色拼接濾波器201、圖形化偏振器202以及 拍攝元件像素203的拍攝裝置來實施本發(fā)明。圖23是表示本發(fā)明的拍攝裝置的實施方式的結構的框圖。本實施方式的拍攝裝置232具有實施方式1 3中的透鏡100、彩色偏振光獲取 部101、以及拼接圖像幀存儲器107，另外還具有用于將拼接圖像幀存儲器107的數(shù)據(jù)輸出到外部的輸出部108a。本實施方式中的透鏡100、彩色偏振光獲取部101以及拼接圖像幀存儲器107的結構以及操作如實施方式1 3所說明的那樣，因此，在此不重復其說明。輸出部108a具有 讀出拼接圖像幀存儲器107中所記錄的數(shù)據(jù)，并向外部輸出的功能。從本實施方式中的拍攝裝置232輸出的信號被輸入到圖23所示的處理裝置234 中。在圖23所示的處理裝置234中，輸入部108b接收來自拍攝裝置232的信號，并將數(shù)據(jù) 記錄在幀存儲器109中。拼接圖像的數(shù)據(jù)被從幀存儲器109按順序讀出，并被發(fā)送到彩色 拼接內插部102，進行內插處理。內插處理的結果是每個像素存儲在由RGB的3位面結構 構成的彩色圖像幀存儲器104中，還適當?shù)剡M行讀出。另外，像素信號被從幀存儲器109中 按順序讀出，并被發(fā)送到偏振光信息處理部103。這些像素信號由偏振光信息處理部103進 行處理，并被保存在偏光度圖像幀存儲器105以及偏振相位圖像幀存儲器106中。從偏光 度圖像幀存儲器105輸出偏光度圖像(P)的數(shù)據(jù)，從偏振相位圖像幀存儲器106輸出偏振 相位圖像(Φ)的數(shù)據(jù)。處理裝置234可以是內置了執(zhí)行例如圖12所示的處理的軟件程序的通用計算機， 也可以是為實施本發(fā)明而制造的處理裝置。(產(chǎn)業(yè)上的可利用性)本發(fā)明的圖像處理裝置以及圖像處理方法可以同時獲取來自被攝體的彩色信息 和偏振光信息，因此，可以應用于各種數(shù)字靜態(tài)照相機、數(shù)字攝像機、監(jiān)控攝像機、車載攝像 機等。
權利要求
一種圖像處理裝置，具有彩色偏振光獲取部，其包括單板彩色拍攝元件，該單板彩色拍攝元件具有彩色拼接濾波器、以及具有不同的至少3種角度的透射偏振面的多個偏振器單位被設置在上述彩色拼接濾波器內的同一顏色的多個像素中的圖形化偏振器；偏振光信息處理部，其用正弦函數(shù)，對在上述同一顏色的多個像素中透射過上述偏振器單位的光的亮度與上述偏振器單位的透射偏振面的角度的關系進行近似；以及彩色拼接內插部，其通過進行色彩亮度的內插，將透射偏振面的角度彼此不同、并且由相鄰的3個偏振器單位形成的三角形區(qū)域作為像素單位，來生成色彩亮度圖像。
2.根據(jù)權利要求1所述的圖像處理裝置，其中，上述圖形化偏振器具有透射偏振面的角度彼此不同的3種偏振器單位相鄰配置的結構。
3.根據(jù)權利要求1所述的圖像處理裝置，其中，上述彩色拼接濾波器具有單一特定顏色的像素排列成鋸齒狀的結構， 上述偏振器單位配置在上述排列成鋸齒狀的像素中。
4.根據(jù)權利要求1所述的圖像處理裝置，其中，上述彩色拼接濾波器具有將單一特定顏色的像素被排列成鋸齒狀的正方形晶格旋轉 45度的結構，上述偏振器單位配置在上述排列成鋸齒狀的像素中。
5.根據(jù)權利要求4所述的圖像處理裝置，其中， 各像素具有八角形的形狀。
6.根據(jù)權利要求3所述的圖像處理裝置，其中，上述單一特定顏色為R、G、B中的G，其中R為紅色，G為綠色，B為藍色。
7.根據(jù)權利要求4所述的圖像處理裝置，其中，上述單一特定顏色為R、G、B中的G，其中R為紅色，G為綠色，B為藍色。
8.根據(jù)權利要求1所述的圖像處理裝置，其中，上述彩色拼接濾波器具有各像素為六角形形狀的六角形晶格結構， 上述偏振器單位配置在上述排列的單一特定顏色的像素中。
9.根據(jù)權利要求1所述的圖像處理裝置，其中，上述彩色拼接內插部通過在應該內插色彩亮度的像素的旁邊，將在同一顏色的像素中 觀測到的亮度平均化，來消除偏振光的效果，并對色彩亮度進行內插，上述同一顏色的像素 具有透射偏振面的角度彼此相差60°的3種偏振器單位。
10.一種圖像處理方法，具有利用在彩色像素排列中的單一特定顏色的多個像素中設置了透射偏振面的角度不同 的3種偏振器單位的單板彩色拍攝元件，來觀測各像素的亮度的步驟；從在上述單一特定顏色的透射偏振面的角度不同的3種像素中觀測到的亮度，獲取偏 振光信息的步驟；以及將由上述單一特定顏色的透射偏振面的角度不同的3種像素形成的三角形區(qū)域作為 像素單位來進行色彩亮度的內插，從而生成色彩亮度圖像的步驟。
11.一種拍攝裝置，具有彩色拼接濾波器；圖形化偏振器，其中，具有不同的3種角度的透射偏振面的多個偏振器單位被設置在 上述彩色拼接濾波器內的同一顏色的多個像素中；以及單板彩色拍攝元件，其以像素單位輸出與透射過上述彩色拼接濾波器以及圖形化偏振 器的光的亮度相應的信號。
12.根據(jù)權利要求11所述的拍攝裝置，其中，上述彩色拼接濾波器具有單一特定顏色的像素排列成鋸齒狀的結構， 上述偏振器單位配置在上述排列成鋸齒狀的像素中。
13.根據(jù)權利要求11所述的拍攝裝置，其中，上述彩色拼接濾波器具有將單一特定顏色的像素被排列成鋸齒狀的正方形晶格旋轉 45度的結構，上述偏振器單位配置在上述排列成鋸齒狀的像素中。
14.根據(jù)權利要求13所述的拍攝裝置，其中， 各像素具有八角形的形狀。
15.根據(jù)權利要求11所述的拍攝裝置，其中，上述彩色拼接濾波器具有各像素為六角形形狀的六角形晶格結構， 上述偏振器單位配置在上述排列的單一特定顏色的像素中。
全文摘要
本發(fā)明提供一種圖像處理裝置、圖像處理方法以及攝影裝置。所述圖像處理裝置具有單板彩色拍攝元件，其具有彩色拼接濾波器(201)，以及具有不同的至少3種角度的透射偏振面的多個偏振器單位設置在彩色拼接濾波器(201)內的同一顏色(G)的多個像素中的圖形化偏振器(202)。另外，該裝置還包括具有上述結構的單板彩色拍攝元件的彩色偏振光獲取部(101)；偏振光信息處理部(103)，其用正弦函數(shù)，對在G像素中透射了偏振器單位的光的亮度與偏振器單位的透射偏振面的角度的關系進行近似；彩色拼接內插部(102)，其通過進行色彩亮度的內插，獲得用關注像素所得不到的色彩亮度，生成色彩亮度圖像。
文檔編號H01L27/14GK101868979SQ200880117230
公開日2010年10月20日 申請日期2008年11月28日 優(yōu)先權日2007年12月7日
發(fā)明者佐藤智, 金森克洋 申請人:松下電器產(chǎn)業(yè)株式會社