本技術(shù)涉及圖像處理裝置、圖像處理方法和圖像拾取元件并且能夠生成高準(zhǔn)確度的法線信息。

背景技術(shù)：

在過(guò)去，公開(kāi)了使用成像單元和偏振器來(lái)生成偏振圖像的方法。例如，專利文獻(xiàn)1公開(kāi)了一種方法，在該方法中將偏振器布置于成像單元的前方，以通過(guò)在旋轉(zhuǎn)該偏振器的同時(shí)進(jìn)行拍攝來(lái)生成具有多個(gè)偏振方向的偏振圖像。同時(shí)，還公開(kāi)了通過(guò)使用具有針對(duì)相應(yīng)像素設(shè)置的不同偏振方向的偏振器進(jìn)行一次成像來(lái)生成具有彼此不同的多個(gè)偏振方向的偏振圖像的方法。

此外，根據(jù)具有多個(gè)偏振方向的偏振圖像來(lái)生成與對(duì)象有關(guān)的法線信息。例如，在非專利文獻(xiàn)1和非專利文獻(xiàn)2中，通過(guò)將具有多個(gè)偏振方向的偏振圖像應(yīng)用于模型公式來(lái)生成法線信息。

引用列表

專利文獻(xiàn)

專利文獻(xiàn)1：國(guó)際公開(kāi)第2008/099589號(hào)

非專利文獻(xiàn)

非專利文獻(xiàn)1：lawrenceb.wolff和terrancee.boult:"constrainingobjectfeaturesusingapolarizationreflectancemodel(使用偏振反射模型限制對(duì)象特征)",ieeetransactiononpatternanalysisandmachineintelligence,第13卷,第7號(hào),1991年7月

非專利文獻(xiàn)2：garya.atkinson和edwinr.hancock:"recoveryofsurfaceorientationfromdiffusepolarization(從漫偏振恢復(fù)表面方向)",ieeetransactionsofimageprocessing,第15卷,第6期,1653-1664頁(yè),2006年

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的問(wèn)題

順帶提及，對(duì)象表面上的反射包括鏡面反射和漫反射，其中，偏振方式在相應(yīng)類型的反射之間有所不同。因此，需要通過(guò)考慮反射分量來(lái)處理偏振圖像。

因此，本技術(shù)提供了用于分離或提取反射分量的圖像處理裝置、圖像處理方法和圖像拾取元件。

解決問(wèn)題的方案

根據(jù)本技術(shù)的第一方面，提供了一種圖像處理裝置，該圖像處理裝置包括偏振圖像處理單元，該偏振圖像處理單元使用由圖像拾取元件生成的偏振圖像來(lái)分離或提取反射分量，該圖像拾取元件具有以下配置：針對(duì)多個(gè)偏振方向中的每個(gè)偏振方向設(shè)置有由具有相同偏振方向的多個(gè)像素構(gòu)成的相同偏振像素塊，并且在相同偏振像素塊中設(shè)置有各個(gè)預(yù)定顏色的像素。

在本技術(shù)中，偏振圖像處理單元使用由圖像拾取元件生成的偏振圖像來(lái)分離反射分量或提取漫反射分量，該圖像拾取元件具有以下配置：針對(duì)例如三個(gè)或更多個(gè)方向中的每個(gè)偏振方向設(shè)置有由具有相同偏振方向的多個(gè)像素構(gòu)成的相同偏振像素塊，并且在相同偏振像素塊中設(shè)置有各個(gè)預(yù)定顏色的像素。此外，法線信息生成單元被設(shè)置成根據(jù)分離或提取反射分量之后的偏振圖像來(lái)生成法線信息。例如，在將反射分量分離成漫反射分量和鏡面反射分量的情況下，法線信息生成單元根據(jù)指示漫反射分量的偏振圖像和指示鏡面反射分量的偏振圖像中的每個(gè)偏振圖像來(lái)生成法線信息，并且然后通過(guò)將具有由偏振角的差引起的較大亮度變化的反射分量或相對(duì)于由偏振角的差引起的預(yù)定亮度變化具有較小誤差的反射分量視為主導(dǎo)反射分量來(lái)對(duì)每個(gè)偏振圖像進(jìn)行加權(quán)，由此來(lái)合成法線信息。此外，例如，在漫反射分量被提取的情況下，法線信息生成單元根據(jù)指示漫反射分量的偏振圖像來(lái)生成法線信息。同時(shí)，校正處理單元被設(shè)置成針對(duì)每個(gè)顏色來(lái)調(diào)節(jié)偏振圖像的增益，以使得根據(jù)增益調(diào)節(jié)之后的偏振圖像來(lái)分離或提取反射分量。此外，非偏振圖像生成單元被設(shè)置成根據(jù)偏振圖像來(lái)生成非偏振圖像。

根據(jù)本技術(shù)的第二方面，提供了一種圖像處理方法，該圖像處理方法包括：在偏振圖像處理單元中使用由圖像拾取元件生成的每個(gè)預(yù)定顏色的偏振圖像來(lái)分離或提取反射分量，該圖像拾取元件具有以下配置：在該配置中，針對(duì)多個(gè)偏振方向中的每個(gè)偏振方向設(shè)置有由具有相同偏振方向的多個(gè)像素構(gòu)成的相同偏振像素塊，并且在該相同偏振像素塊中設(shè)置有各個(gè)顏色的像素。

根據(jù)本技術(shù)的第三方面，提供了一種圖像拾取元件，該圖像拾取元件包括：

偏振器，在該偏振器中，針對(duì)多個(gè)偏振方向中的每個(gè)偏振方向設(shè)置有由具有相同偏振方向的多個(gè)像素構(gòu)成的相同偏振像素塊；

濾色器，在該濾色器中，在偏振器的相同偏振像素塊中設(shè)置有各個(gè)預(yù)定顏色的像素；以及

傳感器單元，該傳感器單元基于透過(guò)偏振器和濾色器的物光來(lái)生成圖像信號(hào)。

在本技術(shù)中，濾色器例如以以下方式配置：在像素的行方向和列方向上重復(fù)地設(shè)置用作預(yù)定顏色陣列的像素塊的顏色圖案單元塊，而偏振器以以下方向配置：在像素的行方向和列方向上重復(fù)地設(shè)置用作像素塊的偏振圖案單元塊，在該像素塊中針對(duì)多個(gè)相應(yīng)偏振方向設(shè)置有相同偏振像素塊。通過(guò)生成顏色圖案單元塊與偏振圖案單元塊之間的位置差，在相同偏振像素塊中設(shè)置各個(gè)預(yù)定顏色的像素。

此外，偏振器的相同偏振像素塊的尺寸可以等于顏色圖案單元塊的尺寸。同時(shí)，偏振器可以具有以下配置：例如，在像素的列方向或行方向上交替地設(shè)置有偏振方向彼此正交的相同偏振像素塊，并且濾色器可以具有設(shè)置在相同偏振像素塊中的各個(gè)預(yù)定顏色的像素。此外，例如，偏振器通過(guò)以下方式來(lái)配置：在像素的行方向(或列方向)上以預(yù)定的順序重復(fù)地設(shè)置具有不同偏振方向的相同偏振像素塊，并且在后一行(或后一列)中相對(duì)于前一行(或前一列)在行方向(或列方向)上生成塊位置差，并且在行方向(或列方向)上以預(yù)定的順序重復(fù)地設(shè)置具有與前一行(或前一列)的偏振方向不同的偏振方向的相同偏振像素塊。濾色器可以具有被設(shè)置在相同偏振像素塊中的各個(gè)預(yù)定顏色的像素。此外，偏振器可以具有以下配置：例如，在相同偏振像素塊中設(shè)置非偏振像素，并且濾色器可以設(shè)置非偏振像素的顏色，以使得當(dāng)非偏振像素被選擇時(shí)的顏色陣列變?yōu)轭A(yù)定的顏色陣列。此外，濾色器可以具有以下配置：例如，在相同偏振像素塊中設(shè)置有三原色的像素和白色像素。

本發(fā)明的效果

根據(jù)本技術(shù)，對(duì)由圖像拾取元件生成的偏振圖像執(zhí)行分離或提取反射分量的處理，該圖像拾取元件具有以下配置：針對(duì)多個(gè)偏振方向中的每個(gè)偏振方向設(shè)置有由具有相同偏振方向的多個(gè)像素構(gòu)成的相同偏振像素塊，并且在相同偏振像素塊中設(shè)置有各個(gè)預(yù)定顏色的像素。因此，例如，可以通過(guò)考慮反射分量來(lái)生成高準(zhǔn)確度的法線信息。注意，本說(shuō)明書中描述的效果僅用作示例而不應(yīng)被解釋為限制性的。還可能存在其他效果。

附圖說(shuō)明

圖1是示出成像系統(tǒng)的基本配置的圖。

圖2是例示成像單元的配置的圖。

圖3是用于說(shuō)明偏振圖像的生成動(dòng)作的圖。

圖4是示出拾取的圖像和反射分量的圖。

圖5是用于說(shuō)明四個(gè)偏振方向上的像素的亮度值的擬合的圖。

圖6是用于說(shuō)明偏振圖像中的亮度變化的圖。

圖7是例示亮度與偏振角之間的關(guān)系的圖。

圖8是例示(在漫反射的情況下的)偏振度與天頂角之間的關(guān)系的圖。

圖9是例示(在鏡面反射的情況下的)偏振度與天頂角之間的關(guān)系的圖。

圖10是用于說(shuō)明非偏振圖像生成單元的動(dòng)作的圖。

圖11是示出成像系統(tǒng)的基本動(dòng)作的流程圖。

圖12是示出針對(duì)偏振圖像的校正處理的流程圖。

圖13是示出第一實(shí)施方式的配置的圖。

圖14是用于說(shuō)明色差計(jì)算的圖。

圖15是用于說(shuō)明使用hsv空間來(lái)去除鏡面反射分量的處理的圖。

圖16是示出第一實(shí)施方式的動(dòng)作的流程圖。

圖17是示出鏡面反射去除處理的流程圖。

圖18是示出另一鏡面反射去除處理的流程圖。

圖19示出第二實(shí)施方式的配置。

圖20是示出第二實(shí)施方式的動(dòng)作的流程圖。

圖21是例示成像單元的另一配置的圖。

圖22是例示成像單元的另一配置的圖。

圖23是例示成像單元的另一配置的圖。

圖24是例示成像單元的另一配置的圖。

圖25是用于說(shuō)明在設(shè)置白色像素的情況下的配置和動(dòng)作的圖。

圖26是例示在成像單元的另一配置中設(shè)置白色像素的情況的圖。

圖27是例示車輛控制系統(tǒng)的示意性配置的框圖。

圖28是示出成像單元的安裝示例的圖。

具體實(shí)施方式

在下文中，將描述用于執(zhí)行本技術(shù)的模式。注意，將按以下順序給出描述。

1.成像系統(tǒng)的基本配置

2.成像系統(tǒng)的第一實(shí)施方式

3.成像系統(tǒng)的第二實(shí)施方式

4.成像單元的其他配置

5.應(yīng)用示例

<1.成像系統(tǒng)的基本配置>

圖1示出了使用本技術(shù)的圖像處理裝置的成像系統(tǒng)的基本配置。成像系統(tǒng)10具有成像單元20和圖像處理單元30。此外，圖像處理單元30具有例如校正處理單元31、偏振圖像處理單元32、法線信息生成單元35和非偏振圖像生成單元39。

成像單元20使用具有高消光比的偏振光來(lái)生成具有多個(gè)偏振方向的偏振圖像。使用諸如互補(bǔ)金屬氧化物半導(dǎo)體(coms)或電荷耦合器件(ccd)之類的圖像拾取元件來(lái)配置成像單元20。成像單元20在通過(guò)光電轉(zhuǎn)換生成與物光對(duì)應(yīng)的圖像信號(hào)的傳感器單元的成像表面上設(shè)置有偏振器和濾色器。偏振器具有以下配置：針對(duì)多個(gè)偏振方向中的每個(gè)偏振方向設(shè)置有由具有相同偏振方向的多個(gè)像素構(gòu)成的相同偏振像素塊，以使得可以生成具有高消光比的偏振圖像。濾色器具有以下配置：在偏振器的相同偏振像素塊中設(shè)置有各個(gè)預(yù)定顏色的像素。成像單元20基于透過(guò)偏振器和濾色器的物光向圖像處理單元30輸出由傳感器單元生成的圖像信號(hào)。

圖2例示了成像單元的配置。圖2的(a)例示了成像單元的偏振器的配置。偏振器21通過(guò)以下方式來(lái)配置：將具有相同偏振方向的2×2像素單元視為相同偏振像素塊，并且在像素的行方向和列方向上重復(fù)地設(shè)置有4×4像素的偏振圖案單元塊，每一個(gè)偏振圖案單元塊均由偏振方向彼此不同的四個(gè)相同偏振像素塊構(gòu)成。注意，在稍后描述的圖2和圖21至圖26的(a)中，將偏振方向圖示為陰影線方向。此外，圖2、圖10、圖14和圖21例示了成像單元中的像素區(qū)域的一部分。

圖2的(b)例示了成像單元的濾色器的配置。例如，濾色器22將紅色像素r、綠色像素g和藍(lán)色像素b中的每一個(gè)視為2×2的像素單元。此外，如圖2的(b)所示，濾色器22具有由一個(gè)紅色像素r、一個(gè)藍(lán)色像素b和兩個(gè)綠色像素g構(gòu)成的顏色圖案單元塊，該顏色圖案單元塊被重復(fù)地設(shè)置在像素的行方向和列方向上以形成作為拜耳陣列的顏色陣列。

如圖2的(c)所示，成像單元20以如下方式設(shè)置有偏振器和濾色器：顏色圖案單元塊相對(duì)于偏振圖案單元塊在水平方向和豎直方向二者上生成一個(gè)像素的位置差。當(dāng)以這種方式設(shè)置偏振器和濾色器時(shí)，將一個(gè)紅色像素r、一個(gè)藍(lán)色像素b和兩個(gè)綠色像素g包括在一個(gè)相同偏振像素塊中。同時(shí)，相同顏色的2×2像素的像素塊包括四個(gè)偏振方向上的像素。通過(guò)按上面所描述的那樣來(lái)配置成像單元，與使用偏振方向以1×1像素為單位進(jìn)行改變的偏振器的情況相比，可以生成具有高消光比的多個(gè)偏振方向的偏振圖像。

圖像處理單元30的校正處理單元31針對(duì)每個(gè)顏色對(duì)由成像單元20生成的偏振圖像的增益進(jìn)行調(diào)節(jié)，以使得偏振圖像處理單元32可以在不受照明光的差異、圖像拾取元件的變化等的影響的情況下執(zhí)行處理。校正處理單元31執(zhí)行例如對(duì)圖像拾取元件的靈敏度變化校正、對(duì)透鏡的陰影校正以及白平衡校正作為校正處理。

靈敏度變化和透鏡的陰影是特定于個(gè)體的，并且根據(jù)像素位置和顏色的不同而不同。因此，校正處理單元31基于公式(1)使用提前通過(guò)測(cè)量等獲得的校正值(增益)gm來(lái)執(zhí)行傳感器變化校正和陰影校正。

bbij＝(baij-bk)×gm...(1)

應(yīng)當(dāng)注意，在公式(1)中，“baij”是在像素位置(i，j)處的像素值，“bk”是黑電平值，并且“bbij”是校正像素值。此外，黑電平值在一些情況下在整個(gè)畫面中使用相同的值，或者在其他情況下使用針對(duì)每個(gè)像素提前測(cè)量的不同值。

白平衡校正是進(jìn)行調(diào)節(jié)使得照明的顏色變?yōu)榘咨男Ｕ?。校正處理單?1可以使用以與常規(guī)成像裝置的自動(dòng)白平衡校正機(jī)制相似的方式計(jì)算的校正值，或者可以使用通過(guò)由用戶自身指定照明條件的機(jī)制計(jì)算的校正值。還可以根據(jù)通過(guò)成像單元20生成的偏振圖像來(lái)計(jì)算校正值。

圖3是用于說(shuō)明偏振圖像的生成動(dòng)作的圖。如圖3所示，使用光源lt來(lái)照亮對(duì)象ob，并且成像單元20對(duì)對(duì)象ob進(jìn)行成像。圖4是示出拾取的圖像和反射分量的圖。圖4的(a)示出了由成像單元生成的拾取圖像，并且該拾取圖像具有圖4的(b)所示的漫反射分量和圖4的(c)所示的鏡面反射分量。注意，漫反射分量的水平和鏡面反射分量的水平根據(jù)偏振方向而改變。鏡面反射通常由照明引起，并且如在后面描述中使用的圖8和圖9所示，鏡面反射與漫反射的偏振度相比容易以更高偏振度進(jìn)行偏振。此外，如圖5所示，在使用四個(gè)偏振方向上的像素的亮度值來(lái)執(zhí)行對(duì)指示相對(duì)于偏振角的亮度變化的偏振模型公式(例如余弦函數(shù))的擬合的情況下，擬合函數(shù)中的振幅分量對(duì)應(yīng)于偏振分量。注意，圖5中的黑圓指示四個(gè)偏振方向上的像素的亮度值。因此，校正處理單元31通過(guò)將該偏振分量視為鏡面反射分量來(lái)針對(duì)每個(gè)顏色執(zhí)行處理，并且可以通過(guò)對(duì)在所有顏色中偏振分量的亮度為高的像素位置簡(jiǎn)單地進(jìn)行檢測(cè)來(lái)檢測(cè)照明的像素位置。相應(yīng)地，計(jì)算校正值，以使得該檢測(cè)的像素位置變?yōu)榘咨?/p>

對(duì)于白平衡校正的校正值而言，參照例如綠色像素來(lái)計(jì)算針對(duì)紅色像素的校正值(增益)gwred和針對(duì)藍(lán)色像素的校正值(增益)gwblue，并且然后基于公式(2)和公式(3)來(lái)校正紅色像素的像素值和藍(lán)色像素的像素值。注意，在公式(2)中，“bdred”指示校正之后的紅色像素的像素值，而“bcred”指示校正之前的紅色像素的像素值。同時(shí)，在公式(3)中，“bdblue”指示校正之后的藍(lán)色像素的像素值，而“bcblue”指示校正之前的藍(lán)色像素的像素值。

bdred＝bcred×gwred...(2)

bdblue＝bcblue×gwblue...(3)

校正處理單元31以該方式對(duì)偏振圖像執(zhí)行白平衡校正并且向偏振圖像處理單元32輸出經(jīng)校正的偏振圖像。

偏振圖像處理單元32根據(jù)經(jīng)校正的偏振圖像來(lái)分離或提取反射分量并且向法線信息生成單元35輸出分離或提取的反射分量的偏振圖像。

法線信息生成單元35根據(jù)分離或提取的反射分量的偏振圖像來(lái)生成法線信息。法線信息生成單元35獲得分離的反射分量的每一個(gè)或提取的反射分量的偏振模型公式。此外，法線信息生成單元35根據(jù)偏振模型公式來(lái)獲得方位角和天頂角以設(shè)置作為法線信息。

圖6是用于說(shuō)明偏振圖像中的亮度變化的圖。如圖6所示，使用光源lt來(lái)照亮對(duì)象ob，并且成像單元cm經(jīng)由偏振片pl對(duì)對(duì)象ob進(jìn)行成像。在這種情況下，已知的是，在由成像單元cm生成的偏振圖像中，對(duì)象ob的亮度隨著偏振片pl的旋轉(zhuǎn)而改變。文中，將在旋轉(zhuǎn)偏振片pl時(shí)的最高亮度設(shè)置為imax，并且將最低亮度設(shè)置為imin。此外，當(dāng)假定二維坐標(biāo)中的x軸和y軸為偏振片pl的平面方向時(shí)，將在旋轉(zhuǎn)偏振片pl時(shí)在xy平面上相對(duì)于x軸的角設(shè)置為偏振角υpol。偏振片pl具有180度的周期，因此偏振片pl在旋轉(zhuǎn)180度時(shí)返回至原偏振狀態(tài)。

圖7例示了亮度與偏振角之間的關(guān)系。圖7的(a)示出了漫反射中的亮度與偏振角之間的關(guān)系，而圖7的(b)示出了鏡面反射中的亮度與偏振角之間的關(guān)系。

在漫反射的情況下，將觀察到最大亮度idmax時(shí)的偏振角υpol設(shè)置為方位角φd。當(dāng)做出這樣的限定時(shí)，可以用公式(4)來(lái)表示指示在旋轉(zhuǎn)偏振片pl時(shí)觀察到的亮度idpol的變化、即由偏振角的差引起的預(yù)定亮度變化的偏振模型公式。

[數(shù)學(xué)公式1]

在公式(4)中，在將最大亮度idmax、最小亮度idmin和方位角φd用作變量的同時(shí)，偏振角υpol在生成偏振圖像時(shí)是明顯的。因此，由于變量的數(shù)量為3個(gè)，因此法線信息生成單元35使用表示具有三個(gè)或更多個(gè)偏振方向的漫反射分量的偏振圖像的亮度來(lái)執(zhí)行對(duì)公式(4)所示的函數(shù)的擬合，并且基于指示亮度與偏振角之間的關(guān)系的函數(shù)來(lái)確定獲得最大亮度的方位角φd。

此外，通過(guò)極坐標(biāo)系統(tǒng)來(lái)表示對(duì)象表面法線并且將法線信息設(shè)置為方位角φd和天頂角θd。注意，假定天頂角θd是從z軸朝向法線方向的角并且假定方位角φd是在y軸方向上相對(duì)于上述x軸的角。文中，即使在使用通過(guò)旋轉(zhuǎn)偏振片pl而獲得的最小亮度idmin和最大亮度idmax時(shí)，也可以通過(guò)計(jì)算公式(5)來(lái)計(jì)算偏振度ρd。

[數(shù)學(xué)公式2]

已知的是，根據(jù)菲涅耳(fresnel)方程，偏振度與天頂角之間的關(guān)系具有例如圖8所示的特性，并且可以根據(jù)圖8所示的特性基于偏振度ρd來(lái)確定天頂角θd。注意，圖8所示的特性是一個(gè)示例，并且特性取決于對(duì)象的折射率而改變。

同時(shí)，在鏡面反射的情況下，將觀察到最小亮度ismin時(shí)的偏振角υpol設(shè)置為方位角φs。當(dāng)做出這樣的限定時(shí)，可以用公式(6)來(lái)表示指示在旋轉(zhuǎn)偏振片pl時(shí)觀察到的亮度ispol、即由偏振角的差引起的預(yù)定亮度變化的偏振模型公式。

[數(shù)學(xué)公式3]

在公式(6)中，在將最大亮度ismax、最小亮度ismin和方位角φs用作變量的同時(shí)偏振角υpol在生成偏振圖像時(shí)是明顯的。因此，由于變量的數(shù)量為3個(gè)，因此法線信息生成單元35使用表示具有三個(gè)或更多個(gè)偏振方向的鏡面反射分量的偏振圖像的亮度來(lái)執(zhí)行對(duì)公式(6)所示的函數(shù)的擬合，并且基于指示亮度與偏振角之間的關(guān)系的函數(shù)來(lái)確定獲得最小亮度的方位角φs。

此外，通過(guò)極坐標(biāo)系統(tǒng)來(lái)表示對(duì)象表面法線并且將法線信息設(shè)置為方位角φs和天頂角θs。注意，假定天頂角θs是從z軸朝向法線方向的角并且假定方位角φs是在y軸方向上相對(duì)于上述x軸的角。文中，即使在使用通過(guò)旋轉(zhuǎn)偏振片pl而獲得的最小亮度ismin和最大亮度ismax時(shí)，也可以通過(guò)計(jì)算公式(7)來(lái)計(jì)算偏振度ρs。

[數(shù)學(xué)公式4]

已知的是，偏振度與天頂角之間的關(guān)系具有例如圖9所示的特性并且可以根據(jù)圖9所示的特性基于偏振度ρs來(lái)確定一個(gè)或兩個(gè)天頂角θd。注意，圖9所示的特性是示例，并且該特性隨著對(duì)象的折射率的不同而改變。此外，圖9例示了確定兩個(gè)天頂角、即天頂角θs1和天頂角θs2的情況。注意，在將在稍后描述的成像系統(tǒng)的第二實(shí)施方式中描述確定兩個(gè)天頂角的情況下的處理。

因此，法線信息生成單元35基于具有三個(gè)或更多個(gè)偏振方向的每個(gè)反射分量的偏振圖像，根據(jù)偏振方向和偏振圖像的亮度來(lái)獲得亮度與偏振角之間的關(guān)系，以確定方位角φd和方位角φs。此外，法線信息生成單元35使用根據(jù)亮度與偏振角之間的關(guān)系而獲得的最大亮度和最小亮度來(lái)計(jì)算偏振度，然后基于指示偏振度與天頂角之間的關(guān)系的特性曲線來(lái)確定與計(jì)算的偏振度對(duì)應(yīng)的天頂角θd和天頂角θs。以這種方式，法線信息生成單元35基于具有三個(gè)或更多個(gè)偏振方向的偏振圖像針對(duì)每個(gè)像素位置來(lái)獲得對(duì)象的法線信息(方位角和天頂角)，以生成法線信息。

此外，由于法線信息生成單元35根據(jù)具有三個(gè)或更多個(gè)偏振方向的偏振圖像來(lái)生成法線信息，因此成像單元的偏振器具有以下配置：在偏振圖案單元塊內(nèi)，包括具有彼此不同的至少三個(gè)偏振方向的相同偏振像素塊。

在輸出與法線信息對(duì)應(yīng)的圖像的情況下，成像系統(tǒng)10設(shè)置有非偏振圖像生成單元39。非偏振圖像生成單元39根據(jù)已被圖像處理單元30的校正處理單元31執(zhí)行校正處理的偏振圖像，生成與未設(shè)置有偏振器的情況對(duì)應(yīng)的非偏振圖像。圖10是用于說(shuō)明非偏振圖像生成單元的動(dòng)作的圖。在成像單元20例如按圖10的(a)所示的那樣(類似于圖2)被配置的情況下，非偏振圖像生成單元39具有包括在具有相同顏色的2×2像素尺寸的塊內(nèi)的彼此不同的四個(gè)偏振方向上的偏振像素。因此，如圖10的(b)所示，非偏振圖像生成單元39針對(duì)具有相同顏色的2×2像素尺寸的每個(gè)塊來(lái)計(jì)算像素值的平均值，以設(shè)置作為非偏振圖像的像素值。通過(guò)執(zhí)行這樣的處理，可以生成水平方向上的像素?cái)?shù)量和豎直方向上的像素?cái)?shù)量分別大致為(1/2)倍并且顏色陣列為拜耳陣列的非偏振圖像。

圖11是示出了成像系統(tǒng)的基本動(dòng)作的流程圖。在步驟st1中，成像系統(tǒng)10生成偏振圖像。成像系統(tǒng)10的成像單元20使用具有高消光比的偏振光來(lái)生成具有多個(gè)偏振方向的偏振圖像，然后進(jìn)行至步驟st2。

在步驟st2中，成像系統(tǒng)10對(duì)偏振圖像執(zhí)行校正處理。成像系統(tǒng)10的校正處理單元31針對(duì)每個(gè)顏色來(lái)調(diào)節(jié)偏振圖像的增益，以使得可以在不受照明光的差異、圖像拾取元件的特性變化等的影響的情況下處理偏振圖像。

圖12是示出了針對(duì)偏振圖像的校正處理的流程圖。在步驟st11中，校正處理單元31獲取偏振圖像。校正處理單元31獲取由成像單元20生成的偏振圖像，然后進(jìn)行至步驟st12。

在步驟st12中，校正處理單元31執(zhí)行傳感器變化校正和陰影校正。校正處理單元31使用以測(cè)量等方式提前獲得的校正值(增益)來(lái)執(zhí)行傳感器變化校正和陰影校正，然后進(jìn)行至步驟st13。

在步驟st13中，校正處理單元31計(jì)算用于白平衡校正的校正值。校正處理單元31基于由常規(guī)成像裝置執(zhí)行的自動(dòng)白平衡校正的機(jī)制、用于由用戶自身指定照明條件的機(jī)制或鏡面反射分量來(lái)計(jì)算用于白平衡校正的校正值(增益)，然后進(jìn)行至步驟st14。

在步驟st14中，校正處理單元31執(zhí)行白平衡校正。校正處理單元31使用在步驟st13中計(jì)算的校正值來(lái)對(duì)偏振圖像執(zhí)行白平衡校正，然后進(jìn)行至圖11的步驟st3。

在步驟st3中，成像系統(tǒng)10對(duì)偏振圖像執(zhí)行反射分量處理。成像系統(tǒng)10的偏振圖像處理單元32根據(jù)在步驟st2中已被執(zhí)行校正處理的偏振圖像來(lái)執(zhí)行分離或提取反射分量的處理，然后進(jìn)行至步驟st4。

在步驟st4中，成像系統(tǒng)10生成法線信息。成像系統(tǒng)10的法線信息生成單元35根據(jù)分離的或提取的反射分量的偏振圖像來(lái)生成法線信息。

在步驟st5中，成像系統(tǒng)10生成輸出圖像。成像系統(tǒng)10的非偏振圖像生成單元39根據(jù)在步驟st2中已被執(zhí)行校正處理的偏振圖像來(lái)生成與未設(shè)置有偏振器的情況對(duì)應(yīng)的非偏振圖像。

如上所述，由于成像單元可以同時(shí)生成具有多個(gè)偏振方向的偏振圖像，因此可以避免偏振圖像的時(shí)間分辨率的劣化。因此，可以容易地獲取例如正在移動(dòng)的對(duì)象的偏振特性。此外，由于成像單元通過(guò)以下方式來(lái)被配置：將具有相同偏振方向的多個(gè)像素設(shè)置作為相同偏振像素塊，并且在相同偏振像素塊中包括各個(gè)顏色的像素，因此可以以具有高消光比的偏振光來(lái)生成偏振圖像。此外，由于通過(guò)使用以具有高消光比的偏振光生成的偏振圖像且考慮反射分量來(lái)生成法線信息，因此可以生成高準(zhǔn)確度的法線信息。

<2.成像系統(tǒng)的第一實(shí)施方式>

接下來(lái)，將描述成像系統(tǒng)的第一實(shí)施方式。第一實(shí)施方式將描述根據(jù)鏡面反射已被去除的偏振圖像來(lái)生成法線信息的情況，以生成在室外條件等條件下會(huì)造成問(wèn)題的鏡面反射的影響減少的法線信息。

圖13示出了第一實(shí)施方式的配置。成像系統(tǒng)10具有成像單元20和圖像處理單元30。此外，圖像處理單元30具有例如校正處理單元31、偏振圖像處理單元32、法線信息生成單元35和非偏振圖像生成單元39，其中，使用鏡面反射去除單元33作為偏振圖像處理單元32。

如上所述，成像單元20使用具有高消光比的偏振光來(lái)生成具有多個(gè)偏振方向的偏振圖像。

成像單元20在傳感器單元的成像表面上設(shè)置有偏振器和濾色器。偏振器具有以下配置：針對(duì)多個(gè)偏振方向中的每個(gè)偏振方向設(shè)置有由具有相同偏振方向的多個(gè)像素構(gòu)成的相同偏振像素塊，以使得可以生成具有高消光比的偏振圖像。濾色器具有以下配置：在偏振器的相同偏振像素塊中設(shè)置有各個(gè)預(yù)定顏色的像素。成像單元20向圖像處理單元30輸出生成的偏振圖像。

圖像處理單元30的校正處理單元31針對(duì)每個(gè)顏色對(duì)由成像單元20生成的偏振圖像的增益進(jìn)行調(diào)節(jié)，以使得鏡面反射去除單元33可以在不受照明光的差異、圖像拾取元件的特性變化等的影響的情況下執(zhí)行處理。校正處理單元31執(zhí)行例如對(duì)圖像拾取元件的靈敏度變化校正、對(duì)透鏡的陰影校正以及白平衡校正作為校正處理，然后向鏡面反射去除單元33輸出經(jīng)校正的偏振圖像。

鏡面反射去除單元33從經(jīng)校正的偏振圖像中去除鏡面反射分量，以便減少鏡面反射的影響。鏡面反射去除單元33向法線信息生成單元35輸出鏡面反射分量已被去除的偏振圖像、即通過(guò)提取漫反射分量而獲得的偏振圖像。

鏡面反射由于在成像場(chǎng)景中處于主導(dǎo)的光源而發(fā)生。此外，由于在白平衡的校正時(shí)根據(jù)照明的顏色來(lái)調(diào)整校正值，因此認(rèn)為生成鏡面反射的照明的顏色是消色差的。在這種情況下，表示照明的顏色的rgb值具有相同的值，因此可以通過(guò)獲得色差來(lái)去除鏡面反射分量。相應(yīng)地，鏡面反射去除單元33基于公式(8)針對(duì)每個(gè)相同偏振像素塊、即如圖14所示的黑圓的每個(gè)位置，根據(jù)已被校正處理單元31執(zhí)行白平衡校正等的偏振圖像來(lái)獲得色差i'υpol。鏡面反射去除單元33針對(duì)每個(gè)相同偏振像素塊而使用該塊內(nèi)的紅色像素的像素值rυpol、綠色像素的像素值gυpol和藍(lán)色像素的像素值bυpol來(lái)執(zhí)行這樣的處理，從而生成僅具有漫反射分量的偏振圖像，即鏡面反射分量已被去除的圖像。注意，在顏色陣列被配置為如圖14所示的拜耳陣列的情況下，例如，將兩個(gè)綠色像素的像素值gυ1和像素值gυ2的平均值作為綠色像素的像素值gυpol。

[數(shù)學(xué)公式5]

此外，例如，在光源是白光的假設(shè)下，鏡面反射去除單元33生成光源的鏡面反射分量被去除的偏振圖像。對(duì)于去除鏡面反射分量而言，可以使用例如在以下文獻(xiàn)中公開(kāi)的技術(shù)：“d.miyazaki,r.tan,k.hara,和k.ikeuchi.的polarization-basedinverserenderingfromasingleview(從單個(gè)視點(diǎn)的基于偏振的逆渲染).proceedingsofinternationalconferenceoncomputervision,982-987頁(yè),2003年”。也就是說(shuō)，基于公式(9)將顏色空間從rgb空間轉(zhuǎn)換成m空間，然后基于公式(10)生成鏡面反射分量被去除的圖像。通過(guò)基于公式(11)將鏡面反射分量被去除的圖像從m空間返回至rgb空間，可以生成鏡面反射分量已被去除的偏振圖像。

[數(shù)學(xué)公式6]

此外，鏡面反射去除單元33可以使用例如在以下文獻(xiàn)中描述的技術(shù)來(lái)去除鏡面反射分量：“imageprocessingsocietyresearchreport(圖像處理社會(huì)研究報(bào)告)2006-cvim-155,2006年9月9日,realtimeremovalofspecularreflectioncomponentbasedondichromaticreflectionmodel(基于雙反射模型的鏡面反射分量的實(shí)時(shí)去除),tomoakihigo,daisukemiyazaki,katsushiikeuchi”。該技術(shù)利用漫反射分量的飽和度和亮度(強(qiáng)度)在被投射到hsv空間上時(shí)在一個(gè)色相空間中具有比例關(guān)系的事實(shí)。圖15是用于說(shuō)明使用hsv空間去除鏡面反射分量的處理的圖。如圖15的(b)所示，鏡面反射去除單元33針對(duì)每個(gè)色相使用如圖15的(a)所示的通過(guò)轉(zhuǎn)換rgb空間而獲得的hsv空間來(lái)繪制飽和度與亮度之間的關(guān)系。此外，如圖15的(c)所示，鏡面反射去除單元33針對(duì)近似直線la去除亮度比提前設(shè)置的預(yù)定量高的分量作為鏡面反射分量。

法線信息生成單元35根據(jù)鏡面反射分量已被去除的偏振圖像、即僅指示漫反射分量的偏振圖像來(lái)生成法線信息。由于偏振圖像僅指示漫反射分量，因此法線信息生成單元35使用該偏振圖像中的四個(gè)偏振方向上的像素的亮度來(lái)執(zhí)行對(duì)公式(4)所示的函數(shù)的擬合，并且基于指示亮度與偏振角之間的關(guān)系的函數(shù)來(lái)確定獲得最大亮度的方位角φd。此外，通過(guò)計(jì)算公式(5)來(lái)計(jì)算偏振度ρd，并基于偏振度ρd來(lái)確定天頂角θ。法線信息生成單元35將指示確定的方位角φd和天頂角θd的信息設(shè)置作為法線信息。

圖16是示出了第一實(shí)施方式的動(dòng)作的流程圖。在步驟st21中，成像系統(tǒng)10生成偏振圖像。如在圖11的步驟st1中那樣，成像系統(tǒng)10的成像單元20使用具有高消光比的偏振光來(lái)生成具有多個(gè)偏振方向的偏振圖像，然后進(jìn)行至步驟st22。

在步驟st22中，成像系統(tǒng)10對(duì)偏振圖像執(zhí)行校正處理。如在圖11所示的步驟st2中那樣，成像系統(tǒng)10的校正處理單元31針對(duì)每個(gè)顏色來(lái)調(diào)節(jié)偏振圖像的增益，以使得可以在不受照明光的差異、圖像拾取元件的特性變化等的影響的情況下處理偏振圖像，然后進(jìn)行至步驟st23。

在步驟st23中，成像系統(tǒng)10對(duì)偏振圖像執(zhí)行鏡面反射去除處理。成像系統(tǒng)10的鏡面反射去除單元33使用上述技術(shù)，根據(jù)在步驟st22中已被執(zhí)行校正處理的偏振圖像來(lái)執(zhí)行去除鏡面反射分量的處理，以生成漫反射分量的偏振圖像，然后進(jìn)行至步驟st24。

圖17是示出了鏡面反射去除處理的流程圖。注意，圖17示出針對(duì)每個(gè)偏振方向來(lái)計(jì)算色差的情況。在步驟st31中，鏡面反射去除單元33獲取偏振圖像。鏡面反射去除單元33獲取已由校正處理單元31執(zhí)行校正處理的偏振圖像，然后進(jìn)行至步驟st32。

在步驟st32中，鏡面反射去除單元33計(jì)算色差。鏡面反射去除單元33使用具有相同偏振方向的相同偏振像素塊中的紅色像素的像素值、綠色像素的像素值和藍(lán)色像素的像素值來(lái)計(jì)算色差，然后進(jìn)行至步驟st33。

在步驟st33中，鏡面反射去除單元33執(zhí)行色差輸出處理。如上所述，由于色差具有不受鏡面反射分量的影響的值，因此鏡面反射去除單元33向法線信息生成單元35輸出指示在步驟st32中計(jì)算的色差的偏振圖像。

圖18是示出另一鏡面反射去除處理的流程圖。注意，圖18示出生成鏡面反射分量已被去除的偏振圖像的情況。在步驟st41中，鏡面反射去除單元33獲取偏振圖像。鏡面反射去除單元33獲取已由校正處理單元31執(zhí)行校正處理的偏振圖像，然后進(jìn)行至步驟st42。

在步驟st42中，鏡面反射去除單元33生成鏡面反射去除圖像。鏡面反射去除單元33使用在上述文獻(xiàn)中公開(kāi)的技術(shù)來(lái)生成鏡面反射分量已被去除的偏振圖像，然后進(jìn)行至步驟st43。

在步驟st43中，鏡面反射去除單元33執(zhí)行偏振圖像輸出處理。鏡面反射去除單元33向法線信息生成單元35輸出在步驟st42中生成的偏振圖像、即漫反射分量的偏振圖像。

在圖16的步驟st24中，成像系統(tǒng)10生成法線信息。成像系統(tǒng)10的法線信息生成單元35根據(jù)指示漫反射分量的偏振圖像來(lái)生成法線信息。

在步驟st25中，成像系統(tǒng)10生成輸出圖像。成像系統(tǒng)10的非偏振圖像生成單元39根據(jù)在步驟st22中已被執(zhí)行校正處理的偏振圖像來(lái)生成與未設(shè)置有偏振器的情況對(duì)應(yīng)的非偏振圖像。

如上所述，在第一實(shí)施方式中，可以從偏振圖像去除鏡面反射分量。此外，根據(jù)指示漫反射分量的偏振圖像來(lái)生成法線信息，該指示漫反射分量的偏振圖像是通過(guò)從偏振圖像中去除鏡面反射分量而獲得的。因此，盡管鏡面反射和漫反射在對(duì)象表面發(fā)生，但可以去除鏡面反射的影響并且生成具有高準(zhǔn)確度的法線信息。此外，如上述基本配置的情況那樣，可以防止偏振圖像的時(shí)間分辨率的劣化。此外，可以使用具有高消光比的偏振光來(lái)生成偏振圖像并且可以根據(jù)該偏振圖像來(lái)生成法線信息。

<3.成像系統(tǒng)的第二實(shí)施方式>

接下來(lái)，將描述成像系統(tǒng)的第二實(shí)施方式。第二實(shí)施方式將描述使鏡面反射分量和漫反射分量分離并且對(duì)針對(duì)分離之后的每個(gè)反射分量生成的法線信息進(jìn)行合成的情況。

圖19示出了第二實(shí)施方式的配置。成像系統(tǒng)10具有成像單元20和圖像處理單元30。圖像處理單元30具有例如校正處理單元31、偏振圖像處理單元32、法線信息生成單元35和非偏振圖像生成單元39。此外，圖像處理單元30使用反射分量分離單元34作為偏振圖像處理單元32，并且使用鏡面反射法線信息生成單元36、漫反射法線信息生成單元37以及法線信息合成單元38作為法線信息生成單元35。

如上所述，成像單元20使用具有高消光比的偏振光來(lái)生成具有多個(gè)偏振方向的偏振圖像。

成像單元20在傳感器單元的成像表面上設(shè)置有偏振器和濾色器。偏振器具有以下配置：針對(duì)多個(gè)偏振方向中的每個(gè)偏振方向設(shè)置有由具有相同偏振方向的多個(gè)像素構(gòu)成的相同偏振像素塊，以使得能夠生成具有高消光比的偏振圖像。濾色器具有以下配置：在偏振器的相同偏振像素塊中設(shè)置有各個(gè)預(yù)定顏色的像素。成像單元20向圖像處理單元30輸出生成的偏振圖像。

圖像處理單元30的校正處理單元31針對(duì)每個(gè)顏色對(duì)由成像單元20生成的偏振圖像的增益進(jìn)行調(diào)節(jié)，以使得鏡面反射去除單元33可以在不受照明光的差異、圖像拾取元件的特性變化等的影響的情況下執(zhí)行處理。校正處理單元31執(zhí)行例如對(duì)圖像拾取元件的靈敏度變化校正、對(duì)透鏡的陰影校正以及白平衡校正作為校正處理，然后向反射分量分離單元34輸出經(jīng)校正的偏振圖像。

反射分量分離單元34使鏡面反射分量和漫反射分量分離。反射分量分離單元34可以使用上述技術(shù)來(lái)分離鏡面反射分量。因此，反射分量分離單元34使用與鏡面反射去除單元33的技術(shù)類似的技術(shù)將偏振圖像分離成漫反射分量的偏振圖像和鏡面反射分量的偏振圖像。反射分量分離單元34向鏡面反射法線信息生成單元36輸出鏡面反射分量的偏振圖像并且向漫反射法線信息生成單元37輸出漫反射分量的偏振圖像。

鏡面反射法線信息生成單元36使用具有三個(gè)或更多個(gè)偏振方向的鏡面反射分量的偏振圖像的亮度來(lái)執(zhí)行對(duì)上述公式(6)所示的偏振模型公式的擬合，并且基于指示亮度與偏振角之間的關(guān)系的擬合函數(shù)來(lái)確定獲得最小亮度的方位角φs。鏡面反射法線信息生成單元36還通過(guò)使用最小亮度ismin和最大亮度ismax計(jì)算上述公式(7)來(lái)計(jì)算偏振度ρs，并且根據(jù)圖9所示的特性基于偏振度ρs來(lái)確定一個(gè)或兩個(gè)天頂角θs。鏡面反射法線信息生成單元36向法線信息合成單元38輸出指示確定的方位角φs和天頂角θs的信息作為法線信息。注意，如將在之后描述的，在由法線信息合成單元38進(jìn)行的合成處理期間使用由偏振角的差引起的亮度變化來(lái)執(zhí)行加權(quán)的情況下，鏡面反射法線信息生成單元36向法線信息合成單元38輸出最小亮度ismin和最大亮度ismax。同時(shí)，在由法線信息合成單元38進(jìn)行的合成處理期間使用關(guān)于由偏振角的差引起的預(yù)定亮度變化的誤差來(lái)執(zhí)行加權(quán)的情況下，鏡面反射法線信息生成單元36向法線信息合成單元38輸出擬合誤差es。擬合誤差es是在對(duì)指示預(yù)定亮度變化的公式(6)的偏振模型公式執(zhí)行擬合的情況下的函數(shù)值與偏振圖像的亮度之間的差，并且例如使用針對(duì)各個(gè)偏振方向的函數(shù)值與亮度之間的誤差的累計(jì)值或平均值。

漫反射法線信息生成單元37使用具有三個(gè)或更多個(gè)偏振方向的漫反射分量的偏振圖像的亮度來(lái)執(zhí)行對(duì)上述公式(4)所示的偏振模型公式的擬合，并且基于指示亮度與偏振角之間的關(guān)系的擬合函數(shù)來(lái)確定獲得最大亮度的方位角φd。漫反射法線信息生成單元37還通過(guò)使用最小亮度idmin和最大亮度idmax計(jì)算上述公式(5)來(lái)計(jì)算偏振度ρd，并且根據(jù)圖8所示的特性基于偏振度ρd來(lái)確定天頂角θd。漫反射法線信息生成單元37向法線信息合成單元38輸出指示確定的方位角φd和天頂角θd的信息作為法線信息。注意，如將在之后描述的那樣，在由法線信息合成單元38進(jìn)行的合成處理期間使用由偏振角的差引起的亮度變化來(lái)執(zhí)行加權(quán)的情況下，漫反射法線信息生成單元37向法線信息合成單元38輸出最小亮度idmin和最大亮度idmax。同時(shí)，在由法線信息合成單元38進(jìn)行的合成處理期間使用關(guān)于由偏振角的差引起的預(yù)定亮度變化的誤差來(lái)執(zhí)行加權(quán)的情況下，漫反射法線信息生成單元37向法線信息合成單元38輸出擬合誤差ed。擬合誤差ed是在對(duì)指示預(yù)定亮度變化的公式(4)的函數(shù)執(zhí)行擬合的情況下的函數(shù)值與偏振圖像的亮度之間的差，并且例如使用針對(duì)各個(gè)偏振方向的函數(shù)值與亮度之間的誤差的累計(jì)值或平均值。

法線信息合成單元38對(duì)由鏡面反射法線信息生成單元36生成的法線信息和由漫反射法線信息生成單元37生成的法線信息執(zhí)行合成處理。例如，法線信息合成單元38對(duì)獲取的法線信息求平均作為對(duì)法線信息的合成處理。具體地，基于公式(12)來(lái)執(zhí)行合成處理以生成方位角φds。此外，由于有時(shí)由鏡面反射法線信息生成單元36來(lái)確定天頂角θs1和天頂角θs2，因此基于公式(13)或公式(14)來(lái)執(zhí)行合成處理以確定天頂角θds。

[數(shù)學(xué)公式7]

在|θd-θs1|≤|θd-θs2|的情況下,

在|θd-θs1|＞|θd-θs2|的情況下,

此外，當(dāng)對(duì)由鏡面反射法線信息生成單元36生成的法線信息和由漫反射法線信息生成單元37生成的法線信息執(zhí)行合成處理時(shí)，法線信息合成單元38可以根據(jù)漫反射和鏡面反射中處于主導(dǎo)的反射來(lái)執(zhí)行加權(quán)。例如，可以將由偏振角的差引起的亮度變化用于加權(quán)，或者可以將關(guān)于由偏振角的差引起的預(yù)定亮度變化的誤差用于加權(quán)。

接下來(lái)，將描述使用由偏振角的差引起的亮度變化來(lái)執(zhí)行加權(quán)的情況。法線信息合成單元38將具有由偏振角的差引起的較大亮度變化的反射分量設(shè)置作為主導(dǎo)反射分量。即，法線信息合成單元38通過(guò)針對(duì)每個(gè)反射分量計(jì)算亮度的振幅并選擇具有較大振幅的一個(gè)反射分量來(lái)合成法線信息。此外，由于有時(shí)針對(duì)鏡面反射分量確定兩個(gè)天頂角，因此選擇更接近針對(duì)漫反射分量獲得的天頂角的那一個(gè)天頂角。公式(15)指示用于計(jì)算漫反射分量的振幅ad的公式，而公式(16)指示用于計(jì)算鏡面反射分量的振幅as的公式。

ad＝idmax-idmin...(15)

as＝ismax-ismin...(16)

如公式(17)所示，法線信息合成單元38通過(guò)使用漫反射分量的振幅和鏡面反射分量的振幅進(jìn)行加權(quán)來(lái)執(zhí)行合成處理，以生成方位角φds。同時(shí)，如公式(18)和公式(19)所示，法線信息合成單元38通過(guò)使用漫反射分量的振幅和鏡面反射分量的振幅進(jìn)行加權(quán)來(lái)執(zhí)行合成處理以生成天頂角θds。

[數(shù)學(xué)公式8]

在|θd-θs1|≤|θd-θs2|的情況下,

在|θd-θs1|＞|θd-θs2|的情況下,

接下來(lái)，將描述使用關(guān)于由偏振角的差引起的預(yù)定亮度變化的誤差來(lái)執(zhí)行加權(quán)的情況。法線信息合成單元38通過(guò)選擇具有作為關(guān)于預(yù)定亮度變化的誤差的較小擬合誤差的反射分量來(lái)合成法線信息。此外，由于有時(shí)針對(duì)鏡面反射分量確定兩個(gè)天頂角，因此選擇更靠近針對(duì)漫反射分量獲得的天頂角的那一個(gè)天頂角。如公式(20)所示，法線信息合成單元38通過(guò)使用漫反射分量的擬合誤差ed和鏡面反射分量的擬合誤差es進(jìn)行加權(quán)來(lái)執(zhí)行合成處理以生成方位角φds。同時(shí)，如公式(21)和公式(22)所示，法線信息合成單元38通過(guò)使用漫反射分量的擬合誤差ed和鏡面反射分量的擬合誤差es進(jìn)行加權(quán)來(lái)執(zhí)行合成處理以生成天頂角θds。

[數(shù)學(xué)公式9]

在|θd-θs1|≤|θd-θs2|的情況下,

在|θd-θs1|＞|θd-θs2|的情況下,

此外，法線信息合成單元38可以選擇根據(jù)漫反射分量的偏振圖像生成的法線信息和根據(jù)鏡面反射分量的偏振圖像生成的法線信息中的一個(gè)作為對(duì)法線信息的合成。文中，法線信息合成單元38選擇漫反射和鏡面反射二者中的處于主導(dǎo)的反射的法線信息。例如，法線信息合成單元38認(rèn)為具有由偏振角的差引起的較大亮度變化的反射是主導(dǎo)的，并且選擇具有漫反射分量的振幅ad或鏡面反射分量的振幅as中的較大幅度的法線信息。替選地，法線信息合成單元38認(rèn)為具有關(guān)于由偏振角的差引起的預(yù)定亮度變化的較小誤差的反射是主導(dǎo)的，并且選擇具有漫反射分量的擬合誤差ed或鏡面反射分量的擬合誤差es中的較小誤差的法線信息。替選地，法線信息合成單元38可以確定相對(duì)于周圍的法線信息的誤差并且選擇具有較小誤差的法線信息。替選地，法線信息合成單元38可以通過(guò)組合這些方法來(lái)選擇法線信息，或者也可以通過(guò)組合另一方法來(lái)選擇法線信息。此外，在鏡面反射分量的法線信息被選擇并且如上所述確定了天頂角θs1和天頂角θs2的情況下，法線信息合成單元38從天頂角θs1和天頂角θs2中選擇與由漫反射分量的法線信息指示的天頂角θd具有較小角度差的天頂角。

圖20是示出第二實(shí)施方式的動(dòng)作的流程圖。在步驟st51中，成像系統(tǒng)10生成偏振圖像。如在圖11的步驟st1中那樣，成像系統(tǒng)10的成像單元20使用具有高消光比的偏振光來(lái)生成具有多個(gè)偏振方向的偏振圖像，然后進(jìn)行至步驟st52。

在步驟st52中，成像系統(tǒng)10對(duì)偏振圖像執(zhí)行校正處理。如在圖11所示的步驟st2中那樣，成像系統(tǒng)10的校正處理單元31針對(duì)每個(gè)顏色來(lái)調(diào)節(jié)偏振圖像的增益，以使得可以在不受照明光的差異、圖像拾取元件的特性變化等的影響的情況下處理偏振圖像，然后進(jìn)行至步驟st53。

在步驟st53中，成像系統(tǒng)10對(duì)偏振圖像執(zhí)行反射分量分離處理。成像系統(tǒng)10的反射分量分離單元34使用上述技術(shù)從在步驟st52中已被執(zhí)行校正處理的偏振圖像分離鏡面反射分量和漫反射分量，然后進(jìn)行至步驟st54和步驟st55。

在步驟st54中，成像系統(tǒng)10基于鏡面反射分量來(lái)生成法線信息。成像系統(tǒng)10的鏡面反射法線信息生成單元36根據(jù)鏡面反射分量的偏振圖像來(lái)生成法線信息，然后進(jìn)行至步驟st56。

在步驟st55中，成像系統(tǒng)10基于漫反射分量來(lái)生成法線信息。成像系統(tǒng)10的漫反射法線信息生成單元37根據(jù)漫反射分量的偏振圖像來(lái)生成法線信息，然后進(jìn)行至步驟st56。

在步驟st56中，成像系統(tǒng)10執(zhí)行法線信息合成處理。成像系統(tǒng)10的法線信息合成單元38對(duì)在步驟st54中獲取的法線信息和在步驟st55中獲取的法線信息進(jìn)行合成。

在步驟st57中，成像系統(tǒng)10生成非偏振圖像。成像系統(tǒng)10的非偏振圖像生成單元39根據(jù)在步驟st52中已被執(zhí)行校正處理的偏振圖像生成與未設(shè)置有偏振器的情況對(duì)應(yīng)的非偏振圖像。

如上所述，在第二實(shí)施方式中，可以從偏振圖像分離鏡面反射分量和漫反射分量。此外，針對(duì)每個(gè)反射分量生成法線信息。此外，合成針對(duì)每個(gè)反射分量生成的法線信息。此外，在合成法線信息期間，根據(jù)在對(duì)象表面的反射中鏡面反射分量和漫反射分量中的處于主導(dǎo)的反射分量來(lái)合成法線信息。因此，可以通過(guò)考慮鏡面反射生成具有高準(zhǔn)確度的法線信息。此外，如在上述基本配置的情況下，可以防止偏振圖像的時(shí)間分辨率的劣化。此外，可以使用具有高消光比的偏振光來(lái)生成偏振圖像并且可以根據(jù)該偏振圖像來(lái)生成法線信息。

<4.成像單元的其他配置>

順帶提及，成像單元的配置不限于圖2所示的配置。圖21例示了成像單元的其他配置，其中，濾色器具有顏色圖案單元塊，該顏色圖案單元塊是在像素的行方向和列方向上重復(fù)設(shè)置的預(yù)定顏色陣列的單元。此外，偏振器將相同偏振像素塊的尺寸設(shè)置成等于顏色圖案單元塊的尺寸。

在圖21中，如圖21的(a)所示，成像單元的偏振器21將具有相同偏振方向的2×2像素單元設(shè)置為相同偏振像素塊。此外，偏振器21具有以下配置：在像素的行方向和列方向上重復(fù)地設(shè)置有由偏振方向彼此不同的四個(gè)相同偏振像素塊構(gòu)成的4×4像素的偏振圖案單元塊。

同時(shí)，如圖21的(b)所示，濾色器22將由一個(gè)紅色像素r、一個(gè)藍(lán)色像素b和兩個(gè)綠色像素g構(gòu)成的2×2像素塊設(shè)置作為顏色圖案單元塊。此外，濾色器22被配置成在像素的行方向和列方向上重復(fù)地設(shè)置有該顏色圖案單元塊的拜耳陣列。

此外，如圖21的(c)所示，偏振器和濾色器被配置成使得相同偏振像素塊的位置與顏色圖案單元塊的位置重合。注意，在稍后描述的圖21的(c)、圖21的(d)、圖22的(c)、圖22的(d)、圖23的(c)、圖23(d)以及圖24的(c)中，以放大的方式示出像素，以使得容易識(shí)別像素的配置。

在以該方式配置成像單元的情況下，由于如圖2所示的情況那樣，相同偏振像素塊以2×2像素為單位，因此可以如圖2所示的成像單元那樣使用具有高消光比的偏振光來(lái)生成偏振圖像。

此外，在使用具有如圖21的(d)所示的配置的成像單元的情況下，非偏振圖像生成單元針對(duì)每個(gè)預(yù)定顏色來(lái)計(jì)算偏振方向彼此不同的最接近的四個(gè)像素的平均像素值，以設(shè)置作為針對(duì)每個(gè)顏色的非偏振圖像的像素值。注意，圖21的(d)例示了紅色像素的情況。在該情況下，與圖10的(b)所示的情況不同，關(guān)于非偏振圖像的像素?cái)?shù)量，在水平方向和豎直方向上的像素?cái)?shù)量不大致為(1/2)倍。此外，由于針對(duì)每個(gè)顏色按順序地對(duì)偏振方向彼此不同的最接近的四個(gè)像素的平均像素值進(jìn)行計(jì)算，以設(shè)置作為非偏振圖像的像素值，因此可以容易地生成顏色陣列是拜耳陣列的非偏振圖像。

在圖22中，如圖22的(a)所示，成像單元的偏振器21將具有相同偏振方向的2×2像素單元設(shè)置作為相同偏振像素塊。此外，在偏振器21中，在像素的行方向和列方向上重復(fù)地設(shè)置由偏振方向彼此不同的四個(gè)相同偏振像素塊構(gòu)成的4×4像素的偏振圖案單元塊。此外，偏振器21被配置成使得例如在水平方向上相鄰的相同偏振像素塊的偏振方向具有90度的差。

同時(shí)，如圖22的(b)所示，濾色器22將由一個(gè)紅色像素r、一個(gè)藍(lán)色像素b和兩個(gè)綠色像素g構(gòu)成的2×2像素塊設(shè)置作為顏色圖案單元塊。此外，濾色器22被配置成在像素的行方向和列方向上重復(fù)地設(shè)置有顏色圖案單元塊的拜耳陣列。

此外，如圖22的(c)所示，偏振器和濾色器被配置成使得相同偏振像素塊的位置與顏色圖案單元塊的位置重合。

在以該方式配置成像單元的情況下，如圖22的(d)所示，非偏振圖像生成單元針對(duì)每個(gè)顏色對(duì)在偏振方向上具有90度的差以及在水平方向上最靠近彼此的兩個(gè)像素的平均值進(jìn)行計(jì)算，以設(shè)置作為非偏振圖像的像素值。因此，與圖10的(b)所示的情況不同，非偏振圖像的像素?cái)?shù)量在水平方向和豎直方向不大致為(1/2)倍。此外，由于將針對(duì)每個(gè)顏色的兩個(gè)像素值的平均值用作非偏振像素值，因此可以容易地生成顏色陣列為拜耳陣列的非偏振圖像。

注意，盡管圖22例示了將偏振方向相差90度的相同偏振像素塊設(shè)置成在水平方向上彼此相鄰的情況，但可以采用用于將相同偏振像素塊設(shè)置成在豎直方向上彼此相鄰的配置。在該情況下，非偏振圖像生成單元39針對(duì)每個(gè)顏色將在偏振方向上具有90度的差并且在豎直方向上彼此最靠近的兩個(gè)像素值的平均值設(shè)置作為非偏振圖像的像素值。

在圖23中，如圖23的(a)所示，在成像單元的偏振器21中，將一個(gè)非偏振像素設(shè)置在以2×2像素為單位的相同偏振像素塊中。此外，在偏振器21中，在像素的行方向和列方向上重復(fù)地設(shè)置由偏振方向彼此不同的四個(gè)相同偏振像素塊構(gòu)成的4×4像素的偏振圖案單元塊。

同時(shí)，如圖23的(b)所示，在濾色器22中，將相同偏振像素塊內(nèi)的三個(gè)偏振像素設(shè)置為紅色像素r、綠色像素g和藍(lán)色像素b。此外，針對(duì)相同偏振像素塊內(nèi)的一個(gè)非偏振像素，將像素的顏色設(shè)置成使得從每個(gè)相同偏振像素塊中選擇非偏振像素時(shí)的顏色陣列成為期望的顏色陣列，例如圖23的(c)所示的拜耳陣列。

如圖23的(d)所示，在以該方式配置成像單元的情況下，非偏振圖像生成單元從每個(gè)相同偏振像素塊中選擇非偏振像素，從而能夠容易地生成水平方向和豎直方向上的尺寸大致為(1/2)倍并且顏色陣列為拜耳陣列的非偏振圖像。此外，由于未使用偏振像素，因此可以生成不受偏振光影響的非偏振圖像。

在圖24中，在成像單元的偏振器21中，以預(yù)定的順序在像素的行方向上重復(fù)地設(shè)置具有不同偏振方向的相同偏振像素塊。此外，在后一行中，在行方向上生成塊位置相對(duì)于前一行的差，并且以預(yù)定的順序在行方向上重復(fù)地設(shè)置具有與前一行的偏振方向不同的偏振方向的相同偏振像素塊。例如，如圖24的(a)所示，偏振器21將具有相同偏振方向的2×2像素單元設(shè)置作為相同偏振像素塊。此外，偏振器21被配置成使得在水平方向上相鄰的相同偏振像素塊的偏振方向具有90度的差。此外，偏振器21被配置成使得關(guān)于被布置在水平方向上的相同偏振像素塊，后一行中的相同偏振像素塊組、即在豎直方向的下側(cè)上相鄰的相同偏振像素塊具有與前一行中的相同偏振像素塊的偏振方向不同的偏振方向，并且相對(duì)于在水平方向上相鄰的相同偏振像素塊在偏振方向上具有90度的差。此外，偏振器21被配置成使得后一行中的相同偏振像素塊組相對(duì)于前一行中的相同偏振像素塊組在水平方向上生成1像素的塊位置差。

同時(shí)，如圖24的(b)所示，濾色器22將由一個(gè)紅色像素r、一個(gè)藍(lán)色像素b和兩個(gè)綠色像素g構(gòu)成的2×2像素塊設(shè)置作為顏色圖案單元塊。此外，濾色器22被配置成在像素的行方向和列方向上重復(fù)地設(shè)置顏色圖案單元塊的拜耳陣列。

此外，如圖24的(c)所示，偏振器和濾色器被配置成使得相同偏振像素塊的位置與顏色圖案單元塊的位置重合。

在以該方式配置成像單元的情況下，如圖22的(d)所示的情況那樣，非偏振圖像生成單元針對(duì)每個(gè)顏色對(duì)在偏振方向上具有90度的差并且在水平方向上彼此最靠近的兩個(gè)像素的平均值進(jìn)行計(jì)算，以設(shè)置作為非偏振圖像的像素值。因此，與圖10的(b)所示的情況不同，關(guān)于非偏振圖像的像素?cái)?shù)量，在水平方向和豎直方向上的像素?cái)?shù)量不大致為(1/2)倍。而且，由于將針對(duì)每個(gè)顏色的兩個(gè)像素值的平均值用作非偏振像素值，因此可以容易地生成顏色陣列為拜耳陣列的非偏振圖像。

注意，盡管圖24例示了將在偏振方向上具有90度的差的相同偏振像素塊并排地設(shè)置在行方向(水平方向)上的情況，但可以將相同偏振像素塊并排地設(shè)置在列方向(豎直方向)上，以使得在隨后列中的相同偏振像素塊組被放置于在豎直方向上移動(dòng)1像素的位置處。在該情況下，非偏振圖像生成單元針對(duì)每個(gè)顏色對(duì)在偏振方向上具有90度的差并且在豎直方向上彼此最靠近的兩個(gè)像素值的平均值進(jìn)行計(jì)算，以設(shè)置作為非偏振圖像的像素值。

此外，由于在后一行(列)中的相同偏振像素塊的塊位置在水平方向(豎直方向)上移動(dòng)1像素，因此與圖22的配置相比能夠提高法線信息的空間分辨率。

此外，圖2和圖21至圖24例示了相同偏振像素塊是由紅色像素、綠色像素和藍(lán)色像素構(gòu)成的情況，但是也可以采用在相同偏振像素塊中設(shè)置有白色像素的配置。圖25是用于說(shuō)明在設(shè)置有白色像素的情況下的配置和動(dòng)作的圖。圖25的(a)例示了在圖2所示的成像單元20中設(shè)置白色像素(w)的情況。在成像單元20中，因?yàn)樵O(shè)置有偏振器所以靈敏度可能會(huì)降低。因此，在等于或低于提前設(shè)置的亮度水平的黑暗圖像部分中，使用如圖25的(b)所示的白色像素來(lái)執(zhí)行橢圓偏振技術(shù)(ellipsometry)。同時(shí)，如圖25的(c)所示，在比設(shè)置的亮度程度更亮的圖像部分中，使用紅色像素、綠色像素和藍(lán)色像素來(lái)執(zhí)行橢圓偏振技術(shù)，以生成法線信息。此外，由于鏡面反射分量在黑暗圖像部分中較小，因此將法線信息生成為僅有漫反射分量的圖像。以這種方式，與未設(shè)置有白像素的情況相比，可以擴(kuò)大生成法線信息的動(dòng)態(tài)范圍。

此外，在鏡面反射分量去除處理期間計(jì)算色差的情況下，如果假定w＝r+g+b，則可以將公式(8)替換成公式(23)。此外，由于白色像素的s/n比好，因此在色差計(jì)算期間白色像素幾乎不受噪聲影響。

[數(shù)學(xué)公式10]

圖26例示了在成像單元的另一配置中設(shè)置有白色像素的情況。圖26的(a)示出了在具有圖21所示的配置的成像單元中設(shè)置有白色像素的情況。圖26的(b)示出了在具有圖22所示的配置的成像單元中設(shè)置有白色像素的情況。圖26的(c)示出了在具有圖24所示的配置的成像單元中設(shè)置有白色像素的情況。

即使采用成像單元的這種其他配置，由于可以同時(shí)生成具有多個(gè)偏振方向的偏振圖像，因此可以防止偏振圖像的時(shí)間分辨率的劣化。此外，由于成像單元通過(guò)以下方式來(lái)配置：將具有相同偏振方向的多個(gè)像素設(shè)置作為相同偏振像素塊，并且將各個(gè)顏色的像素包括在相同偏振像素塊中，因此可以使用具有高消光比的偏振光來(lái)生成偏振圖像。此外，通過(guò)使用利用具有高消光比的偏振光生成的偏振圖像，可以生成具有高準(zhǔn)確度的法線信息。注意，成像單元的顏色陣列不限于拜耳陣列，并且可以使用其他顏色陣列。

此外，在上述實(shí)施方式中，將相同偏振像素塊的尺寸設(shè)置為2×2像素。然而，如果像素尺寸由于成像單元提高至高分辨率而降低，則存在即使用2×2像素的尺寸也不能獲得足夠的消光比的風(fēng)險(xiǎn)。在這種情況下，例如，如果將相同偏振像素塊擴(kuò)大到4×4像素，則可以獲取具有足夠消光比的偏振圖像。還是在這種情況下，例如可以通過(guò)執(zhí)行以下處理容易地生成非偏振圖像：對(duì)具有彼此正交的偏振方向的相同顏色的兩個(gè)接近像素的平均值進(jìn)行計(jì)算、對(duì)具有彼此正交的偏振方向的相同顏色的四個(gè)接近像素的平均值進(jìn)行計(jì)算、或根據(jù)針對(duì)平均值已被計(jì)算的像素位置之間的像素計(jì)算的平均值來(lái)計(jì)算像素值。

注意，在上述流程圖中指示的處理不限于以步驟順序執(zhí)行處理的順序處理，而是還可以通過(guò)流水線處理或并行處理來(lái)執(zhí)行。此外，濾色器不限于以上描述的原色系統(tǒng)，而是還可以使用互補(bǔ)色系統(tǒng)的濾色器。

<5.應(yīng)用示例>

接下來(lái)，將描述圖像處理裝置(圖像處理方法)的應(yīng)用示例。圖27是例示使用本技術(shù)的圖像處理裝置的車輛控制系統(tǒng)的示意性配置的框圖。車輛控制系統(tǒng)90包括經(jīng)由通信網(wǎng)絡(luò)920連接的多個(gè)控制單元和檢測(cè)單元。在圖27所示的示例中，車輛控制系統(tǒng)90包括驅(qū)動(dòng)系統(tǒng)控制單元931、車身系統(tǒng)控制單元932、電池控制單元933、車輛外部信息檢測(cè)單元934、無(wú)線通信單元935和集成控制單元940。通信網(wǎng)絡(luò)920可以是符合任意標(biāo)準(zhǔn)的車載通信網(wǎng)絡(luò)，例如控制器局域網(wǎng)(can)、本地互連網(wǎng)絡(luò)(lin)、局域網(wǎng)(lan)和flexray(注冊(cè)商標(biāo))。此外，輸入單元951、音頻輸出單元952和顯示單元953連接至集成控制單元940。

每個(gè)控制單元包括用于根據(jù)各種程序執(zhí)行計(jì)算處理的微計(jì)算機(jī)、用于存儲(chǔ)由微計(jì)算機(jī)執(zhí)行的程序或用于各種計(jì)算任務(wù)的參數(shù)等的存儲(chǔ)單元以及用于驅(qū)動(dòng)要被控制的各種裝置的驅(qū)動(dòng)電路。

驅(qū)動(dòng)系統(tǒng)控制單元931根據(jù)各種程序?qū)εc汽車的驅(qū)動(dòng)系統(tǒng)有關(guān)的裝置的動(dòng)作進(jìn)行控制。例如，驅(qū)動(dòng)系統(tǒng)控制單元931充當(dāng)用于生成車輛的驅(qū)動(dòng)力的驅(qū)動(dòng)力生成裝置例如內(nèi)燃機(jī)或驅(qū)動(dòng)馬達(dá)、用于向輪傳輸驅(qū)動(dòng)力的驅(qū)動(dòng)力傳輸機(jī)構(gòu)以及用于調(diào)節(jié)車輛轉(zhuǎn)向角的轉(zhuǎn)向機(jī)構(gòu)。此外，驅(qū)動(dòng)系統(tǒng)控制單元931可以具有作為諸如用于生成車輛的制動(dòng)力的制動(dòng)裝置之類的控制裝置的功能、或作為諸如防抱死制動(dòng)系統(tǒng)(abs)或電子穩(wěn)定控制(esc)之類的控制裝置的功能。

車輛狀態(tài)檢測(cè)單元9311連接至驅(qū)動(dòng)系統(tǒng)控制單元931。例如，車輛狀態(tài)檢測(cè)單元9311包括用于檢測(cè)車身的軸向旋轉(zhuǎn)運(yùn)動(dòng)的角速度的陀螺儀傳感器、用于檢測(cè)車輛的加速度的加速度傳感器或用于檢測(cè)加速踏板的操作量、制動(dòng)踏板的操作量、方向盤的轉(zhuǎn)向角、引擎速度、運(yùn)行速度等的傳感器中的至少一個(gè)。驅(qū)動(dòng)系統(tǒng)控制單元931使用從車輛狀態(tài)檢測(cè)單元9311輸入的信號(hào)來(lái)執(zhí)行計(jì)算處理并且對(duì)內(nèi)燃機(jī)、驅(qū)動(dòng)馬達(dá)、電動(dòng)助力轉(zhuǎn)向裝置、制動(dòng)裝置等進(jìn)行控制。

車身系統(tǒng)控制單元932根據(jù)各種程序?qū)ρb配在車身上的各種裝置的動(dòng)作進(jìn)行控制。例如，車身系統(tǒng)控制單元932充當(dāng)無(wú)鑰匙進(jìn)入系統(tǒng)、智能鑰匙系統(tǒng)、電動(dòng)窗裝置或用于各種燈例如前照燈、尾燈、剎車燈、轉(zhuǎn)向信號(hào)燈、霧燈等的控制裝置。在這種情況下，車身系統(tǒng)控制單元932可以接收從替代鑰匙的便攜式設(shè)備發(fā)送的無(wú)線電波或來(lái)自各種開(kāi)關(guān)的信號(hào)的輸入。車身系統(tǒng)控制單元932接受上述無(wú)線電波或信號(hào)的輸入并且對(duì)車輛的門鎖裝置、電動(dòng)窗裝置、燈等進(jìn)行控制。

電池控制單元933根據(jù)各種程序來(lái)控制作為驅(qū)動(dòng)馬達(dá)的電力供給源的二次電池9331。例如，將諸如電池溫度、電池輸出電壓、電池的剩余容量等的信息從包括二次電池9331的電池裝置輸入至電池控制單元933。電池控制單元933使用這些信號(hào)來(lái)執(zhí)行計(jì)算處理并且對(duì)包括在電池裝置中的二次電池9331或冷卻裝置等的溫度調(diào)節(jié)進(jìn)行控制。

車輛外部信息檢測(cè)單元934檢測(cè)安裝有車輛控制系統(tǒng)90的車輛外部的信息。在車輛外部信息檢測(cè)單元934中，利用使用了本技術(shù)的圖像處理裝置的成像系統(tǒng)。

圖28是示出成像單元的安裝示例的圖。例如，將成像系統(tǒng)的成像單元20設(shè)置在車輛80的前鼻翼、側(cè)鏡、后保險(xiǎn)杠、后門和車廂的擋風(fēng)玻璃的上部中的至少一個(gè)位置處。被設(shè)置在前鼻翼處的成像單元20-a和被設(shè)置在車廂的擋風(fēng)玻璃的上部處的成像單元20-b主要獲取車輛80前方的圖像。被設(shè)置在側(cè)鏡處的成像單元20-c和成像單元20-d主要獲取車輛80兩側(cè)的圖像。被設(shè)置在后保險(xiǎn)杠或后門處的成像單元20-e主要獲取車輛80后方的圖像。注意，圖28示出了成像單元20-a至成像單元20-e的相應(yīng)拍攝范圍的示例。成像范圍ar-a指示被設(shè)置在前鼻翼處的成像單元20-a的成像范圍，成像范圍ar-c和成像范圍ar-d分別指示被設(shè)置在側(cè)鏡處的成像單元20-c和成像單元20-d的成像范圍，并且成像范圍ar-e指示被設(shè)置在后保險(xiǎn)杠或后門處的成像單元20-e的成像范圍。

返回至圖27，車輛外部信息檢測(cè)單元934對(duì)車輛的周圍區(qū)域進(jìn)行成像并且獲取偏振圖像。此外，車輛外部信息檢測(cè)單元934根據(jù)獲取的偏振圖像分離或提取反射分量并且例如生成可以用于車輛控制等的信息例如反射分量被分離或去除的圖像。

無(wú)線通信單元935經(jīng)由無(wú)線通信網(wǎng)絡(luò)例如專用短程通信(dsrc)(注冊(cè)商標(biāo))與車輛外部例如其他車輛或管理道路狀況的管理中心進(jìn)行通信，并且將接收到的信息輸出至集成控制單元940。此外，無(wú)線通信單元935可以將通過(guò)車輛外部信息檢測(cè)單元934獲取的信息發(fā)送至其他車輛、管理中心等。注意，無(wú)線通信單元935可以經(jīng)由無(wú)線通信網(wǎng)絡(luò)例如無(wú)線lan的無(wú)線通信網(wǎng)絡(luò)、用于移動(dòng)電話的無(wú)線通信網(wǎng)絡(luò)例如3g、lte、4g等的無(wú)線通信網(wǎng)絡(luò)與管理中心進(jìn)行通信。此外，無(wú)線通信單元935可以接收來(lái)自全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)等的信號(hào)以執(zhí)行定位，并將定位結(jié)果輸出至集成控制單元940。

輸入單元951、音頻輸出單元952和顯示單元953連接至集成控制單元940。輸入單元951通過(guò)可以被乘員操作以進(jìn)行輸入的裝置例如觸摸板、按鈕、麥克風(fēng)、開(kāi)關(guān)或操作桿來(lái)實(shí)現(xiàn)。輸入單元951基于由乘員等輸入的信息來(lái)生成輸入信號(hào)以輸出至集成控制單元940。

音頻輸出單元952通過(guò)基于來(lái)自集成控制單元940的音頻信號(hào)來(lái)輸出音頻向車輛的乘員可聽(tīng)地通知信息。顯示單元953基于來(lái)自集成控制單元940的圖像信號(hào)來(lái)顯示圖像并且視覺(jué)上向車輛的乘員通知信息。

集成控制單元940包括中央處理單元(cpu)、只讀存儲(chǔ)器(rom)和隨機(jī)存取存儲(chǔ)器(ram)等。只讀存儲(chǔ)器(rom)存儲(chǔ)有要由中央處理單元(cpu)執(zhí)行的各種程序。隨機(jī)存取存儲(chǔ)器(ram)存儲(chǔ)有諸如各種參數(shù)、計(jì)算結(jié)果或傳感器值之類的信息。cpu執(zhí)行存儲(chǔ)在rom中的各種程序并且根據(jù)來(lái)自輸入單元951的輸入信號(hào)、通過(guò)經(jīng)由通信網(wǎng)絡(luò)920與相應(yīng)的控制單元、車輛外部信息檢測(cè)單元和無(wú)線通信單元進(jìn)行通信而獲取的信息、存儲(chǔ)在ram中的信息等控制車輛控制系統(tǒng)90內(nèi)的全部動(dòng)作。同時(shí)，集成控制單元940生成指示要向車輛的乘員可聽(tīng)地通知的信息的音頻信號(hào)以輸出至音頻輸出單元952并且生成要向乘員視覺(jué)上通知信息的圖像信號(hào)以輸出至顯示單元953。集成控制單元940還使用無(wú)線通信單元935與在車輛外部存在的各種設(shè)備例如其他車輛和管理中心進(jìn)行通信。此外，集成控制單元940基于存儲(chǔ)在rom或ram中的地圖信息以及獲取自無(wú)線通信單元935的定位結(jié)果來(lái)執(zhí)行車輛驅(qū)動(dòng)支持。

注意，在圖27所示的示例中，可以將經(jīng)由通信網(wǎng)絡(luò)920連接的至少兩個(gè)控制單元集成作為一個(gè)控制單元。替選地，每個(gè)控制單元可以由多個(gè)控制單元構(gòu)成。此外，車輛控制系統(tǒng)90可以包括未示出的其他控制單元。此外，在上述描述中，可以將分配給控制單元中的一個(gè)控制單元的一些或所有功能設(shè)置在另一個(gè)控制單元中。換言之，只要經(jīng)由通信網(wǎng)絡(luò)920發(fā)送或接收信息，則可以由控制單元中的一個(gè)控制單元來(lái)執(zhí)行預(yù)定的計(jì)算處理。

在這樣的車輛控制系統(tǒng)中，在根據(jù)本技術(shù)的成像處理裝置應(yīng)用于例如車輛外部信息檢測(cè)單元的情況下，車輛外部信息檢測(cè)單元基于例如反射分量被分離和去除的周圍區(qū)域的圖像來(lái)識(shí)別對(duì)象，從而能夠容易地識(shí)別通過(guò)反射光難以識(shí)別的對(duì)象。因此，通過(guò)使用本技術(shù)的圖像處理裝置(圖像處理方法)，可以構(gòu)建能夠進(jìn)行安全駕駛的車輛控制系統(tǒng)。此外，由于容易識(shí)別通過(guò)反射光難以識(shí)別的對(duì)象，因此本技術(shù)的圖像處理裝置可以應(yīng)用于監(jiān)測(cè)系統(tǒng)等。

此外，本說(shuō)明書中描述的一系列處理過(guò)程可以通過(guò)硬件、軟件或兩者的復(fù)雜配置來(lái)執(zhí)行。在通過(guò)軟件來(lái)執(zhí)行處理的情況下，將記錄處理序列的程序安裝在包含專用硬件的計(jì)算機(jī)內(nèi)的存儲(chǔ)器上并執(zhí)行該程序。替選地，可以在能夠執(zhí)行各種處理過(guò)程的通用計(jì)算機(jī)上安裝并執(zhí)行用于執(zhí)行上述處理的程序。

例如，可以提前將程序記錄在作為記錄介質(zhì)的硬盤、固態(tài)驅(qū)動(dòng)器(ssd)或只讀存儲(chǔ)器上。替選地，可以將程序臨時(shí)地或永久地存儲(chǔ)或保持(記錄)在可移除記錄介質(zhì)例如軟盤、致密盤只讀存儲(chǔ)器(cd-rom)、磁光(mo)盤、數(shù)字通用盤(dvd)、藍(lán)光盤(bd)(注冊(cè)商標(biāo))、磁盤或半導(dǎo)體存儲(chǔ)卡上?？梢詫⑦@樣的可移除記錄介質(zhì)設(shè)置為所謂的軟件包。

此外，除了將來(lái)自可移除記錄介質(zhì)的程序安裝在計(jì)算機(jī)上之外，可以將程序經(jīng)由諸如局域網(wǎng)(lan)或因特網(wǎng)的網(wǎng)絡(luò)從下載站無(wú)線地或有線地傳輸至計(jì)算機(jī)?？梢栽谟?jì)算機(jī)中接收以這種方式傳輸?shù)某绦虿⑶覍⒊绦虬惭b在記錄介質(zhì)例如內(nèi)置硬盤上。

注意，本說(shuō)明書中描述的效果僅用作示例而不應(yīng)被解釋為限制性的。還可以存在本文中未描述的其他的效果。此外，本技術(shù)不應(yīng)被解釋為限制于上述實(shí)施方式。這些實(shí)施方式以范例的形式公開(kāi)本技術(shù)并且明顯地，本領(lǐng)域技術(shù)人員可以在不脫離本技術(shù)的主旨的情況下對(duì)這些實(shí)施方式進(jìn)行修改和替換。即，為了判斷本技術(shù)的主旨，應(yīng)該考慮權(quán)利要求書。

此外，本技術(shù)的圖像處理裝置可以具有以下配置。

(1)一種圖像處理裝置，所述圖像處理裝置包括偏振圖像處理單元，所述偏振圖像處理單元使用由圖像拾取元件生成的偏振圖像來(lái)分離或提取反射分量，所述圖像拾取元件具有以下配置：在所述配置中，針對(duì)多個(gè)偏振方向中的每個(gè)偏振方向設(shè)置有由具有相同偏振方向的多個(gè)像素構(gòu)成的相同偏振像素塊，并且在所述相同偏振像素塊中設(shè)置有各個(gè)預(yù)定顏色的像素。

(2)根據(jù)(1)所述的圖像處理裝置，其中，所述偏振圖像處理單元使用所述偏振圖像來(lái)提取漫反射分量。

(3)根據(jù)(1)所述的圖像處理裝置，其中，所述偏振圖像處理單元使用所述偏振圖像來(lái)分離漫反射分量和鏡面反射分量。

(4)根據(jù)(1)所述的圖像處理裝置，還包括法線信息生成單元，所述法線信息生成單元根據(jù)反射分量已被所述偏振圖像處理單元分離或提取的偏振圖像來(lái)生成法線信息。

(5)根據(jù)(4)所述的圖像處理裝置，其中，

所述偏振圖像處理單元使用所述偏振圖像來(lái)提取漫反射分量，以及

所述法線信息生成單元根據(jù)指示由所述偏振圖像處理單元提取的漫反射分量的偏振圖像來(lái)生成所述法線信息。

(6)根據(jù)(4)所述的圖像處理裝置，其中，

所述偏振圖像處理單元使用所述偏振圖像來(lái)分離漫反射分量和鏡面反射分量，以及

所述法線信息生成單元對(duì)根據(jù)指示由所述偏振圖像處理單元分離的所述漫反射分量的偏振圖像而生成的法線信息和根據(jù)指示由所述偏振圖像處理單元分離的所述鏡面反射分量的偏振圖像而生成的法線信息進(jìn)行合成。

(7)根據(jù)(6)所述的圖像處理裝置，其中，所述法線信息生成單元對(duì)指示所述漫反射分量的所述偏振圖像和指示所述鏡面反射分量的所述偏振圖像進(jìn)行加權(quán)并且合成所述法線信息。

(8)根據(jù)(7)所述的圖像處理裝置，其中，所述法線信息生成單元根據(jù)漫反射和鏡面反射中哪一個(gè)處于主導(dǎo)來(lái)執(zhí)行加權(quán)并且合成所述法線信息。

(9)根據(jù)(8)所述的圖像處理裝置，其中，所述法線信息生成單元將具有由偏振角的不同引起的較大亮度變化的反射分量設(shè)置為主導(dǎo)反射分量。

(10)根據(jù)(8)所述的圖像處理裝置，其中，所述法線信息生成單元將相對(duì)于由偏振角的不同引起的預(yù)定亮度變化具有較小誤差的反射分量設(shè)置為主導(dǎo)反射分量。

(11)根據(jù)(1)至(10)中任一項(xiàng)所述的圖像處理裝置，還包括校正處理單元，所述校正處理單元針對(duì)所述偏振圖像調(diào)節(jié)所述預(yù)定顏色中的每個(gè)預(yù)定顏色的增益，其中，

所述偏振圖像處理單元根據(jù)增益已被所述校正處理單元調(diào)節(jié)的所述偏振圖像來(lái)分離或提取所述反射分量。

(12)根據(jù)(1)至(11)中任一項(xiàng)所述的圖像處理裝置，還包括非偏振圖像生成單元，所述非偏振圖像生成單元根據(jù)所述偏振圖像針對(duì)每個(gè)顏色使用偏振方向彼此正交的像素來(lái)生成非偏振圖像。

工業(yè)實(shí)用性

根據(jù)本技術(shù)的圖像處理裝置、圖像處理方法和圖像拾取元件，對(duì)由圖像拾取元件生成的偏振圖像來(lái)執(zhí)行分離或提取反射分量的處理，該圖像拾取元件具有以下配置：針對(duì)多個(gè)偏振方向中的每個(gè)偏振方向設(shè)置有由具有相同偏振方向的多個(gè)像素構(gòu)成的相同偏振像素塊，并且在相同偏振像素塊中設(shè)置有相應(yīng)預(yù)定顏色的像素。因此，例如，可以通過(guò)考慮反射分量來(lái)生成高準(zhǔn)確度的法線信息。因此，適合用于獲取對(duì)象的三維形狀等的設(shè)備。

附圖標(biāo)記列表

10成像系統(tǒng)

20成像單元

21偏振器

22濾色器

30圖像處理單元

31校正處理單元

32偏振圖像處理單元

33鏡面反射去除單元

34反射分量分離單元

35法線信息生成單元

36鏡面反射法線信息生成單元

37漫反射法線信息生成單元

38法線信息合成單元

39非偏振圖像生成單元

80車輛

90車輛控制系統(tǒng)