本技術(shù)涉及圖像處理裝置和圖像處理方法，并且使得能夠進行以高精度獲取對象的極化特征。

背景技術(shù)：

傳統(tǒng)上，已公開了用于通過使用圖像拾取部和極化濾波器來獲取極化圖像的方法。例如，專利文獻1公開了用于在圖像拾取部前面設(shè)置極化濾波器并且通過旋轉(zhuǎn)極化濾波器來進行拍攝以獲取沿多個極化方向的極化圖像的方法。此外，還公開了用于通過在相應(yīng)像素處提供沿不同極化方向的極化濾波器，來在一次圖像拾取中獲取沿多個不同的極化方向的極化圖像的方法。

此外，從沿多個極化方向的極化圖像獲取關(guān)于對象的法線信息。例如，非專利文獻1和非專利文獻2描述了通過將沿多個極化方向的極化圖像應(yīng)用于模型等式來計算法線信息。

引用列表

專利文獻

專利文獻1：國際公開wo2008/099589

非專利文獻

非專利文獻1：lawrenceb.wolff和terrancee.boult:“constrainingobjectfeaturesusingapolarizationreflectancemodel(使用極化反射模型來約束對象特征)”,ieeetransactiononpatternanalysisandmachineintelligence,vol.13,no.7,1991年7月。

非專利文獻2：garya.atkinson和edwinr.hancock:“recoveryofsurfaceorientationfromdiffusepolarization(表面定向從漫反射極化的恢復(fù))”,ieeetransactionsofimageprocessing,vol.15,issue.6,pp.1653-1664,2006年

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的問題

同時，為了獲取關(guān)于對象的諸如高精度法線信息的信息，必須要從極化圖像以高精度獲取對象的極化特征。然而，當極化濾波器被設(shè)置在圖像拾取設(shè)備的前面并且在順序切換該極化濾波器的極化方向的同時進行拍攝以獲取多個極化方向的圖像時，極化圖像變成時間序列圖像，使得極化圖像的時間分辨率降低。因此，例如，難以獲取移動對象的極化特征。此外，當沿不同方向的極化濾波器被設(shè)置在成像元件的相應(yīng)像素處以在一次拍攝中獲取沿多個極化方向的極化圖像時，被設(shè)置在成像元件的相應(yīng)像素處的沿不同方向的極化濾波器會造成極化圖像的空間分辨率的降低。因此，難以以高分辨率獲取對象的極化特征。

因此，本技術(shù)的目的是為了提供能夠以高精度獲取對象的極化特征的圖像處理裝置和圖像處理方法。

問題的解決方案

本發(fā)明的第一方面在于一種圖像處理裝置，該圖像處理裝置包括：對準單元，被配置成基于指示關(guān)于對象的距離信息的深度圖，來對通過在多個視點位置處通過在不同的視點位置處沿不同極化方向的極化濾波器拾取對象而獲得的極化圖像進行對準；以及極化特征獲取單元，被配置成通過使用由對準單元對準的極化圖像來獲取自期望視點位置的對象的極化特征。

在本技術(shù)中，對準單元基于指示關(guān)于對象的距離信息的深度圖，來對通過在多個視點位置處通過在不同的視點位置處沿不同極化方向的極化濾波器拾取對象而獲得的極化圖像進行對準。深度圖由深度圖生成單元基于通過從不同的視點位置拾取對象而獲得的圖像來生成。例如，深度圖生成單元基于圖像之間的視差來生成深度圖，所述圖像來自通過在多個視點位置處通過在不同的視點位置處沿不同極化方向的極化濾波器拾取對象而獲得的極化圖像或者來自在不通過極化濾波器的情況下或通過沿相同極化方向的極化濾波器而拾取的圖像中。此外，深度圖生成單元生成針對在多個視點位置處的圖像中的每個圖像組合的深度圖并且對深度圖進行整合。例如，對準單元基于整合的深度圖以及生成極化圖像的圖像拾取部之間的位置關(guān)系來確定視差，并且對極化圖像進行對準以消除視差。極化特征獲取單元通過使用所對準的極化圖像來獲取自期望視點位置的對象的極化特征。例如，極化特征獲取單元基于多個對準的極化圖像的亮度和極化方向以及極化圖像的視點位置與期望視點位置之間的位置關(guān)系等來獲取自期望視點位置的對象的極化特征。

此外，當設(shè)置法線圖生成單元時，法線圖生成單元基于由極化特征獲取單元計算的極化特征來生成在期望視點位置處對象的法線圖，或者在生成法線圖時，法線圖生成單元基于由對準單元使用的深度信息來消除在極化分析中的180度的不確定性。當設(shè)置高精度深度圖生成單元時，高精度深度圖生成單元對由對準單元使用的深度圖和由法線圖生成單元生成的法線圖進行整合以生成空間分辨率比由對準單元使用的深度圖更高的深度圖。當設(shè)置極化特征使用單元時，極化特征使用單元使用由極化特征獲取單元計算的極化特征來進行圖像處理，如例如，調(diào)整在期望視點位置處的圖像的反射分量，以及使用根據(jù)極化特征計算的圖像特征量的匹配處理。

此外，當設(shè)置生成極化圖像的圖像拾取單元時，在圖像拾取單元中，在多個視點位置處設(shè)置的圖像拾取部被設(shè)置有沿不同極化方向的極化濾波器以在多個視點位置處生成極化圖像?？商娲兀趫D像拾取單元中，多個透鏡被沿與光軸方向垂直的方向布置在成像元件的光入射表面?zhèn)壬希⑶彝哥R設(shè)置有沿不同極化方向的極化濾波器以在不同的視點位置處生成極化圖像。

本發(fā)明的第二方面在于一種圖像處理方法，該圖像處理方法包括以下步驟：由對準單元基于指示關(guān)于對象的距離信息的深度圖，來對通過在多個視點位置處通過在不同的視點位置處沿不同極化方向的極化濾波器拾取對象而獲得的極化圖像進行對準；以及由極化特征獲取單元通過使用所對準的極化圖像來獲取自期望視點位置的對象的極化特征。

發(fā)明效果

根據(jù)本技術(shù)，基于指示關(guān)于對象的距離信息的深度圖，對通過在多個視點位置處通過在不同的視點位置處沿不同極化方向的極化濾波器拾取對象而獲得的極化圖像進行對準。此外，通過使用所對準的極化圖像來獲取自期望視點位置的對象的極化特征。因此，可以在時間分辨率和空間分辨率降低很小的情況下獲得高精度極化特征。注意，本說明書中描述的效果僅是說明性的而不是限制性的，并且可以存在另外的效果。

附圖說明

圖1是示出第一實施方式的功能配置的圖。

圖2(a)至圖2(e)均是示出圖像拾取部的布置的圖。

圖3(a)至圖3(b)均是示出圖像拾取單元中的極化方向的圖。

圖4是示出第一實施方式的操作的流程圖。

圖5是示出深度圖生成單元的操作的流程圖。

圖6是用于描述深度計算處理的圖。

圖7是示出深度圖生成單元的另一操作的流程圖。

圖8是示出極化特征獲取處理的流程圖。

圖9是示出圖像拾取部的位置關(guān)系的圖。

圖10是用于描述對象表面形狀和極化圖像的圖。

圖11是示出亮度與極化角之間的關(guān)系的圖。

圖12是示出極化角與天頂角之間的關(guān)系的圖。

圖13是示出法線圖生成處理的流程圖。

圖14(a)至圖14(c)均是用于描述消除180度的不確定性的圖。

圖15是示出第二實施方式的功能配置的圖。

圖16是示出第二實施方式的操作的流程圖。

圖17(a)至圖17(d)均是用于描述高精度深度圖生成處理的圖。

圖18是示出第三實施方式的功能配置的圖。

圖19(a)至圖19(e)均是示出圖像拾取部的布置的圖。

圖20是示出第三實施方式的操作的流程圖。

圖21是示出第四實施方式的功能配置的圖。

圖22是示出第四實施方式的操作的流程圖。

圖23(a)至圖23(b)均是示出使用極化特征的圖像處理的第一示例的圖。

圖24(a)至圖24(b)均是示出使用極化特征的圖像處理的第二示例的圖。

圖25(a)至圖25(b)均是示出使用極化特征的圖像處理的第三示例的圖。

圖26(a)至圖26(c)均是用于描述圖像特征量的計算的圖。

圖27(a)至圖27(b)均是示出在進行匹配處理的情況下的操作的圖。

圖28是示出另一實施方式的功能配置的圖。

圖29(a)至圖29(b)均是示出檢測光流的情況的圖。

圖30是示出車輛控制系統(tǒng)的示意性配置的框圖。

圖31是示出安裝圖像拾取單元的示例的圖。

具體實施方式

以下將描述用于進行本技術(shù)的方式。注意，將以下述順序提供描述。

1.第一實施方式

1-1.第一實施方式的配置

1-2.第一實施方式的操作

2.第二實施方式

2-1.第二實施方式的配置

2-2.第二實施方式的操作

3.第三實施方式

3-1.第三實施方式的配置

3-2.第三實施方式的操作

4.第四實施方式

4-1.第四實施方式的配置

4-2.第四實施方式的操作

5.另一實施方式

6.應(yīng)用

<1.第一實施方式>

[1-1.第一實施方式的配置]

圖1是示出本技術(shù)的第一實施方式的功能配置的圖。圖像處理裝置10包括圖像拾取單元21、深度圖生成單元22、對準單元23、極化特征獲取單元24以及法線圖生成單元25。

圖像拾取單元21在多個視點位置處通過在不同視點位置處沿不同極化方向的極化濾波器(例如，極化板)來拾取對象以生成極化圖像。圖像拾取單元21包括多個圖像拾取部例如四個圖像拾取部211-1至211-4，以獲取沿三個或更多個不同的極化方向的極化圖像。極化板210-1被設(shè)置在圖像拾取部211-1的前面。類似地，極化板210-2至210-4分別被設(shè)置在圖像拾取部211-2至211-4的前面。極化板210-1至210-4沿彼此不同的極化方向被設(shè)置。圖像拾取部211-1至211-4生成沿彼此不同的極化方向的極化圖像。圖像拾取單元21將由圖像拾取部211-1至211-4生成的極化圖像的圖像數(shù)據(jù)輸出至深度圖生成單元22和對準單元23。

圖2(a)至圖2(e)均是示出圖像拾取單元21中的圖像拾取部的布置的圖。圖像拾取單元21可以具有其中圖像拾取部211-1至211-4被布置在如圖2的(a)中所示的矩形的四個角處的配置，以及可以具有其中圖像拾取部211-1至211-4如圖2的(b)中所示沿直線布置的配置。此外，當圖像拾取單元21包括三個圖像拾取部211-1至211-3時，圖像拾取單元21可以具有其中圖像拾取部211-1至211-3被布置在如圖2的(c)中所示的三角形的頂點處的配置，以及可以具有其中圖像拾取部211-1至211-3如圖2的(d)中所示沿直線布置的配置。注意，當圖像拾取部被設(shè)置在較遠的位置處并且視差為大時，對象中的在其處獲取極化特征的位置在一些情況下不能被三個或更多個圖像拾取部拾取。因此，圖像拾取部被布置成使得對象中的在其處獲取極化特征的位置能夠被三個或更多個圖像拾取部拾取。

此外，如圖2的(e)中所示，圖像拾取單元21可以具有使用多個透鏡陣列來生成沿不同極化方向的多個極化圖像的配置。例如，多個(在圖中為四個)透鏡222沿與光軸方向垂直的方向設(shè)置在圖像傳感器221的前面，并且對象的光學(xué)圖像被相應(yīng)透鏡222形成在圖像傳感器221的成像表面上。此外，極化板223被設(shè)置在相應(yīng)透鏡222的前面，并且極化板223具有不同的極化方向。這樣的配置使得圖像傳感器221能夠生成沿不同極化方向的極化圖像。注意，當相應(yīng)透鏡222將對象的光學(xué)圖像形成在圖像傳感器221的成像表面上時，與由相應(yīng)圖像拾取部生成極化圖像的情況相比，極化圖像的空間分辨率降低。因此，在獲取具有高空間分辨率的極化特征的情況下，由相應(yīng)圖像拾取部生成極化圖像。此外，由于與由相應(yīng)圖像拾取部生成極化圖像的情況相比視差為小，因此在獲取具有較小視差影響的極化特征的情況下，通過使用多透鏡陣列的配置來生成極化圖像。

當以這種方式配置圖像拾取單元21時，不必要如在將沿四個極化方向的子像素作為一個像素來生成沿不同極化方向的四個極化圖像的情況下使用特殊的圖像拾取部，因此可以以低成本容易地制作圖像拾取單元21。

圖像拾取單元21將例如線性極化板用作極化濾波器。此外，圖像拾取單元21不僅可以使用線性極化板，而且可以使用線性極化板和由四分之一波長板制成的圓形極化板。此外，圖像拾取單元21可以在線性極化板與圖像拾取部之間設(shè)置有去極化板。例如，當基于通過圖像拾取部中的半反射鏡的光學(xué)圖像進行曝光控制等時，在半反射鏡中的反射率和透射率會因線性極化的方向而改變，這會阻礙正確的曝光控制等。此處，當設(shè)置去極化板時，線性極化的光學(xué)圖像被轉(zhuǎn)換成非極化光學(xué)圖像并且指示線性極化之后的分量的非極化光學(xué)圖像進入圖像拾取部，這基于通過半反射鏡的光學(xué)圖像實現(xiàn)了正確的曝光控制等。

此外，在圖像拾取單元21中，極化方向被設(shè)置成使得能夠生成沿不同極化方向的多個極化圖像。當線性極化板的極化方向被旋轉(zhuǎn)180度時，穿過線性極化板的分量變成彼此相等。因此，極化方向被設(shè)置成在從0度至180度的范圍中彼此不同。此處，如隨后將描述的那樣，圖像處理裝置10基于由多個圖像拾取部生成的極化圖像的亮度和極化方向來計算極化模型等式。因此，優(yōu)選的是將極化方向設(shè)置為例如具有相同角度差以使得能夠以高精度計算極化模型等式。圖3(a)至圖3(b)均示出圖像拾取單元21中的極化方向。圖3的(a)示出了當使用四個圖像拾取部時的極化方向。在圖像拾取單元21中，例如，假設(shè)極化方向為0度、45度、90度和135度，四個圖像拾取部生成沿具有相同角度差(45度)的極化方向的四個極化圖像。此外，圖3的(b)示出了當使用三個圖像拾取部時的極化方向。在圖像拾取單元21中，例如，假設(shè)極化方向為0度、60度和120度，三個圖像拾取部生成沿具有相同角度差(60度)的極化方向的三個極化圖像。

深度圖生成單元22根據(jù)由圖像拾取單元21生成的在不同的視點位置處的圖像來生成指示關(guān)于對象的距離信息的深度圖。深度圖生成單元22對在由圖像拾取單元21生成的多個不同的視點位置處的極化圖像中的每對極化圖像進行立體匹配處理。此外，深度圖生成單元22基于立體匹配處理結(jié)果以及預(yù)先獲取的關(guān)于圖像拾取部的校準信息，生成例如指示在每個像素處的深度的深度圖。校準信息具有指示圖像拾取部之間的位置關(guān)系的位置信息。此外，當校準信息包括關(guān)于在每個圖像拾取部中出現(xiàn)的光學(xué)失真的參數(shù)等時，即使在由圖像拾取部生成的圖像中出現(xiàn)光學(xué)失真，也可以消除該光學(xué)失真并且以高精度進行立體匹配處理等。深度圖生成單元22對針對每對極化圖像生成的深度圖進行整合以生成具有比整合之前的精度更高的精度的深度圖。深度圖生成單元22將整合的深度圖輸出至對準單元23和法線圖生成單元25。

對準單元23基于由深度圖生成單元22生成的深度圖來對由圖像拾取單元21生成的極化圖像進行對準。對準單元23基于例如由深度圖生成單元22生成的整合的深度圖的深度以及在先前獲取的校準信息中指示的圖像拾取部之間的位置關(guān)系來確定視差，并且對針對每個像素的極化圖像進行對準以使視差成為“0”，即，以使對象匹配。對準單元23將對準之后的極化圖像輸出至極化特征獲取單元24。

極化特征獲取單元24通過使用對準之后的極化圖像來獲取自期望視點位置的對象的極化特征。極化特征獲取單元24基于在校準信息中指示的圖像拾取部之間的位置關(guān)系和深度圖，計算在將圖像拾取部作為期望視點位置的情況下的旋轉(zhuǎn)矩陣。此外，極化特征獲取單元24根據(jù)諸如多個極化圖像的極化方向和亮度的信息以及指示生成極化圖像的圖像拾取部與期望視點位置之間的位置關(guān)系的旋轉(zhuǎn)矩陣，來計算指示自期望視點位置的對象的極化特征的極化模型等式。極化特征獲取單元24將獲取的作為極化特征的極化模型等式輸出至法線圖生成單元25。

法線圖生成單元25基于由極化特征獲取單元24獲取的自期望視點位置的對象的極化特征來生成對象的法線圖。法線圖生成單元25根據(jù)由極化特征獲取單元24獲取的極化特征、即極化模型等式，基于在其處亮度變成最高的方位角以及極化度來計算針對每個像素的天頂角，并且生成存儲指示法線方向的法線信息(方位角和天頂角)的法線圖。注意，通過橢圓對稱計算的法線圖中的法線信息在極化板的0度與180度之間或45度與225度之間沒有區(qū)別，因此，如隨后將描述的，原理上具有180度的不確定性。因此，法線圖生成單元25通過使用從深度圖生成單元22輸出至對準單元23和法線圖生成單元25的深度圖來消除法線圖的180度的不確定性。

[1-2.第一實施方式的操作]

接下來，將描述第一實施方式的操作。圖4是示出第一實施方式的操作的流程圖，并且示出了圖像拾取單元21包括四個圖像拾取部211-1至211-4的情況。

在步驟st1至步驟st4中，圖像拾取單元21生成極化圖像。例如，在步驟st1中，圖像拾取單元21的圖像拾取部211-1生成第一極化圖像。在步驟st2中，圖像拾取部211-2生成第二極化圖像。在步驟st3中，圖像拾取部211-3生成第三極化圖像。在步驟st4中，圖像拾取部211-4生成第四極化圖像。因此，圖像拾取部211-1至211-4在不同視點位置處生成沿不同極化方向的極化圖像，然后圖像處理裝置10進行至步驟st11至步驟st14。

在步驟st11至步驟st14中，深度圖生成單元22生成深度圖。例如，在步驟st11中，深度圖生成單元22根據(jù)第一極化圖像和第二極化圖像生成深度圖。

圖5是示出深度圖生成單元的操作的流程圖。在步驟st101中，深度圖生成單元22獲取兩個極化圖像。深度圖生成單元22獲取由圖像拾取部211-1生成的第一極化圖像以及由圖像拾取部211-2生成的第二極化圖像，然后進行至步驟st102。

在步驟st102中，深度圖生成單元22對每個極化圖像進行邊緣提取處理。當極化濾波器被設(shè)置在圖像拾取部的前面并且同一對象被拾取時，由圖像拾取部生成的圖像將是因極化方向的不同而具有不同亮度的圖像。因此，深度圖生成單元22對極化圖像進行邊緣提取處理，以生成邊緣圖像從而以即使由極化方向的不同而造成亮度變化也能夠進行立體匹配處理。深度圖生成單元22進行邊緣提取處理以根據(jù)第一極化圖像生成第一邊緣圖像并且根據(jù)第二極化圖像生成第二邊緣圖像，然后進行至步驟st103。

在步驟st103中，深度圖生成單元22使用邊緣圖像進行立體匹配處理。深度圖生成單元22對第一邊緣圖像和第二邊緣圖像進行立體匹配處理。在立體匹配處理中，深度圖生成單元22檢測第一邊緣圖像中的關(guān)注像素以及第二邊緣圖像的與該關(guān)注像素對應(yīng)的相位差(基于視差的像素位置的差)。作為立體匹配處理，例如，模板匹配方法被用于檢測與模板圖像最相似的圖像區(qū)域，該模板圖像被設(shè)置成包括來自第二邊緣圖像的關(guān)注像素。此外，立體匹配處理不限于模板匹配方法，而可以使用其他方法(例如，圖形切割方法等)。深度圖生成單元22通過進行立體匹配處理來計算相位差，然后進行至步驟st105。

在步驟st105中，深度圖生成單元22進行深度圖生成處理。深度圖生成單元22基于諸如通過立體匹配處理而檢測的相位差的信息以及預(yù)先獲取的校準信息，來計算作為從關(guān)注的像素到對象的距離的深度。此外，深度圖生成單元22將計算的深度與極化圖像的像素關(guān)聯(lián)以生成深度圖。

圖6是用于描述深度計算處理的圖。注意，圖6示出了兩個圖像拾取部被以相同姿勢左右布置的情況。此處，假設(shè)例如圖像拾取部211-1是標準圖像拾取部并且假設(shè)圖像拾取部211-2是參考圖像拾取部。此外，假設(shè)圖像拾取部的參考位置之間的間隔(基準長度)為“l(fā)b”，并且假設(shè)圖像拾取部的焦距為“f”。當立體匹配處理指示對象ob在參考圖像拾取部中的位置xr被從對象ob在標準圖像拾取部中的位置xl移動相位差“l(fā)d”時，可以由等式(1)來計算到對象的距離“zp”。

[數(shù)學(xué)公式1]

此外，深度圖生成單元可以通過不僅使用邊緣圖像而且使用其他方法來生成深度圖。圖7是示出深度圖生成單元的另一操作的流程圖并且示出了使用了對于亮度變化魯棒的立體匹配處理的情況。在步驟st101中，深度圖生成單元22捕獲兩個極化圖像。深度圖生成單元22捕獲由圖像拾取部211-1生成的第一極化圖像以及由圖像拾取部211-2生成的第二極化圖像，然后進行至步驟st104。

在步驟st104中，深度圖生成單元22執(zhí)行對亮度變化魯棒的立體匹配處理。深度圖生成單元22通過使用第一極化圖像和第二極化圖像來執(zhí)行對亮度變化魯棒的立體匹配處理，檢測第一極化圖像中的關(guān)注像素以及第二極化圖像中與該關(guān)注像素對應(yīng)的像素位置的移動量(視差圖像之間的相位差)。在對亮度變化魯棒的立體匹配處理中，例如，使用零均值歸一化互相關(guān)(zncc)。等式(2)是零均值歸一化互相關(guān)rzncc的公式。從用于歸一化的亮度值減去亮度值的均值使得能夠進行對亮度差魯棒的匹配。在等式(2)中，“t(i,j)”表示在標準圖像(模板)中的坐標(i,j)處的像素的亮度值，而“i(i,j)”表示在參考圖像中的坐標(i,j)處的像素的亮度值。此外。“m”是指示模板的寬度的像素的數(shù)量，而“n”是指示模板的高度的像素的數(shù)量。注意，對亮度變化魯棒的立體匹配處理不限于零均值歸一化互相關(guān)，而可以使用其他方法。

[數(shù)學(xué)公式2]

深度圖生成單元22執(zhí)行對亮度變化魯棒的立體匹配處理，計算相位差并且進行至步驟st105。

在步驟st105中，深度圖生成單元22執(zhí)行深度圖生成處理。深度圖生成單元22基于諸如通過立體匹配處理而檢測的相位差的信息以及預(yù)先獲取的校準信息，來計算作為從關(guān)注的像素到對象的距離的深度。此外，深度圖生成單元22將計算的深度與極化圖像的像素關(guān)聯(lián)以生成深度圖。

返回圖4，在步驟st12中，深度圖生成單元22根據(jù)第二極化圖像和第三極化圖像生成深度圖。在步驟st13中，深度圖生成單元22根據(jù)第三極化圖像和第四極化圖像生成深度圖。在步驟st14中，深度圖生成單元22根據(jù)第四極化圖像和第一極化圖像生成深度圖。注意，當極化圖像的數(shù)量為“j”時，深度圖生成單元22可以生成最大數(shù)量的圖像對“j(j-1)/2”的深度圖。此外，極化圖像的配對不限于圖4所示的組合。例如，深度圖生成單元22可以將極化圖像中任一極化圖像定義為參考并且生成針對該極化圖像和另一極化圖像的相應(yīng)圖像對的多個深度圖。例如，通過將第一極化圖像定義為參考，通過使用第一極化圖像和第二極化圖像、第一極化圖像和第三極化圖像以及第一極化圖像和第四極化圖像來針對第一極化圖像生成三個深度圖。

在步驟st20中，深度圖生成單元22執(zhí)行深度圖整合處理。深度圖生成單元22對針對極化圖像的相應(yīng)對生成的深度圖進行整合以生成具有比整合之前的精度更高精度的深度圖。深度圖生成單元22例如通過與日本專利第5387856號“圖像處理裝置、圖像處理方法、圖像處理程序和圖像拾取裝置”類似的方法來對深度圖進行整合。即，深度圖生成單元22基于相關(guān)特征線的形狀來進行可靠性確定處理，該相關(guān)特征線指示對在立體匹配處理中計算的相似度進行指示的相關(guān)值與像素位置之間的關(guān)系。在可靠性確定中，使用作為指示相關(guān)特征線的形狀的銳度的程度的指標的峭度來進行確定。另外，在可靠性確定中，可以使用相關(guān)特征線中的頂點與周圍點之間的相關(guān)值的差分值來進行確定，或者可以使用在每個像素位置處的相關(guān)值的差分值的整合值(積分值)來進行確定等。此外，深度圖生成單元22基于在每個深度圖中的可靠性確定結(jié)果，通過執(zhí)行用于采用在指示對象的針對每個像素的同一位置的像素處具有最高可靠性的深度的處理來生成整合之后的深度圖。注意，當基于極化圖像中的任一個極化圖像生成多個深度圖時，在每個深度圖中，同一像素位置指示對象的同一位置。因此，通過根據(jù)在每個像素位置處的每個深度圖的可靠性而采取最可靠的深度，可以容易地整合深度圖。深度圖生成單元22進行深度圖整合處理，生成整合之后的深度圖，然后進行至步驟st30。

在步驟st30中，對準單元23進行極化圖像對準處理。對準單元23基于隱喻(metaphor)整合之后的深度圖和在校準信息中指示的圖像拾取部之間的位置信息來確定相對于期望視點位置的視差，然后對多個極化圖像進行對準以使視差為“0”，即，以使對象匹配。注意，期望視點位置不限于圖像拾取部211-1至211-4中任一個，而例如當圖像拾取部211-1至211-4被設(shè)置在矩形的四個角處時可以是矩形中的位置等。此外，當期望視點位置是當生成深度圖時被用作參考的極化圖像的視點位置時，由于在期望視點位置處的整合之后的深度圖已生成，因此可以在每個像素處容易地對準極化圖像。因此，對準單元23對極化圖像進行對準然后進行至步驟st40。

在步驟st40中，極化特征獲取單元24進行極化特征獲取處理。極化特征獲取單元24通過使用對準之后的極化圖像來獲取在期望視點位置處的極化特征。圖8是示出極化特征獲取處理的流程圖。

在步驟st401中，極化特征獲取單元24獲取圖像拾取部之間的位置信息。極化特征獲取單元24獲取包括在預(yù)先設(shè)置的校準信息中的圖像拾取部之間的位置信息。在步驟st402中，極化特征獲取單元24獲取對準之后的極化圖像。極化特征獲取單元24獲取在從對準單元23輸出的對準之后的極化圖像。在步驟st403中，極化特征獲取單元24獲取深度圖。極化特征獲取單元24獲取由深度圖生成單元22生成的深度圖。

在步驟st404中，極化特征獲取單元24計算到期望視點位置的旋轉(zhuǎn)矩陣。極化特征獲取單元24基于校準信息和深度圖，在將生成極化圖像的圖像拾取部作為用戶期望的視點位置等的情況下來計算旋轉(zhuǎn)矩陣r，然后進行至步驟st405。注意，等式(3)示出了旋轉(zhuǎn)矩陣r。

[數(shù)學(xué)公式3]

在步驟st405中，極化特征獲取單元24計算相對于期望視點位置的極化模型等式。此處，假設(shè)例如相對于圖像拾取部211-n，在期望視點位置處的圖像拾取部211-p具有圖9所示的位置關(guān)系。

圖10是用于描述對象表面形狀和極化圖像的圖。如圖10所示，例如，對象ob被使用光源lt照射，并且圖像拾取部211-n通過極化板210-n拾取對象ob。在這種情況下，假設(shè)在拾取的圖像中，對象ob的亮度因極化板210-n的極化方向而變化，并且假設(shè)最高亮度為imax以及最低亮度為imin。此外，假設(shè)二維坐標中的x軸和y軸在極化板210-n的平面上，并且假設(shè)極化板210-n的極化方向是極化角υ，其是y軸方向相對于x軸方向的角度。極化板210-n具有180度的周期，并且當極化方向被旋轉(zhuǎn)180度時，極化板210-n返回原始極化狀態(tài)。此外，假設(shè)當觀察到最高亮度imax時的極化角υ是方位角α。當進行了這樣的定義時，如果極化板210-n的極化方向改變，則觀察到的亮度i可以由等式(4)的極化模型等式來表示。注意，圖11示出了亮度和極化角之間的關(guān)系。

[數(shù)學(xué)公式4]

在等式(4)中，極化角υ顯然是在生成極化圖像時的，并且最高亮度imax、最低亮度imin和方位角α是變量。

此外，假設(shè)對象表面法線由極坐標系表示，并且假設(shè)法線信息是方位角α和天頂角θ。注意，假設(shè)天頂角θ是從z軸到法線的角，并且假設(shè)方位角α是y軸方向相對于上述x軸的角。此處，如果極化板210-n的極化方向改變并且獲得最低亮度imin和最高亮度imax，則可以通過等式(5)來計算極化度ρ。此外，如等式(5)所表示的那樣，可以使用對象op的相對折射率n和方位角θ來計算極化度ρ。極化度與方位角之間的關(guān)系例如是圖12所示的特征，并且通過使用該特征，基于極化度ρ來確定方位角θ。注意，根據(jù)等式(5)可以看出，圖12所示的特征取決于相對折射率n，并且極化度隨著相對折射率n的增大而增大。

[數(shù)學(xué)公式5]

以與圖像拾取部211-n類似的方式，表示圖9中所示的圖像拾取部211-p中的亮度與極化角之間的關(guān)系的極化特征的模型等式是等式(6)。因此，當(imax+imin)＝(i'max+i'min)＝a時，等式(4)和(6)變成等式(7)和(8)。

[數(shù)學(xué)公式6]

此外，關(guān)于圖像拾取部211-p，極化度ρ是等式(9)。因此，當(imax+imin)＝(i'max+i'min)＝a時，等式(5)和(9)變成等式(10)和(11)。

[數(shù)學(xué)公式7]

圖像拾取部211-n的法線是方位角α和天頂角θ的方向，并且由圖像拾取部211-n檢測的法線n可以由等式(12)表示。此外，由圖像拾取部211-p檢測的法線n'可以通過使用由等式(3)表示的旋轉(zhuǎn)矩陣r來由等式(13)表示，因此，等式(14)的關(guān)系成立。

[數(shù)學(xué)公式8]

因此，方位角α'可以由等式(15)來根據(jù)旋轉(zhuǎn)矩陣r的分量、天頂角θ和方位角α計算。此外，天頂角θ'可以由等式(16)根據(jù)旋轉(zhuǎn)矩陣r的分量、天頂角θ和方位角α來計算。

[數(shù)學(xué)公式9]

θ′＝cos^-1(gcosαsinθ+hsinαsinθ+icosθ)…(16)

此處，通過使用等式(11)、(15)和(16)，指示圖像拾取部211-p的極化特征的極化模型等式(8)由作為使用亮度附加值a、天頂角θ和方位角α三個變量的函數(shù)的等式(17)來表示。

[數(shù)學(xué)公式10]

因此，關(guān)于三個或更多個圖像拾取部進行類似的建模，并且通過使用旋轉(zhuǎn)矩陣基于通過在三個或更多個視點位置處通過在不同的視點位置處沿不同極化方向的極化濾波器拾取對象而獲得的極化圖像的亮度以及校準信息(圖像拾取部之間的位置信息)，計算作為三個變量的亮度附加值a、方位角α和天頂角θ。因此，當計算了三個變量的值時，基于諸如由圖像拾取單元21生成的三個或更多個極化圖像的信息以及校準信息，可以計算指示在期望視點位置處的極化特征的極化模型方程。

根據(jù)關(guān)于三個或更多個圖像拾取部的亮度和極化模型等式(使用基于校準信息的圖像拾取部之間的旋轉(zhuǎn)矩陣的極化模型等式)來分析性地計算作為三個變量的亮度附加值a、方位角α和天頂角θ。此外，可以計算三個變量以通過使用最優(yōu)化技術(shù)例如lm方法和最速下降法來使誤差最小化。此外，可以在假設(shè)圖像拾取部之間的間隔與深度相比為小和旋轉(zhuǎn)矩陣可以被忽略的情況下近似地計算三個變量。

極化特征獲取單元24進行上述處理，并且計算針對期望視點位置的極化模型方程，即，針對圖像拾取部211-p的作為極化特征的極化模型方程。

返回圖4，在步驟st50中，法線圖生成單元25進行法線圖生成處理。圖13是示出法線圖生成處理的流程圖。在步驟st501中，法線圖生成單元25計算法線。法線圖生成單元25通過使用指示在期望視點位置處的極化特征的極化模型等式、即等式(17)來確定在其處亮度變成最高的方位角α'。注意，可以通過等式(11)來計算極化度ρ'。法線圖生成單元25基于在其處亮度變成最高的方位角α'和極化度ρ'來計算針對每個像素的天頂角θ'，計算關(guān)于對象的法線信息(指示方位角α'和天頂角θ'的信息)，并且處理進行至步驟st502。

在步驟st502中，法線圖生成單元25消除180度的不確定性。圖14(a)至圖14(c)均是用于描述消除180度的不確定性的圖。如圖14的(a)中所示，圖像拾取部211拾取對象ob。此處，當極化板的極化方向旋轉(zhuǎn)180度時，極化板返回原始極化狀態(tài)，以及例如如圖14的(b)中所示，在對象ob的上半?yún)^(qū)域ga中，法線方向(由箭頭指示)是正確方向。另一方面，在下半?yún)^(qū)域gb中，存在法線方向可以相反的可能性，并且存在180度的不確定性。此處，當法線圖生成單元25基于深度圖確定對象ob的梯度方向時，法線圖生成單元25可以確定出對象ob是沿圖像拾取部的方向突出的形狀。此外，由于對象ob具有沿圖像拾取部的方向突出的形狀，因此法線圖生成單元25可以確定出圖14的(b)中所示的下半?yún)^(qū)域gb的法線方向是相反方向。因此，通過逆轉(zhuǎn)下半?yún)^(qū)域gb的法線方向，法線圖生成單元25消除了180度的不確定性，如圖14的(c)中所示。因此，法線圖生成單元25基于深度圖消除了來自步驟st501中計算的法線的180度的不確定性，并且生成了正確地指示對象的表面形狀的法線圖。

注意，圖像處理裝置不僅按步驟的順序進行上述處理，而且還可以通過并行處理進行例如諸如獲取圖像和信息以及生成深度圖的處理。此外，通過流水線處理進行上述處理使得可以計算在期望視點位置處的極化特征并且可以例如順序地針對每幀生成法線圖。

通過進行上述處理，第一實施方式使得能夠獲取在期望視點位置處的針對每個像素的極化特征而不引起時間分辨率和空間分辨率的降低。此外，第一實施方式使得能夠根據(jù)在期望視點位置處的極化特征而生成關(guān)于對象的法線信息。此外，因為極化特征是通過對通過組合并且使用在不同視點位置處沿不同極化方向的極化圖像而生成的深度圖進行整合以及使用被使用整合的深度圖對準的極化圖像而獲取的，因此第一實施方式使得能夠以高精度獲取極化特征。

此外，第一實施方式使得能夠基于在期望位置處的極化特征生成法線圖，從而使得能夠根據(jù)期望視點位置生成法線圖。由于該法線圖對應(yīng)于根據(jù)對象表面形狀的特征量，因此可以通過使用該法線圖來以高精度進行諸如對象識別和對象匹配處理的處理。

注意，在第一實施方式中，由于深度圖通過使用極化圖像而生成，因此并不一定要設(shè)置僅用于生成深度圖的圖像拾取部。

<2.第二實施方式>

接下來，將描述第二實施方式。第二實施方式描述通過使用生成的法線圖來生成具有高空間分辨率的深度圖的情況。

[2-1.第二實施方式的配置]

圖15是示出本技術(shù)的第二實施方式的功能配置的圖。以與第一實施方式類似的方式,圖像處理裝置10包括圖像拾取單元21、深度圖生成單元22、對準單元23、極化特征獲取單元24以及法線圖生成單元25。此外，第二實施方式的圖像處理裝置10還包括高精度深度圖生成單元26。

圖像拾取單元21在多個視點位置處通過在不同視點位置處沿不同極化方向的極化濾波器(例如，極化板)來拾取對象并且生成極化圖像。圖像拾取單元21包括多個圖像拾取部例如四個圖像拾取部211-1至211-4，以生成沿三個或更多個不同的極化方向的極化圖像。極化板210-1被設(shè)置在圖像拾取部211-1的前面。類似地，極化板210-2至210-4分別被設(shè)置在圖像拾取部211-2至211-4的前面。極化板210-1至210-4沿彼此不同的極化方向被設(shè)置。圖像拾取部211-1至211-4生成沿彼此不同的極化方向的極化圖像。圖像拾取單元21將由圖像拾取部211-1至211-4生成的極化圖像的圖像數(shù)據(jù)輸出至深度圖生成單元22和對準單元23。圖像拾取單元21將例如線性極化板等用作極化濾波器。注意，圖像拾取單元21可以在另一配置的情況下以與上述第一實施方式類似的方式生成沿三個或更多個不同的極化方向的極化圖像。

深度圖生成單元22根據(jù)由圖像拾取單元21生成的在不同的視點位置處的極化圖像來生成指示關(guān)于對象的距離信息的深度圖。深度圖生成單元22通過使用在不同視點位置處的極化圖像來進行立體匹配處理，以生成指示在每個像素處的深度的深度圖。此外，深度圖生成單元22生成針對在不同視點位置處的每對極化圖像的深度圖，并且對生成的深度圖進行整合以生成具有比整合之前的精度更高的精度的深度圖。深度圖生成單元22將整合之后的深度圖輸出至對準單元23和法線圖生成單元25。

對準單元23基于由深度圖生成單元22生成的深度圖來對由圖像拾取單元21生成的極化圖像進行對準。對準單元23基于由深度圖生成單元22生成的深度圖中的深度以及在先前獲取的校準信息中指示的圖像拾取部的位置關(guān)系來確定極化圖像之間的視差，并且在每個像素處對極化圖像進行對準。對準單元23將對準之后的極化圖像輸出至極化特征獲取單元24。

極化特征獲取單元24通過使用對準之后的極化圖像來獲取自期望視點位置的對象的極化特征。極化特征獲取單元24基于在校準信息中指示的圖像拾取部之間的位置關(guān)系和深度圖，來計算在將圖像拾取部作為期望視點位置的情況下的旋轉(zhuǎn)矩陣。此外，極化特征獲取單元24根據(jù)諸如多個極化圖像的極化方向和亮度的信息以及指示生成極化圖像的圖像拾取部與期望視點位置之間的位置關(guān)系的旋轉(zhuǎn)矩陣，來計算指示自期望視點位置的對象的極化特征的極化模型等式。極化特征獲取單元24將獲取的作為極化特征的極化模型等式輸出至法線圖生成單元25。

法線圖生成單元25基于由極化特征獲取單元24獲取的自期望視點位置的對象的極化特征來生成對象的法線圖。法線圖生成單元25根據(jù)由極化特征獲取單元24獲取的極化模型等式基于在其處亮度變成最高的方位角以及極化度來計算在每個像素處的天頂角，并且生成存儲指示法線方向的法線信息(方位角和天頂角)的法線圖。此外，法線圖生成單元25通過使用深度圖來消除在法線圖中的180度的不確定性，并且將消除了180度的不確定性的法線圖輸出至高精度深度圖生成單元26。

高精度深度圖生成單元26通過使用法線圖來對深度圖進行精度增強處理。高精度深度圖生成單元26基于在由法線圖生成單元25生成的法線圖中指示的對象表面形狀和在從深度圖生成單元22輸出的深度圖中指示的深度，來追蹤從在其處獲得深度的像素開始的對象表面形狀。因此，對象表面形狀是從在其處獲得深度的像素開始追蹤的，并且法線圖生成單元25估計與在其處未獲得深度的像素對應(yīng)的深度。此外，通過將估計深度包括在從深度圖生成單元22輸出的深度圖中，高精度深度圖生成單元26生成空間分辨率比從深度圖生成單元22輸出的深度圖的空間分辨率更高的深度圖。

[2-2.第二實施方式的操作]

接下來，將描述第二實施方式的操作。圖16是示出第二實施方式的操作的流程圖。以與第一實施方式類似的方式，在步驟st1至步驟st4中，圖像拾取單元21生成極化圖像。例如，在步驟st1中，圖像拾取單元21的圖像拾取部211-1生成第一極化圖像。在步驟st2中，圖像拾取部211-2生成第二極化圖像。在步驟st3中，圖像拾取部211-3生成第三極化圖像。在步驟st4中，圖像拾取部211-4生成第四極化圖像。因此，圖像拾取部211-1至211-4在不同視點位置處生成沿不同極化方向的極化圖像，然后圖像處理裝置10進行至步驟st11至步驟st14。

在步驟st11至步驟st14中，深度圖生成單元22生成深度圖。深度圖生成單元22根據(jù)在不同視點位置處的兩個極化圖像生成深度圖，然后進行至步驟st20。注意，極化圖像的對不限于圖16所示的組合。

在步驟st20中，深度圖生成單元22進行深度圖整合處理。深度圖生成單元22對在步驟st11至步驟st14中生成的深度圖進行整合，然后進行至步驟st30。

在步驟st30中，對準單元23進行極化圖像對準處理。對準單元23通過使用整合之后的深度圖來對極化圖像進行對準，然后進行至步驟st40。

在步驟st40中，極化特征獲取單元24進行極化特征獲取處理。極化特征獲取單元24通過使用對準之后的極化圖像來計算針對期望視點位置的極化模型等式，然后進行至步驟st50。

在步驟st50中，法線圖生成單元25進行法線圖生成處理。法線圖生成單元25基于在期望視點位置處的極化特征來生成指示在每個像素處的對象的表面法線的法線圖，然后進行至步驟st60。

在步驟st60中，高精度深度圖生成單元26進行高精度深度圖生成處理。高精度深度圖生成單元26根據(jù)在步驟st20中生成的深度圖和在步驟st50中生成的法線圖來生成具有高空間分辨率的深度圖。

圖17(a)至圖17(d)均是用于描述高精度深度圖生成處理的圖。注意，為了簡化描述，例如將僅描述關(guān)于一條線的處理。如圖17的(a)中所示，假設(shè)圖像拾取部211拾取對象ob，假設(shè)圖17的(b)中所示的深度圖通過深度圖生成單元22獲得，并且假設(shè)圖17的(c)中所示的法線圖通過法線圖生成單元25獲得。此外，在深度圖中，假設(shè)例如在左端像素處的深度為“2(米)”，并且假設(shè)深度未存儲在用“x”標記的其他像素處。高精度深度圖生成單元26基于法線圖來估計對象ob的表面形狀。此處，可以基于從左端開始的第二像素的法線方向確定該第二像素與從對應(yīng)于左端像素的對象表面開始向圖像拾取單元21的方向接近的傾斜表面對應(yīng)。因此，高精度深度圖生成單元26通過追蹤對象ob的從左端像素開始的表面形狀來估計從左端開始的第二像素的深度在例如“1.5(米)”處。此外，高精度深度圖生成單元26將估計深度存儲在深度圖中?？梢曰趶淖蠖碎_始的第三像素的法線方向來確定該第三像素與面向圖像拾取單元21的表面對應(yīng)。因此，高精度深度圖生成單元26通過追蹤對象ob的從左端像素開始的表面形狀來估計從左端開始的第三像素的深度在例如“1(米)”處。此外，高精度深度圖生成單元26將估計深度存儲在深度圖中?？梢愿鶕?jù)與從左端從始的第三像素對應(yīng)的對象表面來確定從左端開始的第四像素與遠離圖像拾取單元21的方向的傾斜表面對應(yīng)。因此，高精度深度圖生成單元26通過追蹤對象ob的從左端像素開始的表面形狀來估計從左端開始的第四像素的深度在例如“1.5(米)”處。此外，高精度深度圖生成單元26將估計深度存儲在深度圖中。類似地，從左端開始的第五像素的深度被估計為在例如“2(米)”處，并且被存儲在深度圖中。

因此，高精度深度圖生成單元26通過使用深度圖和法線圖，并且基于法線圖來追蹤從在深度圖中包括的深度開始的表面形狀，從而估計深度來對深度圖進行精度增強處理。因此，即使在由深度圖生成單元22生成的圖17的(b)中所示的深度圖中一些深度缺失，高精度深度圖生成單元26也可以彌補缺失的深度。因此，可以生成圖17的(d)中所示的具有空間分辨率等于或高于圖17的(b)中所示的深度圖的空間分辨率的深度圖。

如上所述，根據(jù)第二實施方式，不僅可以獲得第一實施方式的操作效果，而且甚至在通過立體匹配處理難以獲得深度的對象區(qū)域中，也可以通過使用基于多個極化圖像生成的法線圖來估計深度。因此，可以生成具有空間分辨率等于或高于由深度圖生成單元22生成的深度圖的空間分辨率的深度圖。

<3.第三實施方式>

接下來，將描述第三實施方式。在第三實施方式中，通過使用在沒有通過極化濾波器的情況下拾取的圖像來生成深度圖，深度圖是在不受極化圖像的亮度差影響的情況下生成的。

[3-1.第三實施方式的配置]

圖18是示出第三實施方式的功能配置的圖。圖像處理裝置10包括圖像拾取單元21a、深度圖生成單元22a、以及以與第一實施方式類似的方式，還包括對準單元23、極化特征獲取單元24以及法線圖生成單元25。

圖像拾取單元21a在多個視點位置處通過在不同視點位置處沿不同極化方向的極化濾波器(極化板)來拾取對象并且生成極化圖像。圖像拾取單元21a包括多個圖像拾取部例如四個圖像拾取部211-1至211-4以生成沿三個或更多個不同的極化方向的極化圖像。極化板210-1被設(shè)置在圖像拾取部211-1的前面。類似地，極化板210-2至210-4分別被設(shè)置在圖像拾取部211-2至211-4的前面。極化板210-1至210-4沿彼此不同的極化方向被設(shè)置。圖像拾取部211-1至211-4生成沿彼此不同的極化方向的極化圖像。圖像拾取單元21a將由圖像拾取部211-1至211-4生成的極化圖像的圖像數(shù)據(jù)輸出至對準單元23。圖像拾取單元21a將例如線性極化板等用作極化濾波器。注意，圖像拾取單元21a可以在另一配置的情況下以與上述第一實施方式類似的方式生成沿三個或更多個不同的極化方向的極化圖像。

此外，圖像拾取單元21a還包括在不通過極化濾波器的情況下或通過沿相同極化方向的極化濾波器而進行圖像拾取的圖像拾取部。注意，圖18示出了包括在不通過極化濾波器的情況下進行圖像拾取的圖像拾取部211-5和211-6的配置。極化濾波器未被設(shè)置在圖像拾取部211-5和211-6的前面，并且圖像拾取部211-5和211-6生成非極化圖像。圖像拾取單元21a將由圖像拾取部211-5至211-6生成的非極化圖像輸出至深度圖生成單元22a。

圖19(a)至圖19(e)均是示出圖像拾取單元21a中的圖像拾取部的布置的圖。圖像拾取單元21a具有以下配置，在該配置中，圖像拾取部211-1至211-4被布置在如圖19的(a)中所示的矩形的四個角處，以及圖像拾取部211-5被布置在矩形中布置的圖像拾取部211-1至211-4的左側(cè)，以及圖像拾取部211-6被布置在右側(cè)。注意，圖19(a)至圖19(e)示出了沒有指示極化方向的箭頭的圖像拾取部是生成非極化圖像的圖像拾取部。

此外，圖像拾取單元21a可以具有以下配置，在該配置中，生成極化圖像的圖像拾取部被沿如圖19的(b)和(c)中所示的直線布置，以及生成非極化圖像的圖像拾取部被布置在沿直線布置的圖像拾取部的左側(cè)和右側(cè)。

此外，圖像拾取單元21a可以具有以下配置，在該配置中，設(shè)置了生成非極化圖像的更多個圖像拾取部，對針對每對非極化圖像生成的深度圖進行整合，并且可以生成更高精度深度圖。例如，使用以下配置，在該配置中，如圖19的(d)中所示，生成非極化圖像的兩個圖像拾取部被沿豎直方向設(shè)置在被布置在矩形中并且生成極化圖像的圖像拾取部的左邊和右邊，以及可以對針對每對非極化圖像生成的多個深度圖進行整合以生成高精度深度圖。此外，可以使用以下配置，在該配置中，如圖19的(e)中所示，生成非極化圖像的圖像拾取部被設(shè)置為圍繞被布置在矩形中并且生成極化圖像的圖像拾取部，以及可以對針對每對非極化圖像生成的多個深度圖進行整合以生成高精度深度圖。注意，可以以任何方式布置生成非極化圖像的圖像拾取部而不限于圖19的(d)和(e)中所示的布置，只要可以對多個深度圖進行整合以生成高精度深度圖即可。

深度圖生成單元22a根據(jù)由圖像拾取單元21a生成的非極化圖像來生成指示關(guān)于對象的距離信息的深度圖。深度圖生成單元22a通過使用在不同視點位置處的非極化圖像來進行立體匹配處理并且生成指示在每個像素處的深度的深度圖。深度圖生成單元22a將生成的深度圖輸出至對準單元23和法線圖生成單元25。此外，當存在多對非極化圖像時，深度圖生成單元22a可以生成針對各個對的深度圖，進行如上所述的深度圖整合處理，從而生成高精度深度圖。

對準單元23基于由深度圖生成單元22a生成的深度圖來對由圖像拾取單元21a生成的極化圖像進行對準。對準單元23基于由深度圖生成單元22a生成的深度圖中的深度以及使用先前獲取的校準信息指示的圖像拾取部的位置關(guān)系，來確定極化圖像之間的視差并且對極化圖像進行對準。對準單元23將對準之后的極化圖像輸出至極化特征獲取單元24。

極化特征獲取單元24通過使用對準之后的極化圖像來獲取自期望視點位置的對象的極化特征。極化特征獲取單元24基于使用校準信息指示的圖像拾取部之間的位置關(guān)系和深度圖，來計算在將圖像拾取部作為期望視點位置的情況下的旋轉(zhuǎn)矩陣。此外，極化特征獲取單元24根據(jù)諸如多個極化圖像的極化方向和亮度的信息以及指示生成這些極化圖像的圖像拾取部與期望視點位置之間的位置關(guān)系的旋轉(zhuǎn)矩陣，來計算指示自期望視點位置的對象的極化特征的極化模型等式。極化特征獲取單元24將獲取的作為極化特征的極化模型等式輸出至法線圖生成單元25。

法線圖生成單元25基于由極化特征獲取單元24獲取的自期望視點位置的對象的極化特征來生成對象的法線圖。法線圖生成單元25根據(jù)由極化特征獲取單元24獲取的極化模型等式基于在其處亮度變成最高的方位角以及極化度來計算針對每個像素的天頂角，并且生成存儲指示法線方向的法線信息(方位角和天頂角)的法線圖。此外，法線圖生成單元25通過使用深度圖來消除在法線圖中的180度的不確定性，并且生成消除了180度的不確定性的法線圖。

[3-2.第三實施方式的操作]

接下來，將描述第三實施方式的操作。圖20是示出第三實施方式的操作的流程圖。以與第一實施方式類似的方式，在步驟st1至步驟st4中，圖像拾取單元21a生成極化圖像。例如，在步驟st1中，圖像拾取單元21a的圖像拾取部211-1生成第一極化圖像。在步驟st2中，圖像拾取部211-2生成第二極化圖像。在步驟st3中，圖像拾取部211-3生成第三極化圖像。在步驟st4中，圖像拾取部211-4生成第四極化圖像。此外，在步驟st5至步驟st6中，圖像拾取單元21a在沒有通過極化濾波器的情況下生成非極化圖像。例如，在步驟st5中，圖像拾取單元21a的圖像拾取部211-5生成第一非極化圖像。在步驟st6中，圖像拾取部211-6生成第二非極化圖像。因此，在圖像處理裝置10中，圖像拾取部211-1至211-6在不同視點位置處生成沿不同極化方向的多個極化圖像以及在不同視點位置處的非極化圖像，然后圖像處理裝置10進行至步驟至st15。

在步驟st15中，深度圖生成單元22a生成深度圖。深度圖生成單元22a通過使用在不同視點位置處的第一非極化圖像和第二非極化圖像來進行立體匹配處理，生成深度圖，然后進行至步驟st30。

在步驟st30中，對準單元23進行極化圖像對準處理。對準單元23通過使用在步驟st15中生成的深度圖來對各個極化圖像進行對準，然后進行至步驟st40。

在步驟st40中，極化特征獲取單元24進行極化特征獲取處理。極化特征獲取單元24通過使用對準之后的極化圖像來計算針對期望視點位置的極化模型等式，然后處理進行至步驟st50。

在步驟st50中，法線圖生成單元25進行法線圖生成處理。法線圖生成單元25基于在期望視點位置處的極化特征，來針對每個像素生成指示對象的表面法線的法線圖。

如上所述，根據(jù)第三實施方式，由于使用非極化圖像生成深度圖，因此，與使用可以產(chǎn)生取決于極化方向的亮度差的極化圖像的情況相比，可以以高精度容易地生成深度圖。此外，以與第一實施方式類似的方式，可以以高精度針對每個像素獲取在期望視點位置處的極化特征，而不會造成時間分辨率和空間分辨率的降低。

<4.第四實施方式>

接下來，將描述第四實施方式。第四實施方式描述了使用獲取的在期望視點位置處的極化特征來進行處理的情況。

[4-1.第四實施方式的配置]

圖21是示出第四實施方式的功能配置的圖。以與第一實施方式類似的方式,圖像處理裝置10包括圖像拾取單元21、深度圖生成單元22、對準單元23和極化特征獲取單元24。此外，第四實施方式的圖像處理裝置10還包括極化特征使用單元27。

圖像拾取單元21在多個視點位置處通過在不同視點位置處沿不同極化方向的極化濾波器(例如，極化板)來拾取對象并且生成極化圖像。圖像拾取單元21包括多個圖像拾取部例如四個圖像拾取部211-1至211-4，以生成沿三個或更多個不同的極化方向的極化圖像。極化板210-1被設(shè)置在圖像拾取部211-1的前面。類似地，極化板210-2至210-4分別被設(shè)置在圖像拾取部211-2至211-4的前面。極化板210-1至210-4沿彼此不同的極化方向設(shè)置。圖像拾取部211-1至211-4生成沿彼此不同的極化方向的極化圖像。圖像拾取單元21將由圖像拾取部211-1至211-4生成的極化圖像的圖像數(shù)據(jù)輸出至深度圖生成單元22和對準單元23。圖像拾取單元21將例如線性極化板等用作極化濾波器。注意，圖像拾取單元21可以在另一配置的情況下以與上述第一實施方式類似的方式生成沿三個或更多個不同的極化方向的極化圖像。

深度圖生成單元22根據(jù)由圖像拾取單元21生成的在不同的視點位置處的極化圖像來生成指示關(guān)于對象的距離信息的深度圖。深度圖生成單元22通過使用在不同視點位置處的極化圖像來進行立體匹配處理以生成在指示在每個像素處的深度的深度圖。此外,深度圖生成單元22生成針對在不同視點位置處的每對極化圖像的深度圖并且對生成的深度圖進行整合以生成具有比整合之前的精度更高的精度的深度圖。深度圖生成單元22將整合之后的深度圖輸出至對準單元23和法線圖生成單元25。

對準單元23基于由深度圖生成單元22生成的深度圖來對由圖像拾取單元21生成的極化圖像進行對準。對準單元23基于由深度圖生成單元22生成的深度圖中的深度以及在先前獲取的校準信息中指示的圖像拾取部的位置關(guān)系來確定極化圖像之間的視差，并且在每個像素處對極化圖像進行對準。對準單元23將對準之后的極化圖像輸出至極化特征獲取單元24。

極化特征獲取單元24通過使用對準之后的極化圖像來獲取自期望視點位置的對象的極化特征。極化特征獲取單元24基于在校準信息中指示的圖像拾取部之間的位置關(guān)系和深度圖來計算在將圖像拾取部作為期望視點位置的情況下的旋轉(zhuǎn)矩陣。此外，極化特征獲取單元24根據(jù)諸如多個極化圖像的極化方向和亮度的信息以及指示生成極化圖像的圖像拾取部與期望視點位置之間的位置關(guān)系的旋轉(zhuǎn)矩陣，來計算指示自期望視點位置的對象的極化特征的極化模型等式。極化特征獲取單元24將獲取的作為極化特征的極化模型等式輸出至極化特征使用單元27。

極化特征使用單元27使用由極化特征獲取單元24獲取的極化特征來對由圖像拾取單元21生成的圖像進行修改處理，比如調(diào)整在期望視點位置處的圖像的反射分量。具體地，進行諸如用于生成任意方位角的極化圖像的處理、用于消除反射分量的處理以及用于調(diào)整鏡面反射分量并且調(diào)整光澤度的處理的修改處理。此外，極化特征使用單元27可以根據(jù)對象的表面形狀使用極化特征作為圖像特征量來進行諸如在考慮對象的表面形狀以及識別三維對象的情況下的處理的處理。

[4-2.第四實施方式的操作]

接下來，將描述第四實施方式的操作。圖22是示出第四實施方式的操作的流程圖。以與第一實施方式類似的方式，在步驟st1至步驟st4中，圖像拾取單元21生成極化圖像。例如，在步驟st1中，圖像拾取單元21的圖像拾取部211-1生成第一極化圖像。在步驟st2中，圖像拾取部211-2生成第二極化圖像。在步驟st3中，圖像拾取部211-3生成第三極化圖像。在步驟st4中，圖像拾取部211-4生成第四極化圖像。因此，在圖像處理裝置10中，圖像拾取部211-1至211-4在不同視點位置處生成沿不同極化方向的極化圖像，然后圖像處理裝置10分別進行至步驟st11至步驟st14。

在步驟st11至步驟st14中，深度圖生成單元22生成深度圖。深度圖生成單元22根據(jù)在不同視點位置處的兩個極化圖像生成深度圖，然后進行至步驟st20。注意，極化圖像的對不限于圖22所示的組合。

在步驟st20中，深度圖生成單元22進行深度圖整合處理。深度圖生成單元22對在步驟st11至步驟st14中生成的深度圖進行整合，然后進行至步驟st30。

在步驟st30中，對準單元23進行極化圖像對準處理。對準單元23通過使用整合之后的深度圖來對極化圖像進行對準，然后進行至步驟st40。

在步驟st40中，極化特征獲取單元24進行極化特征獲取處理。極化特征獲取單元24通過使用對準之后的極化圖像來計算針對期望視點位置的極化模型等式，然后處理進行至步驟st70。

在步驟st70中，極化特征使用單元27進行極化特性使用處理。極化特征使用單元27使用獲取的極化特征來例如進行圖像修改處理。圖23(a)至圖23(b)、圖24(a)至圖24(b)以及圖25(a)至圖25(b)均示出使用極化特征來調(diào)整圖像的反射分量作為修改處理的情況。圖23的(a)、圖24的(a)和圖25的(a)均示出基于在步驟st40中計算的極化模型等式的亮度與方位角之間的關(guān)系。此處，高達最低亮度imin的范圍是不管極化狀態(tài)如何亮度不改變的分量，而從最低亮度imin至最高亮度imax的亮度范圍是亮度根據(jù)極化狀態(tài)而改變的范圍。因此，根據(jù)方位角控制亮度使得可以以偽方式獲得與pl濾波器對應(yīng)的濾波效果，并且如圖23的(b)所示，通過沿期望極化方向的極化濾波器的極化圖像可以是根據(jù)正常拾取的圖像生成的。

此外，高達最低亮度imin的范圍是不管極化狀態(tài)如何亮度不改變的分量并且與非極化分量對應(yīng)，而從最低亮度imin至最高亮度imax的亮度范圍是亮度根據(jù)極化狀態(tài)而改變的范圍并且與極化分量對應(yīng)。因此，如圖24的(b)中所示，通過從正常拾取的圖像消除與極化分量對應(yīng)的亮度分量，可以生成消除了反射分量的拾取圖像。

此外，高達最低亮度imin的范圍是不管極化狀態(tài)如何亮度不改變的分量并且與非極化分量對應(yīng)，并且該范圍可以主要地視為漫反射分量。此外，從最低亮度imin至最高亮度imax的亮度范圍可以主要視為鏡面反射分量。因此，如圖25的(b)中所示，通過抑制鏡面反射分量，可以生成抑制光澤度的拾取圖像?？商娲?，通過突出鏡面反射分量，可以生成具有增強的光澤度的拾取圖像。

此外，極化特征使用單元27可以通過使用由極化特征獲取單元計算的極化特征來計算圖像特征量，并且可以通過使用圖像特征量來在考慮對象的表面形狀的情況下進行處理，比如對三維對象的匹配處理以及對三維對象的識別處理。接下來，作為考慮對象的表面形狀的處理，將描述對三維對象進行匹配處理的操作。

極化特征使用單元27根據(jù)在每個像素處極化圖像中的對象的表面形狀來使用極化特征例如以計算圖像特征量。圖26(a)至圖26(c)均是用于描述計算圖像特征量的圖。圖26的(a)和(b)示出了極化方向的角與在極化圖像中的圖像特征量的特征量計算對象像素(在下文簡稱為“對象像素”)中的亮度之間的關(guān)系。圖26的(b)示出了例如照明光比圖26的(a)的照明光更亮的情況。注意，圖26(a)至圖26(c)分別示出極化角為0度、45度、90度和135度的情況。此外，當在對象像素處的極化角為0度時的亮度為i0°和i'0°，當極化角為45度時的亮度為i45°和i'45°，當極化角為90度時的亮度為i90°和i'90°，以及當極化角為135度時的亮度為i135°和i'135°。因此，極化圖像的亮度因照明等而改變。因此，極化特征使用單元27對亮度進行歸一化，以使得可以確定即使亮度不同極化特征是否也具有相同的特征。極化特征使用單元27計算在每個極化角處的亮度的平均值，用在每個極化角處的亮度除以計算的平均亮度，并且計算歸一化亮度。注意，圖26的(c)示出歸一化之后的亮度，并且歸一化參考水平對應(yīng)于平均亮度。

極化特征使用單元27將歸一化之后的每個極化角的亮度設(shè)置為圖像特征量。注意，等式(18)示出當具有0度、45度、90度和135度的極化角的極化圖像被獲取時的圖像特征量。

[數(shù)學(xué)公式11]

以這種方式計算的圖像特征量是指示在與對象像素對應(yīng)的對象位置處的表面形狀的信息。此外，極化特征使用單元27使用計算的圖像特征量來對三維對象進行匹配處理。圖27(a)至圖27(b)均示出當極化特征使用單元進行匹配處理時的操作。

極化特征使用單元27通過使用圖像特征量來確定在一個圖像中檢測到的哪個特征點與在另一圖像中檢測到的用于匹配的特征點(在下文稱為“對象特征點”)匹配。特征點是例如基于圖像特征量來檢測的，圖像特征量是基于在0度、45度、90度和135度的極化角υ處的亮度計算的。此處，對象特征點tp0的圖像特征量是[f⁰0°,f⁰45°,f⁰90°,f⁰135°]。此外，另一特征點tqj的圖像特征量是[f^j0°,f^j45°,f^j90°,f^j135°]。注意，“j”是表示在另一特征點中的第j特征點的變量。

極化特征使用單元27確定在其處圖像特征量的矢量之間的距離最小的點為匹配點。例如，通過進行等式(19)的計算，極化特征使用單元27將在其處對象特征點與圖像特征量之差的平方之和變成最小的特征點j與其他特征點區(qū)分，并且將該特征點設(shè)置為匹配點。

[數(shù)學(xué)公式12]

如上所述，根據(jù)第四實施方式，通過使用計算的極化特征，可以容易地進行諸如各種類型的修改處理以及在考慮對象的表面形狀的情況下的處理的處理。此外，以與第一實施方式類似的方式，可以以高精度針對每個像素獲取在期望視點位置處的極化特征而不會造成時間分辨率和空間分辨率的降低。

<5.另一實施方式>

接下來，將描述另一實施方式。另一實施方式示出在不生成深度圖的情況下生成法線圖的情況。

圖28是示出另一實施方式的功能配置的圖。圖像處理裝置10包括圖像拾取單元21、對準單元23a以及法線圖生成單元25a。

圖像拾取單元21在多個視點位置處通過在不同視點位置處沿不同極化方向的極化濾波器來拾取對象并且生成極化圖像。圖像拾取單元21包括多個圖像拾取部例如四個圖像拾取部211-1至211-4，以生成沿三個或更多個不同的極化方向的極化圖像。極化板210-1被設(shè)置在圖像拾取部211-1的前面。類似地，極化板210-2至210-4分別被設(shè)置在圖像拾取部211-2至211-4的前面。極化板210-1至210-4沿彼此不同的極化方向被設(shè)置。圖像拾取部211-1至211-4生成沿彼此不同的極化方向的極化圖像。圖像拾取單元21將由圖像拾取部211-1至211-4生成的極化圖像的圖像數(shù)據(jù)輸出至深度圖生成單元22和對準單元23a。

圖像拾取單元21將例如線性極化板用作極化板。此外，圖像拾取單元21不僅可以使用線性極化板而且可以使用線性極化板和由四分之一波長板制成的圓形極化板。此外，圖像拾取單元21可以在線性極化板與圖像拾取部之間設(shè)置有去極化板。注意，圖像拾取單元21可以在另一配置的情況下以與上述第一實施方式類似的方式生成沿三個或更多個不同的極化方向的極化圖像。

對準單元23a對由圖像拾取單元21生成的極化圖像進行對準。對準單元23a使用圖像特征來對極化圖像進行對準而不使用深度圖。對準單元23a例如在整個屏幕上通過單應(yīng)性來近似地對圖像之間的移動等進行建模，并且基于該模型來對極化圖像進行對準。此外，例如，當從不同的視點位置拾取了靜態(tài)對象時，將獲得其中對象將在拾取的圖像之間移動的圖像。因此，對準單元23a可以檢測光流等，并且基于檢測結(jié)果來對極化圖像進行對準。例如，如圖29(a)至圖29(b)所示，在近處的對象(例如，汽車)和遠處的對象(例如，樹)被混合在同一屏幕上的情況下，如圖29的(a)中所示，當在整個屏幕上檢測光流時，難以以高精度檢測光流。因此，如圖29的(b)中所示，當屏幕被劃分成多個塊并且在每個塊中檢測光流時，可以針對近處的對象和遠處的對象中的每個以高精度檢測光流。因此，當使用在每個塊中檢測到的光流時，可以以高精度對極化圖像進行對準。

基于對準之后的沿三個或更多個極化方向的極化圖像，法線圖生成單元25a從極化圖像的極化方向和亮度獲得亮度與極化角之間的關(guān)系，以確定在其處亮度變成最高的方位角α。此外，法線圖生成單元25a通過使用從亮度與極化角之間的關(guān)系獲得的最高亮度和最低亮度來計算極化度ρ，并且基于指示極化度與天頂角之間的關(guān)系的特征曲線來確定與計算的極化度ρ對應(yīng)的天頂角。因此，基于對準之后的沿三個或更多個極化方向的極化圖像，法線圖生成單元25a獲得對象在每個像素位置處的法線信息(方位角α和天頂角θ)以生成法線圖。

在這樣的另一實施方式中，由于不必生成深度圖，因此可以容易地生成法線圖。注意，由于未生成深度圖，因此生成的法線圖具有180度的不確定性。

<6.應(yīng)用>

接下來，將描述圖像處理裝置(圖像處理方法)的應(yīng)用。圖30是示出使用本技術(shù)的圖像處理裝置的車輛控制系統(tǒng)的示意性配置的框圖。車輛控制系統(tǒng)90包括經(jīng)由通信網(wǎng)絡(luò)920連接的多個控制單元和檢測單元。在圖30所示的示例中，車輛控制系統(tǒng)90包括驅(qū)動系統(tǒng)控制單元931、車身系統(tǒng)控制單元932、電池控制單元933、車外信息檢測單元934、無線通信單元935和集成控制單元940。通信網(wǎng)絡(luò)920可以是例如符合任意標準的車載通信網(wǎng)絡(luò)，例如控制器局域網(wǎng)(can)、局域互聯(lián)網(wǎng)絡(luò)(lin)、局域網(wǎng)(lan)和flexray(注冊商標)。此外，輸入單元951、音頻輸出單元952和顯示單元953被連接至集成控制單元940。

每個控制單元包括根據(jù)各種程序進行算術(shù)處理的微型計算機、存儲要由微型計算機執(zhí)行的程序或要用于各種計算的參數(shù)等的存儲單元以及驅(qū)動要被控制的各種裝置的驅(qū)動電路。

驅(qū)動系統(tǒng)控制單元931根據(jù)各種程序來控制與車輛驅(qū)動系統(tǒng)相關(guān)的裝置的操作。例如，驅(qū)動系統(tǒng)控制單元931用作：用于生成車輛的驅(qū)動力的驅(qū)動力生成設(shè)備，例如內(nèi)燃機或驅(qū)動馬達；用于將驅(qū)動力傳送至車輪的驅(qū)動力傳送機構(gòu)；以及用于調(diào)節(jié)車輛的方向盤角度的轉(zhuǎn)向機構(gòu)。此外，驅(qū)動系統(tǒng)控制單元931可以具有如諸如用于生成車輛的制動力的制動設(shè)備的控制設(shè)備的功能，以及如諸如防抱死制動系統(tǒng)(abs)和電子穩(wěn)定性控制(esc)的控制設(shè)備的功能。

車輛狀態(tài)檢測單元9311連接至驅(qū)動系統(tǒng)控制單元931。車輛狀態(tài)檢測單元9311包括例如檢測車身的軸旋轉(zhuǎn)運動的角速度的陀螺儀傳感器、檢測車輛的加速度的加速度傳感器、或用于檢測加速器踏板的操作量、制動踏板的操作量、轉(zhuǎn)向輪的轉(zhuǎn)向角、引擎速度或驅(qū)動速度的傳感器。驅(qū)動系統(tǒng)控制單元931使用從車輛狀態(tài)檢測單元9311輸入的信號來進行算術(shù)處理，并且控制內(nèi)燃機、驅(qū)動電機、電動助力轉(zhuǎn)向設(shè)備、制動設(shè)備等。

車身系統(tǒng)控制單元932根據(jù)各種程序來控制安裝在車身中的各種設(shè)備的操作。例如，車身系統(tǒng)控制單元932用作無鑰匙進入系統(tǒng)、智能鑰匙系統(tǒng)、電動窗裝置或諸如前照燈、后燈、剎車燈、閃光燈或霧燈的各種燈的控制裝置。在這種情況下，從代替鑰匙的便攜式裝置發(fā)送的電磁波或者各種開關(guān)的信號可以被輸入到車身系統(tǒng)控制單元932。車身系統(tǒng)控制單元932接收電磁波或信號的輸入，并且控制車輛的設(shè)備例如門鎖設(shè)備、電動窗設(shè)備和燈。

電池控制單元933根據(jù)各種程序來控制作為用于驅(qū)動電機的電力供應(yīng)源的二次電池9331。例如，從包括二次電池9331的電池裝置向電池控制單元933輸入諸如電池溫度、電池輸出電壓或電池剩余容量的信息。電池控制單元933通過使用這些信號來進行算術(shù)處理，并且對二次電池9331進行溫度調(diào)節(jié)控制或者對包括在電池裝置中的冷卻裝置等進行控制。

車外信息檢測單元934檢測配備有車輛控制系統(tǒng)90的車輛的外部的信息。本技術(shù)的圖像處理裝置10用于車外信息監(jiān)測單元934。

圖31是示出安裝圖像拾取單元的示例的圖。圖像處理裝置10的圖像拾取單元21被設(shè)置在例如車輛80的前鼻部、側(cè)視鏡、后保險杠、后門和乘員艙內(nèi)的擋風(fēng)玻璃的上部中的至少一個位置處。設(shè)置在前鼻部中的圖像拾取單元21-a和設(shè)置在乘員艙內(nèi)的擋風(fēng)玻璃的上部中的圖像拾取單元21-b主要獲取車輛80的前面的圖像。設(shè)置在側(cè)視鏡中的圖像拾取單元21-c和21-d主要獲取車輛80的側(cè)部的圖像。設(shè)置在后保險杠或后門中的圖像拾取單元21-e主要獲取車輛80后面的圖像。注意，圖30示出圖像拾取單元21-a至21-e中的每個的拍攝范圍的一個示例。圖像拾取范圍ar-a指示設(shè)置在前鼻部中的圖像拾取單元21-a的圖像拾取范圍。圖像拾取范圍ar-c和ar-d分別指示設(shè)置在側(cè)視鏡中的圖像拾取單元21-c和21-d的圖像拾取范圍。圖像拾取范圍ar-e指示設(shè)置在后保險杠或后門中的圖像拾取單元21-e的圖像拾取范圍。

返回圖30，外部車輛信息檢測單元934拾取車輛的周圍區(qū)域并且獲取極化圖像。此外，外部車輛信息檢測單元934從獲取的極化圖像獲取對象的極化特征。此外，外部車輛信息檢測單元934通過使用獲取的極化特征來進行諸如生成可用于車輛控制的信息等的處理。

無線通信單元935經(jīng)由諸如專用短程通信(dsrc)(注冊商標)的無線通信網(wǎng)絡(luò)與車輛的外部例如其他車輛以及管理道路狀況的管理中心等通信。然后，無線通信單元935將接收到的信息輸出至集成控制單元940。此外，無線通信單元935將由外部車輛信息檢測單元934獲取的諸如極化特征的信息傳送至其他車輛、管理中心等。注意，無線通信單元935可以經(jīng)由諸如無線lan的無線通信網(wǎng)絡(luò)、用于移動電話的無線通信網(wǎng)絡(luò)例如3g、lte和4g的無線通信網(wǎng)絡(luò)來與管理中心通信。此外，無線通信單元935可以接收全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)的信號或其他信號并且進行定位，并且將定位結(jié)果輸出至集成控制單元940。

輸入單元951、音頻輸出單元952和顯示單元953被連接至集成控制單元940。輸入單元951是例如由使用者可以對其進行輸入操作的設(shè)備例如觸摸面板、按鈕、麥克風(fēng)、開關(guān)或桿來實現(xiàn)。輸入單元951基于由使用者輸入的信息等來生成輸入信號并且將輸入信號輸出至集成控制單元940。

音頻輸出單元952基于來自集成控制單元940的音頻信號通過輸出音頻來向車輛使用者聽覺上通知信息。顯示單元953基于來自集成控制單元940的圖像信號來顯示圖像并且向車輛使用者視覺上通知信息。

集成控制單元940具有中央處理單元(cpu)、只讀存儲器(rom)、隨機存取存儲器(ram)等。只讀存儲器(rom)存儲要由中央處理單元(cpu)執(zhí)行的各種程序。隨機存取存儲器(ram)存儲諸如算數(shù)結(jié)果或傳感器值的各種參數(shù)和信息。cpu執(zhí)行存儲在rom中的各種程序，并且根據(jù)來自輸入單元951的輸入信號、通過經(jīng)由通信網(wǎng)絡(luò)920、外部車輛信息檢測單元和無線通信單元與每個控制單元通信而獲取的信息、以及存儲在ram中的信息來控制車輛控制系統(tǒng)90中的總體操作。此外，集成控制單元940生成對要被聽覺上通知車輛使用者的信息進行指示的音頻信號并且將音頻信號輸出至音頻輸出單元952，并且生成視覺上通知信息的圖像信號并且將圖像信號輸出至顯示單元953。此外，集成控制單元940通過使用無線通信單元935來與存在于車輛外部的各種設(shè)備例如其他車輛和管理中心通信。此外，集成控制單元940基于存儲在rom或ram中的地圖信息以及從無線通信單元935獲取的定位結(jié)果來進行車輛駕駛支持。

注意，在圖30所示的示例中，經(jīng)由通信網(wǎng)絡(luò)920連接的至少兩個控制單元可以被集成為一個控制單元?？商娲兀總€單獨的控制單元可以包括多個控制單元。此外，車輛控制系統(tǒng)90可以包括其他未示出的控制單元。此外，在以上描述中，要被控制單元中的任何一個控制單元進行的功能中的一些功能或全部功能可以由另一控制單元進行。換言之，只要信息被經(jīng)由通信網(wǎng)絡(luò)920傳送和接收，就可以由控制單元中的任何一個控制單元進行預(yù)定算術(shù)處理。

在這樣的車輛控制系統(tǒng)中，當本技術(shù)的圖像處理裝置被應(yīng)用于例如外部車輛信息檢測單元時，外部車輛信息檢測單元可以以高精度進行對象識別等，并且生成具有高空間分辨率和高精度的深度圖。此外，通過進行各種類型的修改處理如例如與pl濾波器對應(yīng)的濾波處理、消除反射分量以及調(diào)整光澤度，可以生成具有抑制了反射和炫光的拾取圖像。這使得可以通過使用諸如由外部車輛信息檢測單元生成的深度圖和修改處理之后的圖像的信息來以高精度檢測障礙物、把握到障礙物的距離等，并且可以構(gòu)造能夠進行更安全的駕駛的車輛控制系統(tǒng)。

此外，上述圖像處理裝置可以是包括圖像拾取設(shè)備或圖像拾取功能的電子設(shè)備等。此外，說明書中描述的一系列處理可以通過硬件、軟件或硬件和軟件兩者的組合配置來執(zhí)行。在通過軟件執(zhí)行處理的情況下，記錄處理序列的程序被安裝在并入用于執(zhí)行的專用硬件中的計算機中的存儲器中?？商孢x地，可以在能夠執(zhí)行各種處理的通用計算機中安裝并且執(zhí)行用于執(zhí)行上述處理的程序。

例如，程序可以被預(yù)先記錄在作為記錄介質(zhì)的硬盤、固態(tài)驅(qū)動器(ssd)或只讀存儲器(rom)中。可替選地，程序可以被暫時或永久地存儲(記錄)在可移除記錄介質(zhì)例如軟盤、光盤只讀存儲器(cd-rom)、磁光(mo)盤、數(shù)字多功能盤(dvd)、藍光盤(bd)(注冊商標)、磁盤和半導(dǎo)體存儲器卡中。這樣的可移除記錄介質(zhì)可以被設(shè)置為所謂的封裝軟件。

此外，除了將來自可移除介質(zhì)的程序安裝到計算機中，還可以經(jīng)由諸如局域網(wǎng)(lan)和因特網(wǎng)的網(wǎng)絡(luò)無線地或通過電線而將程序從下載站點傳送至計算機。計算機可以接收以該方式傳送的程序，并且將程序安裝在記錄介質(zhì)例如內(nèi)置硬盤上。

注意，本說明書中描述的效果僅是說明性的而不是限制性的，并且可以存在未被描述的另外的效果。此外，本技術(shù)不應(yīng)當被理解為受限于上述實施方式，而例如上述實施方式可以被組合。本技術(shù)的實施方式以說明的形式公開了本技術(shù)，并且明顯的是本領(lǐng)域的技術(shù)人員可以在不背離本技術(shù)的精神的情況下對實施方式進行修改和替換。即，為了確定本技術(shù)的精神，應(yīng)當考慮權(quán)利要求。

此外，本技術(shù)的圖像處理裝置還可以具有以下配置。

(1)一種圖像處理裝置，包括：

對準單元，被配置成基于指示關(guān)于對象的距離信息的深度圖，來對通過在多個視點位置處通過在不同的視點位置處沿不同極化方向的極化濾波器拾取對象而獲得的極化圖像進行對準；以及

極化特征獲取單元，被配置成通過使用由所述對準單元對準的所述極化圖像來獲取自期望視點位置的所述對象的極化特征。

(2)根據(jù)(1)所述的圖像處理裝置，還包括深度圖生成單元，被配置成根據(jù)通過在所述多個視點位置處拾取所述對象而獲得的圖像來生成所述深度圖。

(3)根據(jù)(2)所述的圖像處理裝置，其中，

所述深度圖生成單元生成針對在所述多個視點位置處的所述圖像中的每個圖像組合的所述深度圖并且對所生成的深度圖進行整合，以及

所述對準單元基于在由所述深度圖生成單元獲得的整合之后的所述深度圖，來對所述極化圖像進行對準。

(4)根據(jù)(2)或(3)所述的圖像處理裝置，其中，作為通過在所述多個視點位置處拾取所述對象而獲得的所述圖像，所述深度圖生成單元使用所述極化圖像。

(5)根據(jù)(2)或(3)所述的圖像處理裝置，其中，作為通過在所述多個視點位置處拾取所述對象而獲得的所述圖像，所述深度圖生成單元使用在不通過所述極化濾波器或通過沿相同極化方向的極化濾波器的情況下而拾取的圖像。

(6)根據(jù)(1)至(5)中的任意一項所述的圖像處理裝置，其中，所述極化特征獲取單元基于所述多個對準的極化圖像的極化方向和亮度，來獲取自期望視點位置所述對象的極化特征。

(7)根據(jù)(1)至(6)中的任意一項所述的圖像處理裝置，還包括法線圖生成單元，被配置成基于由所述極化特征獲取單元計算的所述極化特征來生成在所述期望視點位置處所述對象的法線圖。

(8)根據(jù)(7)所述的圖像處理裝置，其中，所述法線圖生成單元基于由所述對準單元使用的所述深度圖來生成消除了極化分析中的180度的不確定性的所述法線圖。

(9)根據(jù)(7)或(8)所述的圖像處理裝置，還包括高精度深度圖生成單元，被配置成對由所述對準單元使用的所述深度圖和由所述法線圖生成單元生成的所述法線圖進行整合以生成具有比所述對準單元使用的所述深度圖更高精度的深度圖。

(10)根據(jù)(1)至(9)中的任意一項所述的圖像處理裝置，還包括圖像拾取單元，被配置成通過在所述多個視點位置處通過在不同的視點位置處沿不同極化方向的極化濾波器拾取所述對象來生成所述極化圖像。

(11)根據(jù)(10)所述的圖像處理裝置，其中，

在所述圖像拾取單元中，圖像拾取部被設(shè)置在所述多個視點位置處，以及

所述圖像拾取部被設(shè)置有沿不同極化方向的所述極化濾波器以在所述多個視點位置處生成所述極化圖像。

(12)根據(jù)(10)所述的圖像處理裝置，其中，

在所述圖像拾取單元中，多個透鏡被沿與光軸方向垂直的方向布置在成像元件的光入射表面?zhèn)壬?，以?/p>

所述透鏡被設(shè)置有沿不同極化方向的所述極化濾波器以在所述多個視點位置處生成所述極化圖像。

(13)根據(jù)(10)所述的圖像處理裝置，其中，所述圖像拾取單元還包括圖像拾取部，所述圖像拾取部被配置成在不通過所述極化濾波器或通過沿相同極化方向的極化濾波器的情況下而在所述多個視點位置處拾取所述對象以生成圖像。

(14)根據(jù)(1)至(12)中的任意一項所述的圖像處理裝置，還包括極化特征使用單元，被配置成通過使用由所述極化特征獲取單元計算的所述極化特征來進行圖像處理。

(15)根據(jù)(14)所述的圖像處理裝置，其中，所述極化特征使用單元使用由所述極化特征獲取單元計算的所述極化特征來生成調(diào)節(jié)了在期望視點位置處的圖像的反射分量的圖像。

(16)根據(jù)(14)或(15)所述的圖像處理裝置，其中，所述極化特征使用單元通過使用由所述極化特征獲取單元計算的所述極化特征來計算圖像特征量，并且使用所述圖像特征量來進行在考慮所述對象的表面形狀的情況下的處理。

工業(yè)實用性

在本技術(shù)的圖像處理裝置和圖像處理方法中，基于指示關(guān)于對象的距離信息的深度圖來對通過在多個視點位置處通過在不同的視點位置處沿不同極化方向的極化濾波器而拾取對象獲得的極化圖像進行對準。此外，通過使用對準的極化圖像，獲取自期望視點位置的對象的極化特征。因此，如果基于該極化特征計算法線，則可以以高精度從期望位置檢測對象的表面形狀。此外，通過使用獲取的極化特征，可以在不拾取在期望視點位置處的圖像的情況下在調(diào)整極化濾波器的極化方向的同時獲取期望極化圖像。因此，其適用于諸如獲取對象的三維形狀的設(shè)備以及對拾取的圖像進行修改處理的設(shè)備等的設(shè)備。

附圖標記列表

10圖像處理裝置

21、21a、21-a至21-e圖像拾取單元

22、22a深度圖生成單元

23、23a對準單元

24極化特征獲取單元

25、25a法線圖生成單元

26高精度深度圖生成單元

27修改處理單元

90車輛控制系統(tǒng)

210-1至210-4、210-n、210-p、223極化板

211-1至211-6、211-n、211-p、211-p圖像拾取部

221圖像傳感器

222透鏡