專利名稱：法線信息生成裝置以及法線信息生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成被攝物表面上的法線信息的裝置，尤其涉及從偏振光圖像中生成法線信息的裝置。

背景技術(shù)：
未來的帶相機(jī)的移動電話、數(shù)碼相機(jī)、數(shù)字?jǐn)z影機(jī)等將具有與HDTV同等程度的高精細(xì)性，并且追求附加價值的小型化也在不斷地普及。但是，若光學(xué)系統(tǒng)和攝像元件步入小型化，則會發(fā)生靈敏度和透鏡衍射界限等基本的圖像攝像的界限問題，以后高精細(xì)化也會到達(dá)界限。在這種情況下，對于沒能充分取得的被攝物的圖像信息而言，能夠通過附加與利用于以計算機(jī)繪圖而生成圖像的各種物理特性有關(guān)的信息量來達(dá)到提高畫質(zhì)的效果。為此，超出了以往的二維圖像處理的范圍，從而需要取得被攝物的三維形狀信息和用于照明被攝物的光源等，在圖像生成過程中的物理信息。在形狀信息的輸入中，需要發(fā)出激光或LED光源的主動傳感器或雙目立體視覺測距等系統(tǒng)，除需要大型的系統(tǒng)以外，例如受到只有在攝像機(jī)和被攝物之間的距離為幾米之內(nèi)才能拍攝，以及成為對象的被攝物必需是固體物質(zhì)并且是明亮的漫反射物體的限制。這樣，在像運(yùn)動會等遠(yuǎn)距離的室外場面攝影或頭發(fā)、衣服等重要的人物攝影中則不能利用。
作為室外場面和一般被攝物中所使用的技術(shù)可以舉出利用偏振光的技術(shù)，如完全被動式的被攝物形狀測知方式。例如，在專利文獻(xiàn)1中公開了這樣一種方法，即對于被攝物的照明不進(jìn)行特殊的假定(隨機(jī)偏振光非偏振光照明)，以邊回轉(zhuǎn)攝像機(jī)的鏡頭前安裝的起偏板邊觀測鏡面反射成分的方法，來生成被攝物的局部的法線信息。被攝物的表面法線有兩個自由度，這兩個自由度是通過求出包含光的入射和反射的光線的入射面的角度以及入射面內(nèi)的入射角這兩個角度來決定的。鏡面反射的入射面的信息可以通過使起偏板回轉(zhuǎn)而使亮度成為最小值的角度來求出。
并且，在非專利文獻(xiàn)1中還提出了，對于被攝物的照明不進(jìn)行特殊的假定(隨機(jī)偏振光非偏振光照明)，以邊回轉(zhuǎn)攝像機(jī)的鏡頭前安裝的起偏板邊觀測鏡面反射成分的方法，來求被攝物的法線信息中的包含光的入射和反射的光線的射出面的一個自由角度。漫反射的射出面信息可以通過使起偏板回轉(zhuǎn)而使亮度成為最大值的角度來求出。根據(jù)此方法，使攝像機(jī)和光源的位置發(fā)生變化并通過立體視覺處理，從而能夠求出表現(xiàn)被攝物法線的兩個自由度。
專利文獻(xiàn)1 美國專利第5,028,138號說明書 非專利文獻(xiàn)1 Ondfej Drbohlav and Sara Radim，″Usingpolarization to determine intrinsic surface properties″，Proc.SPIE Vol.3826，pp.253-263，1999 然而，在上述的專利文獻(xiàn)1的技術(shù)中出現(xiàn)的問題是，僅以鏡面反射為對象，對于影子區(qū)域則不能生成法線信息。并且，在非專利文獻(xiàn)1的技術(shù)中出現(xiàn)的問題是，僅以漫反射為對象，對于像投影和鏡面反射這種反射特性不同的區(qū)域而言，就不能求出正確的法線信息。
即，在上述的以往的技術(shù)中出現(xiàn)的問題是，不論哪個都是利用偏振光來生成法線信息的，而對于影子區(qū)域則不能生成法線信息。在不能針對影子區(qū)域生成法線信息的情況下，雖然可以提高法線信息的推定精確度，但能夠推定法線信息的區(qū)域非常有限。或者，即使利用上述的以往的技術(shù)來針對影子區(qū)域生成法線信息，其精確度也會非常低。


發(fā)明內(nèi)容
于是，本發(fā)明的目的在于提供一種法線信息生成裝置等，其能夠針對影子區(qū)域生成高精確度的法線信息。
為了達(dá)成上述的目的，本發(fā)明所涉及的法線信息生成裝置生成被攝物表面的法線信息，其中包括圖像信息取得部，取得與被攝物圖像有關(guān)的包含亮度信息以及偏振光信息的信息，所述亮度信息是指與來自所述被攝物的光的亮度有關(guān)的信息，所述偏振光信息是指與來自所述被攝物的光的偏振光有關(guān)的信息；影子區(qū)域抽出部，根據(jù)在所述圖像信息取得部取得的亮度信息以及偏振光信息，從所述被攝物圖像中抽出陰影區(qū)域以及投影區(qū)域，所述陰影區(qū)域是指因光的照射方式而在被攝物的表面產(chǎn)生的區(qū)域，所述投影區(qū)域是指因被攝物本身將光遮住而在其他的物體上產(chǎn)生的區(qū)域；以及法線信息生成部，利用在所述圖像信息取得部取得的偏振光信息，針對在所述影子區(qū)域抽出部抽出的陰影區(qū)域，生成確定對應(yīng)的所述被攝物的表面的法線的法線信息。據(jù)此，利用偏振光信息針對陰影區(qū)域生成對應(yīng)的所述被攝物表面的法線信息。
也就是說，在本發(fā)明中是著眼于陰影(attached shadow)區(qū)域和投影(cast shadow)區(qū)域的偏振光特性的差異來生成法線信息的。此時，根據(jù)偏振光特性的不同將影子(shadow)區(qū)域劃分為陰影區(qū)域和投影區(qū)域，關(guān)于陰影區(qū)域可以通過假定鏡面反射來生成陰影區(qū)域的正確的法線信息。
并且，關(guān)于偏振光信息誤差大，且即使生成法線信息，精確度也非常低的投影區(qū)域，可以通過不進(jìn)行法線信息的生成處理，從而可以在盡可能的廣范圍內(nèi)生成高精確度的法線信息。
在此，“影子”是指立體物體被光照射時產(chǎn)生的“影(shadow)”，包括“陰影(attached shadow)”和“投影(cast shadow)”?！瓣幱啊笔侵敢蚴芄夥绞降牟煌?，而立體的被攝物本身所產(chǎn)生的“影”，“投影”是指由于立體的被攝物本身將光遮住，而在其他的平面或其他的立體物體上產(chǎn)生的“影”。
并且，本發(fā)明不僅可以作為法線信息生成裝置來實(shí)現(xiàn)，也可以作為法線信息生成方法來實(shí)現(xiàn)，還可以作為使計算機(jī)執(zhí)行該方法中所包含的步驟的程序來實(shí)現(xiàn)，還可以作為記錄這些程序的DVD等計算機(jī)可讀取的記錄介質(zhì)來實(shí)現(xiàn)。
根據(jù)本發(fā)明，可以通過利用被攝物的偏振光信息來抽出陰影區(qū)域以及投影區(qū)域，并針對陰影區(qū)域生成法線信息。因此，能夠針對影子區(qū)域生成高精確度的法線信息。
因此，通過本發(fā)明能夠生成被攝物的三維形狀信息，使圖像高精細(xì)化，尤其在因光學(xué)系統(tǒng)或攝像元件的小型化而帶來圖像清晰度問題的帶照相機(jī)的移動電話、數(shù)碼相機(jī)、數(shù)碼攝影機(jī)等移動型攝像裝置普及的今天，具有非常高的實(shí)用意義。



圖1是本發(fā)明的實(shí)施例1中的法線信息生成裝置的功能構(gòu)成方框圖。
圖2是搭載了本發(fā)明的實(shí)施例1、2、4中的法線信息生成裝置的攝像機(jī)的構(gòu)成圖。
圖3是示出圖2所示的攝像機(jī)所具備的圖案偏振器和攝像元件之間關(guān)系的模式圖。
圖4是本發(fā)明的實(shí)施例1中的法線信息生成裝置進(jìn)行的處理的流程圖。
圖5是用于說明圖2所示的攝像機(jī)所具備的圖案偏振器的排列狀態(tài)的模式圖。
圖6是用于說明正弦函數(shù)亮度變化和觀測亮度點(diǎn)的模式圖。
圖7(a)示出了球體的被攝物，即示出了塑料球，(b)～(d)分別示出了以偏振度ρ、偏振光相位φ、偏振光推定誤差E拍攝該被攝物時的圖像。
圖8(a)～(d)分別是對圖7(a)～圖7(d)的濃淡明了化后的模式圖。
圖9中的圖表示出了對于被攝物的折射率n＝1.1，1.3，1.5，2.0時的鏡面反射成分的入射角的偏振度。
圖10中的圖表示出了對于被攝物的折射率n＝1.1，1.3，1.5，2.0時的漫反射成分的射出角的偏振度。
圖11是用于說明被分類為陰影區(qū)域和投影區(qū)域的影子區(qū)域的模式圖。
圖12是用于說明陰影區(qū)域中的多次反射光的入射的模式圖。
圖13是用于說明投影區(qū)域中的多次反射光的入射的模式圖。
圖14是本發(fā)明的實(shí)施例1中的區(qū)域劃分部的詳細(xì)構(gòu)成的功能方框圖。
圖15是本發(fā)明的實(shí)施例1中的區(qū)域劃分部的處理流程圖。
圖16(a)、(b)、(c)示出了通過本發(fā)明的實(shí)施例1中的區(qū)域劃分部，在光學(xué)上的區(qū)域劃分結(jié)果。
圖17是本發(fā)明的實(shí)施例1中的漫反射鏡面反射分類處理的流程圖。
圖18示出了通過本發(fā)明的實(shí)施例1中的區(qū)域劃分部的區(qū)域劃分的具體例子。
圖19示出了由區(qū)域劃分部進(jìn)行區(qū)域劃分時的判斷基準(zhǔn)的具體例子。
圖20是本發(fā)明的實(shí)施例1中的法線信息生成部的詳細(xì)構(gòu)成的功能方框圖。
圖21是本發(fā)明的實(shí)施例1中的法線信息生成部進(jìn)行的處理的流程圖。
圖22是本發(fā)明的實(shí)施例1的變形例所涉及的區(qū)域劃分部的功能構(gòu)成方框圖。
圖23是圖22所示的區(qū)域劃分部進(jìn)行漫反射鏡面反射分類處理的流程圖。
圖24是本發(fā)明的實(shí)施例1的變形例所涉及的區(qū)域劃分部的功能構(gòu)成方框圖。
圖25是圖24所示的區(qū)域劃分部進(jìn)行的處理的流程圖。
圖26是本發(fā)明的實(shí)施例1的變形例所涉及的區(qū)域劃分部的功能構(gòu)成方框圖。
圖27是圖26所示的區(qū)域劃分部進(jìn)行的處理的流程圖。
圖28是利用了閃光設(shè)備的實(shí)施例1的變形例中的法線信息生成裝置的功能構(gòu)成方框圖。
圖29是圖28所示的法線信息生成裝置進(jìn)行影子檢測處理的流程圖。
圖30是本發(fā)明的實(shí)施例2所涉及的法線信息生成裝置的功能構(gòu)成方框圖。
圖31是本發(fā)明的實(shí)施例2中的法線信息生成裝置進(jìn)行的處理流程圖。
圖32是本發(fā)明的實(shí)施例2中的區(qū)域劃分部的詳細(xì)的功能構(gòu)成方框圖。
圖33是本發(fā)明的實(shí)施例2中的區(qū)域劃分部進(jìn)行的處理的流程圖。
圖34是本發(fā)明的實(shí)施例2中的法線信息生成部進(jìn)行的處理流程圖。
圖35是本發(fā)明的實(shí)施例3中的法線信息生成裝置的功能構(gòu)成方框圖。
圖36是本發(fā)明的實(shí)施例3中的攝像條件判定部的詳細(xì)的功能構(gòu)成方框圖。
圖37示出了搭載了本發(fā)明的實(shí)施例3中的法線信息生成裝置的攝像機(jī)的一個例子。
圖38是本發(fā)明的實(shí)施例3中的法線信息生成裝置進(jìn)行的處理流程圖。
圖39是本發(fā)明的實(shí)施例3中的法線信息生成部進(jìn)行的處理流程圖。
圖40示出了搭載了利用了聲納的本發(fā)明實(shí)施例3的變形例中的法線信息生成裝置的攝像機(jī)的構(gòu)成例子。
圖41是本發(fā)明的實(shí)施例3中的攝像條件判定部的詳細(xì)的功能構(gòu)成方框圖。
圖42是圖40所示的法線信息生成裝置進(jìn)行的處理的流程圖。
圖43是本發(fā)明的實(shí)施例4中的法線信息生成裝置的功能構(gòu)成方框圖。
圖44是本發(fā)明的實(shí)施例4中的法線信息生成裝置進(jìn)行的處理的流程圖。
圖45是本發(fā)明的實(shí)施例4中的攝像條件判定部的詳細(xì)的功能構(gòu)成方框圖。
圖46(a)、(b)示出了內(nèi)藏有本發(fā)明所涉及的法線信息生成裝置的應(yīng)用制品的例子。
圖47是本發(fā)明的變形例所涉及的法線信息生成裝置進(jìn)行的影子檢測處理的流程圖。
圖48(a)是被攝物的油畫圖像，(b)示出了與(a)所示出的圖像相對應(yīng)的偏振度ρ(偏振信息)。
圖49示出了由該法線信息生成裝置抽出的投影區(qū)域。
符號說明 100、100a、100b、100c、100d法線信息生成裝置 101偏振光圖像撮像部 102偏振光信息生成部 103、103a、103b、103c、1031區(qū)域劃分部 104、1041法線信息生成部 105發(fā)光部 106、106a撮像條件判定部 107可靠性判定部 110圖像信息取得部 120影子區(qū)域抽出部 200、200a、200b攝像機(jī) 201圖案偏振器 202攝像元件 203存儲器 204CPU(中央處理單元) 205角度感應(yīng)器 206撮像單位 207發(fā)光裝置 208表示部 209揚(yáng)聲器 210聲納 301影子區(qū)域檢測部 302數(shù)據(jù)庫(DB) 303偏振度比較部 304偏振光推定誤差比較部 305區(qū)域判斷部 306蓄積部 307區(qū)域參照部 308漫反射假定法線信息生成部 309鏡面反射假定法線信息生成部 310亮度比較部 311低亮度像素檢測部 312光軸方向檢測部 313光軸方向比較部 314陰影區(qū)域存在判斷部 315撮像環(huán)境檢測部 316撮像環(huán)境識別部
具體實(shí)施例方式 以下參照附圖對本發(fā)明的實(shí)施例進(jìn)行說明。
(實(shí)施例1) 首先，對本發(fā)明的實(shí)施例1中的法線信息生成裝置的概要進(jìn)行說明。
圖1是本實(shí)施例中的法線信息生成裝置100的功能構(gòu)成方框圖。該法線信息生成裝置100是生成被攝物表面的法線信息的裝置，包括圖像信息取得部110、影子區(qū)域抽出部120以及法線信息生成部104。
圖像信息取得部110是取得與被攝物圖像相關(guān)的信息的處理部，具有偏振光圖像攝像部101以及偏振光信息生成部102，所述與被攝物圖像相關(guān)的信息包括亮度信息和偏振光信息，所述亮度信息是指與來自被攝物的光的亮度有關(guān)的信息，所述偏振光信息是指與來自被攝物的光的偏振有關(guān)的信息。并且，該圖像信息取得部110按照構(gòu)成被攝物圖像的單位圖像，取得亮度信息以及偏振光信息。
圖像信息取得部110中的偏振光圖像攝像部101是通過接受透過多個偏振器的光，來取得被攝物的偏振光圖像的處理部，所述多個偏振器的偏振光主軸角度各不相同。
圖像信息取得部110中的偏振光信息生成部102是一處理部，其根據(jù)由偏振光圖像攝像部101取得的偏振光圖像，利用多個偏振器的偏振光主軸角度和透過多個偏振器的光的亮度的對應(yīng)關(guān)系，針對構(gòu)成所述偏振光圖像的各個圖像區(qū)域生成偏振光信息，該偏振光信息是與接受的偏振光有關(guān)的信息。
影子區(qū)域抽出部120是一處理部，其根據(jù)在圖像信息取得部110取得的亮度信息以及偏振光信息，按照每個單位圖像，從被攝物圖像中抽出陰影區(qū)域以及投影區(qū)域，所述陰影區(qū)域是指因接受光的各種照射方式而在被攝物表面產(chǎn)生的“影”的區(qū)域，所述投影區(qū)域是指因被攝物本身將光遮擋住而在其他的物體上產(chǎn)生的“影”的區(qū)域，并且，在本實(shí)施例中，作為一個例子示出了影子區(qū)域抽出部120具有進(jìn)行區(qū)域劃分的區(qū)域劃分部103。
影子區(qū)域抽出部120中的區(qū)域劃分部103是一處理部，其利用偏振光圖像的亮度信息和在偏振光信息生成部102生成的偏振光信息的類似性(共通性)，將偏振光圖像劃分為由在光學(xué)上共通的圖像區(qū)域的集合構(gòu)成的多個區(qū)域。此時，區(qū)域劃分部103對圖像區(qū)域的亮度和預(yù)先規(guī)定的閾值進(jìn)行比較，在亮度比閾值小的情況下，對該圖像區(qū)域進(jìn)行區(qū)域劃分，劃分為包含影子區(qū)域(陰影區(qū)域以及投影區(qū)域)的低亮度區(qū)域(在本實(shí)施例中為影子區(qū)域)。
并且，該區(qū)域劃分部103雖然對圖像(在此為偏振光圖像)進(jìn)行區(qū)域劃分，但是在本發(fā)明中作為影子區(qū)域抽出部的工作并非受區(qū)域劃分所限，也可以是區(qū)域抽出(即，確定圖像的一部分區(qū)域的處理)。也就是說，在本說明書中，為了便于對發(fā)明的理解，僅以區(qū)域抽出作為一個例子，對將圖像的全部區(qū)域劃分為包含陰影區(qū)域和投影區(qū)域的多個種類的區(qū)域中的某一個的區(qū)域劃分進(jìn)行說明，不過，作為本發(fā)明所涉及的法線信息生成裝置并非限于這種區(qū)域劃分，也可以是對圖像的一部分區(qū)域進(jìn)行確定的區(qū)域抽出。因此，在本說明書中的“區(qū)域劃分(區(qū)域的劃分)”也可以稱為“區(qū)域抽出(區(qū)域的抽出)”。并且，在本說明書中“區(qū)域檢測(區(qū)域的檢測)”與“區(qū)域抽出(區(qū)域的抽出)”具有相同的意義。
法線信息生成部104是一處理部，利用在偏振光信息生成部102生成的偏振光信息，并按照在區(qū)域劃分部103劃分的區(qū)域，來生成用于確定對應(yīng)的被攝物的表面的法線的法線信息。
圖2示出了搭載了本實(shí)施例中的法線信息生成裝置100的攝像機(jī)200的硬件構(gòu)成的例子。圖3是示出圖2所示的圖案偏振器201和攝像元件202之間的關(guān)系的模式圖。此攝像機(jī)200是具有生成法線信息功能的攝像裝置，其包括圖案偏振器201、攝像元件202、存儲器203、CPU204以及發(fā)光裝置207。
如圖3所示，圖案偏振器201是將偏振光主軸角度ψi＝0°、45°、90°、135°的四種偏振器編為一組，并排列成二維狀的偏振器的集合。
如圖3所示，攝像元件202是接受透過構(gòu)成圖案偏振器201的各個偏振器的光的被排列成二維狀的像素(受光元件)的集合，并且最好是被設(shè)置成與攝像元件202的攝像面平行。并且，圖案偏振器201中的四個(四種)偏振器和攝像元件202中對應(yīng)的四個像素(受光元件)構(gòu)成攝像單位206。通過此攝像單位206而得到的圖像為偏振光信息生成部102、區(qū)域劃分部103以及法線信息生成部104中的各個處理的單位(“單位圖像”)。即，法線信息生成裝置100按照各個依據(jù)攝像單位206得到的單位圖像(以下也稱為“像素”)，進(jìn)行偏振光信息的生成、區(qū)域劃分、以及法線信息的生成。
存儲器203包括作為CPU204的工作區(qū)域的RAM以及存儲程序等的ROM。
CPU204是執(zhí)行被存儲在存儲器203中的程序，并訪問存儲器203，控制攝像元件202以及發(fā)光裝置207的處理器。
發(fā)光裝置207是照射被攝物的閃光設(shè)備。
并且，圖1所示的偏振光圖像攝像部101是由圖2所示的圖案偏振器201以及攝像元件202實(shí)現(xiàn)的。圖1所示的偏振光信息生成部102、區(qū)域劃分部103、以及法線信息生成部104是由圖2所示的CPU204執(zhí)行在存儲器203中存儲的程序來實(shí)現(xiàn)的。并且，存儲器203也被作為存儲由偏振光圖像攝像部101取得的偏振光圖像、由偏振光信息生成部102生成的偏振光信息、由法線信息生成部104生成的法線信息、以及臨時產(chǎn)生的各種參數(shù)等的工作區(qū)域來使用。
圖4是本實(shí)施例中的法線信息生成裝置100進(jìn)行的處理的流程圖。首先，偏振光圖像攝像部101通過圖案偏振器201，以攝像元件拍攝被攝物，從而攝像包含偏振光信息的偏振光圖像(S101)。偏振光信息生成部102利用在偏振光圖像攝像部101拍攝的偏振光圖像的亮度變化，生成偏振光信息(S102)。區(qū)域劃分部103利用在偏振光信息生成部102生成的偏振光信息或在偏振光圖像攝像部101取得的亮度信息，將圖像劃分為漫反射區(qū)域、鏡面反射區(qū)域以及低亮度區(qū)域(在本實(shí)施例中為陰影區(qū)域以及投影區(qū)域)(S103)。法線信息生成部104根據(jù)區(qū)域劃分部103進(jìn)行的區(qū)域劃分結(jié)果，從偏振光信息生成部102生成的偏振光信息中生成法線信息(S104)。此時，關(guān)于投影區(qū)域，由于偏振光信息中誤差較多，因此不生成法線信息。
以下，對本實(shí)施例中的法線信息生成裝置100的各個構(gòu)成要素的詳細(xì)功能進(jìn)行說明。
首先，對偏振光圖像攝像部101的詳細(xì)功能進(jìn)行說明。偏振光圖像攝像部101使來自被攝物的光通過圖案偏振器201在攝像元件202受光，從而取得包含偏振光信息的偏振光圖像。圖5是從入射光方向看到的圖3所示的攝像單位206的模式圖。在該圖中各個偏振器(各個像素)中的直線表示被設(shè)置在各個像素上的微小起偏板的偏振光主軸方向。即，此攝像單位206是具有偏振光光軸的回轉(zhuǎn)角為(ψi＝0°、45°、90°、135°)的四種偏振光方向的像素。圖案偏振器示出了使TM波透過、使TE波反射(不透過)的偏振特性。
這種特性例如可以利用非專利文獻(xiàn)2所記載的光子晶體作成(非專利文獻(xiàn)2『川島、佐藤、川上、長島、太田、青木、共著“パタ一ン化偏光子を用いた偏光イメ一ジングデバイスと利用技術(shù)の開発(利用圖案化偏振器的偏振光成像裝置和利用技術(shù)的開發(fā))”，電子情報通信學(xué)會2006年総合全國大會(電子信息通信學(xué)會2006年綜合全國大會)，No.D-11-52，P52，2006)。在光子晶體的情況下，在表面形成的溝槽，具有平行振動面的光成為TE波，具有垂直振動面的光成為TM波。
在攝影該偏振光信息時，亮度的動態(tài)范圍和位(bit)數(shù)最好是盡量大(例如16位)。
以下，對偏振光信息生成部102的詳細(xì)功能進(jìn)行說明。偏振光信息生成部102是利用在偏振光圖像攝像部101取得的偏振光圖像來生成偏振光信息的處理部。
透過偏振器的亮度是由偏振器的偏振光主軸角度而發(fā)生變化的。圖6示出了透過不同的偏振光主軸角度為ψi＝0°、45°、90°、135°的四種偏振器的亮度401、402、403、404形成的一條正弦函數(shù)曲線。即，該正弦函數(shù)曲線示出了圖5中的點(diǎn)501的偏振光特性。并且，偏振光主軸角度在0°和108°(π)是相同的。并且，在求此正弦函數(shù)曲線時，最好是使用攝影伽馬＝1的攝像機(jī)，或通過校正線性來校正成攝影伽馬＝1。這四個點(diǎn)正好被描畫在一條正弦函數(shù)曲線上，其實(shí)，作為由多個觀測點(diǎn)構(gòu)成180度周期的正弦函數(shù)的最佳值，最好是以一條正弦函數(shù)曲線來表示。
此偏振光信息生成部102生成此曲線的振幅和相位信息以作為偏振光信息。具體而言，針對圖案偏振器201的主軸角ψ的反射光亮度I如以下這樣近似。
I(ψ)＝A·sin 2(ψ-B)+C(公式1) 在此，如圖6所示，公式1中的A、B、C為常數(shù)，分別表示通過偏振器的亮度的變動曲線的振幅、相位、平均值。不過，公式1可以如下展開。
I(ψ)＝a·sin 2ψ+b·coS 2ψ+C (公式2) 但是 (公式3) (公式4) 即，在四個像素的采樣(ψi、Ii)中，只要求出使以下公式5成為最小的A、B、C，就可以實(shí)現(xiàn)正弦函數(shù)(公式1)近似。不過，Ii表示起偏板回轉(zhuǎn)角ψi時的觀測亮度。并且，N為采樣數(shù)，在此為4。
(公式5) 通過以上的處理，確定正弦函數(shù)近似的A、B、C這三個參數(shù)。
利用這樣求出的參數(shù)，偏振光信息生成部102生成以下所示的某個或多個，以作為偏振光信息。
·偏振度ρ (公式6) ·偏振光相位φ(0°≤φ≤180°) (公式7) ·偏振光推定誤差E (公式8) 在此，偏振度是表示光偏振了多少的指標(biāo)，偏振光相位是指依存于偏振光主軸角度并變化的亮度成為最大的角度，偏振光推定誤差是指觀測四個像素的采樣的亮度和通過近似而得到的由上述的正弦函數(shù)決定的亮度的差的合計。
圖7是將拍攝作為球體的塑料球的被攝物時的偏振度ρ、偏振光相位φ以及偏振光推定誤差E作為圖像來表示的圖。在該圖中，圖7(a)是作為被攝物的塑料球的圖像，圖7(b)示出了針對圖7(a)的被攝物的偏振度ρ，圖7(c)示出了針對圖7(a)的被攝物的偏振光相位φ(0°為黑，180°為白)，圖7(d)示出了針對7(a)的被攝物的偏振光推定誤差E。并且，圖8是圖7中各個圖的模式圖(使?jié)獾髁嘶膱D)。不論在圖7還是在圖8中，亮度高的值就大，在球的被遮擋邊緣附近偏振度大，在沒有被被攝物的投影覆蓋的區(qū)域，偏振光相位以180°周期在球體的周圍逆時針單調(diào)增加。此偏振光相位是成為回轉(zhuǎn)并發(fā)生了變化的亮度的最大值的角度，也是被攝物漫反射時的射出面的信息。
以下，對區(qū)域劃分部103的詳細(xì)功能進(jìn)行說明。區(qū)域劃分部103利用在偏振光信息生成部102生成的偏振光信息和在偏振光圖像攝像部101取得的亮度信息，將圖像劃分為漫反射區(qū)域、鏡面反射區(qū)域、陰影區(qū)域以及投影區(qū)域。
在此，對漫反射和鏡面反射進(jìn)行說明。被攝物表面的反射特性是以作為“光亮”的鏡面反射成分和作為無光澤的反射成分的漫反射成分的和來表現(xiàn)的。漫反射成分是不論照射被攝物的光源在哪個方向上都能夠觀測到的成分，鏡面反射成分是對于被攝物的法線方向和視線方向，幾乎只有在光源存在與正反射方向上時才能觀測到的對方向依存性強(qiáng)的成分。在偏振光特性中也是如此。
在被攝物是「光亮」的產(chǎn)生鏡面反射的物體的情況下，當(dāng)光從各個方向照射時，被攝物會受到很強(qiáng)的來自作為正反射成分的鏡面反射的影響(例如，關(guān)于透明物體可參照非專利文獻(xiàn)3齊藤めぐみ、佐藤洋一、池內(nèi)克史、柏木寬，“ハイライトの偏光解析にもとづく透明物體の表面形狀測定(根據(jù)光亮的偏振光分析的透明物體的表面形狀測定)”電子情報通信學(xué)會論文誌(電子信息通信學(xué)會論文雜志)D-II，Vol.J82-D-II，No.9，pp.1383-1390，1999)。
圖9和圖10的圖表分別示出了被攝物的折射率為n＝1.1、1.3、1.5、2.0時的鏡面反射成分以及漫反射成分的偏振度(例如，參照非專利文獻(xiàn)4“L.B.Wolff and T.E.Boult，″Constraining object featuresusing a polarization reflectance model″、IEEE Transactions onPattern Analysis and Machine Intelligence、Vol.13，No.7，pp.635-657，1991”)。在此，圖9的橫軸表示入射角，縱軸表示偏振度。并且，圖10的橫軸表示射出角，縱軸表示偏振度。通過這些圖可知，光在從各個方向入射的情況下，與漫反射成分相比，鏡面反射成分的偏振度高。據(jù)此，對于偏振光特性而言，也可以推測出是鏡面反射成分占優(yōu)勢。這在射出角接近90°和遮擋邊緣等除外的情況也適用。
已知的方法是，根據(jù)偏振光相位φ，求出被攝物的法線信息中的包含光的入射和反射的光線的射出面(入射角)的角度的一個自由度。但是，根據(jù)被攝物是鏡面反射占優(yōu)勢還是漫反射占優(yōu)勢，法線信息的求出方法是完全不同的(例如參照非專利文獻(xiàn)1)。在漫反射成分占優(yōu)勢的情況下，可以將漫反射的射出面的信息作為起偏板回轉(zhuǎn)后亮度變化成為亮度的最大值的角度來求。并且，在鏡面反射成分占優(yōu)勢的情況下，可以將漫反射的入射面信息作為起偏板回轉(zhuǎn)后亮度變化成為亮度的最小值的角度來求。在此，若偏振光亮度的變動曲線為180°周期的正弦函數(shù)，則在不考慮是漫反射占優(yōu)勢還是鏡面反射占優(yōu)勢的情況下生成法線信息時，被推定的法線的一個自由度具有90°的誤差。因此，對漫反射和鏡面反射進(jìn)行分類在根據(jù)偏振光信息生成法線信息的處理中是非常重要的。
以下，對陰影區(qū)域和投影區(qū)域進(jìn)行說明。圖11是用于說明陰影區(qū)域和投影區(qū)域(影子區(qū)域的分類)的模式圖。在此示出了，在某一個面1002上放置有一個球狀物體的被攝物1001，并且該被攝物1001由光源1003照射。在該圖中，區(qū)域1004和區(qū)域1005均表示影子區(qū)域。區(qū)域1004是由于被攝物1001的法線沒有朝向光源1003而產(chǎn)生的“陰影區(qū)域”，區(qū)域1005是由作為遮擋物的被攝物1001將光遮擋后而在面1002上產(chǎn)生的“投影區(qū)域”。
以下，對陰影區(qū)域和投影區(qū)域的偏振光特性的不同之處進(jìn)行說明。首先，假定在滿足條件1的攝影場面進(jìn)行攝影，該條件1是指在地上攝影的幾乎所有的攝影場面中都能成立的條件。
條件1在被攝物所在的攝像場面中，存在有物體，在該物體的近旁有寬廣的面，且該寬廣的面在該物體的一側(cè)，在該物體的相反一側(cè)存在有光源。
上述的條件例如出現(xiàn)在以下的攝影場面。
1.在室內(nèi)場面中，在桌子上放置有作為被攝物的球。并且，該球被設(shè)置在天花板上的螢光燈照射。
2.在室內(nèi)場面中，作為被攝物的人物坐在在地板上放置的椅子上。并且，該人物被從窗戶射入的太陽光照射。
3.在室外場面中，作為被攝物的汽車行駛在道路上。并且，該被攝物被太陽光照射。
并且，由于墻壁或建筑物也具有寬廣的面，因此上述條件在地上的攝影的幾乎所有的攝影場面中均成立。
在此條件1成立的情況下，首先對陰影區(qū)域進(jìn)行說明。如圖11所示，陰影區(qū)域是被攝物的法線與光源的方向相反而產(chǎn)生的影子(影)區(qū)域。在此，根據(jù)條件1可以考慮到，在與光源的相反的方向上存在寬廣的面，并且在影子區(qū)域中實(shí)際上存在多次繞過的光(多次反射光)，據(jù)此可以想到在陰影區(qū)域中被入射有來自各個方向的多次反射光。也就是說可以考慮到對于攝像機(jī)200和陰影區(qū)域所產(chǎn)生的像素的法線，存在成為正反射的多次反射光。圖12是示出上述狀態(tài)的模式圖。在該圖中，攝像機(jī)1006是搭載了本實(shí)施例中的法線信息生成裝置100的攝像機(jī)，面1007是上述的寬廣的面。
不過，如以前所述鏡面反射成分的偏振度比漫反射成分高。為此，示出鏡面反射成分的反射特性的陰影區(qū)域的偏振度相對比較高。
以下，對投影區(qū)域進(jìn)行說明。如圖11所示，投影區(qū)域是因某種遮擋物將光遮擋住而產(chǎn)生的影子(影)區(qū)域。在此若考慮條件1，則投影區(qū)域容易形成在具有與較大面接近的法線方向的面上。為此，與陰影區(qū)域相比，多次反射光僅從比較有限的方向入射。據(jù)此，可以考慮到在正反射方向上存在光源的可能性比較低。圖13是上述狀態(tài)的模式圖。
而且，如圖10所示，漫反射成分的偏振度相對比較低。據(jù)此可知投影區(qū)域的偏振光成分比較少。在影子區(qū)域，由于亮度本身比較小，因此推定較小的偏振光成分是比較困難的。為此，投影區(qū)域的偏振光推定誤差就會變得非常大。
歸納以上所述，影子區(qū)域的偏振光特性可以分類為以下這樣。
(1)陰影區(qū)域 ·偏振度高，偏振光推定誤差小。
·大多情況表示的是鏡面反射特性。
(2)投影區(qū)域 ·偏振度低，偏振光推定誤差大。
·大多情況表示的是漫反射特性。
通過利用此分類基準(zhǔn)，從而可以將影子區(qū)域分類為陰影區(qū)域和投影區(qū)域。例如，可以將偏振光信息為鏡面反射的偏振光特性(偏振度高，或偏振光推定誤差小)的低亮度區(qū)域分類為陰影區(qū)域。以下，對利用這樣的性質(zhì)進(jìn)行區(qū)域劃分的區(qū)域劃分部103進(jìn)行詳細(xì)說明。
圖14是圖1所示的法線信息生成裝置100的區(qū)域劃分部103的詳細(xì)功能構(gòu)成方框圖。該區(qū)域劃分部103是進(jìn)行區(qū)域劃分的處理部，其利用在偏振光信息生成部102生成的偏振光信息和在偏振光圖像攝像部101取得的亮度信息，將圖像劃分為漫反射區(qū)域、鏡面反射區(qū)域、陰影區(qū)域以及投影區(qū)域，該區(qū)域劃分部103包括影子區(qū)域檢測部301、DB(數(shù)據(jù)庫)302、偏振度比較部303、偏振光推定誤差比較部304、區(qū)域判斷部305、以及蓄積部306。
影子區(qū)域檢測部301是推定由偏振光圖像攝像部101取得的圖像中的像素是否為影子區(qū)域的處理部。
DB302是預(yù)先存儲由偏振度比較部303參照的閾值Th_PDS以及由偏振光推定誤差比較部304參照的閾值Th_Err的存儲器等。
偏振度比較部303是一處理部，從DB302中讀出閾值Th_PDS，對于在影子區(qū)域檢測部301被推定為不是影子區(qū)域的像素中的成為對象的像素的偏振度和閾值Th_PDS進(jìn)行比較。
偏振光推定誤差比較部304是一處理部，從DB302中讀出閾值Th_Err，對于在影子區(qū)域檢測部301被推定為是影子區(qū)域的像素，對成為對象的像素的偏振光推定誤差E和閾值Th_Err進(jìn)行比較。
區(qū)域判斷部305按照在偏振度比較部303以及偏振光推定誤差比較部304的比較結(jié)果，判斷成為對象的像素是漫反射區(qū)域、鏡面反射區(qū)域、投影區(qū)域以及陰影區(qū)域中的哪一個，并將結(jié)果蓄積到蓄積部306。
蓄積部306是存儲由區(qū)域判斷部305判斷的區(qū)域劃分結(jié)果的存儲器等。
圖15是該區(qū)域劃分部103進(jìn)行處理的流程圖。首先，影子區(qū)域檢測部301推定由偏振光像素攝像部101取得的圖像中的像素是否為低亮度區(qū)域(在本實(shí)施例中為影子區(qū)域)(S201)。這是因?yàn)?，例如利用影子區(qū)域中的亮度值低這一特性，可以將亮度值或通過偏振器的亮度的變動曲線的振幅在閾值以下的像素推定為影子區(qū)域。像這種用于推定影子區(qū)域的閾值可以通過實(shí)驗(yàn)來決定，例如對于16位的單色圖像的亮度值可以設(shè)定為256。這樣的閾值可以保持在DB302。圖16(a)是針對圖7(a)的圖像(其模式圖為圖8(a))進(jìn)行影子檢測處理后的結(jié)果。圖中的黑色區(qū)域是作為影而被檢測出的結(jié)果。
在像素不是影子區(qū)域的情況下(S201的“否”)，偏振度比較部303判斷在該像素中是漫反射成分占優(yōu)勢還是鏡面反射成分占優(yōu)勢(S202)。圖17是由該偏振度比較部303進(jìn)行漫反射和鏡面反射的分類處理(S202)的流程圖。在此，偏振度比較部303利用上述的“鏡面反射的偏振度高”這一特性，來判斷像素是漫反射占優(yōu)勢還是鏡面反射占優(yōu)勢。首先，偏振度比較部303調(diào)查像素的偏振度比閾值Th_PDS小還是大(S211)。在像素的偏振度比閾值Th_PDS小的情況下(S211的“是”)，區(qū)域判斷部305則判斷在該像素中是漫反射占優(yōu)勢(該像素是漫反射區(qū)域)(S212)。另外，在偏振度比閾值Th_PDS大的情況下(S211的“否”)，區(qū)域判斷部305則判斷在該像素中是鏡面反射占優(yōu)勢(該像素是鏡面反射區(qū)域)(S213)。區(qū)域判斷部305將區(qū)域劃分的結(jié)果蓄積到蓄積部306。
并且，閾值Th_PDS可以根據(jù)被攝物的折射率或被攝物的法線方向、光源方向、視線方向等來設(shè)定。如圖9和圖10所示，被攝物的鏡面反射成分偏振度或漫反射成分偏振度可以通過求折射率和入射角、射出角來決定。因此，可以將在圖9和圖10求出的鏡面反射成分偏振度或漫反射成分偏振度作為Th_PDS來利用。并且，在被攝物的折射率或被攝物的法線方向、光源方向、視線方向等信息不能得到的情況下，可以根據(jù)漫反射成分偏振度能夠取得的最大值來決定閾值Th_PDS。例如，假設(shè)不存在折射率為2.0以上的被攝物，根據(jù)圖10可以考慮到漫反射成分偏振度的最大值為0.6左右，因此可以將閾值Th_PDS設(shè)定為0.7左右。這樣的閾值可以保持在DB302。
在漫反射和鏡面反射的分類處理(S202)結(jié)束后，區(qū)域判斷部305檢查所有的像素的光學(xué)上的分類是否結(jié)束(S203)。在存在還沒有進(jìn)行分類的像素的情況下(S203的“否”)，影子區(qū)域檢測部301檢測其他的像素是否為影子區(qū)域(S201)。并且，在所有的像素在光學(xué)上的分類結(jié)束的情況下(S203的“是”)，區(qū)域劃分部103結(jié)束處理。
另一方面，像素為影子區(qū)域的情況下(S201的“是”)，偏振光推定誤差比較部304評價在上述公式8中定義的偏振光推定誤差E的大小(S204)。即，偏振光推定誤差比較部304對偏振光推定誤差E的大小和閾值Th_Err進(jìn)行比較。在比較結(jié)果為，偏振光推定誤差E的大小比閾值Th_Err大的情況下(S204的“是”)，區(qū)域判斷部305將該像素判斷為是投影區(qū)域(S205)，另外，在偏振光推定誤差E的大小比閾值Th_Err小的情況下(S204的“否”)，區(qū)域判斷部305則將該像素判斷為是陰影區(qū)域(S206)。區(qū)域判斷部305將區(qū)域劃分結(jié)果蓄積到蓄積部306。
此時的閾值Th_Err可以以攝影圖像的亮度值或公式2中的振幅成分A、偏離成分C為基準(zhǔn)來決定。例如，在以振幅成分A為基準(zhǔn)決定閾值Th_Err的情況下，可以決定為以下這樣。
Th_Err＝(Th_E)2·(2A)2·N (公式9) 該公式示出偏振光推定誤差E與振幅成分A有多大的不同。在此，Th_E是一個適當(dāng)?shù)卣某?shù)，可以試行決定，例如決定為0.3。并且，N是上述的采樣數(shù)。這樣的閾值可以保持在DB302。
圖16(b)以及圖16(C)分別示出了以上述的方法求出的投影區(qū)域以及陰影區(qū)域。在該圖中，黑色區(qū)域是被選擇的區(qū)域。通過對于像這樣求出的投影區(qū)域和陰影區(qū)域進(jìn)行在圖像處理中被廣泛使用的區(qū)域的收縮擴(kuò)大處理，從而可以將投影區(qū)域和陰影區(qū)域進(jìn)行分離。
圖18示出了由區(qū)域劃分部103進(jìn)行的區(qū)域劃分的例子。在此，示出了對于構(gòu)成偏振光圖像的各個像素的像素位置、振幅A、偏振度ρ、偏振光相位φ、偏振光推定誤差E的具體值以及區(qū)域劃分結(jié)果。在此所示的區(qū)域劃分中的判斷基準(zhǔn)如圖19所示。即，是漫反射區(qū)域還是鏡面反射區(qū)域或是影子區(qū)域是根據(jù)振幅A是否在256以上來判斷的(圖15的S201)，是漫反射區(qū)域還是鏡面反射區(qū)域是根據(jù)偏振度ρ是否比0.7小來判斷的(圖17的S211)，是投影區(qū)域還是陰影區(qū)域是根據(jù)偏振光推定誤差E是否比上述公式9所示的閾值Th_Err大來判斷的(圖15的S204)。以這樣的判斷基準(zhǔn)判斷的結(jié)果如圖18所示，像素(141、117)被判斷為屬于漫反射區(qū)域，像素(151、138)被判斷為屬于鏡面反射區(qū)域，像素(111、144)被判斷為屬于陰影區(qū)域，像素(98、151)被判斷為屬于投影區(qū)域，像素(165、144)被判斷為屬于漫反射區(qū)域。
以下，對法線信息生成部104的詳細(xì)功能進(jìn)行說明。圖20是圖1所示的法線信息生成裝置100的法線信息生成部104的詳細(xì)功能構(gòu)成方框圖。該法線信息生成部104是根據(jù)區(qū)域劃分部103所進(jìn)行的區(qū)域劃分結(jié)果，從偏振光信息生成法線信息的處理部，其包括蓄積部306、區(qū)域參照部307、漫反射假定法線信息生成部308以及鏡面反射假定法線信息生成部309。并且，對于該圖中與圖14相同的構(gòu)成要素賦予相同的符號，在此省略詳細(xì)說明。
區(qū)域參照圖307是一處理部，通過參照被蓄積在蓄積部306中的區(qū)域劃分結(jié)果，判斷在成為對象的像素中是漫反射成分占優(yōu)勢(是否為漫反射區(qū)域)還是鏡面反射成分占優(yōu)勢(是否為鏡面反射區(qū)域)，或者判斷該像素是否為陰影區(qū)域。
漫反射假定法線信息生成部308是針對漫反射區(qū)域的像素以假定的漫反射生成法線信息的處理部。具體而言，將通過上述的近似法而得到的正弦函數(shù)中的亮度為最大的偏振光主軸角，作為與該像素相對應(yīng)的被攝物的射出面的法線信息來生成。
鏡面反射假定法線信息生成部309是針對鏡面反射區(qū)域以及陰影區(qū)域的像素以假定的鏡面反射生成法線信息的處理部。具體而言，將通過上述的近似法而得到的正弦函數(shù)中的亮度為最小的偏振光主軸角，作為與該像素相對應(yīng)的被攝物的射出面的法線信息來生成。
圖21是該法線信息生成部104的處理流程圖。首先，區(qū)域參照部307根據(jù)區(qū)域劃分部103所檢測出的光學(xué)上的區(qū)域劃分的結(jié)果，判斷像素是否為漫反射成分占優(yōu)勢(S301)。該處理可以是從蓄積了區(qū)域判斷部305的結(jié)果的蓄積部306中讀出區(qū)域劃分結(jié)果。在被判斷為是漫反射成分占優(yōu)勢的情況下(S301的“是”)，漫反射假定法線信息生成部308以假定的漫反射生成關(guān)于該像素的法線信息(S302)。具體而言，將射出面中的法線的一個自由度作為起偏板回轉(zhuǎn)亮度變化成為最大值的角度來求。即，將通過上述的近似法而得到的正弦函數(shù)中的亮度為最大的偏振光主軸角，作為與該像素相對應(yīng)的被攝物的射出面的法線信息來生成。
并且，在被判斷為像素是漫反射成分占優(yōu)勢的情況下(S301的“否”)，區(qū)域參照部307判斷是否為鏡面反射成分占優(yōu)勢(是否為鏡面反射區(qū)域)或者判斷像素是否為陰影區(qū)域(S303)。在其結(jié)果為，在判斷為是鏡面反射成分占優(yōu)勢或者在判斷為像素是陰影區(qū)域的情況下(S303的“是”)，鏡面反射假定法線信息生成部309針對該像素以假定的鏡面反射生成法線信息(S304)。具體而言，將入射面中的法線的一個自由度作為起偏板回轉(zhuǎn)亮度變化成為最小值的角度來求。即，將通過上述的近似法而得到的正弦函數(shù)中的亮度為最小的偏振光主軸角，作為與該像素相對應(yīng)的被攝物的入射面的法線信息來生成。
另一方面，在判斷為像素是投影區(qū)域的情況下，也就是說既不是漫反射成分占優(yōu)勢也不是鏡面反射成分占優(yōu)勢，更不是陰影區(qū)域的情況下(S303的“否”)，則判斷為像素偏振光信息是誤差占優(yōu)勢，不能生成正確的法線信息，則該法線信息生成部104不進(jìn)行法線信息生成處(S305)。
并且，在圖15所示的處理中，雖然對于在像素中是漫反射成分還是鏡面反射成分占優(yōu)勢的判斷利用了偏振度(S202)，不過也可以利用亮度值。圖22是利用亮度值來判斷是漫反射還是鏡面反射的變形例所涉及的區(qū)域劃分部103a的詳細(xì)功能構(gòu)成方框圖。該區(qū)域劃分部103a包括影子區(qū)域檢測部301、DB302、偏振光推定誤差比較部304、區(qū)域判斷部305、蓄積部306以及亮度比較部310。并且，對于在該圖22中與圖14相同的構(gòu)成要素賦予相同的符號，在此省略詳細(xì)說明。
亮度比較部310是一處理部，從DB302中讀出閾值TH_IDS，并對成為對象的像素的亮度值和閾值TH_IDS進(jìn)行比較。
圖23是該區(qū)域劃分部103a的處理流程圖。并且對于圖23中與圖17相同的步驟賦予相同的符號，在此省略詳細(xì)說明。亮度比較部310調(diào)查像素的亮度值比閾值TH_IDS大還是小(S214)。在像素的亮度值比閾值TH_IDS小的情況下(S214的“是”)，區(qū)域判斷部305將該像素判斷為是漫反射占優(yōu)勢(S212)。另外，在亮度值比閾值TH_IDS大的情況下(S214的“否”)，區(qū)域判斷部305則判斷該像素是鏡面反射占優(yōu)勢(S213)。這樣，利用亮度值判斷了在該像素中是漫反射占優(yōu)勢還是鏡面反射占優(yōu)勢。
并且，在圖15所示的處理中，雖然是利用偏振光推定誤差來判斷像素是陰影區(qū)域還是投影區(qū)域的(S204)，不過也可以不利用偏振光推定誤差，而可以利用偏振度來進(jìn)行判斷。圖24是利用偏振度來判斷是陰影區(qū)域還是投影區(qū)域的變形例所涉及的區(qū)域劃分部103b的詳細(xì)的功能構(gòu)成方框圖。該區(qū)域劃分部103b包括影子區(qū)域檢測部301、DB302、偏振光推定誤差比較部304、區(qū)域判斷部305以及蓄積部306。并且，對于圖24中與圖14相同的構(gòu)成要素賦予相同的符號，在此省略詳細(xì)說明。
圖25是該區(qū)域劃分部103b的處理流程圖。并且，對于圖25中與圖15相同的步驟賦予相同的符號，在此省略詳細(xì)說明。
在由影子區(qū)域檢測部301判斷像素是影子區(qū)域的情況下(S201的“是”)，偏振度比較部303對公式6所定義的偏振度ρ和閾值Th_P進(jìn)行比較，以判斷該像素是陰影區(qū)域還是投影區(qū)域(S207)。當(dāng)判斷結(jié)果為，偏振度ρ比閾值Th_P小的情況下(S207的“是”)，區(qū)域判斷部305判斷該像素為投影區(qū)域(S205)，并且，在偏振度ρ比閾值Th_P大的情況下(S207的“否”)，則區(qū)域判斷部305判斷該像素為陰影區(qū)域(S206)。這樣，利用偏振度判斷了像素是陰影區(qū)域還是投影區(qū)域。
并且，閾值Th_P可以根據(jù)被攝物的折射率或被攝物的法線方向、光源方向、視線方向等來設(shè)定。如圖9和圖10所示，被攝物的鏡面反射成分偏振度或漫反射成分偏振度可以通過求折射率和入射角、射出角來決定。因此，可以將在圖9以及圖10所求出的鏡面反射成分偏振度或漫反射成分偏振度作為Th_P來利用。并且，在不能得到被攝物的折射率或被攝物的法線方向、光源方向、視線方向等信息的情況下，可以根據(jù)漫反射成分偏振度能夠取得的最大值來決定Th_P。例如，假設(shè)不存在折射率在2.0以上的被攝物的情況下，由于根據(jù)圖10可以考慮到漫反射成分偏振度的最大值為0.6左右，因此可以將閾值Th_P設(shè)定為0.7左右。
并且，在圖15所示的處理中，在判斷該像素是陰影區(qū)域還是投影區(qū)域之時(S204)，可以不是利用偏振光推定誤差和偏振度的某一個，而是可以這兩個。圖26是既利用偏振光推定誤差又利用偏振度來判斷像素是陰影區(qū)域還是投影區(qū)域的變形例所涉及的區(qū)域分割部103c的詳細(xì)功能構(gòu)成方框圖。該區(qū)域劃分部103c包括影子區(qū)域檢測部301、DB302、偏振度比較部303、偏振光推定誤差比較部304、區(qū)域判斷部305以及蓄積部306。并且，對于在圖26中與圖14相同的構(gòu)成要素賦予相同的符號，在此省略詳細(xì)說明。該區(qū)域劃分部103c雖然與圖14所示的區(qū)域劃分部103的構(gòu)成要素相同，但是區(qū)域判斷部305的區(qū)域劃分中的判斷基準(zhǔn)與區(qū)域劃分部103不同。
圖27是該區(qū)域劃分部103c的處理流程圖。并且，對于在圖27中與圖15相同的步驟賦予相同的符號，在此省略詳細(xì)說明。在由影子區(qū)域檢測部301判斷為成為對象的像素是影子區(qū)域的情況下(S201的“是”)，偏振光推定誤差比較部304以及偏振度比較部303分別評價在公式8定義的偏振光推定誤差E和在公式6定義的偏振度ρ，來判斷該像素是陰影區(qū)域還是投影區(qū)域。即，偏振光推定誤差比較部304對偏振光推定誤差E和閾值Th_Err進(jìn)行比較，偏振度比較部303對偏振度ρ和閾值Th_P進(jìn)行比較。
在其結(jié)果為，偏振光推定誤差E比閾值Th_Err大并且偏振度ρ的大小比閾值Th_P小的情況下(S208的“是”)，區(qū)域判斷部305判斷該像素為投影區(qū)域(S205)，另外，在偏振光推定誤差E的大小比閾值Th_Err小且偏振度ρ的大小比閾值Th_P大的情況下(S208的“否”)，則區(qū)域判斷部305判斷該像素為陰影區(qū)域(S206)。這樣，在判斷像素是陰影區(qū)域還是投影區(qū)域中，既利用了偏振光推定誤差又利用了偏振度。
并且，偏振光推定誤差E的閾值Th_Err可以取比僅以圖15所示的處理的偏振光推定誤差判斷的情況大的值，偏振度ρ的閾值Th_P可以取比僅以圖25所示的處理的偏振度判斷的情況小的值。并且，在區(qū)域判斷部305進(jìn)行的判斷(S208)中，也可以在偏振光推定誤差E的大小比閾值Th_Err大且偏振度ρ的大小比閾值Th_P小的情況下，判斷該像素為投影區(qū)域。
并且，在圖15的處理中，雖然在判斷像素是陰影區(qū)域還是投影區(qū)域中利用了偏振光推定誤差(S204)，不過也可以利用陰影區(qū)域的偏振光特性為鏡面反射這一特性來進(jìn)行判斷。例如，可以利用公式7所定義的偏振光相位φ。如以上所述，偏振光相位φ示出了被攝物的法線的一個成分，偏振光相位φ和被攝物的法線的一個成分的關(guān)系成為，根據(jù)被攝物是鏡面反射成分占優(yōu)勢還是漫反射成分占優(yōu)勢，相位將相差90度，對此將在以后敘述。例如，通過圖7(c)(其模式圖為圖8(c))可知，陰影區(qū)域的偏振光相位信息和旁邊的偏振光相位信息大不相同。這是因?yàn)椋幱皡^(qū)域示出的是鏡面反射成分這一偏振光特性，而其旁邊區(qū)域示出的是漫反射成分這一偏振光特性。因此，通過評價被攝物的偏振光相位的連續(xù)性，來檢測示出鏡面反射成分的偏振光特性，從而檢測陰影區(qū)域。
并且，圖14等所示出的影子區(qū)域檢測部301也可以利用被搭載在攝像機(jī)200上的發(fā)光裝置207(閃光設(shè)備等)。這是因?yàn)椋窈诖昂熯@種反射率非常小的被攝物存在的情況下，僅利用上述的亮度值來進(jìn)行判斷是很難區(qū)別影子區(qū)域和黑窗簾的。以下利用附圖，對利用了這種閃光設(shè)備的本實(shí)施例的變形例所涉及的法線信息生成裝置進(jìn)行詳細(xì)說明。
圖28是上述的變形例所涉及的法線信息生成裝置100a的功能構(gòu)成方框圖。該法線信息生成裝置100a在圖1所示的法線信息生成裝置100的基礎(chǔ)上附加了發(fā)光部105。并且，對于在圖28中與圖1相同的構(gòu)成要素賦予相同的符號，在此省略詳細(xì)說明。
發(fā)光部105是與法線信息生成裝置100a的攝像工作連動的并將光投到被攝物的閃光設(shè)備。此時，該發(fā)光部105控制閃光設(shè)備的點(diǎn)亮。偏振光圖像攝像部101與發(fā)光部105連動，拍攝兩張閃光設(shè)備發(fā)光的狀態(tài)和不發(fā)光的狀態(tài)的圖像。此時，使被攝物與攝像機(jī)200的位置關(guān)系不發(fā)生變化，而進(jìn)行攝影。像這種攝影例如可以使用攝像機(jī)200的連拍功能等。
圖29是本變形例所涉及的法線信息生成裝置100a所進(jìn)行影子檢測處理的流程圖。即示出了與圖15中的影子區(qū)域檢測處理(S201)不同的方法的流程圖。首先，影子區(qū)域檢測部301調(diào)查閃光設(shè)備不發(fā)光的狀態(tài)下的像素的亮度值(S401)。在像素的亮度值比閾值高的情況下(S401的“否”)，影子區(qū)域檢測部301判斷像素不是低亮度區(qū)域(在此為影子區(qū)域)(S402)，則結(jié)束處理。
另外，在像素的亮度值在閾值以下的情況下(S401的“是”)，由于像素為影子區(qū)域的可能性比較高，因此，影子區(qū)域檢測部301制作使閃光設(shè)備發(fā)光的狀態(tài)下拍攝的使用閃光設(shè)備的攝影圖像和不使閃光設(shè)備發(fā)光的狀態(tài)下拍攝的通常的攝影圖像的差分圖像(S403)。閃光設(shè)備的發(fā)光位置和攝像元件的位置十分接近，幾乎相同的情況下，由閃光設(shè)備所產(chǎn)生的影不會出現(xiàn)在攝影圖像上。這是因?yàn)橐暰€方向和光源方向一致的緣故。為此，在沒有使閃光設(shè)備發(fā)光的狀態(tài)下的影子區(qū)域，通過使閃光設(shè)備發(fā)光，從而存在直接光。因此，影子區(qū)域的亮度值顯著地增大。
另外，在像素不是影子區(qū)域而是反射率很小的黑窗簾的情況下，即使使閃光設(shè)備發(fā)光反射率也很小，因此亮度值幾乎不變化。也就是說，在通過利用閃光設(shè)備差分圖像的亮度值在閾值以上的情況下(S404的“是”)，影子區(qū)域檢測部301判斷該像素為影子區(qū)域(S405)，結(jié)束處理。并且，在通過利用閃光設(shè)備差分圖像的亮度值比閾值小的情況下(S404的“否”)，影子區(qū)域檢測部301判斷該像素不是影子區(qū)域，而是低反射率區(qū)域(或低反射率像素)(S406)，結(jié)束處理。
這樣，即使是存在像黑窗簾這樣反射率很小的被攝物，也能夠正確地檢測出影子區(qū)域，通過將影子區(qū)域分類為陰影區(qū)域和投影區(qū)域，從而可以針對陰影區(qū)域以假定的鏡面反射生成正確的法線信息。并且，關(guān)于偏振光信息誤差較多且即使是生成了法線信息精確度也非常低的投影區(qū)域，可以通過不進(jìn)行法線信息生成處理，在盡可能的廣區(qū)域內(nèi)生成高精確度的法線信息。
這樣，通過本實(shí)施例中的法線信息生成裝置，將影子區(qū)域分類為陰影區(qū)域和投影區(qū)域，通過以假定的鏡面反射從而能夠?qū)﹃幱皡^(qū)域生成正確的法線信息。并且，關(guān)于偏振光信息誤差較多且即使是生成了法線信息精確度也非常低的投影區(qū)域，可以通過不進(jìn)行法線信息生成處理，在盡可能的廣區(qū)域內(nèi)生成高精確度的法線信息。
并且，在本實(shí)施例中，雖然在圖案偏振器201采用了光子晶體，不過也可以是薄膜型的偏振光元件，或?qū)Ь€柵格型或利用其他的原理的偏振光元件。并且，也可以不利用圖案偏振器，而使攝像機(jī)200的鏡頭前安裝的起偏器邊回轉(zhuǎn)邊攝影，從而在時間序列上取得偏振光主軸不同的亮度。此方法例如在專利文獻(xiàn)2中公開(專利文件2日本特開平11-211433)。
(實(shí)施例2) 以下對本發(fā)明的實(shí)施例2中的法線信息生成裝置進(jìn)行說明。
圖30是本實(shí)施例中的法線信息生成裝置100b的構(gòu)成方框圖。該法線信息生成裝置100b是生成被攝物表面的法線信息的裝置，所具有的特征是將低亮度區(qū)域分類為“陰影區(qū)域或低反射率區(qū)域”和投影區(qū)域，其不具備實(shí)施例1中的法線信息生成裝置100所具備的區(qū)域劃分部1031和法線信息生成部1041，而具備功能上略有不同的區(qū)域劃分部1031和法線信息生成部1041。并且，對于與實(shí)施例1中的法線信息生成裝置100相同的構(gòu)成要素賦予相同的符號，在此省略其說明。
區(qū)域劃分部1031是一處理部，其利用偏振光圖像的亮度信息和在偏振光信息生成部102生成的偏振光信息的類似性(共通性)，將偏振光圖像劃分為由在光學(xué)上共通的圖像區(qū)域的集合構(gòu)成的多個區(qū)域。此時，區(qū)域劃分部1031對圖像區(qū)域的亮度和預(yù)先規(guī)定的閾值進(jìn)行比較，在亮度比閾值小的情況下，對該圖像區(qū)域進(jìn)行區(qū)域劃分，劃分為包含影子區(qū)域(在本實(shí)施例中為包含“陰影區(qū)域或低反射率區(qū)域”和投影區(qū)域的區(qū)域)的低亮度區(qū)域。在本實(shí)施例中區(qū)域劃分部1031將低亮度區(qū)域分類為“陰影區(qū)域或低反射率區(qū)域”和投影區(qū)域，據(jù)此，將圖像劃分為漫反射區(qū)域、鏡面反射區(qū)域、“陰影區(qū)域或低反射率區(qū)域”以及投影區(qū)域。
法線信息生成部1041是按照在區(qū)域劃分部1031劃分的區(qū)域，從偏振光信息中生成法線信息的處理部。不過，該法線信息生成部1041與在實(shí)施例1說明的法線信息生成部不同之處在于，將陰影區(qū)域作為“陰影區(qū)域或低反射率區(qū)域”來生成法線信息。
圖31是本實(shí)施例中的法線信息生成裝置100b進(jìn)行的處理的流程圖。并且，對于圖31中與實(shí)施例1中的圖4的共同的步驟賦予相同的符號，在此省略詳細(xì)說明。
區(qū)域劃分部1031利用在偏振光信息生成部102生成的偏振光信息或在偏振光圖像攝像部101取得的亮度信息，將圖像劃分為漫反射區(qū)域、鏡面反射區(qū)域以及低亮度區(qū)域(在本實(shí)施例中為“陰影區(qū)域或低反射率區(qū)域”以及投影區(qū)域)(S1031)。
法線信息生成部1041如后述那樣，根據(jù)區(qū)域劃分部1031進(jìn)行的區(qū)域劃分結(jié)果，從偏振光信息中生成法線信息(S104)。此時，關(guān)于投影區(qū)域，由于偏振光信息中誤差較多，因此不進(jìn)行法線信息生成處理。
首先，對反射率小的被攝物的偏振光特性的不同之處進(jìn)行說明。在表面光滑的反射率小的被攝物，由于內(nèi)部反射幾乎為0，因此，漫反射成分變得非常小。另外，在正反射條件中，對光進(jìn)行反射，鏡面反射變大。即，在低反射率區(qū)域可以考慮到漫反射成分小，而鏡面反射成分相對占優(yōu)勢。這是因?yàn)?，反射率小的物體具有與以下所示的陰影區(qū)域同樣的偏振光特性。
(1)“陰影區(qū)域或低反射率區(qū)域” ·偏振度高，偏振光推定誤差小。
·大多情況表示的是鏡面反射特性。
(2)投影區(qū)域 ·偏振度低，偏振光推定誤差大。
·大多情況表示的是漫反射特性。
通過利用該分類基準(zhǔn)，可以將低亮度區(qū)域分類為“陰影區(qū)域或低反射率區(qū)域”和投影區(qū)域。以下，利用附圖對該處理進(jìn)行詳細(xì)說明。
圖32是圖30所示的法線信息生成裝置100b的區(qū)域劃分部1031的詳細(xì)功能構(gòu)成方框圖。該區(qū)域劃分部1031包括DB302、偏振度比較部303、偏振光推定誤差比較部304、區(qū)域判斷部305、蓄積部306以及低亮度像素檢測部311。并且，對于圖32中與實(shí)施例1中的圖14的共同的步驟賦予相同的符號，在此省略詳細(xì)說明。
低亮度像素檢測部311是推定偏振光圖像攝像部101所取得的圖像中的某些像素是否為低亮度區(qū)域(包含“陰影區(qū)域或低反射率區(qū)域”以及投影區(qū)域的區(qū)域)的處理部。
圖33是該區(qū)域劃分部1031進(jìn)行處理的流程圖。首先，低亮度像素檢測部311評價偏振光圖像攝像部101所取得的圖像中的某些像素的亮度值(S501)。這與以前所述的步驟S201同樣，評價亮度值是否在閾值以下。像這種用于推定低亮度區(qū)域的閾值可以通過實(shí)驗(yàn)來決定，例如對于16位的單色圖像的亮度值可以設(shè)定為256。這樣的閾值可以保持在DB302。在亮度值比閾值大的情況下(S501的“否”)，區(qū)域劃分部1031與以前所述的步驟S202采用同樣的方法(偏振度比較部303所進(jìn)行的比較)，判斷該像素中是漫反射成分占優(yōu)勢還是鏡面反射成分占優(yōu)勢(S502)。在漫反射和鏡面反射的分類處理(S502)結(jié)束后，區(qū)域判斷部305檢查所有的像素的光學(xué)上的分類是否結(jié)束(S203)。在存在還沒有進(jìn)行分類的像素的情況下(S503的“否”)，低亮度像素檢測部311評價其他的像素的亮度值。(S501)。并且，在所有的像素在光學(xué)上的分類結(jié)束的情況下(S503的“是”)，區(qū)域劃分部1031結(jié)束處理。
另外，在像素的亮度值在閾值以下的情況下(S501的“是”)，判斷該像素是“陰影區(qū)域或低反射率區(qū)域”還是投影區(qū)域(S504)。這與以前所述同樣，是通過偏振光推定誤差比較部304對公式8所定義的偏振光推定誤差E的大小進(jìn)行評價(對偏振光推定誤差E和閾值Th_Err進(jìn)行比較)而實(shí)現(xiàn)的。在比較結(jié)果為，偏振光推定誤差E的大小比閾值Th_Err大的情況下(S504的“是”)，區(qū)域判斷部305將該像素判斷為是投影區(qū)域(S505)，另外，在偏振光推定誤差E的大小比閾值Th_Err小的情況下(S504的“否”)，區(qū)域判斷部305則將該像素判斷為是“陰影區(qū)域或低反射率區(qū)域”(S506)。此時的閾值Th_Err可以通過以前的方法來決定。進(jìn)行了區(qū)域劃分的結(jié)果被蓄積到蓄積部306。
法線信息生成部1041根據(jù)區(qū)域劃分部1031進(jìn)行的區(qū)域劃分結(jié)果，從偏振光信息中生成法線信息。該法線信息生成部1041的構(gòu)成要素與實(shí)施例1中說明的法線信息生成部104相同，即如圖20所示那樣，包括蓄積部306、區(qū)域參照部307、漫反射假定法線信息生成部308以及鏡面反射假定法線信息生成部309。不過，該法線信息生成部1041與在實(shí)施例1說明的法線信息生成部不同之處在于，將陰影區(qū)域作為“陰影區(qū)域或低反射率區(qū)域”來生成法線信息。
圖34是該法線信息生成部1041的處理流程圖。并且對于圖34中與圖21相同的步驟賦予相同的符號，在此省略詳細(xì)說明。
首先，法線信息生成部1041的區(qū)域參照部307根據(jù)區(qū)域劃分部1031所檢測出的光學(xué)上的區(qū)域劃分的結(jié)果，判斷像素是否為漫反射成分占優(yōu)勢(S301)。該處理可以是從蓄積了區(qū)域判斷部305的結(jié)果的蓄積部306中讀出區(qū)域劃分結(jié)果。在被判斷為是漫反射成分占優(yōu)勢的情況下(S301的“是”)，漫反射假定法線信息生成部308以假定的漫反射生成關(guān)于該像素的法線信息(S302)。具體而言，將射出面中的法線的一個自由度作為起偏板回轉(zhuǎn)亮度變化成為最大值的角度來求。并且，在像素不是漫反射成分占優(yōu)勢的情況下(S301的“否”)，若在鏡面反射成分占優(yōu)勢或?yàn)椤瓣幱皡^(qū)域或低反射率區(qū)域”的情況下(S306的“是”)，鏡面反射假定法線信息生成部309以假定的鏡面反射來生成該像素的法線信息(S304)。具體而言，將入射面中的法線的一個自由度作為起偏板回轉(zhuǎn)亮度變化成為最小值的角度來求。另外，在像素是投影區(qū)域的情況下(S303的“否”)，則判斷為像素的偏振光信息為誤差占優(yōu)勢，不能生成正確的法線信息，法線信息生成部1041不進(jìn)行法線信息生成處(S305)。
如以上所述，通過本實(shí)施例的法線信息生成裝置，能夠?qū)⒌土炼葏^(qū)域分類為“陰影區(qū)域或低反射率區(qū)域”和投影區(qū)域，從而能夠以假定的鏡面反射來針對“陰影區(qū)域或低反射率區(qū)域”生成正確的法線信息。并且，關(guān)于偏振光信息誤差較多且即使是生成了法線信息精確度也非常低的投影區(qū)域，可以通過不進(jìn)行法線信息生成處理，在盡可能的廣區(qū)域內(nèi)生成高精確度的法線信息。
并且，在步驟S504為了判斷該像素是“陰影區(qū)域或低反射率區(qū)域”還是投影區(qū)域，可以不利用偏振光推定誤差，而是與實(shí)施例1同樣，利用偏振度、偏振光推定誤差和偏振度這雙方、以及偏振光相位。
(實(shí)施例3) 以下，對本發(fā)明的實(shí)施例3中的法線信息生成裝置進(jìn)行說明。
圖35是本實(shí)施例中的法線信息生成裝置100c的構(gòu)成方框圖。該法線信息生成裝置100c是生成被攝物表面的法線信息的裝置，具有的特征是只有在能夠正確地生成法線信息的情況下才生成法線信息，除具有與圖1所示的法線信息生成裝置100相同的構(gòu)成以外，還具有攝像條件判定部106。并且，對于圖35中與圖1相同的構(gòu)成要素賦予相同的符號，在此省略詳細(xì)說明。
攝像條件判定部106是一處理部，判斷偏振光圖像攝像部101將要拍攝的成為攝像對象的攝像場面，是否滿足作為法線信息生成部104能夠正確生成法線的攝像條件的預(yù)先規(guī)定的攝像條件。
圖36是該攝像條件判定部106的詳細(xì)的功能構(gòu)成方框圖。該攝像條件判定部106包括DB302、光軸方向檢測部312以及光軸方向比較部313。
光軸方向檢測部312是檢測法線信息生成裝置100c的光軸方向的角度感應(yīng)器等。
光軸方向比較部313是判斷法線信息生成裝置100c是否朝向水平面(地平面)上方的處理部。
在此，在本實(shí)施例中，攝像場面需要滿足如實(shí)施例1中所說明的條件1。
條件1在被攝物所在的攝像場面中，存在有物體，在該物體的近旁有寬廣的面，且該寬廣的面在該物體的一側(cè)，在該物體的相反一側(cè)存在有光源。但是，安置了法線信息生成裝置100c可以不必滿足上述條件1。因此，在本實(shí)施例中，攝像條件判定部106判定是否滿足上述條件1。在此，若著眼于光源大多位于上方時，條件1不滿足以下的條件2。
條件2“攝像者拍攝上方” 該條件2例如在以下的攝影場面成立。
1.在室外場面拍攝天空、月亮、星辰等。
2.在室內(nèi)場面拍攝天花板上正在發(fā)光的螢光燈的方向。
以下探討上述的攝影場面1的情況，例如拍攝新月。新月的影子區(qū)域可以被視為是陰影區(qū)域。但是，該影子區(qū)域具有由被稱為地球反射的來自地球的多次反射的反射光而帶來的亮度。為此，雖然是陰影區(qū)域，由于多次反射光的入射方向僅限于地球，因此可以考慮到幾乎不存在作為正反射成分的鏡面反射成分。因此，法線信息生成裝置100c不能正確發(fā)揮功能。于是，攝像條件判定部106判斷法線信息生成裝置100c是否能夠正確地發(fā)揮功能(能夠正確地生成法線信息)，在能夠正確發(fā)揮功能的情況下，進(jìn)行陰影區(qū)域和投影區(qū)域的劃分處理，在不能正確地發(fā)揮功能的情況下，中止影子區(qū)域的劃分處理，并中止從影子區(qū)域中生成法線信息的處理。
圖37示出了搭載了本實(shí)施例中的法線信息生成裝置100c的攝像機(jī)200a的硬件構(gòu)成的例子。此攝像機(jī)200a是具有生成法線信息功能的攝像裝置，其包括圖案偏振器201、攝像元件202、存儲器203、CPU204、角度感應(yīng)器205、表示部208以及揚(yáng)聲器209。并且，對于圖37中與圖2相同的構(gòu)成要素賦予相同的符號，在此省略詳細(xì)說明。
角度感應(yīng)器205檢測攝像機(jī)200a的光軸方向，并輸出該信息。
表示部208在攝影場面由攝像條件判定部106判斷為不滿足上述的條件1的情況下，將此消息顯示在顯示器上。
揚(yáng)聲器209在攝影場面由攝像條件判定部106判斷為不滿足上述的條件1的情況下，將此消息以聲音輸出。
并且，圖36所示的光軸方向檢測部312是通過圖37所示的角度感應(yīng)器205而被實(shí)現(xiàn)的。圖36所示的光軸方向比較部313是通過圖37所示的CPU204執(zhí)行被存儲在存儲器203中的程序而被實(shí)現(xiàn)的。
圖38是本實(shí)施例中的法線信息生成裝置100c進(jìn)行的處理的流程圖。并且對于圖38中與圖4相同的步驟賦予相同的符號，在此省略詳細(xì)說明。
在本實(shí)施例中，光軸方向檢測部312(角度感應(yīng)器205)取得表示法線信息生成裝置100c(攝像機(jī)200a)的光軸方向的光軸方向信息(S106)。利用這樣求出的光軸方向信息，判斷攝像場面是否為能夠生成法線信息的環(huán)境(S107)。這將由光軸方向比較部313判斷法線信息生成裝置100c(攝像機(jī)200a)的光軸方向是否朝向上方來進(jìn)行。光軸方向比較部313例如在光軸朝向水平方向以上45度的情況下，判斷光軸方向?yàn)槌蛏戏?。此閾?5度可以通過實(shí)驗(yàn)來決定，并且這樣的閾值可以保持在DB302。在此，在光軸方向被判斷為朝向上方的情況下，攝像條件判定部106判斷攝像場面是否滿足條件1(S107的“否”)，區(qū)域劃分部103利用在偏振光信息生成部102生成的偏振光信息或在偏振光圖像攝像部101取得的亮度信息，將圖像分類為漫反射區(qū)域、鏡面反射區(qū)域、影子區(qū)域(S108)。在此例子中，由于不滿足條件1，因此不將影子區(qū)域分類為陰影區(qū)域和投影區(qū)域。接著，法線信息生成部104根據(jù)區(qū)域劃分部103進(jìn)行的區(qū)域劃分結(jié)果，從偏振光信息中生成法線信息。圖39是該處理(S109)的詳細(xì)流程圖。并且對于圖39中與圖21相同的步驟賦予相同的符號，在此省略詳細(xì)說明。
首先，法線信息生成部104根據(jù)區(qū)域劃分部103所檢測出的光學(xué)上的區(qū)域劃分的結(jié)果，判斷像素是否為漫反射成分占優(yōu)勢(S301)。在被判斷為是漫反射成分占優(yōu)勢的情況下(S301的“是”)，法線信息生成部104以假定的漫反射來生成該像素的法線信息(S302)。具體而言，將射出面中的法線的一個自由度作為起偏板回轉(zhuǎn)亮度變化成為最大值的角度來求。并且，在像素不是漫反射成分占優(yōu)勢的情況下(S301的“否”)，若在鏡面反射成分占優(yōu)勢的情況下(S307的“是”)，法線信息生成部104以假定的鏡面反射來生成該像素的法線信息(S304)。具體而言，將入射面中的法線的一個自由度作為起偏板回轉(zhuǎn)亮度變化成為最小值的角度來求。另一方面，在判斷為像素是影子區(qū)域的情況下，也就是說既不是漫反射成分占優(yōu)勢也不是鏡面反射成分占優(yōu)勢的情況下(S307的“否”)，則判斷為像素偏振光信息是誤差占優(yōu)勢，不能生成正確的法線信息，則該法線信息生成部104不進(jìn)行法線信息生成處理(S305)。
另外，在光軸方向被判斷為不朝向上方的情況下(S107的“是”)，攝像條件判定部106判斷攝像場面滿足條件1，區(qū)域劃分部103不進(jìn)行光學(xué)上的區(qū)域劃分處(S103)，接著，法線信息生成部104生成法線信息(S104)。
并且，在攝像場面由攝像條件判定部106判定為滿足條件1的情況下，表示部208將“不能實(shí)現(xiàn)影子區(qū)域的法線信息生成處理”等在顯示器上顯示，揚(yáng)聲器209發(fā)出聲音信號，將同樣的消息傳達(dá)給攝像者。
不過，在攝像場面由攝像條件判定部106判定為不滿足條件1的情況下，不是不進(jìn)行光學(xué)上的區(qū)域劃分處理或法線信息生成處理，而是可以進(jìn)行以下的處理，即關(guān)于陰影區(qū)域，以假定的漫反射來生成法線信息，表示部208將“法線信息生成處理不穩(wěn)定”等顯示在顯示器，揚(yáng)聲器209以聲音信號將同樣的消息傳達(dá)給攝像者。
并且，在攝像場面由攝像條件判定部106判定為不滿足條件1的情況下，法線信息生成部104可以利用近旁的法線信息，通過內(nèi)插處理等對影子區(qū)域合成法線信息。關(guān)于內(nèi)插處理可以利用以往的方法。
并且，攝像條件判定部106不僅限于利用光軸方向檢測部312，例如也可以利用具有能夠識別安裝了法線信息生成裝置100c的環(huán)境的功能的處理部。例如，可以通過利用聲納等來實(shí)現(xiàn)。以下，對具有這種環(huán)境識別功能的本實(shí)施例的變形例所涉及的法線信息生成裝置進(jìn)行說明。
圖40示出了搭載了這種變形例所涉及的法線信息生成裝置的攝像機(jī)200b的硬件構(gòu)成的例子。該攝像機(jī)200b與圖37所示的本實(shí)施例所涉及的攝像機(jī)200a的構(gòu)成的不同之處在于，不具備角度感應(yīng)器205而具備聲納210。并且，對于圖40中與圖37相同的構(gòu)成要素賦予相同的符號，在此省略詳細(xì)說明。
圖41是具備本變形例所涉及的法線信息生成裝置的攝像條件判定部106a的詳細(xì)的功能構(gòu)成方框圖。并且，此變形例所涉及的法線信息生成裝置與圖35所示的本實(shí)施例中的法線信息生成裝置100c的構(gòu)成的區(qū)別在于，不具備攝像條件判定部106而具備攝像條件判定部106a。該攝像條件判定部106a具有聲納，該聲納通過發(fā)出聲波并接收聲波的反射波來測定到周圍的對象物的距離，且該攝像條件判定部106a的特點(diǎn)是，利用聲納來判斷該法線信息生成裝置的近旁是否有物體，在判斷為沒有物體的情況下，判定攝像場面不滿足攝像條件，并且，該攝像條件判定部106a在功能上具有DB302、攝像環(huán)境檢測部315以及攝像環(huán)境識別部316。并且，對于圖41中與圖36相同的構(gòu)成要素賦予相同的符號，在此省略詳細(xì)說明。
攝像環(huán)境檢測部315是一處理部，測定到周圍的對象物的距離，并將該距離信息作為攝像環(huán)境信息來生成，相當(dāng)于圖40所示的聲納210。
攝像環(huán)境識別部316是利用來自攝像環(huán)境檢測部315的攝像環(huán)境信息，來判斷攝像場面是否為能夠?qū)崿F(xiàn)光學(xué)上的區(qū)域劃分的環(huán)境。
圖42是該變形例所涉及的法線信息生成裝置的處理流程圖。并且對于圖42中與圖38相同的步驟賦予相同的符號，在此省略詳細(xì)說明。
在本變形例所涉及的法線信息生成裝置中，攝像環(huán)境檢測部315以聲納210來取得攝像環(huán)境信息(S111)。該聲納210是主動聲納，發(fā)生超音波或音波，并通過接受其反射波來測定到周圍的對象物的距離的裝置。因此，通過利用聲納210，將攝像機(jī)200b的周圍是否有物體以及在有物體的情況下到該物體的距離信息作為攝像環(huán)境信息來取得。并且，聲納210被廣泛利用于魚群探測器等，由于這是周知技術(shù)，因此省略詳細(xì)說明。
這樣，利用求出的攝像環(huán)境信息，判斷攝像場面是否為能夠?qū)崿F(xiàn)光學(xué)上的區(qū)域劃分的環(huán)境(S107)。這可以通過攝像環(huán)境識別部316對攝像機(jī)200b的近旁是否有物體的判斷來實(shí)現(xiàn)。具體而言，攝像環(huán)境檢測部315取得到攝像機(jī)200b的周圍(全方位)的物體的距離信息，只要評價距離比一定的值TH_S短且立體角大即可。在這樣的立體角的大小比閾值TH_SR小的情況下，攝像條件判定部106判斷攝像場面不滿足條件1(S107的“否”)，區(qū)域劃分部103利用偏振光信息生成部102生成的偏振光信息或偏振光圖像攝像部101所取得的亮度信息，將圖像分類為漫反射區(qū)域、鏡面反射區(qū)域、影子區(qū)域(S108)。由于沒有滿足條件1，因此不將影子區(qū)域分類為陰影區(qū)域和投影區(qū)域。進(jìn)而，法線信息生成部104根據(jù)區(qū)域劃分部103所進(jìn)行的區(qū)域劃分結(jié)果，從偏振光信息中生成法線信息(S109)。另外，在這樣的立體角的大小比閾值TH_SR大的情況下，攝像條件判定部106判定攝像場面滿足條件1(S108的“是”)，由區(qū)域劃分部103進(jìn)行光學(xué)上的區(qū)域劃分處理，之后由法線信息生成部104生成法線信息。
并且，這樣的閾值TH_S、TH_SR可以通過實(shí)驗(yàn)求出，并且可以保持在DB302。
這樣，通過本實(shí)施例中的法線信息生成裝置，可以將影子區(qū)域分類為陰影區(qū)域和投影區(qū)域，從而通過假定的鏡面反射來正確地生成關(guān)于陰影區(qū)域的法線信息。并且，關(guān)于偏振光信息誤差較多且即使是生成了法線信息精確度也非常低的投影區(qū)域，可以通過不進(jìn)行法線信息生成處理，在盡可能的廣區(qū)域內(nèi)生成高精確度的法線信息。并且，在影子區(qū)域分類困難的情況下，不是求出精確度低的結(jié)果，而是將不能進(jìn)行處理之消息傳達(dá)給攝像者，據(jù)此可以進(jìn)行可靠性高的法線信息生成處理。
(實(shí)施例4) 以下，對本發(fā)明的實(shí)施例4中的法線信息生成裝置進(jìn)行說明。
圖43是本實(shí)施例中的法線信息生成裝置100d的構(gòu)成方框圖。該法線信息生成裝置100d是生成被攝物表面的法線信息的裝置，具有的特征是不生成可靠性低的法線信息，除具有與圖1所示的法線信息生成裝置100相同的構(gòu)成以外，還具有可靠性判定部107。并且，對于在圖43中與圖1相同的構(gòu)成要素賦予相同的符號，在此省略詳細(xì)說明。并且，搭載了本實(shí)施例中的法線信息生成裝置100d的攝像機(jī)具有與圖2所示的實(shí)施例1中的攝像機(jī)200相同的硬件。
可靠性判定部107利用由區(qū)域劃分部103進(jìn)行的光學(xué)上的區(qū)域劃分結(jié)果，評價光學(xué)上的區(qū)域劃分結(jié)果的可靠性，在沒有可靠性的情況下，廢棄光學(xué)上的區(qū)域劃分結(jié)果以及法線信息。其結(jié)果是，沒有可靠性的區(qū)域的法線信息被廢棄。
圖44是本實(shí)施例中的法線信息生成裝置100d進(jìn)行的處理的流程圖。并且對于圖44中與圖4以及圖38相同的步驟賦予相同的符號，在此省略詳細(xì)說明。可靠性判定部107利用區(qū)域劃分部103的光學(xué)上的區(qū)域劃分結(jié)果，評價是否滿足上述的條件1，即評價光學(xué)上的區(qū)域劃分結(jié)果的可靠性(S107)。在沒有可靠性的情況下(S107的“否”)，可靠性判定部107廢棄光學(xué)上的區(qū)域劃分結(jié)果以及由法線信息生成部104生成的法線信息(S110)。
在此，為了判斷是否滿足條件1，可以判斷是否存在陰影區(qū)域，該陰影區(qū)域是由于受到影子區(qū)域內(nèi)的正反射多次反射光的影響而成為鏡面反射成分占優(yōu)勢的區(qū)域。為此，說明利用被攝像的偏振光圖像的偏振度和亮度值評價可靠性的方法。在影子區(qū)域，示出鏡面反射偏振光特性的圖像不存在的情況下，即被攝像的圖像上不存在陰影區(qū)域的情況下，可以判斷為不滿足條件1。
圖45是可靠性判定部107的詳細(xì)功能構(gòu)成方框圖。可靠性判定部107包括DB302、蓄積部306以及陰影區(qū)域存在判斷部314。
蓄積部306蓄積由區(qū)域劃分部103進(jìn)行的區(qū)域劃分結(jié)果。
陰影區(qū)域存在判斷部314是一處理部，其參照被蓄積在蓄積部306中的區(qū)域劃分結(jié)果，判斷是否能夠劃分成具有充分大小(預(yù)先規(guī)定的閾值以上)的陰影區(qū)域。
圖44所示的可靠性判定部107的處理(S107、S110)詳細(xì)流程如以下所示。
陰影區(qū)域存在判斷部314參照被蓄積在蓄積部306中的區(qū)域劃分結(jié)果，判斷是否可以劃分成具有充分大小的陰影區(qū)域(S107)。其結(jié)果為，攝像圖像中不存在具有充分大小的陰影區(qū)域的情況下(S107的“否”)，可靠性判定部107判斷攝像場面不滿足條件1，廢棄與影子區(qū)域有關(guān)的光學(xué)上的區(qū)域劃分結(jié)果以及法線信息(S110)，所述具有充分大小的陰影區(qū)域例如是VGA圖像中的100像素以上的區(qū)域。此時，表示部208將“不能實(shí)現(xiàn)影子區(qū)域的法線信息生成處理”等顯示在顯示器上，揚(yáng)聲器209通過發(fā)出聲音信號將此消息傳達(dá)給攝像者。另外，在攝像圖像中存在陰影區(qū)域的情況下(S107的“是”)，可靠性判定部107判斷攝像場面滿足條件1，并輸出生成的法線信息。在此，陰影區(qū)域的大小的閾值可以通過實(shí)驗(yàn)來決定，并且這樣的閾值可以保持在DB302。
如以上所述，通過本發(fā)明的法線信息生成裝置，將影子區(qū)域分類為陰影區(qū)域和投影區(qū)域，通過假定鏡面反射從而生成關(guān)于陰影區(qū)域的正確的法線信息。并且，關(guān)于偏振光信息誤差較多且即使是生成了法線信息精確度也非常低的投影區(qū)域，可以通過不進(jìn)行法線信息生成處理，在盡可能的廣區(qū)域內(nèi)生成高精確度的法線信息。并且，在影子區(qū)域分類困難的情況下，不是求出精確度低的結(jié)果，而是將不能進(jìn)行處理之消息傳達(dá)給攝像者，據(jù)此可以進(jìn)行可靠性高的法線信息生成處理。
以上，雖然對本發(fā)明所涉及的法線信息生成裝置，采用實(shí)施例1到實(shí)施例4以及變形例進(jìn)行了說明，但是本發(fā)明并非受這些實(shí)施例以及變形例所限。
將各個實(shí)施例以及變形例中的任意的構(gòu)成要素組合而實(shí)現(xiàn)的其他的實(shí)施方式，以及本領(lǐng)域技術(shù)人員所能夠想到的對于本發(fā)明中的各個實(shí)施例以及變形例的變形均屬于本發(fā)明的范疇。并且，如圖46所示內(nèi)藏有本發(fā)明所涉及的法線信息生成裝置的數(shù)字靜態(tài)相機(jī)和數(shù)字?jǐn)z影機(jī)等應(yīng)用產(chǎn)品也包含在本發(fā)明內(nèi)。
并且，在由可靠性判定部107判斷為攝像場面不滿足條件1的情況下，不是不進(jìn)行法線信息生成處理，而進(jìn)行的處理是，表示部208將“法線信息生成處理不穩(wěn)定”等顯示在顯示器上，揚(yáng)聲器209通過發(fā)出聲音信號將這一消息傳達(dá)給攝像者。
并且，在由可靠性判定部107判斷為攝像場面不滿足條件1的情況下，不是僅廢棄影子區(qū)域，而是可以廢棄所有的法線信息。
并且，圖14等所示的影子區(qū)域檢測部301為了檢測投影區(qū)域，首先利用亮度值對影子區(qū)域進(jìn)行了判斷(圖15的S201等)，不過本發(fā)明并非受此順序所限，可以僅以在偏振光信息生成部102生成的偏振光信息來檢測投影區(qū)域。像這樣的處理，對于像油畫等知道存在投影區(qū)域而不存在陰影區(qū)域的被攝物是有效的。這是因?yàn)椋窈谏伭线@種反射率非常小的被攝物存在的情況下，僅利用上述的亮度值來進(jìn)行判斷是很難區(qū)別影子區(qū)域和黑色顏料的。以下，對本實(shí)施例的變形例所涉及的法線信息生成裝置進(jìn)行詳細(xì)說明。
由于示出這種變形例所涉及的法線信息生成裝置的功能構(gòu)成方框圖與圖1相同，在此省略說明。
圖47是這樣的變形例所涉及的法線信息生成裝置所進(jìn)行的影子檢測處理的流程圖。即示出了與圖15所示的影子區(qū)域檢測處理(S201、S202、S204～S206)不同的其他的方法的流程圖。如圖47所示，偏振光比較部303調(diào)查像素的偏振度比閾值TH_PS小還是大(S407)。在像素的偏振度比閾值TH_PS大的情況下(S407的“否”)，影子區(qū)域檢測部301判斷該像素不是投影區(qū)域(S402)，判定該像素中是漫反射占優(yōu)勢還是鏡面反射占優(yōu)勢(S202)，結(jié)束處理。另外，在偏振度比閾值TH_PS小的情況下(S407的“是”)，影子區(qū)域檢測部301判斷該像素為投影區(qū)域(S405)，結(jié)束處理。
圖48示出了將拍攝油畫這一被攝物時的偏振度ρ作為圖像來表示的圖。在該圖中，圖48(a)表示作為被攝物的油畫的圖像，圖48(b)表示與圖48(a)所示的圖像相對應(yīng)的偏振度ρ(即由偏振光信息生成部102生成的偏振光信息)。并且，在圖49示出了，由這種變形例所涉及的法線信息生成裝置利用圖48(b)所示的偏振度ρ，來針對圖48(a)所示的圖像抽出投影區(qū)域。在該圖中的黑色區(qū)域?yàn)楸怀槌龅耐队皡^(qū)域。并且，可以將像這樣抽出的投影區(qū)域作為最終的投影區(qū)域來輸出，或者，可以通過針對像這樣被抽出的投影區(qū)域進(jìn)行在圖像處理中被廣泛使用的區(qū)域的收縮擴(kuò)大處理，從而將重新再次定義的區(qū)域作為最終的投影區(qū)域來輸出。
像這樣的變形例所涉及的光法線信息生成裝置所進(jìn)行的圖像處理的優(yōu)點(diǎn)如以下所示。在圖48和圖49中，區(qū)域A表示投影區(qū)域，區(qū)域B表示黑色顏料區(qū)域。在圖48(a)所示的圖像中，由于這些區(qū)域A和區(qū)域B的亮度信息幾乎相同，因此很難分離區(qū)域A和區(qū)域B。但是，通過利用圖48(b)的偏振光信息，從而可以如圖49所示那樣，能夠正確地抽出區(qū)域，即可以知道區(qū)域A為投影區(qū)域，區(qū)域b不為投影區(qū)域。
本發(fā)明所涉及的法線信息生成裝置作為生成被攝物表面的法線信息的法線信息生成裝置，例如可以作為生成被攝物的三維形狀信息的裝置和利用這些信息將圖像進(jìn)行高精細(xì)化的裝置，而有用于例如數(shù)字靜態(tài)相機(jī)、數(shù)字?jǐn)z影機(jī)、監(jiān)控攝像頭等。
權(quán)利要求
1.一種法線信息生成裝置，生成被攝物表面的法線信息，其特征在于，包括
圖像信息取得部，取得與被攝物圖像有關(guān)的包含亮度信息以及偏振光信息的信息，所述亮度信息是指與來自所述被攝物的光的亮度有關(guān)的信息，所述偏振光信息是指與來自所述被攝物的光的偏振光有關(guān)的信息；
影子區(qū)域抽出部，根據(jù)在所述圖像信息取得部取得的亮度信息以及偏振光信息，從所述被攝物圖像中抽出陰影區(qū)域以及投影區(qū)域，所述陰影區(qū)域是指因光的照射方式而在被攝物的表面產(chǎn)生的區(qū)域，所述投影區(qū)域是指因被攝物本身將光遮住而在其他的物體上產(chǎn)生的區(qū)域；以及
法線信息生成部，利用在所述圖像信息取得部取得的偏振光信息，針對在所述影子區(qū)域抽出部抽出的陰影區(qū)域，生成確定對應(yīng)的所述被攝物的表面的法線的法線信息。
2.如權(quán)利要求1所述的法線信息生成裝置，其特征在于，
所述圖像信息取得部具有
偏振光圖像攝像部，通過接受透過多個偏振器的光，來取得具有所述亮度信息的被攝物的偏振光圖像，所述多個偏振器的偏振光主軸角度不同；以及
偏振光信息生成部，利用所述多個偏振器的偏振光主軸角度和透過所述多個偏振器的光的亮度的對應(yīng)關(guān)系，從取得的所述偏振光圖像中生成針對構(gòu)成該偏振光圖像的各個單位圖像的所述偏振光信息；
所述影子區(qū)域抽出部根據(jù)所述偏振光圖像的亮度信息，按照每個所述單位圖像，對該單位圖像的亮度與預(yù)先規(guī)定的閾值進(jìn)行比較，在所述亮度比所述閾值小的情況下，判斷該單位圖像屬于包含陰影區(qū)域以及投影區(qū)域的低亮度區(qū)域，并針對屬于所述低亮度區(qū)域的單位圖像，根據(jù)所述偏振光信息生成部所生成的偏振光信息，來判斷該單位圖像是陰影區(qū)域還是投影區(qū)域，從而抽出所述陰影區(qū)域以及所述投影區(qū)域。
3.如權(quán)利要求2所述的法線信息生成裝置，其特征在于，
所述偏振光圖像攝像部由用于取得所述偏振光圖像的多個攝像單位構(gòu)成；
所述多個攝像單位分別具有
多個偏振器，具有不同的偏振光主軸角度；
多個像素，接受通過所述多個偏振器的每一個偏振器的光；
所述偏振光信息生成部將由所述攝像單位得到的圖像作為所述單位圖像來生成偏振光信息。
4.如權(quán)利要求2所述的法線信息生成裝置，其特征在于，
所述法線信息生成部針對所述陰影區(qū)域，生成在所述對應(yīng)關(guān)系中亮度成為最小的所述偏振光主軸角度，以作為該區(qū)域所對應(yīng)的所述被攝物的入射面的法線信息。
5.如權(quán)利要求2所述的法線信息生成裝置，其特征在于，
所述法線信息生成部僅針對陰影區(qū)域以及投影區(qū)域中的陰影區(qū)域生成所述法線信息。
6.如權(quán)利要求2所述的法線信息生成裝置，其特征在于，
所述影子區(qū)域抽出部針對屬于所述低亮度區(qū)域的單位圖像，判斷所述偏振光信息是否表示鏡面反射的偏振光特性，在所述偏振光信息表示鏡面反射的偏振光特性的情況下，將該單位圖像作為陰影區(qū)域抽出。
7.如權(quán)利要求2所述的法線信息生成裝置，其特征在于，
所述偏振光信息生成部生成偏振度以作為所述偏振光信息，所述偏振度是示出光偏振了多少的指標(biāo)；
所述影子區(qū)域抽出部進(jìn)一步對屬于所述低亮度區(qū)域的單位圖像中的偏振度與預(yù)先規(guī)定的閾值進(jìn)行比較，在所述偏振度比所述閾值小的情況下，將該單位圖像作為投影區(qū)域抽出，在所述偏振度在所述閾值以上的情況下，將該單位圖像作為陰影區(qū)域抽出。
8.如權(quán)利要求2所述的法線信息生成裝置，其特征在于，
所述偏振光信息生成部生成偏振光推定誤差以作為所述偏振光信息，所述偏振光推定誤差是指，在所述變更圖像攝像部得到的亮度與根據(jù)近似了所述偏振光主軸角度和所述亮度的對應(yīng)關(guān)系的正弦函數(shù)而決定的亮度的差；
所述影子區(qū)域抽出部進(jìn)一步對屬于低亮度區(qū)域的單位圖像中的偏振光推定誤差和預(yù)先規(guī)定的閾值進(jìn)行比較，在所述偏振光推定誤差比所述閾值大的情況下，將該單位圖像作為投影區(qū)域抽出，在所述偏振光推定誤差在所述閾值以下的情況下，將該單位圖像作為陰影區(qū)域抽出。
9.如權(quán)利要求2所述的法線信息生成裝置，其特征在于，
所述偏振光圖像攝像部取得第一偏振光圖像和第二偏振光圖像，所述第一偏振光圖像是閃光設(shè)備針對所述被攝物發(fā)光的情況下的偏振光圖像，所述第二偏振光圖像是閃光設(shè)備針對被攝物沒有發(fā)光的情況下的偏振光圖像；
所述影子區(qū)域抽出部針對屬于低亮度區(qū)域的單位圖像算出所述第一偏振光圖像以及所述第二偏振光圖像中的亮度的差分，并將算出的差分與預(yù)先規(guī)定的閾值進(jìn)行比較，在所述差分比所述閾值大的情況下，將該單位圖像作為陰影區(qū)域或作為投影區(qū)域抽出。
10.如權(quán)利要求2所述的法線信息生成裝置，其特征在于，
所述影子區(qū)域抽出部針對屬于所述低亮度區(qū)域的單位圖像，判斷所述偏振光信息是否表示鏡面反射的偏振光特性，在所述偏振光信息表示鏡面反射的偏振光特性的情況下，將該單位圖像作為“陰影區(qū)域或低反射率區(qū)域”抽出。
11.如權(quán)利要求10所述的法線信息生成裝置，其特征在于，
所述法線信息生成部針對所述“陰影區(qū)域或低反射率區(qū)域”生成所述對應(yīng)關(guān)系中亮度成為最小的所述偏振光主軸角度，以作為該區(qū)域所對應(yīng)的所述被攝物的入射面的法線信息。
12.如權(quán)利要求10所述的法線信息生成裝置，其特征在于，
所述法線信息生成部僅針對“陰影區(qū)域或低反射率區(qū)域”以及投影區(qū)域中的“陰影區(qū)域或低反射率區(qū)域”生成所述法線信息。
13.如權(quán)利要求10所述的法線信息生成裝置，其特征在于，
所述偏振光信息生成部生成偏振度以作為所述偏振光信息，所述偏振度是示出光偏振了多少的指標(biāo)；
所述影子區(qū)域抽出部進(jìn)一步對屬于低亮度區(qū)域的單位圖像中的偏振度和預(yù)先規(guī)定的閾值進(jìn)行比較，在所述偏振度比所述閾值小的情況下，將該單位圖像作為投影區(qū)域抽出，在所述偏振度在所述閾值以上的情況下，將該單位圖像作為“陰影區(qū)域或低反射率區(qū)域”抽出。
14.如權(quán)利要求10所述的法線信息生成裝置，其特征在于，
所述偏振光信息生成部生成偏振光推定誤差以作為所述偏振光信息，所述偏振光推定誤差是指，在所述變更圖像攝像部得到的亮度與根據(jù)近似了所述偏振光主軸角度和所述亮度的對應(yīng)關(guān)系的正弦函數(shù)而決定的亮度的差；
所述影子區(qū)域抽出部進(jìn)一步對屬于低亮度區(qū)域的單位圖像的偏振光推定誤差和預(yù)先規(guī)定的閾值進(jìn)行比較，在所述偏振光推定誤差比所述閾值大的情況下，將該單位圖像作為投影區(qū)域抽出，在所述偏振光推定誤差在所述閾值以下的情況下，將該單位圖像作為“陰影區(qū)域或低反射率區(qū)域”抽出。
15.如權(quán)利要求1所述的法線信息生成裝置，其特征在于，
所述法線信息生成裝置進(jìn)一步具有攝像條件判定部，判定成為所述偏振光圖像攝像部的攝像對象的攝像場面是否滿足預(yù)先規(guī)定的攝像條件，該預(yù)先規(guī)定的攝像條件是指所述法線信息生成部能夠生成正確的法線信息的攝像條件；
在由所述攝像條件判定部判定為不滿足攝像條件的情況下，所述影子區(qū)域抽出部停止作為低亮度區(qū)域的區(qū)域抽出。
16.如權(quán)利要求15所述的法線信息生成裝置，其特征在于，
預(yù)先規(guī)定的所述攝像條件是在被攝物所在的攝像場面中，存在有物體，在該物體的近旁有寬廣的面，且該寬廣的面在該物體的一側(cè)，在該物體的相反一側(cè)存在有光源。
17.如權(quán)利要求15所述的法線信息生成裝置，其特征在于，
所述攝像條件判定部具有檢測所述偏振光圖像攝像部的攝像方向的角度感應(yīng)器，在由所述角度感應(yīng)器檢測出所述偏振光圖像攝像部朝向水平面的上方的情況下，則判定所述攝像場面不滿足所述攝像條件。
18.如權(quán)利要求15所述的法線信息生成裝置，其特征在于，
所述攝像條件判定部具有聲納，該聲納通過發(fā)出聲波并接收所述聲波的反射波，來測定到周圍的對象物的距離，所述攝像條件判定部通過所述聲納來判斷該法線信息生成裝置的近旁是否有物體存在，在判斷為沒有物體存在的情況下，判定所述攝像場面不滿足所述攝像條件。
19.如權(quán)利要求1所述的法線信息生成裝置，其特征在于，
所述法線信息生成裝置進(jìn)一步具有可靠性判定部，該可靠性判定部通過評價所述影子區(qū)域抽出部進(jìn)行的區(qū)域抽出的結(jié)果，來判定區(qū)域抽出是否有可靠性，在判定為沒有可靠性的情況下，廢棄所述影子區(qū)域抽出部進(jìn)行的區(qū)域抽出的結(jié)果以及所述法線信息生成部所生成的法線信息。
20.如權(quán)利要求19所述的法線信息生成裝置，其特征在于，
可靠性判定部根據(jù)所述影子區(qū)域抽出部進(jìn)行的區(qū)域抽出的結(jié)果，判斷在低亮度區(qū)域是否存在陰影區(qū)域，在低亮度區(qū)域不存在陰影區(qū)域的情況下，判定所述區(qū)域抽出沒有可靠性。
21.一種法線信息生成方法，生成被攝物表面的法線信息，其特征在于，包括
圖像信息取得步驟，取得與被攝物圖像有關(guān)的包含亮度信息以及偏振光信息的信息，所述亮度信息是指與來自所述被攝物的光的亮度有關(guān)的信息，所述偏振光信息是指與來自所述被攝物的光的偏振光有關(guān)的信息；
影子區(qū)域抽出步驟，根據(jù)在所述圖像信息取得步驟取得的亮度信息以及偏振光信息，從所述被攝物圖像中抽出陰影區(qū)域以及投影區(qū)域，所述陰影區(qū)域是指因光的照射方式而在被攝物的表面產(chǎn)生的區(qū)域，所述投影區(qū)域是指因被攝物本身將光遮住而在其他的物體上產(chǎn)生的區(qū)域；以及
法線信息生成步驟，利用在所述圖像信息取得步驟取得的偏振光信息，針對在所述影子區(qū)域抽出步驟抽出的陰影區(qū)域，生成確定對應(yīng)的所述被攝物的表面的法線的法線信息。
22.一種程序，用于生成被攝物表面的法線信息的法線信息生成裝置，其特征在于，使計算機(jī)執(zhí)行權(quán)利要求21所述的法線信息生成方法中所包含的步驟。
全文摘要
提供一種能夠高精確度地對影子區(qū)域生成法線信息的法線信息生成裝置等。一種生成被攝物表面的法線信息的法線信息生成裝置(100)，其中包括圖像信息取得部(110)，取得與被攝物圖像有關(guān)的包含亮度信息和偏振光信息的信息，所述亮度信息是與來自被攝物的光的亮度有關(guān)的信息，所述偏振光信息是與來自被攝物的光的偏振光有關(guān)的信息；影子區(qū)域抽出部(120)，根據(jù)在圖像信息取得部(110)取得的亮度信息和偏振光信息，從被攝物圖像中抽出陰影區(qū)域和投影區(qū)域，所述陰影區(qū)域是因光的照射方式而在被攝物的表面產(chǎn)生的區(qū)域，所述投影區(qū)域是因被攝物本身將光遮住而在其他的物體上產(chǎn)生的區(qū)域；以及法線信息生成部(104)，針對影子區(qū)域抽出部(120)所抽出的陰影區(qū)域，利用圖像信息取得部所取得的偏振光信息，生成用于確定對應(yīng)的被攝物的表面的法線的法線信息。
文檔編號G06T1/00GK101542232SQ20088000047
公開日2009年9月23日 申請日期2008年8月7日 優(yōu)先權(quán)日2007年8月7日
發(fā)明者佐藤智, 金森克洋, 齋藤夏樹, 中田干也 申請人:松下電器產(chǎn)業(yè)株式會社