專利名稱：圖像處理裝置的制作方法
技術領域：
本發(fā)明涉及能夠取得超出了根據(jù)由攝像元件獲取到的2維亮度圖像得到的信息的表面凹凸信息的圖像處理裝置。
背景技術：
在對被半透明的粘膜覆蓋的生物體的臟器表面進行照明來進行攝像的內(nèi)窺鏡領域中，需要回避來自表面的正反射(鏡面反射)的同時，確認表面的紋理、表面下的血管圖像等。因此，提出了使用偏振光照明和偏振光攝像的偏振內(nèi)窺鏡。例如，專利文獻I中公開了一種內(nèi)窺鏡，其具備對物體照射特定偏振光成分的光的偏振光照射部、和受光部，生成表示所述物體的表面的形狀變化的形狀變化圖像。該內(nèi)窺鏡的受光部接收來自物體的返回光中的所述特定偏振光成分的光、以及所述返回光中的與所述特定偏振光成分不同的偏振光成分的光。專利文獻I中公開的攝像部具備RGB的彩色馬賽克、被排列成朝向偏振光透過軸不同的3個方向的偏振片。在專利文獻I中，特別是為了觀察者容易識別粘膜的表面凹 凸，偏振光特性計算部能夠計算出偏振光方位并生成表面的傾斜信息的2維分布。現(xiàn)有技術文獻專利文獻專利文獻IJP特開2009-246770號公報專利文獻2JP特開平11-313242號公報專利文獻3美國專利申請公開第2009/0079982號專利文獻4JP特開2007-86720號公報專利文獻5國際公開第2008/149489號非專利文獻非專利文獻INicolas Lefaudeux, et. al " Compact and robust linearStokes polarization camera " , Proc.SPIE, Vol. 6972,69720B, Polarization Measurement, Analysis, and RemoteSensing VIII(2008)；非專利文獻2Cary A. Atkinson, Edwin R. hancock " Recovery of surfaceoroentatin from diffuse polarization" , IEEE Transaction of image processing,Vol 15，No. 6，June 2006，PP1653-1664.非專利文獻3宮崎大輔、池內(nèi)克史「偏光i放物的曲面O解析1二J 3透明物體O表面形狀計測」、信息処理學會論文誌、Vol. 44，No. SIG9、July2003、86-9
發(fā)明內(nèi)容
(發(fā)明要解決的技術課題)根據(jù)發(fā)明人的實驗，在引用文獻I公開的這種攝像部中，無法得到每I像素的正確的偏振光信息。此外，因與被攝體的空間頻率的干涉，在偏振圖像中發(fā)生顯著的莫爾條紋，進而由于彩色馬賽克的一部分被偏振光馬賽克化，因此再現(xiàn)的全彩色圖像的畫質也會劣化。本發(fā)明是為了解決上述技術問題而提出的，其主要目的在于提供一種能夠以像素為單位獲得偏振光信息、并基于該偏振光信息獲取被攝體表面的凹凸信息的圖像處理裝 置。(用于解決課題的手段)本發(fā)明的圖像處理裝置具備具備偏振光照明部，其對被攝體依次照射偏振面的角度不同的3種以上的線偏振光；攝像部，其在由所述3種以上的線偏振光的每種線偏振光照射所述被攝體時，依次拍攝所述被攝體，此時在不經(jīng)由偏振片的情況下接收來自所述被攝體的返回光，以獲取亮度值；變動亮度處理部，其基于從所述攝像部輸出的表示亮度值的信號，求出所述偏振面的角度與各像素的亮度值之間的關系，生成亮度最大角圖像及亮度調制度圖像，該亮度最大角圖像是根據(jù)在各像素中所述亮度值成最大的所述偏振面的角度來定義的，該亮度調制度圖像是根據(jù)在各像素中伴隨所述偏振面的變化的所述亮度值的變動的振幅與亮度平均值的比例來定義的；和法線推測部，其基于所述亮度最大角圖像及所述亮度調制度圖像，以像素為單位，推測在所述被攝體的表面存在的V字凹槽內(nèi)的傾斜面的法線。在某個實施方式中，所述法線推測部具有方位角處理部，其根據(jù)所述亮度最大角圖像，求出所述法線的方位角的候選；天頂角處理部，其根據(jù)所述亮度調制度圖像，求出所述法線的天頂角；和方位角不確定性處理部，其從所述法線的方位角的候選中決定所述法線的一個方位角。在某個實施方式中，所述圖像處理裝置具備法線圖像生成部，其生成由所述法線推測部推測出的法線的圖像。在某個實施方式中，所述方位角不確定性處理部基于與非偏振光照明下的圖像相當?shù)姆瞧窳炼葓D像、或者所述亮度調制度圖像，從所述法線的方位角的候選中選擇一個方位角。在某個實施方式中，所述變動亮度處理部對由所述攝像部獲取到的多個亮度圖像進行相加平均，由此生成所述非偏振亮度圖像，并提供給所述方位角不確定性處理部。在某個實施方式中，所述方位角不確定性處理部基于所述非偏振亮度圖像的空間的梯度向量、及所述亮度調制度圖像的空間的梯度向量的至少一方，從所述法線的方位角的候選中選擇一個方位角。在某個實施方式中，所述偏振光照明部及所述攝像部被安裝在內(nèi)窺鏡中。在某個實施方式中，所述偏振光照明部使非偏振光透過能改變偏振面的偏振面變換元件，從而照射偏振面依次變化3種以上的線偏振光。在某個實施方式中，所述偏振光照明的光軸與所述攝像部的光軸之間的角度在15°以下。在某個實施方式中，所述攝像部具有單色攝像元件或者彩色攝像元件。在某個實施方式中，所述圖像處理裝置具備照明方向設定部，其用于使所述被攝體的照明方向假想地自由改變；和亮度圖像生成部，其基于所述法線推測部的輸出，生成從所述照明方向進行照明的狀態(tài)下的所述被攝體的亮度圖像。在某個實施方式中，所述偏振光照明部在輸出級具備分光濾波器，該分光濾波器使與所述被攝體的表面的分光反射率特性極小的反射率相當?shù)牟ǘ瓮高^。在某個實施方式中，所述偏振光照明部具備環(huán)型照明光源，其發(fā)射非偏振光；和環(huán)型偏振面變換元件，其將從所述環(huán)型照明光源發(fā)射出的非偏振光變換為所述線偏振光，且能夠依次改變所述線偏振光的偏振面的角度。本發(fā)明的圖像處理方法包括如下步驟對被攝體依次照射偏振面的角度不同的3種以上的線偏振光；在由所述3種以上的線偏振光的每種線偏振光照射所述被攝體時，依次拍攝所述被攝體，此時在不經(jīng)由偏振片的情況下接收來自所述被攝體的返回光，以獲取亮度值；求出所述偏振面的角度與各像素的亮度值之間的關系，生成亮度最大角圖像及亮度調制度圖像，該亮度最大角圖像是根據(jù)在各像素中所述亮度值成最大的所述偏振面的角度來定義的，該亮度調制度圖像是根據(jù)在各像素中伴隨所述偏振面的變化的所述亮度值的變動的振幅與亮度平均值的比例來定義的；和基于所述亮度最大角圖像及所述亮度調制度圖像，以像素為單位，推測在所述被攝體的表面存在的V字凹槽內(nèi)的傾斜面的法線。
本發(fā)明的圖像處理器接收照射被攝體的線偏振光的偏振面的角度是3種以上不同的角度的多個偏振圖像，通過圖像處理，以像素為單位，推測在所述被攝體的表面存在的V字凹槽內(nèi)的傾斜面的法線，其中，所述圖像處理器執(zhí)行如下的步驟根據(jù)所述多個偏振圖像求出所述偏振面的角度與各像素的亮度值之間的關系，并生成亮度最大角圖像及亮度調制度圖像，該亮度最大角圖像是根據(jù)在各像素中所述亮度值成最大的所述偏振面的角度來定義的，該亮度調制度圖像是根據(jù)在各像素中伴隨所述偏振面的變化的所述亮度值的變動的振幅與亮度平均值的比例來定義的；和基于所述亮度最大角圖像及所述亮度調制度圖像，以像素為單位，推測在所述被攝體的表面存在的V字凹槽內(nèi)的傾斜面的法線。(發(fā)明效果)在本發(fā)明的圖像處理裝置中，具備向被攝體依次照射偏振面的角度不同的3種以上的線偏振光的偏振光照明部、在由3種以上的線偏振光的各偏振光照射被攝體時依次拍攝被攝體并在此時不經(jīng)由偏振片的情況下接收來自所述被攝體的返回光以獲取亮度值的攝像部，因此，不需要重新開發(fā)特別的偏振攝像元件，就能夠在獲取彩色圖像的同時獲取與亮度最大角圖像、亮度調制度圖像相當?shù)男畔ⅰ２⑶?，根?jù)這些圖像可獲得表面凹凸的法線信息。由于能夠直接利用通常的彩色攝像元件，因此不需要使用高成本的偏振攝像元件，也不會因莫爾條紋等使得畫質劣化，能夠獲取用于識別表面凹凸的信息。


圖IA是表示本發(fā)明的圖像處理裝置的構成例的圖。圖IB是表示偏振光照明的偏振狀態(tài)的圖。圖IC是表示本發(fā)明的實施方式I中的圖像處理裝置的結構的圖。圖2是表示偏振面控制元件的動作的圖。圖3是偏振面角度的定義圖。圖4(a)及(b)分別是表示本發(fā)明的實施方式I中可使用的攝像元件的光感知單元配置例的圖。圖5是表示用于獲取彩色圖像和偏振圖像的其他圖像處理裝置的結構的圖。圖6是表示圖5的圖像處理裝置中的偏振攝像元件的光感知單元配置的圖。
圖7A是表示因偏振光照明的偏振面旋轉引起的亮度圖案圖像的變化的圖。圖7B是表不因偏振光照明的偏振面旋轉引起的売度圖案圖像的變化的不意圖。圖8(a)及(b)是入射光從正上方入射至被攝體表面之后進行一次反射的圖。圖9是表示將橫軸設為入射角時的P波和S波的能量的菲涅耳反射率的曲線。圖IOA是表示由偏振光照明的偏振面旋轉引起的每個像素的亮度變動的曲線。圖IOB是表示在圖IOA的曲線所示的數(shù)據(jù)獲取中用到的采樣的表面形狀的照片圖。圖IOC是示意地表示圖IOB的表面形狀的圖。 圖11(a)是表示偏振光照明的偏振方向的圖，(b)是表示由偏振光照明引起的亮度變動的情況的圖。圖12(a)及(b)是基于多重反射的偏振光反射光的亮度變動的說明圖。圖13(a)、(b)、(C)是從正上方觀察被攝體表面的凹槽的圖。圖14A是偏振光以= 0°入射至凹槽時的圖。圖14B是在圖14A的狀態(tài)下在與凹槽方位角W平行、垂直的方向上產(chǎn)生反射光的圖。圖15是非偏振光入射至凹槽后在與凹槽方位角W平行、垂直的方向上產(chǎn)生反射光的圖。圖16是與本發(fā)明的實施方式I相關的圖像處理器的結構圖。圖17是根據(jù)與4種偏振光照明對應的偏振光亮度采樣來進行余弦函數(shù)擬合的圖。圖18A是表示表面法線的XYZ成分與方位角W、天頂角0的關系的圖。圖18B是表示表面法線N與光源向量L、視線向量V、2等分向量H之間關系的圖。圖19A是在法線的方位角的180°不確定性解決中利用亮度梯度向量的圖。圖19B是在法線的方位角的180°不確定性解決中利用亮度調制度梯度向量的圖。圖19C是解決法線的方位角W的不確定性的流程圖。圖20A是表示入射角0和基于菲涅耳反射的偏振度的關系的理論值的曲線。圖20B是表示天頂角0的搜索范圍的圖。圖20C是決定天頂角0的流程圖。圖21(a)是表示對被攝體使用了雙凸透鏡板的實驗結果的圖，(b)是示意性放大表不了(a)的一部分的圖。圖22是說明在雙凸透鏡板的截面處發(fā)生I次反射和2次反射的現(xiàn)象的圖。圖23是表示雙凸透鏡板的亮度和亮度調制度YD的實驗結果的圖。圖24A是表示星型凹槽被攝體例的圖。圖24B是示意地表示了圖25A的圖。圖25是表示星型被攝體的凹槽的法線向量的方位角9推測結果的圖。圖26是表示星型被攝體的凹槽的法線向量的天頂角0推測結果的圖。圖27A是表示對星型被攝體的法線圖像照射4個方向的照明的圖像生成實驗結果的圖。圖27B是示意地表示圖27A的圖。
圖28是表示本發(fā)明的實施方式2中的圖像處理裝置的結構的圖。圖29是表示最優(yōu)化的分光濾波器的特性的圖。圖30A是表示本發(fā)明的實施方式3的結構的圖。圖30B是表示本發(fā)明的實施方式3的外觀的圖。
具體實施例方式如圖IA所示，本發(fā)明的圖像處理裝置的例具備偏振光照明部120、攝像部140、變動亮度處理部160、法線推測部170。變動亮度處理部160及法線推測部170包含在圖像處理部150中。偏振光照明部120向被攝體100依次照射偏振面的角度不同的3種以上的線偏振光。在本發(fā)明的作為攝像對象的被攝體100的表面上，存在多個槽(以下，稱為“凹 槽”)100a。在被攝體100的例如生物體的臟器表面觀察到多個凹槽。線偏振光被存在于被攝體100的表面的凹槽IOOa反射，入射至攝像部140。攝像部140在通過3種以上的線偏振光分別照射被攝體100時，依次對被攝體100進行攝像，此時，在不經(jīng)由偏振片的情況下接收來自所述被攝體的返回光，以獲取亮度值。在本說明書中，“返回光”是指從偏振光照明部120照出的光之中被被攝體100的表面反射并入射至攝像部140的光。為了通過來自照明光源120的光來照射存在于被攝體100的表面的凹槽IOOa的內(nèi)部，優(yōu)選偏振光照明部120的光軸與攝像部140的光軸之間的角度不能過大。偏振光照明部120的光軸與攝像部140的光軸之間的角度例如被設定在15°以下。圖IB是示意地表示偏振面的角度不同的3種線偏振光的偏振方向的立體圖。圖示的3個偏振狀態(tài)10、12、14分別具有角度不同的偏振面。在示意地表示圖IB的各偏振狀態(tài)10、12、14的環(huán)的內(nèi)部，記載了雙向的箭頭。該箭頭表示規(guī)定線偏振光的偏振面的電場向量的振動方向。圖IB中表示右手系的XYZ坐標。在本說明書中，在由攝像部140獲取的圖像面內(nèi)設定X軸及Y軸,將Z軸的朝向設定為視線(光軸)方向。線偏振光的偏振面是與振動的電場向量平行的、包含光軸的平面。在采用上述的坐標系的情況下，線偏振光的電場向量的振動方向與XY平面平行。因此，偏振面的角度(WI)是由偏振方向(電場向量的振動方向)相對于X軸的正方向形成的角度來規(guī)定的。在后面參照圖3對該角度進行更為詳細的說明。在本發(fā)明中，從偏振光照明部120向被攝體100依次照射偏振面的角度不同的3種以上的線偏振光，攝像部140在由3種以上的線偏振光分別照射被攝體100時，依次對被攝體100進行攝像，此時，在不經(jīng)由偏振片的情況下接收來自所述被攝體的返回光，以獲取
亮度值。再次參照圖1A。變動亮度處理部160基于表示從攝像部140輸出的亮度值的信號，求出偏振面的角度與各像素的亮度值之間的關系，生成“亮度最大角圖像”及“亮度調制度圖像”。在本說明書中，所謂“亮度最大角圖像”是針對構成通過攝像得到的圖像的各像素，根據(jù)亮度值最大的偏振面的角度定義的圖像。例如，在由根據(jù)某個坐標Ouy)確定的像素P(x、y)的亮度值在由具有角度45°的偏振面的線偏振光照射被攝體100時成最大的情況下，針對該像素P(x、y)設定作為亮度最大角的45°的值。一個“亮度最大角圖像”通過對各像素設定這種亮度最大角的值構成。另一方面，所謂“亮度調制度圖像”是根據(jù)針對各像素隨著偏振面的變化而亮度值變動的振幅與亮度平均值之間的比例定義的圖像。如果某個像素P(x、y)處的亮度調制度為0. 3，則對該像素P(x、y)設定0. 3的值。一個“亮度調制度圖像”通過對各像素設定這種亮度調制度的值構成。這樣，本說明書中的“圖像”不僅僅意味著通過人們的視覺直接識別的亮度圖像，還廣泛地包括對多個像素的每一個賦予的數(shù)值的排列。例如，在顯示一個“亮度最大角圖像”的情況下，能夠按照與對“亮度最大角圖像”的各像素設定的亮度最大角的值相應的明度來顯示圖像。這樣表現(xiàn)的“亮度最大角圖像”盡管包含可通過人們的視覺識別的明暗圖案，但這不同于表示被攝體的亮度的通常的亮度圖像。此外，在本說明書中，為了便于說明，有時將表示各種“圖像”的數(shù)據(jù)本身稱為“圖像”。圖IA所示的法線推測部170基于亮度最大角圖像及亮度調制度圖像，以像素為單位推測在被攝體100的表面存在的V字凹槽IOOa內(nèi)的傾斜面的法線。在從正前方觀察V 字凹槽IOOa時，V字凹槽IOOa內(nèi)的傾斜面的法線的方位角與V字凹槽IOOa延伸的方向垂直。在本發(fā)明優(yōu)選的實施方式中，首先決定V字凹槽IOOa的方向、即V字凹槽IOOa內(nèi)的傾斜面的法線的方位角。然后，決定V字凹槽IOOa內(nèi)的傾斜面的法線的天頂角。將在后面詳細說明本發(fā)明中的法線推測部170基于何種原理以像素為單位來推測V字凹槽IOOa內(nèi)的傾斜面的法線。(實施方式I)圖IC是示意地表示本發(fā)明的實施方式I中的圖像處理裝置的整體結構的圖。本圖像處理裝置具備內(nèi)窺鏡101、控制裝置102。內(nèi)窺鏡101具備具有攝像傳感器的前端部113、具有光導向體(light guide) 105、和具有影像信號線111的插入部103。內(nèi)窺鏡101的插入部103如圖示那樣具有左右較長、且能夠撓性彎曲的構造。光導向體106即便在彎曲的狀態(tài)下也能夠傳送光。再者，在內(nèi)窺鏡中，存在如本實施方式那樣具有撓性的插入部103的軟性鏡、和具有非撓性插入部的硬性鏡。作為內(nèi)窺鏡的另一種類型的硬性鏡，具有如下構造，即插入部103利用中繼光學系統(tǒng)等向位于后方的攝像元件引導返回光。本發(fā)明無論對于軟性鏡還是硬性鏡都能夠適用?？刂蒲b置102中包括光源104、圖像處理器108、同步裝置112。從光源104發(fā)出的白色非偏振光經(jīng)由光導向體105被引導至前端部113的偏振面控制元件106。偏振面控制元件106例如由偏振板和液晶元件構成，能夠通過電壓將非偏振光變換為任意偏振面的線偏振光。偏振面控制元件106是能夠使利用液晶的偏振面旋轉的設備。該構成例已經(jīng)被專利文獻2、3以及非專利文獻I等公開。偏振面控制元件106例如能夠由組合了強非傳導性液晶、偏振膜、1/4波長板等的電壓施加型液晶設備來構成。偏振面控制元件106將由光源104產(chǎn)生且通過光導向體105之后的非偏振光變換為在任意角度具有偏振面的線偏振光。同步裝置112向偏振面控制元件106發(fā)出偏振面旋轉的指示，使照明的偏振面進行旋轉。該偏振光照明通過照明透鏡107后照射被攝體。同步裝置112同時向攝像元件110發(fā)送攝影開始信號來獲取影像，將以上的處理實施多次。來自被攝體的返回光通過攝影透鏡109后在攝像元件110上成像。該攝像元件110可以是單色攝像元件、或者具有彩色馬賽克的單板彩色攝像元件。攝像影像的信號經(jīng)由影像信號線111后到達圖像處理器108。在本實施方式中，通過光源104、光導向體105、偏振面控制元件106、及照明透鏡107實現(xiàn)圖IA的偏振光照明部120。此外，通過攝影透鏡109及攝像元件110實現(xiàn)圖IA的攝像部140。通過圖像處理器108實現(xiàn)圖IA的變動亮度處理部160及法線推測部170。接下來，參照圖2說明偏振面控制元件106的動作。 在偏振面為0°的狀態(tài)203下拍攝第I圖像，在偏振面為45°的狀態(tài)204下拍攝第2圖像，在偏振面為90°的狀態(tài)205下拍攝第3圖像，在偏振面為135°的狀態(tài)206下拍攝第4圖像。該角度也可以是45°以外的角度，只要是180°除以3以上的整數(shù)而得到的角度即可。由于在攝像元件為高靈敏度的情況下、或者照明的照度較高的情況下能夠縮短曝光時間，因此能夠將旋轉角設定得更細。根據(jù)上述文獻，偏振面的旋轉所需的時間存在動作速度為20 (ms)左右的較慢類型直至40 100(ii sec)左右的高速型。如果使用高速型的液晶且將攝像元件的靈敏度提高至能夠實現(xiàn)該時間內(nèi)的攝像的程度，即便實施4方向的偏振光旋轉來進行攝影，也能夠使動態(tài)影像的攝影具有充分的性能。由圖IC可知，照明透鏡107的光軸與攝影透鏡109的光軸大致相等。這是為了在通過內(nèi)窺鏡觀察時在被攝體上盡量不產(chǎn)生影子。再者，在內(nèi)窺鏡的通常的使用方法中，多數(shù)情況下希望對被攝體照射非偏振光。在本發(fā)明中，例如通過對上述第I圖像至第4圖像的各個偏振圖像進行相加，從而能夠生成非偏振光的平均亮度圖像。通過發(fā)明人的實驗判斷出，若對將偏振面的角度為等間隔的多個偏振光照射到被攝體時的返回光的圖像進行相加，則由于偏振光的效果被抵消，因此結果可獲得與使用非偏振光照明同樣的效果。圖3是表示偏振光照明中的偏振面的角度的定義的圖。如上述，朝向被攝體設定X-Y坐標系。假定偏振面的角度是將X軸負方向設定為0°、將Y軸正方向設定為正向的結果。角度在反射中被保存的情況下，反射光的偏振面的角度與入射光的偏振面的角度相同。當使偏振面的角度—直增加或者一直減少時，在180°的周期中同一偏振狀態(tài)會反復出現(xiàn)。即，將偏振面的角度作為變量的函數(shù)是具有180°周期的周期函數(shù)。再者，在本說明書中，有時將偏振光照明中的偏振面的角度稱為“入射偏振面角度”。圖4(a)及(b)分別是表示攝像元件110的攝像面的構成例的圖。如圖4(a)所示，在攝像面上，多個光感知單元(光電二極管)規(guī)則地排列成行狀及列狀。在彩色攝像的情況下，如圖4(b)所示，設置透過RGB3種波長的彩色馬賽克濾波器。各光感知單元通過光電變換與入射的光量相應地生成電信號。這樣，作為攝像元件110，能夠利用現(xiàn)有的亮度圖像用的攝像元件。在本實施方式中，使照明光成為線偏振光，使照明光的偏振面旋轉的同時進行攝像，從而獲得被攝體的表面信息。在同時獲取彩色圖像和偏振圖像的方法中，除了如本發(fā)明那樣在時間軸上展開偏振光獲取的方法以外，還可以考慮在時間軸上展開彩色攝影的所謂的彩色面順序方式。圖5是表示這種其他結構的圖。與圖IC的結構的不同在于，來自光源104的非偏振光白色通過旋轉彩色濾色器501而成為彩色照明，在時間軸上依次被照射。光導向體105直接透過該彩色照明。盡管來自被攝體的返回光一般成為偏振光，但是攝像元件也可以是單色圖像用元件。因此，能夠應用利用了例如專利文獻4中記載的這種圖案偏振片(pattern polarizer)的單色偏振圖像攝像元件。圖6是配置了這種圖案偏振片的單色偏振圖像攝像元件的例子。這種攝像元件可由使用專利文獻4中公開的光子結晶的偏振光成像元件構成。由于該單色偏振攝像元件的圖案偏振片具有波長依賴性，因此無法獲得RGB的全波段的偏振圖像。例如，若將圖案偏振片設計成與B波段對應，則只能獲得B偏振圖像。再有，為了獲得偏振圖像、特別是偏振度及偏振角度，在偏振光馬賽克的空間處理圖像中實施2X2單元的空間的一種差分操作，受其影響，在B偏振圖像中產(chǎn)生莫爾條紋是無法避免的。本申請的發(fā)明人通過實驗發(fā)現(xiàn)，使用該圖案偏振片時的莫爾條紋發(fā)生與僅僅基于像素采樣的莫爾條紋不同，如上述那樣，用于獲得偏振圖像的空間的圖像處理中存在主要原因，與通常的像素采樣的莫爾條紋發(fā)生相比是非常顯著的。由此，在圖5的結構中偏振光觀察下的畫質劣化嚴重。在本實施方式中，能夠使用通常的攝像元件并以I個像素為單位獲取偏振光信息，這樣可避免該問題。即，本實施方式中的攝像部接收返回光、輸出表示亮度值的信號這 些都不經(jīng)由偏振片。再有，通過彩色RGB各波長成分可獲得偏振圖像。也不需要成本高的偏振攝像兀件。接下來，說明使偏振光照明的偏振面旋轉時的亮度變動。在以下的說明中，被攝體并不是生物體臟器粘膜，而是以塑料、木頭等一般材質的物體為例。這是因為粘膜表面的反射基本上是鏡面反射，反射并不依賴于被攝體的材質，作為物理現(xiàn)象可視為相同。圖7A及圖7B是發(fā)明人將表面光滑的陶瓷制杯子和表面具有微細凹凸的木板作為被攝體來進行了偏振光攝像而得到的圖像。位于圖7A的左側的2個圖像是以入射偏振面角度WI = 0°的偏振光照明來照射被攝體時的亮度圖像。另一方面，位于圖7A的右側的2個圖像是以入射偏振面角度= 90°的偏振光照明來照射被攝體時的亮度圖像。圖7B的4個圖像分別是示意地描繪出圖7A的4個圖像的圖。根據(jù)位于圖7A及圖7B的上部的圖像可知，在表面光滑的陶瓷中，即便改變偏振光照明的偏振，也幾乎沒有觀測到亮度圖案的變化。但是，在存在多個凹凸的木板中，根據(jù)位于圖7A及圖7B的下部的圖像可知，當改變偏振光照明的偏振面的角度時，觀測到的亮度圖像中有較大的變化。以下，說明這種差異。圖8表示入射角相對于表面801接近于零的偏振光入射并使用照相機來觀測直接反射的情況。在圖8(a)、(b)中，入射的偏振光的偏振面相差90°。但是，反射光的線偏振光只有光的行進方向有改變，而作為能量的亮度與入射光幾乎相同。這是因為如下的原因。圖9表示基于菲涅耳理論的鏡面反射率的入射角依賴性的曲線。橫軸表示入射角，縱軸表示菲涅耳反射率。假定折射率為NN = 1.8。視為垂直入射的0° 15°附近的入射角度相當于范圍901。根據(jù)曲線可知，在該入射角范圍901中，P波、S波的反射率大致相同。因此，在偏振光大致垂直入射至表面的情況下，相對于表面的P波和S波這種偏振光沒有區(qū)別，以相同的動作進行反射。再者，該事實在折射率n= I. 4 2.0的自然物體中廣泛成立。如以上，相對于光滑的表面以大致為零的入射角度入射偏振光，在一次反射之后對其進行觀測時，由于即便使偏振光照明的偏振面旋轉角度VI，反射光的能量也沒有變化，因此觀測到的亮度Y不變。圖IOA是表示改變?nèi)肷渲聊景宓谋砻娴墓?偏振光照明)的偏振面的同時拍攝亮度圖像時的同一像素的亮度變動的曲線。圖IOB是成為攝像對象的木板的亮度圖像(非偏振光照明時的亮度圖像)。圖IOC是示意地表示圖IOB示出的木板的表面的凹凸的圖。圖11表示在偏振光照明的偏振面的角度為0°、45°、90°、135°時所得到的亮度圖像的特定像素處的亮度Y的變動。根據(jù)該曲線可知，亮度Y相對于各偏振光照明的偏振面的角度周期性變動。木板的表面并不光滑，存在多個凹槽，入射光在此處進行多重反射。因此，認為亮度Y是依賴于照明的偏振角度而引起的變動。以下詳細敘述其原因。圖12表示在表面形成凹槽1201、在其斜面發(fā)生2次多重反射的情況。認為該多重反射會在表面的凹凸較多的被攝體表面例如布、木材、人的皮膚、皮等各種自然物中發(fā)生。因為第I次和第2次反射的性質較為重要，第3次以后的多重反射的亮度變小，幾乎可以忽略，因此僅考慮2次反射。一般，在將反射的性質分為鏡面反射和漫反射的情況下，可假設 以下的4種現(xiàn)象I)第I次漫反射第2次鏡面反射2)第I次漫反射第2次漫反射3)第I次鏡面反射第2次漫反射4)第I次鏡面反射第2次鏡面反射。其中，I)和2)通過最初的反射，作為散射光而成為非偏振光，向所有的方向進行反射。但是，通過實驗可知，在被攝體被著色而亮度較暗的情況下，該第I次的漫反射成分比較弱。這意味著光向被攝體的內(nèi)部的浸透較少，根據(jù)菲涅耳理論，與其互補的3)、4)的鏡面反射的現(xiàn)象突出。此外，如3)那樣將第2次考慮為漫反射的情況下，根據(jù)其入射和反射的幾何學關系，當然4)也會同時發(fā)生。在該情況下，無論以偏振度、亮度的哪個為基準，鏡面反射都會成為主要的亮度成分。根據(jù)以上，4)的第I次、第2次都將鏡面反射這一現(xiàn)象考慮為主要的現(xiàn)象即可。凹槽的斜面的表面并不完全光滑，照明光也不是完全的平行光的情況下，即便說成鏡面反射，也是不同于理想的鏡面的。因此，根據(jù)實驗能夠確認，即便在不完全滿足正反射條件的位置，也能夠比較容易地觀測、拍攝這2次反射，其偏振光特性是由鏡面反射引起的。接下來，參照圖12(a)、(b)。圖12(a)及圖12(b)中分別表示了在被攝體的表面存在的凹槽1201的一部分。凹槽1201的至少一部分在被攝體表面上向一方向延長。將該延長方向稱為“主軸方向”?，F(xiàn)實的凹槽1201不需要以直線狀延伸，也可以以曲線狀延伸。即便是以曲線狀延伸，也能夠將其一部分進似地視為在主軸方向上延伸的直線狀凹槽。再者，在被攝體表面存在的凹槽1201的截面能夠由V字形狀來近似。因此，在生物體的臟器表面存在的那種凹槽也能夠稱為“V字凹槽”。這種V字凹槽的截面并不需要是嚴格意義上的“V字”，也可以包含曲面。如果大致上具有“V字型”截面的凹槽存在于被攝體表面，則能夠應用以下的說明。后面參照的圖22所示的那種、被相鄰的2個凸面夾著的凹部在垂直于紙面的方向上延伸的構造也是V字凹槽的一例。如圖12(a)所示，相對于凹槽的主軸方向1202垂直入射的偏振光照明是P波。再次參照圖9，假設被攝體的凹槽1201的傾斜角為45°左右，向該處從正上方照明入射時，根據(jù)菲涅耳反射率的曲線可知，在該入射角范圍902中，與S波相比P波的反射率變得極弱。再有，P波在經(jīng)過I次及2次反射的期間內(nèi)進一步變?nèi)?。另一方面，圖12(b)所示的S偏振光經(jīng)過2次反射后，幾乎沒有變?nèi)酢Ｆ浣Y果，在相對于凹槽而成為P波的入射偏振面，反射光在能量方面變得非常弱，亮度下降。另一方面，在成為S波的入射偏振面內(nèi)，反射光的能量幾乎沒有衰減，亮度也很高。如果以上述方式來假定表面凹槽，則能夠說明實驗中得到的通過入射光的偏振面的旋轉而引起的反射光的亮度變化。本申請的發(fā)明人發(fā)現(xiàn)通過凹槽處的偏振光照明的2次反射而得到的亮度Y的變化的函數(shù)形狀，實質上與入射了非偏振光時進行同等的變動。以下來說明這一點。圖13(a)是從表面的正上方觀察被攝體表面的凹槽的圖。這相當于從上方觀察圖
12。圖13(a)中記載了與攝像圖像面平行的X-Y坐標。由W表示在與凹槽1201的主軸方 向1202垂直的方向、和X軸的正部分之間所形成的角度。圖13(b)表示入射至被攝體的偏振光照明的偏振面的角度VI，圖13(c)是將圖13(a)的內(nèi)容和圖13(b)的內(nèi)容表示為一個的圖。以后，假定通過角度W來指定凹槽的朝向。這與凹槽的主軸的方位角相差90°。圖14A是用于說明為了簡單起見設定= 0從而偏振面與X軸一致時相對于凹槽被分配為垂直和水平方向的入射光能量的圖。凹槽的方向由角度W確定。假定入射光如圖12所示那樣在凹槽內(nèi)進行2次反射。此時，觀測具有某角度(p的偏振面的線偏振光的亮度。圖14B是表示被觀測亮度的線偏振光的角度V的圖。當將角度Cp處的偏振光亮度設定為I (W、(p)時，能夠通過以下公式來表現(xiàn)。其中，將凹槽的方向(W)及主軸方向U/2-W)的能量反射率分別設為A及B。數(shù)學式I
[({//, (p) - A Cos2 iff COS2O// ￥)十召sin2 tj/ sin2{^/ . (p)(式 I)該偏振光亮度I (W、cp)通過式I的變形，由以下的式2表示。根據(jù)該式2可知，偏振光亮度I(w、(p)關于(p以周期n進行變動。數(shù)學式2
、 (/I — R) (A-B)
I (t//,爐J --- --^--- cos Iy/ +" 4 4 '
(A -B) (.-I — BJ(/f + B)_--- 4- --- COS Iw + --COS 4l// COS 2fp + (式 2)
[848■」
{A — Bi , _ (/I — B), _
■..................sin Ii// +-----sin 4y/ sin lip
48j在此，將入射偏振面角度設為一般的叫I，而不是0°。根據(jù)以上的討論，入射偏振面角度為WI、觀測角度為<P時的偏振光亮度由以下的公式給出。數(shù)學式3
Iiy-ify,,fp)
權利要求
1.一種圖像處理裝置，其具備 偏振光照明部，其對被攝體依次照射偏振面的角度不同的3種以上的線偏振光； 攝像部，其在由所述3種以上的線偏振光的每種線偏振光照射所述被攝體時，依次拍攝所述被攝體，此時在不經(jīng)由偏振片的情況下接收來自所述被攝體的返回光，以獲取亮度值； 變動亮度處理部，其基于從所述攝像部輸出的表示亮度值的信號，求出所述偏振面的角度與各像素的亮度值之間的關系，生成亮度最大角圖像及亮度調制度圖像，該亮度最大角圖像是根據(jù)在各像素中所述亮度值成最大的所述偏振面的角度來定義的，該亮度調制度圖像是根據(jù)在各像素中伴隨所述偏振面的變化的所述亮度值的變動的振幅與亮度平均值的比例來定義的；和 法線推測部，其基于所述亮度最大角圖像及所述亮度調制度圖像，以像素為單位，推測在所述被攝體的表面存在的V字凹槽內(nèi)的傾斜面的法線。
2.根據(jù)權利要求I所述的圖像處理裝置，其中， 所述法線推測部具有 方位角處理部，其根據(jù)所述亮度最大角圖像，求出所述法線的方位角的候選； 天頂角處理部，其根據(jù)所述亮度調制度圖像，求出所述法線的天頂角；和 方位角不確定性處理部，其從所述法線的方位角的候選中決定所述法線的一個方位角。
3.根據(jù)權利要求I或2所述的圖像處理裝置，其中， 所述圖像處理裝置具備法線圖像生成部，其生成由所述法線推測部推測出的法線的圖像。
4.根據(jù)權利要求I至3的任一項所述的圖像處理裝置，其中， 所述方位角不確定性處理部基于與非偏振光照明下的圖像相當?shù)姆瞧窳炼葓D像、或者所述亮度調制度圖像，從所述法線的方位角的候選中選擇一個方位角。
5.根據(jù)權利要求4所述的圖像處理裝置，其中， 所述變動亮度處理部對由所述攝像部獲取到的多個亮度圖像進行相加平均，由此生成所述非偏振亮度圖像，并提供給所述方位角不確定性處理部。
6.根據(jù)權利要求4或5所述的圖像處理裝置，其中， 所述方位角不確定性處理部基于所述非偏振亮度圖像的空間的梯度向量、及所述亮度調制度圖像的空間的梯度向量的至少一方，從所述法線的方位角的候選中選擇一個方位角。
7.根據(jù)權利要求I所述的圖像處理裝置，其中， 所述偏振光照明部及所述攝像部被安裝在內(nèi)窺鏡中。
8.根據(jù)權利要求I至7的任一項所述的圖像處理裝置，其中， 所述偏振光照明部使非偏振光透過能改變偏振面的偏振面變換元件，從而照射偏振面依次變化3種以上的線偏振光。
9.根據(jù)權利要求I至8的任一項所述的圖像處理裝置，其中， 所述偏振光照明的光軸與所述攝像部的光軸之間的角度在15°以下。
10.根據(jù)權利要求I至9的任一項所述的圖像處理裝置，其中，所述攝像部具有單色攝像元件或者彩色攝像元件。
11.根據(jù)權利要求I至10的任一項所述的圖像處理裝置，其中， 所述圖像處理裝置具備 照明方向設定部，其用于使所述被攝體的照明方向假想地自由改變；和亮度圖像生成部，其基于所述法線推測部的輸出，生成從所述照明方向進行照明的狀態(tài)下的所述被攝體的亮度圖像。
12.根據(jù)權利要求I至11的任一項所述的圖像處理裝置，其中， 所述偏振光照明部在輸出級具備分光濾波器，該分光濾波器使與所述被攝體的表面的分光反射率特性極小的反射率相當?shù)牟ǘ瓮高^。
13.根據(jù)權利要求I至12的任一項所述的圖像處理裝置，其中， 所述偏振光照明部具備 環(huán)型照明光源，其發(fā)射非偏振光；和 環(huán)型偏振面變換元件，其將從所述環(huán)型照明光源發(fā)射出的非偏振光變換為所述線偏振光，且能夠依次改變所述線偏振光的偏振面的角度。
14.一種圖像處理方法，其包括如下步驟 對被攝體依次照射偏振面的角度不同的3種以上的線偏振光； 在由所述3種以上的線偏振光的每種線偏振光照射所述被攝體時，依次拍攝所述被攝體，此時在不經(jīng)由偏振片的情況下接收來自所述被攝體的返回光，以獲取亮度值； 求出所述偏振面的角度與各像素的亮度值之間的關系，生成亮度最大角圖像及亮度調制度圖像，該亮度最大角圖像是根據(jù)在各像素中所述亮度值成最大的所述偏振面的角度來定義的，該亮度調制度圖像是根據(jù)在各像素中伴隨所述偏振面的變化的所述亮度值的變動的振幅與亮度平均值的比例來定義的；和 基于所述亮度最大角圖像及所述亮度調制度圖像，以像素為單位，推測在所述被攝體的表面存在的V字凹槽內(nèi)的傾斜面的法線。
15.一種圖像處理器，接收照射被攝體的線偏振光的偏振面的角度是3種以上不同的角度的多個偏振圖像，通過圖像處理，以像素為單位，推測在所述被攝體的表面存在的V字凹槽內(nèi)的傾斜面的法線，其中，所述圖像處理器執(zhí)行如下的步驟 根據(jù)所述多個偏振圖像求出所述偏振面的角度與各像素的亮度值之間的關系，并生成亮度最大角圖像及亮度調制度圖像，該亮度最大角圖像是根據(jù)在各像素中所述亮度值成最大的所述偏振面的角度來定義的，該亮度調制度圖像是根據(jù)在各像素中伴隨所述偏振面的變化的所述亮度值的變動的振幅與亮度平均值的比例來定義的；和 基于所述亮度最大角圖像及所述亮度調制度圖像，以像素為單位，推測在所述被攝體的表面存在的V字凹槽內(nèi)的傾斜面的法線。
全文摘要
本發(fā)明提供一種圖像處理裝置，實施方式中的偏振面控制元件(106)由偏振板和液晶元件構成，通過電壓，可將非偏振光變換為任意偏振面的線偏振光。同步裝置(112)向偏振面控制元件(106)發(fā)送偏振面旋轉的指示，使照明的偏振面旋轉來照射被攝體的同時，向攝像元件(110、)發(fā)送攝影開始信號以獲取影像，并實施多次該動作。攝像影像的信號經(jīng)由影像信號線(111)被發(fā)送至圖像處理器(108)。在圖像處理器中，對伴隨照明偏振面的變化的所述亮度值的變動進行處理，根據(jù)亮度最大角圖像求出表面法線的方位角的候選，并根據(jù)亮度調制度圖像求出表面法線的天頂角，解決方位角的不確定性來生成表面凹槽的法線圖像。
文檔編號G02B23/24GK102742258SQ201180007770
公開日2012年10月17日 申請日期2011年7月8日 優(yōu)先權日2010年7月21日
發(fā)明者金森克洋 申請人:松下電器產(chǎn)業(yè)株式會社