專利名稱：圖像處理裝置的制作方法
技術領域：
本發(fā)明涉及一種能夠獲得表面凹凸信息的圖像處理裝置，該表面凹凸信息超出了從攝像元件所取得的二維亮度圖像中得到的信息。
背景技術：
內窺鏡對于由粘膜覆蓋的生物體的臟器器官的壁表面進行照明光照射而進行攝像。在這樣的內窺鏡的領域，在表面的顏色變化的同時，需要確認表面的微細的凹凸的紋理。但是在內窺鏡中，按照被攝物體上不發(fā)生陰影的方式而使照明的光軸和攝像的光軸的夾角大體為0°，因此難以通過陰影捕捉表面的微細的凹凸構造。針對這一課題提出的現(xiàn)有技術是，在現(xiàn)存的基于彩色亮度的內窺鏡攝像系統(tǒng)的狀態(tài)下，通過圖像處理的設計，根據(jù)圖像的濃淡信息識別表面凹凸。另外，還提出有使用偏振照明和偏振攝像的偏振光內窺鏡。前者的技術，例如公開在專利文獻I中。該技術中，比較所拍攝的彩色圖像的特定像素的信號電平值與其周圍8個像素的平均信號電平值。然后，特定像素的信號電平值低時，判斷為被攝物體的對應部位從周圍凹陷(塌陷)。然后，在判斷為從周圍塌陷的區(qū)域，通過降低紅色像素信號和綠色像素信號的信號電平值而強調藍色成分。由此，監(jiān)控器裝置所再現(xiàn)的彩色圖像，正好呈現(xiàn)出通常的內窺鏡檢查中由醫(yī)師實施的藍色系色素溶液散布所類似的顏色對比，臟器表面的凹凸變得清楚。后者的技術有專利文獻2和專利文獻3。其中公開有一種內窺鏡,該內窺鏡具備如下向物體照射特定的偏振成分的光的偏振光照射部；接收來自所述物體的回光中的所述特定的偏振成分的光、和與所述回光中的所述特定的偏振成分不同的偏振成分的光，且進行偏振攝像的偏振光鑲嵌型的光接收部，該內窺鏡生成表示所述物體的表面的形狀變化的形狀變化圖像。特別是觀察者容易辨認粘膜的表面凹凸，就是因為偏振特性計算部計算出偏振方位并能夠生成表面的傾斜信息的二維分布。專利文獻4、專利文獻5和非專利文獻1，公開的是可以使偏振面旋轉的器件。先行技術文獻專利文獻專利文獻1:專利3869698號公報專利文獻2 :特開2009-246770號公報專利文獻3 :特開2010-104424號公報專利文獻4 :特開平11-313242號公報 專利文獻5 :US2009/0079982A1專利文獻6 :專利第4235252號非專利文獻非專利文獻1:Nicolas Lefaudeux, et. al " Compact and robust linearStokes polarization camera " , Proc.SPIE, Vol. 6972,69720B, Polarization Measurement, Analysis, and Remote Sensing VIII(2008)
非專利文獻2 :池內克史“基于反射率分布圖，根據(jù)二維濃淡圖像再構成三維形狀的兩個方法”，電子信息通信學會志'82/7，Vol. J65-D No. 7，PP842-849在現(xiàn)有技術中，為了使表面的凹部(溝槽)明顯化，在通常的亮度圖像處理中，多使用“凹部比鄰接像素暗”這樣的特征。但是實際上，其不成立的形狀的凹部也很多。以本發(fā)明者的經驗而判明的事實是，例如在具有平坦的底面的凹部、和具有在鄰接的傾斜面相互使光反射這樣的形狀的凹部，形成底部和斜面的像素，反而比周圍的像素反射得明亮。在這樣的形狀的凹部，現(xiàn)有的亮度圖像處理無效，誤判多發(fā)。另外使用偏振光的現(xiàn)有技術中，向物體照射圓偏振成分的光，基于來自物體的回光所關聯(lián)的橢圓偏振光的方位，能夠計算表面的傾斜度。但是，在上述生物體中所見的這種無定形的一般的凹部，求得其表面法線困難。另一方面，關于所推定的凹凸信息的顯示，現(xiàn)有技術中作為實施凹部(溝槽)的明顯化的顯示技術而進行“偽色素散布處理”等凹部區(qū)域的二維顯示，但這無法感受表面凹凸的真實感(逼真感)這樣的課題存在。
發(fā)明內容
本發(fā)明正是要解決上述的課題，其目的在于，提供一種不僅亮度、而且被攝物體表面的微細凹凸能夠高真實性地再現(xiàn)的且可小型實現(xiàn)的圖像處理裝置。本發(fā)明的圖像處理裝置，具備將偏振面的角度不同的三種以上的直線偏振光，依次照射到被攝物體的偏振照明部；所述三種以上的直線偏振光分別照射所述被攝物體時，依次拍攝所述被攝物體的攝像部；和圖像處理部。所述圖像處理部具有如下變動亮度處理部，其處理由所述攝像部拍攝的圖像的亮度，且計算出被攝物體表面的反射偏振狀態(tài)；反射判定部，其基于所述變動亮度處理部的輸出，判別在所述凹陷區(qū)域進行二次反射而形成回光的所述多重反射區(qū)域、和在所述被攝物體表面進行一次反射而形成回光的一次反射區(qū)域；鏡像搜索部，其決定在所述被攝物體表面的凹陷區(qū)域通過二次反射而形成回光的多重反射區(qū)域之對。所述圖像處理部基于所述多重反射區(qū)域之對，生成表示所述被攝物體表面的所述凹陷區(qū)域的圖像。在有的實施方式中，所述圖像處理部還具有如下從所述多重反射區(qū)域的各對生成凹槽片段(>一'7''七夕^ >卜groove segment),且連接所述凹槽片段，由此推定所述凹陷區(qū)域的位置的凹陷區(qū)域連接部；決定所述凹陷區(qū)域的截面形狀的截面形狀模型化部。在有的實施方式中，所述圖像處理部還具備法線再現(xiàn)部，其將所述多重反射區(qū)域中的表面法線和所述一次反射區(qū)域中的表面法線加以統(tǒng)一而生成法線圖像。在有的實施方式中，還具有如下設定光源位置的光源方向設定部；生成在使所述光源位置虛擬變動時的光源變動圖像的光源變動圖像生成部；將所述光源變動圖像和亮度圖像重疊合成地顯示的圖像顯示部。在有的實施方式中，所述光源變動圖像生成部使用所述法線圖像和物理反射模型而生成所述被攝物體的亮度圖像。在有的實施方式中，所述偏振照明部和所述攝像部被安裝于內窺鏡。在有的實施方式中，所述偏振照明部通過使非偏振光透過偏振面轉換元件，而照射偏振面按三種以上依次變化的直線偏振光。
在有的實施方式中，所述偏振照明部具有將非偏振光引導至所述偏振面轉換元件的光導向設備。在有的實施方式中，所述攝像部具有黑白攝像元件或彩色攝像元件。在有的實施方式中，還具有亮度算術平均部，其通過對于在將偏振面的角度不同的三種以上的直線偏振光依次照射到被攝物體時由所述攝像部取得的多個亮度圖像進行加法算術平均，生成與在非偏振照明下的圖像所相當?shù)钠骄炼葓D像。在有的實施方式中，所述變動亮度處理部，基于從所述攝像部輸出的像素信號，求得所述偏振面的角度與各像素的亮度值的關系，且生成按各像素所述亮度值為最大的且由所述偏振面的角度所定義的亮度最大角圖像、和按各像素隨著所述偏振面的變化的所述亮度值的變動的振幅與亮度平均值的比率所定義的亮度調制度圖像。在有的實施方式中，具有圖像顯示部，其將所述亮度最大角圖像、所述亮度調制度圖像的任意一個與亮度圖像重疊合成地顯示。在有的實施方式中，所述反射判定部，基于所述亮度最大角圖像和所述亮度調制度圖像，在以所述亮度最大角為色相角、以所述亮度調制度為色度的偽彩色圖像中，將具有所預先設定的值以上的亮度調制度的像素，作為構成所述多重反射區(qū)域的像素進行提取。在有的實施方式中，所述凹陷區(qū)域連接部，推定所述凹陷區(qū)域的表面法線的Azimuth (方位)角。在有的實施方式中，所述截面形狀模型化部，對于所述凹陷區(qū)域的截面形狀以特定的函數(shù)進行模型化，利用所述多重反射區(qū)域的表面法線的Azimuth角大致達到45度的性質，推定所述凹陷區(qū)域的任意位置的表面法線的Zenith(天頂)角。在有的實施方式中，所述偏振照明部將偏振面按三種以上依次變化的透過了偏振面轉換元件的光，經由中繼透鏡光學系統(tǒng)，照射到所述被攝物體。在有的實施方式中，所述偏振照明部具有使同心圓狀態(tài)的多個環(huán)狀照明或面照明光源與偏振面轉換兀件加以組合的光學系統(tǒng)。在有的實施方式中，所述偏振照明部具有將具有比攝像系統(tǒng)的光軸更靠內側朝向的照明系統(tǒng)光軸的面照明光源與偏振面轉換元件加以組合的光學系統(tǒng)。在有的實施方式中，所述偏振照明部具有使消偏振寬帶分束器和面照明光源和偏振面轉換兀件加以組合的光學系統(tǒng)。本發(fā)明的圖像處理方法，是包括如下工序的圖像處理方法將偏振面的角度不同的三種以上的直線偏振光，依次照射到被攝物體上的偏振照明工序；所述被攝物體由所述三種以上的直線偏振光分別照射時，依次拍攝所述被攝物體的攝像工序；和圖像處理工序。并且，所述圖像處理工序包括處理由所述攝像工序拍攝的圖像的亮度，且計算出被攝物體表面的反射偏振狀態(tài)的變動亮度處理工序；基于所述變動亮度處理工序的結果，判定在所述凹陷區(qū)域進行二次反射而形成回光的所述多重反射區(qū)域、與在所述被攝物體表面進行一次反射而形成回光的一次反射區(qū)域的反射判定工序；決定在所述被攝物體表面的凹陷區(qū)域通過二次反射而形成回光的多重反射區(qū)域之對的鏡像搜索工序；基于所述多重反射區(qū)域之對，生成表示所述被攝物體表面的所述凹陷區(qū)域的圖像的工序。本發(fā)明的內窺鏡裝置，具備將偏振面的角度不同的三種以上的直線偏振光，依次照射到被攝物體上的偏振照明部； 在所述被攝物體由所述三種以上的直線偏振光分別照射時，依次拍攝所述被攝物體的攝像部；圖像處理部；基于圖像處理部的輸出而顯示圖像的顯示部。并且，所述圖像處理部具備處理由所述攝像部拍攝的圖像的亮度，且計算出被攝物體表面的反射偏振狀態(tài)的變動亮度處理部；基于所述變動亮度處理部的輸出，生成偽彩色圖像的偽彩色圖像轉換部。所述變動亮度處理部，基于從所述攝像部輸出的像素信號，求得所述偏振面的角度與各像素的亮度值的關系，且生成按各像素所述亮度值最大的且由所述偏振面的角度所定義的亮度最大角圖像、和按各像素隨著所述偏振面的變化的所述亮度值的變動的振幅與亮度平均值的比率所定義的亮度調制度圖像。所述偽彩色圖像轉換部，基于所述亮度最大角圖像和所述亮度調制度圖像，生成以所述亮度最大角為色相角、以所述亮度調制度為色度的偽彩色圖像，且將所述偽彩色圖像和亮度圖像進行合成而顯示于所述顯示部。 在本發(fā)明的圖像處理裝置中，因為具備將偏振面的角度不同的三種以上的直線偏振光依次照射到被攝物體上的偏振照明部、和在被攝物體由三種以上的直線偏振光分別照射時依次拍攝被攝物體的攝像部，所以不需要重新開發(fā)特別的偏振攝像元件，就能夠與彩色圖像同時地取得與表面的凹凸形狀所對應的反射偏振狀態(tài)的相關信息。如此，在本發(fā)明中，根據(jù)反射偏振狀態(tài)，得到表面凹凸的信息。因為能夠直接利用通常的彩色攝像元件，所以也不需要使用高成本的偏振攝像元件，就能夠取得用于辨認表面凹凸的信息。
圖1A是表示本發(fā)明的圖像處理裝置的基本構成的1B是模式化地表示偏振面的角度不同的三種的直線偏振光的偏振方向的立體1C是表示關于本發(fā)明的實施方式I的圖像處理裝置的構成的2是表示偏振面控制元件的操作的3是偏振面角度的定義4(a)和(b)是表示關于本發(fā)明的實施方式I的攝像元件的光敏器件配置例的5 (a)和(b)是入射光對于被攝物體表面從正上方入射而進行一次反射的6是表示以橫軸為入射角時的P波和S波的能量的菲涅耳反射率的曲線7(a)和(b)是表示偏振照明的偏振面旋轉所造成的按像素的亮度變動的曲線8 (a)和(b)是二次反射造成的偏振反射光的亮度變動的說明9 (a)是表示最簡單的凹槽(溝槽)的形狀的圖，(b)是表示入射光的反射的情況的10(a)是表示具有底面和斜面的凹槽(溝槽)形狀，(b)是表示入射光的反射的情況的11 (a)是表示隆起(凸部)密集的形狀的圖，(b)是表示入射光的反射的情況的12(a)是表示凹坑(凹部)形狀的圖，(b)是表示入射光的反射的情況的13是表示關于本發(fā)明的實施方式I的圖像處理程序的構成的方塊圖
圖14是由四種偏振照明所對應的偏振亮度試樣、進行余弦函數(shù)擬合的15是說明一次/ 二次反射判定部的處理的流程16A是表示作為拍攝景象的圖11的形狀的16B是模式化地表示分離的一次反射區(qū)域REFl的16C是模式化地表示分離的二次反射區(qū)域REF2的17A是說明鏡像搜索部的處理的17B是說明鏡像搜索部的處理的18A是說明鏡像搜索部的處理的流程18B是表示一個反射區(qū)域的數(shù)據(jù)的19是說明被搜索區(qū)域的搜索詳情的20A是表示實際被攝物體的亮度圖像的20B是使亮度最大角圖像YPH與亮度調制度圖像YD成為一個偽彩色圖像的20C是表示以量子化處理判定為二次反射的微小反射區(qū)域的20D是表示通過鏡像搜索部的處理提取凹槽片段的結果的21A是說明多個鏡像對的發(fā)生原因的圖(剖面圖)圖21B是說明多個鏡像對的發(fā)生原因的圖(反射區(qū)域的圖)圖22是說明凹陷區(qū)域連接部的處理的流程23A是表示凹陷區(qū)域連接部的凹槽片段的設定處理結果的23B是表示凹陷區(qū)域連接部的凹槽片段的放大處理結果的23C是表示凹陷區(qū)域擴張部的細化的化理結果的23D是表示凹陷區(qū)域擴張部的法線決定的處理結果的24A是表示凹坑的情況下的凹陷區(qū)域連接的處理結果的圖(凹槽片段的設定)圖24B是表示凹坑的情況下的凹陷區(qū)域連接的處理結果的圖(凹槽片段的放大)圖24C是表示凹坑的情況下的凹陷區(qū)域連接的處理結果圖(細化)圖24D是表示凹坑的情況下的凹陷區(qū)域連接的處理結果的圖(法線推定)圖25是說明照相機坐標系的法線矢量的Azimuth(方位)角，Zenith(天頂)角的26是說明法線推定部的處理的流程27是推定的凹槽的俯視圖和剖面28是一次反射區(qū)域的法線推定的原理29A是通過迭代法推定的表面法線和被攝物體剖面29B是模式化地表現(xiàn)所推定的法線圖像的30是表面法線與光源、視點的幾何學的關系圖31是表示光源變動圖像的示例的32A是表示亮度圖像和光源變動圖像的合成部的構成例的32B是表示亮度圖像和光源變動圖像的合成的33A是表示亮度圖像與偽彩色圖像的合成部的構成例的圖 圖33B是表示亮度圖像與偽彩色圖像的合成的34是表示關于本發(fā)明的實施方式I的變形例的圖像處理程序的構成的方塊圖
圖35A是表示REFl區(qū)域為凸起區(qū)域時的35B是表示REFl區(qū)域為凹陷區(qū)域時的36是表示本發(fā)明的第二實施方式的37是表示本發(fā)明的第一、第二實施方式的變形例的38是表示本發(fā)明的第一、第二實施方式的變形例的39是表示本發(fā)明的第一、第二實施方式的變形例的40是表示本發(fā)明的第一、第二實施方式的變形例的41是表示本發(fā)明的第一、第二實施方式的變形例的圖
具體實施方式
本發(fā)明的圖像處理裝置的示例，如圖1A所示，具備偏振照明部120、攝像部140、變動亮度處理部1302、反射判定部1305、鏡像搜索部1306。變動亮度處理部1302、反射判定部1305和鏡像搜索部1306被包含在圖像處理部150中。就偏振照明部120而言，將偏振面的角度不同的三種以上的直線偏振光，依次照射到被攝物體100上。本發(fā)明在作為拍攝對象的被攝物體100的表面，存在多個凹陷區(qū)域IOOa0被攝物體100例如在生物體的臟器表面，可觀察到多個凹陷區(qū)域。直線偏振光由存在于被攝物體100的表面的凹陷區(qū)域IOOa和凹陷區(qū)域IOOa以外的區(qū)域反射、且入射到攝像部140。攝像部140在三種以上的直線偏振光分別照射被攝物體100時，依次拍攝被攝物體 100。圖1B是模式化地表示偏振面的角度不同的三種的直線偏振光的偏振方向的立體圖。圖示的三個偏振狀態(tài)10、12、14，分別具有角度不同的偏振面。在模式化地表示圖1B的各偏振狀態(tài)10、12、14的圓形的內部，記述有雙方向的箭頭。該箭頭表示規(guī)定直線偏振光的偏振面的電場矢量的振動方向。圖1B中表示右手系的XYZ坐標。在本說明書中，在由攝像部140取得的圖像面內，設定X軸和Y軸,將Z軸的反方向設定為視線(光軸)方向。直線偏振光的偏振面，是與振動的電場矢量平行的、且包含光軸的平面。米用上述的坐標系時，直線偏振光的電場矢量的振動方向與XY平面平行。因此，就偏振面的角度(TI)而言，相對于X軸的正方向而由偏振方向(電場矢量的振動方向)形成的角度規(guī)定。關于該角度VI，后面參照圖3更詳細地說明。在本發(fā)明中，從偏振照明部120將偏振面的角度不同的三種以上的直線偏振光，依次照射到被攝物體100上，攝像部140在被攝物體100由三種以上的直線偏振光分別照射時，依次對于被攝物體100進行拍攝。再次參照圖1A。變動亮度處理部1302，基于從攝像部140輸出的像素信號，求得偏振面的角度與各像素的亮度值的關系，生成“亮度最大角圖像”和“亮度調制度圖像”。在本說明書中，所謂“亮度最大角圖像”，是就通過拍攝所得到的構成圖像的各像素而言亮度值最大的由偏振面的角度定義的圖像。例如，由某一坐標(x，y)特定的像素P(x，y)的亮度值，如果在被攝物體100由具有角度45°的偏振面的直線偏振光照射時達到最大，則對于該像素P(x，y)，設定作為亮度最大角的45°的值。一個“亮度最大角圖像”，通過對于各像素設定這樣的亮度最大角的值而構成。另一方面，所謂“亮度調制度圖像”，是由關于各像素而隨著偏振面的變化的亮度值的變動的振幅與亮度平均值的比率所定義的圖像。如果某一像素P(x，y)的亮度調制度為0.3，則對于該像素P (x，y)設定0.3的值。一個“亮度調制度圖像”，是通過對于各像素設定這樣的亮度調制度的值而構成。如此，本說明書的所謂“圖像”，不只意味著由人的視覺直接辨認出的亮度圖像，而且還廣義地包含分別給予到多個像素的數(shù)值的陣列。例如顯示一個“亮度最大角圖像”時，能夠以在“亮度最大角圖像”的各像素所設定的亮度最大角的值所對應的明度顯示圖像。如此表現(xiàn)的“亮度最大角圖像”，雖然包含人的視覺能夠辨認的明暗的圖案，但其與表示被攝物體的亮度的通常的亮度圖像不同。另外，在本說明書中，為了簡單，有將表示各種“圖像”的數(shù)據(jù)本身稱為“圖像”的情況。圖1A所示的反射判定部1305，基于變動亮度處理部1302的輸出，判別在凹陷區(qū)域進行二次反射而形成回光的多重反射區(qū)域、和在被攝物體表面進行一次反射而形成回光的一次反射區(qū)域。如后述，在被攝物體表面的凹陷區(qū)域和凹陷區(qū)域以外的區(qū)域之間，偏振反射狀態(tài)存在差異，因此能夠判別這些區(qū)域。在凹陷區(qū)域，因為多重反射(代表性的是二次反射)產生，所以多重反射區(qū)域就構成顯示出同樣的偏振反射狀態(tài)的對(配對)。這樣的多重反射區(qū)域的代表性的一例，可以是截面為V字狀的凹槽(溝槽)。具有這樣的凹槽這種最簡單的構造的例子，如后述的圖9所示，是在一個方向上直線延伸的凹槽。但是，具有多重反射區(qū)域的凹陷區(qū)域，具有截面大致傾斜/彎曲成V字狀或U字狀的表面即可，可以具有其他的形態(tài)。如之后說明的，在圖10至圖12所例示這樣的形態(tài)下，其截面中也存在大致傾斜或彎曲成V字狀或U字狀的面。因此，在這樣的面產生多重反射，能夠觀察到顯示出同樣的偏振反射狀態(tài)的區(qū)域的對。這樣的表示同樣的偏振反射狀態(tài)的多重反射區(qū)域的對，在被攝物體的表面連綿，形成更寬闊的凹陷區(qū)域。因為該凹陷區(qū)域的代表例是凹槽，所以在本說明書中，有將包含多重反射區(qū)域的對的凹陷區(qū)域稱為“凹槽”的情況。但是，本說明書的“凹槽”，并不限于在被攝物體的表面沿著一個方向延長的溝槽狀的凹陷區(qū)域。本說明書中的“凹槽”，可以是具有嚴格地說稱不上凹槽的形狀(例如，圖11和圖12所示這樣的形狀)的凹陷區(qū)域。鏡像搜索部1306決定在被攝物體表面的凹陷區(qū)域通過二次反射而形成回光的多重反射區(qū)域的對。關于該對的決定方法，稍后詳細說明。圖像處理部150，基于多重反射區(qū)域的對，生成表示被攝物體表面的凹陷區(qū)域的圖像。圖1C是模式化地表示本發(fā)明的實施方式I的圖像處理裝置的整體構成的圖。就本圖像處理裝置而言，其具備內窺鏡101和控制裝置102。內窺鏡101包括如下具有攝像元件Iio的前端部113 ;具有光導向設備105和視頻信號線111的插入部103。內窺鏡101的插入部103，如圖示這樣，具有在左右長、且可撓性彎曲的構造。光導向設備105在彎曲的狀態(tài)下也能夠傳送光。控制裝置102具備光源104和圖像處理器108。從光源104發(fā)出的白色非偏振光，經由光導向設備105而傳導至前端部113的偏振面控制元件106，成為照射到被攝物體上的直線偏振的光121。偏振面控制兀件106,例如由偏光板和液晶兀件構成，能夠通過電壓將非偏振光轉換成任意的偏振面的直線偏振光。 就偏振面控制元件106而言，其是使用了液晶的且可以使偏振面旋轉的器件。其構成例在專利文獻4、專利文獻5以及非專利文獻I等中已經公開。偏振面控制元件106，例如能夠由鐵電液晶、偏振薄膜和1/4波片等加以組合的電壓外加型液晶器件構成。并且，該偏振照明通過照明透鏡107被照射到被攝物體上。同步裝置112向偏振面控制元件106輸送偏振面旋轉的指示信號，且使照明的偏振面旋轉，并向攝像元件110輸送拍攝開始信號而取得視頻，將以上的處理實施多次。來自被攝物體的回光122，通過攝影透鏡109而在攝像元件110上成像。攝像元件110可以是黑白攝像元件、或者具有彩色馬賽克的單板彩色攝像元件。所拍攝的視頻信號，經由視頻信號線111而到達圖像處理器108。在本實施方式中，圖1A的偏振照明部120由光源104、光導向設備105、偏振面控制元件106和照明透鏡107實現(xiàn)。另外，圖1A的攝像部140由攝影透鏡109和攝像元件110實現(xiàn)。圖1A的變動亮度處理部1302、反射判定部1305和鏡像搜索部1306，由圖像處理器108實現(xiàn)。接著，參照圖2說明偏振面控制元件106的操作。在偏振面0°狀態(tài)203下拍攝第一圖像，在偏振面45°狀態(tài)204下拍攝第二圖像，在偏振面90°狀態(tài)205下拍攝第三圖像，在偏振面135°狀態(tài)206下拍攝第四圖像。各偏振面不需要各錯開45°，只要錯開的是使180°除以3以上的整數(shù)的角度即可。攝像元件為高靈敏度時，或者照明的照度高時，因為能夠縮短曝光時間，所以能夠更細微地設定旋轉角。就偏振面的旋轉所需的時間而言，根據(jù)上述文獻，存在操作速度從20(ms)左右至40 100(i! sec)左右的高速型。如果使用高速型的液晶，并且將攝像元件的靈敏度提高至可以在此時間下進行拍攝的程度，則即使實施方向的偏振旋轉而進行拍攝，也可以使運動圖像視頻的拍攝擁有充分的性能。另外圖像處理對于最低4幀的圖像拍攝單位進行實施，但是，通過使處理為流水線(^ ^ 5 ^ > =Pipeline)處理，可以使實際所花費的處理時間納入I幀時間內。如圖1C所表明的，照明透鏡107的光軸與攝影透鏡109的光軸大體相等。這是為了在由內窺鏡進行觀察時，在被攝物體上盡量不使影子發(fā)生。還有，在內窺鏡通常使用的方法中，大多是要將非偏振光照射到被攝物體上的情況。在本發(fā)明中，例如，通過將上述第一圖像至第四圖像的各個偏振圖像相加，能夠生成非偏振的平均亮度圖像。根據(jù)本發(fā)明者們的實驗判明，若將偏振面的角度為等間隔的多個偏振光照射到被攝物體時的回光的圖像相加，則偏振光的效果抵消，因此，結果是能夠得到與使用非偏振照明同樣的效果。圖3是表示偏振照明的偏振面的角度的定義的圖。如前述，朝向被攝物體設定X-Y坐標系。偏振面的角度是按照使X軸的方向為0°的方式如圖3所示的方式定義。角度在反射中被保存時，反射光的偏振面的角度與入射光的偏振面的角度同等。若使偏振面的角度增加或減少，則以180°為周期，使同等的偏振狀態(tài)反復。即，以偏振面的角度為變量的函數(shù)，是具有180°的周期的周期函數(shù)。還有，在本說明書中，在將偏振照明的偏振面的角度稱為“入射偏振面角度”的情況。圖4 (a)和(b)分別是表示攝像元件110的攝像面的構成例的圖。如圖4 (a)所示，在攝像面，多個光敏器件(光電二極管)以行和列狀(X-Y方向)被規(guī)則地排列。在彩色攝像時，如圖4(b)所示，設置有透過RGB三種的波長的光的彩色馬賽克濾光鏡。各個光敏器件通過光電轉換按照入射的光的量而生成電信號。這部分能夠使用一般的單板彩色攝像元件。如此作為攝像元件110，能夠利用現(xiàn)有的彩色亮度圖像用的攝像元件。在本實施方式中，可以通過以照明光為直線偏振光、且一邊使其偏振面旋轉一邊進行拍攝，由此可以取得被攝物體的表面信息。因此，若使用專利文獻2和專利文獻3所公開的這種用于進行偏振攝像的偏光馬賽克形的光接收元件等，在偏振圖像上會發(fā)生莫爾條紋等的贗像，但根據(jù)本實施方式，具有使這樣的畫質劣化要因消除的優(yōu)點。接著，對于使偏振照明的偏振面旋轉時的亮度的變動的性質進行說明。圖5表示對于表面801入射入射角接近0的偏振光、且由照相機觀測直接反射的情況。圖5 (a)、(b),入射的偏振光的偏振面有90°不同。但是，就反射光的直線偏振光而言，只是光的行進方向改變，作為能量的亮度不發(fā)生變動。這基于以下的理由。圖6是表示基于菲涅耳理論的鏡面反射率的入射角依存性的曲線圖，橫軸表示入射角，縱軸表示菲涅耳反射率。折射率假設為n = 1.8。視為垂直入射的0° 15°附近的入射角度，相當于范圍601。如從曲線圖讀取的，在該范圍601內，無論P波還是S波，其反射率大體相同。因此，偏振光大體垂直入射表面時，P波和S波這樣的偏振光對于表面的區(qū)別不存在，而是以相同舉動反射。即回光的偏振狀態(tài)與入射光相同。因此，不會由于偏振面變化而使回光的亮度變動。還有，這一事實在折射率n =1. 4 2. 0的自然物體中也普遍成立。如上，對于光滑表面以大體為0的入射角度入射偏振光、其進行I次反射而被觀測時，即便使偏振照明的偏振面只旋轉角度VI，因為反射光的能量不變，所以所觀測到的亮度Y也不變。圖7表示，相對于有凹凸的表面而偏振照明的偏振面的角度為0°、45°、90°、135°時所得到的、亮度圖像的特定的像素的亮度Y的變動。如此在凹凸表面，亮度Y對于各偏振照明的偏振面的角度示出周期性的變動。以下，詳述其理由。圖8表示在有凹凸的表面形成有凹槽801、且在其斜面發(fā)生二次的反射的情況。該多重反射被認為在表面的凹凸多的被攝物體表面經常發(fā)生，第一次和第二次的反射的性質重要。根據(jù)幾何學上的配置，極少會在與二次反射大體相同的位置發(fā)生三次反射，雖然也有這種情況，但其發(fā)生頻率極低，因此以后只關注二次反射。一般將反射的性質分為鏡面反射和漫反射時，能夠設想如下四種現(xiàn)象I)第一次漫反射第二次鏡面反射2)第一次漫反射第二次漫反射3)第一次鏡面反射第二次漫反射4)第一次鏡面反射第二次鏡面反射。但是根據(jù)實驗判明，被攝物體表面光滑時，4)的無論第一次還是第二次都將鏡面反射這一現(xiàn)象作為主要的現(xiàn)象考慮。如圖8(a)所示，相對于凹槽的主軸方向802垂直偏振的偏振照明為P波。若再次參照圖6，則被攝物體凹槽的傾斜角假定為45°左右，若對其從正上方入射照明光，則如從602的菲涅耳反射率的曲線圖所讀取的，在此入射角范圍內，與S波相比較，P波的反射率極弱。此外P波在經由一次和二次反射的期間進一步變弱。另一方面，圖8(b)所示的S偏振光，即使經二次反射也沒怎么變弱。其結果是，在對于凹槽形成P波的入射偏振面，反射光在能量上也極弱，亮度下降。另一方面，在作為S波的入射偏振面，反射光其能量卻沒怎么衰減，亮度也高。如果以如上方式假定表面凹槽，能夠說明由實驗取得的、因入射光的偏振面的旋轉所造成的反射光的亮度變化。將凹槽的二次反射作為偏振現(xiàn)象進行檢測，能夠使用偏振光旋轉照明而進行亮度變動，對其進行觀測。但是，上述這樣的凹槽模型只是稍做人工處理的溝槽。生物體的臟器、粘膜表面的凹凸則呈現(xiàn)各種各樣的形狀。圖9至圖12是使這樣的現(xiàn)實的凹凸模型化的圖。圖9表示最簡單的凹槽(溝槽)。其只由兩種斜面901形成，大體從正上方入射的光，在斜面進行二次反射(902)，而形成回光。在此模型化中，凹槽中只存在二次反射現(xiàn)象。因此，某種程度上，在分辨率低的狀況下，多是凹槽中心最暗，即使是使用現(xiàn)有的基于亮度的圖像處理，也可以檢測出凹凸。但是在以下的形狀中，一次反射與二次反射混雜，基于亮度的凹凸檢測變得困難。圖10是凹槽具有底面1001的情況，是可見淺而寬的陷落部等的形狀。這種情況下，從正上方入射的光，不僅在斜面1004進行二次反射(1002)而形成回光，而且在底面進行一次反射(1103)。因此若以亮度進行觀測，則凹槽的中心變得最明亮，成為凹部比周圍暗這樣反常識的狀態(tài)，而使利用亮度的圖像處理中凹凸判定困難。圖11是平坦部上的凸形狀1105密集的區(qū)域的形狀，是隆起狀的腫瘤等發(fā)生時可見的形狀。為了簡單，使凸部模型化為半球狀，但凸部1105的間隙部1101能夠視為凹部，從大體正上方入射的光如圖11(b)所示，在鄰接的表面進行二次反射(1102)而變成回光。在隆起的部分，光進行一次反射而形成亮度非常高的區(qū)域，但在間隙的凹部的底部，也有一次反射光發(fā)生的區(qū)域1104存在。該區(qū)域1104屢次達到非常高的亮度。因此，若以亮度進行觀測，則成為凹部比周圍明亮這樣的狀態(tài)，根據(jù)由亮度進行的凹凸判定，難以正確檢測圖11所示這樣的凹陷區(qū)域。圖12表示在平坦部上單獨存在有凹坑狀的凹部1204的形狀。凹部1204作為半球狀的凹坑而模型化。這種情況下，因為也存在面對面的斜面的對，所以大致從正上方入射的光進行二次反射(1201)而形成回光。但是，因為入射光在底面進行一次反射(1202)，所以若以亮度進行觀測，則變成凹部1204的中心1203為最明亮的狀態(tài)。其結果是，成為凹部1204比周圍暗這樣反常識的狀態(tài)，因此根據(jù)由亮度進行的凹凸判定，難以正確地檢測圖12所示這樣的凹陷區(qū)域。相對于在以亮度進行的圖像處理中難以得到凹凸信息的多樣的形狀，在本實施方式中，從使用了旋轉偏振照明的信息通過切分一次反射與二次反射現(xiàn)象，就能夠正確地檢測表面凹凸信息。圖13是表示圖像處理程序108的構成的方塊圖。本實施方式所實行的圖像處理，采用的原理是，通過照射偏振面旋轉的偏振照明，根據(jù)觀測亮度變動的信息而檢測凹凸。使照明的偏振面角度變?yōu)?°、45°、90°、135°時分別拍攝的四張亮度圖像群1301被輸入到圖像處理程序108。使偏振照明旋轉時的亮度變動判明為周期180°的余弦函數(shù)，因此變動亮度處理部1302將其與余弦函數(shù)進行最佳擬合。亮度變動將照明的偏振面的角度設為VI，以如下方式表現(xiàn)。
[算式I]
權利要求
1.一種圖像處理裝置，其中， 具備 將偏振面的角度不同的三種以上的直線偏振光，依次照射到被攝物體的偏振照明部；所述三種以上的直線偏振光分別照射所述被攝物體時，依次拍攝所述被攝物體的攝像部；和 圖像處理部， 所述圖像處理部具有 變動亮度處理部，其處理由所述攝像部拍攝的圖像的亮度，且計算出被攝物體表面的反射偏振狀態(tài)； 反射判定部，其基于所述變動亮度處理部的輸出，判別在所述凹陷區(qū)域進行二次反射而形成回光的所述多重反射區(qū)域、和在所述被攝物體表面進行一次反射而形成回光的一次反射區(qū)域； 鏡像搜索部，其決定在所述被攝物體表面的凹陷區(qū)域通過二次反射而形成回光的多重反射區(qū)域之對， 并且，所述圖像處理部基于所述多重反射區(qū)域之對，生成表示所述被攝物體表面的所述凹陷區(qū)域的圖像。
2.根據(jù)權利要求1所述的圖像處理裝置，其中， 所述圖像處理部還具有 從所述多重反射區(qū)域的各對生成凹槽片段，且連接所述凹槽片段，由此推定所述凹陷區(qū)域的位置的凹陷區(qū)域連接部； 決定所述凹陷區(qū)域的截面形狀的截面形狀模型化部。
3.根據(jù)權利要求2所述的圖像處理裝置，其中， 所述圖像處理部還具備法線再現(xiàn)部，該法線再現(xiàn)部將所述多重反射區(qū)域中的表面法線和所述一次反射區(qū)域中的表面法線加以統(tǒng)一而生成法線圖像。
4.根據(jù)權利要求3所述的圖像處理裝置，其中， 還具有 設定光源位置的光源方向設定部； 生成在使所述光源位置虛擬變動時的光源變動圖像的光源變動圖像生成部； 將所述光源變動圖像和亮度圖像重疊合成地顯示的圖像顯示部。
5.根據(jù)權利要求4所述的圖像處理裝置，其中， 所述光源變動圖像生成部使用所述法線圖像和物理反射模型而生成所述被攝物體的亮度圖像。
6.根據(jù)權利要求1至5中任一項所述的圖像處理裝置，其中， 所述偏振照明部和所述攝像部被安裝于內窺鏡。
7.根據(jù)權利要求1所述的圖像處理裝置，其中， 所述偏振照明部通過使非偏振光透過偏振面轉換元件，而照射偏振面按三種以上依次變化的直線偏振光。
8.根據(jù)權利要求1所述的圖像處理裝置，其中， 所述偏振照明部具有將非偏振光引導至所述偏振面轉換元件的光導向設備。
9.根據(jù)權利要求1所述的圖像處理裝置，其中， 所述攝像部具有黑白攝像元件或彩色攝像元件。
10.根據(jù)權利要求1所述的圖像處理裝置，其中， 還具有亮度算術平均部，其通過對于在將偏振面的角度不同的三種以上的直線偏振光依次照射到被攝物體時由所述攝像部取得的多個亮度圖像進行加法算術平均，生成與在非偏振照明下的圖像所相當?shù)钠骄炼葓D像。
11.根據(jù)權利要求1至10中任一項所述的圖像處理裝置，其中， 所述變動亮度處理部，基于從所述攝像部輸出的像素信號，求得所述偏振面的角度和各像素的亮度值的關系，且生成按各像素所述亮度值為最大的且由所述偏振面的角度所定義的亮度最大角圖像、和按各像素隨著所述偏振面的變化的所述亮度值的變動的振幅與亮度平均值的比率所定義的亮度調制度圖像。
12.根據(jù)權利要求11所述的圖像處理裝置，其中， 還具有圖像顯示部，其將所述亮度最大角圖像、所述亮度調制度圖像的任意一個與亮度圖像重疊合成地顯示。
13.根據(jù)權利要求11所述的圖像處理裝置，其中， 所述反射判定部，基于所述亮度最大角圖像和所述亮度調制度圖像， 在以所述亮度最大角為色相角、以所述亮度調制度為色度的偽彩色圖像中，將具有所預先設定的值以上的亮度調制度的像素，作為構成所述多重反射區(qū)域的像素進行提取。
14.根據(jù)權利要求2所述的圖像處理裝置，其中， 所述凹陷區(qū)域連接部，推定所述凹陷區(qū)域的表面法線的方位角。
15.根據(jù)權利要求2所述的圖像處理裝置，其中， 所述截面形狀模型化部，對于所述凹陷區(qū)域的截面形狀以特定的函數(shù)進行模型化， 利用所述多重反射區(qū)域中的表面法線的方位角大致達到45度的性質，推定所述凹陷區(qū)域的任意位置的表面法線的天頂角。
16.根據(jù)權利要求1所述的圖像處理裝置，其中， 所述偏振照明部將偏振面按三種以上依次變化的透過了偏振面轉換元件的光，經由中繼透鏡光學系統(tǒng)，照射到所述被攝物體上。
17.根據(jù)權利要求1所述的圖像處理裝置，其中， 所述偏振照明部具有使同心圓狀態(tài)的多個環(huán)狀照明或面照明光源與偏振面轉換元件加以組合的光學系統(tǒng)。
18.根據(jù)權利要求1所述的圖像處理裝置，其中， 所述偏振照明部具有將具有比攝像系統(tǒng)的光軸更靠內側朝向的照明系統(tǒng)光軸的面照明光源與偏振面轉換兀件加以組合的光學系統(tǒng)。
19.根據(jù)權利要求1所述的圖像處理裝置，其中， 所述偏振照明部具有使消偏振寬帶分束器和面照明光源和偏振面轉換元件加以組合的光學系統(tǒng)。
20.—種圖像處理方法，其中， 包括如下工序 將偏振面的角度不同的三種以上的直線偏振光，依次照射到被攝物體的偏振照明工序; 所述被攝物體由所述三種以上的直線偏振光分別照射時，依次拍攝所述被攝物體的攝像工序；和 圖像處理工序， 并且，所述圖像處理工序包括 處理由所述攝像工序拍攝的圖像的亮度，且計算出被攝物體表面的反射偏振狀態(tài)的變動亮度處理工序； 基于所述變動亮度處理工序的結果，判定在所述凹陷區(qū)域進行二次反射而形成回光的所述多重反射區(qū)域、和在所述被攝物體表面進行一次反射而形成回光的一次反射區(qū)域的反射判定工序； 決定在所述被攝物體表面的凹陷區(qū)域通過二次反射而形成回光的多重反射區(qū)域之對的鏡像搜索工序； 基于所述多重反射區(qū)域之對，生成表示所述被攝物體表面的所述凹陷區(qū)域的圖像的工序。
21.—種內窺鏡裝置,其中， 具備 將偏振面的角度不同的三種以上的直線偏振光，依次照射到被攝物體的偏振照明部； 在所述被攝物體由所述三種以上的直線偏振光分別照射時，依次拍攝所述被攝物體的攝像部; 圖像處理部；和 基于圖像處理部的輸出而顯示圖像的顯示部， 并且，所述圖像處理部具有 處理由所述攝像部拍攝的圖像的亮度，且計算出被攝物體表面的反射偏振狀態(tài)的變動亮度處理部；和 基于所述變動亮度處理部的輸出，生成偽彩色圖像的偽彩色圖像轉換部， 并且，所述變動亮度處理部，基于從所述攝像部輸出的像素信號，求得所述偏振面的角度與各像素的亮度值的關系，且生成按各像素所述亮度值為最大的且由所述偏振面的角度所定義的亮度最大角圖像、和按各像素隨著所述偏振面的變化的所述亮度值的變動的振幅與亮度平均值的比率所定義的亮度調制度圖像， 所述偽彩色圖像轉換部，基于所述亮度最大角圖像和所述亮度調制度圖像，生成以所述亮度最大角為色相角、以所述亮度調制度為色度的偽彩色圖像，且將所述偽彩色圖像和亮度圖像進行合成而顯示于所述顯示部。
全文摘要
本發(fā)明的圖像處理裝置具備將偏振面的角度不同的三種以上的直線偏振光，依次照射到被攝物體的偏振照明部(120)；在被攝物體由三種以上的直線偏振光分別照射時，依次拍攝被攝物體的攝像部(140)；和圖像處理部(150)。圖像處理部(150)具有變動亮度處理部(1302)，其處理由攝像部拍攝的圖像的亮度，且計算出被攝物體表面的反射偏振狀態(tài)；反射判定部(1305)，其基于變動亮度處理部(1302)的輸出，判別在凹陷區(qū)域進行二次反射而形成回光的多重反射區(qū)域、和在被攝物體表面進行一次反射而形成回光的一次反射區(qū)域；鏡像搜索部(1306)，其決定在被攝物體表面的凹陷區(qū)域通過二次反射而形成回光的多重反射區(qū)域之對。圖像處理部(150)基于多重反射區(qū)域之對，生成表示所述被攝物體表面的所述凹陷區(qū)域的圖像。
文檔編號A61B1/04GK103037751SQ20118003750
公開日2013年4月10日 申請日期2011年9月20日 優(yōu)先權日2010年11月30日
發(fā)明者金森克洋 申請人:松下電器產業(yè)株式會社