專利名稱：圖像處理裝置的制作方法
技術領域：
本發(fā)明涉及圖像處理裝置等。
背景技術：
通常，在動態(tài)圖像信號中包含噪聲分量，作為降低該噪聲分量的方法，公知有幀巡回型噪聲降低處理。根據(jù)前一幀的輸出圖像和當前的輸入圖像，檢測動態(tài)圖像信號的運動量，根據(jù)運動量對時間平均的程度進行控制。該幀巡回型噪聲降低處理的性能很大程度上受上述運動檢測精度的影響。這里，作為通常的運動檢測算法，公知有如下的方式計算動態(tài)圖像信號的亮度的差分絕對值，對該差分絕對值和運動判定閾值進行比較。例如，在專利文獻1中公開了在差分絕對值大于運動判定閾值的情況下判定為運動的方法。專利文獻1日本特開2005-150903號公報在內窺鏡診斷中，為了提高對病變部等的視覺辨識能力，往往使用利用具有特定波段的特殊光進行拍攝而得到的圖像信號。但是，與普通光圖像相比，利用具有比普通光窄的波段的特殊光進行拍攝而得到的圖像信號比較暗，因此噪聲的影響相對地增大。因此，在上述的通常運動檢測算法中，由于該噪聲的影響，運動檢測精度也降低。因此，在現(xiàn)有的幀巡回型噪聲降低處理中，根據(jù)前后兩個特殊光圖像信號檢測運動矢量進行噪聲降低處理， 因此存在產(chǎn)生殘像等假象的問題。

發(fā)明內容
根據(jù)本實施方式的幾個方式，能夠提供圖像處理裝置等，該圖像處理裝置通過根據(jù)多個普通光圖像求出普通光運動矢量，將普通光運動矢量還用于特殊光圖像，由此能夠進行適當?shù)脑肼暯档吞幚?。此外，根?jù)本實施方式的幾個方式，能夠提供圖像處理裝置等，該圖像處理裝置根據(jù)多個普通光圖像求出普通光運動矢量，根據(jù)普通光運動矢量求出特殊光圖像中的特殊光運動矢量，由此即使對于特殊光，也能計算準確的運動量，進行適當?shù)脑肼暯档吞幚?。本發(fā)明的一個方式涉及圖像處理裝置，該圖像處理裝置包括普通光圖像取得部， 其取得包括白光波段上的信息的圖像作為普通光圖像；特殊光圖像取得部，其取得包括特定波段上的信息的圖像作為特殊光圖像；普通光運動矢量信息計算部，其根據(jù)所述普通光圖像內的特征量，計算表示多個普通光圖像之間的運動矢量的普通光運動矢量信息；以及噪聲降低部，其根據(jù)所計算出的所述普通光運動矢量信息，降低所述特殊光圖像中的噪聲量。在本發(fā)明的一個方式中，取得普通光圖像和特殊光圖像，根據(jù)普通光圖像計算普通光運動矢量信息，使用計算出的普通光運動矢量信息降低特殊光圖像中的噪聲量。由此， 能使用比特殊光圖像亮的普通光圖像計算更加準確的運動矢量信息，因此，在幀巡回型噪聲降低處理中，能夠有效地降低噪聲等。


圖1是說明第1實施方式中普通光運動矢量信息和特殊光運動矢量信息的關系的圖。圖2是說明第2實施方式中普通光運動矢量信息和特殊光運動矢量信息的關系的圖。圖3是包含本實施方式的圖像處理裝置的內窺鏡系統(tǒng)的構成例。圖4是普通光攝像元件的分光特性。圖5是特殊光攝像元件的分光特性(NBI)。圖6是特殊光攝像元件的濾波器結構的例子。圖7是普通光運動矢量信息計算部的構成例。圖8是說明當前幀普通光圖像和過去幀普通光圖像的匹配處理的圖。圖9是特殊光噪聲模型的例子。圖10是包含本實施方式的圖像處理裝置的內窺鏡系統(tǒng)的另一構成例。圖11是特殊光運動矢量信息計算部的構成例。圖12是用于說明本實施方式的處理的流程圖。圖13是用于說明特殊光運動矢量信息計算處理的流程圖。圖14是包含本實施方式的圖像處理裝置的內窺鏡系統(tǒng)的另一構成例。圖15是光源部的構成例。圖16是旋轉濾波器的構成例。圖17是特殊光運動矢量信息計算部的另一構成例。圖18是運動矢量校正部的構成例。圖19是用于說明第2實施方式的特殊光運動矢量信息計算處理的流程圖。標號說明100、被攝體；101、普通光光源；102、插入部；103、光導；201、透鏡；202、半反射鏡； 203、普通光攝像元件；204、濾波器；205、特殊光攝像元件；206、攝像元件；211、普通光圖像 A/D轉換部；212、特殊光圖像A/D轉換部；213、普通光圖像取得部；214、特殊光圖像取得部；215、普通光運動矢量信息計算部；216、特殊光運動矢量信息計算部；217、普通光噪聲降低部；218、特殊光噪聲降低部；219、輸出部；221、控制部；222、普通光圖像保存部；223、 特殊光圖像保存部；301、第1緩存部；302、第2緩存部；303、分割部；304、相似度檢測部； 501、第3緩存部；502、校正系數(shù)計算部；503、校正部；512、運動矢量檢測部；513、運動矢量校正部；601、光源部；603、發(fā)光控制部；604、A/D轉換部；605、特殊光圖像取得部；606、特殊光運動矢量信息計算部；701、普通光光源；702、旋轉濾波器；703、聚光透鏡；801、判定部；802、運動矢量更新部；803、RAM
具體實施例方式以下，說明本實施方式。另外，以下說明的本實施方式并非不恰當?shù)叵薅嗬笏涊d的本發(fā)明的內容。此外，本實施方式所說明的全部結構并非均是本發(fā)明的必要技術特征。1.本實施方式的方法
首先，說明本實施方式的方法。作為使動態(tài)圖像信號的噪聲分量降低的方法，公知有幀巡回型噪聲降低處理。在幀巡回型噪聲降低處理中，進行三維噪聲去除(使用了按時間序列不同的幀的圖像的噪聲去除)。在該幀巡回型噪聲降低處理中，根據(jù)在不同的幀之間對應的像素信息去除噪聲， 因此在被攝體靜止的情況下，不會產(chǎn)生因基于對應像素信息的噪聲降低處理而引起的弊病，但是在被攝體移動的情況下，在噪聲去除后的圖像中產(chǎn)生殘像。因此，為了有效地進行噪聲降低，需要準確地求出被攝體的移動量(運動量)。但是，在除了取得普通光圖像還取得特殊光圖像(具有與窄帶的光對應的信息的圖像)的內窺鏡系統(tǒng)中，在進行特殊光圖像的噪聲降低時會產(chǎn)生問題。這是因為，特殊光圖像是基于窄帶光的圖像，因此與普通光圖像相比，圖像整體較暗，噪聲分量的影響較大，因此很難準確地導出運動量。因此，本申請人提出了這樣的方法使用普通光圖像的信息，求出特殊光圖像中的運動量(運動矢量)。如圖1所示，如果是能同時取得普通光圖像和特殊光圖像的結構(例如如圖3所示具有雙板攝像元件的結構)，則根據(jù)普通光圖像的過去幀圖像(例如圖1的 Al)和普通光圖像的當前幀圖像(圖1的A2)，取得普通光圖像中的運動矢量，即普通光運動矢量VA1。該情況下，特殊光圖像的過去幀圖像A3與普通光圖像Al是同時拍攝的，特殊光圖像的當前幀圖像A4與普通光圖像A2是同時拍攝的，因此想求取的特殊光運動矢量VA2 與VAl基本一致。由此，不是直接求出VA2，而是使用比特殊光圖像明亮的普通光圖像來求出VA1，由此能更準確地求出特殊光運動矢量VA2。針對以上的本實施方式的基本方法，首先利用第1實施方式來說明。此外，在第2 實施方式中，如圖2所示，說明交替取得普通光圖像和特殊光圖像的結構(例如如圖14所示的具有單板攝像元件的結構)的例子。該情況下，在求出B4與B5之間的特殊光運動矢量VB3時，求出Bl與B2之間的運動矢量VBl和B2與B3之間的運動矢量VB2，以適當?shù)姆绞綄Bl和VB2進行合成(例如取平均)。通過采用這種方法，可以不直接使用較暗的噪聲多的特殊光圖像，而是使用明亮的噪聲少的普通光圖像來求出特殊光運動矢量。由此，即使是特殊光圖像，也能準確地求出被攝體的運動量，在幀巡回型噪聲降低處理中能有效地除去噪聲。2.第1實施方式圖3是包括本實施方式的圖像處理裝置的內窺鏡系統(tǒng)的結構圖。內窺鏡系統(tǒng)包括普通光光源101、插入部102、光導103、透鏡201、半反射鏡202、普通光攝像元件203、濾波器204、特殊光攝像元件205、普通光圖像A/D轉換部211、特殊光圖像A/D轉換部212、普通光圖像取得部213、特殊光圖像取得部214、普通光運動矢量信息計算部215、普通光噪聲降低部217、特殊光噪聲降低部218、輸出部219、外部I/F 220、控制部221、普通光圖像保存部 222和特殊光圖像保存部223。另外，結構不限于此，可以實施省略這些構成部件的一部分等的各種變形。該圖像處理裝置適用于內窺鏡，因此插入部102是能夠彎曲成可插入體內的細長形狀，普通光光源101照射出的光經(jīng)由能彎曲的光導103，照射到被攝體100。在插入部102 的前端部配置有透鏡201，來自被攝體100的反射光經(jīng)由該透鏡201，被半反射鏡202分離成兩束反射光。
一束反射光進入普通光攝像元件203。該普通光攝像元件203是具有用于形成普通光圖像的拜爾排列的濾色器的攝像元件。在本實施方式中，適用具有圖4所示的分光特性的 RGB 濾色器的攝像元件(R(580nm 700nm)、G(480nm 600nm)、B(400nm 500nm))。 普通光攝像元件203通過光電轉換將反射光轉換成普通光模擬圖像信號。另一方面，另一束反射光進入具有窄帶濾色器的特殊光攝像元件205。在本實施例中，具有圖5所示的規(guī)定窄帶的透射率特性(G1 (530nm 550nm)、B1 (390nm 445nm))。 特殊光攝像元件205是具有用于形成圖6所示的特殊光圖像的圍棋盤狀排列的兩種濾色器的攝像元件，通過光電轉換將窄帶光轉換成特殊光模擬圖像信號(NBI圖像信號)。在內窺鏡診斷的領域，具有所述窄帶分光特性的光容易被血液中的血紅蛋白吸收，因此能實現(xiàn)粘膜表層的毛細血管、粘膜細微圖案的強調顯示。在食道、大腸、胃等癌癥的診斷中，NBI圖像信號的診斷效果很好。由普通光攝像元件203轉換后的普通光模擬圖像信號被輸出到普通光圖像A/D轉換部211，由特殊光攝像元件205轉換后的特殊光模擬圖像信號被輸出到特殊光圖像A/D轉換部212。普通光圖像A/D轉換部211經(jīng)由普通光圖像取得部213、普通光運動矢量信息計算部215和普通光噪聲降低部217，與輸出部219連接。普通光噪聲降低部217雙向地與普通光圖像保存部222連接。普通光圖像保存部222與普通光運動矢量信息計算部215連接。 特殊光圖像A/D轉換部212經(jīng)由特殊光圖像取得部214和特殊光噪聲降低部218與輸出部 219連接。特殊光噪聲降低部218雙向地與特殊光圖像保存部223連接。普通光運動矢量信息計算部215與特殊光噪聲降低部218連接。控制部221雙向地連接普通光圖像A/D轉換部211、特殊光圖像A/D轉換部212、普通光圖像取得部213、特殊光圖像取得部214、普通光運動矢量信息計算部215、普通光噪聲降低部217、特殊光噪聲降低部218、輸出部219、普通光圖像保存部222和特殊光圖像保存部223。外部I/F 220與控制部221連接。普通光圖像A/D轉換部211對來自普通光攝像元件203的普通光模擬圖像信號進行數(shù)字化，作為普通光數(shù)字圖像信號(以下稱為普通光圖像信號)傳送到普通光圖像取得部213。另一方面，特殊光圖像A/D轉換部212對來自特殊光攝像元件205的特殊光模擬圖像信號進行數(shù)字化，作為特殊光數(shù)字圖像信號(以下稱為特殊光圖像信號)傳送到特殊光圖像取得部214。普通光圖像取得部213根據(jù)控制部221的控制，對來自普通光圖像A/D轉換部211 的普通光圖像信號進行圖像處理。在本實施例中，進行公知的拜爾插值處理(從拜爾圖像信號轉換成3板圖像信號的處理)、白平衡處理、色彩管理處理、灰度轉換處理等。將由處理后的RGB信號構成的普通光圖像信號傳送到普通光運動矢量信息計算部215。另一方面，特殊光圖像取得部214根據(jù)控制部221的控制，對來自特殊光圖像A/ D轉換部212的特殊光圖像信號進行圖像處理。在本實施例中，首先，使用由特殊光攝像元件生成的特殊光圖像信號進行缺漏像素的插值處理，該特殊光攝像元件具有如圖6所示的圍棋盤狀排列的Gl和Bl的兩種濾色器。具體而言，計算同種類濾波器的缺漏像素的周圍像素的平均信號值，作為信號值對缺漏像素進行插值。例如，使用下式(1)計算圖6所示的 61(1,1)和 B(2，l)。Gl(Ll) = (Gl (1,0) +Gl (0,1) +Gl (2,1) +Gl (1,2)) /4
Bl (2,1) = (Bi (2,0)+Bl (1,1)+Bl (3,1)+Bl (2, 2))/4 ......(1)通過以上的插值處理，生成所有像素的兩個信號(G1、B1)的圖像信號。接下來，使用下式(2)生成NBI特殊光圖像(NBI偽彩色圖像)。Rch_v (χ, y) = pl*Gl (x，y)Gch_v (χ, y) = ρ2*Β1 (χ, y)Bch_v (χ, y) = ρ3*Β1 (χ, y) ......(2)上式(2)中的Rch_v(x，y)是NBI特殊光圖像信號的R通道的信號值，Gch_v(x, y)是NBI特殊光圖像信號的G通道的信號值，Bch_v(x, y)是NBI特殊光圖像信號的B通道的信號值，Bl(x，y)是所述插值處理后的所有像素的兩個信號(G1、B1)的圖像信號中的 Bl (窄帶)圖像的像素值，Gl(x, y)是所述插值處理后的所有像素的兩個信號(G1、Bi)的圖像信號中的Gl (窄帶)圖像的像素值，(X，y)是像素在圖像信號內的橫軸與縱軸的坐標位置，pl、p2、p3是規(guī)定系數(shù)。接下來，對所述NBI特殊光圖像信號進行灰度轉換處理等。將處理后的RGB信號構成的特殊光圖像信號(Rch_v，Gch_v，Bch_v)傳送到特殊光噪聲降低部218。圖7示出普通光運動矢量信息計算部215的結構的一例，包括第1緩存部301、第2 緩存部302、分割部303和相似度檢測部304。普通光圖像取得部213經(jīng)由第2緩存部302、 分割部303和相似度檢測部304，與普通光噪聲降低部217、特殊光噪聲降低部218連接。普通光圖像保存部222經(jīng)由第1緩存部301與相似度檢測部304連接。控制部221雙向地連接第1緩存部301、第2緩存部302、分割部303和相似度檢測部304。普通光圖像取得部213根據(jù)控制部221的控制，將圖像處理后的普通光圖像信號傳送到第2緩存部302進行臨時保存。普通光圖像保存部222通過控制部221的控制，將所保存的進行了噪聲降低后的過去的普通光圖像信號傳送到第1緩存部301，進行臨時保存。該過去的普通光圖像信號是指，與保存在第2緩存部302中的普通光圖像信號相比在時間上剛剛拍攝的、時間距離最短的過去的普通光圖像信號。在本實施例中，將保存在第1緩存部301中的過去的普通光圖像信號稱為過去幀普通光圖像信號，將保存在第2緩存部302中的普通光圖像信號稱為當前幀普通光圖像信號。分割部303根據(jù)控制部221的控制，讀入第2緩存部302中的當前幀普通光圖像信號進行分割處理。具體而言，使用規(guī)定尺寸將當前幀普通光圖像信號分割成多個塊區(qū)域。 例如，將當前幀普通光圖像信號分割成該規(guī)定尺寸的MXN(8X8、16X16、32X32等)的矩形區(qū)域。將分割后得到的多個塊區(qū)域的當前幀普通光圖像信號傳送到相似度檢測部304。 關于塊區(qū)域，除了矩形以外還可以設定成多邊形。此外，用戶也可以經(jīng)由外部I/F 220任意地指定分割區(qū)域的形狀。相似度檢測部304根據(jù)控制部221的控制，使用來自分割部303的當前幀普通光圖像信號的各塊區(qū)域的普通光圖像信號，對來自第1緩存部301的降低噪聲后的過去幀普通光圖像信號進行模板匹配處理，檢測出相似度最高的塊區(qū)域。在本實施例中，使用當前幀普通光圖像信號的各分割塊區(qū)域的普通光圖像信號，按光柵掃描的順序進行公知的模板匹配處理，提取對應的過去幀普通光圖像信號的處理對象塊區(qū)域。將過去幀普通光圖像信號的處理對象塊區(qū)域與當前幀普通光圖像信號的處理對象塊區(qū)域的坐標差(U、V)作為普通光運動矢量信息。在作為模板的當前幀圖像信號的所有的塊區(qū)域的匹配處理結束之后，將普通光運動矢量信息和當前幀普通光圖像信號傳送到普通光噪聲降低部217。并且，還將普通光運動矢量信息傳送到特殊光噪聲降低部218。在本實施例中，如圖8的上段所示，還將過去幀普通光圖像信號分割成塊單位，按塊區(qū)域進行模板匹配處理，但不必限定于該結構。如圖8的下段所示，也可以以像素為單位進行塊匹配處理。例如，使用以處理對象像素為中心的規(guī)定尺寸的塊區(qū)域的普通光圖像信號，進行公知的模板匹配處理，提取對應的過去幀普通光圖像信號的處理對象塊區(qū)域。接著，將該處理對象像素與匹配后的過去幀普通光圖像信號的位于處理對象塊區(qū)域中心的像素之間的坐標差，設為處理對象像素的普通光運動矢量信息。通過這樣，能夠提高匹配精度。在本實施例中，普通光噪聲降低部217基于控制部221的控制，根據(jù)上述的匹配結果(普通光運動矢量)對亮度信號進行噪聲降低處理。關于使用普通光運動矢量進行普通光圖像信號的噪聲降低的方法，是公知的，因此省略詳細的說明。此外，普通光噪聲降低部 217利用公知的轉換式將RGB信號轉換成亮度信號和色差信號，因此即使對于色差信號，也利用與對亮度信號同樣的方法進行噪聲降低處理。此外，在本實施方式中是將亮度信號作為特征量來計算普通光運動矢量信息的結構，但也可以在上述的式(2)中利用插值處理后的Gch_v圖像信號(具有圖4所示的G的分光特性)。接下來，說明特殊光噪聲降低部218中的針對特殊光圖像信號的噪聲降低處理。 在本實施例中，是普通光圖像信號和特殊光圖像信號的解像度(圖像尺寸)相同的情況所對應的結構。因此，也可以通過控制部221的控制，將來自普通光運動矢量信息計算部215 的普通光運動矢量信息直接作為特殊光運動矢量信息，向特殊光噪聲降低部218傳送，利用與所述普通光噪聲降低部217相同的內部結構，對特殊光圖像信號進行噪聲降低處理。該情況下，特殊光噪聲降低部218根據(jù)來自普通光運動矢量信息計算部215的普通光運動矢量信息，對來自特殊光圖像保存部223的噪聲降低后的過去幀特殊光圖像信號，計算當前幀特殊光圖像信號的每個像素的差分值(相似差分值)。接下來，使用圖9所示的特殊光噪聲模型，針對每個像素基于相似差分值使用下式(3)計算噪聲量，使用下式 (4)進行噪聲去除處理。S (x, y) = C (χ, y)~B(x, y)If(|S(x, y) < S(T))NS(χ, y) = |S(x，y)|*KaElse NS(χ, y) = NS(T) ......(3)其中，C(x，y)表示過去幀特殊光圖像信號的處理對象塊區(qū)域中的像素信號值， B(x, y)表示當前幀特殊光圖像信號的處理對象塊區(qū)域中的像素信號值，S(x, y)表示每個像素的相似差分值(在匹配后的過去幀特殊光圖像信號的處理對象塊區(qū)域與當前幀特殊光圖像信號的處理對象塊區(qū)域中，每個對應像素的差分值)，NS(x, y)表示處理對象像素的噪聲量，Ka是相似差分值和噪聲分量的傾斜系數(shù)，S (T)表示相似差分閾值，NS (T)表示噪聲的閾值，S(Max)表示相似差分最大值。這里，S(x, y)是在還考慮了運動矢量的基礎上的過去幀特殊光圖像信號(噪聲已去除)與當前幀特殊光圖像信號(噪聲未去除)之間的差分值，因此，理想地說，應該是當前幀特殊光圖像信號中包含的噪聲值。但是，過去幀特殊光圖像信號的噪聲未被100% 除去，而且由于其他因素(例如照明的變化、被攝體的變形等)使值發(fā)生變動，不能直接將 S(x，y)設為噪聲值NS(x，y)。因此，使用圖9所示的特殊光噪聲模型。圖9是將相似差分值與包含在相似差分值中的噪聲量之間的關系進行模型化而得到的圖。在相似差分值小于等于某一閾值S(T)的情況下，噪聲量直線增加。并且，在相似差分值大于S (T)的情況下，噪聲量取恒定值NS (T)。 另外，相似差分值內除噪聲以外的分量被認為是被攝體變形所引起的分量、光源變化所引起的分量等。求出噪聲量后，使用下式(4)進行噪聲降低處理。If (S (X，y) > 0)E，(χ, y) = B (χ, y) +NS (χ, y)Else Ε，(χ, y) = B(χ, y)-NS(x, y) ......其中，Ε’ (χ, y)表示噪聲降低處理后的特殊光圖像信號值。如上所述，由于S(x，y)=過去幀-當前幀，因此在S (x，y) >0的情況下，過去幀 >當前幀，當前幀中很可能包括負的噪聲。由此，將由式(3)求出的噪聲值NS(x，y)與當前幀特殊光圖像信號B(x，y)相加。相反，在S(x，y) <0的情況下，過去幀彡當前幀，當前幀中很可能包括正的噪聲。由此，從B(x，y)中減去NS(x，y)。通過以上處理，以適當?shù)膹姸葘μ厥夤鈭D像(當前幀特殊光圖像信號)進行噪聲降低處理。但是，通常，特殊光圖像信號與普通光圖像信號的解像度是不同的。該情況下，如上所述，不能直接將根據(jù)普通光圖像信號計算出的普通光運動矢量信息適用于特殊光圖像信號的噪聲降低處理。圖10是本申請第1實施方式的變形例的結構圖。內窺鏡系統(tǒng)包括普通光光源 101、插入部102、光導103、透鏡201、半反射鏡202、普通光攝像元件203、濾波器204、特殊光攝像元件205、普通光圖像A/D轉換部211、特殊光圖像A/D轉換部212、普通光圖像取得部213、特殊光圖像取得部214、普通光運動矢量信息計算部215、特殊光運動矢量信息計算部216、普通光噪聲降低部217、特殊光噪聲降低部218、輸出部219、外部I/F 220、控制部 221、普通光圖像保存部222和特殊光圖像保存部223。由普通光攝像元件203轉換后的普通光模擬圖像信號被輸出到普通光圖像A/D轉換部211，由特殊光攝像元件205轉換后的特殊光模擬圖像信號被輸出到特殊光圖像A/D轉換部212。普通光圖像A/D轉換部211經(jīng)由普通光圖像取得部213、普通光運動矢量信息計算部215和普通光噪聲降低部217與輸出部219連接。普通光噪聲降低部217雙向地與普通光圖像保存部222連接。普通光圖像保存部222與普通光運動矢量信息計算部215連接。 特殊光圖像A/D轉換部212經(jīng)由特殊光圖像取得部214、特殊光運動矢量信息計算部216和特殊光噪聲降低部218與輸出部219連接。特殊光噪聲降低部218雙向地與特殊光圖像保存部223連接。特殊光圖像保存部223與特殊光運動矢量信息計算部216連接。普通光運動矢量信息計算部215與特殊光運動矢量信息計算部216連接?？刂撇?21雙向地連接普通光圖像A/D轉換部211、特殊光圖像A/D轉換部212、普通光圖像取得部213、特殊光圖像取得部214、普通光運動矢量信息計算部215、特殊光運動矢量信息計算部216、普通光噪聲降低部217、特殊光噪聲降低部218、輸出部219、普通光圖像保存部222和特殊光圖像保存部223。外部I/F 220與控制部221連接。在本變形例中，省略與第1實施方式相同結構的內容，僅說明不同的部分。在本實施例中，根據(jù)控制部221的控制，將來自普通光運動矢量信息計算部215的普通光運動矢量信息和普通光圖像信號的圖像尺寸(I，J)傳送到特殊光運動矢量信息計算部216。接著，根據(jù)特殊光圖像信號與普通光圖像信號的解像度的比較信息，校正根據(jù)普通光圖像信號計算出的運動矢量，根據(jù)特殊光圖像信號進行噪聲降低處理來作為特殊光運
動矢量。圖11是示出特殊光運動矢量信息計算部216的結構的一例的圖，包括第3緩存部 501、校正系數(shù)計算部502、校正部503和RAM 504。特殊光圖像取得部214經(jīng)由校正系數(shù)計算部502和校正部503連接特殊光噪聲降低部218。普通光運動矢量信息計算部215經(jīng)由 RAM 504連接校正系數(shù)計算部502和校正部503。特殊光圖像保存部223經(jīng)由第3緩存部 501連接校正部503。普通光運動矢量信息計算部215連接RAM 504?？刂撇?21雙向地連接第3緩存部501、校正系數(shù)計算部502、校正部503和RAM 504。特殊光圖像取得部214根據(jù)控制部221的控制，將圖像處理后的特殊光圖像信號傳送到校正系數(shù)計算部502，將特殊光圖像信號的圖像尺寸(K，L)傳送到RAM 504并臨時保存。此外，還將來自普通光運動矢量信息計算部215的普通光運動矢量信息和普通光圖像信號的圖像尺寸(I，J)傳送到RAM 504并臨時保存。特殊光圖像保存部223根據(jù)控制部221的控制，將所保存的噪聲降低后的過去特殊光圖像信號傳送到第3緩存部501進行臨時保存。該過去的特殊光圖像信號是指，與來自特殊光圖像取得部214的特殊光圖像信號相比在時間上剛剛拍攝的、時間距離最短的過去的特殊光圖像信號。在本實施例中，將保存在第3緩存部501中的過去的特殊光圖像信號稱為過去幀特殊光圖像信號，將來自特殊光圖像取得部214的特殊光圖像信號稱為當前幀特殊光圖像信號。校正系數(shù)計算部502根據(jù)控制部221的控制，使用來自RAM 504的普通光圖像信號的圖像尺寸(I，J)和來自特殊光圖像取得部214的特殊光圖像信號的圖像尺寸(K，L)， 通過下式(5)計算校正系數(shù)，與當前幀特殊光圖像信號一起傳送到校正部503。PowerX = K/1PowerY = L/J ......(5)在本實施例中，校正部503通過控制部221的控制，使用通過上式( 計算出的校正系數(shù)PowerX和PowerY，根據(jù)來自RAM 504的普通光運動矢量信息，利用下式(6)計算出特殊光運動矢量。u = U^PowerXν = V^PowerY ......(6)其中，(u，ν)是與特殊光圖像信號的某塊區(qū)域對應的運動矢量(特殊光運動矢量信息)，(U，V)是與該特殊光圖像信號的塊區(qū)域對應的普通光圖像信號的塊區(qū)域的運動矢量(普通光運動矢量信息)。
在計算出了所有的特殊光圖像信號的塊區(qū)域的特殊光運動矢量后，傳送到特殊光噪聲降低部218。特殊光噪聲降低部218根據(jù)控制部221的控制，使用所述當前幀特殊光圖像信號、 過去幀特殊光圖像信號和特殊光圖像信號的塊區(qū)域的運動矢量信息，進行特殊光噪聲降低處理。特殊光噪聲降低處理的結構與上述的第1實施方式相同，因此，省略此處的說明。這樣，可以根據(jù)普通光圖像信號計算普通光運動矢量，對該普通光運動矢量進行校正之后取得特殊光運動矢量，進行噪聲降低處理，能夠提高特殊光圖像信號的噪聲降低效果，因此提高利用特殊光圖像信號的診斷能力。以上說明的本實施方式的圖像信號處理是通過硬件來實現(xiàn)的，但不必限于這樣的結構。例如，還可以將A/D轉換處理后的圖像信號作為未處理的原樣的原始(RAW)數(shù)據(jù)存儲在存儲卡等存儲介質中，并且將來自控制部221的拍攝時信息(AGC靈敏度及白平衡系數(shù)等)作為頭信息預先存儲在存儲介質中。然后，使計算機執(zhí)行作為其它軟件的圖像信號處理程序，使計算機讀取存儲介質的信息進行處理。另外，與上述同樣，從拍攝部到計算機的各種信息的傳送也不限于經(jīng)由存儲介質進行，也可以構成為經(jīng)由通信線路等進行。圖12是示出本實施方式的圖像信號處理程序的處理的流程圖。當開始該處理時，首先在Sl中，讀入普通光圖像信號和特殊光圖像信號的原始數(shù)據(jù)、包括圖像信號尺寸的頭信息等，并且讀入該圖像信號處理程序所預先具備的灰度特性系數(shù)等信息，進入S2。此外，在存儲器上臨時保存頭信息及灰度特性系數(shù)等信息。該處理相當于如下的處理在作為攝像裝置的圖像處理裝置中取得對被攝體進行拍攝而得到的普通光圖像信號和特殊光圖像信號。接著，在S2中判斷所讀入的圖像信號的種類。在普通光圖像信號的情況下，進入 S3。在特殊光圖像信號的情況下，進入S6。并且，在S3中，對普通光圖像信號進行公知的拜爾插值處理(從拜爾圖像信號轉換成三板圖像信號)、白平衡處理、色彩管理處理、灰度轉換處理等。處理后進入S4。這相當于圖3的普通光圖像取得部213的處理。接著，在S4中，使用時間序列上過去幀的普通光圖像信號和當前幀的普通光圖像信號，計算普通光運動矢量信息。將該普通光運動矢量信息臨時保存在存儲器中。處理后進入S5。這相當于圖3的普通光運動矢量信息計算部215的處理。然后，在S5中使用普通光圖像信號和普通光運動矢量信息進行普通光噪聲降低處理。處理后，將噪聲降低處理后的普通光圖像信號保存在存儲器中。這相當于圖3的普通光噪聲降低部217的處理。處理后，將噪聲降低處理后的普通光圖像信號保存在存儲器中。另一方面，在S6中，對特殊光圖像信號進行圖像處理。特殊光圖像信號為圖6所示的圍棋盤狀排列的Gl和Bl的結構，因此根據(jù)式(1)、(2)實施插值處理，進行公知的灰度轉換處理等。處理結束后進入S7。這相當于圖3的特殊光圖像取得部214的處理。接著， 在S7中從存儲器中讀入普通光運動矢量信息，進入S8。然后，在S8中使用普通光運動矢量信息計算特殊光運動矢量。處理后進入S9。這相當于圖10的特殊光運動矢量信息計算部 216的處理。接著，在S9中使用特殊光圖像信號和特殊光運動矢量信息進行特殊光噪聲降低處理。處理后，將噪聲降低處理后的特殊光圖像信號存儲在存儲器中。這相當于圖3的特殊光噪聲降低部218的處理。
接著，使用圖13說明圖12的S8中的特殊光運動矢量的計算處理的詳細情況。當開始該處理時，首先，在S16中從存儲器讀入普通光圖像信號的圖像尺寸(I，J) 和特殊圖像信號的圖像尺寸(K，J)，計算校正系數(shù)(式(5))，進入S17。這相當于圖11的校正系數(shù)計算部502的處理。接著，在S17中使用在S16中計算出的校正系數(shù)計算特殊光運動矢量(式(6))。處理結束后，返回圖12所示的處理。這相當于圖11的校正部503的處理。并且，在本實施例中，由于實時地進行圖像信號處理，因此構成為使用當前幀普通光/特殊光圖像信號以及過去幀普通光/特殊光圖像信號來計算運動矢量，對該運動矢量進行校正后進行噪聲降低處理，但不必限于該結構。例如，在膠囊內窺鏡圖像信號處理的情況下，暫且將由膠囊內窺鏡拍攝的圖像信號保存在存儲介質中。之后，利用其它的軟件從存儲介質讀入圖像信號，進行顯影處理。該情況下，所使用的圖像信號不限于當前幀普通光 /特殊光圖像信號以及過去幀普通光/特殊光圖像信號，也可以構成為使用在時間序列上在當前幀普通光/特殊光圖像信號之后拍攝的將來幀普通光/特殊光圖像信號，計算運動矢量進行噪聲降低處理。此外，在本實施例中，使用當前幀普通光/特殊光圖像信號和一個過去幀普通光/特殊光圖像信號計算運動矢量進行噪聲降低處理，但也可以構成為使用多張過去幀(或將來幀)普通光/特殊光圖像信號計算運動矢量進行噪聲降低處理。在以上的本實施方式中，如圖3所示，圖像處理裝置包括普通光圖像取得部213， 其取得普通光圖像；特殊光圖像取得部214，其取得特殊光圖像；普通光運動矢量信息計算部215，其根據(jù)通常光圖像內的特征量計算多個普通光圖像之間的運動矢量信息；噪聲降低部(圖3中的特殊光噪聲降低部218)，其根據(jù)普通光運動矢量信息降低特殊光圖像中的噪聲量。這里，普通光圖像是包含與如圖4所示的RGB信號對應的白光的波段上的信息的圖像，特殊光圖像是包括與如圖5所示的特定波段上的信息的圖像。此外，普通光運動矢量信息可以是多個普通光圖像之間的運動矢量本身，也可以是與運動矢量等價的信息。例如， 普通光運動矢量信息是能夠獲得與使用普通光運動矢量本身的情況相同的作用效果的信息即可。通過這種方式，能實現(xiàn)如下的圖像處理裝置取得普通光圖像和特殊光圖像，根據(jù)普通光圖像計算出普通光運動矢量信息，由此降低特殊光圖像中的噪聲量。由此，關于在使用了多個特殊光圖像之間的運動矢量信息的噪聲降低處理(例如在取過去幀特殊光圖像與當前幀特殊光圖像之間的差分的幀巡回型噪聲降低處理等)中產(chǎn)生的、由于特殊光圖像較暗而不能求出準確的運動矢量信息(特殊光運動矢量信息)這一問題，可以通過利用基于明亮普通光圖像的普通光運動矢量信息等來解決。因此，能有效地進行噪聲降低。此外，普通光圖像取得部213在第1定時取得第1普通光圖像，在第2定時取得第 2普通光圖像。然后，普通光運動矢量信息計算部215可以根據(jù)第1普通光圖像內的特征量和第2普通光圖像內的特征量，計算第1普通光圖像與第2普通光圖像之間的普通光運動矢量信息。具體而言，可以通過使用第1普通光圖像內的特征量和第2普通光圖像內的特征量進行如圖8所示的匹配處理，來計算出普通光運動矢量信息。由此，可以使用定時(例如幀)不同的普通光圖像來計算普通光運動矢量信息。具體而言，如圖8所示，可以通過進行按塊單位/像素單位的匹配處理來計算普通光運動矢量fn息ο此外，如圖10所示，圖像處理裝置可以包括特殊光運動矢量信息計算部216，該特殊光運動矢量信息計算部216根據(jù)普通光運動矢量信息來計算特殊光運動矢量信息。并且，如圖11所示，特殊光運動矢量信息計算部216還可以包括校正部503，該校正部503根據(jù)普通光圖像和特殊光圖像對普通光運動矢量信息進行校正。具體而言，校正部503可以根據(jù)普通光圖像的解像度與特殊光圖像的解像度之間的比較結果進行校正。并且，具體而言，可以對普通光運動矢量信息乘以根據(jù)普通光圖像的解像度與特殊光圖像的解像度之間的比較結果確定的放大率或縮小率，由此進行校正。這里，特殊光運動矢量信息可以是多個特殊光圖像之間的運動矢量本身，也可以是與運動矢量等價的信息。例如，特殊光運動矢量信息是能夠獲得與使用特殊光運動矢量本身的情況相同的作用效果的信息即可。由此，不是直接利用普通光運動矢量信息，而是可以在對其實施了適當?shù)男Ｕ幚砗筮M行利用。具體而言，例如，在如圖10所示具有雙板攝像元件的結構中，普通光圖像的解像度與特殊光圖像的解像度可能不同。在這樣的情況下，進行與解像度之比對應的校正。 具體而言，例如進行如上述的式(5)、(6)的校正即可。此外，特殊光圖像取得部214在第1定時取得第1特殊光圖像，在第2定時取得第 2特殊光圖像。并且，噪聲降低部(圖3中的特殊光噪聲降低部218)在第1特殊光圖像內設定第1處理對象區(qū)域，并且根據(jù)普通光運動矢量信息在第2特殊光圖像內設定與第1處理對象區(qū)域對應的第2處理對象區(qū)域。而且，根據(jù)第1處理對象區(qū)域的特征量和第2處理對象區(qū)域的特征量，降低第1處理對象區(qū)域或第2處理對象區(qū)域的噪聲量。由此，可以在取得了定時(例如幀)不同的特殊光圖像之后，根據(jù)普通光運動矢量信息，設定與各個圖像內對應的區(qū)域。然后，可以使用對應的兩個區(qū)域的特征量，進行任一區(qū)域的噪聲降低處理。能進行噪聲降低處理是因為考慮到，兩個區(qū)域既然是根據(jù)運動矢量信息對應起來的，所拍攝的被攝體就是理想的同一物體，特征量的比較結果中主要包括對被攝體引起的分量進行抑制后的結果、即因噪聲引起的分量。此外，噪聲降低部(特殊光噪聲降低部218)也可以包括噪聲量推測部，該噪聲量推測部根據(jù)第1處理對象區(qū)域的特征量與第2處理對象區(qū)域的特征量的差分值，推測應該包含在第2處理對象區(qū)域中的第2噪聲量。而且，噪聲降低部可以通過求出噪聲量推測部推測出的第2噪聲量與第2處理對象區(qū)域的特征量之間的差分，來降低第2處理對象區(qū)域
的噪聲量。這里，噪聲量推測部取得下述對應關系信息(例如，可以是如圖9所示的噪聲模型，也可以是表數(shù)據(jù))，并根據(jù)取得的對應關系信息推測噪聲量，該對應關系信息表示第1 處理對象區(qū)域的特征量和第2處理對象區(qū)域的特征量的差分值、與應推測的第2噪聲量之間的對應關系。由此，噪聲降低部可以根據(jù)特征量的差分值推測噪聲量，求出所推測的噪聲量與處理對象區(qū)域的特征量的差分，由此進行噪聲降低處理。在根據(jù)特征量差分值的噪聲量推測中，可以使用圖9所示的噪聲模型等，由此能夠進行更適合的噪聲降低。此外，噪聲降低部(特殊光噪聲降低部218)也可以使第1處理對象區(qū)域的特征量與第2處理對象區(qū)域的特征量的差分值接近零，由此降低第1處理對象區(qū)域或第2處理對
15象區(qū)域的噪聲量。由此，即使不使用上述的噪聲模型等，也能降低噪聲量。在該情況下，假設了特征量的差分值均是噪聲分量這一理想狀況。此外，特定波段是比白光波段窄的波段。具體而言，特殊光圖像是生物體內圖像， 特定波段是被血液中的血紅蛋白吸收的波長的波段。更具體而言，是390nm 445nm或 530nm 550nm的波段。由此，可以觀察位于生物體表層部和深部的血管的結構。此外，將得到的信號輸入特定信道(R，G，B)，由此可以利用褐色等顯示扁平上皮癌等在普通光下很難視覺辨識到的病變等，能抑制看漏病變部。另外，390nm 445nm或530nm 550nm是根據(jù)被血紅蛋白吸收的特征和分別到達生物體的表層或深部的特性而獲得的波長。但是，該情況下的波段不限于此，例如，由于與基于血紅蛋白的吸收和到達生物體表層部或深部相關的實驗結果等的變動因素，還考慮波段的下限值減少0 10%左右，上限值上升0 10%左右。此外，特殊光圖像可以是對生物體內進行拍攝后得到的生物體內圖像。并且，生物體內圖像中包含的特定波段可以是熒光物質發(fā)出的熒光的波段。具體而言，是490nm 625nm的波段。由此，可以進行被稱為AFI的熒光觀察。通過照射激勵光(390nm 470nm)，可以觀察來自骨膠原等熒光物質的自身熒光。在這樣的觀察中，可利用與正常粘膜不同的色調對病變進行強調顯示，能抑制看漏病變部等。另外，490nm 625nm的波長表示在照射了所述激勵光時骨膠原等熒光物質發(fā)出的自身熒光的波段。其中，該情況的波段不限于此，例如， 由于與熒光物質發(fā)出的熒光的波段相關的試驗結果等的變動因素，還考慮波段的下限值減少0 10%左右，上限值上升0 10%左右。此外，還可以同時照射被血紅蛋白吸收的波段(540nm 560nm)，生成偽彩色圖像。此外，特殊光圖像可以是對生物體內進行拍攝后得到的生物體內圖像。并且，生物體內圖像中包含的特定波段可以是紅外光的波段。具體而言，是790nm 820nm或者 905nm 970nm的波段。由此，可以進行被稱為IRI的紅外光觀察。靜脈注射了容易吸收紅外光的紅外指標藥劑即ICG(靛青綠)之后，照射上述波段的紅外線，由此能強調顯示人的眼睛很難視覺辨識的粘膜深部的血管及血流信息，能進行胃癌的深度診斷和治療方針的判定等。另外， 790nm 820nm這一波長是根據(jù)紅外指標藥劑的吸收最強的特性求得的，905nm 970nm這一波長是根據(jù)紅外指標藥劑的吸收最弱的特性求得的。其中，該情況下的波段不限于此，例如，由于與紅外指標藥劑的吸收相關的試驗結果等的變動因素，還認為波段的下限值減少 0 10%左右，上限值上升0 10%左右。此外，本實施方式涉及一種程序，該程序使計算機發(fā)揮普通光圖像取得部213、特殊光圖像取得部214、普通光運動矢量信息計算部215、噪聲降低部(特殊光噪聲降低部 218)的功能。由此，例如如膠囊型內窺鏡等那樣，可以首先積累圖像數(shù)據(jù)，之后利用PC等計算機系統(tǒng)對積累的圖像數(shù)據(jù)以軟件的方式進行處理。3.第2實施方式圖14是包括本實施方式的圖像處理裝置的內窺鏡系統(tǒng)的構成例。內窺鏡系統(tǒng)包括光源部601、插入部102、光導103、透鏡201、攝像元件206、發(fā)光控制部603、A/D轉換部 604、普通光圖像取得部213、特殊光圖像取得部605、普通光運動矢量信息計算部215、特殊光運動矢量信息計算部606、普通光噪聲降低部217、特殊光噪聲降低部218、輸出部219、外部I/F 220、控制部221、普通光圖像保存部222和特殊光圖像保存部223。在本實施方式例中，省略與第1實施方式例相同的結構相關的內容，僅說明不同的部分。圖15是光源部601的結構的一例，包括普通光光源701、旋轉濾波器702和聚光透鏡703。構成為，來自普通光光源701的光被照射到旋轉濾波器702，通過聚光透鏡703將光傳送到光導103。發(fā)光控制部603與旋轉濾波器702連接?？刂撇?21雙向地連接發(fā)光控制部603。圖16示出了旋轉濾波器702的結構的一例。該旋轉濾波器具備Fl、F2濾色器，均等地分成兩個區(qū)域。Fl濾波器對應于圖4所示的R+G+B的透射率特性GOOnm 700nm)，F(xiàn)2 濾波器對應于圖5所示的規(guī)定窄帶B1+G1的透射率特性(G1 (530nm 550nm)，B1 (390nm 445nm))。來自普通光光源701的白光通過照射到Fl濾波器而形成白光，與此相對，通過照射到F2濾波器而形成特殊光(NBI)。在本實施例中，根據(jù)發(fā)光控制部603的控制，以規(guī)定的速度使旋轉濾波器702旋轉。通過該旋轉濾波器702的旋轉，來自普通光光源701的白光以 F1->F2->F1->F2->F1->F2...的方式依次照射，由此形成白光_>特殊光_>白光_>特殊光_>白光_>特殊光...。形成的白光和特殊光依次經(jīng)由聚光透鏡703，向光導103傳送而照射到被攝體100。其結果，以規(guī)定的時間間隔依次反復白光和特殊光來照射被攝體100， 其反射光經(jīng)由透鏡201照射到攝像元件206。在本實施例中，攝像元件206是具有用于形成普通光圖像的拜爾排列的濾色器的攝像元件。攝像元件206通過光電轉換依次反復白光和特殊光的反射光，轉換成普通光模擬圖像信號和特殊光模擬圖像信號。轉換后的普通光模擬圖像信號和特殊光模擬圖像信號被依次反復地傳送到A/D轉換部604。接著，根據(jù)控制部221的控制，對普通光模擬圖像信號進行數(shù)字化，作為普通光數(shù)字圖像信號(以下簡稱為普通光圖像信號)傳送到普通光圖像取得部213。另一方面，對特殊光模擬圖像信號進行數(shù)字化，作為特殊光數(shù)字圖像信號(以下簡稱為特殊光圖像信號) 傳送到特殊光圖像取得部605。特殊光圖像取得部605根據(jù)控制部221的控制，對特殊光圖像信號進行圖像處理。 在本實施方式中，首先進行公知的拜爾插值處理(從拜爾圖像信號轉換成三板圖像信號)， 其中，在該情況下，特殊光圖像信號是根據(jù)具有規(guī)定窄帶的Bl+Gl (G1 (530nm 550nm)， Bl (390nm 445nm))的分光特性的反射光形成的圖像信號，因此不使用插值處理后形成的 RGB通道中的R通道圖像信號。然后，使用式( 生成NBI特殊光圖像(NBI偽彩色圖像)。接著，進行色彩管理處理和灰度轉換處理等。將處理后的RGB信號構成的特殊光圖像信號傳送到特殊光運動矢量信息計算部606。特殊光運動矢量信息計算部606根據(jù)控制部221的控制，使用來自普通光運動矢量信息計算部215的普通光運動矢量，計算特殊光運動矢量信息。具體而言，處理結構如下所述。在本實施例中，以規(guī)定的均等時間間隔依次反復生成普通光圖像信號和特殊光圖像信號，因此其特征在于，普通光圖像信號和特殊光圖像信號的形成定時錯開。因此，使用由普通光圖像信號構成的普通光運動矢量，預測以錯開的定時形成的特殊光圖像信號的運動，推測特殊光運動矢量的校正量。例如，在普通光圖像信號1_>特殊光圖像信號1_>普通光圖像信號2_>特殊光圖像信號2_>普通光圖像信號3...的情況下，普通光圖像信號和特殊光圖像信號的形成時間間隔相同，所以使用根據(jù)普通光圖像信號1、普通光圖像信號2和普通光圖像信號3計算出的普通光運動矢量，利用式(7)計算特殊光圖像信號1與特殊光圖像信號2之間的特殊光運動矢量。u = (Ul+U2)/2ν = (Vl+V2)/2 ......(7)其中，(u，ν)是特殊光圖像信號1和特殊光圖像信號2的特殊光運動矢量，(U1， VI)是普通光圖像信號1和普通光圖像信號2的普通光運動矢量，(U2,V2)是普通光圖像信號2和普通光圖像信號3的普通光運動矢量。圖17示出特殊光運動矢量信息計算部606的結構的一個變形例，具備第3緩存部 501、運動矢量檢測部512、運動矢量校正部513和RAM 504。特殊光圖像取得部605經(jīng)由運動矢量檢測部512和運動矢量校正部513與特殊光噪聲降低部218連接。特殊光圖像保存部223經(jīng)由第3緩存部501與運動矢量檢測部512連接。普通光運動矢量信息計算部215 經(jīng)由RAM 504與運動矢量校正部513連接?？刂撇?21雙向地連接第3緩存部501、運動矢量檢測部512、運動矢量校正部513和RAM 504。在本實施例中，設定對具有相同解像度(圖像尺寸)的普通光圖像信號和特殊光圖像信號進行處理。將來自普通光運動矢量信息計算部215的普通光運動矢量信息保存在 RAM 504 中。運動矢量檢測部512根據(jù)控制部221的控制，使用來自特殊光圖像取得部605的當前幀特殊光圖像信號從特殊光圖像保存部223對時間上最接近的過去幀特殊光圖像信號，與上述普通光圖像信號的處理同樣進行公知的模板匹配處理，檢測特殊光運動矢量。但是，如上所述，利用具有比普通光窄的波段的特殊光拍攝而得到的圖像信號比普通光圖像暗，因此噪聲的影響相對地增大。由此，在僅根據(jù)特殊光圖像信號檢測到特殊光運動矢量的情況下，由于噪聲的影響，運動檢測精度可能降低。因此，運動矢量校正部513使用普通光運動矢量信息對特殊光運動矢量進行校正。圖18示出了運動矢量校正部513的結構的一例，具有判定部801、運動矢量更新部 802和RAM 803。運動矢量檢測部512經(jīng)由判定部801和運動矢量更新部802連接特殊光噪聲降低部218。RAM 803和RAM 504連接運動矢量更新部802。控制部221雙向地連接判定部801、運動矢量更新部802和RAM 803。判定部801根據(jù)控制部221的控制，對來自運動矢量檢測部512的當前幀特殊光圖像信號進行判定。具體而言，使用來自RAM 803的規(guī)定閾值，按每個像素與特殊光圖像信號的Rch ν圖像信號值(具有圖5所示的Gl的分光特性)比較大小。將比較信息、當前幀特殊光圖像信號和特殊光運動矢量信息傳送到運動矢量更新部802。RAM 803中的規(guī)定閾值可以根據(jù)控制部221的控制，由用戶經(jīng)由外部I/F 222指定，也可以由用戶經(jīng)由外部I/F 222從事先保存的多個閾值候選中選擇。
運動矢量更新部802根據(jù)控制部221的控制，使用來自判定部801的閾值比較信息、特殊光運動矢量信息和來自RAM 504的普通光運動矢量信息，對特殊光運動矢量進行校正。具體而言，在當前幀特殊光圖像信號值大于閾值的情況下，不對特殊光運動矢量進行校正。另一方面，在當前幀特殊光圖像信號值小于閾值的情況下，代入通過上述式(15)計算出的在時間上當前幀特殊光圖像的前后幀的普通光運動矢量作為特殊光運動矢量。通過這種方式，關于特殊光運動檢測，在特殊光圖像信號中的明亮區(qū)域中使用特殊光運動矢量信息，與此相對，在暗的區(qū)域適用普通光運動矢量。由此，盡量根據(jù)特殊光圖像信號檢測特殊光運動矢量，因此能提高特殊光運動矢量的檢測精度。此外，在以上的說明中，作為特殊光運動矢量，使用根據(jù)特殊光圖像求出的運動矢量(這里設為(XN，YN)或普通光運動矢量(XW，YW))的任一方，但不限于此。也可以以規(guī)定的混合比例對根據(jù)特殊光圖像求出的運動矢量和普通光運動矢量進行混合來使用。例如，針對特殊光圖像的像素亮度信息，準備了兩個閾值THl和TH2(TH1 < TH2, 即THl較暗、TH2較亮)，在由特殊光圖像的亮度信息表示的值小于THl的情況下，使用(XW， YW)作為特殊光運動矢量，在大于TH2的情況下，使用(XN，YN)作為特殊光運動矢量。然后， 在THl與TH2之間的值時，可以根據(jù)亮度信息的值設定混合比例α，通過下式(8)來求出特殊光運動矢量(X，Y)。(X，Y) = (XNX (l-α )+XffX α，YNX (l-α )+YffX α )......(8)在本實施方式中，與第1實施方式相同，可以以軟件的方式實現(xiàn)圖像處理裝置。表示本實施方式的詳細處理的流程圖與第1實施方式相同，是圖12。省略了關于進行與第1實施方式相同的處理的步驟的說明，描述不同的部分。首先，Sl S6的步驟與第1實施方式相同。在S7中，取得普通光運動矢量。如上所述(或如圖2所示)，為了求出與特殊光運動矢量相當?shù)倪\動矢量，在本實施方式中需要兩個普通光運動矢量。由此，不同于第1實施方式，取得兩個普通光運動矢量。如圖2所示，為了求出VB3需要求出VBl和VB2雙方， 因此在取得B5的階段不能求出VB3。更加嚴格地說，在取得與B6相當?shù)奶厥夤鈭D像(圖2 中未圖示)的定時，取得VB3。接著，在S8中計算特殊光運動矢量。圖19圖示了 S8的處理。當開始圖19的處理時，首先在S21中對取得的兩個普通光運動矢量求平均，由此取得與特殊光運動矢量對應的普通光運動矢量(XW，Yff)。接著，在特殊光圖像中，對過去幀特殊光圖像信號和當前幀特殊光圖像信號進行匹配，由此取得基于特殊光圖像的運動矢量(XN，YN)。然后，在S23中對特殊光圖像的亮度與閾值THl進行比較，在小于THl的情況下， 在S25中將特殊光運動矢量設定為(XW，Yff)。在大于等于THl的情況下，在S24中對特殊光圖像的亮度與閾值TH2進行比較，在大于TH2的情況下，在幻6中將特殊光運動矢量設定為(XN，YN)。在S24中，在小于等于TH2的情況下，通過上述的式(8)，將(XW，Yff)與(XN, YN) 混合后的矢量設為特殊光運動矢量。此外，與第1實施方式的變形例同樣，在普通光圖像的解像度與特殊光圖像的解像度不同的情況下，使用上述的式(5)、(6)進行(XW，YW)的校正處理。該校正處理例如可以在S21之后等進行。求出特殊光運動矢量之后的S9的處理與第1實施方式相同。這樣，在對按照時間序列依次反復拍攝到的普通光圖像信號和特殊光圖像信號進行處理的圖像處理裝置中，首先，可以針對一個特殊光圖像信號，對在時間序列上位于前后的普通光運動矢量進行平均，或者，對普通光運動矢量和特殊光運動矢量進行混合，預測拍攝定時錯開的特殊光圖像信號的運動，推測該特殊光運動矢量，能夠使用該特殊光運動矢量來提高特殊光圖像信號的噪聲降低效果，因此提高了利用特殊光圖像信號的診斷能力。在以上的本實施方式中，如圖14所示，圖像處理裝置還包括特殊光運動矢量信息計算部606，該特殊光運動矢量信息計算部606根據(jù)普通光運動矢量信息計算特殊光運動矢量信息。并且，噪聲降低部(圖14中的特殊光噪聲降低部218)根據(jù)特殊光運動矢量信息降低特殊光圖像中的噪聲量。由此，如圖2所示，即使在沒有同時取得普通光圖像和特殊光圖像的情況下，可以根據(jù)普通光運動矢量信息計算特殊光運動矢量信息，能進行有效的噪聲降低處理。此外，特殊光圖像取得部605在第1定時取得第1特殊光圖像，在第2定時取得第 2特殊光圖像。然后，特殊光運動矢量信息計算部606根據(jù)普通光運動矢量信息，計算第1 特殊光圖像與第2特殊光圖像之間的特殊光運動矢量信息。然后，噪聲降低部可以使用特殊光運動矢量信息降低第1特殊光圖像或第2特殊光圖像中的噪聲量。由此，可以計算出定時(幀)不同的特殊光圖像之間的特殊光運動矢量信息。具體而言，例如相當于求出如圖2所示的B4與B5之間的特殊光運動矢量信息VB3。此外，普通光圖像取得部213按時間序列取得多個普通光圖像，特殊光圖像取得部605按時間序列取得多個特殊光圖像。然后，普通光運動矢量信息計算部215針對多個特殊光圖像中第k(k是自然數(shù))個特殊光圖像，根據(jù)時間序列上位于前后的普通光圖像，求出第1普通光運動矢量信息。并且，針對第k+Ι特殊光圖像根據(jù)時間序列上位于前后的普通光圖像，求出第2普通光運動矢量信息。并且，特殊光運動矢量信息計算部606可以根據(jù)第1普通光運動矢量信息和第2普通光運動矢量信息，計算第k特殊光圖像與第k+Ι特殊光圖像之間的特殊光運動矢量信息。由此，如圖2所示，在沒有同時取得普通光圖像和特殊光圖像的情況下，針對希望計算出特殊光運動矢量信息的多個(這里是2個)特殊光圖像的每一個，使用時間序列上位于前后的普通光圖像來計算普通光運動矢量信息。然后，利用所計算出的普通光運動矢量信息，能計算特殊光運動矢量信息。以圖2的例子而言，根據(jù)B4前后的Bl和B2求出普通光運動矢量信息VBl。此時，VBl的前半部分與應求出的特殊光運動矢量信息無關，而VBl 的后半部分是與特殊光運動矢量信息重復的部分。同樣，根據(jù)作為B5前后的B2和B3求出的VB2的前半部分，與要求出的特殊光運動矢量信息重復?？梢允褂迷撝貜筒糠謥硗茰y特殊光運動矢量信息。具體而言，所謂相對于第k特殊光圖像在時間序列上位于前后的普通光圖像，可以是第ρ (ρ是自然數(shù))普通光圖像和第P+1普通光圖像，所謂相對于第k+i特殊光圖像在時間序列上位于前后的普通光圖像，可以是第q普通光圖像和第q+Ι普通光圖像。這里，第 P普通光圖像和第P+1普通光圖像可以是緊跟第k特殊光圖像之前、之后的普通光圖像，也
20可以不是。同樣，第q(q是自然數(shù))普通光圖像和第q+Ι普通光圖像可以是緊跟第k+Ι特殊光圖像之前、之后的普通光圖像，也可以不是。這里，滿足第ρ普通光圖像是緊跟第k特殊光圖像之前、第p+1普通光圖像是緊跟第k特殊光圖像之后、并且第q普通光圖像是緊跟第k+Ι特殊光圖像之前、第q+Ι普通光圖像是緊跟第k+Ι特殊光圖像之后這樣的條件，進而p+1 = q的情況是圖2所示的例子，相當于本實施方式所例示的結構。即，一張一張地交替取得普通光圖像和特殊光圖像。在這種情況下，特殊光運動矢量信息計算部606可以通過求出第1普通光運動矢量信息和第2普通光運動矢量信息的平均，來計算第k特殊光圖像與第k+Ι特殊光圖像之間的特殊光運動矢量信息。這根據(jù)以下情況可以明確，即如圖2所示，組合VBl的后半部分與VB2的前半部分而得的信息等于VB3。以上，對適用了本發(fā)明的兩個實施方式1 2及其變形例進行了說明，但本發(fā)明不限于各實施方式1 2及其變形例的原樣，在實施階段，可以在不脫離本發(fā)明主旨的范圍內對構成要件進行變形而具體化。此外，通過適當組合上述各實施方式1 2及其變形例所公開的多個構成要件，可以形成各種發(fā)明。例如，可以從各實施方式1 2及其變形例所記載的所有構成要件中刪除幾個構成要件。并且，也可以適當?shù)亟M合在不同實施方式和變形例中說明的構成要件。像這樣，可以在不脫離發(fā)明主旨的范圍內進行各種變形和應用。
權利要求
1.一種圖像處理裝置，其特征在于，該圖像處理裝置包括普通光圖像取得部，其取得包括白光波段上的信息的圖像作為普通光圖像； 特殊光圖像取得部，其取得包括特定波段上的信息的圖像作為特殊光圖像； 普通光運動矢量信息計算部，其根據(jù)所述普通光圖像內的特征量，計算表示多個普通光圖像之間的運動矢量的普通光運動矢量信息；以及噪聲降低部，其根據(jù)所計算出的所述普通光運動矢量信息，降低所述特殊光圖像中的噪聲量。
2.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，所述普通光圖像取得部在第1定時取得第1普通光圖像，并且在第2定時取得第2普通光圖像，所述普通光運動矢量信息計算部根據(jù)所述第1普通光圖像內的特征量和所述第2普通光圖像內的特征量，計算所述第1普通光圖像與所述第2普通光圖像之間的所述普通光運動矢量信息。
3.根據(jù)權利要求2所述的圖像處理裝置，其特征在于，所述普通光運動矢量信息計算部通過使用所述第1普通光圖像內的特征量和所述第2 普通光圖像內的特征量進行匹配處理，來計算所述普通光運動矢量信息。
4.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，該圖像處理裝置還包括特殊光運動矢量信息計算部，該特殊光運動矢量信息計算部根據(jù)計算出的所述普通光運動矢量信息，計算表示所述特殊光圖像之間的運動矢量的特殊光運動矢量信息，所述噪聲降低部使用計算出的所述特殊光運動矢量信息，降低所述特殊光圖像中的噪聲量。
5.根據(jù)權利要求4所述的圖像處理裝置，其特征在于，所述特殊光圖像取得部在第1定時取得第1特殊光圖像，并且在第2定時取得第2特殊光圖像，所述特殊光運動矢量信息計算部根據(jù)計算出的所述普通光運動矢量信息，計算所述第 1特殊光圖像與所述第2特殊光圖像之間的所述特殊光運動矢量信息，所述噪聲降低部使用所述特殊光運動矢量信息，降低所述第1特殊光圖像或所述第2 特殊光圖像中的噪聲量。
6.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，該圖像處理裝置還包括特殊光運動矢量信息計算部，該特殊光運動矢量信息計算部根據(jù)所述普通光運動矢量信息，計算表示所述特殊光圖像之間的運動矢量的特殊光運動矢量 fn息，所述特殊光運動矢量信息計算部包括校正部，該校正部根據(jù)所述普通光圖像和所述特殊光圖像對所計算出的所述普通光運動矢量信息進行校正。
7.根據(jù)權利要求6所述的圖像處理裝置，其特征在于，所述校正部根據(jù)所述普通光圖像的解像度與所述特殊光圖像的解像度的比較結果，對計算出的所述普通光運動矢量信息進行校正。
8.根據(jù)權利要求7所述的圖像處理裝置，其特征在于，所述校正部通過對計算出的所述普通光運動矢量信息乘以根據(jù)所述普通光圖像的解像度與所述特殊光圖像的解像度的比較結果而確定的、所述普通光運動矢量信息的放大率或縮小率，校正所述普通光運動矢量信息。
9.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，該圖像處理裝置還包括特殊光運動矢量信息計算部，所述普通光圖像取得部按時間序列取得多個普通光圖像作為所述普通光圖像，所述特殊光圖像取得部按時間序列取得多個特殊光圖像作為所述特殊光圖像，所述普通光運動矢量信息計算部根據(jù)相對于所述多個特殊光圖像中第k特殊光圖像在時間序列上位于前后的多個普通光圖像，求出第1普通光運動矢量信息，并且根據(jù)相對于第k+Ι特殊光圖像在時間序列上位于前后的多個普通光圖像，求出第2普通光運動矢量信息，其中，k為自然數(shù)，所述特殊光運動矢量信息計算部根據(jù)所述第1普通光運動矢量信息和所述第2普通光運動矢量信息，計算所述第k特殊光圖像與所述第k+Ι特殊光圖像之間的特殊光運動矢量 fn息ο
10.根據(jù)權利要求9所述的圖像處理裝置，其特征在于，所述普通光運動矢量信息計算部根據(jù)相對于所述多個特殊光圖像中第k特殊光圖像在時間序列上位于前面的第ρ普通光圖像、和在時間序列上位于后面的第P+1普通光圖像， 求出所述第1普通光運動矢量信息，并且根據(jù)相對于第k+Ι特殊光圖像在時間序列上位于前面的第q普通光圖像、和在時間序列上位于后面的第q+Ι普通光圖像，求出所述第2普通光運動矢量信息，其中，k、ρ、q均為自然數(shù)，所述特殊光運動矢量信息計算部根據(jù)所述第1普通光運動矢量信息和所述第2普通光運動矢量信息，計算所述第k特殊光圖像與所述第k+Ι特殊光圖像之間的特殊光運動矢量 fn息ο
11.根據(jù)權利要求9所述的圖像處理裝置，其特征在于，所述特殊光運動矢量信息計算部計算對所述第1普通光運動矢量信息和所述第2普通光運動矢量信息進行平均而得到的運動矢量信息，作為所述第k特殊光圖像與所述第k+1 特殊光圖像之間的所述特殊光運動矢量信息。
12.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，所述特殊光圖像取得部在第1定時取得第1特殊光圖像，并且在第2定時取得第2特殊光圖像，所述噪聲降低部根據(jù)所述普通光運動矢量信息，在所述第2特殊光圖像內設定與所述第1特殊光圖像內的第1處理對象區(qū)域對應的區(qū)域即第2處理對象區(qū)域，所述噪聲降低部根據(jù)所述第1處理對象區(qū)域的特征量和所述第2處理對象區(qū)域的特征量，降低所述第1處理對象區(qū)域或所述第2處理對象區(qū)域中的噪聲量。
13.根據(jù)權利要求12所述的圖像處理裝置，其特征在于，所述噪聲降低部包括噪聲量推測部，該噪聲量推測部根據(jù)所述第1處理對象區(qū)域的特征量與所述第2處理對象區(qū)域的特征量之間的差分量，推測應包含在所述第2處理對象區(qū)域中的第2噪聲量，所述噪聲降低部通過求出所述噪聲量推測部推測出的所述第2噪聲量與所述第2處理對象區(qū)域的特征量之間的差分，來降低所述第2處理對象區(qū)域中的噪聲量。
14.根據(jù)權利要求13所述的圖像處理裝置，其特征在于，所述噪聲量推測部取得第1處理對象區(qū)域的特征量和第2處理對象區(qū)域的特征量的差分值、與要推測的噪聲量之間的對應關系信息，根據(jù)所取得的所述對應關系信息推測所述第2噪聲量。
15.根據(jù)權利要求12所述的圖像處理裝置，其特征在于，所述噪聲降低部通過進行使所述第1處理對象區(qū)域的特征量與所述第2處理對象區(qū)域的特征量之差接近零的控制，來降低所述第1處理對象區(qū)域或所述第2處理對象區(qū)域中的噪聲量。
16.根據(jù)權利要求1所述的圖像處理裝置，其特征在于， 所述特定波段是比所述白光波段窄的波段。
17.根據(jù)權利要求16所述的圖像處理裝置，其特征在于，所述普通光圖像和所述特殊光圖像是對生物體內進行拍攝而得到的生物體內圖像， 包含在所述生物體內圖像中的所述特定波段是被血液中的血紅蛋白吸收的波長的波段。
18.根據(jù)權利要求17所述的圖像處理裝置，其特征在于， 所述波段是390nm 445nm或530nm 550nm。
19.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，所述普通光圖像和所述特殊光圖像是對生物體內進行拍攝而得到的生物體內圖像， 包含在所述生物體內圖像中的所述特定波段是熒光物質發(fā)出的熒光的波段。
20.根據(jù)權利要求19所述的圖像處理裝置，其特征在于， 所述特定波段是490nm 625nm的波段。
21.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，所述普通光圖像和所述特殊光圖像是對生物體內進行拍攝而得到的生物體內圖像， 包含在所述生物體內圖像中的所述特定波段是紅外光的波段。
22.根據(jù)權利要求21所述的圖像處理裝置，其特征在于， 所述波段是790nm 820nm或905nm 970nm的波段。
全文摘要
本發(fā)明提供一種圖像處理裝置，其根據(jù)多個普通光圖像求出普通光運動矢量，將普通光運動矢量還使用于特殊光圖像，由此能進行適當?shù)脑肼暯档吞幚?。圖像處理裝置包括普通光圖像取得部(213)，其取得包括白光波段上的信息的圖像作為普通光圖像；特殊光圖像取得部(214)，其取得包括特定波段上的信息的圖像作為特殊光圖像；普通光運動矢量信息計算部(215)，其根據(jù)普通光圖像內的特征量，計算表示多個普通光圖像之間的運動矢量的普通光運動矢量信息；以及噪聲降低部，其根據(jù)所計算出的普通光運動矢量信息，降低特殊光圖像中的噪聲量。
文檔編號H04N5/21GK102316247SQ20111017708
公開日2012年1月11日 申請日期2011年6月28日 優(yōu)先權日2010年6月29日
發(fā)明者溫成剛 申請人:奧林巴斯株式會社