本發(fā)明涉及對(duì)攝像元件所生成的攝像信號(hào)實(shí)施信號(hào)處理而生成圖像信號(hào)的圖像處理裝置、圖像處理方法、圖像處理程序、以及具有該圖像處理裝置的內(nèi)窺鏡裝置。

背景技術(shù)：

以往，在醫(yī)療領(lǐng)域和工業(yè)領(lǐng)域中為了各種檢查而廣泛使用內(nèi)窺鏡裝置。其中，關(guān)于醫(yī)療用的內(nèi)窺鏡裝置，通過(guò)將撓性的插入部插入到患者等被檢體的體腔內(nèi)，即使不切開被檢體也能夠獲取體腔內(nèi)的體內(nèi)圖像，因此對(duì)被檢體的負(fù)擔(dān)小，而得以普及，該插入部呈細(xì)長(zhǎng)形狀，在前端設(shè)置有具有多個(gè)像素的攝像元件。

作為這樣的內(nèi)窺鏡裝置的觀察方式，使用了白色的照明光(白色照明光)的白色照明光觀察方式和使用了比白色的波段窄的波段即窄帶的照明光(窄帶照明光)的窄帶光觀察方式被廣為人知。其中，窄帶光觀察方式例如能夠獲得對(duì)存在于生物體的粘膜表層(生物體表層)的毛細(xì)血管和粘膜細(xì)微圖案等進(jìn)行強(qiáng)調(diào)顯示的圖像。根據(jù)這樣的窄帶光觀察方式，能夠更準(zhǔn)確地發(fā)現(xiàn)生物體的粘膜表層中的病變部。關(guān)于這樣的內(nèi)窺鏡裝置的觀察方式，期望切換白色照明光觀察方式與窄帶光觀察方式進(jìn)行觀察。

作為切換白色照明光觀察方式與窄帶光觀察方式進(jìn)行觀察的技術(shù)，提出了一種內(nèi)窺鏡系統(tǒng)，該內(nèi)窺鏡系統(tǒng)能夠切換白色照明光觀察模式與窄帶光觀察模式，在所述白色照明光觀察模式中，對(duì)體腔內(nèi)的組織依次照射r、g、b這三原色的照明光，根據(jù)它們的反射光而生成白色照明光觀察圖像；在所述窄帶光觀察模式中，依次照射由分別包含于藍(lán)色光和綠色光的波段的兩個(gè)窄帶光構(gòu)成的照明光，根據(jù)它們的反射光圖像而生成窄帶光觀察圖像。(例如參照專利文獻(xiàn)1)。關(guān)于分別包含于藍(lán)色光和綠色光的波段的兩個(gè)窄帶光，血管的血紅蛋白的吸收特性和基于波長(zhǎng)的針對(duì)活體的深度方向衰減量不同。在特殊光觀察圖像中，通過(guò)藍(lán)色光的波段中包含的窄帶光能夠捕捉到表層的毛細(xì)血管和表層的粘膜構(gòu)造，通過(guò)綠色光的波段中包含的窄帶光能夠捕捉到深層的更粗的血管。

為了通過(guò)單板的攝像元件獲取攝像圖像以按照上述的觀察方式生成彩色圖像并進(jìn)行顯示，在該攝像元件的受光面上通常設(shè)置有被稱作拜耳排列的濾色鏡，該濾色鏡是按照每個(gè)像素將分別透射紅色(r)、綠色(g)、綠色(g)和藍(lán)色(b)波段的光的濾鏡作為一個(gè)濾鏡單位(單元)排列而成的。這種情況下，各像素接受透過(guò)濾鏡的波段的光而生成與該波段的光對(duì)應(yīng)的顏色成分的電信號(hào)。因此，在生成彩色圖像的處理中進(jìn)行插值處理，對(duì)在各像素中未透過(guò)濾鏡而缺失的顏色成分的信號(hào)值進(jìn)行插值。這樣的插值處理被稱作去馬賽克處理。下面，將由g像素(是指配置有g(shù)濾鏡的像素。r像素、b像素也同樣定義)獲取的信號(hào)稱作g信號(hào)(r像素的情況下稱作r信號(hào)，b像素的情況下稱作b信號(hào))。

作為去馬賽克處理的一例，示出了如下技術(shù)：對(duì)缺失g信號(hào)的r像素和b像素利用其周邊g像素的相關(guān)性來(lái)對(duì)r像素和b像素中的g信號(hào)進(jìn)行插值，針對(duì)使用r像素的r信號(hào)或b像素位置的b信號(hào)而計(jì)算出的色差信號(hào)(r-g信號(hào)和b-g信號(hào))，在對(duì)缺失色差信號(hào)的像素位置的插值處理中，使用在g信號(hào)的插值時(shí)使用的周邊g像素的相關(guān)性對(duì)色差信號(hào)進(jìn)行插值(例如參照專利文獻(xiàn)2)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開2006-68113號(hào)公報(bào)

專利文獻(xiàn)2：日本特開2005-333418號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的課題

在根據(jù)通過(guò)拜耳排列而獲得的電信號(hào)進(jìn)行去馬賽克處理時(shí)，在白色照明光觀察方式中，通過(guò)使用g像素的信號(hào)值進(jìn)行插值處理能夠確保較高的分辨率，但是，在窄帶光觀察方式中，由于g像素與b像素的顏色相關(guān)性較低，因此即使進(jìn)行與上述同樣的插值處理，有時(shí)也無(wú)法獲得較高分辨率的圖像。

本發(fā)明就是鑒于上述情況而完成的，其目的在于提供無(wú)論在白色照明光觀察方式和窄帶光觀察方式中的哪種觀察方式中都能夠獲得較高分辨率的圖像的圖像處理裝置、圖像處理方法、圖像處理程序、以及內(nèi)窺鏡裝置。

用于解決課題的手段

為了解決上述課題并實(shí)現(xiàn)目的，本發(fā)明的圖像處理裝置其根據(jù)從攝像元件輸出的電信號(hào)而生成圖像信號(hào)，所述攝像元件呈矩陣狀配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各個(gè)顏色成分的密度高，所述攝像元件對(duì)第一像素和第二像素分別接受到的光進(jìn)行光電轉(zhuǎn)換而生成所述電信號(hào)，所述第一像素生成包含紅色、綠色以及藍(lán)色的波段的光在內(nèi)的白色照明光的亮度成分即第一亮度成分的電信號(hào)，所述第二像素生成包含第二亮度成分在內(nèi)的顏色成分的電信號(hào)，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光構(gòu)成的窄帶照明光的亮度成分，其特征在于，所述圖像處理裝置具有：插值色差計(jì)算部，其根據(jù)所述第二像素的位置處的該第二像素周邊的所述第一像素的電信號(hào)對(duì)所述第一亮度成分的電信號(hào)進(jìn)行插值，生成取通過(guò)該插值而生成的亮度成分的電信號(hào)與所述第二像素生成的顏色成分的電信號(hào)之差而得的色差信號(hào)；色差插值部，其根據(jù)所述插值色差計(jì)算部生成的色差信號(hào)對(duì)插值方向進(jìn)行判別，對(duì)在各像素位置處缺失的色差信號(hào)進(jìn)行插值；以及圖像信號(hào)生成部，其根據(jù)所述色差插值部生成的插值后的色差信號(hào)和所述插值色差計(jì)算部生成的所述亮度成分的電信號(hào)，生成所述第二像素所生成的顏色成分的電信號(hào)。

為了解決上述課題并實(shí)現(xiàn)目的，本發(fā)明的圖像處理方法根據(jù)從攝像元件輸出的電信號(hào)而生成圖像信號(hào)，所述攝像元件呈矩陣狀配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各個(gè)顏色成分的密度高，所述攝像元件對(duì)第一像素和第二像素分別接受到的光進(jìn)行光電轉(zhuǎn)換而生成所述電信號(hào)，所述第一像素生成包含紅色、綠色以及藍(lán)色的波段的光在內(nèi)的白色照明光的亮度成分即第一亮度成分的電信號(hào)，所述第二像素生成包含第二亮度成分在內(nèi)的顏色成分的電信號(hào)，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光構(gòu)成的窄帶照明光的亮度成分，其特征在于，所述圖像處理方法具有如下步驟：插值色差計(jì)算步驟，根據(jù)所述第二像素的位置處的該第二像素周邊的所述第一像素的電信號(hào)對(duì)所述第一亮度成分的電信號(hào)進(jìn)行插值，生成取通過(guò)該插值而生成的亮度成分的電信號(hào)與所述第二像素生成的顏色成分的電信號(hào)之差而得的色差信號(hào)；色差插值步驟，根據(jù)在所述插值色差計(jì)算步驟中生成的色差信號(hào)對(duì)插值方向進(jìn)行判別，對(duì)在各像素位置處缺失的色差信號(hào)進(jìn)行插值；以及圖像信號(hào)生成步驟，根據(jù)在所述色差插值步驟中生成的插值后的色差信號(hào)和在所述插值色差計(jì)算步驟中生成的所述亮度成分的電信號(hào)，而生成所述第二像素所生成的顏色成分的電信號(hào)。

為了解決上述課題并實(shí)現(xiàn)目的，本發(fā)明的圖像處理程序根據(jù)從攝像元件輸出的電信號(hào)而生成圖像信號(hào)，所述攝像元件呈矩陣狀配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各個(gè)顏色成分的密度高，所述攝像元件對(duì)第一像素和第二像素分別接受到的光進(jìn)行光電轉(zhuǎn)換而生成所述電信號(hào)，所述第一像素生成包含紅色、綠色以及藍(lán)色的波段的光在內(nèi)的白色照明光的亮度成分即第一亮度成分的電信號(hào)，所述第二像素生成包含第二亮度成分在內(nèi)的顏色成分的電信號(hào)，所述第二亮度成分是由波段比所述白色照明光的波段更窄的光構(gòu)成的窄帶照明光的亮度成分，其特征在于，該圖像處理程序使計(jì)算機(jī)執(zhí)行如下步驟：插值色差計(jì)算步驟，根據(jù)所述第二像素的位置處的該第二像素周邊的所述第一像素的電信號(hào)對(duì)所述第一亮度成分的電信號(hào)進(jìn)行插值，生成取通過(guò)該插值而生成的亮度成分的電信號(hào)與所述第二像素生成的顏色成分的電信號(hào)之差而得的色差信號(hào)；色差插值步驟，根據(jù)在所述插值色差計(jì)算步驟中生成的色差信號(hào)對(duì)插值方向進(jìn)行判別，對(duì)在各像素位置處缺失的色差信號(hào)進(jìn)行插值；以及圖像信號(hào)生成步驟，根據(jù)在所述色差插值步驟中生成的插值后的色差信號(hào)和在所述插值色差計(jì)算步驟中生成的所述亮度成分的電信號(hào)，而生成所述第二像素所生成的顏色成分的電信號(hào)。

為了解決上述課題并實(shí)現(xiàn)目的，本發(fā)明的內(nèi)窺鏡裝置具有：光源部，其射出包含紅色、綠色以及藍(lán)色的波段的光在內(nèi)的白色照明光或由波段比所述白色照明光的波段更窄的光構(gòu)成的窄帶照明光；攝像元件，其呈矩陣狀配置有第一像素和第二像素，且所述第一像素的密度比所述第二像素的各個(gè)顏色成分的密度高，所述攝像元件對(duì)第一像素和第二像素分別接受到的光進(jìn)行光電轉(zhuǎn)換而生成電信號(hào)，所述第一像素生成所述白色照明光的亮度成分即第一亮度成分的電信號(hào)，所述第二像素生成包含第二亮度成分在內(nèi)的顏色成分的電信號(hào)，所述第二亮度成分是所述窄帶照明光的亮度成分；以及上述發(fā)明的圖像處理裝置。

發(fā)明效果

根據(jù)本發(fā)明實(shí)現(xiàn)了以下效果：無(wú)論在白色照明光觀察方式和窄帶光觀察方式中的哪種觀察方式中都能夠獲得較高的分辨率的圖像。

附圖說(shuō)明

圖1是示出本發(fā)明的實(shí)施方式一的內(nèi)窺鏡裝置的概略結(jié)構(gòu)的圖。

圖2是示出本發(fā)明的實(shí)施方式一的內(nèi)窺鏡裝置的概略結(jié)構(gòu)的示意圖。

圖3是示出本發(fā)明的實(shí)施方式一的攝像元件的像素的結(jié)構(gòu)的示意圖。

圖4是示出本發(fā)明的實(shí)施方式一的濾色鏡的結(jié)構(gòu)的一例的示意圖。

圖5是示出本發(fā)明的實(shí)施方式一的內(nèi)窺鏡裝置的照明部射出的照明光的波長(zhǎng)與光量的關(guān)系的曲線圖。

圖6是示出基于本發(fā)明的實(shí)施方式一的內(nèi)窺鏡裝置的照明部所具有的切換濾鏡的照明光的波長(zhǎng)與透射率的關(guān)系的曲線圖。

圖7是對(duì)本發(fā)明的實(shí)施方式一的處理器部的預(yù)處理部的結(jié)構(gòu)進(jìn)行說(shuō)明的框圖。

圖8是對(duì)本發(fā)明的實(shí)施方式一的處理器部的插值處理部的結(jié)構(gòu)進(jìn)行說(shuō)明的框圖。

圖9是對(duì)本發(fā)明的實(shí)施方式一的處理器部進(jìn)行的去馬賽克處理進(jìn)行說(shuō)明的示意圖。

圖10是對(duì)本發(fā)明的實(shí)施方式一的處理器部進(jìn)行的去馬賽克處理進(jìn)行說(shuō)明的示意圖。

圖11是對(duì)本發(fā)明的實(shí)施方式一的處理器部進(jìn)行的信號(hào)處理進(jìn)行說(shuō)明的流程圖。

圖12是示出本發(fā)明的實(shí)施方式一的變形例的內(nèi)窺鏡裝置的概略結(jié)構(gòu)的示意圖。

圖13是示出本發(fā)明的實(shí)施方式一的變形例的光源部的旋轉(zhuǎn)濾鏡的結(jié)構(gòu)的示意圖。

圖14是示出基于本發(fā)明的實(shí)施方式一的變形例的內(nèi)窺鏡裝置的照明部所具有的濾鏡的照明光的波長(zhǎng)與透射率的關(guān)系的曲線圖。

圖15是示出本發(fā)明的實(shí)施方式二的內(nèi)窺鏡裝置的概略結(jié)構(gòu)的示意圖。

圖16是對(duì)本發(fā)明的實(shí)施方式二的處理器部的預(yù)處理部的結(jié)構(gòu)進(jìn)行說(shuō)明的框圖。

圖17是示意性地說(shuō)明本發(fā)明的實(shí)施方式二的內(nèi)窺鏡裝置的運(yùn)動(dòng)矢量檢測(cè)處理部進(jìn)行的攝像時(shí)刻不同的圖像間的運(yùn)動(dòng)的圖。

圖18是對(duì)本發(fā)明的實(shí)施方式二的處理器部的插值處理部的結(jié)構(gòu)進(jìn)行說(shuō)明的框圖。

圖19是對(duì)本發(fā)明的實(shí)施方式二的處理器部進(jìn)行的去馬賽克處理進(jìn)行說(shuō)明的示意圖。

圖20是對(duì)本發(fā)明的實(shí)施方式二的處理器部進(jìn)行的去馬賽克處理進(jìn)行說(shuō)明的示意圖。

圖21是對(duì)本發(fā)明的實(shí)施方式二的處理器部進(jìn)行的去馬賽克處理進(jìn)行說(shuō)明的示意圖。

圖22是對(duì)本發(fā)明的實(shí)施方式二的處理器部進(jìn)行的去馬賽克處理的另外一例進(jìn)行說(shuō)明的示意圖。

圖23是對(duì)本發(fā)明的實(shí)施方式二的處理器部進(jìn)行的信號(hào)處理進(jìn)行說(shuō)明的流程圖。

具體實(shí)施方式

下面，對(duì)用于實(shí)施本發(fā)明的方式(下面稱作“實(shí)施方式”)進(jìn)行說(shuō)明。在實(shí)施方式中對(duì)醫(yī)療用的內(nèi)窺鏡裝置進(jìn)行說(shuō)明，該醫(yī)療用的內(nèi)窺鏡裝置包含本發(fā)明的圖像處理裝置，拍攝患者等被檢體的體腔內(nèi)的圖像來(lái)進(jìn)行顯示。并且，該發(fā)明不受該實(shí)施方式限定。并且，在附圖的說(shuō)明中對(duì)相同部分標(biāo)注相同的標(biāo)號(hào)進(jìn)行說(shuō)明。

另外，在下面的實(shí)施方式中，將形成白色光的光的波段中的一部分波段作為“窄帶”進(jìn)行了說(shuō)明，但該窄帶只要是比白色光的波段窄的范圍的波段即可，并且也可以包含白色光(可見光)的波段范圍外的波段(例如紅外、紫外等)。

(實(shí)施方式一)

圖1是示出本發(fā)明的實(shí)施方式一的內(nèi)窺鏡裝置的概略結(jié)構(gòu)的圖。圖2是示出本實(shí)施方式一的內(nèi)窺鏡裝置的概略結(jié)構(gòu)的示意圖。圖1和圖2所示的內(nèi)窺鏡裝置1具有：內(nèi)窺鏡2，其通過(guò)將插入部21插入到被檢體的體腔內(nèi)對(duì)觀察部位的體內(nèi)圖像進(jìn)行拍攝而生成電信號(hào)；光源部3，其產(chǎn)生從內(nèi)窺鏡2的前端射出的照明光；處理器部4，其對(duì)內(nèi)窺鏡2所獲取的電信號(hào)實(shí)施規(guī)定的圖像處理，并且對(duì)內(nèi)窺鏡裝置1整體的動(dòng)作統(tǒng)一進(jìn)行控制；以及顯示部5，其顯示由處理器部4實(shí)施了圖像處理后的體內(nèi)圖像。關(guān)于內(nèi)窺鏡裝置1，將插入部21插入到患者等被檢體的體腔內(nèi)而獲取體腔內(nèi)的體內(nèi)圖像。醫(yī)生等使用者通過(guò)對(duì)所獲取的體內(nèi)圖像進(jìn)行觀察來(lái)檢查有無(wú)作為檢測(cè)對(duì)象部位的出血部位或腫瘤部位(病變部s)。

內(nèi)窺鏡2具有：呈細(xì)長(zhǎng)形狀的插入部21，其具有撓性；操作部22，其與插入部21的基端側(cè)連接，接收各種操作信號(hào)的輸入；以及通用纜線23，其從操作部22向與插入部21延伸的方向不同的方向延伸，且內(nèi)置有與光源部3和處理器部4連接的各種線纜。

插入部21具有：前端部24，其內(nèi)置有攝像元件202，該攝像元件202的接受光的像素(光電二極管)被排列成格子(矩陣)狀，該攝像元件202通過(guò)對(duì)該像素所接受的光進(jìn)行光電轉(zhuǎn)換而生成圖像信號(hào)；彎曲自如的彎曲部25，其由多個(gè)彎曲塊構(gòu)成；以及長(zhǎng)條狀的撓性管部26，其與彎曲部25的基端側(cè)連接，并具有撓性。

操作部22具有：彎曲旋鈕221，其使彎曲部25向上下方向和左右方向彎曲；處置器具插入部222，其將生物體鉗子、電手術(shù)刀以及檢查探針等處置器具插入到被檢體的體腔內(nèi)；以及多個(gè)開關(guān)223，其輸入用于使光源部3進(jìn)行照明光的切換動(dòng)作的指示信號(hào)、處置器具或與處理器部4連接的外部設(shè)備的操作指示信號(hào)、用于進(jìn)行送水的送水指示信號(hào)、以及用于進(jìn)行抽吸的抽吸指示信號(hào)等。從處置器具插入部222插入的處置器具經(jīng)由設(shè)置于前端部24的前端的處置器具通道(未圖示)從開口部(未圖示)露出。

通用纜線23至少內(nèi)置有光導(dǎo)203和匯集了一條或多條信號(hào)線的集合線纜。集合線纜是在內(nèi)窺鏡2和光源部3與處理器4之間發(fā)送接收信號(hào)的信號(hào)線，且該集合線纜包含用于發(fā)送接收設(shè)定數(shù)據(jù)的信號(hào)線、用于發(fā)送接收?qǐng)D像信號(hào)的信號(hào)線、以及用于發(fā)送接收用于驅(qū)動(dòng)攝像元件202的驅(qū)動(dòng)用時(shí)刻信號(hào)的信號(hào)線等。

并且，內(nèi)窺鏡2具有攝像光學(xué)系統(tǒng)201、攝像元件202、光導(dǎo)203、照明用透鏡204、a/d轉(zhuǎn)換部205以及攝像信息存儲(chǔ)部206。

攝像光學(xué)系統(tǒng)201設(shè)置于前端部24，至少對(duì)來(lái)自觀察部位的光進(jìn)行聚光。使用一個(gè)或多個(gè)透鏡構(gòu)成攝像光學(xué)系統(tǒng)201。另外，在攝像光學(xué)系統(tǒng)201中也可以設(shè)置有使視場(chǎng)角變化的光學(xué)變焦機(jī)構(gòu)和使焦點(diǎn)變化的對(duì)焦機(jī)構(gòu)。

攝像元件202設(shè)置成與攝像光學(xué)系統(tǒng)201的光軸垂直，對(duì)由攝像光學(xué)系統(tǒng)201所成的光的像進(jìn)行光電轉(zhuǎn)換而生成電信號(hào)(圖像信號(hào))。攝像元件202使用ccd(chargecoupleddevice：電荷耦合器件)圖像傳感器或cmos(complementarymetaloxidesemiconductor：互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器等來(lái)實(shí)現(xiàn)。

圖3是示出本實(shí)施方式一的攝像元件的像素的結(jié)構(gòu)的示意圖。攝像元件202的接受來(lái)自攝像光學(xué)系統(tǒng)201的光的多個(gè)像素被排列成格子(矩陣)狀。而且，攝像元件202通過(guò)對(duì)各個(gè)像素接受到的光進(jìn)行光電轉(zhuǎn)換而生成電信號(hào)(也稱作圖像信號(hào)等)。在該電信號(hào)中包含各像素的像素值(亮度值)和像素的位置信息等。在圖3中，將配置于第i行第j列的像素記為像素pij。

攝像元件202具有濾色鏡202a，該濾色鏡202a設(shè)置于攝像光學(xué)系統(tǒng)201與該攝像元件202之間，具有分別透射單獨(dú)設(shè)定的波段的光的多個(gè)濾鏡。濾色鏡202a設(shè)置于攝像元件202的受光面上。

圖4是示出本實(shí)施方式一的濾色鏡的結(jié)構(gòu)的一例的示意圖。濾色鏡202a是根據(jù)像素pij的配置將濾鏡單元u1排列成矩陣狀配置而成的，其中，該濾鏡單元u1由排列成兩行兩列的矩陣狀的四個(gè)濾鏡構(gòu)成。換言之，濾色鏡202a是將濾鏡單元u1的濾鏡排列作為基本圖案而按照該基本圖案重復(fù)配置而成的。在各像素的受光面上分別配置有透射規(guī)定波段的光的一個(gè)濾鏡。因此，設(shè)置有濾鏡的像素pij接受該濾鏡所透射的波段的光。例如，設(shè)置有透射綠色波段的光的濾鏡的像素pij接受綠色波段的光。下面，將接受綠色波段的光的像素pij稱作g像素。同樣地，將接受藍(lán)色波段的光的像素稱作b像素，將接受紅色波段的光的像素稱作r像素。

這里的濾鏡單元u1透射藍(lán)色(b)的波段hb、綠色(g)的波段hg以及紅色(r)的波段hr的光。除此之外，濾鏡單元u1使用透射波段hb的光的藍(lán)色濾鏡(b濾鏡)、透射波段hg的光的綠色濾鏡(g濾鏡)、以及透射波段hr的光的紅色濾鏡(r濾鏡)構(gòu)成，且該濾鏡單元u1形成兩個(gè)g濾鏡對(duì)角配置并且b濾鏡和r濾鏡對(duì)角配置的所謂拜耳排列。在濾鏡單元u1中，g濾鏡的密度比b濾鏡和r濾鏡的密度高。換言之，在攝像元件202中，g像素的密度比b像素和r像素的密度高。藍(lán)色、綠色以及紅色的波段hb、hg以及hr例如是：波段hb為380nm～500nm、波段hg為480nm～600nm、波段hr為580nm～650nm。

返回圖1和圖2的說(shuō)明，光導(dǎo)203使用玻璃纖維等構(gòu)成，形成光源部3射出的光的導(dǎo)光路。

照明用透鏡204設(shè)置于光導(dǎo)203的前端，對(duì)光導(dǎo)203所引導(dǎo)的光進(jìn)行擴(kuò)散并射出到前端部24的外部。

a/d轉(zhuǎn)換部205對(duì)攝像元件202生成的電信號(hào)進(jìn)行a/d轉(zhuǎn)換并將該轉(zhuǎn)換后的電信號(hào)輸出給處理器部4。a/d轉(zhuǎn)換部205將攝像元件202生成的電信號(hào)例如轉(zhuǎn)換為12位的數(shù)字?jǐn)?shù)據(jù)(圖像信號(hào))。

攝像信息存儲(chǔ)部206存儲(chǔ)包含用于使內(nèi)窺鏡2進(jìn)行動(dòng)作的各種程序、內(nèi)窺鏡2的動(dòng)作所需的各種參數(shù)以及該內(nèi)窺鏡2的識(shí)別信息等在內(nèi)的數(shù)據(jù)。并且，攝像信息存儲(chǔ)部206具有存儲(chǔ)識(shí)別信息的識(shí)別信息存儲(chǔ)部261。識(shí)別信息中包含內(nèi)窺鏡2的固有信息(id)、年代型號(hào)、規(guī)格信息、傳輸方式以及濾色鏡202a的濾鏡的排列信息等。攝像信息存儲(chǔ)部206使用閃存等來(lái)實(shí)現(xiàn)。

接著，對(duì)光源部3的結(jié)構(gòu)進(jìn)行說(shuō)明。光源部3具有照明部31和照明控制部32。

照明部31在照明控制部32的控制下，對(duì)波段相互不同的多個(gè)照明光進(jìn)行切換并射出。照明部31具有光源31a、光源驅(qū)動(dòng)器31b、切換濾鏡31c、驅(qū)動(dòng)部31d、驅(qū)動(dòng)用驅(qū)動(dòng)器31e以及聚光透鏡31f。

光源31a在照明控制部32的控制下射出包含紅色、綠色以及藍(lán)色的波段hr、hg以及hb的光在內(nèi)的白色照明光。光源31a產(chǎn)生的白色照明光經(jīng)由切換濾鏡31c、聚光透鏡31f以及光導(dǎo)203從前端部24向外部射出。光源31a使用白色led或氙氣燈等發(fā)出白色光的光源來(lái)實(shí)現(xiàn)。

光源驅(qū)動(dòng)器31b在照明控制部32的控制下，通過(guò)對(duì)光源31a提供電流而使光源31a射出白色照明光。

切換濾鏡31c僅透射光源31a射出的白色照明光中的藍(lán)色的窄帶光和綠色的窄帶光。切換濾鏡31c在照明控制部32的控制下插拔自如地配置于光源31a射出的白色照明光的光路上。切換濾鏡31c通過(guò)配置于白色照明光的光路上而僅透射兩種窄帶光。具體而言，切換濾鏡31c透射窄帶照明光，該窄帶照明光由包含于波段hb的窄帶tb(例如400nm～445nm)的光和包含于波段hg的窄帶tg(例如530nm～550nm)的光構(gòu)成。該窄帶tb、tg是容易被血液中的血紅蛋白吸收的藍(lán)色光和綠色光的波段。另外，窄帶tb只要至少包含405nm～425nm即可。將限制于該波段而射出的光稱作窄帶照明光，將基于該窄帶照明光的圖像的觀察稱作窄帶光觀察(nbi)方式。

驅(qū)動(dòng)部31d使用步進(jìn)馬達(dá)或dc電動(dòng)機(jī)等構(gòu)成，該驅(qū)動(dòng)部31d使切換濾鏡31c相對(duì)于光源31a的光路進(jìn)行插拔動(dòng)作。

驅(qū)動(dòng)用驅(qū)動(dòng)器31e在照明控制部32的控制下向驅(qū)動(dòng)部31d提供規(guī)定的電流。

聚光透鏡31f對(duì)光源31a射出的白色照明光或者透過(guò)切換濾鏡31c的窄帶照明光進(jìn)行聚光而向光源部3的外部(光導(dǎo)203)射出。

照明控制部32通過(guò)控制光源驅(qū)動(dòng)器31b而使光源31a進(jìn)行開啟/關(guān)閉動(dòng)作，并控制驅(qū)動(dòng)用驅(qū)動(dòng)器31e而使切換濾鏡31c相對(duì)于光源31a的光路進(jìn)行插拔動(dòng)作，從而控制由照明部31射出的照明光的種類(波段)。

具體而言，照明控制部32通過(guò)使切換濾鏡31c相對(duì)于光源31a的光路進(jìn)行插拔動(dòng)作，從而進(jìn)行將從照明部31射出的照明光切換成白色照明光和窄帶照明光中的任意一種的控制。換言之，照明控制部32進(jìn)行切換成白色照明光觀察(wli)方式和窄帶光觀察(nbi)方式中的任意一種觀察方式的控制，所述白色照明光觀察(wli)方式使用了包含波段hb、hg以及hr的光在內(nèi)的白色照明光，所述窄帶光觀察(nbi)方式使用了由窄帶tb、tg的光構(gòu)成的窄帶照明光。

這里，在白色照明光觀察(wli)方式中綠色成分(波段hg)為亮度成分(第一亮度成分)，在窄帶光觀察(nbi)方式中藍(lán)色成分(窄帶tb)為亮度成分(第二亮度成分)。因此，在本實(shí)施方式一的攝像元件202中，g像素相當(dāng)于第一像素，b像素和r像素相當(dāng)于第二像素。

圖5是示出本實(shí)施方式一的內(nèi)窺鏡裝置的照明部射出的照明光的波長(zhǎng)與光量的關(guān)系的曲線圖。圖6是示出基于本實(shí)施方式一的內(nèi)窺鏡裝置的照明部所具有的切換濾鏡的照明光的波長(zhǎng)與透射率的關(guān)系的曲線圖。若通過(guò)照明控制部32的控制而使切換濾鏡31c從光源31a的光路移除，則照明部31像圖5所示的白色光光譜那樣射出包含波段hb、hg以及hr的光在內(nèi)的白色照明光。與此相對(duì)，若通過(guò)照明控制部32的控制而使切換濾鏡31c插入到光源31a的光路上，則照明部31射出由窄帶tb、tg的光構(gòu)成的窄帶照明光(參照?qǐng)D6)。

接下來(lái)，對(duì)處理器部4的結(jié)構(gòu)進(jìn)行說(shuō)明。處理器部4具有圖像處理部41、輸入部42、存儲(chǔ)部43以及控制部44。

圖像處理部41根據(jù)來(lái)自內(nèi)窺鏡2(a/d轉(zhuǎn)換部205)的電信號(hào)執(zhí)行規(guī)定的圖像處理而生成顯示部5所顯示的圖像信息。圖像處理部41具有預(yù)處理部411、插值處理部412以及顯示圖像生成處理部413。

預(yù)處理部411對(duì)來(lái)自a/d轉(zhuǎn)換部205的電信號(hào)進(jìn)行光學(xué)黑(opticalblack：ob)鉗位處理、噪聲降低(noisereduction：nr)處理以及白平衡(whitebalance：wb)處理，并將該信號(hào)處理后的圖像信號(hào)輸出給插值處理部412。

圖7是對(duì)本實(shí)施方式一的處理器部的預(yù)處理部的結(jié)構(gòu)進(jìn)行說(shuō)明的框圖。預(yù)處理部411具有ob處理部4111、nr處理部4112以及wb處理部4113。

ob處理部4111對(duì)從a/d轉(zhuǎn)換部205輸入的圖像信號(hào)的r信號(hào)、g信號(hào)以及b信號(hào)分別進(jìn)行ob鉗位處理。在ob鉗位處理中，根據(jù)從內(nèi)窺鏡2(a/d轉(zhuǎn)換部205)輸入的電信號(hào)來(lái)計(jì)算與光學(xué)黑區(qū)域?qū)?yīng)的規(guī)定區(qū)域的平均值，通過(guò)從電信號(hào)減去該平均值從而將黑電平校正為零值。

nr處理部4112從控制部44獲取有關(guān)當(dāng)前的觀察方式是wli還是nbi的觀察方式信息，根據(jù)該觀察方式信息來(lái)變更噪聲降低量，從而對(duì)實(shí)施了ob鉗位處理的圖像信號(hào)進(jìn)行噪聲降低處理。

wb處理部4113對(duì)實(shí)施了噪聲降低處理的圖像信號(hào)實(shí)施基于觀察方式信息的白平衡處理，并將白平衡處理后的圖像信號(hào)輸出給插值處理部412。另外，wb處理部4113在通過(guò)窄帶光觀察(nbi)方式而獲得的通道(顏色成分)的信號(hào)為兩個(gè)(g信號(hào)和b信號(hào))的情況下，成為兩個(gè)通道間信號(hào)的平衡校正處理并且剩余的一個(gè)通道(在本實(shí)施方式一中是r信號(hào))乘以零。

插值處理部412根據(jù)從預(yù)處理部411輸入的圖像信號(hào)，根據(jù)多個(gè)像素的顏色信息(像素值)的相關(guān)來(lái)判別插值方向，并根據(jù)在判別出的插值方向上排列的像素的顏色信息進(jìn)行插值，從而生成具有至少兩個(gè)顏色成分的信號(hào)的彩色圖像信號(hào)。插值處理部412具有g(shù)插值色差計(jì)算部412a(插值色差計(jì)算部)、色差插值部412b以及彩色圖像信號(hào)生成部412c(圖像信號(hào)生成部)。

g插值色差計(jì)算部412a對(duì)從預(yù)處理部411輸入的圖像信號(hào)生成對(duì)缺失g信號(hào)的像素(r像素或b像素)根據(jù)其周邊像素進(jìn)行插值后的g信號(hào)(下面稱作插值g信號(hào))，從而所有的像素位置輸出具有g(shù)信號(hào)或插值g信號(hào)的g信號(hào)圖像。即，通過(guò)g插值色差計(jì)算部412a的插值處理而生成各像素具有g(shù)成分的像素值或插值值的構(gòu)成一張圖像的圖像信號(hào)。

并且，g插值色差計(jì)算部412a根據(jù)r像素或b像素的位置而生成取各顏色成分的信號(hào)與插值g信號(hào)的色差而得的作為色差信號(hào)的r-g信號(hào)或b-g信號(hào)，并作為色差圖像信號(hào)輸出。g插值色差計(jì)算部412a將生成的g信號(hào)圖像輸出到彩色圖像信號(hào)生成部412c，將色差圖像信號(hào)輸出給色差插值部412b。

色差插值部412b針對(duì)從g插值色差計(jì)算部412a輸入的色差圖像信號(hào)對(duì)在各像素位置處缺失的色差信號(hào)進(jìn)行插值，將所有的像素位置具有色差信號(hào)的色差圖像信號(hào)輸出到彩色圖像信號(hào)生成部412c。即，通過(guò)色差插值部412b的插值處理而生成各像素具有色差信號(hào)r-g或b-g的值的構(gòu)成一張圖像的圖像信號(hào)。

彩色圖像信號(hào)生成部412c通過(guò)分別對(duì)各像素位置中的g信號(hào)或插值g信號(hào)和色差信號(hào)(b-g信號(hào)或r-g信號(hào))進(jìn)行相加而生成rgb信號(hào)或gb信號(hào)，并作為彩色圖像信號(hào)而輸出到顯示圖像生成處理部413。具體而言，彩色圖像信號(hào)生成部412c在觀察方式是wli方式的情況下，從色差插值部412b獲取具有b-g信號(hào)的色差圖像信號(hào)和具有r-g信號(hào)的色差圖像信號(hào)，從而生成r成分、g成分以及b成分的信號(hào)(rgb信號(hào))。另一方面，彩色圖像信號(hào)生成部412c在觀察方式是nbi方式的情況下，由于不存在r成分的光，因此從b-g插值部4124僅獲取具有b-g信號(hào)的色差圖像信號(hào)，從而生成g成分和b成分的信號(hào)(gb信號(hào))。

顯示圖像生成處理部413對(duì)由彩色圖像信號(hào)生成部412c生成的彩色圖像信號(hào)實(shí)施灰度轉(zhuǎn)換、放大處理、或粘膜表層的毛細(xì)血管和粘膜細(xì)微圖案等的構(gòu)造的構(gòu)造強(qiáng)調(diào)處理等。顯示圖像生成處理部413實(shí)施了規(guī)定的處理后，將該處理后的信號(hào)輸出給顯示部5作為顯示用的顯示圖像信號(hào)。

輸入部42是用于進(jìn)行用戶對(duì)處理器部4的輸入等的接口，該輸入部42構(gòu)成為包含用于進(jìn)行電源的接通/斷開的電源開關(guān)、用于切換攝影模式和其它各種模式的模式切換按鈕、以及用于切換光源部3的照明光的照明光切換按鈕等。

存儲(chǔ)部43記錄包含用于使內(nèi)窺鏡裝置1進(jìn)行動(dòng)作的各種程序和內(nèi)窺鏡裝置1的動(dòng)作所需的各種參數(shù)等在內(nèi)的數(shù)據(jù)、與觀察方式對(duì)應(yīng)的白平衡系數(shù)等圖像處理所需的數(shù)據(jù)、以及用于執(zhí)行本發(fā)明的圖像處理的程序等。并且，存儲(chǔ)部43也可以存儲(chǔ)內(nèi)窺鏡2的信息，例如內(nèi)窺鏡2的固有信息(id)與濾色鏡202a的濾鏡配置的信息的關(guān)系表等。存儲(chǔ)部43使用閃存或dram(dynamicrandomaccessmemory：動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)等半導(dǎo)體存儲(chǔ)器來(lái)實(shí)現(xiàn)。

控制部44使用cpu等構(gòu)成，該控制部44進(jìn)行包含內(nèi)窺鏡2和光源部3在內(nèi)的各結(jié)構(gòu)部的驅(qū)動(dòng)控制、以及對(duì)各結(jié)構(gòu)部的信息輸入輸出控制等?？刂撇?4將記錄于存儲(chǔ)部43的用于攝像控制的設(shè)定數(shù)據(jù)(例如讀取對(duì)象像素等)和攝像時(shí)刻的時(shí)刻信號(hào)等經(jīng)由規(guī)定的信號(hào)線發(fā)送到內(nèi)窺鏡2?？刂撇?4將經(jīng)由攝像信息存儲(chǔ)部206獲取的濾色鏡信息(識(shí)別信息)輸出給圖像處理部41，并將切換濾鏡31c的插拔動(dòng)作(配置)的信息輸出給光源部3。

下面，對(duì)顯示部5進(jìn)行說(shuō)明。顯示部5經(jīng)由影像線纜接收處理器部4生成的顯示圖像信號(hào)而顯示與該顯示圖像信號(hào)對(duì)應(yīng)的體內(nèi)圖像。顯示部5使用液晶或有機(jī)el(electroluminescence：電致發(fā)光)構(gòu)成。

接著，參照附圖對(duì)插值處理部412的色差插值部412b的結(jié)構(gòu)進(jìn)行說(shuō)明。圖8是對(duì)本實(shí)施方式一的處理器部的插值處理部的結(jié)構(gòu)進(jìn)行說(shuō)明的框圖。色差插值部412b具有色差分離部4121、b-g相關(guān)判別部4122、b-g插值方向判別部4123、b-g插值部4124、r-g相關(guān)判別部4125、r-g插值方向判別部4126以及r-g插值部4127。

色差分離部4121將從g插值色差計(jì)算部412a輸出的色差圖像信號(hào)分離成b-g信號(hào)和r-g信號(hào)，將b-g信號(hào)輸出給b-g相關(guān)判別部4122和b-g插值方向判別部4123，另一方面，將r-g信號(hào)輸出給r-g相關(guān)判別部4125和r-g插值方向判別部4126。

圖9是對(duì)本實(shí)施方式一的處理器部進(jìn)行的去馬賽克處理進(jìn)行說(shuō)明的示意圖。像圖9所示的示意圖那樣根據(jù)b像素位置和r像素位置分別配置被分離的b-g信號(hào)和r-g信號(hào)。

b-g相關(guān)判別部4122針對(duì)從色差分離部4121輸出的b-g信號(hào)，將具有r-g信號(hào)的r像素作為關(guān)注像素，計(jì)算與該關(guān)注像素相鄰的像素的b-g信號(hào)的相關(guān)性。圖10是對(duì)本實(shí)施方式一的處理器部進(jìn)行的去馬賽克處理進(jìn)行說(shuō)明的示意圖。具體而言，如圖10所示，若將關(guān)注像素(像素pij)的坐標(biāo)設(shè)為(k，l)，將相鄰的四個(gè)像素位置中的b-g信號(hào)的色差信號(hào)值設(shè)為b-g(k-1，l-1)、b-g(k+1，l-1)、b-g(k-1，l+1)、b-g(k+1，l+1)，則b-g相關(guān)判別部4122根據(jù)下式(1)來(lái)計(jì)算斜上方向的相關(guān)值ss。下面，所謂斜上方向設(shè)為圖3所示的像素的配置中從左下向右上的方向，所謂斜下方向設(shè)為圖3所示的像素的配置中從左上向右下的方向。并且，在位于外緣的像素等不存在相鄰的像素的情況下，例如使用位于折回位置的像素的信號(hào)值。

ss＝|b-g(k-1，l+1)-b-g(k+1，l-1)|…(1)

并且，b-g相關(guān)判別部4122根據(jù)下式(2)來(lái)計(jì)算斜下方向的相關(guān)值sb。

sb＝|b-g(k-1，l-1)-b-g(k+1，l+1)|…(2)

另外，在上述式(1)和(2)中，使用位于傾斜方向上的兩個(gè)像素的信號(hào)值進(jìn)行計(jì)算，但并不限定于此。通過(guò)利用以關(guān)注像素為中心同一方向上更遠(yuǎn)的像素的b-g信號(hào)能夠提高計(jì)算出的相關(guān)值的可信度。

b-g相關(guān)判別部4122在相關(guān)值ss和sb的差分絕對(duì)值|ss-sb|比被預(yù)先指定的閾值大的情況下，將相關(guān)值ss和sb中的值較小的相關(guān)值的方向判定為相關(guān)性高的方向。另一方面，b-g相關(guān)判別部4122在差分絕對(duì)值|ss-sb|比閾值小的情況下，判定為沒有特定方向的相關(guān)性。b-g相關(guān)判別部4122將表示“斜上方向”、“斜下方向”以及“沒有特定方向的相關(guān)性”中的任意一個(gè)的判定信息輸出給b-g插值方向判別部4123。另外，閾值被設(shè)定為考慮了信號(hào)中包含的噪聲的值。

b-g插值方向判別部4123使用來(lái)自b-g相關(guān)判別部4122的判定信息和b-g信號(hào)的色差信號(hào)值，通過(guò)下式(3)～(5)所示的任意一個(gè)式子來(lái)計(jì)算關(guān)注像素(k，l)處的b-g信號(hào)的插值色差信號(hào)值b-g(k，l)。

(判定信息為“斜上方向”的情況)

b-g插值方向判別部4123在判定信息為“斜上方向”的情況下，根據(jù)下式(3)來(lái)計(jì)算關(guān)注像素(k，l)處的b-g信號(hào)的插值色差信號(hào)值b-g(k，l)。

b-g(k，l)＝{b-g(k-1，l+1)+b-g(k+1，l-1)}/2…（3）

(判定信息為“斜下方向”的情況)

b-g插值方向判別部4123在判定信息為“斜下方向”的情況下，根據(jù)下式(4)來(lái)計(jì)算關(guān)注像素(k，l)處的b-g信號(hào)的插值色差信號(hào)值b-g(k，l)。

b-g(k，l)＝{b-g(k-1，l-1)+b-g(k+1，l+1)}/2…(4)

(判定信息為“沒有特定方向的相關(guān)性”的情況)

b-g插值方向判別部4123在判定信息為“沒有特定方向的相關(guān)性”的情況下，根據(jù)下式(5)來(lái)計(jì)算關(guān)注像素(k，l)中的b-g信號(hào)的插值色差信號(hào)值b-g(k，l)。

另外，上述式(5)采用周邊的四個(gè)像素的b-g信號(hào)的平均值，但也可以使用能夠保持更高空間頻率的周邊十六個(gè)像素以上的b-g信號(hào)進(jìn)行插值。

b-g插值方向判別部4123通過(guò)對(duì)關(guān)注像素(k，l)的插值色差信號(hào)值b-g(k，l)的計(jì)算，將包含被插值的色差信號(hào)在內(nèi)的b-g信號(hào)呈方格狀配置而成的關(guān)于色差b-g的色差信號(hào)輸出給b-g插值部4124。

b-g插值部4124針對(duì)來(lái)自b-g插值方向判別部4123的色差信號(hào)(b-g信號(hào))對(duì)缺失的像素位置計(jì)算b-g信號(hào)的插值色差信號(hào)值。b-g插值部4124例如根據(jù)下式(6)來(lái)計(jì)算在圖10所示的像素的配置中缺失的像素位置(k，l-1)的插值值b-g(k，l-1)。

另外，上述式(6)采用周邊四個(gè)像素的b-g信號(hào)的平均值，但也可以使用能夠保持更高空間頻率的周邊十六個(gè)像素以上的b-g信號(hào)進(jìn)行插值。

b-g插值部4124通過(guò)對(duì)b-g信號(hào)缺失像素位置的插值色差信號(hào)值的計(jì)算，將所有像素位置具有b-g信號(hào)的色差圖像信號(hào)輸出給彩色圖像信號(hào)生成部412c。即，通過(guò)b-g插值部4124的插值處理而生成各像素具有關(guān)于色差b-g的色差信號(hào)值或插值色差信號(hào)值的構(gòu)成一張圖像的色差信號(hào)。

r-g相關(guān)判別部4125與b-g相關(guān)判別部4122同樣地針對(duì)從色差分離部4121輸出的r-g信號(hào)將具有b-g信號(hào)的b像素作為關(guān)注像素，計(jì)算與該關(guān)注像素相鄰的像素的r-g信號(hào)的相關(guān)性。r-g相關(guān)判別部4125在式(1)和(2)中，將b替換為r計(jì)算相關(guān)值ss和sb。r-g相關(guān)判別部4125根據(jù)相關(guān)值ss、相關(guān)值sb、差分絕對(duì)值|ss-sb|以及閾值來(lái)判定是“斜上方向”、“斜下方向”以及“沒有特定方向的相關(guān)性”中的哪一個(gè)，并將表示該判定結(jié)果的判定信息輸出給r-g插值方向判別部4126。

r-g插值方向判別部4126與b-g插值方向判別部4123同樣，使用來(lái)自r-g相關(guān)判別部4125的判定信息和r-g信號(hào)的色差信號(hào)值，通過(guò)上式(3)～(5)所示的任意一個(gè)式子對(duì)關(guān)注像素(k，l)計(jì)算r-g信號(hào)的插值色差信號(hào)值r-g(k，l)。r-g插值方向判別部4126在式(3)～(5)中將b替換成r計(jì)算插值色差信號(hào)值r-g(k，l)。r-g插值方向判別部4126通過(guò)對(duì)關(guān)注像素(k，l)的插值色差信號(hào)值r-g(k，l)的計(jì)算，將包含被插值的色差信號(hào)在內(nèi)的r-g信號(hào)呈方格狀配置而成的關(guān)于色差r-g的色差信號(hào)輸出給r-g插值部4127。

r-g插值部4127與b-g插值部4124同樣，針對(duì)來(lái)自r-g插值方向判別部4126的色差信號(hào)(r-g信號(hào))對(duì)缺失的像素位置計(jì)算r-g信號(hào)的插值色差信號(hào)值。r-g插值部4127通過(guò)對(duì)r-g信號(hào)缺失像素位置的插值色差信號(hào)值的計(jì)算，將所有像素位置具有r-g信號(hào)的色差圖像信號(hào)輸出給彩色圖像信號(hào)生成部412c。即，通過(guò)r-g插值部4127的插值處理而生成各像素具有關(guān)于色差r-g的色差信號(hào)值或插值色差信號(hào)值的構(gòu)成一張圖像的色差信號(hào)。

色差插值部412b通過(guò)上述的插值處理將色差信號(hào)輸出給彩色圖像信號(hào)生成部412c。這里，在觀察方式是wli方式的情況下，從b-g插值部4124和r-g插值部4127分別輸出具有b-g信號(hào)的色差圖像信號(hào)和具有r-g信號(hào)的色差圖像信號(hào)。另一方面，在觀察方式是nbi方式的情況下，由于不存在r成分的光，因此從b-g插值部4124僅將具有b-g信號(hào)的色差圖像信號(hào)輸入給彩色圖像信號(hào)生成部412c。

接著，參照附圖對(duì)處理器部4進(jìn)行的信號(hào)處理(圖像處理方法)進(jìn)行說(shuō)明。圖11是對(duì)本實(shí)施方式一的處理器部進(jìn)行的信號(hào)處理進(jìn)行說(shuō)明的流程圖。處理器部4當(dāng)從內(nèi)窺鏡2(前端部24)獲取電信號(hào)時(shí)將該電信號(hào)輸出給預(yù)處理部411(步驟s101)。來(lái)自內(nèi)窺鏡2的電信號(hào)是包含由攝像元件202生成并被a/d轉(zhuǎn)換部205轉(zhuǎn)換為數(shù)字信號(hào)的raw圖像數(shù)據(jù)的信號(hào)。

當(dāng)電信號(hào)輸入給預(yù)處理部411時(shí)，預(yù)處理部411進(jìn)行上述的ob鉗位處理、噪聲降低處理以及白平衡處理，將該信號(hào)處理后的圖像信號(hào)輸出給插值處理部412(步驟s102)。

當(dāng)由預(yù)處理部411實(shí)施了信號(hào)處理的電信號(hào)輸入給插值處理部412時(shí)，g插值色差計(jì)算部412a對(duì)缺失g信號(hào)的像素(r像素或b像素)生成插值g信號(hào)，將所有的像素位置具有g(shù)信號(hào)(像素值)或插值g信號(hào)(插值值)的g信號(hào)圖像輸出給彩色圖像信號(hào)生成部412c。(步驟s103)。

然后，g插值色差計(jì)算部412a對(duì)所輸入的電信號(hào)是通過(guò)白色照明光觀察方式和窄帶光觀察方式中的哪種觀察方式生成的進(jìn)行判斷(步驟s104)。具體而言，g插值色差計(jì)算部412a根據(jù)來(lái)自控制部44的控制信號(hào)(例如照明光的信息或表示觀察方式的信息)來(lái)判斷是通過(guò)哪種觀察方式生成的。

g插值色差計(jì)算部412a如果判斷為所輸入的電信號(hào)是通過(guò)白色照明光觀察方式生成的(步驟s104；wli)，則根據(jù)r像素和b像素的位置，生成取各顏色成分的信號(hào)與插值g信號(hào)的色差而得的作為色差信號(hào)的r-g信號(hào)和b-g信號(hào)，作為色差圖像信號(hào)而輸出給色差插值部412b(步驟s105)。

與此相對(duì)，g插值色差計(jì)算部412a如果判斷為所輸入的電信號(hào)是通過(guò)窄帶光觀察方式生成的(步驟s104；nbi)，則根據(jù)b像素的位置，生成取b成分的信號(hào)與插值g信號(hào)的色差而得的作為色差信號(hào)的b-g信號(hào)，作為色差圖像信號(hào)而輸出給色差插值部412b(步驟s106)。另外，步驟s103～s106的處理內(nèi)容相當(dāng)于本發(fā)明的插值色差計(jì)算步驟(插值色差計(jì)算步驟)。

色差插值部412b根據(jù)從g插值色差計(jì)算部412a獲取的色差圖像信號(hào)進(jìn)行色差插值處理(步驟s107)。具體而言，色差插值部412b針對(duì)從g插值色差計(jì)算部412a輸入的色差圖像信號(hào)對(duì)在各像素位置處缺失的色差信號(hào)進(jìn)行插值，將所有的像素位置具有色差信號(hào)的色差圖像信號(hào)輸出到彩色圖像信號(hào)生成部412c。即，通過(guò)色差插值部412b的插值處理，如果是白色照明光觀察方式，則生成各像素具有色差信號(hào)r-g和b-g的值的構(gòu)成一張圖像的圖像信號(hào)，如果是窄帶光觀察方式，則生成各像素具有色差信號(hào)b-g的值的構(gòu)成一張圖像的圖像信號(hào)。另外，步驟s107的處理內(nèi)容相當(dāng)于本發(fā)明的色差插值步驟(色差插值步驟)。

彩色圖像信號(hào)生成部412c使用在g插值色差計(jì)算部412a生成的g成分的像素值和插值值、以及在色差插值部412b生成的色差圖像信號(hào)的信號(hào)值，而生成構(gòu)成彩色圖像的彩色圖像信號(hào)(步驟s108)。具體而言，彩色圖像信號(hào)生成部412c通過(guò)分別相加各像素位置處的g信號(hào)或插值g信號(hào)和色差信號(hào)(b-g信號(hào)或r-g信號(hào))而生成rgb信號(hào)或gb信號(hào)，作為彩色圖像信號(hào)而輸出到顯示圖像生成處理部413。另外，步驟s108的處理內(nèi)容相當(dāng)于本發(fā)明的圖像信號(hào)生成步驟(圖像信號(hào)生成步驟)。

顯示圖像生成處理部413對(duì)由彩色圖像信號(hào)生成部412c生成的彩色圖像信號(hào)實(shí)施灰度轉(zhuǎn)換、放大處理、或者粘膜表層的毛細(xì)血管和粘膜細(xì)微圖案等的構(gòu)造的構(gòu)造強(qiáng)調(diào)處理等而生成顯示用的顯示圖像信號(hào)(步驟s109)。顯示圖像生成處理部413實(shí)施規(guī)定的處理后，作為顯示圖像信號(hào)而輸出給顯示部5。

根據(jù)上述的本實(shí)施方式一，在能夠切換wli方式和nbi方式的內(nèi)窺鏡裝置中，針對(duì)b-g信號(hào)，對(duì)關(guān)注像素位置僅使用其周邊的b-g信號(hào)來(lái)確定更高的相關(guān)方向，使用確定的相關(guān)性較高的方向的b-g信號(hào)進(jìn)行插值，因此關(guān)于粘膜表層的毛細(xì)血管、粘膜中層的血管、以及粘膜深層的血管都在沿血管行進(jìn)路徑的方向進(jìn)行插值，從而能夠維持尤其是nbi方式中的b-g信號(hào)的分辨率。如果能夠維持b-g信號(hào)的分辨率，則能夠維持由彩色圖像信號(hào)生成部412c對(duì)b-g信號(hào)加上g信號(hào)而計(jì)算出的b信號(hào)的分辨率。即，通過(guò)上述的插值處理能夠維持負(fù)責(zé)粘膜表層的毛細(xì)血管的描繪的b信號(hào)的分辨率。根據(jù)本實(shí)施方式一，進(jìn)行基于電信號(hào)的圖像信號(hào)的生成處理，該電信號(hào)是按照在wli方式中g(shù)像素的密度較高的拜耳排列而生成的，因此無(wú)論在白色照明光觀察方式和窄帶光觀察方式中的哪種觀察方式中都能夠獲得較高的分辨率的圖像。

(實(shí)施方式一的變形例)

圖12是示出本發(fā)明的實(shí)施方式一的變形例的內(nèi)窺鏡裝置的概略結(jié)構(gòu)的示意圖。在上述的實(shí)施方式一中，對(duì)光源部3具有切換濾鏡31c，通過(guò)該切換濾鏡31的插拔來(lái)切換成白色照明光觀察方式和使用了由窄帶tb、tg的光構(gòu)成的窄帶照明光的窄帶光觀察方式中的任意一種觀察方式的情況進(jìn)行了說(shuō)明，但在本變形例中，代替光源部3而具有光源部3a，通過(guò)旋轉(zhuǎn)濾鏡31g來(lái)切換觀察方式。

本變形例的內(nèi)窺鏡裝置1a具有上述的內(nèi)窺鏡2、處理器部4、顯示部5、以及產(chǎn)生從內(nèi)窺鏡2的前端射出的照明光的光源部3a。光源部3a具有照明部31和照明控制部32。照明部31在照明控制部32的控制下，切換而射出波段相互不同的多個(gè)照明光。照明部31具有上述的光源31a、光源驅(qū)動(dòng)器31b、驅(qū)動(dòng)部31d、驅(qū)動(dòng)用驅(qū)動(dòng)器31e、聚光透鏡31f、以及旋轉(zhuǎn)濾鏡31g。

圖13是示出本發(fā)明的實(shí)施方式一的變形例的光源部的旋轉(zhuǎn)濾鏡的結(jié)構(gòu)的示意圖。旋轉(zhuǎn)濾鏡31g具有旋轉(zhuǎn)軸310、以及被旋轉(zhuǎn)軸310支承的呈圓板狀的旋轉(zhuǎn)部311。旋轉(zhuǎn)部311具有三個(gè)濾鏡(濾鏡312～314)，這三個(gè)濾鏡分別配置于將主面分割成三個(gè)而成的區(qū)域。

濾鏡312透射包含紅色、綠色以及藍(lán)色的波段hr、hg以及hb的光在內(nèi)的白色照明光。

濾鏡313透射由包含于波段hb的窄帶tb(例如400nm～445nm)的光和包含于波段hg的窄帶tg(例如530nm～550nm)的光構(gòu)成的窄帶照明光(在本變形例中作為第一窄帶照明光)。濾鏡313所透射的光相當(dāng)于上述的窄帶光觀察(nbi)方式的窄帶照明光。

圖14是示出基于本發(fā)明的實(shí)施方式一的變形例的內(nèi)窺鏡裝置的照明部所具有的濾鏡的照明光的波長(zhǎng)與透射率的關(guān)系的曲線圖。濾鏡314透射由包含于波段hr的窄帶tr的光和包含于波段hg的窄帶tg的光構(gòu)成的窄帶照明光(在本變形例中作為第二窄帶照明光)。另外，濾鏡314所透射的窄帶tg的光可以與上述的窄帶光觀察(nbi)方式的窄帶tg的光相同，也可以是不同的波段。在第二窄帶照明光中，選擇紅色成分(窄帶tr)和綠色成分(窄帶tg)中的例如變化較大的顏色成分作為亮度成分。

照明控制部32通過(guò)控制光源驅(qū)動(dòng)器31b而使光源31a進(jìn)行開啟/關(guān)閉動(dòng)作，并控制驅(qū)動(dòng)用驅(qū)動(dòng)器31e而使旋轉(zhuǎn)濾鏡31g(旋轉(zhuǎn)軸310)旋轉(zhuǎn)以將濾鏡312～314中的任意一個(gè)濾鏡配置于光源31a的光路上，從而控制由照明部31射出的照明光的種類(波段)。

在本變形例中，圖像處理部41實(shí)施上述的信號(hào)處理而生成顯示圖像信號(hào)。另外，在基于第二窄帶照明光的觀察的情況下，由于不存在b成分的光，因此從r-g插值部4127僅將具有r-g信號(hào)的色差圖像信號(hào)輸入給彩色圖像信號(hào)生成部412c，從而由彩色圖像信號(hào)生成部412c生成r成分和g成分的信號(hào)(rg信號(hào))。

(實(shí)施方式二)

接下來(lái)，對(duì)本發(fā)明的實(shí)施方式二進(jìn)行說(shuō)明。圖15是示出本實(shí)施方式二的內(nèi)窺鏡裝置的概略結(jié)構(gòu)的示意圖。另外，對(duì)與上述相同的構(gòu)成要素標(biāo)注相同的標(biāo)號(hào)。在上述的實(shí)施方式一中，對(duì)使用一幀進(jìn)行插值處理的情況進(jìn)行了說(shuō)明，在本實(shí)施方式二中，使用包含過(guò)去幀在內(nèi)的多個(gè)幀進(jìn)行插值處理。

本實(shí)施方式二的內(nèi)窺鏡裝置1b具有上述的內(nèi)窺鏡2、光源部3、顯示部5、以及對(duì)內(nèi)窺鏡2獲取的電信號(hào)實(shí)施規(guī)定的圖像處理并且對(duì)內(nèi)窺鏡裝置1b整體的動(dòng)作統(tǒng)一進(jìn)行控制的處理器部4a。處理器部4a具有圖像處理部41、輸入部42、存儲(chǔ)部43以及控制部44。

圖像處理部41根據(jù)來(lái)自內(nèi)窺鏡2(a/d轉(zhuǎn)換部205)的電信號(hào)執(zhí)行規(guī)定的圖像處理，生成顯示部5所顯示的圖像信息。圖像處理部41具有上述的顯示圖像生成處理部413、預(yù)處理部411a以及插值處理部412d。

預(yù)處理部411a與上述的預(yù)處理部411同樣地對(duì)來(lái)自a/d轉(zhuǎn)換部205的電信號(hào)進(jìn)行ob鉗位處理、噪聲降低處理以及白平衡處理，并將該信號(hào)處理后的圖像信號(hào)輸出給插值處理部412d。

圖16是對(duì)本實(shí)施方式二的處理器部的預(yù)處理部的結(jié)構(gòu)進(jìn)行說(shuō)明的框圖。預(yù)處理部411a具有上述的ob處理部4111、nr處理部4112和wb處理部4113、幀存儲(chǔ)器4114、以及運(yùn)動(dòng)補(bǔ)償部4115。

幀存儲(chǔ)器4114存儲(chǔ)由nr處理部4112實(shí)施了噪聲降低處理的一幀的圖像信號(hào)并輸出給運(yùn)動(dòng)補(bǔ)償部4115。

運(yùn)動(dòng)補(bǔ)償部4115使用基于過(guò)去幀的圖像信號(hào)的第一運(yùn)動(dòng)檢測(cè)用圖像和基于當(dāng)前幀的圖像信號(hào)的第二運(yùn)動(dòng)檢測(cè)用圖像，通過(guò)公知的塊匹配法來(lái)檢測(cè)第一和第二運(yùn)動(dòng)檢測(cè)用圖像之間的圖像的運(yùn)動(dòng)作為運(yùn)動(dòng)矢量。

圖17是示意性地說(shuō)明本實(shí)施方式二的內(nèi)窺鏡裝置的運(yùn)動(dòng)矢量檢測(cè)處理部進(jìn)行的攝像時(shí)刻不同的圖像間的運(yùn)動(dòng)的圖。運(yùn)動(dòng)補(bǔ)償部4115對(duì)基于從幀存儲(chǔ)器4114輸出的時(shí)間t不同的過(guò)去幀(當(dāng)前幀的前一個(gè)幀)的圖像信號(hào)的第一運(yùn)動(dòng)檢測(cè)用圖像f1和基于從ob處理部4111輸出的當(dāng)前幀的圖像信號(hào)的第二運(yùn)動(dòng)檢測(cè)用圖像f2，通過(guò)分別對(duì)圖4所示的濾鏡單元u1的r信號(hào)、g信號(hào)(兩個(gè)g信號(hào))和b信號(hào)進(jìn)行相加和求平均來(lái)生成近似的亮度信號(hào)。運(yùn)動(dòng)檢測(cè)的方法例如通過(guò)普通的塊匹配處理進(jìn)行檢測(cè)。具體而言，對(duì)第二運(yùn)動(dòng)檢測(cè)用圖像f2的像素m1移動(dòng)到第一運(yùn)動(dòng)檢測(cè)用圖像f1的哪個(gè)位置進(jìn)行檢測(cè)。運(yùn)動(dòng)補(bǔ)償部4115將以像素m1為中心的塊b1(小區(qū)域)作為模板，以第一運(yùn)動(dòng)檢測(cè)用圖像f1中位置與第二運(yùn)動(dòng)檢測(cè)用圖像f2的像素m1的位置相同的像素f1為中心，按照塊b1的模板對(duì)第一運(yùn)動(dòng)檢測(cè)用圖像f1進(jìn)行掃描，將模板間的差分絕對(duì)值和最小的位置的中心像素設(shè)為像素m1’。運(yùn)動(dòng)補(bǔ)償部4115將第一運(yùn)動(dòng)檢測(cè)用圖像f1中從像素m1(像素f1)向像素m1’的運(yùn)動(dòng)量y1檢測(cè)為運(yùn)動(dòng)矢量，并對(duì)作為圖像處理對(duì)象的所有像素進(jìn)行該處理。下面，將像素m1的坐標(biāo)設(shè)為(x，y)，將坐標(biāo)(x，y)處的運(yùn)動(dòng)矢量的x分量記為vx(x，y)，將y分量記為vy(x，y)。另外，對(duì)x方向相當(dāng)于圖3所示的像素的左右(水平)方向，y方向相當(dāng)于上下(垂直)方向的情況進(jìn)行說(shuō)明。并且，若將第一運(yùn)動(dòng)檢測(cè)用圖像f1中的像素m1’的坐標(biāo)設(shè)為(x’，y’)，則通過(guò)下式(7)、(8)分別定義x’和y’。運(yùn)動(dòng)補(bǔ)償部4115將檢測(cè)出的運(yùn)動(dòng)矢量(包含像素m1、m1’的位置的)信息輸出給插值處理部412d。

x′＝x+vx(x，y)…(7)

y′＝y(tǒng)+vy(x，y)…(8)

并且，運(yùn)動(dòng)補(bǔ)償部4115根據(jù)檢測(cè)出的每個(gè)像素的運(yùn)動(dòng)矢量進(jìn)行從幀存儲(chǔ)器4114輸出的一幀前的圖像信號(hào)與當(dāng)前幀的圖像信號(hào)的位置對(duì)準(zhǔn)(第一運(yùn)動(dòng)檢測(cè)用圖像f1與第二運(yùn)動(dòng)檢測(cè)用圖像f2的位置對(duì)準(zhǔn))，生成已運(yùn)動(dòng)補(bǔ)償?shù)膱D像信號(hào)。生成的已運(yùn)動(dòng)補(bǔ)償?shù)膱D像信號(hào)被輸出到nr處理部4112。

nr處理部4112在從ob處理部4111輸出的當(dāng)前幀的圖像信號(hào)和從運(yùn)動(dòng)補(bǔ)償部4115輸出的已運(yùn)動(dòng)補(bǔ)償?shù)膱D像信號(hào)之間對(duì)每個(gè)像素以規(guī)定權(quán)重進(jìn)行加權(quán)平均，由此來(lái)降低當(dāng)前幀的圖像信號(hào)的噪聲，并將噪聲降低后的圖像信號(hào)輸出給wb處理部4113和幀存儲(chǔ)器4114。這里，根據(jù)來(lái)自控制部44的觀察方式信息來(lái)確定加權(quán)相加的規(guī)定權(quán)重量。

插值處理部412d根據(jù)從預(yù)處理部411a輸入的圖像信號(hào)和運(yùn)動(dòng)矢量信息，根據(jù)多個(gè)像素的顏色信息(像素值)的相關(guān)來(lái)判別插值方向，并根據(jù)在判別出的插值方向上排列的像素的顏色信息進(jìn)行插值，從而生成具有至少兩個(gè)顏色成分的信號(hào)的彩色圖像信號(hào)。插值處理部412具有上述的g插值色差計(jì)算部412a、彩色圖像信號(hào)生成部412c、色差插值部412e、以及過(guò)去色差存儲(chǔ)部412f。

色差插值部412e針對(duì)從g插值色差計(jì)算部412a輸入的色差圖像信號(hào)，參照運(yùn)動(dòng)矢量信息對(duì)在各像素位置處缺失的色差信號(hào)進(jìn)行插值，將所有的像素位置具有色差信號(hào)的色差圖像信號(hào)輸出到彩色圖像信號(hào)生成部412c。即，通過(guò)色差插值部412e的插值處理而生成各像素具有色差信號(hào)r-g或b-g的值的構(gòu)成一張圖像的圖像信號(hào)。

過(guò)去色差存儲(chǔ)部412f使用作為環(huán)形緩沖器的多個(gè)幀存儲(chǔ)器構(gòu)成，將從g插值色差計(jì)算部412a輸出的色差圖像信號(hào)保存在幀存儲(chǔ)器中。這里記錄的幀存儲(chǔ)器是至少一幀期間前的色差圖像信號(hào)。當(dāng)然也可以存儲(chǔ)多個(gè)幀期間的色差信號(hào)圖像。

接著，參照附圖對(duì)插值處理部412d的色差插值部412e的結(jié)構(gòu)進(jìn)行說(shuō)明。圖18是對(duì)本實(shí)施方式二的處理器部的插值處理部的結(jié)構(gòu)進(jìn)行說(shuō)明的框圖。色差插值部412e具有上述的色差分離部4121、b-g相關(guān)判別部4122、b-g插值方向判別部4123、b-g插值部4124、r-g相關(guān)判別部4125、r-g插值方向判別部4126、r-g插值部4127、過(guò)去色差分離部4128、以及色差運(yùn)動(dòng)補(bǔ)償部4129。

過(guò)去色差分離部4128參照過(guò)去色差存儲(chǔ)部412f而獲取一幀前的色差圖像信號(hào)。在本實(shí)施方式二中，過(guò)去色差分離部4128僅提取b-g信號(hào)并輸出到色差運(yùn)動(dòng)補(bǔ)償部4129。

色差運(yùn)動(dòng)補(bǔ)償部4129根據(jù)從預(yù)處理部411a輸出的運(yùn)動(dòng)矢量信息、從過(guò)去色差分離部4128輸出的作為過(guò)去幀的色差信號(hào)的b-g信號(hào)以及從色差分離部4121輸出的當(dāng)前幀的b-g信號(hào)，進(jìn)行b-g信號(hào)的修正。色差運(yùn)動(dòng)補(bǔ)償部4129將包含修正后的b-g信號(hào)在內(nèi)的色差圖像信號(hào)輸出給b-g相關(guān)判別部4122和b-g插值方向判別部4123。另外，這里的運(yùn)動(dòng)矢量的精度為1像素精度。

具體而言，關(guān)于b-g信號(hào)的修正如圖19～圖21所示那樣，色差運(yùn)動(dòng)補(bǔ)償部4129對(duì)當(dāng)前幀的缺失色差信號(hào)的像素位置進(jìn)行根據(jù)運(yùn)動(dòng)矢量信息填充過(guò)去幀的色差信號(hào)的處理。圖19～圖21是對(duì)本實(shí)施方式二的處理器部進(jìn)行的去馬賽克處理進(jìn)行說(shuō)明的示意圖。這里，在圖19～圖21中，將過(guò)去幀的色差信號(hào)設(shè)為(b-g)p。

(運(yùn)動(dòng)矢量的vx(x，y)為奇數(shù)，vy(x，y)為包含0在內(nèi)的偶數(shù)的情況)

在該情況下，如圖19所示，在b-g(k-1，l-1)和b-g(k-1，l+1)之間和b-g(k+1，l-1)和b-g(k+1，l+1)之間的像素位置，分別插入以對(duì)應(yīng)的運(yùn)動(dòng)矢量進(jìn)行補(bǔ)償后的過(guò)去幀的色差信號(hào)(b-g)p(k-1，l)、(b-g)p(k+1，l)。

(運(yùn)動(dòng)矢量的vx(x，y)為包含0在內(nèi)的偶數(shù)，vy(x，y)為奇數(shù)的情況)

在該情況下，如圖20所示，在b-g(k-1，l-1)和b-g(k+1，l-1)之間和b-g(k-1，l+1)和b-g(k+1，l+1)之間的像素位置，分別插入以對(duì)應(yīng)的運(yùn)動(dòng)矢量進(jìn)行補(bǔ)償后的過(guò)去幀的色差信號(hào)(b-g)p(k，l-1)、(b-g)p(k，l+1)。

(運(yùn)動(dòng)矢量的vx(x，y)為奇數(shù)、vy(x，y)為奇數(shù)的情況)

在該情況下，如圖21所示，以對(duì)應(yīng)的運(yùn)動(dòng)矢量進(jìn)行補(bǔ)償后的過(guò)去幀的色差信號(hào)(b-g)p(k，l)插入于關(guān)注像素(k，l)。

(運(yùn)動(dòng)矢量的vx(x，y)和vy(x，y)為上述以外的情況)

在運(yùn)動(dòng)矢量的垂直水平分量為上述以外的情況下，過(guò)去幀的色差信號(hào)的配置與圖10所示的色差信號(hào)的配置等同，過(guò)去幀的色差信號(hào)(b-g)p未插入于包含關(guān)注像素(k，l)在內(nèi)的周邊像素。

另外，如果也對(duì)兩幀前的信號(hào)利用一幀前的運(yùn)動(dòng)矢量和當(dāng)前幀的運(yùn)動(dòng)矢量、事先存儲(chǔ)在過(guò)去色差存儲(chǔ)部412f中的兩幀前的色差信號(hào)，則能夠插入更多的在關(guān)注像素(k，l)及其周邊像素的位置缺失的色差信號(hào)。插入了色差信號(hào)后的圖案是組合了圖19～圖21所示的圖案中的至少任意兩個(gè)插入圖案而成的。

圖22是對(duì)本實(shí)施方式二的處理器部進(jìn)行的去馬賽克處理的另外一例進(jìn)行說(shuō)明的示意圖。當(dāng)然，如果能夠利用n幀前(n為2以上的整數(shù))的色差信號(hào)和到n幀前為止的運(yùn)動(dòng)矢量，則能夠像圖21所示那樣在關(guān)注像素(k，l)和周邊像素的位置填充所有缺失的色差信號(hào)。在利用到n幀前為止來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)那闆r下，插入到相同位置的色差信號(hào)優(yōu)選時(shí)間序列上接近當(dāng)前幀的色差信號(hào)(b-g)p。

如上所述，色差運(yùn)動(dòng)補(bǔ)償部4129將包含插入了過(guò)去幀的色差信號(hào)(b-g)p后的已運(yùn)動(dòng)補(bǔ)償?shù)腷-g信號(hào)在內(nèi)的色差圖像信號(hào)輸出給b-g相關(guān)判別部4122和b-g插值方向判別部4123，并且將表示色差信號(hào)(b-g)p插入到哪個(gè)像素位置的插入位置判定信息(對(duì)圖19～圖21所示的圖案等進(jìn)行判別的索引)輸出給b-g相關(guān)判別部4122。

當(dāng)從色差運(yùn)動(dòng)補(bǔ)償部4129獲取色差圖像信號(hào)和插入位置判定信息時(shí)，b-g相關(guān)判別部4122像上述那樣進(jìn)行相關(guān)性最高的方向的判定處理。

(運(yùn)動(dòng)矢量的vx(x，y)為奇數(shù)，vy(x，y)為包含0在內(nèi)的偶數(shù)的情況)

例如除了在實(shí)施方式一中說(shuō)明的相關(guān)值ss和sb之外，b-g相關(guān)判別部4122根據(jù)下式(9)還計(jì)算水平方向的相關(guān)值sh。所謂水平方向設(shè)為圖3所示的像素的配置中的左右方向。

sh＝|(b-g)p(k-1，l)-(b-g)p(k+1，l)…(9)

b-g相關(guān)判別部4122選擇相關(guān)值ss、sb以及sh中的最小的相關(guān)值和第二小的相關(guān)值。b-g相關(guān)判別部4122在所選擇的兩個(gè)相關(guān)值的差分絕對(duì)值比閾值大的情況下，將與最小的相關(guān)值對(duì)應(yīng)的方向判定為相關(guān)性最高的方向，在差分絕對(duì)值比閾值小的情況下，判定為沒有特定方向的相關(guān)性。b-g相關(guān)判別部4122將表示“斜上方向”、“斜下方向”、“水平方向”、以及“沒有特定方向的相關(guān)性”中的任意一個(gè)判定結(jié)果的判定信息輸出給b-g插值方向判別部4123。

(運(yùn)動(dòng)矢量的vx(x，y)為包含0在內(nèi)的偶數(shù)，vy(x，y)為奇數(shù)的情況)

例如除了在實(shí)施方式一中說(shuō)明的相關(guān)值ss和sb之外，b-g相關(guān)判別部4122根據(jù)下式(10)還計(jì)算垂直方向的相關(guān)值sv。所謂垂直方向設(shè)為圖3所示的像素的配置中的上下方向。

sv＝|(b-g)p(k，l-1)-(b-g)p(k，l+1)|…(10)

b-g相關(guān)判別部4122選擇相關(guān)值ss、sb以及sv中的最小的相關(guān)值和第二小的相關(guān)值。b-g相關(guān)判別部4122在所選擇的兩個(gè)相關(guān)值的差分絕對(duì)值比預(yù)先指定的閾值大的情況下，將與最小的相關(guān)值對(duì)應(yīng)的方向判定為相關(guān)性最高的方向，在差分絕對(duì)值比閾值小的情況下，判定為沒有特定方向的相關(guān)性。b-g相關(guān)判別部4122將表示“斜上方向”、“斜下方向”、“垂直方向”、以及“沒有特定方向的相關(guān)性”中的任意一個(gè)判定結(jié)果的判定信息輸出給b-g插值方向判別部4123。

(運(yùn)動(dòng)矢量的vx(x，y)為奇數(shù)，vy(x，y)為奇數(shù)的情況)

b-g相關(guān)判別部4122例如使用當(dāng)前幀的色差信號(hào)和過(guò)去幀的色差信號(hào)來(lái)計(jì)算斜上方向和斜下方向的相關(guān)值。具體而言，b-g相關(guān)判別部4122根據(jù)下式(11)來(lái)計(jì)算斜上方向的相關(guān)值ssp。

并且，b-g相關(guān)判別部4122根據(jù)下式(12)來(lái)計(jì)算斜下方向的相關(guān)值sbp。

b-g相關(guān)判別部4122在相關(guān)值ssp和sbp的差分絕對(duì)值|ssp-sbp|比閾值大的情況下，將與值較小的相關(guān)值對(duì)應(yīng)的方向判定為相關(guān)性最高的方向，在差分絕對(duì)值|ssp-sbp|比閾值小的情況下，判定為沒有特定方向的相關(guān)性。b-g相關(guān)判別部4122將表示“斜上方向”、“斜下方向”、以及“沒有特定方向的相關(guān)性”中的任意一個(gè)判定結(jié)果的判定信息輸出給b-g插值方向判別部4123。

同樣地，在圖22所示那樣的利用過(guò)去的色差信號(hào)而在所有的像素位置填充了色差信號(hào)的情況下，b-g相關(guān)判別部4122分別計(jì)算四個(gè)方向(“斜上方向”、“斜下方向”、“水平方向”以及“垂直方向”)的相關(guān)值。b-g相關(guān)判別部4122在該差分絕對(duì)值比閾值大的情況下，將最小的相關(guān)值的方向判定為相關(guān)性最高的方向。并且，b-g相關(guān)判別部4122在差分絕對(duì)值比閾值小的情況下，判定為沒有特定方向的相關(guān)性。在該情況下，將表示“斜上方向”、“斜下方向”、“水平方向”、“垂直方向”、以及“沒有特定方向的相關(guān)性”中的任意一個(gè)判定結(jié)果的判定信息輸出給b-g插值方向判別部4123。

b-g插值方向判別部4123使用來(lái)自b-g相關(guān)判別部4122的判定信息和包含過(guò)去幀的色差信號(hào)在內(nèi)的b-g信號(hào)的色差信號(hào)值，通過(guò)下式(13)～(17)所示的任意一個(gè)式子對(duì)關(guān)注像素(k，l)計(jì)算b-g信號(hào)的插值色差信號(hào)值b-g(k，l)。

(判定信息為“斜上方向”的情況)

b-g插值方向判別部4123在判定信息為“斜上方向”的情況下，根據(jù)下式(13)來(lái)計(jì)算關(guān)注像素(k，l)中的b-g信號(hào)的插值色差信號(hào)值b-g(k，l)。

b-g(k，l)＝{b-g(k-1，l+1)+b-g(k+1，l-1)}/2…(13)

(判定信息為“斜下方向”的情況)

b-g插值方向判別部4123在判定信息為“斜下方向”的情況下，根據(jù)下式(14)來(lái)計(jì)算關(guān)注像素(k，l)中的b-g信號(hào)的插值色差信號(hào)值b-g(k，l)。

b-g(k，l)＝{b-g(k-1，l-1)+b-g(k+1，1+1)}/2…(14)

(判定信息為“垂直方向”的情況)

b-g插值方向判別部4123在判定信息為“垂直方向”的情況下，根據(jù)下式(15)來(lái)計(jì)算關(guān)注像素(k，l)中的b-g信號(hào)的插值色差信號(hào)值b-g(k，l)。

b-g(k，l)＝{(b-g)p(k，l-1)+(b-g)p(k，l+1)}/2…(15)

(判定信息為“水平方向”的情況)

b-g插值方向判別部4123在判定信息為“水平方向”的情況下，根據(jù)下式(16)來(lái)計(jì)算關(guān)注像素(k，l)中的b-g信號(hào)的插值色差信號(hào)值b-g(k，l)。

b-g(k，l)＝{(b-g)p(k-1，1)+(b-g)p(k+1，1)}/2…(16)

(判定信息為“沒有特定方向的相關(guān)性”的情況)

b-g插值方向判別部4123在判定信息為“沒有特定方向的相關(guān)性”的情況下，根據(jù)下式(17)來(lái)計(jì)算關(guān)注像素(k，l)中的b-g信號(hào)的插值色差信號(hào)值b-g(k，l)。

另外，上述式(17)采用周邊的四個(gè)像素的b-g信號(hào)的平均值，但也可以使用能夠保持更高空間頻率的周邊十六個(gè)像素以上的b-g信號(hào)進(jìn)行插值。

b-g插值方向判別部4123通過(guò)對(duì)關(guān)注像素(k，l)的插值色差信號(hào)值b-g(k，l)的計(jì)算，將包含被插值的色差信號(hào)在內(nèi)的b-g信號(hào)呈方格狀配置而成的關(guān)于色差b-g的色差信號(hào)輸出給b-g插值部4124。以后，與上述的實(shí)施方式一同樣地使圖像處理部41生成顯示圖像信號(hào)。

并且，對(duì)r-g信號(hào)也可以與上述的b-g信號(hào)同樣地利用過(guò)去幀的信息進(jìn)行方向判別插值處理。

在上述的插值處理中，由于在插值處理部412d的前級(jí)(預(yù)處理部411a)進(jìn)行每個(gè)像素的運(yùn)動(dòng)檢測(cè)，因此能夠?qū)⑵浣Y(jié)果用于插值處理部412d的色差信號(hào)的方向判別插值的判定。當(dāng)然也可以在插值處理部412d中進(jìn)行各像素的運(yùn)動(dòng)檢測(cè)處理。

接著，參照附圖對(duì)處理器部4a進(jìn)行的信號(hào)處理進(jìn)行說(shuō)明。圖23是對(duì)本實(shí)施方式二的處理器部進(jìn)行的信號(hào)處理進(jìn)行說(shuō)明的流程圖。處理器部4a當(dāng)從內(nèi)窺鏡2(前端部24)獲取電信號(hào)時(shí)，進(jìn)行與上述的實(shí)施方式一中的步驟s101～s106的處理相同的處理，生成g成分的像素值和插值值以及色差圖像信號(hào)的信號(hào)值(步驟s201～s206)。另外，在步驟s202中的預(yù)處理中，由運(yùn)動(dòng)補(bǔ)償部4115進(jìn)行每個(gè)像素的運(yùn)動(dòng)矢量的檢測(cè)處理。

色差插值部412e根據(jù)從g插值色差計(jì)算部412a獲取的色差圖像信號(hào)來(lái)進(jìn)行色差運(yùn)動(dòng)補(bǔ)償處理(步驟s207)。具體而言，過(guò)去色差分離部4128參照過(guò)去色差存儲(chǔ)部412f而獲取一幀前的色差圖像信號(hào)，僅提取b-g信號(hào)并輸出到色差運(yùn)動(dòng)補(bǔ)償部4129。色差運(yùn)動(dòng)補(bǔ)償部4129根據(jù)從預(yù)處理部411a輸出的運(yùn)動(dòng)矢量信息、從過(guò)去色差分離部4128輸出的作為過(guò)去幀的色差信號(hào)的b-g信號(hào)、以及從色差分離部4121輸出的當(dāng)前幀的b-g信號(hào)，來(lái)進(jìn)行b-g信號(hào)的修正(色差運(yùn)動(dòng)補(bǔ)償處理)。色差運(yùn)動(dòng)補(bǔ)償部4129將包含修正后的b-g信號(hào)在內(nèi)的色差圖像信號(hào)輸出給b-g相關(guān)判別部4122和b-g插值方向判別部4123。

色差插值部412e當(dāng)由色差運(yùn)動(dòng)補(bǔ)償部4129修正了b-g信號(hào)時(shí)，根據(jù)從g插值色差計(jì)算部412a獲取的色差圖像信號(hào)和被色差運(yùn)動(dòng)補(bǔ)償部4129修正后的b-g信號(hào)來(lái)進(jìn)行色差插值處理(步驟s208)。

彩色圖像信號(hào)生成部412c使用在g插值色差計(jì)算部412a生成的g成分的像素值和插值值以及在色差插值部412e生成的色差圖像信號(hào)的信號(hào)值，而生成構(gòu)成彩色圖像的彩色圖像信號(hào)(步驟s209)。具體而言，彩色圖像信號(hào)生成部412c通過(guò)分別將各像素位置中的g信號(hào)或插值g信號(hào)和色差信號(hào)(b-g信號(hào)或r-g信號(hào))相加，而生成rgb信號(hào)或gb信號(hào)，作為彩色圖像信號(hào)而輸出到顯示圖像生成處理部413。

顯示圖像生成處理部413通過(guò)對(duì)由彩色圖像信號(hào)生成部412c生成的彩色圖像信號(hào)實(shí)施灰度轉(zhuǎn)換、放大處理、或者粘膜表層的毛細(xì)血管和粘膜細(xì)微圖案等的構(gòu)造的構(gòu)造強(qiáng)調(diào)處理等，而生成顯示用的顯示圖像信號(hào)(步驟s210)。顯示圖像生成處理部413實(shí)施了規(guī)定的處理后，作為顯示圖像信號(hào)輸出給顯示部5。

根據(jù)上述的本實(shí)施方式二，在能夠獲得與實(shí)施方式一相同的效果并且能夠切換wli方式和nbi方式的內(nèi)窺鏡裝置中，對(duì)關(guān)注像素位置的b-g信號(hào)使用當(dāng)前幀和時(shí)間上為過(guò)去的幀所對(duì)應(yīng)的b-g信號(hào)來(lái)確定更高的相關(guān)方向，從而使用確定的相關(guān)性較高的方向的b-g信號(hào)進(jìn)行插值，因此關(guān)于粘膜表層的毛細(xì)血管、粘膜中層的血管、以及粘膜深層的血管都在沿血管行進(jìn)路徑的方向進(jìn)行插值，從而能夠更可靠地維持尤其是nbi方式中的b-g信號(hào)的分辨率。

并且，在上述的實(shí)施方式一、二中，對(duì)具有多個(gè)濾鏡的濾色鏡202a設(shè)置于攝像元件202的受光面上，該多個(gè)濾鏡分別透射規(guī)定波段的光的情況進(jìn)行了說(shuō)明，但各濾鏡也可以單獨(dú)地設(shè)置于攝像元件202的各像素。

另外，關(guān)于上述的實(shí)施方式一、二的內(nèi)窺鏡裝置1、1b，針對(duì)從一個(gè)光源31a射出的白色光，說(shuō)明了通過(guò)濾鏡31c的插拔或旋轉(zhuǎn)濾鏡31g的旋轉(zhuǎn)而將從照明部31射出的照明光切換成白色照明光和窄帶照明光的情況，但也可以切換分別射出白色照明光和窄帶照明光的兩個(gè)光源來(lái)射出白色照明光和窄帶照明光中的任意一種。在切換兩個(gè)光源來(lái)射出白色照明光和窄帶照明光中的任意一種的情況下，例如也能夠適用于具有光源部、濾色鏡以及攝像元件并且被導(dǎo)入到被檢體內(nèi)的膠囊型的內(nèi)窺鏡。

并且，關(guān)于上述的實(shí)施方式一、二及變形例的內(nèi)窺鏡裝置1～1b，對(duì)a/d轉(zhuǎn)換部205設(shè)置于前端部24的情況進(jìn)行了說(shuō)明，但也可以設(shè)置于處理器部4、4a。并且，也可以將圖像處理的結(jié)構(gòu)設(shè)置于內(nèi)窺鏡2、連接內(nèi)窺鏡2與處理器部4的連接器、以及操作部22等。并且，在上述的內(nèi)窺鏡裝置1～1b中，對(duì)使用存儲(chǔ)于攝像信息存儲(chǔ)部206的識(shí)別信息等來(lái)識(shí)別與處理器部4、4a連接的內(nèi)窺鏡2的情況進(jìn)行了說(shuō)明，但也可以將識(shí)別構(gòu)件設(shè)置于處理器部4、4a與內(nèi)窺鏡2的連接部分(連接器)。例如，將識(shí)別用的銷(識(shí)別構(gòu)件)設(shè)置于內(nèi)窺鏡2側(cè)，來(lái)識(shí)別與處理器部4連接的內(nèi)窺鏡2。

并且，在上述的實(shí)施方式一、二中，說(shuō)明了g插值色差計(jì)算部412a生成根據(jù)其周邊像素對(duì)缺失g信號(hào)的像素(r像素或b像素)進(jìn)行插值后的g信號(hào)的情況，但也可以是對(duì)插值方向進(jìn)行判別來(lái)進(jìn)行插值處理的線性插值，也可以通過(guò)三次插值或其它非線形插值來(lái)進(jìn)行插值處理。

并且，上述的實(shí)施方式一、二中，對(duì)濾色鏡202a為拜耳排列的濾鏡單元u1排列成矩陣狀而成的情況進(jìn)行了說(shuō)明，但并不限于拜耳排列。例如，在切換wli方式和上述的nbi方式的情況下，只要是g成分的密度比b成分的高的濾鏡排列的濾鏡單元即可。只要是生成白色照明光亮度成分電信號(hào)的像素的密度比生成窄帶照明光亮度成分電信號(hào)的像素的密度高的濾鏡排列就能夠應(yīng)用。

另外，在上述的實(shí)施方式一、二中，以包含圖像處理裝置的內(nèi)窺鏡裝置為例進(jìn)行了說(shuō)明，但例如也可以應(yīng)用于顯微鏡裝置等、進(jìn)行圖像處理的攝像裝置。

工業(yè)上的可利用性

如上所述，本發(fā)明的圖像處理裝置、圖像處理方法、圖像處理程序以及內(nèi)窺鏡裝置無(wú)論在白色照明光觀察方式和窄帶光觀察方式中的哪種觀察方式中都在獲得較高的分辨率圖像方面有用。

標(biāo)號(hào)說(shuō)明

1：內(nèi)窺鏡裝置；2：內(nèi)窺鏡；3：光源部；4：處理器部；5：顯示部；21：插入部；22：操作部；23：通用纜線；24：前端部；31：照明部；31a：光源；31b：光源驅(qū)動(dòng)器；31c：切換濾鏡；31d：驅(qū)動(dòng)部；31e：驅(qū)動(dòng)用驅(qū)動(dòng)器；31f：聚光透鏡；31g：旋轉(zhuǎn)濾鏡；32：照明控制部；41：圖像處理部；42：輸入部；43：存儲(chǔ)部；44：控制部；201：攝像光學(xué)系統(tǒng)；202：攝像元件；202a：濾色鏡；203：光導(dǎo)；204：照明用透鏡；205：a/d轉(zhuǎn)換部；206：攝像信息存儲(chǔ)部；261：識(shí)別信息存儲(chǔ)部；411：預(yù)處理部；412、412d：插值處理部；412a：g插值色差計(jì)算部；412b、412e：色差插值部；412c：彩色圖像信號(hào)生成部；413：顯示圖像生成處理部；412f：過(guò)去色差存儲(chǔ)部；4111：ob處理部；4112：nr處理部；4113：wb處理部；4114：幀存儲(chǔ)器；4115：運(yùn)動(dòng)補(bǔ)償部；4121：色差分離部；4122：b-g相關(guān)判別部；4123：b-g插值方向判別部；4124：b-g插值部；4125：r-g相關(guān)判別部；4126：r-g插值方向判別部；4127：r-g插值部；4128：過(guò)去色差分離部；4129：色差運(yùn)動(dòng)補(bǔ)償部；u1：濾鏡單元。