本發(fā)明涉及對(duì)圖像實(shí)施圖像處理的圖像處理裝置、圖像處理方法和圖像處理程序。

背景技術(shù)：

窄帶光的吸收/散射特性因其波長(zhǎng)而不同，在短波長(zhǎng)的窄帶圖像中顯現(xiàn)出粘膜下表層的微細(xì)血管等，在長(zhǎng)波長(zhǎng)的窄帶圖像中顯現(xiàn)出粘膜下深部的血管等。由于這些是在白色光圖像中難以顯現(xiàn)的構(gòu)造，所以對(duì)一并具有窄帶圖像和白色光圖像這兩者的特征的圖像能夠進(jìn)行更詳細(xì)的觀察。在這樣的背景下，作為能夠進(jìn)行利用了兩者特征的觀察的方法，已知有如下的技術(shù)：針對(duì)利用白色光拍攝出的圖像，賦予對(duì)利用窄帶光拍攝出的圖像進(jìn)行了特定處理而得到的結(jié)果，生成一并具有兩個(gè)圖像的特征的圖像(例如，參照專利文獻(xiàn)1)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開(kāi)2012-125461號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的課題

但是，由于在窄帶圖像中還顯現(xiàn)有與白色光圖像相同的構(gòu)造，所以在上述專利文獻(xiàn)1所記載的技術(shù)中，存在在白色光圖像中拍攝出的構(gòu)造外觀發(fā)生改變的問(wèn)題。例如，在短波長(zhǎng)的窄帶圖像中除粘膜下表層的微細(xì)血管以外，還顯現(xiàn)有位于到粘膜表面的深度比粘膜下表層的微細(xì)血管更深的位置的中層的血管。該血管還顯現(xiàn)在白色光圖像中，所以在單純賦予了窄帶圖像的信息的情況下，已經(jīng)在白色光圖像中顯現(xiàn)的血管的顏色發(fā)生變動(dòng)，成為妨礙醫(yī)生的觀察的主要原因。

本發(fā)明正是鑒于上述情況而完成的，其目的在于，提供一種能夠生成一并具有白色光圖像和窄帶圖像的特征的圖像，并且能夠不改變?cè)驹诎咨鈭D像中拍攝出的構(gòu)造外觀而賦予窄帶圖像的信息的圖像處理裝置、圖像處理方法和圖像處理程序。

用于解決問(wèn)題的手段

為了解決上述課題并達(dá)成目的，本發(fā)明的圖像處理裝置的特征在于，具有：窄帶圖像取得部，其取得拍攝了管腔內(nèi)的窄帶圖像；白色光圖像取得部，其取得拍攝了所述管腔內(nèi)的白色光圖像；以及合成圖像生成部，其通過(guò)根據(jù)被攝體的粘膜下的深度將所述窄帶圖像的信息合成到白色光圖像中，來(lái)生成顯示用的合成圖像。

本發(fā)明的圖像處理方法的特征在于，包含：窄帶圖像取得步驟，取得拍攝了管腔內(nèi)的窄帶圖像；白色光圖像取得步驟，取得拍攝了所述管腔內(nèi)的白色光圖像；以及合成圖像生成步驟，通過(guò)根據(jù)被攝體的粘膜下的深度將所述窄帶圖像的信息合成到白色光圖像中，來(lái)生成顯示用的合成圖像。

本發(fā)明的圖像處理程序的特征在于使計(jì)算機(jī)執(zhí)行以下步驟：窄帶圖像取得步驟，取得拍攝了管腔內(nèi)的窄帶圖像；白色光圖像取得步驟，取得拍攝了所述管腔內(nèi)的白色光圖像；以及合成圖像生成步驟，通過(guò)根據(jù)被攝體的粘膜下的深度將所述窄帶圖像的信息合成到白色光圖像中，來(lái)生成顯示用的合成圖像。

發(fā)明效果

根據(jù)本發(fā)明，通過(guò)根據(jù)被攝體的粘膜下的深度將窄帶圖像的信息合成到白色光圖像中，來(lái)生成顯示用的合成圖像，所以能夠生成一并具有白色光圖像和窄帶圖像的特征的圖像，并且能夠不改變?cè)驹诎咨鈭D像中拍攝出的構(gòu)造外觀而賦予窄帶圖像的信息。

附圖說(shuō)明

圖1是示出本發(fā)明的實(shí)施方式1的圖像處理裝置的功能結(jié)構(gòu)的框圖。

圖2是示出本發(fā)明的實(shí)施方式1的圖像處理裝置進(jìn)行的處理的概要的流程圖。

圖3是示出本發(fā)明的實(shí)施方式2的圖像處理裝置的功能結(jié)構(gòu)的框圖。

圖4是示出本發(fā)明的實(shí)施方式2的圖像處理裝置進(jìn)行的處理的概要的流程圖。

圖5是示出本發(fā)明的實(shí)施方式2的圖像處理裝置具有的合成圖像生成部進(jìn)行的處理的概要的流程圖。

具體實(shí)施方式

以下，說(shuō)明用于實(shí)施本發(fā)明的方式(以下稱作“實(shí)施方式”)。

(實(shí)施方式1)

圖1是示出本發(fā)明的實(shí)施方式1的圖像處理裝置的功能結(jié)構(gòu)的框圖。該圖所示的圖像處理裝置1具有運(yùn)算部2和存儲(chǔ)部3。

運(yùn)算部2具有：窄帶圖像取得部21，其取得多個(gè)窄帶圖像；白色光圖像取得部22，其取得白色光圖像；以及合成圖像生成部23，其通過(guò)將窄帶圖像的信息合成到白色光圖像中，生成顯示用的合成圖像。

窄帶圖像取得部21例如取得中心波長(zhǎng)為λ(nm)的窄帶圖像。在將粘膜表層的微細(xì)血管的信息添加到白色光圖像的情況下，優(yōu)選應(yīng)用中心波長(zhǎng)為415(nm)左右的窄帶圖像。另外，該情況下的中心波長(zhǎng)的值不必限于415(nm)，也可以是其附近的值。此外，本實(shí)施方式1當(dāng)然還能夠應(yīng)用于除血管以外的粘膜下的被攝體。以下，將以波長(zhǎng)λ(nm)為中心波長(zhǎng)的窄帶圖像記作[λ]圖像。

窄帶圖像取得部21例如通過(guò)向活體的管腔內(nèi)照射發(fā)出窄帶光的led(lightemittingdiode：發(fā)光二極管)，取得窄帶圖像。另外，取得窄帶圖像的方法未必限于此，例如也可以通過(guò)對(duì)白色光圖像進(jìn)行分光推定，來(lái)取得窄帶圖像。

白色光圖像取得部22例如取得由被導(dǎo)入到活體并觀察活體內(nèi)的內(nèi)窺鏡使用白色光源而拍攝出的管腔內(nèi)圖像，作為白色光圖像。該白色光圖像是在各像素位置處具有針對(duì)r(紅)、g(綠)、b(藍(lán))的各波長(zhǎng)成分的像素值的彩色圖像。另外，這里所說(shuō)的內(nèi)窺鏡可以是鏡體型的內(nèi)窺鏡，當(dāng)然也可以是膠囊型的內(nèi)窺鏡。

合成圖像生成部23通過(guò)將窄帶圖像的信息合成到白色光圖像中，生成顯示用的合成圖像。例如，在[415]圖像的情況下，合成圖像生成部23依照以下的式(1)，計(jì)算b成分。

[數(shù)1]

b＝w(415，depth)·i([415])+(1-w(415，depth))·baseb…(1)

這里，式(1)的右邊的w(415，depth)是中心波長(zhǎng)415(nm)、粘膜下的深度depth處的權(quán)重，i([415])是[415]圖像的強(qiáng)度，baseb是白色光圖像的b成分。深度depth通過(guò)應(yīng)用例如由事先使用機(jī)械學(xué)習(xí)而生成的識(shí)別器進(jìn)行識(shí)別的方法而得到。另外，合成的方法未必限于式(1)。例如，也可以將i([415])合成到g成分。此外，也可以替代單純合成i([415])，而合成其頻率信息。在合成頻率信息的情況下，例如可以設(shè)從[415]圖像提取出的頻率成分為freq([415])，依照以下的式(2)，計(jì)算b成分。

[數(shù)2]

b＝w(415，depth)·freq([415])+baseb…(2)

權(quán)重w(415，depth)被定義為被攝體的粘膜下的深度depth越小(淺)則越大的函數(shù)。權(quán)重w(λ、depth)的信息可以預(yù)先存儲(chǔ)到存儲(chǔ)部3中，在合成圖像生成部23生成合成圖像時(shí)進(jìn)行參照即可。

在應(yīng)用[415]圖像作為窄帶圖像的情況下，合成圖像生成部23通過(guò)除了使用根據(jù)式(1)計(jì)算的b成分以外還使用白色光圖像取得部22取得的白色光圖像的r成分和g成分，生成顯示用的合成圖像，作為顯示圖像進(jìn)行輸出。

運(yùn)算部2使用cpu(centralprocessingunit：中央處理器)或各種運(yùn)算電路等硬件構(gòu)成，通過(guò)讀入存儲(chǔ)部3存儲(chǔ)的各種程序，進(jìn)行對(duì)構(gòu)成圖像處理裝置1的各個(gè)部的指示和數(shù)據(jù)傳送等，統(tǒng)一控制圖像處理裝置1整體的動(dòng)作。

存儲(chǔ)部3存儲(chǔ)了上述權(quán)重w(λ、depth)的信息。此外，存儲(chǔ)部3除了存儲(chǔ)圖像處理裝置1取得的管腔內(nèi)圖像的圖像數(shù)據(jù)以外，還存儲(chǔ)用于使圖像處理裝置1動(dòng)作并使圖像處理裝置1執(zhí)行各種功能的程序、以及在該程序的執(zhí)行中使用的數(shù)據(jù)等。具體而言，存儲(chǔ)部3存儲(chǔ)了本實(shí)施方式的圖像處理程序、及在該圖像處理中使用的閾值等各種參數(shù)。

存儲(chǔ)部3由rom(readonlymemory：只讀存儲(chǔ)器)或ram(randomaccessmemory：隨機(jī)存取存儲(chǔ)器)等各種ic存儲(chǔ)器、內(nèi)置或利用數(shù)據(jù)通信端子連接的硬盤、或cd-rom等信息記錄裝置及其讀取裝置等來(lái)實(shí)現(xiàn)。

存儲(chǔ)部3存儲(chǔ)的圖像處理程序等各種程序還能夠記錄到計(jì)算機(jī)可讀取的記錄介質(zhì)中。此外，各種程序向存儲(chǔ)部3或記錄介質(zhì)的記錄可以在將計(jì)算機(jī)或記錄介質(zhì)作為產(chǎn)品出貨時(shí)進(jìn)行，也可以通過(guò)借助通信網(wǎng)絡(luò)的下載進(jìn)行。這里所說(shuō)的通信網(wǎng)絡(luò)例如由現(xiàn)有的公共線路網(wǎng)、lan(localareanetwork：局域網(wǎng))、wan(wideareanetwork：廣域網(wǎng))等來(lái)實(shí)現(xiàn)，沒(méi)有特別限制有線、無(wú)線。

具有以上結(jié)構(gòu)的圖像處理裝置1可以使用1個(gè)計(jì)算機(jī)來(lái)實(shí)現(xiàn)，也可以使用多個(gè)計(jì)算機(jī)來(lái)實(shí)現(xiàn)。在后者的情況下，還能夠一邊經(jīng)由通信網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)的收發(fā)，一邊相互協(xié)作地進(jìn)行處理。另外，這里所說(shuō)的計(jì)算機(jī)能夠由通用的個(gè)人計(jì)算機(jī)或服務(wù)器等構(gòu)成。

圖2是示出圖像處理裝置1進(jìn)行的處理的概要的流程圖。首先，窄帶圖像取得部21取得窄帶圖像(步驟s1)。窄帶圖像取得部21例如取得上述的[415]圖像。

接著，白色光圖像取得部22取得白色光圖像(步驟s2)。白色光圖像取得部22例如取得內(nèi)窺鏡使用白色光源而拍攝出的管腔內(nèi)圖像，作為白色光圖像。

然后，合成圖像生成部23通過(guò)將窄帶圖像的信息合成到白色光圖像中，生成顯示用的合成圖像(步驟s3)。例如在[415]圖像的情況下，合成圖像生成部23利用事先使用機(jī)械學(xué)習(xí)而生成的識(shí)別器來(lái)取得深度depth的信息，依照該深度depth的信息和存儲(chǔ)部3存儲(chǔ)的權(quán)重w(415，depth)的信息(參照式(1))，計(jì)算b成分，通過(guò)使用該b成分、及白色光圖像的r成分和g成分，生成合成圖像。

根據(jù)以上所說(shuō)明的本發(fā)明的實(shí)施方式1，通過(guò)根據(jù)被攝體的粘膜下的深度將窄帶圖像的信息合成到白色光圖像中，來(lái)生成顯示用的合成圖像，所以能夠生成一并具有白色光圖像和窄帶圖像的特征的圖像，并且能夠不改變?cè)驹诎咨鈭D像中拍攝出的構(gòu)造外觀而賦予窄帶圖像的信息。

此外，根據(jù)本實(shí)施方式1，通過(guò)使用深度識(shí)別來(lái)控制窄帶圖像和白色光圖像的合成，能夠防止在白色光圖像中顯現(xiàn)的構(gòu)造外觀的變化，提供更適合觀察的圖像。

另外，在本實(shí)施方式1中，作為合成對(duì)象的窄帶圖像的數(shù)量是任意的。例如，除上述[415]圖像以外，還能夠進(jìn)一步使用中心波長(zhǎng)為600(nm)的窄帶圖像([600]圖像)來(lái)生成顯示用的合成圖像。[600]圖像中包含粘膜下深層的粗血管的信息。在該情況下，合成圖像生成部23依照以下的式(3)，計(jì)算r成分。

[數(shù)3]

r＝w(600，depth)·i([600])+(1-w(600，depth))·baser…(1)

式(3)的右邊的權(quán)重w(600，depth)是中心波長(zhǎng)600(nm)、粘膜下的深度depth處的權(quán)重，在看作深度depth的函數(shù)時(shí)，是與式(1)中的權(quán)重w(415，depth)不同的函數(shù)。具體而言，權(quán)重w(600，depth)被定義為深度depth越大(深)則越大的函數(shù)。在該情況下，合成圖像生成部23通過(guò)除了使用依照式(1)、(3)分別計(jì)算出的b成分、r成分以外，還使用白色光圖像取得部22取得的白色光圖像的g成分，來(lái)生成合成圖像。另外，在該情況下，合成的方法不必限于式(1)、(3)。

(實(shí)施方式2)

圖3是示出本發(fā)明的實(shí)施方式2的圖像處理裝置的功能結(jié)構(gòu)的框圖。該圖所示的圖像處理裝置4具有運(yùn)算部5和存儲(chǔ)部3。以下，對(duì)與實(shí)施方式1的圖像處理裝置1的運(yùn)算部2具有的結(jié)構(gòu)部位相同的結(jié)構(gòu)部位，標(biāo)注相同標(biāo)號(hào)進(jìn)行說(shuō)明。

運(yùn)算部5具有：窄帶圖像取得部51，其取得多個(gè)窄帶圖像；白色光圖像取得部52，其根據(jù)多個(gè)窄帶圖像，取得白色光圖像；以及合成圖像生成部53，其通過(guò)將窄帶圖像的信息合成到白色光圖像中，來(lái)生成顯示用的合成圖像。

窄帶圖像取得部51取得中心波長(zhǎng)分別為415nm、460nm、540nm、600nm和630nm的5個(gè)窄帶圖像[415]圖像、[460]圖像、[540]圖像、[600]圖像和[630]圖像，作為多個(gè)窄帶圖像。窄帶圖像取得部21例如通過(guò)依次向活體的管腔內(nèi)照射發(fā)出各窄帶光的led，取得窄帶圖像。另外，還能夠利用上述的5個(gè)中心波長(zhǎng)的附近的值來(lái)分別設(shè)定5個(gè)窄帶圖像的中心波長(zhǎng)。

白色光圖像取得部52具有窄帶圖像合成部521，該窄帶圖像合成部521通過(guò)合成相當(dāng)于r、g、b的各波段的窄帶圖像，生成與白色光圖像對(duì)應(yīng)的圖像。具體而言，窄帶圖像合成部521計(jì)算[415]圖像和[460]圖像的強(qiáng)度的加權(quán)平均，作為白色光圖像的b成分。此外，窄帶圖像合成部521計(jì)算[600]圖像和[630]圖像的強(qiáng)度的加權(quán)平均，作為白色光圖像的r成分。此外，窄帶圖像合成部521將[540]圖像的強(qiáng)度作為g成分。對(duì)于加權(quán)平均的權(quán)重，優(yōu)選根據(jù)各窄帶光的發(fā)光強(qiáng)度設(shè)定成符合白色光中的相當(dāng)于各窄帶光的波段的分光強(qiáng)度。

合成圖像生成部53具有深度相關(guān)特征量計(jì)算部531，該深度相關(guān)特征量計(jì)算部531計(jì)算窄帶圖像的強(qiáng)度的比率(相對(duì)強(qiáng)度)，作為與深度具有相關(guān)的特征量。具體而言，深度相關(guān)特征量計(jì)算部531按照每個(gè)像素，計(jì)算[415]圖像和[540]圖像中的強(qiáng)度的比率i([540])/i([415])、及[540]圖像和[600]圖像中的強(qiáng)度的比率i([540])/i([600])。在圖像中存在表層的微細(xì)血管的情況下，在[415]圖像中顯現(xiàn)出較強(qiáng)的吸光變化，所以[415]圖像中的該區(qū)域的強(qiáng)度降低。另一方面，如果是中層的血管，則在[415]圖像和[540]圖像的雙方中顯現(xiàn)有吸光變化，所以該區(qū)域中的強(qiáng)度在兩個(gè)圖像中均降低。因此，如果是表層的血管，則相比中層的血管，i([540])/i([415])的值容易相對(duì)增大。同樣，如果是深層的血管，則相比中層的血管，i([540])/i([600])的值容易增大。因此，能夠?qū)⑦@些比率視作與深度具有相關(guān)的特征量。

合成圖像生成部53根據(jù)深度相關(guān)特征量計(jì)算部531計(jì)算出的特征量，生成合成圖像。合成圖像生成部53使用以下所示的式(4)、(5)，求出合成后的b成分和r成分。

[數(shù)4]

式(4)、(5)的右邊的權(quán)重w(x)是根據(jù)2個(gè)窄帶光的強(qiáng)度的比率x而設(shè)定的量，比率x越大，則具有越大的值。在本實(shí)施方式2中，也設(shè)為權(quán)重w(x)是存儲(chǔ)在存儲(chǔ)部3中的。另外，可以單獨(dú)設(shè)定[415]圖像用的權(quán)重和[600]圖像用的權(quán)重。

這樣，在本實(shí)施方式2中，通過(guò)利用2個(gè)窄帶光的強(qiáng)度的比率x根據(jù)被攝體的粘膜下的深度而發(fā)生變化的情況來(lái)控制合成的方法，選擇性地合成在白色光圖像中難以顯現(xiàn)的信息。

圖4是示出圖像處理裝置4進(jìn)行的處理的概要的流程圖。首先，窄帶圖像取得部41取得窄帶圖像(步驟s11)。窄帶圖像取得部41例如取得上述的5個(gè)窄帶圖像([415]圖像、[460]圖像、[540]圖像、[600]圖像、[630]圖像)。

接著，白色光圖像取得部52根據(jù)窄帶圖像，取得白色光圖像(步驟s12)。具體而言，窄帶圖像合成部521通過(guò)合成相當(dāng)于r、g、b各波段的窄帶圖像，取得相當(dāng)于白色光圖像的圖像。

然后，合成圖像生成部53通過(guò)將窄帶圖像的信息合成到白色光圖像中，生成顯示用的合成圖像(步驟s13)。圖5是示出合成圖像生成部53進(jìn)行的處理的概要的流程圖。以下，參照?qǐng)D5說(shuō)明合成圖像生成部53的處理。

合成圖像生成部53針對(duì)全部像素執(zhí)行以下進(jìn)行說(shuō)明的步驟s131～s133的處理。首先，在步驟s131中，深度相關(guān)特征量計(jì)算部531計(jì)算[415]圖像和[540]圖像中的強(qiáng)度的比率i([540])/i([415])、及[540]圖像和[600]圖像中的強(qiáng)度的比率i([540])/i([600])(步驟s131)。

接著，合成圖像生成部53根據(jù)比率i([540])/i([415])，將[415]圖像合成到白色光圖像中(步驟s132)。具體而言，合成圖像生成部53依照式(4)，計(jì)算b成分。

然后，合成圖像生成部53根據(jù)比率i([540])/i([600])，將[600]圖像合成到白色光圖像中(步驟s133)。具體而言，合成圖像生成部53依照式(5)，計(jì)算r成分。另外，合成圖像生成部53可以按照相反的順序進(jìn)行步驟s132和步驟s133，也可以并列進(jìn)行。

在合成圖像生成部53針對(duì)全部像素結(jié)束了處理后，圖像處理裝置1結(jié)束一系列的處理。

根據(jù)以上所說(shuō)明的本發(fā)明的實(shí)施方式2，與實(shí)施方式1同樣，通過(guò)根據(jù)被攝體的粘膜下的深度將窄帶圖像的信息合成到白色光圖像中，生成顯示用的合成圖像，所以能夠生成一并具有白色光圖像和窄帶圖像的特征的圖像，并且能夠不改變?cè)疽苿?dòng)到白色光圖像中的構(gòu)造外觀而賦予窄帶圖像的信息。

此外，根據(jù)本實(shí)施方式2，通過(guò)根據(jù)與深度具有相關(guān)的特征量來(lái)控制窄帶圖像和白色光圖像的合成，能夠防止在白色光圖像中顯現(xiàn)的構(gòu)造外觀的變化，提供更適合觀察的圖像。

另外，在本實(shí)施方式2中示出了通過(guò)窄帶圖像的合成來(lái)生成白色光圖像的方法，但例如也可以分別將[630]圖像、[540]圖像、[460]圖像作為白色光圖像的r成分、g成分、b成分。

此外，在本實(shí)施方式2中示出了作為窄帶圖像中的信息對(duì)強(qiáng)度進(jìn)行合成的方法，但合成的信息不限于強(qiáng)度，例如也可以是頻率成分。并且，窄帶圖像不必限于這2個(gè)種類，例如也可以僅使用[415]圖像的信息。

此外，在本實(shí)施方式2中，例如還能夠使用相當(dāng)于r、g、b中的任意一方的波段所包含的2個(gè)窄帶光。在該情況下，能夠針對(duì)2個(gè)窄帶光使用相同的權(quán)重。

在此之前說(shuō)明了用于實(shí)施本發(fā)明的方式，但是本發(fā)明不應(yīng)該僅被上述實(shí)施方式1、2限定。即，本發(fā)明可包含這里未記載的各種各樣的實(shí)施方式等。

標(biāo)號(hào)說(shuō)明

1、4：圖像處理裝置；2、5：運(yùn)算部；3：存儲(chǔ)部；21、51：窄帶圖像取得部；22、52：白色光圖像取得部；23、53：合成圖像生成部；521：窄帶圖像合成部；531：深度相關(guān)特征量計(jì)算部。