本發(fā)明涉及一種對被注入到被攝體的熒光色素照射激發(fā)光并拍攝從熒光色素產(chǎn)生的熒光的成像裝置。

背景技術(shù)：

近年來，在外科手術(shù)中利用一種被稱為近紅外熒光成像的方法。在該近紅外熒光成像中，向患部注入作為熒光色素的靛氰綠(icg)。然后，當將大致600nm(納米)～850nm(納米)的近紅外光作為激發(fā)光對該靛氰綠進行照射時，靛氰綠發(fā)出以大致810nm為峰的近紅外區(qū)域的熒光。利用能夠檢測近紅外光的攝像機來拍攝該熒光，并在液晶顯示面板等顯示部中顯示其圖像。通過該近紅外熒光成像，能夠觀察存在于距體表20mm左右的深度的血管、淋巴管等。

在專利文獻1中公開了如下一種數(shù)據(jù)收集方法：將近紅外熒光的強度分布圖像與癌病灶分布圖像進行比較，收集在近紅外熒光的強度分布圖像中被檢測到而在癌病灶分布圖像中未被檢測到的區(qū)域的數(shù)據(jù)來作為癌的副病灶區(qū)域數(shù)據(jù)，其中，該近紅外熒光的強度分布圖像是對被投放了靛氰綠的生物體的被檢臟器照射靛氰綠的激發(fā)光而得到的，該癌病灶分布圖像是使x射線、核磁共振或超聲波作用于靛氰綠投放前的被檢臟器而得到的。

另外，在專利文獻2中公開了如下一種手術(shù)輔助方法：對被投放了血管造影劑的被檢體交替地照射激發(fā)光和可見光，利用攝像單元交替地獲取照射激發(fā)光而得到的熒光圖像和可見光圖像，并且基于規(guī)定的閾值對熒光圖像進行閾值處理來提取血管圖像，制作將可見光圖像與提取到的血管圖像相疊加而得到的合成圖像。

專利文獻1：國際公開第2009/139466號公報

專利文獻2：日本特開2009-226072號公報

技術(shù)實現(xiàn)要素：

發(fā)明要解決的問題

如在專利文獻2中記載的那樣，在制作將可見光圖像與熒光圖像進行合成而得到的合成圖像的情況下，在對黑白的熒光圖像進行著色之后，例如使用相加合成、網(wǎng)屏合成等方法將可見光圖像與著色后的熒光圖像進行合成。此時，在將可見光圖像與著色后的熒光圖像單純地進行合成的情況下，產(chǎn)生難以辨別可見光圖像和被著色后的熒光圖像這樣的問題。

即，在單純地進行了合成的情況下，可見光圖像的背景的顏色與著色后的熒光圖像的顏色互相混合，熒光圖像與原來的顏色相差甚遠，因此難以辨別熒光圖像中的熒光區(qū)域到何處為止。

本發(fā)明是為了解決上述問題而完成的，其目的在于提供一種能夠在將被攝體的可見光圖像與熒光圖像進行合成來制作合成圖像時提高熒光圖像的可視性的成像裝置。

用于解決問題的方案

在第一發(fā)明中，成像裝置具備：激發(fā)用光源，其向被攝體照射用于使被注入到所述被攝體的熒光色素激發(fā)的激發(fā)光；可見光源，其向所述被攝體照射可見光；攝像機，其用于拍攝通過照射激發(fā)光而從所述熒光色素產(chǎn)生的熒光和被所述被攝體的表面反射的可見光，且能夠檢測熒光和可見光；以及合成部，其通過將由所述攝像機拍攝到的所述被攝體的可見光圖像與所述被攝體的熒光圖像進行合成來制作合成圖像，其中，所述合成部將利用所述可見光圖像和所述熒光圖像進行運算而得到的第一校正圖像與對所述熒光圖像進行著色而得到的第二校正圖像進行合成，由此制作所述合成圖像。

在第二發(fā)明中，所述合成部將從所述可見光圖像減去基于所述熒光圖像的圖像而得到的第一校正圖像與對所述熒光圖像進行著色而得到的第二校正圖像進行合成，由此制作所述合成圖像。

在第三發(fā)明中，通過從所述可見光圖像的顏色空間的值減去對所述熒光圖像的像素值乘以大于0且小于1的系數(shù)而得到的像素值，來制作所述第一校正圖像。

在第四發(fā)明中，所述激發(fā)光和所述熒光是近紅外光。

發(fā)明的效果

根據(jù)第一發(fā)明至第四發(fā)明所述的發(fā)明，在將被攝體的可見光圖像與熒光圖像進行合成來制作合成圖像時，將利用可見光圖像和熒光圖像進行運算而得到的第一校正圖像與對熒光圖像進行著色而得到的第二校正圖像進行合成，因此能夠使熒光圖像的可視性提高。

附圖說明

圖1是本發(fā)明所涉及的成像裝置的概要圖。

圖2是照明攝影部12的立體圖。

圖3是表示本發(fā)明所涉及的成像裝置的主要控制系統(tǒng)的框圖。

圖4是利用本發(fā)明所涉及的成像裝置將可見光圖像與近紅外圖像進行合成來制作合成圖像的圖像合成工序的流程圖。

圖5是利用本發(fā)明所涉及的成像裝置將可見光圖像與近紅外圖像進行合成來制作合成圖像的其它實施方式所涉及的圖像合成工序的流程圖。

具體實施方式

下面，基于附圖來說明本發(fā)明的實施方式。圖1是本發(fā)明所涉及的成像裝置的概要圖。

該成像裝置具備：主體10，其具有觸摸面板等輸入部11，且內(nèi)置有后述的控制部30等；照明攝影部12，其以能夠移動的方式被臂13支承；顯示部14，其由液晶顯示面板等構(gòu)成；以及治療臺16，其用于載置患者17。此外，照明攝影部12并不限定于被臂13支承，也可以由手術(shù)操作者拿在手中。

圖2是上述照明攝影部12的立體圖。

該照明攝影部12具備：攝像機21，其能夠檢測近紅外線和可見光；可見光源22，其包括配設(shè)在該攝像機21的外周部的多個led；以及激發(fā)用光源23，其包括配設(shè)在該可見光源22的外周部的多個led。可見光源22照射可見光。激發(fā)用光源23照射作為用于使靛氰綠激發(fā)的激發(fā)光的、其波長為760nm的近紅外光。

圖3是表示本發(fā)明所涉及的成像裝置的主要控制系統(tǒng)的框圖。

該成像裝置具備控制部30，該控制部30由執(zhí)行邏輯運算的cpu、存儲有裝置控制所需的動作程序的rom以及在控制時暫時存儲數(shù)據(jù)等的ram等構(gòu)成，用于對裝置整體進行控制。該控制部30具備圖像處理部31，該圖像處理部31執(zhí)行后述的各種圖像處理且具有合成部32。另外，該控制部30與上述輸入部11和顯示部14相連接。另外，該控制部30與具備攝像機21、可見光源22以及激發(fā)用光源23的照明攝影部12相連接。該控制部30還與存儲由攝像機21拍攝到的圖像的圖像存儲部33相連接。該圖像存儲部33包括存儲近紅外圖像的近紅外圖像存儲部34和存儲可見光圖像的可見光圖像存儲部35。此外，也可以具備存儲將可見光圖像與近紅外圖像進行合成而得到的圖像的合成圖像存儲部，來替代具備近紅外圖像存儲部34和可見光圖像存儲部35。

以下，對使用本發(fā)明所涉及的成像裝置進行外科手術(shù)的情況下的動作進行說明。此外，在以下的說明中，說明對患者17進行乳腺癌手術(shù)的情況。

在使用本發(fā)明所涉及的成像裝置進行乳腺癌手術(shù)的情況下，將靛氰綠以注射方式注入到治療臺16上的仰臥的患者17的乳房。然后，從激發(fā)用光源23向包括患部在內(nèi)的被攝體照射近紅外線，并且從可見光源22向包括患部在內(nèi)的被攝體照射可見光。此外，作為從激發(fā)用光源23照射的近紅外光，如上所述那樣采用作為用于使靛氰綠發(fā)出熒光的激發(fā)光而發(fā)揮作用的760nm的近紅外光。由此，靛氰綠產(chǎn)生以大約800nm為峰的近紅外區(qū)域的熒光。

然后，利用攝像機21拍攝患者17的患部附近。該攝像機21能夠檢測近紅外光和可見光。向患者17照射可見光，利用攝像機21拍攝該可見光而得到的圖像為可見光圖像，向患者17照射近紅外光，利用攝像機21拍攝來自靛氰綠的熒光而得到的圖像為近紅外圖像。利用攝像機21拍攝到的近紅外圖像和可見光圖像被發(fā)送到圖3所示的圖像處理部31。在圖像處理部31中，將近紅外圖像和可見光圖像轉(zhuǎn)換為能夠顯示于顯示部14的圖像數(shù)據(jù)。近紅外圖像的數(shù)據(jù)被存儲于圖像存儲部33中的近紅外圖像存儲部34。另外，可見光圖像的數(shù)據(jù)被存儲于圖像存儲部33中的可見光圖像存儲部35。

在該狀態(tài)下，圖像處理部31中的合成部32如后述那樣利用近紅外圖像數(shù)據(jù)和可見光圖像數(shù)據(jù)來制作使可見光圖像與近紅外圖像進行融合而得到的合成圖像。然后，圖像處理部31將近紅外圖像、可見光圖像以及合成圖像分區(qū)域地同時顯示或選擇性地顯示于顯示部14。

接著，對作為本發(fā)明的特征部分的合成圖像的制作動作進行說明。圖4是利用本發(fā)明所涉及的成像裝置將可見光圖像與近紅外圖像進行合成來制作合成圖像的圖像合成工序的流程圖。

圖像處理部31中的合成部32使用可見光圖像中的各像素的包含rgb值、亮度、明度、彩度以及色相中的任一個的顏色空間中的一個以上的參數(shù)和拍攝來自靛氰綠的熒光而得到的近紅外圖像中的各像素的像素值來制作第一校正圖像，將該第一校正圖像與作為著色后的近紅外圖像的第二校正圖像進行合成，由此制作合成圖像。以下，對使用rgb顏色空間中的三個參數(shù)r、g、b來制作合成圖像的情況的實施方式進行說明。

將可見光圖像中的各像素的像素值(即，可見光圖像中的各像素的包含rgb值、亮度、明度、彩度以及色相中的任一個的顏色空間中的一個以上的參數(shù)的值)設(shè)為p10i，將近紅外圖像中的各像素的像素值設(shè)為p20v。另外，將進行了后述的減法處理后的第一校正圖像的像素值設(shè)為p11i，將對近紅外圖像進行著色而得到的第二校正圖像的像素值設(shè)為p21i。并且，將使可見光圖像與近紅外圖像進行合成而得到的合成圖像的像素值設(shè)為p30i。在此，i表示rgb中的任一個，另外，v是表示像素值的從0到255的整數(shù)值。

如下述式(1)所示，通過從可見光圖像的像素值p10i減去對近紅外圖像的像素值乘以由小于1的自然數(shù)構(gòu)成的系數(shù)α而得到的像素值，來獲得第一校正圖像的各像素的像素值p11i。在此，α是大于0且小于1的系數(shù)。另外，[]表示高斯符號。

p11i＝p10i-[α×p20v+0.5]···(1)

然后，如下述式(2)所示，通過利用第一校正圖像的像素值p11i和作為著色后的近紅外圖像的第二校正圖像的像素值p21i執(zhí)行網(wǎng)屏合成，來運算合成圖像的像素值p30i。此外，在作為背景的可見光圖像中紅色的區(qū)域多的情況下，作為要對近紅外圖像進行著色的顏色，例如能夠選擇可視性良好的藍色。

p30i＝(p11i+p21i)-(p11i×p21i)/255···(2)

通過進行這種運算來利用近紅外圖像對作為背景的可見光圖像進行預處理，由此能夠在保持被著色后的近紅外圖像的顏色的狀態(tài)下將可見光圖像與近紅外圖像進行合成。即，能夠在從可見光圖像去除與熒光相當?shù)慕t外圖像的部分之后將可見光圖像與近紅外圖像進行合成。因此，能夠使近紅外圖像的可視性提高。

接著，對作為本發(fā)明的特征部分的合成圖像的其它實施方式所涉及的制作動作進行說明。圖5是利用本發(fā)明所涉及的成像裝置將可見光圖像與近紅外圖像進行合成來制作合成圖像的其它實施方式所涉及的圖像合成工序的流程圖。

在上述實施方式中，通過從可見光圖像的像素值p10i減去對近紅外圖像的像素值乘以由小于1的自然數(shù)構(gòu)成的系數(shù)α而得到的像素值，來獲得第一校正圖像的各像素的像素值p11i。與此相對地，在本實施方式中為通過下述式(3)來對第一校正圖像的各像素的像素值p11i進行運算的結(jié)構(gòu)。此外，關(guān)于除制作第一校正圖像的工序以外的其它各工序，與上述第一實施方式相同。

p11i＝255-[255×(255-p10i)/(255-p20v+1)···(3)

在采用了這種實施方式的情況下，也能夠在從可見光圖像去除與熒光相當?shù)慕t外圖像的部分之后將可見光圖像與近紅外圖像進行合成，因此能夠使近紅外圖像的可視性提高。

此外，在上述實施方式中，均將rgb顏色空間作為參數(shù)來制作第一校正圖像，但也可以替代rgb顏色空間，而使用在hsv顏色空間中使用的色相(hue)、彩度(saturation)、明度(value)或者在hls顏色空間中使用的色相、彩度、亮度(luminance)等其它顏色空間中的任意一個以上的參數(shù)來制作第一校正圖像。

另外，在上述實施方式中，通過對第一校正圖像與第二校正圖像執(zhí)行網(wǎng)屏合成來制作出合成圖像，但也可以使用相加合成等其它合成方法來替代網(wǎng)屏合成。

另外，在上述實施方式中，均是使用照射波長為760nm的近紅外光的光源來作為激發(fā)用光源23，但能夠使用照射能夠激發(fā)靛氰綠使其產(chǎn)生激發(fā)光的750nm～810nm左右的近紅外光的光源來作為激發(fā)用光源23。

另外，在上述實施方式中均說明了通過使用靛氰綠作為含有熒光色素的材料并對該靛氰綠照射760nm的近紅外光作為激發(fā)光而從靛氰綠發(fā)出以大致810nm為峰的近紅外區(qū)域的熒光的情況，但也可以使用近紅外線以外的光。

例如，作為熒光色素，能夠使用5-ala(5-氨基乙酸丙酸/5-aminolevulinicacid)。在使用了該5-ala的情況下，侵入到患者17的體內(nèi)的5-ala變化為作為熒光物質(zhì)的原卟啉(protoporphyrinix/ppix)。當向該原卟啉照射400nm左右的可見光時，從原卟啉照射紅色的可見光來作為熒光。因此，在使用5-ala的情況下，作為激發(fā)用光源，使用照射其波長為400nm左右的可見光的光源即可。

附圖標記說明

10：主體；11：輸入部；12：照明攝影部；13：臂；14：顯示部；16：治療臺；17：患者；21：攝像機；22：可見光源；23：激發(fā)用光源；30：控制部；31：圖像處理部；32：合成部；33：圖像存儲部；34：近紅外圖像存儲部；35：可見光圖像存儲部。