熒光觀察裝置和熒光觀察系統(tǒng)以及熒光圖像處理方法
【專利摘要】提供能夠充分去除除法運(yùn)算后的圖像中殘留的針對(duì)距離等的依賴性、通過高定量性的熒光圖像進(jìn)行觀察的熒光觀察裝置。熒光觀察裝置（100）具有：預(yù)處理部（46），其針對(duì)熒光圖像或參照光圖像中的至少一方乘以預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的系數(shù)來生成校正用熒光圖像和校正用參照光圖像，所述系數(shù)使熒光強(qiáng)度的距離特性和返回光強(qiáng)度的距離特性相互成正比例關(guān)系；相除圖像生成部（43），其將校正用熒光圖像除以校正用參照光圖像，生成相除圖像；閾值設(shè)定部（45），其根據(jù)相除圖像中的每個(gè)像素的灰度值的平均值來設(shè)定閾值；圖像調(diào)整部（51），其擴(kuò)大具有大于所設(shè)定的閾值的灰度值的區(qū)域和具有小于閾值的灰度值的區(qū)域在相除圖像中的對(duì)比度；以及監(jiān)視器（50），其顯示擴(kuò)大了對(duì)比度后的相除圖像。
【專利說明】熒光觀察裝置和熒光觀察系統(tǒng)以及熒光圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及熒光觀察裝置和具有該熒光觀察裝置的熒光觀察系統(tǒng)以及熒光圖像處理方法。
【背景技術(shù)】
[0002]以往，公知有將熒光圖像除以反射光圖像而對(duì)由于觀察距離或角度引起的熒光圖像的明亮度的變動(dòng)進(jìn)行校正的方法(例如參照專利文獻(xiàn)I~專利文獻(xiàn)3。)。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]【專利文獻(xiàn)I】日本特開昭62-247232號(hào)公報(bào)
[0006]【專利文獻(xiàn)2】日本特公平3-58729號(hào)公報(bào)
[0007]【專利文獻(xiàn)3】日本特開2006-175052號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0008]發(fā)明要解決的課題
[0009]但是，通過進(jìn)行除法運(yùn)算，雖然能夠減輕距離或角度的變化，但是會(huì)產(chǎn)生一定的誤差。
[0010]這是因?yàn)?，在熒光和反射光`中，所拍攝的明亮度對(duì)觀察距離的依賴性、對(duì)觀察角度的依賴性不同，所以，即使將熒光圖像除以反射光圖像，也校正不了距離和角度的影響。
[0011]并且，在對(duì)大腸、胃或腹腔內(nèi)進(jìn)行觀察時(shí)等，由于脈動(dòng)、臟器的蠕動(dòng)運(yùn)動(dòng)等而使被攝體的形狀變化。由此，由于照明光和激勵(lì)光的光學(xué)分布變化，所以，僅將熒光圖像除以反射光圖像校正不了由此產(chǎn)生的影響，這也是誤差的要因。
[0012]本發(fā)明是鑒于上述情況而完成的，其目的在于，提供如下的熒光觀察裝置和熒光觀察系統(tǒng)以及熒光圖像處理方法:充分去除除法運(yùn)算后的圖像中殘留的對(duì)距離等的依賴性，能夠通過高定量性的熒光圖像進(jìn)行觀察。
[0013]用于解決課題的手段
[0014]為了解決上述課題，本發(fā)明采用以下手段。
[0015]本發(fā)明的第I方式是一種熒光觀察裝置，具有:光源，其對(duì)被攝體照射激勵(lì)光和參照光；熒光圖像取得部，其拍攝通過照射來自該光源的所述激勵(lì)光而在所述被攝體中產(chǎn)生的熒光，并取得熒光圖像；參照光圖像取得部，其拍攝通過照射來自所述光源的所述參照光而從所述被攝體返回的返回光并，取得參照光圖像；預(yù)處理部，其針對(duì)所述熒光圖像或所述參照光圖像中的至少一方乘以預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的系數(shù)來生成校正用熒光圖像和校正用參照光圖像，所述系數(shù)使預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的熒光強(qiáng)度的距離特性和返回光強(qiáng)度的距離特性相互成正比例關(guān)系的系數(shù)，生成校正用熒光圖像和校正用參照光圖像；除法圖像相除圖像生成部，其將由該預(yù)處理部所生成的所述校正用熒光圖像除以所述校正用參照光圖像，生成除法圖像相除圖像；閾值設(shè)定部，其根據(jù)由該除法圖像相除圖像生成部所生成的所述除法圖像相除圖像中的每個(gè)像素的灰度值的平均值來設(shè)定閾值；圖像調(diào)整部，其擴(kuò)大具有大于由該閾值設(shè)定部所設(shè)定的所述閾值的灰度值的區(qū)域和與具有小于所述閾值的灰度值的區(qū)域在的所述除法圖像相除圖像中的對(duì)比度；以及顯示部，其顯示由該圖像調(diào)整部擴(kuò)大了所述對(duì)比度后的所述除法圖像相除圖像。
[0016]根據(jù)本發(fā)明的第I方式，當(dāng)對(duì)被攝體照射從光源發(fā)出的激勵(lì)光時(shí)，通過熒光圖像取得部取得在被攝體中產(chǎn)生的熒光的熒光圖像，當(dāng)對(duì)被攝體照射與激勵(lì)光一起從光源發(fā)出的參照光時(shí)，通過參照光圖像取得部取得其返回光的參照光圖像。然后，在相除圖像生成部中，使用參照光圖像對(duì)所取得的熒光圖像進(jìn)行校正。
[0017]該情況下，在相除圖像生成部進(jìn)行校正之前，在預(yù)處理部中，通過針對(duì)熒光圖像和參照光圖像中的至少一方乘以預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的使熒光強(qiáng)度的距離特性和返回光強(qiáng)度的距離特性相互成正比例關(guān)系的系數(shù)，生成校正用熒光圖像和校正用參照光圖像。
[0018]即，構(gòu)成熒光圖像的各像素的熒光強(qiáng)度和構(gòu)成參照光圖像的各像素的返回光強(qiáng)度依賴于從照明部到被攝體上的與該像素對(duì)應(yīng)的位置的距離而變化，能夠分別近似為距離的指數(shù)函數(shù)。由于熒光強(qiáng)度的距離特性中的指數(shù)與返回光強(qiáng)度的距離特性中的指數(shù)不同，所以，即使直接將熒光圖像除以參照光圖像，也無法去除距離的依賴性。因此，通過預(yù)先分別利用距離特性中的指數(shù)的倒數(shù)對(duì)熒光強(qiáng)度和返回光強(qiáng)度進(jìn)行冪運(yùn)算，能夠使熒光強(qiáng)度的距離特性和返回光強(qiáng)度的距離特性相互為正比例關(guān)系，能夠在進(jìn)行了除法運(yùn)算時(shí)去除距離的依賴性。
[0019]因此，根據(jù)預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的熒光強(qiáng)度的距離特性和返回光強(qiáng)度的距離特性，預(yù)先求出通過與熒光圖像和參照光圖像中的至少一方相乘而得到與對(duì)上述指數(shù)的倒數(shù)進(jìn)行冪運(yùn)算相同的效果的系數(shù)。然后，將所求出的系數(shù)與熒光圖像和參照光圖像中的至少一方相乘，生成校正用熒 光圖像和校正用參照光圖像，在相除圖像生成部中，通過將校正用熒光圖像除以校正用參照光圖像，能夠得到校正為充分降低距離的依賴性的相除圖像。
[0020]這里，參照光和激勵(lì)光針對(duì)觀察距離的依賴性不同，由此，有時(shí)校正不了觀察距離的影響而在相除圖像中產(chǎn)生一定的誤差。該情況下，在顯示部中顯示通過圖像調(diào)整部擴(kuò)大了灰度值大于閾值的區(qū)域和灰度值小于閾值的區(qū)域的對(duì)比度后的相除圖像，由此，能夠取得抑制了從背景產(chǎn)生的微弱熒光的影響的鮮明的相除圖像。
[0021]并且，即使觀察距離等變動(dòng)、由于誤差要因而使相除圖像中的每個(gè)像素的灰度值變動(dòng)，也能夠由閾值設(shè)定部追隨灰度值的變動(dòng)來更新閾值，能夠通過圖像調(diào)整部維持相除圖像的鮮明度。由此，能夠取得被攝體的定量的信息。
[0022]即，根據(jù)上述第I方式，能夠高精度地降低距離的依賴性，能夠進(jìn)行高定量性的熒光觀察。
[0023]本發(fā)明的第2方式是一種熒光觀察裝置，具有:光源，其對(duì)被攝體照射激勵(lì)光和參照光；熒光圖像取得部，其拍攝通過照射來自該光源的所述激勵(lì)光而在所述被攝體中產(chǎn)生的熒光，取得熒光圖像；參照光圖像取得部，其拍攝通過照射來自所述光源的所述參照光而從所述被攝體返回的返回光，取得參照光圖像；預(yù)處理部，其針對(duì)所述熒光圖像或所述參照光圖像中的至少一方乘以預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的系數(shù)來生成校正用熒光圖像和校正用參照光圖像，所述系數(shù)使熒光強(qiáng)度的角度特性和返回光強(qiáng)度的角度特性相互成正比例關(guān)系；相除圖像生成部，其將由該預(yù)處理部所生成的所述校正用熒光圖像除以所述校正用參照光圖像，生成相除圖像；閾值設(shè)定部，其根據(jù)由該相除圖像生成部所生成的所述相除圖像中的每個(gè)像素的灰度值的平均值來設(shè)定閾值；圖像調(diào)整部，其擴(kuò)大具有大于由該閾值設(shè)定部所設(shè)定的所述閾值的灰度值的區(qū)域與具有小于所述閾值的灰度值的區(qū)域在所述相除圖像中的對(duì)比度；以及顯示部，其顯示由該圖像調(diào)整部擴(kuò)大了所述對(duì)比度后的所述相除圖像。
[0024]根據(jù)本發(fā)明的第2方式，當(dāng)對(duì)被攝體照射從光源發(fā)出的激勵(lì)光時(shí)，通過熒光圖像取得部取得在被攝體中產(chǎn)生的熒光的熒光圖像，當(dāng)對(duì)被攝體照射與激勵(lì)光一起從光源發(fā)出的參照光時(shí)，通過參照光圖像取得部取得其返回光的參照光圖像。然后，在相除圖像生成部中，使用參照光圖像對(duì)所取得的熒光圖像進(jìn)行校正。
[0025]該情況下，在相除圖像生成部進(jìn)行校正之前，在預(yù)處理部中，通過針對(duì)熒光圖像和參照光圖像中的至少一方乘以預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的使熒光強(qiáng)度的角度特性和返回光強(qiáng)度的角度特性相互成正比例關(guān)系的系數(shù)，生成校正用熒光圖像和校正用參照光圖像。
[0026]即，構(gòu)成熒光圖像的各像素的熒光強(qiáng)度和構(gòu)成參照光圖像的各像素的返回光強(qiáng)度依賴于從照明部到被攝體上的與該像素對(duì)應(yīng)的位置的角度而變化，能夠分別近似為角度的指數(shù)函數(shù)。由于熒光強(qiáng)度的角度特性中的指數(shù)與返回光強(qiáng)度的角度特性中的指數(shù)不同，所以，即使直接將熒光圖像除以參照光圖像，也無法去除角度的依賴性。因此，通過預(yù)先分別利用角度特性中的指數(shù)的倒數(shù)對(duì)熒光強(qiáng)度和返回光強(qiáng)度進(jìn)行冪運(yùn)算，能夠使熒光強(qiáng)度的角度特性和返回光強(qiáng)度的角度特性相互為正比例關(guān)系，能夠在進(jìn)行了除法運(yùn)算時(shí)去除角度的依賴性。
[0027]因此，根據(jù)預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的熒光強(qiáng)度的角度特性和返回光強(qiáng)度的角度特性，預(yù)先求出通過與熒光圖像和參照光圖像中的至少一方相乘而得到與對(duì)上述指數(shù)的倒數(shù)進(jìn)行冪運(yùn)算相同的效果的系數(shù)。然后，將所求出的系數(shù)與熒光圖像和參照光圖像中的至少一方相乘，生成校正用熒光圖像和校正用參照光圖像，在相除圖像生成部中，通過將校正用熒光圖像除以校正用參照光圖像，能夠得到校正為充分降低角度的依賴性的相除圖像。
[0028]這里，參照光和激勵(lì)光針對(duì)觀察角度的依賴性不同，由此，有時(shí)校正不了觀察角度的影響而在相除圖像中產(chǎn)生 一定的誤差。該情況下，在顯示部中顯示通過圖像調(diào)整部擴(kuò)大了灰度值大于閾值的區(qū)域和灰度值小于閾值的區(qū)域的對(duì)比度后的相除圖像，由此，能夠取得抑制了從背景產(chǎn)生的微弱熒光的影響的鮮明的相除圖像。
[0029]并且，即使觀察角度等變動(dòng)、由于誤差要因而使相除圖像中的每個(gè)像素的灰度值變動(dòng)，也能夠由閾值設(shè)定部追隨灰度值的變動(dòng)來更新閾值，能夠通過圖像調(diào)整部維持相除圖像的鮮明度。由此，能夠取得被攝體的定量的信息。
[0030]即，根據(jù)上述第2方式，能夠高精度地降低角度的依賴性，能夠進(jìn)行高定量性的熒光觀察。
[0031]在上述各方式中，也可以是，所述參照光圖像取得部取得在所述被攝體中反射或散射而返回的所述參照光的反射光或散射光。
[0032]通過這樣構(gòu)成，由于根據(jù)在被攝體中反射或散射而返回的參照光的反射光或散射光生成參照光圖像，所以，在幾乎不產(chǎn)生熒光的區(qū)域中，參照光圖像的灰度值也不會(huì)成為零或接近零的值，能夠生成準(zhǔn)確的相除圖像。
[0033]在上述各方式中，也可以是，所述光源還照射白色光，所述圖像調(diào)整部生成背景去除圖像，該背景去除圖像不顯示具有小于所述閾值的灰度值的區(qū)域，所述熒光觀察裝置具有:白色光圖像取得部，其取得通過照射所述白色光而得到的所述被攝體的白色光圖像；以及圖像合成部，其生成將由該白色光圖像取得部所取得的白色光圖像和由所述圖像調(diào)整部所生成的背景去除圖像重疊而成的合成圖像，所述顯示部顯示由所述圖像合成部所生成的合成圖像。
[0034]通過圖像合成部生成將由白色光圖像取得部所取得的白色光圖像和由圖像調(diào)整部所生成的背景去除圖像重疊而成的合成圖像，由此，能夠更加明確地對(duì)手術(shù)醫(yī)生提供白色光圖像和相除圖像的位置關(guān)系。該情況下，由于不顯示閾值以下的區(qū)域，所以，即使在重疊了兩個(gè)圖像的合成圖像中，在病變部以外的區(qū)域中，白色光圖像的顯示也不會(huì)被相除圖像妨礙。
[0035]在上述各方式中，也可以是，所述光源照射白色光作為所述參照光，所述參照光圖像取得部取得從被攝體返回的白色光圖像作為所述參照光圖像，所述圖像調(diào)整部生成背景去除圖像，該背景去除圖像不顯示具有小于所述閾值的灰度值的區(qū)域，所述熒光觀察裝置具有圖像合成部，該圖像合成部生成將由所述參照光圖像取得部所取得的所述被攝體的白色光圖像和由所述圖像調(diào)整部所生成的背景去除圖像重疊而成的合成圖像，所述顯示部顯示由所述圖像合成部所生成的合成圖像。
[0036]通過這樣構(gòu)成，由于使用通過來自被攝體的反射光和散射返回光而生成的白色光圖像作為參照光圖像，所以，在幾乎不產(chǎn)生熒光的區(qū)域中，參照光圖像的灰度值也不會(huì)成為零或接近零的值，能夠生成準(zhǔn)確的相除圖像。
[0037]并且，通過圖像合成部生成將由白色光圖像取得部所取得的白色光圖像和由圖像調(diào)整部所生成的背景去除圖像重疊而成的合成圖像，由此，能夠更加明確地對(duì)手術(shù)醫(yī)生提供白色光圖像和相除圖像的位置關(guān)系。該情況下，由于不顯示閾值以下的區(qū)域，所以，即使在重疊了兩個(gè)圖像的 合成圖像中，在病變部以外的區(qū)域中，白色光圖像的顯示也不會(huì)被相除圖像妨礙。
[0038]在上述各方式中，也可以是，所述閾值設(shè)定部根據(jù)所述灰度值的平均值和標(biāo)準(zhǔn)偏差來設(shè)定所述閾值。
[0039]通過這樣構(gòu)成，在相除圖像中的每個(gè)像素的灰度值存在偏差的情況下，與僅根據(jù)灰度值的平均值來設(shè)定閾值的情況相比，能夠設(shè)定更高精度的閾值。
[0040]另外，閾值設(shè)定部也可以設(shè)定針對(duì)灰度值的平均值加上標(biāo)準(zhǔn)偏差而得到的值作為閾值。
[0041]在上述各方式中，也可以是，所述預(yù)處理部利用所述熒光拍攝部和所述參照光拍攝部的增益和曝光時(shí)間對(duì)所述熒光圖像的各像素的熒光強(qiáng)度和所述參照光圖像的各像素的返回光強(qiáng)度進(jìn)行歸一化，生成歸一化熒光圖像和歸一化參照光圖像，針對(duì)這些歸一化熒光圖像或歸一化參照光圖像中的至少一方乘以所述系數(shù)，生成校正用熒光圖像和校正用參照光圖像。
[0042]通過這樣構(gòu)成，在熒光圖像取得部和參照光圖像取得部中，即使在熒光圖像和參照光圖像的拍攝時(shí)進(jìn)行不同的增益調(diào)整和曝光時(shí)間調(diào)整，也能夠生成對(duì)它們進(jìn)行歸一化后的歸一化熒光圖像和歸一化參照光圖像，能夠使用這些歸一化熒光圖像和歸一化參照光圖像生成校正用熒光圖像和校正用參照光圖像，由此，能夠進(jìn)行更高定量性的熒光觀察。
[0043]在上述各方式中，也可以是，所述熒光觀察裝置具有存儲(chǔ)所述系數(shù)的存儲(chǔ)部，所述預(yù)處理部針對(duì)所述熒光圖像或所述參照光圖像中的至少一方乘以存儲(chǔ)在所述存儲(chǔ)部中的系數(shù)。
[0044]通過這樣構(gòu)成，僅通過乘以在存儲(chǔ)部中存儲(chǔ)的系數(shù)，就能夠簡單地降低距離或角度的依賴性，進(jìn)行高定量性的熒光觀察。
[0045]在上述各方式中，也可以是，所述熒光觀察裝置具有為了變更觀察條件而被拆裝的拆裝部件，在該拆裝部件中記錄有識(shí)別信息，所述熒光觀察裝置具有讀取存儲(chǔ)在該拆裝部件中的識(shí)別信息的識(shí)別信息讀取單元，在所述存儲(chǔ)部中所述識(shí)別信息和所述系數(shù)被對(duì)應(yīng)地存儲(chǔ)。 [0046]由此，當(dāng)對(duì)拆裝部件進(jìn)行拆裝來變更觀察條件時(shí)，通過識(shí)別信息讀取單元讀取在拆裝部件中存儲(chǔ)的識(shí)別信息，能夠設(shè)定與識(shí)別信息對(duì)應(yīng)地存儲(chǔ)在存儲(chǔ)部中的系數(shù)。作為拆裝部件，例如能夠舉出內(nèi)窺鏡裝置中的鏡體等，作為該情況下被變更的觀察條件，能夠舉出物鏡光學(xué)系統(tǒng)的NA和瞳徑、可觀察的熒光的波長和觀察對(duì)象部位(胃、大腸等)等。由此，能夠結(jié)合觀察條件來設(shè)定最佳的系數(shù)，在觀察條件變動(dòng)的情況下，也能夠進(jìn)行高定量性的熒光觀察。
[0047]本發(fā)明的第3方式是一種熒光觀察系統(tǒng)，具有:上述第I方式的熒光觀察裝置；校準(zhǔn)裝置，其與該熒光觀察裝置連接，計(jì)算所述系數(shù)，該校準(zhǔn)裝置具有標(biāo)準(zhǔn)樣本和以能夠變更的方式設(shè)定所述熒光觀察裝置相對(duì)于該標(biāo)準(zhǔn)樣本的觀察距離的觀察距離設(shè)定機(jī)構(gòu)，所述熒光觀察系統(tǒng)具有系數(shù)決定部，該系數(shù)決定部根據(jù)由所述觀察距離設(shè)定機(jī)構(gòu)所設(shè)定的觀察距離以及由所述熒光觀察裝置拍攝所述標(biāo)準(zhǔn)樣本而取得的熒光圖像和參照光圖像，計(jì)算通過與該熒光圖像和所述參照光圖像中的至少一方相乘而使熒光強(qiáng)度的距離特性和返回光強(qiáng)度的距離特性成正比例的系數(shù)。
[0048]根據(jù)本發(fā)明的第3方式，通過校準(zhǔn)裝置的觀察距離設(shè)定機(jī)構(gòu)變更熒光觀察裝置相對(duì)于標(biāo)準(zhǔn)樣本的觀察距離并通過熒光觀察裝置拍攝標(biāo)準(zhǔn)樣本，由此，能夠得到標(biāo)準(zhǔn)樣本的熒光亮度的距離特性和返回光強(qiáng)度的距離特性，根據(jù)這些距離特性，能夠計(jì)算使兩個(gè)距離特性成正比例的系數(shù)。然后，通過在熒光觀察裝置的存儲(chǔ)部中存儲(chǔ)計(jì)算出的系數(shù)，在通過熒光觀察裝置對(duì)被攝體進(jìn)行熒光觀察時(shí)，與熒光觀察裝置中存在的個(gè)體差、存在拆裝部件的情況下該拆裝部件的個(gè)體差無關(guān)，能夠使用高精度計(jì)算出的系數(shù)進(jìn)行更高定量性的熒光觀察。
[0049]本發(fā)明的第4方式是一種熒光觀察系統(tǒng)，具有:上述第2方式的熒光觀察裝置；校準(zhǔn)裝置，其與該熒光觀察裝置連接，計(jì)算所述系數(shù)，該校準(zhǔn)裝置具有標(biāo)準(zhǔn)樣本和以能夠變更的方式設(shè)定所述熒光觀察裝置相對(duì)于該標(biāo)準(zhǔn)樣本的觀察角度的觀察角度設(shè)定機(jī)構(gòu)，所述熒光觀察系統(tǒng)具有系數(shù)決定部，該系數(shù)決定部根據(jù)由所述觀察角度設(shè)定機(jī)構(gòu)所設(shè)定的觀察角度以及由所述熒光觀察裝置拍攝所述標(biāo)準(zhǔn)樣本而取得的熒光圖像和參照光圖像，計(jì)算通過與該熒光圖像和所述參照光圖像中的至少一方相乘而使熒光強(qiáng)度的角度特性和返回光強(qiáng)度的角度特性成正比例的系數(shù)。
[0050]根據(jù)本發(fā)明的第4方式，通過校準(zhǔn)裝置的觀察角度設(shè)定機(jī)構(gòu)變更熒光觀察裝置相對(duì)于標(biāo)準(zhǔn)樣本的觀察角度并通過熒光觀察裝置拍攝標(biāo)準(zhǔn)樣本，由此，能夠得到標(biāo)準(zhǔn)樣本的熒光亮度的角度特性和返回光強(qiáng)度的角度特性，根據(jù)這些角度特性，能夠計(jì)算使兩個(gè)角度特性成正比例的系數(shù)。然后，通過在熒光觀察裝置的存儲(chǔ)部中存儲(chǔ)計(jì)算出的系數(shù)，在通過熒光觀察裝置對(duì)被攝體進(jìn)行熒光觀察時(shí)，與熒光觀察裝置中存在的個(gè)體差、存在拆裝部件的情況下該拆裝部件的個(gè)體差無關(guān)，能夠使用高精度計(jì)算出的系數(shù)進(jìn)行更高定量性的熒光觀察。
[0051]本發(fā)明的第5方式是一種熒光圖像處理方法，該熒光圖像處理方法使用熒光圖像和參照光圖像，所述熒光圖像是拍攝通過對(duì)被攝體照射激勵(lì)光而在被攝體中產(chǎn)生的熒光所取得的圖像，所述參照光圖像是拍攝通過對(duì)被攝體照射參照光而從被攝體返回的返回光所取得的圖像，該熒光圖像處理方法包括以下步驟:預(yù)處理步驟，針對(duì)所述熒光圖像或所述參照光圖像中的至少一方乘以預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的系數(shù)來生成校正用熒光圖像和校正用參照光圖像，所述系數(shù)使熒光強(qiáng)度的距離特性和返回光強(qiáng)度的距離特性相互成正比例關(guān)系；相除圖像生成步驟，將通過該預(yù)處理步驟生成的所述校正用熒光圖像除以所述校正用參照光圖像，生成相除圖像；閾值設(shè)定步驟，根據(jù)通過該相除圖像生成步驟生成的所述相除圖像中的每個(gè)像素的灰度值的平均值來設(shè)定閾值；圖像調(diào)整步驟，擴(kuò)大具有大于通過該閾值設(shè)定步驟設(shè)定的所述閾值的灰度值的區(qū)域和具有小于所述閾值的灰度值的區(qū)域在所述相除圖像中的對(duì)比度；以及顯示步驟，顯示通過該圖像調(diào)整步驟擴(kuò)大了所述對(duì)比度后的所述相除圖像。
[0052]本發(fā)明的第6方式是一種熒光圖像處理方法，該熒光圖像處理方法使用熒光圖像和參照光圖像，所述熒光圖像是拍攝通過對(duì)被攝體照射激勵(lì)光而在被攝體中產(chǎn)生的熒光所取得的圖像，所述參照光圖像是拍攝通過對(duì)被攝體照射參照光而從被攝體返回的返回光所取得的圖像，該熒光圖像處理方法包括以下步驟:預(yù)處理步驟，針對(duì)所述熒光圖像或所述參照光圖像中的至少一方乘以預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的系數(shù)來生成校正用熒光圖像和校正用參照光圖像，所述系數(shù)使熒光強(qiáng)度的角度特性和返回光強(qiáng)度的角度特性相互成正比例關(guān)系；相除圖像生成步驟 將通過該預(yù)處理步驟生成的所述校正用熒光圖像除以所述校正用參照光圖像，生成相除圖像；閾值設(shè)定步驟，根據(jù)通過該相除圖像生成步驟生成的所述相除圖像中的每個(gè)像素的灰度值的平均值來設(shè)定閾值；圖像調(diào)整步驟，擴(kuò)大具有大于通過該閾值設(shè)定步驟設(shè)定的所述閾值的灰度值的區(qū)域和具有小于所述閾值的灰度值的區(qū)域在所述相除圖像中的對(duì)比度；以及顯示步驟，顯示通過該圖像調(diào)整步驟擴(kuò)大了所述對(duì)比度后的所述相除圖像。
[0053]發(fā)明效果
[0054]根據(jù)本發(fā)明，發(fā)揮如下效果:充分去除除法運(yùn)算后的圖像中殘留的針對(duì)距離等的依賴性，能夠利用高定量性的熒光圖像進(jìn)行觀察。
【專利附圖】

【附圖說明】
[0055]圖1是本發(fā)明的第I實(shí)施方式的熒光觀察裝置的概略結(jié)構(gòu)圖。
[0056]圖2是示出用于導(dǎo)出圖1的熒光觀察裝置中使用的系數(shù)的圖像的灰度值、增益、曝光時(shí)間和歸一化圖像與由此導(dǎo)出的系數(shù)之間的對(duì)應(yīng)的一覽表例的圖。
[0057]圖3是示出由圖2導(dǎo)出的歸一化參照光圖像的灰度值與系數(shù)之間的對(duì)應(yīng)的一覽表例的圖。
[0058]圖4是示出圖1的監(jiān)視器中顯示的白色光圖像和相除圖像的一例的圖。
[0059]圖5是示出圖4的相除圖像中的像素的灰度值與在圖像全體中占據(jù)的頻度之間的關(guān)系的直方圖。
[0060]圖6是示出圖1的熒光觀察裝置的作用的流程圖。
[0061]圖7是示出監(jiān)視器中顯示的白色光圖像和新相除圖像的一例的圖。
[0062]圖8是示出圖7的相除圖像中的像素的灰度值與在圖像全體中占據(jù)的頻度之間的關(guān)系的直方圖。
[0063]圖9是示出灰度值變動(dòng)后的相除圖像中的像素的灰度值與在圖像全體中占據(jù)的頻度之間的關(guān)系的直方圖。
[0064]圖10是示出圖9的相除圖像的一例的圖。
[0065]圖11是示出圖像調(diào)整后的相除圖像中的像素的灰度值與在圖像全體中占據(jù)的頻度之間的關(guān)系的直方圖。
[0066]圖12是示出圖11的相除圖像的一例的圖。
[0067]圖13是示出第I變形例的熒光觀察裝置的作用的流程圖。
[0068]圖14是第2變形例的熒光觀察裝置的概略結(jié)構(gòu)圖。
[0069]圖15是說明圖14的熒光觀察裝置的效果的圖。
[0070]圖16是第3變形例的熒光觀察裝置的概略結(jié)構(gòu)圖。
[0071]圖17是第4變形例的熒光觀察裝置的概略結(jié)構(gòu)圖。
[0072]圖18是本發(fā)明的第2實(shí)施方式的熒光觀察系統(tǒng)的概略結(jié)構(gòu)圖。
[0073]圖19是示出圖18的熒光觀察系統(tǒng)的校準(zhǔn)裝置的圖。
【具體實(shí)施方式】
[0074][第I實(shí)施方式]
[0075]下面，參照附圖對(duì)本發(fā)明的第I實(shí)施方式的熒光觀察裝置進(jìn)行說明。
[0076]如圖1所示，本實(shí)施方式的熒光觀察裝置100具有:被插入體腔內(nèi)的細(xì)長的鏡體
2、具有發(fā)出從鏡體2的前端2a射出的照明光的光源10的照明單元20、配置在鏡體2內(nèi)且取得作為被攝體的觀察對(duì)象部位X的圖像信息的拍攝單元30、對(duì)拍攝單元30所取得的圖像信息進(jìn)行處理的圖像處理部40、顯示圖像處理部40處理后的圖像和圖像信息等的監(jiān)視器(顯示部)50。
[0077]光源10具有發(fā)出照明光的氙燈(Xe燈)11、從氙燈11發(fā)出的照明光中切出激勵(lì)光和白色光(參照光)的激勵(lì)光濾鏡13、使包含由激勵(lì)光濾鏡13切出的激勵(lì)光的白色光會(huì)聚的耦合透鏡15。激勵(lì)光濾鏡13例如切出包含波段為400~740nm的激勵(lì)光在內(nèi)的白色光。
[0078]照明單元20中具有配置在鏡體2的長度方向的大致全長范圍內(nèi)的光導(dǎo)纖維21、以及配置在鏡體2的前端2a的擴(kuò)散透鏡23。
[0079]光導(dǎo)纖維21將由耦合透鏡15會(huì)聚的包含激勵(lì)光的白色光引導(dǎo)至鏡體2的前端2a。擴(kuò)散透鏡23使由光導(dǎo)纖維21引導(dǎo)的包含激勵(lì)光的白色光擴(kuò)散并將其照射到觀察對(duì)象部位X。
[0080]拍攝單元30具有:物鏡31，其使從被照明單元20照射包含激勵(lì)光的白色光的觀察對(duì)象部位X返回的返回光會(huì)聚；以及分束器33，其按照各個(gè)波長將由物鏡31會(huì)聚的返回光分支。
[0081]物鏡31與擴(kuò)散透鏡23并列地配置在鏡體2的前端2a。分束器33使返回光中的波長在激勵(lì)波長以上的光(激勵(lì)光和熒光)反射，并使波長比激勵(lì)波長短的白色光(返回光)透射。
[0082]該拍攝單兀30中具有遮斷由分束器33反射的激勵(lì)光和滅光中的激勵(lì)光而僅使滅光(例如近紅外熒光)透射的激勵(lì)光截止濾鏡35、使透射過激勵(lì)光截止濾鏡35后的熒光會(huì)聚的會(huì)聚透鏡37A和使透射過分束器33后的白色光會(huì)聚的會(huì)聚透鏡37B、拍攝由會(huì)聚透鏡37A會(huì)聚的熒光的熒光拍攝部38以及拍攝由會(huì)聚透鏡37B會(huì)聚的白色光的白色光拍攝部39。
[0083]激勵(lì)光截止濾鏡35例如僅使波段為765~850nm的熒光透射。熒光拍攝部38例如是熒光用的高感光度單色CCD。該熒光拍攝部38通過拍攝熒光而取得熒光圖像信息。白色光拍攝部39例如是白色光用的彩色CCD，具有馬賽克濾鏡(圖示省略)。該白色光拍攝部39通過拍攝白色光而取得白色光圖像信息。
[0084]圖像處理部40具有:參照?qǐng)D像生成部41，其根據(jù)白色光拍攝部39所取得的白色光圖像信息生成白色光圖像(參照光圖像)；熒光圖像生成部42，其根據(jù)熒光拍攝部38所取得的熒光圖像信息生成熒光圖像；以及圖像歸一化部44，其對(duì)這些參照?qǐng)D像生成部41和熒光圖像生成部42所生成的參照光圖像和熒光圖像進(jìn)行歸一化，生成歸一化參照光圖像和歸一化熒光圖像。
[0085]并且，圖像處理部40具有:預(yù)處理部46，其根據(jù)圖像歸一化部44所生成的歸一化參照光圖像和歸一化熒光圖像生成校正用參照光圖像和校正用熒光圖像；相除圖像生成部43，其通過將該預(yù)處理部46所生成的校正用熒光圖像除以校正用參照光圖像而生成相除圖像(以后也稱為“校正熒光圖像”。)；以及閾值設(shè)定部45，其設(shè)定相除圖像生成部43所生成的相除圖像中的灰度 值的閾值。
[0086]參照?qǐng)D像生成部41根據(jù)白色光拍攝部39所取得的白色光圖像信息生成二維的白色光圖像。
[0087]熒光圖像生成部42根據(jù)熒光拍攝部38所取得的熒光圖像信息生成二維的熒光圖像。
[0088]這里，作為熒光圖像，例如是來自熒光色素Cy7的熒光圖像即可。特別是如果預(yù)先對(duì)觀察對(duì)象投放腫瘤特異的熒光藥劑、例如結(jié)合了針對(duì)癌特異的分子CEA的抗體(Ant1-CEA抗體)和Cy7的熒光藥劑，則能夠得到腫瘤特異的熒光圖像。并且，作為參照光圖像，例如使用基于如下的返回光的圖像即可，該返回光是照明光在觀察對(duì)象表面反射而得到的返回光和在觀察對(duì)象內(nèi)部進(jìn)行散射而得到的返回光。
[0089]圖像歸一化部44使用數(shù)式I所示的關(guān)系式對(duì)參照光圖像和熒光圖像進(jìn)行歸一化。
[0090]【數(shù)式I】
[0091]
【權(quán)利要求】
1.一種熒光觀察裝置，具有: 光源，其對(duì)被攝體照射激勵(lì)光和參照光； 熒光圖像取得部，其拍攝通過照射來自該光源的所述激勵(lì)光而在所述被攝體中產(chǎn)生的熒光，取得熒光圖像； 參照光圖像取得部，其拍攝通過照射來自所述光源的所述參照光而從所述被攝體返回的返回光，取得參照光圖像； 預(yù)處理部，其針對(duì)所述熒光圖像或所述參照光圖像中的至少一方乘以預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的系數(shù)來生成校正用熒光圖像和校正用參照光圖像，所述系數(shù)使熒光強(qiáng)度的距離特性和返回光強(qiáng)度的距離特性相互成正比例關(guān)系； 相除圖像生成部，其將由該預(yù)處理部所生成的所述校正用熒光圖像除以所述校正用參照光圖像，生成相除圖像； 閾值設(shè)定部，其根據(jù)由該相除圖像生成部所生成的所述相除圖像中的每個(gè)像素的灰度值的平均值來設(shè)定閾值； 圖像調(diào)整部，其擴(kuò)大具有大于由該閾值設(shè)定部所設(shè)定的所述閾值的灰度值的區(qū)域與具有小于所述閾值的灰度值的區(qū)域在所述相除圖像中的對(duì)比度；以及 顯示部，其顯示由該圖像調(diào)整部擴(kuò)大了所述對(duì)比度后的所述相除圖像。
2.一種熒光觀察裝置，具有: 光源，其對(duì)被攝體照射激勵(lì)光和參照光； 熒光圖像取得部，其拍攝通過照射 來自該光源的所述激勵(lì)光而在所述被攝體中產(chǎn)生的熒光，取得熒光圖像； 參照光圖像取得部，其拍攝通過照射來自所述光源的所述參照光而從所述被攝體返回的返回光，取得參照光圖像； 預(yù)處理部，其針對(duì)所述熒光圖像或所述參照光圖像中的至少一方乘以預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的系數(shù)來生成校正用熒光圖像和校正用參照光圖像，所述系數(shù)使熒光強(qiáng)度的角度特性和返回光強(qiáng)度的角度特性相互成正比例關(guān)系； 相除圖像生成部，其將由該預(yù)處理部所生成的所述校正用熒光圖像除以所述校正用參照光圖像，生成相除圖像； 閾值設(shè)定部，其根據(jù)由該相除圖像生成部所生成的所述相除圖像中的每個(gè)像素的灰度值的平均值來設(shè)定閾值； 圖像調(diào)整部，其擴(kuò)大具有大于由該閾值設(shè)定部所設(shè)定的所述閾值的灰度值的區(qū)域與具有小于所述閾值的灰度值的區(qū)域在所述相除圖像中的對(duì)比度；以及 顯示部，其顯示由該圖像調(diào)整部擴(kuò)大了所述對(duì)比度后的所述相除圖像。
3.根據(jù)權(quán)利要求1或2所述的熒光觀察裝置，其中， 所述參照光圖像取得部取得在所述被攝體中反射或散射而返回的所述參照光的反射光或散射光。
4.根據(jù)權(quán)利要求1或2所述的熒光觀察裝置，其中， 所述光源還照射白色光， 所述圖像調(diào)整部生成背景去除圖像，該背景去除圖像不顯示具有小于所述閾值的灰度值的區(qū)域，所述熒光觀察裝置具有: 白色光圖像取得部，其取得通過照射所述白色光而得到的所述被攝體的白色光圖像；以及 圖像合成部，其生成將由該白色光圖像取得部所取得的白色光圖像和由所述圖像調(diào)整部所生成的背景去除圖像重疊而成的合成圖像， 所述顯示部顯示由所述圖像合成部所生成的合成圖像。
5.根據(jù)權(quán)利要求1或2所述的熒光觀察裝置，其中， 所述光源照射白色光作為所述參照光， 所述參照光圖像取得部取得從被攝體返回的白色光圖像作為所述參照光圖像， 所述圖像調(diào)整部生成背景去除圖像，該背景去除圖像不顯示具有小于所述閾值的灰度值的區(qū)域， 所述熒光觀察裝置具有圖像合成部，該圖像合成部生成將由所述參照光圖像取得部所取得的所述被攝體的白色光圖像和由所述圖像調(diào)整部所生成的背景去除圖像重疊而成的合成圖像， 所述顯示部顯示由所述圖像合成部所生成的合成圖像。
6.根據(jù)權(quán)利要求1或2所述的熒光觀察裝置，其中， 所述閾值設(shè)定部根據(jù)所述灰度值的平均值和標(biāo)準(zhǔn)偏差來設(shè)定所述閾值。
7.根據(jù)權(quán)利要求1或2所述的熒光觀察裝置，其中， 所述預(yù)處理部利用所述熒光拍攝部和所述參照光拍攝部的增益和曝光時(shí)間對(duì)所述熒光圖像的各像素的熒光強(qiáng)度和所述參照光圖像的各像素的返回光強(qiáng)度進(jìn)行歸一化，生成歸一化熒光圖像和歸一化參照光圖像，針對(duì)這些歸一化熒光圖像或歸一化參照光圖像中的至少一方乘以所述系數(shù)，生成校正用熒光圖像和校正用參照光圖像。
8.根據(jù)權(quán)利要求1或2所述的熒光觀察裝置，其中， 所述熒光觀察裝置具有存儲(chǔ)所述系數(shù)的存儲(chǔ)部， 所述預(yù)處理部針對(duì)所述熒光圖像或所述參照光圖像中的至少一方乘以存儲(chǔ)在所述存儲(chǔ)部中的系數(shù)。
9.根據(jù)權(quán)利要求8所述的熒光觀察裝置，其中， 所述熒光觀察裝置具有為了變更觀察條件而被拆裝的拆裝部件， 在該拆裝部件中記錄有識(shí)別信息， 所述熒光觀察裝置具有讀取存儲(chǔ)在該拆裝部件中的識(shí)別信息的識(shí)別信息讀取單元， 在所述存儲(chǔ)部中所述識(shí)別信息和所述系數(shù)被對(duì)應(yīng)地存儲(chǔ)。
10.一種突光觀察系統(tǒng)，具有: 權(quán)利要求1所述的熒光觀察裝置；以及 校準(zhǔn)裝置，其與該熒光觀察裝置連接，計(jì)算所述系數(shù)， 該校準(zhǔn)裝置具有標(biāo)準(zhǔn)樣本和以能夠變更的方式設(shè)定所述熒光觀察裝置相對(duì)于該標(biāo)準(zhǔn)樣本的觀察距離的觀察距離設(shè)定機(jī)構(gòu)， 所述熒光觀察系統(tǒng)具有系數(shù)決定部，該系數(shù)決定部根據(jù)由所述觀察距離設(shè)定機(jī)構(gòu)所設(shè)定的觀察距離以及由所述熒光觀察裝置拍攝所述標(biāo)準(zhǔn)樣本而取得的熒光圖像和參照光圖像，計(jì)算通過與該熒光圖像和所述參照光圖像中的至少一方相乘而使熒光強(qiáng)度的距離特性和返回光強(qiáng)度的距離特性成正比例的系數(shù)。
11.一種突光觀察系統(tǒng)，具有: 權(quán)利要求2所述的熒光觀察裝置；以及 校準(zhǔn)裝置，其與該熒光觀察裝置連接，計(jì)算所述系數(shù)， 該校準(zhǔn)裝置具有標(biāo)準(zhǔn)樣本和以能夠變更的方式設(shè)定所述熒光觀察裝置相對(duì)于該標(biāo)準(zhǔn)樣本的觀察角度的觀察角度設(shè)定機(jī)構(gòu)， 所述熒光觀察系統(tǒng)具有系數(shù)決定部，該系數(shù)決定部根據(jù)由所述觀察角度設(shè)定機(jī)構(gòu)所設(shè)定的觀察角度以及由所述熒光觀察裝置拍攝所述標(biāo)準(zhǔn)樣本而取得的熒光圖像和參照光圖像，計(jì)算通過與該熒光圖像和所述參照光圖像中的至少一方相乘而使熒光強(qiáng)度的角度特性和返回光強(qiáng)度的角度特性成正比例的系數(shù)。
12.一種熒光圖像處理方法，該熒光圖像處理方法使用熒光圖像和參照光圖像，所述熒光圖像是拍攝通過對(duì)被攝體照射激勵(lì)光而在被攝體中產(chǎn)生的熒光所取得的圖像，所述參照光圖像是拍攝通過對(duì)被攝體照射參照光而從被攝體返回的返回光所取得的圖像， 該熒光圖像處理方法包括以下步驟: 預(yù)處理步驟，針對(duì)所述熒光圖像或所述參照光圖像中的至少一方乘以預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的系數(shù)來生成校正用熒光圖像和校正用參照光圖像，所述系數(shù)使熒光強(qiáng)度的距離特性和返回光強(qiáng)度的距離特性相互成正比例關(guān)系； 相除圖像生成步 驟，將通過該預(yù)處理步驟生成的所述校正用熒光圖像除以所述校正用參照光圖像，生成相除圖像； 閾值設(shè)定步驟，根據(jù)通過該相除圖像生成步驟生成的所述相除圖像中的每個(gè)像素的灰度值的平均值來設(shè)定閾值； 圖像調(diào)整步驟，擴(kuò)大具有大于通過該閾值設(shè)定步驟設(shè)定的所述閾值的灰度值的區(qū)域和具有小于所述閾值的灰度值的區(qū)域在所述相除圖像中的對(duì)比度；以及 顯示步驟，顯示通過該圖像調(diào)整步驟擴(kuò)大了所述對(duì)比度后的所述相除圖像。
13.一種熒光圖像處理方法，該熒光圖像處理方法使用熒光圖像和參照光圖像，所述熒光圖像是拍攝通過對(duì)被攝體照射激勵(lì)光而在被攝體中產(chǎn)生的熒光所取得的圖像，所述參照光圖像是拍攝通過對(duì)被攝體照射參照光而從被攝體返回的返回光所取得的圖像， 該熒光圖像處理方法包括以下步驟: 預(yù)處理步驟，針對(duì)所述熒光圖像或所述參照光圖像中的至少一方乘以預(yù)先對(duì)標(biāo)準(zhǔn)樣本取得的系數(shù)來生成校正用熒光圖像和校正用參照光圖像，所述系數(shù)使熒光強(qiáng)度的角度特性和返回光強(qiáng)度的角度特性相互成正比例關(guān)系； 相除圖像生成步驟，將通過該預(yù)處理步驟生成的所述校正用熒光圖像除以所述校正用參照光圖像，生成相除圖像； 閾值設(shè)定步驟，根據(jù)通過該相除圖像生成步驟生成的所述相除圖像中的每個(gè)像素的灰度值的平均值來設(shè)定閾值； 圖像調(diào)整步驟，擴(kuò)大具有大于通過該閾值設(shè)定步驟設(shè)定的所述閾值的灰度值的區(qū)域和具有小于所述閾值的灰度值的區(qū)域在所述相除圖像中的對(duì)比度；以及 顯示步驟，顯示通過該圖像調(diào)整步驟擴(kuò)大了所述對(duì)比度后的所述相除圖像。
【文檔編號(hào)】G02B23/24GK103764007SQ201280039584
【公開日】2014年4月30日 申請(qǐng)日期:2012年8月8日 優(yōu)先權(quán)日:2011年8月18日
【發(fā)明者】石原康成 申請(qǐng)人:奧林巴斯株式會(huì)社