專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置及圖像處理方法。
背景技術(shù)：
目前，以內(nèi)窺鏡裝置為代表的、插入消化管等的體腔內(nèi)而用于診斷、治療等的醫(yī)用設(shè)備是眾所周知的。在利用這樣的醫(yī)用設(shè)備對活體進(jìn)行檢查或手術(shù)時(shí)，醫(yī)生在事先掌握體內(nèi)的各部位(器官、組織)的已知的位置關(guān)系的基礎(chǔ)上，對當(dāng)前所觀察的部位的位置進(jìn)行估計(jì)而進(jìn)行診斷或手術(shù)。為了協(xié)助這樣的診斷或手術(shù)，目前研發(fā)出用于顯示檢查時(shí)或手術(shù)時(shí)所觀察的內(nèi)窺鏡裝置的體內(nèi)位置的技術(shù)。作為這樣的醫(yī)用協(xié)助系統(tǒng)，例如在日本特開2006-149481號公報(bào)中記載了如下技術(shù)檢測超聲波內(nèi)窺鏡的前端位置而顯示與超聲波內(nèi)窺鏡的體內(nèi)中的位置對應(yīng)的引導(dǎo)圖像。在日本特開2006-149481號公報(bào)中，設(shè)置用于對活體的標(biāo)本點(diǎn)的位置進(jìn)行檢測的標(biāo)本點(diǎn)位置檢測單元，并且通過對由標(biāo)本點(diǎn)位置檢測單元檢測的標(biāo)本點(diǎn)的位置和被圖像信息保持單元保持的參照圖像數(shù)據(jù)上的特征點(diǎn)的位置進(jìn)行核對而制作引導(dǎo)圖像。并且，設(shè)置用于檢測活體的位置或姿勢的姿勢檢測單元而安裝在被檢體上。根據(jù)由該姿勢檢測單元檢測的被檢體的位置或朝向而校正由所述標(biāo)本點(diǎn)位置檢測單元檢測的所述標(biāo)本點(diǎn)的位置，從而對被檢體的姿勢變化進(jìn)行校正的同時(shí)制作所述弓丨導(dǎo)圖像。專利文獻(xiàn)1日本特開2006-149481號公報(bào)但是，在專利文獻(xiàn)1中，必須要獲得與引導(dǎo)圖像上的特征點(diǎn)對應(yīng)的、活體的標(biāo)本點(diǎn)，因此需要用于獲得標(biāo)本點(diǎn)的位置檢測單元，從而在成本方面并不有利。并且，在取得了參照圖像數(shù)據(jù)時(shí)和進(jìn)行內(nèi)窺鏡檢測時(shí)，在骨骼與內(nèi)臟之間的位置關(guān)系和形狀上存在差異， 當(dāng)在被檢體上取得的標(biāo)本點(diǎn)和在參照圖像數(shù)據(jù)上指定的特征點(diǎn)之間出現(xiàn)偏差時(shí)，在引導(dǎo)圖像和實(shí)際的內(nèi)窺鏡裝置的體內(nèi)中的位置之間產(chǎn)生誤差。具體地，在作為參照圖像數(shù)據(jù)使用CT的情況下，在進(jìn)行CT攝影時(shí)基本上向上仰著進(jìn)行攝影。另外，在內(nèi)窺鏡檢查中，向深部消化管插入時(shí)，例如在經(jīng)由大腸而向小腸插入的情況下，如果僅僅將內(nèi)窺鏡插入部推入，則由于復(fù)雜的腸道的折曲而導(dǎo)致力量不容易傳遞到內(nèi)窺鏡前端，因此難以插入到深部。因此，在大腸內(nèi)窺鏡插入操作中，需要在角度操作、扭曲操作、拉回操作、軸保持等中下工夫。特別是，S形結(jié)腸和橫行結(jié)腸是大腸的游離部分，并且在其形成中變化豐富。因此，在將內(nèi)窺鏡插入大腸時(shí)，在該部位容易形成環(huán)形狀(內(nèi)窺鏡以折曲的狀態(tài)被插入的現(xiàn)象)而容易導(dǎo)致插入困難，因此目前采樣軸保持縮短法，該軸保持縮短法將具有這些彎曲部的部位折疊而實(shí)現(xiàn)縮短。而根據(jù)這樣的技術(shù)，由于在制作參照圖像的CT攝影時(shí)和內(nèi)窺鏡檢查時(shí)的內(nèi)臟的形狀不同，因此在引導(dǎo)圖像和實(shí)際的內(nèi)窺鏡裝置的體內(nèi)中的位置之間產(chǎn)生誤差
發(fā)明內(nèi)容
根據(jù)本發(fā)明的幾個(gè)實(shí)施方式，能夠提供使得內(nèi)窺鏡的體內(nèi)中的位置和部位模型圖像(引導(dǎo)圖像)上的位置高精度地一致的圖像處理裝置及圖像處理方法。根據(jù)本發(fā)明的幾個(gè)實(shí)施方式，能夠提供這樣的圖像處理裝置及圖像處理方法在不需要用于檢測內(nèi)窺鏡裝置的體內(nèi)中的位置的大規(guī)模裝置的情況下能夠使得引導(dǎo)圖像上的內(nèi)窺鏡裝置的位置與實(shí)際的內(nèi)窺鏡裝置的體內(nèi)中的位置高精度地一致。本發(fā)明的一實(shí)施方式涉及這樣的圖像處理裝置，其包括圖像取得部，其取得攝像圖像，該攝像圖像是由內(nèi)窺鏡裝置對被檢體內(nèi)的部位的內(nèi)部進(jìn)行拍攝而得到的圖像；體內(nèi)位置確定信息取得部，其取得體內(nèi)位置確定信息，該體內(nèi)位置確定信息是用于確定拍攝所述攝像圖像時(shí)的、所述內(nèi)窺鏡裝置在體內(nèi)中的位置的信息；部位模型取得部，其取得部位模型，該部位模型是所述被檢體內(nèi)的部位的模型；模型上位置確定部，其在所取得的所述部位模型上，確定與由所取得的所述體內(nèi)位置確定信息確定的位置對應(yīng)的模型上位置；以及對應(yīng)部，其將與所述攝像圖像相關(guān)的信息和所確定的所述模型上位置對應(yīng)起來。在本發(fā)明的一實(shí)施方式中，根據(jù)體內(nèi)位置確定信息而確定與拍攝攝像圖像時(shí)的內(nèi)窺鏡的體內(nèi)位置對應(yīng)的模型上位置。并且，將與攝像圖像相關(guān)的信息和所確定的模型上位置對應(yīng)起來。由此，能夠顯示內(nèi)窺鏡的模型上位置和體內(nèi)中的位置高精度地一致的模型圖像(引導(dǎo)圖像)。本發(fā)明的另一實(shí)施方式涉及這樣的圖像處理方法，取得攝像圖像，該攝像圖像是由內(nèi)窺鏡裝置對被檢體內(nèi)的部位的內(nèi)部進(jìn)行拍攝而得到的圖像，取得體內(nèi)位置確定信息， 該體內(nèi)位置確定信息是用于確定拍攝所述攝像圖像時(shí)的、所述內(nèi)窺鏡裝置在體內(nèi)中的位置的信息，取得部位模型，該部位模型是所述被檢體內(nèi)的部位的模型，在所取得的所述部位模型上，確定與由所取得的所述體內(nèi)位置確定信息確定的位置對應(yīng)的模型上位置，將與所述攝像圖像相關(guān)的信息和所確定的所述模型上位置對應(yīng)起來。


圖1表示本實(shí)施方式中的顯示方法的一例。圖2(A)是表示大腸的通常的狀態(tài)的圖，圖2(B)是表示在執(zhí)行軸保持縮短法時(shí)的大腸的狀態(tài)的圖。圖3表示本實(shí)施方式的系統(tǒng)結(jié)構(gòu)例。圖4表示濾色器r、g、b的分光特性。圖5是濾色器g2、b2的說明圖。圖6表示濾色器g2、b2的分光特性。圖7是通常光圖像取得部的結(jié)構(gòu)例。圖8是特殊光圖像取得部的結(jié)構(gòu)例。圖9是引導(dǎo)圖像生成部的結(jié)構(gòu)例。圖10是體內(nèi)位置確定信息取得部的結(jié)構(gòu)例。圖Il(A)是第1定時(shí)中的攝像圖像的例子，圖Il(B)是第2定時(shí)中的相似形狀的攝像圖像的例子。圖12是攝像圖像中的相似形狀的倍率和移動(dòng)距離的關(guān)系圖。圖13是大腸的各部位的名稱及基準(zhǔn)位置的說明圖。
圖14是模型上位置確定部的結(jié)構(gòu)例。圖15(A)是用于說明在使用軸保持縮短法的情況下的校正及轉(zhuǎn)換處理的圖，圖 15(B)是用于說明在不使用軸保持縮短法的情況下的校正及轉(zhuǎn)換處理的圖。圖16(A)是用于說明在管空狀的部位中觀察病變部時(shí)的內(nèi)窺鏡裝置的狀態(tài)的圖， 圖16(B)用于說明詳細(xì)觀察病變部時(shí)的內(nèi)窺鏡裝置的移動(dòng)的圖。圖17顯示在部位模型表示關(guān)注區(qū)域及內(nèi)窺鏡裝置位置的指針的一例。圖18是在軟件處理中使用的計(jì)算機(jī)的結(jié)構(gòu)例。圖19是在軟件處理中使用的計(jì)算機(jī)的結(jié)構(gòu)例。圖20是用于說明本實(shí)施方式的處理的流程圖。圖21是用于說明體內(nèi)位置確定信息取得處理的流程圖。圖22是用于說明模型上位置確定處理的流程圖。圖23是本實(shí)施方式的其他系統(tǒng)結(jié)構(gòu)例。圖M是體內(nèi)位置確定信息取得部的其他結(jié)構(gòu)例。圖25是體內(nèi)位置確定信息取得部的其他結(jié)構(gòu)例。圖沈是模型上位置確定部的其他結(jié)構(gòu)例。圖27(A)是用于說明在使用軸保持縮短法的情況下的轉(zhuǎn)換及校正處理的圖，圖27(B)是用于說明在不使用軸保持縮短法的情況下的轉(zhuǎn)換及校正處理的圖。圖觀是本實(shí)施方式的其他系統(tǒng)結(jié)構(gòu)例。圖四是引導(dǎo)圖像生成部的其他結(jié)構(gòu)例。符號說明100光源部；200插入部；210光纖；220照明透鏡；230物鏡；240半反境；250第1 攝像元件；260第2攝像元件；300圖像處理部；310a、310b AD轉(zhuǎn)換部；320通常光圖像取得部；321通常光圖像生成部；322通常光圖像存儲部；330特殊光圖像取得部；331特殊光圖像生成部；332特殊光圖像存儲部；340、340b引導(dǎo)圖像生成部；341、341b體內(nèi)位置確定信息取得部；342模型上位置確定部；343、34北部位模型取得部；344對應(yīng)部；345關(guān)注區(qū)域檢測部；350控制部；400顯示部；500外部I/F部；600計(jì)算機(jī)系統(tǒng)；610主體部；611CPU ； 612RAM ；613R0M ；614 硬盤驅(qū)動(dòng)器(HDD) ；616USB 端口 ；618LAN 接口 ；620 顯示器；621 顯示畫面；630鍵盤；640鼠標(biāo)；650調(diào)制解調(diào)器；660CD-R0M ；670USB存儲器；681個(gè)人電腦(PC)； 682服務(wù)器；683打印機(jī)；3410圖像存儲部；3411方向計(jì)算部；3412距離計(jì)算部；3413校正部；3421基準(zhǔn)位置檢測部；3422轉(zhuǎn)換部；3423校正部
具體實(shí)施例方式下面，對本實(shí)施方式進(jìn)行說明。另外，以下說明的本實(shí)施方式并不會不適當(dāng)?shù)叵薅?quán)利要求書中記載的本發(fā)明的內(nèi)容。并且，在本實(shí)施方式中說明的結(jié)構(gòu)并不一定都是本發(fā)明的必要技術(shù)特征。1.本實(shí)施方式的方法首先，對本實(shí)施方式的方法進(jìn)行說明。圖1表示本實(shí)施方式中的顯示方法的例子。 如圖1所示，在包括本實(shí)施方式的圖像處理裝置的內(nèi)窺鏡裝置的顯示部上顯示有由內(nèi)窺鏡裝置的插入部(攝像部)拍攝的活體內(nèi)圖像和體內(nèi)的部位的模型即模型圖像。
8
并且，如后述的圖17所示，在模型圖像上顯示有表示內(nèi)窺鏡裝置的插入部位于體內(nèi)的何處的指針。并且，也可以顯示表示應(yīng)關(guān)注的區(qū)域(例如病變部等)即關(guān)注區(qū)域的位置的指針。如果能夠使模型圖像上的內(nèi)窺鏡裝置的位置與實(shí)際的內(nèi)窺鏡裝置的體內(nèi)中的位置高精度地一致，則能夠準(zhǔn)確把握內(nèi)窺鏡裝置的當(dāng)前位置和病變部的位置等，因此醫(yī)生能夠容易進(jìn)行檢查。作為具體的方法，首先通過某種方法，作為體內(nèi)位置確定信息而取得內(nèi)窺鏡裝置的移動(dòng)信息(例如，移動(dòng)距離和移動(dòng)方向等)。在第1實(shí)施方式中，對于根據(jù)由內(nèi)窺鏡裝置的插入部(攝像部)拍攝的圖像而取得體內(nèi)位置確定信息的方法進(jìn)行說明。并且，在第2實(shí)施方式中，對于根據(jù)來自傳感器的傳感器信息而取得體內(nèi)位置確定信息的方法進(jìn)行說明。所取得的體內(nèi)位置確定信息與內(nèi)窺鏡裝置的插入部的實(shí)際移動(dòng)距離對應(yīng)。但是， 如果直接使用體內(nèi)位置確定信息而求得與內(nèi)窺鏡裝置的體內(nèi)位置對應(yīng)的模型中的位置 (以下，記載為模型上位置)則存在問題。因?yàn)樵趯?nèi)窺鏡插入大腸內(nèi)時(shí)將使用軸保持縮短法等的方法。在將內(nèi)窺鏡插入大腸內(nèi)時(shí)，通常需要扭曲或拉回的操作，從而容易形成環(huán)形狀(內(nèi)窺鏡以折曲的狀態(tài)被插入的現(xiàn)象)而導(dǎo)致插入困難。軸保持縮短法是用于解決這樣的問題的一個(gè)方法，將本來是如圖2(A)所示那樣折曲的部分如圖2(B)所示那樣筆直地拉伸，從而使得容易插入。因此，即使實(shí)際移動(dòng)距離(由體內(nèi)位置確定信息表示的距離)較短，在模型上也被認(rèn)為插入到折曲的部分的相當(dāng)靠前的部位。因此，需要在校正由使用軸保持縮短法等而產(chǎn)生的偏差的基礎(chǔ)上求得體內(nèi)位置確定信息(校正后體內(nèi)位置確定信息)。并且，體內(nèi)位置確定信息是與實(shí)際比例對應(yīng)的移動(dòng)信息等，因此需要轉(zhuǎn)換為模型上的距離。對于以上的方法，在第1實(shí)施方式中進(jìn)行說明。另外，校正和轉(zhuǎn)換的順序不限于此，也可以先轉(zhuǎn)換后校正。關(guān)于先進(jìn)行轉(zhuǎn)換的方法，在第3實(shí)施方式中進(jìn)行說明。并且，關(guān)于部位模型的取得方法能夠想到各種各樣的方式，在第4實(shí)施方式中說明特別是使用膠囊內(nèi)窺鏡的例子，在第5實(shí)施方式中說明使用CT掃描的例子。2.第1實(shí)施方式下面，參照圖3對包括本發(fā)明第1實(shí)施方式中的圖像處理裝置的內(nèi)窺鏡裝置進(jìn)行說明。包括本實(shí)施方式中的圖像處理裝置的內(nèi)窺鏡裝置包括光源部100 ；插入部200 ；圖像處理部300 ；顯示部400 ；外部I/F部500。光源部100包括產(chǎn)生白色光的白色光源110和用于將白色光會聚在光纖210上的聚光透鏡120。插入部200為了例如能夠插入體腔內(nèi)而形成為細(xì)長且可彎曲。插入部200包括 光纖210，其用于引導(dǎo)由光源部100會聚的光；照明透鏡220，其將由光纖210引導(dǎo)至前端的光擴(kuò)散而照射到觀察對象上；物鏡230，其對從觀察對象返回的反射光進(jìn)行會聚；半反境 M0，其將會聚到的反射光分離為2個(gè)；第1攝像元件250和第2攝像元件沈0，其用于對被分離的反射光進(jìn)行檢測。第1攝像元件250是用于對通常光圖像進(jìn)行拍攝的具有拜耳排列的濾色器的攝像元件。第1攝像元件250的濾色器R、G、B例如具有如圖4所示的分光特性。第2攝像元件260是用于對窄頻段圖像進(jìn)行拍攝的攝像元件，該第2攝像元件260具有例如圖5所示的以方格狀排列有分別透過2種窄頻段光G2和B2的2種濾色器g2和1^2的濾色器。第2 攝像元件沈0的濾色器g2、l32例如圖6所示具有如下的透射率特性士2使390 445nm的波段的光透過，g2使530 550nm的波段的光透過。圖像處理部300(圖像處理裝置)包括AD轉(zhuǎn)換部310a、310b、通常光圖像取得部 320、特殊光圖像取得部330、引導(dǎo)圖像生成部340、控制部350?？刂撇?50與通常光圖像取得部320、特殊光圖像取得部330、引導(dǎo)圖像生成部340雙向連接而對這些部分進(jìn)行控制。外部I/F部500是供使用者向該內(nèi)窺鏡裝置進(jìn)行輸入等的接口，該外部I/F部500 包括如下部件等而構(gòu)成電源開關(guān)，其用于接通/斷開電源；快門按鈕，其用于開始進(jìn)行攝影操作；模式轉(zhuǎn)換按鈕，其用于轉(zhuǎn)換攝影模式或其他各種模式。并且，該外部I/F部500將所輸入的信息輸出到控制部350。AD轉(zhuǎn)換部310a將由第1攝像元件250輸出的模擬信號轉(zhuǎn)換為數(shù)字信號而進(jìn)行輸出。AD轉(zhuǎn)換部310b將由第2攝像元件260輸出的模擬信號轉(zhuǎn)換為數(shù)字信號而進(jìn)行輸出。通常光圖像取得部320根據(jù)例如由AD轉(zhuǎn)換部310a輸出的數(shù)字信號取得通常光圖像。特殊光圖像取得部330根據(jù)例如由AD轉(zhuǎn)換部310b輸出的數(shù)字信號取得特殊光圖像。 關(guān)于通常光圖像取得部320及特殊光圖像取得部330的具體內(nèi)容將后述。將由通常光圖像取得部320取得的通常光圖像作為觀察圖像輸出到顯示部400。 并且，由通常光圖像取得部320取得的通常光圖像和由特殊光圖像取得部330取得的特殊光圖像被輸出到引導(dǎo)圖像生成部；340。引導(dǎo)圖像生成部340生成引導(dǎo)圖像而輸出到圖像顯示部400。關(guān)于引導(dǎo)圖像生成部340的具體內(nèi)容將后述。下面，參照圖7說明通常光圖像取得部320。通常光圖像取得部320包括通常光圖像生成部321和通常光圖像存儲部322。通常光圖像生成部321對于由AD轉(zhuǎn)換部310a轉(zhuǎn)換而被輸入的數(shù)字信號進(jìn)行圖像處理而生成通常光圖像。具體地，進(jìn)行現(xiàn)有的插值處理、白平衡處理、色轉(zhuǎn)換處理、灰度轉(zhuǎn)換處理等而生成通常光圖像并進(jìn)行輸出。通常光圖像存儲部 322存儲由通常光圖像生成部321輸出的通常光圖像。下面，參照圖8說明特殊光圖像取得部330。特殊光圖像取得部330包括特殊光圖像生成部331和特殊光圖像存儲部332。特殊光圖像生成部331對于由AD轉(zhuǎn)換部310b轉(zhuǎn)換而被輸入的數(shù)字圖像信號進(jìn)行圖像處理而生成特殊光圖像。在本實(shí)施方式中，特殊光圖像是窄頻段光圖像。在此，對由特殊光圖像生成部331生成窄頻段光圖像的方法進(jìn)行說明。如上所述， 輸入到特殊光圖像生成部的數(shù)字圖像信號是以方格狀排列圖5所示的2種濾色器g2和1^2 的圖像信號。對于這樣的圖像信號，首先進(jìn)行插值處理而生成全像素具有g(shù)2濾波器的信號值的G2圖像和全像素具有1^2濾波器的信號值的B2圖像。根據(jù)插值處理而計(jì)算的像素值例如可以是周邊4像素的平均值，例如圖5的g2(l，l)的位置上的1^2的像素值Id2(1，1)及 b2(l，2)位置上的g2的像素值g2(l，2)由下述式(1)、(2)計(jì)算得出。b2(l，l) = [b2(0,1)+b2 (1,0)+b2 (1, 2)+b2 (2,1)]/4......(1)g2(l，2) = [g2(0，2)+g2(l，l)+g2(l，3)+g2(2，2)]/4......(2)然后，由對全像素進(jìn)行插值的G2圖像及B2圖像生成具有R、G、B這3個(gè)通道的彩色圖像。這里，例如，向彩色圖像的R通道輸入G2圖像，向G通道和B通道輸入B2圖像而生
10成彩色圖像。特殊光圖像生成部331對所生成的彩色圖像進(jìn)一步進(jìn)行白平衡、灰度轉(zhuǎn)換等處理而作為窄頻段光圖像進(jìn)行輸出。特殊光圖像存儲部332存儲由特殊光圖像生成部331 輸出的特殊光圖像。下面，對引導(dǎo)圖像生成部340的具體結(jié)構(gòu)進(jìn)行說明。圖9是用于說明第1實(shí)施方式中的引導(dǎo)圖像生成部340的結(jié)構(gòu)的一例的框圖。引導(dǎo)圖像生成部340包括體內(nèi)位置確定信息取得部341、部位模型取得部343、模型上位置確定部342、對應(yīng)部344、關(guān)注區(qū)域檢測部 345。在此，來自通常光圖像取得部320的圖像信號被輸出到體內(nèi)位置確定信息取得部 341和模型上位置確定部342。體內(nèi)位置確定信息取得部341與模型上位置確定部342連接。部位模型取得部343與模型上位置確定部342和對應(yīng)部344連接。并且，來自特殊光圖像取得部330的圖像信號被輸出到關(guān)注區(qū)域檢測部345。關(guān)注區(qū)域檢測部345與對應(yīng)部 344連接。對應(yīng)部344與顯示部400連接?？刂撇?50與體內(nèi)位置確定信息取得部341、模型上位置確定部342、部位模型取得部343、對應(yīng)部344以及關(guān)注區(qū)域檢測部345雙向連接， 從而對這些部分進(jìn)行控制。體內(nèi)位置確定信息取得部341根據(jù)控制部350的控制，作為用于確定拍攝該圖像時(shí)的內(nèi)窺鏡裝置在體內(nèi)中的位置的信息，取得內(nèi)窺鏡裝置的移動(dòng)距離及在體內(nèi)中的移動(dòng)方向。下面，對體內(nèi)位置確定信息取得部341的具體結(jié)構(gòu)進(jìn)行說明。圖10是用于說明第1實(shí)施方式中的體內(nèi)位置確定信息取得部341的結(jié)構(gòu)的一例的框圖。如圖10所示，體內(nèi)位置確定信息取得部341包括圖像存儲部3410、距離計(jì)算部3412、方向計(jì)算部3411、校正部3413。圖像存儲部3410根據(jù)控制部350的控制而存儲由通常光圖像取得部輸出的通常光圖像。具體地，通常光圖像被輸入到圖像存儲部時(shí)，存儲于圖像存儲部3410的1幀之前的通常光圖像分別被輸出到距離計(jì)算部3412和方向計(jì)算部3411，從而所輸入的通常光圖像被覆蓋。距離計(jì)算部3412根據(jù)控制部350的控制并基于取得的圖像，作為內(nèi)窺鏡裝置的移動(dòng)距離而計(jì)算內(nèi)窺鏡裝置在體內(nèi)中的移動(dòng)距離。在此，將由通常光圖像取得部320取得的圖像的特征點(diǎn)與在存儲于圖像存儲部的在該圖像的1幀之前取得的圖像的特征點(diǎn)進(jìn)行匹配，并根據(jù)匹配的特征點(diǎn)的相似形狀而計(jì)算內(nèi)窺鏡裝置在體內(nèi)中的移動(dòng)距離L。關(guān)于移動(dòng)距離L的計(jì)算方法，使用公知的技術(shù)。具體地，例如圖11(A)、圖Il(B)所示，在一個(gè)圖像中提取特征點(diǎn)，在另一圖像中提取已提取的特征點(diǎn)的相似形狀。并且，如圖12所示，保持相似形狀的倍率與移動(dòng)距離之間的表，通過參照表來計(jì)算移動(dòng)距離即可。計(jì)算出的移動(dòng)距離L被輸出到校正部；3413。另外，作為由攝像圖像求出移動(dòng)距離的方法并不限于所述匹配的方式。也可以在插入部200追加變焦機(jī)構(gòu)，利用變焦功能且基于單眼圖像而進(jìn)行三維計(jì)算。并且，也可以在插入部200追加射束機(jī)構(gòu)，根據(jù)由光束產(chǎn)生的移動(dòng)估計(jì)(光流的計(jì)算)而進(jìn)行三維計(jì)算。方向計(jì)算部3411根據(jù)控制部350的控制且基于所取得的圖像來計(jì)算內(nèi)窺鏡裝置的在體內(nèi)中從測定開始地點(diǎn)起的移動(dòng)方向。具體地，將由通常光圖像取得部320取得的圖像、與在存儲于圖像存儲部的在該圖像的1幀之前取得的圖像進(jìn)行匹配，并根據(jù)其匹配結(jié)果來計(jì)算內(nèi)窺鏡裝置在體內(nèi)中的移動(dòng)方向(h，ν)。在此，h表示在水平方向移動(dòng)的角度，ν 表示在垂直方向移動(dòng)的角度。并且，h相對于取得1幀前的圖像時(shí)的攝像面的法線方向，右為正，左為負(fù)。V相對于取得1幀前的圖像時(shí)的攝像面的法線方向，上為正，下為負(fù)。計(jì)算出的移動(dòng)方向(h，ν)被輸出到模型上位置確定部342。校正部3413根據(jù)控制部350的控制，按照內(nèi)窺鏡裝置所移動(dòng)的部位的全部或一部分的結(jié)構(gòu)特性而校正計(jì)算出的體內(nèi)中的移動(dòng)距離。具體地，對于內(nèi)窺鏡裝置根據(jù)軸保持縮短法而插入的、具有彎曲部的彎曲部位的全部或一部分的區(qū)間中的移動(dòng)距離，進(jìn)行增加其距離的校正。這是因?yàn)檩S保持縮短法將腸道折疊而使之縮短，因此部位模型上的移動(dòng)距離相對于計(jì)算出的移動(dòng)距離長。校正后的移動(dòng)距離cL由以下式進(jìn)行計(jì)算。cL = corCoefXL......(3)corCoef是1以上的系數(shù)，該corCoef可由醫(yī)生預(yù)先決定，也可以根據(jù)患者的信息由控制部350自動(dòng)計(jì)算。經(jīng)校正的移動(dòng)距離cL被輸出到模型上位置確定部342。部位模型取得部343根據(jù)控制部350的控制取得表示被檢體內(nèi)的活體部位的大致輪廓的部位模型。在此，部位模型取得部343具有能夠存儲大容量的數(shù)據(jù)的例如硬盤驅(qū)動(dòng)器、磁帶機(jī)，存儲有多個(gè)活體的部位模型。在此，部位模型是表示健康人的活體部位的二維模型(例如，圖13的大腸模型的影像圖)。另外，部位模型可以是三維模型。并且，部位模型可以是從被檢體本人取得的模型，也可以是從不同的人體取得的模型。并且，可以根據(jù)部位模型的身高、體型等身體特征和性別等條件，事先從不同的人體取得。并且，部位模型可以由膠囊內(nèi)窺鏡裝置、CT裝置、MRI裝置經(jīng)由網(wǎng)絡(luò)而輸入到圖像處理部300并存儲到部位模型取得部343中。部位模型輸出到模型上位置確定部342和對應(yīng)部344。模型上位置確定部342根據(jù)控制部350的控制，在所取得的部位模型上確定與計(jì)算出的體內(nèi)攝像位置對應(yīng)的模型上位置。下面，對模型上位置確定部342的具體結(jié)構(gòu)進(jìn)行說明。圖14是用于說明第1實(shí)施方式中的模型上位置確定部342的結(jié)構(gòu)的一例的框圖。如圖14所示，模型上位置確定部342包括基準(zhǔn)位置檢測部3421和轉(zhuǎn)換部3422。基準(zhǔn)位置檢測部3421根據(jù)控制部350的控制而檢測成為移動(dòng)距離的基準(zhǔn)的基準(zhǔn)位置。在此，作為基準(zhǔn)位置之一的測定開始地點(diǎn)是由內(nèi)窺鏡裝置開始體內(nèi)拍攝的地點(diǎn)。具體地，通過計(jì)算由通常光圖像取得部輸入的通常光圖像的特征點(diǎn)而檢測測定開始地點(diǎn)。在此， 特征點(diǎn)為圖像整體的顏色信息，將圖像整體帶紅色的時(shí)刻所對應(yīng)的地點(diǎn)作為由內(nèi)窺鏡裝置開始體內(nèi)拍攝的地點(diǎn)。圖13的基準(zhǔn)位置A相當(dāng)于該情況。移動(dòng)距離的基準(zhǔn)位置不限于此， 也可以是由內(nèi)窺鏡裝置開始進(jìn)行特定部位的拍攝的地點(diǎn)。例如，可以將內(nèi)窺鏡裝置在體內(nèi)中的位置從大腸切換到小腸的地點(diǎn)作為基準(zhǔn)位置而重新設(shè)定。圖13的基準(zhǔn)位置B相當(dāng)于該情況。在檢測到基準(zhǔn)位置的情況下，將檢測信號輸出到轉(zhuǎn)換部3422。轉(zhuǎn)換部3422根據(jù)控制部350的控制，將由體內(nèi)位置確定信息取得部341計(jì)算的體內(nèi)中的移動(dòng)距離轉(zhuǎn)換為部位模型上的距離，將體內(nèi)中的移動(dòng)方向轉(zhuǎn)換為部位模型上的移動(dòng)方向。在此，首先通過以下式，將計(jì)算出的移動(dòng)距離cL轉(zhuǎn)換為與部位模型上的比例對應(yīng)的移動(dòng)距離mLl。mLl = modCoef XcL......(4)系數(shù)modCoef 是與部位模型的大小對應(yīng)的系數(shù)，針對每個(gè)部位模型預(yù)先設(shè)定有該系數(shù)。在此，攝影部位為軸保持縮短法的對象部位的情況下，計(jì)算從基準(zhǔn)位置開始對移動(dòng)方向(h，ν)進(jìn)行積算得到的移動(dòng)方向addH、addV。并且，由以下式計(jì)算以移動(dòng)方向校正了模型上的移動(dòng)距離mLl的移動(dòng)距離radL。radL = mLl X cos (addH) X cos (addV)......(5)另外，計(jì)算從基準(zhǔn)位置開始對由移動(dòng)方向校正的移動(dòng)距離radL積算得到的移動(dòng)距離addL。從基準(zhǔn)位置起的移動(dòng)距離addL被輸出到對應(yīng)部344。另外，攝影部位并不是軸保持縮短法的對象部位的情況下，通過以下式根據(jù)移動(dòng)方向(h，ν)計(jì)算在部位模型上的移動(dòng)量(X，y)。mL2 = modCoefXL......(6)(χ、y) = (mL2X sin(h) Xcos (ν)，mL2Xcos (h) Xcos (ν))......(7)將從基準(zhǔn)位置開始對該(X，y)進(jìn)行積算得到的值表示為(addX，addY)。(addX, addY)表示部位模型上的從基準(zhǔn)坐標(biāo)起的相對坐標(biāo)。從基準(zhǔn)位置起的相對坐標(biāo)(addX， addY)被輸出到對應(yīng)部344。在圖15 (A)、圖15⑶中圖示了以上的體內(nèi)位置確定信息取得部341及模型上位置確定部342中的處理。圖15(A)表示在使用了軸保持縮短法的彎曲部位移動(dòng)時(shí)所進(jìn)行的處理，圖15(B)表示在未使用軸保持縮短法等方法的情況下所進(jìn)行的處理。下面，利用圖15(A)、圖15⑶來再次說明上述的處理。首先，由圖像信息計(jì)算移動(dòng)距離信息L及移動(dòng)方向信息(h，v)。如圖15(A)所示，在使用了軸保持縮短法的情況下，由校正部3413進(jìn)行校正。具體地，進(jìn)行相當(dāng)于上述的式(3)的如下處理將系數(shù)corCoef與 L相乘而求出cL。對于移動(dòng)方向信息(h，ν)不進(jìn)行校正處理。接著，根據(jù)轉(zhuǎn)換部3422進(jìn)行轉(zhuǎn)換處理。具體地，進(jìn)行相當(dāng)于上述式的如下處理將系數(shù)modCoef與cL相乘而求出mLl。在求出mLl的同時(shí)，對于移動(dòng)方向信息(h， ν)求出從基準(zhǔn)位置起的積算值(addH，addV)。(h，ν)表示相當(dāng)于1幀的角度的變化量，因此(addH，addV)是表示相對于基準(zhǔn)位置的當(dāng)前角度的值。并且，根據(jù)上述式(5)由mLl和 (addH, addV)求出 radL。下面，參照圖16㈧和圖16⑶來說明式(5)。圖16㈧是以2維方式表示在管空狀的部位(例如，大腸)移動(dòng)的內(nèi)窺鏡裝置的圖。另外，內(nèi)窺鏡裝置的前端部能夠根據(jù)用戶的操作而彎曲。如圖16(A)所示，假設(shè)以相對于前進(jìn)方向60(表示基準(zhǔn)位置中的移動(dòng)方向) 彎曲角度θ的狀態(tài)觀察病變部62。由于在該狀態(tài)下對病變部進(jìn)行詳細(xì)觀察，因此如果使內(nèi)窺鏡裝置移動(dòng)，想必其將移動(dòng)到圖16(B)的64所示的位置。在該情況下，由圖像信息取得的移動(dòng)距離信息為在該圖中由kl所示的距離，朝向前進(jìn)方向60的移動(dòng)距離相當(dāng)于k2。由于在確定模型上位置時(shí)所需的信息是k2，并且k2 = klXcos θ，因此如上述式(5)所示，對計(jì)算出的移動(dòng)距離乘以cos (addH)及cos(addV)。另外，作為向傾斜方向移動(dòng)的例子舉出了詳細(xì)觀察病變部的事例，但不限于此。例如，對于為了向與前進(jìn)方向60正交的方向抖動(dòng)或插入而進(jìn)行的有意圖的移動(dòng)等所致的傾斜方向的移動(dòng)，也進(jìn)行同樣的處理。并且，求出radL的基準(zhǔn)位置起的積算值addL而輸出到對應(yīng)部344。在確定模型上位置時(shí)，對于二維的部位模型(如上所述，三維的也可以，但在此以二維的為例進(jìn)行說明) 輸出了作為一維的信息的距離信息，但不會出現(xiàn)問題。因?yàn)?，在使用軸保持縮短法的部分中，想必部位在直線上拉伸。假定沿著某一規(guī)定的路徑在部位內(nèi)移動(dòng)，則能夠由距離信息確定模型上位置。
13
下面，參照圖15(B)，對于在不使用軸保持縮短法的情況下的處理進(jìn)行說明。由圖像信息計(jì)算移動(dòng)距離信息L及移動(dòng)方向信息(h，v)的這一點(diǎn)與圖15(A)相同。由于不需要進(jìn)行校正，因此不進(jìn)行基于校正部3413的處理。如上述式(6)所示， 在轉(zhuǎn)換部；3422進(jìn)行對L乘以系數(shù)modCoef的處理而求出mL2。并且，根據(jù)上述式(7)，由移動(dòng)距離信息mL2(模型上的移動(dòng)距離信息)和移動(dòng)方向(h，v)而求出移動(dòng)矢量(x，y)。(χ, y)表示相當(dāng)于1幀的移動(dòng)矢量，因此能夠通過從基準(zhǔn)位置起對(x，y)進(jìn)行積算而確定想要求出的坐標(biāo)(addX，addY)。下面，對關(guān)注區(qū)域檢測部345進(jìn)行說明。關(guān)注區(qū)域檢測部345根據(jù)控制部350的控制，基于所取得的圖像而檢測應(yīng)關(guān)注的區(qū)域即關(guān)注區(qū)域。在此，所謂關(guān)注區(qū)域是指，例如與體內(nèi)圖像中的病變部對應(yīng)的區(qū)域等。首先，將所取得的圖像分割為多個(gè)區(qū)域，對各個(gè)區(qū)域計(jì)算特征量。在此，對于作為特征量的一例利用顏色信息的情況進(jìn)行說明。在本實(shí)施方式中作為特殊光圖像而使用的窄頻段光圖像中，扁平上皮癌等病變部作為褐色區(qū)域而被描畫出，因此能夠通過將色調(diào)H作為特征量使用而檢測病變部。將R、G、B通道的信號值標(biāo)記為 r、g、b，設(shè)各信號值為8位(0 255)。下面，例如利用下式⑶ (13)，由該信號值1~、8、13計(jì)算色調(diào)!1。MAX = MAX(r, g, b)......(8)在此，設(shè)MAX函數(shù)是在多個(gè)自變量中輸出最大值的函數(shù)。在MAX為0的情況下，H = O......(9)在MAX為0以外的情況下，d = MAX(r, g, b)_MIN(r，g, b)......(10)在此，設(shè)MIN函數(shù)是在多個(gè)自變量中輸出最小值的函數(shù)。另外，在r、g、b中r為最大的情況下，H = 60*(g_b)/d......(11)在r、g、b中g(shù)為最大的情況下，H = 60* {2+ (b-r) }/d......(12)在r、g、b中b為最大的情況下，H = 60* {4+ (r-g) }/d......(13)另外，在H <0的情況下，在H加上360。并且，在H = 360的情況下，H = 0。在此，設(shè)包括在局部區(qū)域的表示褐色的像素?cái)?shù)為各局部區(qū)域的特征量。并且，表示病變可能性的特征量不限于上述情況，可以分別求出顏色特征量、空間頻率的特征量、形狀特征量、及面積特征量等，并分別付與加權(quán)系數(shù)而線性結(jié)合，從而作為表示各局部區(qū)域的病變可能性的特征量。將計(jì)算出的各局部區(qū)域的特征量與規(guī)定閾值進(jìn)行比較，根據(jù)其比較結(jié)果來判斷是否為關(guān)注區(qū)域。在該情況下，既可以使用預(yù)先設(shè)定的閾值，也可以由控制部350而自動(dòng)設(shè)定。并且，也可以根據(jù)特殊光圖像內(nèi)的位置來適當(dāng)設(shè)定閾值。并且，將特征量為閾值以上的局部區(qū)域作為關(guān)注區(qū)域輸出到對應(yīng)部344。對應(yīng)部344根據(jù)控制部350的控制，將與所取得的圖像相關(guān)的信息和所確定的模型上位置對應(yīng)起來。在此，與所取得的圖像相關(guān)的信息例如為表示拍攝該圖像時(shí)的內(nèi)窺鏡
14裝置的位置的指針。并且，關(guān)于包括關(guān)注區(qū)域的關(guān)注圖像，將與關(guān)注區(qū)域相關(guān)的信息和由模型上位置確定部342確定的模型上位置對應(yīng)起來。圖17表示在部位模型上將內(nèi)窺鏡裝置位置和關(guān)注區(qū)域?qū)?yīng)起來的引導(dǎo)圖像的一例。引導(dǎo)圖像被輸出到顯示部400。顯示部400同時(shí)顯示由通常光圖像取得部320輸出的通常光圖像和由引導(dǎo)圖像生成部340輸出的引導(dǎo)圖像。作為顯示部的顯示例，例如有上述圖1的形式。并且，在本實(shí)施方式中，由硬件構(gòu)成了形成圖像處理部300的各個(gè)部，但是不限于此。例如，也可以是對利用內(nèi)窺鏡裝置預(yù)先取得的圖像，CPU進(jìn)行各個(gè)部的處理的結(jié)構(gòu)，并且通過CPU執(zhí)行程序而作為軟件得到實(shí)現(xiàn)?；蛘哂绍浖?gòu)成各部進(jìn)行處理的一部分。在將攝像部作為單獨(dú)體，將圖像處理部300的各部所進(jìn)行的處理作為軟件實(shí)現(xiàn)的情況下，能夠?qū)⒐ぷ髡竞蛡€(gè)人電腦等公知的計(jì)算機(jī)系統(tǒng)作為圖像處理裝置而使用。并且，預(yù)先準(zhǔn)備用于實(shí)現(xiàn)圖像處理部300的各部所執(zhí)行的處理的程序(圖像處理程序)，通過由計(jì)算機(jī)系統(tǒng)的CPU執(zhí)行該圖像處理程序而實(shí)現(xiàn)。圖18是表示本變形例中的計(jì)算機(jī)系統(tǒng)600的結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖，圖19是表示該計(jì)算機(jī)系統(tǒng)600中的主體部610的結(jié)構(gòu)的框圖。如圖18所示，計(jì)算機(jī)系統(tǒng)600包括主體部610 ；顯示器620，其用于根據(jù)來自主體部610的指示而在顯示畫面621顯示圖像等的信息；鍵盤630，其用于向該計(jì)算機(jī)系統(tǒng)600輸入各種信息；鼠標(biāo)640，其用于指定顯示器620 的顯示畫面621上的任意位置。并且，如圖19所示，該計(jì)算機(jī)系統(tǒng)600中的主體部610包括CPTOll ；RAM612 ； R0M613 ；硬盤驅(qū)動(dòng)器(HDD) 614 ；接受CD-R0M660的CD-ROM驅(qū)動(dòng)器615 ；可拆裝地連接USB存儲器670的USB端口 616 ；顯示器620 ；與鍵盤630及鼠標(biāo)640連接的I/O接口 617 ；用于與局域網(wǎng)或廣域網(wǎng)(LAN/WAN)附連接的LAN接口 618。另外，在該計(jì)算機(jī)系統(tǒng)600連接有用于與因特網(wǎng)等公眾線路N3連接的調(diào)制解調(diào)器650，并且經(jīng)由LAN接口 618及局域網(wǎng)或廣域網(wǎng)附與作為其他計(jì)算機(jī)系統(tǒng)的個(gè)人電腦 (PC) 681、服務(wù)器682、打印機(jī)683等連接。并且，該計(jì)算機(jī)系統(tǒng)600通過讀出并執(zhí)行記錄于規(guī)定記錄介質(zhì)中的圖像處理程序 (例如用于實(shí)現(xiàn)參照圖20 圖22而后述的處理步驟的圖像處理程序)來實(shí)現(xiàn)圖像處理裝置。在此，規(guī)定的記錄介質(zhì)包括“移動(dòng)式物理介質(zhì)”、“固定式物理介質(zhì)”、“通信介質(zhì)”等，記錄由計(jì)算機(jī)系統(tǒng)600能夠讀取的圖像處理程序的所有記錄介質(zhì)，其中，該“移動(dòng)式物理介質(zhì)” 不僅包括⑶_R0M660、USB存儲器670，而且還包括MO盤及DVD盤、軟盤(FD)、磁光盤、IC卡等，該“固定式物理介質(zhì)”為在計(jì)算機(jī)系統(tǒng)600內(nèi)外配備的HDD614、RAM612、R0M613等，該 “通信介質(zhì)”在發(fā)送程序時(shí)短期存儲程序，例如有通過調(diào)制解調(diào)器650連接的公共線路N3、 其他計(jì)算機(jī)系統(tǒng)(PC) 681或服務(wù)器682連接的局域網(wǎng)或廣域網(wǎng)m等。S卩，圖像處理程序是以計(jì)算機(jī)能夠讀取的方式記錄于“移動(dòng)式物理介質(zhì)”、“固定式物理介質(zhì)”、“通信介質(zhì)”等記錄介質(zhì)中的程序，計(jì)算機(jī)系統(tǒng)600從這樣的記錄介質(zhì)讀取并執(zhí)行圖像處理程序而實(shí)現(xiàn)圖像處理裝置。另外，圖像處理程序并不僅限于由計(jì)算機(jī)系統(tǒng)600 而執(zhí)行，在由其他計(jì)算機(jī)系統(tǒng)(PC)681或服務(wù)器682執(zhí)行圖像處理程序的情況下或在由這些部件協(xié)作而執(zhí)行圖像處理程序的情況下也同樣能夠適用本發(fā)明。下面，利用圖20的流程圖來說明如下步驟作為由軟件構(gòu)成各部所進(jìn)行處理的一部分的情況的一例，對于預(yù)先取得的通常光圖像和特殊光圖像，由軟件來實(shí)現(xiàn)圖9的引導(dǎo)圖像生成部；340的處理的處理步驟。開始該處理時(shí)，首先，對于時(shí)序的通常光圖像和特殊光圖像輸入觀察對象、攝影模式、照明光的同步信號等標(biāo)題信息(Sll)。接著，根據(jù)標(biāo)題信息輸入與觀察對象對應(yīng)的部位模型(S12)。并且，將特殊光圖像和通常光圖像輸入至預(yù)先確保的圖像緩存中(S13)。然后，如在后面參照圖21而詳細(xì)說明，由通常光圖像并基于內(nèi)窺鏡裝置的移動(dòng)距離及體內(nèi)中的移動(dòng)方向，取得用于確定拍攝該圖像時(shí)的內(nèi)窺鏡裝置在體內(nèi)中的位置的體內(nèi)位置確定信息(S14)。然后，如在后面參照圖22而詳細(xì)說明，在被輸入的部位模型上，根據(jù)所取得的體內(nèi)位置確定信息確定模型上位置(S15)。并且，由特殊光圖像檢測作為應(yīng)關(guān)注的區(qū)域的候選的關(guān)注候選區(qū)域(S16)。然后，將所輸入的與圖像相關(guān)的信息和所確定的模型上位置對應(yīng)起來(S17)。所取得的與圖像相關(guān)的信息是表示拍攝該圖像時(shí)的內(nèi)窺鏡裝置的位置的指針。接著，輸出在模型上位置上將表示拍攝該圖像時(shí)的內(nèi)窺鏡裝置的位置的指針對應(yīng)起來的引導(dǎo)圖像(S18)。并且，按照時(shí)序判斷最終圖像的處理是否結(jié)束(S19)，在判斷為未結(jié)束時(shí)，返回到S13而對下一個(gè)圖像信號重復(fù)進(jìn)行上述處理。另外，判斷為結(jié)束全部圖像信號的處理時(shí)，結(jié)束該處理。下面，參照圖21詳細(xì)說明圖20的S14中的體內(nèi)位置確定信息取得處理。開始該處理時(shí)，首先，存儲通常光圖像的圖像信號(S21)。并且，將所輸入的圖像信號的特征點(diǎn)與在所存儲的該圖像的1幀前輸入的圖像信號的特征點(diǎn)進(jìn)行匹配，并根據(jù)其匹配結(jié)果來計(jì)算內(nèi)窺鏡裝置在體內(nèi)中的移動(dòng)距離(S22)。接著，將所輸入的圖像信號的特征點(diǎn)與在所存儲的該圖像的1幀前輸入的圖像信號的特征點(diǎn)進(jìn)行匹配，并根據(jù)其匹配結(jié)果來計(jì)算內(nèi)窺鏡裝置在體內(nèi)中的移動(dòng)方向(S23)。并且，根據(jù)內(nèi)窺鏡裝置移動(dòng)的部位的全部或一部分的結(jié)構(gòu)特性來校正計(jì)算出的體內(nèi)中的移動(dòng)距離(S24)。下面，參照圖22詳細(xì)說明圖20的Sl5中的模型上位置確定處理。開始該處理時(shí)，首先檢測成為移動(dòng)距離的測定開始地點(diǎn)的基準(zhǔn)位置(S31)。接著， 將通過體內(nèi)位置確定信息取得處理計(jì)算的體內(nèi)中的移動(dòng)距離及移動(dòng)方向轉(zhuǎn)換為部位模型上的距離及方向(S32)。通過進(jìn)行這樣的處理，能夠在引導(dǎo)圖像上通過視覺來確認(rèn)取得圖像是對體內(nèi)的哪一部位進(jìn)行了拍攝得到的同時(shí)進(jìn)行檢測，因此能夠減輕醫(yī)生的負(fù)擔(dān)。并且，由于能夠?qū)τ诓课荒Ｐ秃蛯?shí)際的內(nèi)窺鏡裝置在體內(nèi)中的位置進(jìn)行校正的同時(shí)進(jìn)行顯示，因此能夠高精度地確認(rèn)拍攝到的圖像位于哪一部位。并且，通過將利用特殊光圖像而檢測的關(guān)注區(qū)域與引導(dǎo)圖像對應(yīng)起來，在再次觀察關(guān)注區(qū)域的情況下也能夠容易地將內(nèi)窺鏡裝置移動(dòng)到關(guān)注區(qū)域。在以上的本實(shí)施方式中，圖3所示的圖像處理裝置的圖像取得部325取得通過內(nèi)窺鏡裝置對被檢體內(nèi)的部位的內(nèi)部進(jìn)行拍攝得到的攝像圖像。并且，圖9所示的體內(nèi)位置確定信息取得部341根據(jù)所取得的攝像圖像而取得確定拍攝該攝像圖像時(shí)的內(nèi)窺鏡裝置在體內(nèi)中的位置的信息。并且，部位模型取得部343取得作為被檢體內(nèi)的部位的模型的部位模型。并且，模型上位置確定部342在所取得的部位模型上確定與體內(nèi)位置確定信息對應(yīng)的模型上位置，對應(yīng)部344將所取得的與圖像相關(guān)的信息和所確定的模型上位置對應(yīng)起來。由此，能夠取得攝像圖像及體內(nèi)位置確定信息，并且在根據(jù)體內(nèi)位置確定信息而確定模型上位置的基礎(chǔ)上，將與攝像圖像相關(guān)的信息和所確定的模型上位置對應(yīng)起來，并檢測內(nèi)窺鏡裝置在體內(nèi)中的位置。并且，通過顯示將內(nèi)窺鏡裝置在體內(nèi)中的位置對應(yīng)起來的引導(dǎo)圖像，能夠提供協(xié)助醫(yī)生的診斷和手術(shù)的圖像處理裝置。具體地，可以是如上述的圖 1的顯示形態(tài)。并且，體內(nèi)位置確定信息取得部341根據(jù)圖像取得部325取得的攝像圖像而取得體內(nèi)位置確定信息。由此，能夠根據(jù)圖像處理來進(jìn)行位置檢測，因此作為體內(nèi)中的內(nèi)窺鏡裝置的位置檢測單元不需要大規(guī)模的裝置。并且，如圖10所示，體內(nèi)位置確定信息取得部341包括距離信息計(jì)算部3412，該距離信息計(jì)算部；3412計(jì)算表示內(nèi)窺鏡裝置的移動(dòng)距離的移動(dòng)距離信息。并且，體內(nèi)位置確定信息取得部341將所計(jì)算的移動(dòng)距離信息作為體內(nèi)位置確定信息而取得。由此，能夠?qū)⒁苿?dòng)距離信息作為體內(nèi)位置確定信息而取得。因此，能夠進(jìn)行基于移動(dòng)距離的位置檢測。并且，體內(nèi)位置確定信息取得部341包括方向信息計(jì)算部3411，該方向信息計(jì)算部3411計(jì)算表示內(nèi)窺鏡裝置的移動(dòng)方向的移動(dòng)方向信息。并且，體內(nèi)位置確定信息取得部 341將所計(jì)算的移動(dòng)方向信息作為體內(nèi)位置確定信息而取得。由此，能夠?qū)⒁苿?dòng)方向信息作為體內(nèi)位置確定信息而取得。因此，能夠進(jìn)行基于移動(dòng)方向的位置檢測。并且，也可以對移動(dòng)距離和移動(dòng)方向進(jìn)行不同的處理。并且，圖像取得部325在第1定時(shí)取得第1攝像圖像，在第1定時(shí)之后的第2定時(shí)取得第2攝像圖像。并且，也可以根據(jù)第1攝像圖像和第2攝像圖像的匹配處理的結(jié)果來取得體內(nèi)位置確定信息。由此，如圖11(A)、圖11 (B)所示，能夠根據(jù)2個(gè)圖像的匹配處理來計(jì)算體內(nèi)位置確定信息。因此，在沒有大規(guī)模的裝置的情況下也能夠進(jìn)行位置檢測。并且，能夠以1/30秒或1/60秒的很短的間隔計(jì)算出連續(xù)的內(nèi)窺鏡裝置的移動(dòng)距離。另外，如上所述，根據(jù)單眼的攝像圖像來取得體內(nèi)位置確定信息的方法并不限于匹配的方式，也可以設(shè)置變焦機(jī)構(gòu)或射束機(jī)構(gòu)，利用這些機(jī)構(gòu)的功能來進(jìn)行三維計(jì)測。并且，如圖10所示，體內(nèi)位置確定信息取得部341包括校正部3413，該校正部 3413按照內(nèi)窺鏡裝置移動(dòng)的部位的全部或一部分的結(jié)構(gòu)特性來校正由距離信息計(jì)算部 3412計(jì)算的移動(dòng)距離信息。并且，模型上位置確定部342根據(jù)由校正部3413校正的移動(dòng)距離信息而確定模型上位置。在此，所謂校正部3413進(jìn)行的校正，具體地講，例如指內(nèi)窺鏡裝置在彎曲部位中移動(dòng)的情況下，使得移動(dòng)區(qū)間中的移動(dòng)距離(根據(jù)移動(dòng)距離信息來表示的距離)增加的處理。并且，所謂彎曲部位，具體地講，例如為大腸或小腸。由此，能夠根據(jù)部位的結(jié)構(gòu)特性而校正引導(dǎo)圖像上的移動(dòng)距離與內(nèi)窺鏡裝置在體內(nèi)中的移動(dòng)距離之差。具體地講，有如上所述的利用軸保持縮短法的事例。如圖2(A)、圖 2(B)所示，在軸保持縮短法中，通過將彎曲部位筆直地拉伸而使得容易進(jìn)行插入。因此，與由距離信息計(jì)算部計(jì)算的距離信息相比，模型上位置進(jìn)入到部位的更深處。因此，由校正部 3413進(jìn)行增加移動(dòng)距離的校正。另外，所謂彎曲部位是大腸或小腸，具體地例如為圖13所示的下行結(jié)腸等。
17
如圖14所示，模型上位置確定部342包括轉(zhuǎn)換部3422，該轉(zhuǎn)換部3422將由校正部 3413校正的移動(dòng)距離信息轉(zhuǎn)換為模型上的距離。并且，模型上位置確定部342根據(jù)由轉(zhuǎn)換部3422轉(zhuǎn)換的模型上距離而確定模型上位置。由此，即使部位模型的大小不一(例如，500 X 500像素或1000X 1000像素等)，也
能夠適當(dāng)確定模型上的位置。并且，如圖14所示，模型上位置確定部342包括基準(zhǔn)位置檢測部3421，該基準(zhǔn)位置檢測部3421檢測表示內(nèi)窺鏡裝置的移動(dòng)的開始地點(diǎn)的基準(zhǔn)位置。并且，模型上位置確定部342將從基準(zhǔn)位置離開模型上距離(由轉(zhuǎn)換部3422轉(zhuǎn)換的距離)的位置作為模型上位置進(jìn)行確定。由此，能夠以基準(zhǔn)位置為基準(zhǔn)而確定模型上位置。因此，假設(shè)在引導(dǎo)圖像上的內(nèi)窺鏡位置和內(nèi)窺鏡裝置在體內(nèi)中的位置之間出現(xiàn)偏差，也能夠通過重新設(shè)定基準(zhǔn)位置而抑制偏差的積累并確定適當(dāng)?shù)哪Ｐ蜕衔恢?。并且，體內(nèi)位置確定信息取得部341包括方向信息計(jì)算部3411，轉(zhuǎn)換部3422將由方向信息計(jì)算部Mil計(jì)算的移動(dòng)方向信息轉(zhuǎn)換為模型上方向。并且，模型上位置確定部 342將從基準(zhǔn)位置離開模型上距離且與模型上方向吻合的位置作為模型上位置而進(jìn)行確定。由此，能夠以基準(zhǔn)位置為基準(zhǔn)且不僅基于移動(dòng)距離信息還基于移動(dòng)方向信息而確定模型上位置。并且，即使在部位模型的角度發(fā)生變化的情況下，也能夠確定模型上的位置。并且，模型上位置確定部342包括基準(zhǔn)位置檢測部3421，可以基于基準(zhǔn)位置和體內(nèi)位置確定信息而確定模型上位置。具體地講，基準(zhǔn)位置例如可以為基于內(nèi)窺鏡裝置開始進(jìn)行拍攝的地點(diǎn)(例如朝向體內(nèi)的插入地點(diǎn)即肛門)即測定開始地點(diǎn)，也可以是開始進(jìn)行特定部位的拍攝的地點(diǎn)(例如，從下行結(jié)腸向橫行結(jié)腸移動(dòng)的地點(diǎn))。由此，能夠以基準(zhǔn)位置為基準(zhǔn)而進(jìn)行基于體內(nèi)位置確定信息的模型上位置的確定。圖13所示，基準(zhǔn)位置例如為基準(zhǔn)位置A或基準(zhǔn)位置B。如上所述，通過設(shè)定基準(zhǔn)位置， 能夠抑制偏差的積累而確定適當(dāng)?shù)哪Ｐ蜕衔恢?。并且，本?shí)施方式中的圖像處理裝置包括關(guān)注區(qū)域檢測部345，該關(guān)注區(qū)域檢測部 345由攝像圖像檢測應(yīng)該關(guān)注的區(qū)域即關(guān)注區(qū)域。并且，如圖9所示的對應(yīng)部344對于關(guān)注圖像(攝像圖像中包含關(guān)注區(qū)域的圖像)，使得由模型上位置確定部342確定的模型上位置和與關(guān)注圖像相關(guān)的信息對應(yīng)。在此，關(guān)注區(qū)域例如指表示病變部的區(qū)域，關(guān)注區(qū)域檢測部345根據(jù)包括具有相比于白色光為窄波段的信息的被攝體像的特殊光圖像而檢測該關(guān)注區(qū)域。由此，能夠由攝像圖像檢測關(guān)注區(qū)域，并且將與關(guān)注圖像相關(guān)的信息和模型上位置對應(yīng)起來。從而，例如圖17所示，能夠?qū)ú∽儾康膱D像信息與病變部的位置對應(yīng)起來，從視覺上能夠容易掌握體內(nèi)中的病變部的位置。另外，通過使用特殊光圖像，例如在扁平上皮癌等的情況下，在應(yīng)關(guān)注的病變部褐色的比例增大，從而容易判斷應(yīng)該關(guān)注哪個(gè)部位。并且，對應(yīng)部345也可以作為與攝像圖像相關(guān)的信息，將表示拍攝該攝像圖像時(shí)的內(nèi)窺鏡裝置的位置的指針對應(yīng)起來。由此，能夠在顯示將拍攝到的圖像和引導(dǎo)圖像對應(yīng)的情況下進(jìn)行顯示，因此醫(yī)生能夠容易確認(rèn)攝像圖像是哪個(gè)部位。并且，本實(shí)施方式可以是如下的圖像處理方法取得由內(nèi)窺鏡裝置對被檢體內(nèi)的部位的內(nèi)部進(jìn)行拍攝而得到的圖像即攝像圖像，取得用于確定拍攝攝像圖像時(shí)的體內(nèi)位置的體內(nèi)位置確定信息，取得被檢體內(nèi)的部位的模型即部位模型，在所取得的部位模型上，確定與由體內(nèi)位置確定信息確定的位置對應(yīng)的模型上位置，將與攝像圖像相關(guān)的信息和所確定的模型上位置對應(yīng)起來。由此，能夠檢測內(nèi)窺鏡裝置在體內(nèi)中的位置，并且通過顯示與內(nèi)窺鏡裝置在體內(nèi)中的位置對應(yīng)的引導(dǎo)圖像而能夠?qū)崿F(xiàn)協(xié)助醫(yī)生的診斷和手術(shù)的圖像處理方法。并且，圖3所示的圖像取得部325取得作為通常光圖像的第1圖像和作為特殊光圖像的第2圖像。在此，第1圖像及第2圖像是對活體內(nèi)部進(jìn)行拍照的活體內(nèi)圖像。在活體內(nèi)圖像中包含的特定波段是指被血液中的血紅蛋白所吸收的波長的波段。該被血紅蛋白所吸收的波長例如為390nm 445nm(窄波段光的B2分量)或530nm 550nm(窄波段光的G2分量)。由此，能夠進(jìn)行稱為NBI (Narrow Band Imaging 窄帶成像)的窄波段光觀察， 能夠觀察活體的表層部及位于深部的血管的結(jié)構(gòu)。并且，將獲得的信號輸入到特定通道 (G2 — R、B2 — G、B)，從而能夠用褐色等來表示扁平上皮癌等以通常光難以進(jìn)行視覺辨認(rèn)的病變等，抑制看漏病變部的情況發(fā)生。另外，390nm 445nm或530nm 550nm是由被血紅蛋白吸收的特性及分別到達(dá)活體的表層部或深部的特性所獲得的波長。但是，該情況下的波段不限于此，例如根據(jù)血紅蛋白的吸收及與到達(dá)活體的表層部或深部有關(guān)的實(shí)驗(yàn)結(jié)果等可變因素，波段的下限值能夠降低0 10%左右，上限值能夠上升0 10%左右。并且，在活體內(nèi)圖像中包含的特定波段可以是熒光物質(zhì)發(fā)出的熒光的波段。例如， 特定波段可以為490nm 625nm的波段。由此，可以進(jìn)行稱為AFI(Auto Fluorescence Imaging 自動(dòng)熒光成像)的熒光觀察。通過照射激勵(lì)光(390nm 470nm)能夠觀察來自膠原質(zhì)等熒光物質(zhì)的內(nèi)熒光 (intrinsic fluorescence。490nm 625nm)。在這樣的觀察中，能夠用與正常黏膜不同的色調(diào)強(qiáng)調(diào)顯示病變，從而能夠抑制看漏病變部的情況發(fā)生。另外，490nm 625nm的波長表示在照射了所述激勵(lì)光的情況下，膠原質(zhì)等熒光物質(zhì)所發(fā)出的內(nèi)熒光的波段，390nm 470nm 的波長表示用于產(chǎn)生熒光的激勵(lì)光的波段。但是，這種情況下的波段不限于此，例如根據(jù)與熒光物質(zhì)所發(fā)出的熒光的波段有關(guān)的實(shí)驗(yàn)結(jié)果等可變因素，波段的下限值能夠降低0 10%左右，上限值能夠上升0 10%左右。并且，也可以同時(shí)照射被血紅蛋白吸收的波段(540nm 560nm)而生成偽彩色圖像。并且，在活體內(nèi)圖像中包含的特定波段可以是紅外光的波段。例如，特定波段可以是 790nm 820nm，或 905nm 970nm 的波段。由此，能夠進(jìn)行稱為^ianfra Red Imaging 紅外線成像)的紅外光觀察。在靜脈注射容易吸收紅外光的紅外指示劑即ICG(吲哚氰藍(lán)綠)之后，通過照射所述波段的紅外光而能夠強(qiáng)調(diào)顯示用人的眼睛難以進(jìn)行視覺辨認(rèn)的黏膜深處的血管和血流信息，從而能夠?qū)崿F(xiàn)胃癌的深度診斷及治療方針的判定。另外，790nm 820nm的波長是根據(jù)紅外指示劑的吸收最強(qiáng)這一特性而求得的，而905nm 970nm的波長是根據(jù)紅外指示劑的吸收最弱這一特性而求得的。但是，該情況下的波段不限于此，例如根據(jù)與紅外指示劑的吸收有關(guān)的實(shí)驗(yàn)結(jié)果等可變因素，波段的下限值能夠降低0 10%左右，上限值能夠上升0 10%左右。另外，在以上的說明中，圖像取得部325包括通常光圖像取得部320及特殊光圖像取得部330，取得了作為通常光圖像的第1圖像和作為特殊光圖像的第2圖像，但是不限于此?？梢栽诓∽兾恢玫臋z測及顯示部400中的顯示中均使用特殊光圖像，也可以在病變位置的檢測及顯示部400中的顯示中均使用通常光圖像。并且，本實(shí)施方式可以是使得計(jì)算機(jī)作為圖像取得部325、體內(nèi)位置確定信息取得部341、部位模型取得部343、模型上位置確定部342、對應(yīng)部345而起作用的程序。圖像取得部325取得由內(nèi)窺鏡裝置對部位的內(nèi)部進(jìn)行拍攝而得到的攝像圖像，體內(nèi)位置確定信息取得部341取得用于確定拍攝攝像圖像時(shí)的體內(nèi)位置的信息即體內(nèi)位置確定信息。部位模型取得部343取得部位模型，模型上位置確定部342用于確定與由體內(nèi)位置確定信息確定的位置對應(yīng)的模型上位置。并且，對應(yīng)部345將與攝像圖像相關(guān)的信息和所確定的模型上位置對應(yīng)起來。由此，例如膠囊型內(nèi)窺鏡等，能夠首先積累圖像數(shù)據(jù)，然后由PC等計(jì)算機(jī)系統(tǒng)對于所積累的圖像數(shù)據(jù)進(jìn)行軟件處理。并且，本實(shí)施方式還適用于記錄有用于實(shí)現(xiàn)本實(shí)施方式的各部(圖像取得部、體內(nèi)位置確定信息取得部、部位模型取得部、模型上位置確定部、對應(yīng)部)的程序代碼的計(jì)算機(jī)程序產(chǎn)品中。在此，程序代碼實(shí)現(xiàn)如下各部圖像取得部，其取得由內(nèi)窺鏡裝置對被檢體內(nèi)的部位的內(nèi)部進(jìn)行拍攝而得到的圖像即攝像圖像；體內(nèi)位置確定信息取得部，其取得體內(nèi)位置確定信息，該體內(nèi)位置確定信息是用于確定拍攝所述攝像圖像時(shí)的、所述內(nèi)窺鏡裝置在體內(nèi)中的位置的信息；部位模型取得部，其取得所述被檢體內(nèi)的部位的模型即部位模型；模型上位置確定部，其用于在所取得的所述部位模型上確定與由所取得的所述體內(nèi)位置確定信息確定的位置對應(yīng)的模型上位置；對應(yīng)部，其將與所述攝像圖像相關(guān)的信息和所確定的所述模型上位置對應(yīng)起來。并且，計(jì)算機(jī)程序產(chǎn)品為組裝有程序代碼的信息存儲介質(zhì)、裝置、設(shè)備或系統(tǒng)等， 例如記錄有程序代碼的信息存儲介質(zhì)(DVD等光盤介質(zhì)、硬盤介質(zhì)、存儲器介質(zhì)等)、記錄有程序代碼的計(jì)算機(jī)、記錄有程序代碼的因特網(wǎng)系統(tǒng)(例如包括服務(wù)器和用戶終端的系統(tǒng)) 等。在該情況下，由各模塊來安裝本實(shí)施方式的各構(gòu)成要件及各處理工序，并且由安裝有各構(gòu)成要件及各處理工序的模塊構(gòu)成的程序代碼被記錄在計(jì)算機(jī)程序產(chǎn)品中。3.第2實(shí)施方式下面，對包括第2實(shí)施方式中的圖像處理裝置的內(nèi)窺鏡裝置進(jìn)行說明。圖23表示本發(fā)明第2實(shí)施方式中的內(nèi)窺鏡裝置。該內(nèi)窺鏡裝置為在第1實(shí)施方式的內(nèi)窺鏡裝置上加設(shè)傳感器270、與傳感器信息取得相關(guān)的模塊(傳感器信息取得部700)及顯示控制部360 的結(jié)構(gòu)。并且，體內(nèi)位置確定信息取得部的結(jié)構(gòu)與第1實(shí)施方式不同。傳感器270例如為3軸加速度傳感器等。傳感器270測定x、y、ζ各個(gè)軸的加速度，并且將所測定的加速度信息發(fā)送到傳感器信息取得部700。傳感器信息取得部700由取
20得的加速度信息取得移動(dòng)信息而發(fā)送到引導(dǎo)圖像生成部340。在此，移動(dòng)信息可以是加速度信息，也可以是通過對加速度信息積分而得到的速度信息。并且，也可以是通過對速度信息積分而得到的三維移動(dòng)軌跡。與第1實(shí)施方式相同，引導(dǎo)圖像生成部340包括體內(nèi)位置確定信息取得部341。圖 M表示本實(shí)施方式中的體內(nèi)位置確定信息取得部341的結(jié)構(gòu)。在該結(jié)構(gòu)中未設(shè)置第1實(shí)施方式中的圖像存儲部3410。并且，與第1實(shí)施方式不同的是，并不是輸入來自通常光圖像取得部320的通常光圖像，而是輸入來自傳感器信息取得部700的傳感器信息(移動(dòng)信息)。距離計(jì)算部3412根據(jù)來自傳感器信息取得部700的移動(dòng)信息而計(jì)算移動(dòng)距離信息，方向計(jì)算部3411計(jì)算移動(dòng)方向信息。得到移動(dòng)距離信息L和移動(dòng)方向信息(h，ν)之后的處理與第1實(shí)施方式相同，在進(jìn)行校正部；3413的校正(校正由軸保持縮短法產(chǎn)生的偏差)處理及根據(jù)模型上位置確定部342的轉(zhuǎn)換部3422進(jìn)行的轉(zhuǎn)換為模型上距離的處理的基礎(chǔ)上確定模型上位置。在以上的本實(shí)施方式中，圖像處理裝置包括用于取得來自傳感器270的傳感器信息的傳感器信息取得部700。并且，根據(jù)傳感器信息，作為體內(nèi)位置確定信息而取得內(nèi)窺鏡裝置的移動(dòng)信息。由此，能夠根據(jù)傳感器信息而取得體內(nèi)位置確定信息。如果傳感器例如為3軸加速度傳感器，則能夠取得x、y、z各軸中的加速度(在進(jìn)行積分的情況下為速度及位移)，因此與圖像處理相比，能夠取得更直接且準(zhǔn)確的數(shù)據(jù)。并且，通過利用超聲波傳感器等，還能夠求得絕對位置，而不是求得相對位置。并且，圖像處理裝置包括控制部位模型圖像(引導(dǎo)圖像)和攝像圖像的顯示的顯示控制部360，顯示控制部360可以基于移動(dòng)信息而使得部位模型圖像變形。具體地講，圖2(B)所示，例如在根據(jù)傳感器信息(移動(dòng)信息)而判定為彎曲部被筆直地拉伸的情況下，將部位模型圖像本身變形為如圖2(B)所示的形態(tài)。由此，能夠以接近攝像時(shí)(內(nèi)窺鏡裝置插入時(shí))的體內(nèi)部位的形狀的形態(tài)來顯示部位模型圖像，用戶(醫(yī)生)能夠一邊看著與內(nèi)窺鏡裝置的操作感覺一致的圖像而一邊進(jìn)行診斷等。另外，這種方法還通過與上述的超聲波傳感器等、能夠求得準(zhǔn)確且絕對的位置的傳感器結(jié)合使用而能夠發(fā)揮更好的效果。4.第3實(shí)施方式下面，對包括第3實(shí)施方式中的圖像處理裝置的內(nèi)窺鏡裝置進(jìn)行說明。該實(shí)施方式除了體內(nèi)位置確定信息取得部341和模型上位置確定部342之外，與第1實(shí)施方式相同。圖25表示體內(nèi)位置確定信息取得部341b。體內(nèi)位置確定信息取得部341b是從體內(nèi)位置確定信息取得部341去除校正部3413而形成的結(jié)構(gòu)。由距離計(jì)算部3412計(jì)算的移動(dòng)距離L被輸出到模型上位置計(jì)算部。圖沈表示模型上位置確定部342b。模型上位置確定部342b是在模型上位置確定部342的基礎(chǔ)上加設(shè)校正部3423而形成的結(jié)構(gòu)。校正部3423根據(jù)控制部350的控制，按照內(nèi)窺鏡裝置移動(dòng)的部位的全部或一部分的結(jié)構(gòu)特性而校正被轉(zhuǎn)換的部位模型上的移動(dòng)距離。具體地，對于內(nèi)窺鏡裝置根據(jù)軸保持縮短法而插入的、具有彎曲部的部位的全部或一部分的區(qū)間中的移動(dòng)距離，進(jìn)行增加其距離的校正。這是因?yàn)檩S保持縮短法將腸道折疊而使之縮短，因此部位模型上的移動(dòng)距離相
21對計(jì)算出的移動(dòng)距離長。校正后的移動(dòng)距離cmL由以下式進(jìn)行計(jì)算。mL = modCoedXL......(14)radL = mLXcos(addH) Xcos(addV)......(15)cml = corModcoef XradL......(16)corModCoef是1以上的系數(shù)，可以由醫(yī)生預(yù)先決定，也可以根據(jù)患者信息由控制部350自動(dòng)計(jì)算。另外，在攝影部位并不是軸保持縮短法的對象部位的情況下，根據(jù)以下式，基于移動(dòng)方向(h，ν)計(jì)算部位模型上的移動(dòng)量(X，y)。mL = modCoedXL......(17)(χ, y) = (mLXsin(h) Xcos (ν), mLXcos(h) Xcos (ν))......(18)將該(x，y)從基準(zhǔn)位置起積算而獲得的值表示為(addX，addY)。(addX, addY)表示在部位模型上的從基準(zhǔn)坐標(biāo)起的相對坐標(biāo)。基于基準(zhǔn)位置的相對坐標(biāo)(addX，addY)被輸出到對應(yīng)部344。圖27 (A)、圖27 (B)對以上處理進(jìn)行了圖示。圖27 (A)表示在使用軸保持縮短法的彎曲部位移動(dòng)時(shí)所進(jìn)行的處理，圖27(B)表示在未使用軸保持縮短法等方法的情況下所進(jìn)行的處理。下面，利用圖27(A)、圖27(B)再次對上述處理進(jìn)行說明。首先，由圖像信息計(jì)算移動(dòng)距離信息L及移動(dòng)方向信息(h，v)。在使用軸保持縮短法的情況下，如圖27(A)所示， 由轉(zhuǎn)換部3422進(jìn)行轉(zhuǎn)換。具體地，進(jìn)行相當(dāng)于上述式(14)、(15)的如下處理將L與系數(shù) modCoef相乘而求出mL，由(addH，addV)進(jìn)行方向校正并求出radL。接著，根據(jù)校正部3413進(jìn)行校正。具體地，進(jìn)行相當(dāng)于上述式(16)的如下處理 將radL與系數(shù)corModCoef相乘而求出cmL。并且，通過積算cmL而求出addL，將addL輸出到對應(yīng)部344。下面，利用圖27(B)來說明在未使用軸保持縮短法的情況下的處理。在由圖像信息計(jì)算移動(dòng)距離信息L及移動(dòng)方向信息(h，v)這一點(diǎn)上與圖27(A)相同。首先，如圖27 (B)所示，由轉(zhuǎn)換部3422進(jìn)行轉(zhuǎn)換。具體地，進(jìn)行相當(dāng)于上述式(17)、 (18)的如下處理將L與系數(shù)modCoef相乘而求出mL，并且根據(jù)上述式(18)，基于移動(dòng)距離信息mL(模型上的移動(dòng)距離信息)和移動(dòng)方向(h，v)而求出移動(dòng)矢量(x，y)。(x,y)表示每1幀的移動(dòng)矢量，因此通過將(x，y)從基準(zhǔn)位置起積算而能夠確定要求出的坐標(biāo)(addX， addY)。如圖沈所示，在以上的本實(shí)施方式中，模型上位置確定部342包括轉(zhuǎn)換部3422，該轉(zhuǎn)換部3422將由移動(dòng)距離信息表示的距離轉(zhuǎn)換為部位模型上的距離即模型上距離。并且， 模型上位置確定部342根據(jù)由轉(zhuǎn)換部3422轉(zhuǎn)換的模型上距離而確定模型上位置。由此，即使部位模型的大小不一，也能夠適當(dāng)確定模型上的位置。如圖沈所示，模型上位置確定部342包括校正部3423，該校正部3423按照內(nèi)窺鏡裝置移動(dòng)的部位的結(jié)構(gòu)特性來校正由轉(zhuǎn)換部3422進(jìn)行轉(zhuǎn)換的模型上距離。并且，模型上位置確定部342根據(jù)由校正部3423校正的模型上距離而確定模型上位置。由此，能夠根據(jù)部位的結(jié)構(gòu)特性而校正引導(dǎo)圖像上的移動(dòng)距離與內(nèi)窺鏡裝置在體內(nèi)中的移動(dòng)距離之差。
5.第4實(shí)施方式下面，對包括第4實(shí)施方式中的圖像處理裝置的內(nèi)窺鏡裝置進(jìn)行說明。圖28表示本發(fā)明第4實(shí)施方式中的內(nèi)窺鏡裝置。該內(nèi)窺鏡裝置為在第1實(shí)施方式的內(nèi)窺鏡裝置上去除了與特殊光圖像取得相關(guān)的模塊的結(jié)構(gòu)。圖四表示引導(dǎo)圖像生成部340b的結(jié)構(gòu)。引導(dǎo)圖像生成部340b是在引導(dǎo)圖像生成部340中去除了關(guān)注區(qū)域檢測部的結(jié)構(gòu)。并且，部位模型取得部34 的作用與第1實(shí)施方式的部位模型取得部343不同。部位模型取得部34 根據(jù)控制部350的控制，由膠囊型內(nèi)窺鏡裝置取得表示被檢體內(nèi)的活體部位的大致輪廓的部位模型。在此，三維部位模型通過膠囊型內(nèi)窺鏡裝置經(jīng)由因特網(wǎng)而被輸入到部位模型取得部34 中。三維部位模型是由通過膠囊型內(nèi)窺鏡裝置事先從被檢體本人取得的時(shí)間上連續(xù)的多個(gè)圖像構(gòu)成的。在此，膠囊型內(nèi)窺鏡裝置取得特殊光圖像，由此能夠取得與該關(guān)注區(qū)域?qū)?yīng)的三維模型。三維模型被輸出到模型上位置確定部342和對應(yīng)部344。在以上的本實(shí)施方式中，圖像處理裝置包括關(guān)注區(qū)域檢測部345，該關(guān)注區(qū)域檢測部345基于所取得的圖像而檢測應(yīng)關(guān)注的區(qū)域即關(guān)注區(qū)域，并且根據(jù)膠囊型內(nèi)窺鏡裝置的攝像而檢測關(guān)注區(qū)域。由此，能夠在插入通常的內(nèi)窺鏡裝置之前檢測關(guān)注區(qū)域，并且能夠抑制在插入通常的內(nèi)窺鏡裝置時(shí)看漏病變部等關(guān)注區(qū)域的情況發(fā)生。并且，在觀察時(shí)的內(nèi)窺鏡裝置中可以沒有特殊光圖像取得部。并且，部位模型取得部343根據(jù)膠囊型內(nèi)窺鏡裝置的攝像而取得部位模型。由此，能夠在事先取得從本人拍攝到的部位模型，因此模型準(zhǔn)確。并且，通過與由所述膠囊型內(nèi)窺鏡裝置進(jìn)行的關(guān)注區(qū)域的檢測進(jìn)行結(jié)合，從而能夠取得與關(guān)注區(qū)域的信息對應(yīng)的部位模型，使得醫(yī)生能夠更加容易地診斷。6.第5實(shí)施方式下面，對包括第5實(shí)施方式中的圖像處理裝置的內(nèi)窺鏡裝置進(jìn)行說明。結(jié)構(gòu)與第 4實(shí)施方式相同，但是部位模型取得部34 的作用不同。部位模型取得部34 根據(jù)控制部350的控制，由CT掃描裝置取得表示被檢體內(nèi)的活體部位的大致輪廓的部位模型。在此，三維部位模型通過CT掃描裝置經(jīng)由網(wǎng)絡(luò)而輸入到部位模型取得部34 中。三維部位模型是由通過CT掃描裝置事先從被檢體本人取得的空間上連續(xù)的多個(gè)片段圖像，通過模型擬合方法而形成的。在此，檢測三維部位模型的凹凸，并作為關(guān)注區(qū)域與部位模型對應(yīng)起來。與關(guān)注區(qū)域?qū)?yīng)的三維部位模型被輸出到模型上位置確定部342和對應(yīng)部344。在以上的本實(shí)施方式中，圖像處理裝置包括關(guān)注區(qū)域檢測部345，該關(guān)注區(qū)域檢測部345在所取得的部位模型上檢測應(yīng)關(guān)注的區(qū)域即關(guān)注區(qū)域，并且對應(yīng)部344還對部位模型上的被檢測的關(guān)注區(qū)域的位置將表示該位置為關(guān)注區(qū)域的信息對應(yīng)起來。由此，能夠取得與關(guān)注區(qū)域?qū)?yīng)的部位模型，在觀察時(shí)的內(nèi)窺鏡裝置中可以沒有特殊光圖像取得部。并且，因?yàn)椴课荒Ｐ褪鞘孪葟谋救伺臄z得到的，因此模型準(zhǔn)確。并且，關(guān)注區(qū)域檢測部345根據(jù)CT掃描攝像檢測關(guān)注區(qū)域。由此，能夠在插入通常的內(nèi)窺鏡裝置之前檢測關(guān)注區(qū)域，能夠抑制在插入通常的內(nèi)窺鏡裝置時(shí)看漏病變部等關(guān)注區(qū)域的情況發(fā)生。并且，在觀察時(shí)的內(nèi)窺鏡裝置中可以沒有特殊光圖像取得部。并且，部位模型取得部343根據(jù)CT掃描攝像取得部位模型。由此，能夠在事先取得從本人拍攝到的部位模型，因此模型準(zhǔn)確。并且，通過與根據(jù)所述的CT掃描攝像而進(jìn)行的關(guān)注區(qū)域的檢測進(jìn)行結(jié)合，從而能夠取得與關(guān)注區(qū)域的信息對應(yīng)的部位模型，使得醫(yī)生能夠更加容易地診斷。以上對適用本發(fā)明的第1 第5的5個(gè)實(shí)施方式及其變形例進(jìn)行了說明，但是本發(fā)明并不限于第1 第5的各個(gè)實(shí)施方式及其變形例，在實(shí)施階段，在不脫離發(fā)明要旨的范圍內(nèi)可變形結(jié)構(gòu)要件而使之具體化。并且，通過適當(dāng)結(jié)合在上述第1 第5的各個(gè)實(shí)施方式及變形例中公開的多個(gè)構(gòu)成要件而能夠形成各種發(fā)明。例如，可以從第1 第5的各個(gè)實(shí)施方式及變形例中記載的所有構(gòu)成要件中刪除幾個(gè)構(gòu)成要件。另外，也可以適當(dāng)結(jié)合以不同實(shí)施方式和變形例進(jìn)行說明的構(gòu)成要件。如上所述，在不脫離本發(fā)明主旨的范圍內(nèi)可進(jìn)行各種變形及應(yīng)用。
權(quán)利要求
1.一種圖像處理裝置，其特征在于包括圖像取得部，其取得攝像圖像，該攝像圖像是由內(nèi)窺鏡裝置對被檢體內(nèi)的部位的內(nèi)部進(jìn)行拍攝而得到的圖像；體內(nèi)位置確定信息取得部，其取得體內(nèi)位置確定信息，該體內(nèi)位置確定信息是用于確定拍攝所述攝像圖像時(shí)的、所述內(nèi)窺鏡裝置在體內(nèi)的位置的信息；部位模型取得部，其取得部位模型，該部位模型是所述被檢體內(nèi)的部位的模型； 模型上位置確定部，其在所取得的所述部位模型上，確定與由所取得的所述體內(nèi)位置確定信息確定的位置對應(yīng)的模型上位置；以及對應(yīng)部，其將與所述攝像圖像相關(guān)的信息對應(yīng)到所確定的所述模型上位置。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述體內(nèi)位置確定信息取得部根據(jù)由所述圖像取得部取得的所述攝像圖像取得所述體內(nèi)位置確定信息。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，所述體內(nèi)位置確定信息取得部包括距離信息計(jì)算部，該距離信息計(jì)算部根據(jù)所述攝像圖像計(jì)算表示所述內(nèi)窺鏡裝置在體內(nèi)的移動(dòng)距離的移動(dòng)距離信息，所述體內(nèi)位置確定信息取得部取得計(jì)算出的所述移動(dòng)距離信息作為所述體內(nèi)位置確定fe息。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，所述體內(nèi)位置確定信息取得部包括方向信息計(jì)算部，該方向信息計(jì)算部根據(jù)所述攝像圖像計(jì)算表示所述內(nèi)窺鏡裝置在體內(nèi)的移動(dòng)方向的移動(dòng)方向信息，所述體內(nèi)位置確定信息取得部取得計(jì)算出的所述移動(dòng)方向信息作為所述體內(nèi)位置確定fe息。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，所述圖像取得部取得在第1定時(shí)取得的第1攝像圖像和在作為第1定時(shí)之后的定時(shí)的第2定時(shí)取得的第2攝像圖像，作為所述攝像圖像，所述體內(nèi)位置確定信息取得部進(jìn)行所述第1攝像圖像與所述第2攝像圖像之間的匹配處理，根據(jù)所述匹配處理的結(jié)果取得所述體內(nèi)位置確定信息。
6.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，所述體內(nèi)位置確定信息取得部包括校正部，該校正部按照所述內(nèi)窺鏡裝置移動(dòng)的部位的全部或一部分的結(jié)構(gòu)特性校正由所述距離信息計(jì)算部計(jì)算出的所述移動(dòng)距離信息，所述模型上位置確定部根據(jù)由所述校正部校正的所述移動(dòng)距離信息確定與所述攝像圖像對應(yīng)的所述模型上位置。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，所述模型上位置確定部包括轉(zhuǎn)換部，該轉(zhuǎn)換部將由所述校正部校正的所述移動(dòng)距離信息所表示的距離轉(zhuǎn)換為所述部位模型上的距離，所述模型上位置確定部根據(jù)由所述轉(zhuǎn)換部轉(zhuǎn)換的所述部位模型上的距離確定與所述攝像圖像對應(yīng)的所述模型上位置。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在于，所述模型上位置確定部包括基準(zhǔn)位置檢測部，該基準(zhǔn)位置檢測部檢測表示所述內(nèi)窺鏡裝置的移動(dòng)的開始地點(diǎn)的基準(zhǔn)位置，所述模型上位置確定部將如下位置確定為與所述攝像圖像對應(yīng)的模型上位置相對于由所述基準(zhǔn)位置檢測部檢測出的所述基準(zhǔn)位置離開所轉(zhuǎn)換的所述部位模型上的距離的位置。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，所述體內(nèi)位置確定信息取得部包括方向信息計(jì)算部，該方向信息計(jì)算部計(jì)算表示所述內(nèi)窺鏡裝置在體內(nèi)的移動(dòng)方向的移動(dòng)方向信息，所述轉(zhuǎn)換部將由所述方向信息計(jì)算部計(jì)算出的所述移動(dòng)方向信息所表示的方向轉(zhuǎn)換為所述部位模型上的移動(dòng)方向，所述模型上位置確定部將如下位置確定為與所取得的所述攝像圖像對應(yīng)的模型上位置相對于由所述基準(zhǔn)位置檢測部檢測出的基準(zhǔn)位置離開所轉(zhuǎn)換的所述部位模型上的距離且與所轉(zhuǎn)換的所述部位模型上的移動(dòng)方向一致的位置。
10.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，在所述內(nèi)窺鏡裝置在具有彎曲部的彎曲部位的全部或一部分的區(qū)間中移動(dòng)的情況下， 所述校正部進(jìn)行增加所述區(qū)間中的由所述移動(dòng)距離信息表示的距離的校正。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于， 所述彎曲部位是大腸或小腸。
12.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，所述模型上位置確定部包括轉(zhuǎn)換部，該轉(zhuǎn)換部將由所述距離信息計(jì)算部計(jì)算出的所述移動(dòng)距離信息所表示的距離轉(zhuǎn)換為所述部位模型上的距離，所述模型上位置確定部根據(jù)由所述轉(zhuǎn)換部轉(zhuǎn)換的所述部位模型上的距離確定所述模型上位置。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其特征在于，所述模型上位置確定部包括校正部，該校正部按照所述內(nèi)窺鏡裝置移動(dòng)的部位的全部或一部分的結(jié)構(gòu)特性校正由所述轉(zhuǎn)換部轉(zhuǎn)換的所述部位模型上的距離，所述模型上位置確定部根據(jù)由所述校正部校正的所述部位模型上的距離確定所述模型上位置。
14.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述模型上位置確定部包括基準(zhǔn)位置檢測部，該基準(zhǔn)位置檢測部檢測表示所述內(nèi)窺鏡裝置的移動(dòng)的開始地點(diǎn)的基準(zhǔn)位置，所述模型上位置確定部根據(jù)檢測出的所述基準(zhǔn)位置和所述體內(nèi)位置確定信息確定所述模型上位置。
15.根據(jù)權(quán)利要求14所述的圖像處理裝置，其特征在于，所述基準(zhǔn)位置檢測部檢測測定開始地點(diǎn)作為所述基準(zhǔn)位置，該測定開始地點(diǎn)是開始所述內(nèi)窺鏡裝置的拍攝的地點(diǎn)。
16.根據(jù)權(quán)利要求14所述的圖像處理裝置，其特征在于，所述基準(zhǔn)位置檢測部檢測開始所述內(nèi)窺鏡裝置的特定部位的拍攝的地點(diǎn)作為所述基準(zhǔn)位置。
17.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述圖像處理裝置包括傳感器信息取得部，該傳感器信息取得部取得來自傳感器的傳感器信息，所述體內(nèi)位置確定信息取得部根據(jù)由所述傳感器信息取得部取得的所述傳感器信息取得所述內(nèi)窺鏡裝置的移動(dòng)信息作為所述體內(nèi)位置確定信息。
18.根據(jù)權(quán)利要求17所述的圖像處理裝置，其特征在于，所述圖像處理裝置包括顯示控制部，該顯示控制部控制作為所述部位模型的圖像的部位模型圖像和所述攝像圖像的顯示，所述顯示控制部根據(jù)所述移動(dòng)信息使所述部位模型圖像變形。
19.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述圖像處理裝置包括關(guān)注區(qū)域檢測部，該關(guān)注區(qū)域檢測部由所述圖像取得部所取得的所述攝像圖像檢測作為應(yīng)關(guān)注的區(qū)域的關(guān)注區(qū)域，所述對應(yīng)部對于所述攝像圖像中的關(guān)注圖像，將與所述關(guān)注圖像相關(guān)的信息對應(yīng)到由所述模型上位置確定部確定的模型上位置，其中，該關(guān)注圖像是包含所述關(guān)注區(qū)域的圖像。
20.根據(jù)權(quán)利要求19所述的圖像處理裝置，其特征在于，所述圖像取得部取得特殊光圖像，該特殊光圖像包括具有比白色光波段窄的特定波段的信息的被攝體像，所述關(guān)注區(qū)域檢測部根據(jù)所述特殊光圖像檢測所述關(guān)注區(qū)域。
21.根據(jù)權(quán)利要求20所述的圖像處理裝置，其特征在于，所述關(guān)注區(qū)域檢測部根據(jù)膠囊型內(nèi)窺鏡裝置的拍攝檢測所述關(guān)注區(qū)域。
22.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述部位模型取得部根據(jù)膠囊型內(nèi)窺鏡裝置的拍攝取得所述部位模型。
23.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述圖像處理裝置包括關(guān)注區(qū)域檢測部，該關(guān)注區(qū)域檢測部在所述取得的部位模型上檢測作為應(yīng)關(guān)注的區(qū)域的關(guān)注區(qū)域，所述對應(yīng)部對于部位模型上的所述檢測出的關(guān)注區(qū)域的位置對應(yīng)表示該位置為關(guān)注區(qū)域的信息。
24.根據(jù)權(quán)利要求23所述的圖像處理裝置，其特征在于，所述關(guān)注區(qū)域檢測部根據(jù)CT掃描拍攝檢測所述關(guān)注區(qū)域。
25.根據(jù)權(quán)利要求23所述的圖像處理裝置，其特征在于，所述部位模型取得部根據(jù)CT掃描拍攝取得所述部位模型。
26.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述對應(yīng)部對應(yīng)表示拍攝所述攝像圖像時(shí)的內(nèi)窺鏡裝置的位置的指針，作為所取得的所述攝像圖像相關(guān)的信息。
27.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述圖像取得部取得第1圖像和第2圖像，該第1圖像包括具有白色光波段中的信息的被攝體像，該第2圖像包括具有與所述白色光波段相比為窄頻段的特定波段中的信息的被攝體像。
28.根據(jù)權(quán)利要求27所述的圖像處理裝置，其特征在于，所述第1圖像及所述第2圖像是對活體內(nèi)部進(jìn)行拍攝而得到的活體內(nèi)部圖像，在所述活體內(nèi)部圖像中包含的所述特定波段是被血液中的血紅蛋白吸收的波長的波段。
29.根據(jù)權(quán)利要求觀所述的圖像處理裝置，其特征在于，所述特定波段是390納米 445納米，或530納米 550納米。
30.根據(jù)權(quán)利要求27所述的圖像處理裝置，其特征在于，所述第1圖像及所述第2圖像是對活體內(nèi)部進(jìn)行拍攝而得到的活體內(nèi)部圖像， 在所述活體內(nèi)部圖像中包含的所述特定波段是熒光物質(zhì)發(fā)出的熒光的波段。
31.根據(jù)權(quán)利要求30所述的圖像處理裝置，其特征在于， 所述特定波段是490納米 625納米的波段。
32.根據(jù)權(quán)利要求27所述的圖像處理裝置，其特征在于，所述第1圖像及所述第2圖像是對活體內(nèi)部進(jìn)行拍攝而得到的活體內(nèi)部圖像， 在所述活體內(nèi)部圖像中包含的所述特定波段是紅外光的波段。
33.根據(jù)權(quán)利要求32所述的圖像處理裝置，其特征在于，所述特定波段是790納米 820納米，或905納米 970納米的波段。
34.一種圖像處理方法，其特征在于，取得攝像圖像，該攝像圖像是由內(nèi)窺鏡裝置對被檢體內(nèi)的部位的內(nèi)部進(jìn)行拍攝而得到的圖像，取得體內(nèi)位置確定信息，該體內(nèi)位置確定信息是用于確定拍攝所述攝像圖像時(shí)的、所述內(nèi)窺鏡裝置在體內(nèi)的位置的信息，取得部位模型，該部位模型是所述被檢體內(nèi)的部位的模型，在所取得的所述部位模型上，確定與由所取得的所述體內(nèi)位置確定信息確定的位置對應(yīng)的模型上位置，將與所述攝像圖像相關(guān)的信息對應(yīng)到所確定的所述模型上位置。
全文摘要
本發(fā)明提供一種能夠使得內(nèi)窺鏡在體內(nèi)中的位置和引導(dǎo)圖像上的位置高精度地一致的圖像處理裝置及圖像處理方法。該圖像處理裝置包括圖像取得部(325)，其取得由內(nèi)窺鏡裝置對被檢體內(nèi)的部位的內(nèi)部進(jìn)行拍攝而得到的圖像即攝像圖像；體內(nèi)位置確定信息取得部(341)，其取得體內(nèi)位置確定信息，該體內(nèi)位置確定信息是用于確定拍攝攝像圖像時(shí)的、內(nèi)窺鏡裝置在體內(nèi)中的位置的信息；部位模型取得部(343)，其取得被檢體內(nèi)的部位的模型即部位模型；模型上位置確定部(342)，其在所取得的部位模型上，確定與由所取得的體內(nèi)位置確定信息確定的位置對應(yīng)的模型上位置；對應(yīng)部(345)，其將與攝像圖像相關(guān)的信息和所確定的模型上位置對應(yīng)起來。
文檔編號A61B1/00GK102247114SQ201110077728
公開日2011年11月23日 申請日期2011年3月29日 優(yōu)先權(quán)日2010年3月30日
發(fā)明者森田惠仁 申請人:奧林巴斯株式會社