專利名稱：內(nèi)窺鏡信息的處理裝置及處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通過(guò)解析內(nèi)窺鏡插入部在體腔內(nèi)的插入形狀，并將該插入形狀信息進(jìn)行圖像顯示來(lái)提高內(nèi)窺鏡的插入操作性的內(nèi)窺鏡插入形狀解析裝置。
背景技術(shù)：
一般來(lái)講，電子內(nèi)窺鏡在前端上具有設(shè)置了電子攝像元件的細(xì)長(zhǎng)且可彎曲的插入部，從外部將該插入部插入成為體腔內(nèi)的管腔的被檢測(cè)體內(nèi)，根據(jù)由插入部前端的電子攝像元件拍攝生成的圖像信號(hào)，在監(jiān)視器畫(huà)面上顯示圖像，在該圖像中對(duì)被檢測(cè)體進(jìn)行觀察，及通過(guò)從設(shè)置在插入部的鉗子通道所插入的處置用鉗子來(lái)進(jìn)行活體組織的采取及治療處置。
體腔內(nèi)的管腔例如大腸及小腸那樣，是彎曲的，在將內(nèi)窺鏡插入這樣彎曲的管腔內(nèi)進(jìn)行觀察時(shí)，如果了解內(nèi)窺鏡插入部插入到管腔的哪個(gè)位置，或內(nèi)窺鏡插入部成為什么樣的形狀，可以提高內(nèi)窺鏡的觀察處置的操作性。
為此，提出有一種內(nèi)窺鏡形狀檢測(cè)裝置，其可檢測(cè)出內(nèi)窺鏡插入部插入管腔內(nèi)的位置，及插入形狀等，并且對(duì)作為被檢測(cè)體的人體為無(wú)害，而且可以在任何管腔內(nèi)使用。
例如有一種內(nèi)窺鏡形狀檢測(cè)裝置，其將內(nèi)裝了探頭源線圈的探頭插入到內(nèi)窺鏡的插入部的通道內(nèi)，將磁場(chǎng)發(fā)生驅(qū)動(dòng)信號(hào)提供給該探頭源線圈，通過(guò)設(shè)置在承載被檢測(cè)體的床的規(guī)定的位置上的多個(gè)3軸感應(yīng)線圈來(lái)檢測(cè)該探頭源線圈所發(fā)生的磁場(chǎng)，根據(jù)該感應(yīng)線圈的檢測(cè)信號(hào)，計(jì)算出探頭源線圈的位置。根據(jù)該計(jì)算出的位置，生成插入部的形狀圖像信息，根據(jù)該形狀圖像信息在顯示器上顯示插入部的形狀圖像，并且還生成與該形狀圖像相互正交的兩個(gè)視點(diǎn)方向的形狀圖像，在監(jiān)視器上可以將兩個(gè)畫(huà)面同時(shí)進(jìn)行顯示〔例如，特開(kāi)平8-107875號(hào)公報(bào)(0017行至0178行，圖1至圖13)〕。
另外，在具有由多個(gè)第1線圈構(gòu)成的源線圈；由檢測(cè)來(lái)自該源線圈的多個(gè)第1線圈的磁場(chǎng)的多個(gè)第2線圈構(gòu)成的感應(yīng)線圈；和將所述源線圈或感應(yīng)線圈中的任何一側(cè)配置到插入體腔內(nèi)的內(nèi)窺鏡的插入部，根據(jù)所述感應(yīng)線圈所檢測(cè)出的源線圈的磁場(chǎng)來(lái)推斷內(nèi)窺鏡插入部的形狀的形狀推斷單元的這一類(lèi)內(nèi)窺鏡形狀檢測(cè)裝置中，有一種從所述形狀推斷單元推斷出的插入部形狀中檢測(cè)出特定的形狀，當(dāng)該特定形狀被檢測(cè)出時(shí)便發(fā)出警告的內(nèi)窺鏡形狀檢測(cè)裝置〔例如，特開(kāi)2000-175861號(hào)公報(bào)(0011行至0049行，圖1至圖10)〕。
一般來(lái)講，以往，對(duì)被檢測(cè)體進(jìn)行內(nèi)窺鏡檢查的醫(yī)務(wù)人員的注意力主要集中在拍攝管腔的觀察部位所生成的內(nèi)窺鏡圖像上，根據(jù)需要才看由內(nèi)窺鏡插入部的形狀檢測(cè)裝置生成并顯示的插入部形狀圖像。
在上述特開(kāi)平8-107875號(hào)公報(bào)中提出的內(nèi)窺鏡形狀檢測(cè)裝置，具有在進(jìn)行內(nèi)窺鏡檢查中，在插入部的形狀形成了環(huán)形時(shí)便檢測(cè)出形成了該環(huán)形的情況，并發(fā)出警告，提醒醫(yī)務(wù)人員注意的內(nèi)窺鏡插入支援功能。
并且，為了提高插入性，希望可以提供適合實(shí)際插入的內(nèi)窺鏡插入部的動(dòng)作的信息，提供表示內(nèi)窺鏡的插入方法及操作指示等的信息。

發(fā)明內(nèi)容
本發(fā)明是鑒于這樣的愿望而產(chǎn)生的，其目的在于提供一種可以解析內(nèi)窺鏡插入部的形狀，提供與提高內(nèi)窺鏡的插入性有關(guān)的信息的內(nèi)窺鏡插入形狀解析裝置。
另外，在以往，多數(shù)情況是對(duì)被檢測(cè)體進(jìn)行內(nèi)窺鏡的觀察的醫(yī)務(wù)人員的注意力，主要集中在拍攝管腔的觀察部位所生成的內(nèi)窺鏡圖像上，而不是集中在由內(nèi)窺鏡插入部的形狀檢測(cè)裝置所生成顯示的插入部形狀圖像上，只有在內(nèi)窺鏡插入部的插入過(guò)程中發(fā)生障礙時(shí)，才去注意插入部形狀圖像，因此導(dǎo)致在內(nèi)窺鏡觀察的推進(jìn)過(guò)程中產(chǎn)生障礙，及使被檢測(cè)體產(chǎn)生不舒適感。
為了使此種內(nèi)窺鏡觀察的推進(jìn)過(guò)程迅速化，和消除給與被檢測(cè)體的不舒適感，在所述特開(kāi)平8-107875號(hào)公報(bào)中發(fā)表的內(nèi)窺鏡形狀裝置通過(guò)在監(jiān)視器畫(huà)面上同時(shí)顯示觀察部位的內(nèi)窺鏡圖像和插入部形狀圖像，使醫(yī)務(wù)人員同時(shí)注意到這兩個(gè)圖像，由此可以加速內(nèi)窺鏡觀察的推進(jìn)過(guò)程和消除被檢測(cè)體的不舒適感。
另外，在特開(kāi)2000-175861號(hào)公報(bào)中所發(fā)表的內(nèi)窺鏡形狀檢測(cè)裝置是一種可預(yù)防被檢測(cè)體的不舒適感的裝置，其鑒于在內(nèi)窺鏡插入部向管腔內(nèi)的插入過(guò)程中，如果形成了環(huán)形則會(huì)造成對(duì)被檢測(cè)體不舒適感，因而插入部在管腔內(nèi)形成了環(huán)形形狀時(shí)，通過(guò)檢測(cè)出該環(huán)形并發(fā)出警告，提醒醫(yī)務(wù)人員注意。
這些內(nèi)窺鏡形狀檢測(cè)裝置并未涉及到關(guān)于記錄被檢測(cè)體的內(nèi)窺鏡圖像和插入部形狀圖像的方面。一般來(lái)講，在內(nèi)窺鏡觀察中，將內(nèi)窺鏡圖像進(jìn)行錄像記錄，在以后的觀察部位的確認(rèn)及內(nèi)窺鏡操作的心得訓(xùn)練時(shí)使用。
該內(nèi)窺鏡圖像和插入部形狀圖像的錄像記錄，一般來(lái)講多采用攝像機(jī)，由于將內(nèi)窺鏡圖像和插入部形狀圖像分別記錄到不同的攝像機(jī)內(nèi)，因而在再現(xiàn)顯示時(shí)，內(nèi)窺鏡圖像和插入部形狀圖像的再現(xiàn)顯示會(huì)不一致，還有，要想將內(nèi)窺鏡圖像和插入部形狀圖像同時(shí)錄像記錄到一個(gè)攝像機(jī)內(nèi)，需要特殊的攝像機(jī)。
在專利申請(qǐng)2001-347909號(hào)中提出了一種內(nèi)窺鏡圖像整理匯集系統(tǒng)，將由這種內(nèi)窺鏡形狀檢測(cè)裝置檢測(cè)出的插入部的形狀圖像和內(nèi)窺鏡圖像一同進(jìn)行記錄，并且在該記錄時(shí)，將插入部形狀圖像與內(nèi)窺鏡圖像建立關(guān)聯(lián)。
但是，該專利申請(qǐng)2001-347909號(hào)所提出的內(nèi)窺鏡圖像的整理匯集系統(tǒng)是在靜態(tài)圖像的狀態(tài)下來(lái)記錄操作了設(shè)置在內(nèi)窺鏡的釋放按鈕時(shí)的內(nèi)窺鏡圖像和插入狀態(tài)的。因此，不適合從內(nèi)窺鏡觀察開(kāi)始到結(jié)束的整體觀察行為的確認(rèn)及操作訓(xùn)練。
而且，未涉及到根據(jù)需要，對(duì)內(nèi)窺鏡圖像及插入形狀圖像的任意的幀附加信息，在同步再現(xiàn)兩個(gè)圖像時(shí)顯示所附加的信息的功能，因此希望一種能夠記錄保存從內(nèi)窺鏡檢查開(kāi)始到結(jié)束的內(nèi)窺鏡圖像及插入形狀圖像，和對(duì)該所記錄保存的圖像輸入附加信息的內(nèi)窺鏡圖像處理裝置。
本發(fā)明也是鑒于這樣的愿望而產(chǎn)生的，其目的在于提供一種將內(nèi)窺鏡插入形狀數(shù)據(jù)和內(nèi)窺鏡圖像數(shù)據(jù)一同保存，可以同步再現(xiàn)兩個(gè)圖像的內(nèi)窺鏡圖像處理裝置。
另外，作為其他的目的，提供一種可以對(duì)內(nèi)窺鏡圖像數(shù)據(jù)及插入形狀數(shù)據(jù)附加關(guān)聯(lián)信息，在同步再現(xiàn)所保存的插入形狀數(shù)據(jù)和內(nèi)窺鏡圖像時(shí)也可以同時(shí)顯示關(guān)聯(lián)信息的內(nèi)窺鏡圖像處理裝置。
本發(fā)明的內(nèi)窺鏡信息處理裝置包括解析通過(guò)檢測(cè)具有插入體腔內(nèi)的插入部的內(nèi)窺鏡的插入部的形狀所得到的插入形狀的形狀解析部；和對(duì)應(yīng)所述形狀解析部的解析的結(jié)果，提供內(nèi)窺鏡操作狀況的信息的信息提供部。


圖1是表示本發(fā)明第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的整體結(jié)構(gòu)的方框圖。
圖2是說(shuō)明上述第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的插入位置坐標(biāo)系的說(shuō)明圖。
圖3是說(shuō)明上述第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡插入形狀觀測(cè)裝置所生成的插入位置檢測(cè)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的說(shuō)明圖。
圖4是說(shuō)明上述第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的處理作用的流程圖。
圖5是說(shuō)明上述第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的被檢測(cè)體的伸展檢測(cè)作用的流程圖。
圖6是說(shuō)明在上述第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，在內(nèi)窺鏡檢查時(shí)顯示到顯示器上的顯示畫(huà)面的說(shuō)明圖。
圖7是說(shuō)明本發(fā)明第2實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡前端部的角度檢測(cè)作用的流程圖。
圖8是說(shuō)明上述第2實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡插入部的方向和插入部移動(dòng)方向所形成的角度的說(shuō)明圖。
圖9是說(shuō)明本發(fā)明的第3實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡前端部的角度檢測(cè)及警告作用的流程圖。
圖10是說(shuō)明上述第3實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡前端部的角度檢測(cè)的說(shuō)明圖。
圖11是說(shuō)明本發(fā)明第4實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡前端部的角度檢測(cè)及警告作用的流程圖。
圖12是說(shuō)明本發(fā)明第5實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡插入部的環(huán)形檢測(cè)及環(huán)形解除方法顯示作用的流程圖。
圖13是說(shuō)明上述第5實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡插入部的環(huán)形的狀態(tài)的說(shuō)明圖。
圖14是說(shuō)明上述第5實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡插入部的環(huán)形的狀態(tài)的說(shuō)明圖。
圖15是說(shuō)明上述第5實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡插入部的環(huán)形解除方法的說(shuō)明圖。
圖16是說(shuō)明上述第5實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡插入部的環(huán)形解除方法的說(shuō)明圖。
圖17是說(shuō)明上述第5實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡插入部的環(huán)形解除方法的說(shuō)明圖。
圖18是說(shuō)明上述第5實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡插入部的環(huán)形解除方法的說(shuō)明圖。
圖19是表示本發(fā)明的第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)的方框圖。
圖20是說(shuō)明在上述第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，記錄保存內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀數(shù)據(jù)的處理動(dòng)作的流程圖。
圖21是說(shuō)明在上述第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，同步再現(xiàn)內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀圖像的處理動(dòng)作的流程圖。
圖22是說(shuō)明在上述第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，同步再現(xiàn)內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀圖像的再現(xiàn)計(jì)時(shí)處理動(dòng)作的流程圖。
圖23是表示了在上述第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，記錄保存內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀數(shù)據(jù)時(shí)的顯示畫(huà)面的圖。
圖24是表示了在上述第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，和內(nèi)窺鏡插入形狀圖像同步再現(xiàn)的處理動(dòng)作的顯示畫(huà)面的圖。
圖25是說(shuō)明在本發(fā)明第7實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，對(duì)內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀圖像輸入附加信息的處理動(dòng)作的流程圖。
圖26是說(shuō)明在上述第7實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，同步再現(xiàn)內(nèi)窺鏡圖像，內(nèi)窺鏡插入形狀圖像及附加信息的再現(xiàn)計(jì)時(shí)處理動(dòng)作的流程圖。
圖27是表示在上述第7實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，同步再現(xiàn)內(nèi)窺鏡圖像，內(nèi)窺鏡插入形狀圖像，附加信息的處理動(dòng)作的顯示畫(huà)面的圖。
圖28是說(shuō)明在本發(fā)明第8實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，檢索內(nèi)窺鏡圖像及內(nèi)窺鏡插入形狀圖像的特征項(xiàng)目，和對(duì)該特征項(xiàng)目顯示相關(guān)信息的處理動(dòng)作的流程圖。
圖29是表示在上述第8實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，檢索內(nèi)窺鏡圖像及內(nèi)窺鏡插入形狀圖像的特征項(xiàng)目的處理動(dòng)作的顯示畫(huà)面的圖。
具體實(shí)施例方式
下面，結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。
首先，結(jié)合圖1～圖6對(duì)本發(fā)明的第1實(shí)施例進(jìn)行說(shuō)明。
圖1是表示本發(fā)明第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的整體結(jié)構(gòu)的方框圖，圖2是說(shuō)明上述第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的插入位置坐標(biāo)系的說(shuō)明圖，圖3是說(shuō)明上述第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的內(nèi)窺鏡插入形狀觀測(cè)裝置所生成的插入位置檢測(cè)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的說(shuō)明圖，圖4是說(shuō)明上述第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的處理作用的流程圖，圖5是說(shuō)明上述第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的被檢測(cè)體的伸展檢測(cè)作用的流程圖，圖6是說(shuō)明在上述第1實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，在內(nèi)窺鏡檢查時(shí)顯示到顯示器上的顯示畫(huà)面的說(shuō)明圖。
首先，結(jié)合圖1對(duì)采用了本發(fā)明的第1實(shí)施例的解析內(nèi)窺鏡插入形狀的圖像處理裝置的電子內(nèi)窺鏡系統(tǒng)1進(jìn)行說(shuō)明。
電子內(nèi)窺鏡系統(tǒng)1具有內(nèi)窺鏡裝置2、內(nèi)窺鏡插入形狀觀測(cè)裝置3和圖像處理裝置4。
內(nèi)窺鏡裝置2具有電子內(nèi)窺鏡12、視頻處理器10、光源裝置11及觀察監(jiān)視器14。
電子內(nèi)窺鏡12在插入被檢測(cè)體的體腔的管腔內(nèi)的細(xì)長(zhǎng)的插入部前端上設(shè)置有電子攝像元件(未圖示)，驅(qū)動(dòng)控制該電子攝像元件，生成并輸出管腔內(nèi)的觀察部位的拍攝影像信號(hào)，并且通過(guò)設(shè)置在插入部?jī)?nèi)的導(dǎo)光路來(lái)照射照明管腔內(nèi)的觀察部位的觀察光。
并且，在電子內(nèi)窺鏡12的插入部的前端部分上設(shè)置有彎曲部，可以通過(guò)設(shè)置在插入部根端上的操作部進(jìn)行彎曲操作。
另外還有，在電子內(nèi)窺鏡12的操作部?jī)?nèi)設(shè)置有釋放開(kāi)關(guān)12a，并且在與視頻處理器10之間設(shè)置有用于驅(qū)動(dòng)控制電子攝像元件或?qū)⑴臄z生成的拍攝影像信號(hào)進(jìn)行收發(fā)的電纜，和將來(lái)自光源裝置11的觀察光引導(dǎo)至導(dǎo)光路的導(dǎo)光光纜等。
另外，電子內(nèi)窺鏡12設(shè)置有檢測(cè)在管腔內(nèi)的插入部的插入位置及形狀的檢測(cè)功能(未圖示)。檢測(cè)該插入的位置及形狀的檢測(cè)功能具有具有在未圖示的，在內(nèi)窺鏡的插入部?jī)?nèi)以規(guī)定的間隔設(shè)置的多個(gè)源線圈和設(shè)置在內(nèi)窺鏡插入形狀觀測(cè)裝置3中的多個(gè)感應(yīng)線圈的感應(yīng)線圈單元19。
視頻處理器10在驅(qū)動(dòng)控制所述電子內(nèi)窺鏡12的電子攝像元件的同時(shí)，對(duì)由電子攝像元件通過(guò)光電轉(zhuǎn)換而拍攝生成的動(dòng)態(tài)影像信號(hào)進(jìn)行規(guī)定的信號(hào)處理，生成由輝度信號(hào)及顏色信號(hào)所構(gòu)成的Y/C信號(hào)或RGB信號(hào)。
該視頻處理器10所生成的由輝度信號(hào)及顏色信號(hào)所構(gòu)成的Y/C信號(hào)或RGB信號(hào)被直接輸出到觀察監(jiān)視器14和圖像處理裝置15。
另外，當(dāng)操作所述釋放開(kāi)關(guān)12a時(shí)，可以指示輸出拍攝圖像的靜態(tài)圖像。
另外，視頻處理器10具有輸入與內(nèi)窺鏡檢查有關(guān)的檢查信息的功能(未圖示)。
光源裝置11由作為照明光源的燈和該燈的點(diǎn)燈電路等構(gòu)成，將電燈點(diǎn)燈時(shí)所投射的照明光導(dǎo)入所述電子內(nèi)窺鏡1的導(dǎo)光路，從插入部前端投射到管腔的觀察部位。
觀察監(jiān)視器14根據(jù)所述視頻處理器10所生成的Y/C信號(hào)或RGB信號(hào)等顯示內(nèi)窺鏡圖像。
內(nèi)窺鏡插入形狀觀察裝置3是內(nèi)窺鏡裝置2的周邊裝置，其包括檢測(cè)來(lái)自設(shè)置在電子內(nèi)窺鏡12的源線圈的磁場(chǎng)的感應(yīng)線圈單元19；根據(jù)該感應(yīng)線圈單元19檢測(cè)出的磁場(chǎng)來(lái)推斷內(nèi)窺鏡插入部的形狀的形狀處理裝置13；和顯示由該形狀處理裝置13推斷出的內(nèi)窺鏡插入部形狀的監(jiān)視器(顯示器)13b。
形狀處理裝置13向電子內(nèi)窺鏡12輸出用于驅(qū)動(dòng)源線圈的驅(qū)動(dòng)信號(hào)，使源線圈產(chǎn)生磁場(chǎng)，根據(jù)來(lái)自檢測(cè)該磁場(chǎng)的感應(yīng)線圈單元19的檢測(cè)信號(hào)，計(jì)算出各源線圈的位置坐標(biāo)數(shù)據(jù)，根據(jù)該計(jì)算出的位置坐標(biāo)數(shù)據(jù)來(lái)推斷內(nèi)窺鏡插入部的形狀。而且，生成用于將推斷出的內(nèi)窺鏡插入部的形狀顯示在監(jiān)視器13b上的插入部形狀圖像信號(hào)，并且生成向圖像處理裝置4輸出的表示內(nèi)窺鏡插入部的形狀的3維坐標(biāo)信息，及形狀顯示屬性等插入形狀數(shù)據(jù)。
另外，該內(nèi)窺鏡插入形狀觀測(cè)裝置3根據(jù)來(lái)自未圖示的操作盤(pán)的輸入指示，可以變更由形狀處理裝置13的處理所生成的，顯示在監(jiān)視器13b的插入部形狀圖像的旋轉(zhuǎn)角，放大縮小率等的形狀顯示屬性。
所述形狀處理裝置13所生成的插入形狀數(shù)據(jù)可以輸出到圖像處理裝置4。
另外，該內(nèi)窺鏡插入形狀觀測(cè)裝置3在內(nèi)窺鏡檢查中，可連續(xù)地將插入形狀數(shù)據(jù)輸出到圖像處理裝置4，并且也可以只輸出操作設(shè)置在所述電子內(nèi)窺鏡12的釋放開(kāi)關(guān)12a的時(shí)的插入形狀數(shù)據(jù)。
圖像處理裝置4具有個(gè)人計(jì)算機(jī)(以下稱為PC)15、用于將各種指示輸入到該P(yáng)C15的鼠標(biāo)16和鍵盤(pán)17、以及將PC15所處理的各種信息數(shù)據(jù)及圖像信息進(jìn)行再現(xiàn)顯示的顯示器18。
并且，在PC15內(nèi)具有取得從所述內(nèi)窺鏡插入形狀觀察裝置3的形狀處理裝置13的通信口13a輸出的插入形狀數(shù)據(jù)的通信口15a；取得從所述內(nèi)窺鏡裝置2的視頻處理器10的通信口10a輸出的內(nèi)窺鏡檢查信息的通信口15b；及將所述內(nèi)窺鏡2的視頻處理器10生成的動(dòng)態(tài)影像信號(hào)轉(zhuǎn)換為規(guī)定的壓縮圖像數(shù)據(jù)的動(dòng)態(tài)圖像輸入口15c。
即，將所述視頻處理器10所生成的動(dòng)態(tài)圖像的影像信號(hào)輸入到圖像處理裝置4的動(dòng)態(tài)圖像輸入口15c，將該動(dòng)態(tài)圖像的影像信號(hào)轉(zhuǎn)換為規(guī)定的壓縮動(dòng)態(tài)圖像影像信號(hào)數(shù)據(jù)，如MJPEG格式的壓縮圖像數(shù)據(jù)，并保存到PC15的未圖示的記錄裝置內(nèi)。
另外，一般來(lái)講，在內(nèi)窺鏡檢查開(kāi)始前，能夠從視頻處理器10輸入與內(nèi)窺鏡檢查相關(guān)的檢查信息，根據(jù)該輸入的檢查信息，觀察監(jiān)視器14上以文字及數(shù)字的形式進(jìn)行顯示，并且也能夠從通信口10a通過(guò)通信口15b將該檢查信息數(shù)據(jù)發(fā)送并記錄到圖像處理裝置4內(nèi)。
另外，所謂檢查信息，例如為患者的姓名，出生年月日，性別，年齡，患者編號(hào)及檢查日期時(shí)間等。
即，圖像處理裝置4根據(jù)需要與視頻處理器10相連接，接收并保存來(lái)自視頻處理器10的各種信息數(shù)據(jù)。
結(jié)合圖2和圖3對(duì)這種結(jié)構(gòu)的電子內(nèi)窺鏡系統(tǒng)1的內(nèi)窺鏡插入形狀觀測(cè)裝置3的插入形狀數(shù)據(jù)的生成進(jìn)行說(shuō)明。
內(nèi)窺鏡插入形狀觀測(cè)裝置3在所述電子內(nèi)窺鏡12的電子攝像元件拍攝生成的拍攝影像信號(hào)的每一幀生成包含內(nèi)置于電子內(nèi)窺鏡12的插入部?jī)?nèi)的M個(gè)源線圈的3維坐標(biāo)的插入形狀數(shù)據(jù)。根據(jù)該插入形狀數(shù)據(jù)生成插入部形狀圖像，將其顯示在顯示器13b上，并且將插入形狀數(shù)據(jù)輸出給圖像處理裝置4。
該內(nèi)窺鏡插入形狀觀測(cè)裝置3所檢測(cè)的源線圈的坐標(biāo)系如圖2所示，在電子內(nèi)窺鏡12的插入部中內(nèi)置有插入形狀推斷用的M個(gè)源線圈，從第j幀的插入部前端開(kāi)始數(shù)，表示第i個(gè)(i＝0，1，…，M-1)源線圈的3維坐標(biāo)(Xji，Yji，Zji)。
表示該內(nèi)窺鏡插入形狀觀測(cè)裝置3所檢測(cè)出的源線圈的坐標(biāo)系的插入形狀數(shù)據(jù)的結(jié)構(gòu)如圖3所示，將與一幀有關(guān)的數(shù)據(jù)作為一個(gè)信息包來(lái)發(fā)送。在一個(gè)信息包內(nèi)，具有插入形狀數(shù)據(jù)的取得作成時(shí)刻，顯示屬性信息，附屬信息，源線圈坐標(biāo)等的數(shù)據(jù)。將該源線圈坐標(biāo)系數(shù)據(jù)，在電子內(nèi)窺鏡12的插入部中內(nèi)置的源線圈的3維坐標(biāo)從插入部前端朝向插入部的根端的操作部的方向上，按順序排列配置。另外，將內(nèi)窺鏡插入形狀觀測(cè)裝置3的檢測(cè)范圍以外的源線圈的坐標(biāo)設(shè)定為規(guī)定的常數(shù)。
下面，結(jié)合圖4至圖6對(duì)來(lái)自所述圖像處理裝置4的所述內(nèi)窺鏡裝置2的視頻處理器10的檢查信息和內(nèi)窺鏡圖像，及來(lái)自所述內(nèi)窺鏡插入形狀觀測(cè)裝置3的形狀處理裝置13的插入形狀數(shù)據(jù)的取得記錄處理作用，及作為被檢測(cè)體的大腸的伸展檢測(cè)進(jìn)行說(shuō)明。
該處理動(dòng)作是通過(guò)使PC15執(zhí)行驅(qū)動(dòng)被設(shè)置在圖像處理裝置4中的檢查應(yīng)用程序來(lái)實(shí)現(xiàn)的。
在開(kāi)始內(nèi)窺鏡檢查時(shí)，由視頻處理器10輸入檢查信息，在圖像處理裝置4的PC15中啟動(dòng)檢查應(yīng)用程序。當(dāng)該檢查應(yīng)用程序被啟動(dòng)時(shí)，在顯示器18上會(huì)顯示圖6所示的檢查窗口100和內(nèi)窺鏡圖像窗口105。
當(dāng)該圖像處理裝置4的PC15執(zhí)行驅(qū)動(dòng)檢查應(yīng)用程序，在所述顯示器18上顯示了檢查窗口100時(shí)，在步驟S1，PC15設(shè)定為接收并保存來(lái)自視頻處理器10的檢查信息及內(nèi)窺鏡圖像數(shù)據(jù)、和來(lái)自內(nèi)窺鏡插入形狀觀測(cè)裝置3的形狀處理裝置13的插入形狀數(shù)據(jù)的模式。
接下來(lái)，在步驟S2，PC15判斷醫(yī)務(wù)人員是否通過(guò)操作鼠標(biāo)16或鍵盤(pán)17，點(diǎn)擊了所述檢查窗口100所顯示的檢查開(kāi)始按鈕(圖中表示為Start Exam)101。在檢查開(kāi)始按鈕沒(méi)有被點(diǎn)擊之前處于待機(jī)狀態(tài)，當(dāng)被點(diǎn)擊時(shí)，實(shí)施步驟S3以后的處理。
在步驟S3，PC15打開(kāi)通信口15a，開(kāi)始和內(nèi)窺鏡插入形狀觀測(cè)裝置3的形狀處理裝置13進(jìn)行通信，在步驟S4，打開(kāi)通信口15b，開(kāi)始和視頻處理器10進(jìn)行通信。
在步驟S5，PC15對(duì)于視頻處理器10，通過(guò)通信口15b將取得檢查信息的指令發(fā)送到視頻處理器10的通信口10a，接收到該檢查信息取得指令的視頻處理器10將檢查信息發(fā)送到PC15。
在步驟S6，PC15將在該步驟S5中由視頻處理器10發(fā)送來(lái)的檢查信息記錄保存到未圖示的記錄裝置內(nèi)。
接下來(lái)，在步驟S7，PC15通過(guò)通信口15a，將取得插入形狀數(shù)據(jù)的指令發(fā)送到形狀處理裝置13的通信口13a，接收了該插入形狀數(shù)據(jù)取得指令的形狀處理裝置13便開(kāi)始發(fā)送輸出插入形狀數(shù)據(jù)。該發(fā)送一直持續(xù)到PC15和形狀處理裝置13之間的通信結(jié)束，關(guān)閉通信口15a為止。
在步驟S8，PC15接收在上述步驟S7由形狀處理裝置13發(fā)送來(lái)的插入形狀數(shù)據(jù)，將其與在上述步驟S6中所記錄保存的檢查信息建立關(guān)聯(lián)，以文件的形式保存到設(shè)置在PC15內(nèi)的，未圖示的硬盤(pán)中(以下稱為插入形狀文件)。
接下來(lái)，在步驟S9，PC15將從所述視頻處理器10輸入到動(dòng)態(tài)圖像輸入口15c的動(dòng)態(tài)圖像影像信號(hào)轉(zhuǎn)換為MJPEG格式的壓縮圖像數(shù)據(jù)，將其與在上述步驟S6中所記錄保存的檢查信息建立關(guān)聯(lián)，并以文件的形式保存到PC15的未圖示的硬盤(pán)中(以下稱為圖像文件)，同時(shí)將輸入到所述動(dòng)態(tài)圖像輸入口15c的動(dòng)態(tài)圖像顯示在圖6所示的內(nèi)窺鏡圖像窗口105的內(nèi)窺鏡圖像區(qū)域106內(nèi)。
接下來(lái)，在步驟S10，PC15實(shí)施圖5所示的步驟S21以后的警告處理，當(dāng)該警告處理完成時(shí)，PC15在步驟S11判斷是否操作了檢查窗口100的檢查結(jié)束按鈕(圖中表示為End Exam)102，當(dāng)判斷為沒(méi)有操作檢查結(jié)束按鈕102時(shí)，返回到上述步驟S8，當(dāng)判斷為操作了檢查結(jié)束按鈕102時(shí)，在步驟S12關(guān)閉通信口15a，15b，結(jié)束形狀處理裝置13和視頻處理器10的信息數(shù)據(jù)的通信。
結(jié)合圖5對(duì)上述步驟S10的警告處理進(jìn)行說(shuō)明。該步驟S10的警告處理是作為被檢測(cè)體的大腸的伸展檢測(cè)處理。在所述電子內(nèi)窺鏡12的插入部前端幾乎處于停止推進(jìn)的狀態(tài)下，由于考慮到在大腸內(nèi)的內(nèi)窺鏡插入部的插入長(zhǎng)度如果延伸的話大腸會(huì)伸展，因而通過(guò)檢測(cè)內(nèi)窺鏡插入部的插入長(zhǎng)度來(lái)檢測(cè)大腸的伸展情況。
在步驟S21，所述PC15判斷是否取得了在上述步驟S8中取得記錄時(shí)的幀的插入形狀數(shù)據(jù)的前一幀的插入形狀數(shù)據(jù)，當(dāng)判斷為沒(méi)有取得前一幀的插入形狀數(shù)據(jù)時(shí)，進(jìn)入到步驟S11以后的處理。
在上述步驟S21，當(dāng)判斷為取得了前一幀的插入形狀數(shù)據(jù)時(shí)，PC15在步驟S22根據(jù)所述幀和當(dāng)前幀的插入形狀數(shù)據(jù)，通過(guò)算式1計(jì)算出電子內(nèi)窺鏡12的插入部前端的移動(dòng)量dif。
算式1dif＝|Xjo-Xj-1o|+|Xjl-Xj-1l|+…+|Xjm-1-Xj-1m-1|+|Yjo-Yj-1o|+|Yj1-Yj-11|+…+|Yjm-1-Yj-1m-1|+|Zjo-Zj-1o|+|Zjl-Zj-1l|+…+|Zjm-1-Zj-1m-1|通過(guò)該算式1所計(jì)算出的移動(dòng)量dif只從插入部的前端使用m個(gè)數(shù)據(jù)。該移動(dòng)量dif的計(jì)算，并不限于算式1，例如也可以采用歐幾里德距離。
在步驟S23中，將在上述步驟S22中通過(guò)算式1計(jì)算出的，作為移動(dòng)量dif的插入部前端的移動(dòng)距離與規(guī)定的閾值相比較，當(dāng)移動(dòng)量dif的移動(dòng)距離大于規(guī)定的閾值時(shí)，判斷為插入部前端正在插入移動(dòng)中，進(jìn)入到步驟S11以后的處理，當(dāng)小于閾值時(shí)，判斷為插入部前端處于停止?fàn)顟B(tài)，實(shí)施步驟S24以后的處理。
在步驟S24，PC15求得插入形狀觀測(cè)裝置3的形狀處理裝置13所檢測(cè)時(shí)的幀的電子內(nèi)窺鏡12的插入部的長(zhǎng)度。該電子內(nèi)窺鏡12的插入部的長(zhǎng)度，例如根據(jù)形狀處理裝置13所生成的插入形狀數(shù)據(jù)的有效的源線圈坐標(biāo)數(shù)據(jù)數(shù)，來(lái)計(jì)算內(nèi)窺鏡插入部的長(zhǎng)度。
接下來(lái)，在步驟S25，PC15將在上述步驟S24所計(jì)算出時(shí)的幀的插入部的長(zhǎng)度和該時(shí)的幀的前一幀的內(nèi)窺鏡插入部的長(zhǎng)度相比較。當(dāng)該步驟S25的比較結(jié)果為當(dāng)前幀的內(nèi)窺鏡插入部的長(zhǎng)度長(zhǎng)于前一幀的內(nèi)窺鏡插入部的長(zhǎng)度時(shí)，判斷為插入部在插入移動(dòng)中，進(jìn)入到步驟S11以后的處理，當(dāng)當(dāng)前幀的內(nèi)窺鏡插入部的長(zhǎng)度短于前一幀的內(nèi)窺鏡插入部的長(zhǎng)度時(shí)，判斷插入部處于停止或提取狀態(tài)，實(shí)施步驟S26以后的處理。
在上述步驟S25中，當(dāng)前幀的插入部的長(zhǎng)度短于前一幀時(shí)插入部的長(zhǎng)度的情況下，PC15判斷為沒(méi)有產(chǎn)生大腸的伸展，在步驟S26中停止內(nèi)窺鏡的插入部前端的推進(jìn)，并根據(jù)當(dāng)前幀的內(nèi)窺鏡插入部的長(zhǎng)度來(lái)判斷前一幀時(shí)的長(zhǎng)度是否連續(xù)了的規(guī)定的幀數(shù)。
在該步驟S26中，當(dāng)在所述電子內(nèi)窺鏡的插入部前端處于停止?fàn)顟B(tài)，前一幀的插入部的長(zhǎng)度的增加狀態(tài)沒(méi)有連續(xù)規(guī)定的幀數(shù)時(shí)，判斷為沒(méi)有產(chǎn)生大腸的伸展，執(zhí)行上述步驟S11以后的處理，當(dāng)在所述電子內(nèi)窺鏡的插入部前端處于停止?fàn)顟B(tài)，前一幀的插入部的長(zhǎng)度的增加狀態(tài)連續(xù)了規(guī)定的幀數(shù)時(shí)，判斷為產(chǎn)生了大腸的伸展，實(shí)施步驟S27的處理。
在步驟S27，PC15生成警告產(chǎn)生了大腸的伸展的警告信號(hào)，作為提供與內(nèi)窺鏡插入部的形狀有關(guān)的信息發(fā)出警告聲，并將警告信息顯示到圖6的檢查窗口100的警告顯示部110內(nèi)。另外，警告顯示不僅可用文字，也可以對(duì)警告圖形顯示部111進(jìn)行圖標(biāo)等的圖形顯示，或以閃爍方式來(lái)顯示警告顯示。
如上所述，本發(fā)明的圖像處理裝置通過(guò)當(dāng)前幀和前一幀的多個(gè)插入形狀數(shù)據(jù)，可以根據(jù)實(shí)際所插入的內(nèi)窺鏡插入部的動(dòng)作來(lái)提供與內(nèi)窺鏡插入部的形狀有關(guān)的信息，也可以很容易地，快速地檢測(cè)并判斷觀察部位的大腸的伸展，使醫(yī)務(wù)人員迅速得知警告。
另外，在該圖像處理裝置4中，只對(duì)以來(lái)自插入形狀觀測(cè)裝置3的插入形狀數(shù)據(jù)為基準(zhǔn)檢測(cè)并警告大腸的伸展進(jìn)行了說(shuō)明，但也可以準(zhǔn)備可閱覽內(nèi)窺鏡圖像和插入形狀數(shù)據(jù)的閱覽器，對(duì)于所指定的插入形狀數(shù)據(jù)進(jìn)行大腸伸展的檢測(cè)。
下面，結(jié)合圖7及圖8對(duì)本發(fā)明第2實(shí)施例進(jìn)行說(shuō)明。
該第2實(shí)施例的電子內(nèi)窺鏡系統(tǒng)1的結(jié)構(gòu)和上述的第1實(shí)施例相同，且對(duì)來(lái)自圖像處理裝置4的內(nèi)窺鏡裝置2和內(nèi)窺鏡插入形狀觀察裝置3的內(nèi)窺鏡圖像及插入形狀數(shù)據(jù)的處理方法也基本相同。
在該第2實(shí)施例中和上述的第1實(shí)施例不同之處為圖像處理裝置4的步驟S10的警告處理的處理方法不同，該步驟S10的第2實(shí)施例的警告處理，實(shí)施圖7所示的步驟S41以后的處理。
在步驟S41，所述PC15判斷是否取得了在上述步驟S8中取得記錄時(shí)的幀的插入形狀數(shù)據(jù)的前一幀的插入形狀數(shù)據(jù)，當(dāng)判斷為沒(méi)有取得前一幀的插入形狀數(shù)據(jù)時(shí)，進(jìn)入到步驟S11以后的處理。
在上述步驟S41中，當(dāng)判斷為取得了前一幀的插入形狀數(shù)據(jù)時(shí)，PC15在步驟S42，根據(jù)前一幀和當(dāng)前幀的插入形狀數(shù)據(jù)，通過(guò)算式2計(jì)算出電子內(nèi)窺鏡12的插入部前端的移動(dòng)量difl。
算式2dif1＝|Xjo-Xj-1o|+|Xjl-Xj-1l|+…+|Xjm1-1-Xj-1m1-1|+|Yjo-Yj-1o|+|Yjl-Yj-1l|+…+|Yjm1-1-Yj-1m1-1|+|Zjo-Zj-1o|+|Zjl-Zj-1l|+…+|Zjm1-1-Zj-1m1-1|通過(guò)該算式2所計(jì)算出的移動(dòng)量dif1只從插入部的前端使用ml個(gè)數(shù)據(jù)。該移動(dòng)量dif1的計(jì)算并不限于算式2，例如也可以采用歐幾里德距離。
在步驟S43，將在上述步驟S42中通過(guò)算式2所計(jì)算出的，作為移動(dòng)量dif1的插入部前端的移動(dòng)距離與規(guī)定的閾值相比較，當(dāng)移動(dòng)量dif1的移動(dòng)距離大于規(guī)定的閾值時(shí)，判斷為插入部前端正在插入移動(dòng)中，進(jìn)入到步驟S11以后的處理，當(dāng)小于閾值時(shí)，判斷為插入部前端處于停止?fàn)顟B(tài)，實(shí)施步驟S44以后的處理。
在步驟S44，PC15和上述步驟S42同樣，根據(jù)前一幀和當(dāng)前幀的插入形狀數(shù)據(jù)，通過(guò)算式3計(jì)算出來(lái)自電子內(nèi)窺鏡12的插入部的操作部方面的移動(dòng)量dif2。
算式3dif2＝|Xjm-1-Xj-1m-1|+|Xjm-2-Xj-1m-2|Xjm-3-Xj-1m-3|+…+|Xjm-m2-Xj-1m-m2|在步驟S45，將在該步驟S44中通過(guò)算式3所計(jì)算出的，作為移動(dòng)量dif2的插入部的操作部方面的移動(dòng)距離與規(guī)定的閾值相比較，當(dāng)移動(dòng)量dif2的移動(dòng)距離小于規(guī)定的閾值時(shí)，判斷為插入部的操作部方面正處于停止中，進(jìn)入到步驟S11以后的處理，當(dāng)大于閾值時(shí)，判斷為插入部的操作部方面正處于移動(dòng)中，實(shí)施步驟S46以后的處理。
接下來(lái)，在步驟S46，PC15通過(guò)算式4，如圖8所示那樣采用為當(dāng)前幀的第j幀和為前一幀的第j-1幀的第i個(gè)線圈坐標(biāo)，求得插入部前端的移動(dòng)的方向，和根據(jù)為前一幀的第j-1幀的第i個(gè)和第i-1個(gè)線圈坐標(biāo)所形成的插入部的方向的角度Angj1。
算式4Vec1＝(Xji-Xj-1i，Yji-Yj-1i，Zji-Zj-1i)＝(VX1，VY1，VZ1)Vec2＝(Xji-1-Xj-1i，Yji-1-Yj-1i，Zji-1-Zj-1i)＝(VX2，VY2，VZ2)dn1＝√VX12+VY12+VZ12dn2＝√VX22+VY22+VZ22Angji＝cos-1(VX1 VX2+VY1 VY2+VZ1 VZ2)/(dn1 dn2)即，在圖8中表示，由(Xj-1i，Yj-1i，Zj-1i)和(Xj-1i-1，Yj-1i -1，Zj-1i-1)形成的矢量Vec2的方向表示插入部的方向，由(Xji-1，Yj -1i，Zj-1i)和(Xji，Yji，Zji)所形成的矢量Vec1的方向表示插入部前端的移動(dòng)方向。其中，i采用預(yù)先賦予的線圈編號(hào)。
接下來(lái)，在步驟S47，PC15將在上述步驟S46中求得的角度Angj1與規(guī)定的閾值相比較，判斷是否將電子內(nèi)窺鏡12的插入部插入到插入部的方向。在該插入部的前端的移動(dòng)方向與插入部前端的方向所形成的角度Angj1小于規(guī)定的閾值的情況下，判斷為醫(yī)務(wù)人員正在進(jìn)行電子內(nèi)窺鏡12的插入操作，進(jìn)入步驟S48以后的處理，在大于規(guī)定的閾值的情況下，判斷為沒(méi)有在進(jìn)行電子內(nèi)窺鏡12的插入操作，進(jìn)入到步驟S11以后的處理。
在步驟S48，當(dāng)判斷為在上述步驟S47中正在進(jìn)行電子內(nèi)窺鏡12的插入操作時(shí)，PC15判斷正在進(jìn)行電子內(nèi)窺鏡12的插入操作的狀態(tài)是否連續(xù)了規(guī)定的幀數(shù)，當(dāng)判斷為沒(méi)有連續(xù)規(guī)定的幀數(shù)時(shí)，進(jìn)入到上述步驟S11以后的處理，當(dāng)判斷為連續(xù)了規(guī)定的幀數(shù)時(shí)，即判斷為產(chǎn)生了大腸的伸展，在步驟S49中，作為提供與內(nèi)窺鏡插入部的形狀有關(guān)的信息而發(fā)出警告。警告方法例如可以考慮通過(guò)PC15發(fā)出警告聲，或?qū)⒕嫘畔@示到圖6所示的檢查窗口的警告顯示部110內(nèi)等的方法。另外，警告顯示不僅用文字，也可以用圖標(biāo)等的圖形，或以閃爍這些文字圖形方式來(lái)進(jìn)行顯示。
這樣，可以很容易地檢測(cè)出有可能成為被檢測(cè)體的患者的不舒適感原因的大腸的伸展。
另外，在圖像處理裝置4中，只對(duì)接收來(lái)自插入形狀觀測(cè)裝置3的插入形狀數(shù)據(jù)時(shí)檢測(cè)并警告大腸的伸展的情況進(jìn)行了說(shuō)明，但也可以準(zhǔn)備可閱覽內(nèi)窺鏡圖像和插入形狀數(shù)據(jù)的閱覽器，對(duì)所指定的插入形狀數(shù)據(jù)進(jìn)行大腸伸展的檢測(cè)。
下面，結(jié)合圖9及圖10對(duì)本發(fā)明第3實(shí)施例進(jìn)行說(shuō)明。
該第3實(shí)施例的電子內(nèi)窺鏡系統(tǒng)1的結(jié)構(gòu)和上述的第1實(shí)施例相同，且對(duì)來(lái)自圖像處理裝置4的內(nèi)窺鏡裝置2和內(nèi)窺鏡插入形狀觀測(cè)裝置3的內(nèi)窺鏡圖像及插入形狀數(shù)據(jù)的處理方法也基本相同。
該第3實(shí)施例與上述第1實(shí)施例不同之處為；在電子內(nèi)窺鏡12的插入部前端形成了角度(ANGLE)的狀態(tài)下進(jìn)行插入操作的情況下的檢測(cè)處理。當(dāng)內(nèi)窺鏡插入部前端形成了角度的狀態(tài)下，不觀察內(nèi)窺鏡插入部的插入方向而進(jìn)行內(nèi)窺鏡的插入操作時(shí)，會(huì)給被檢測(cè)體的患者帶來(lái)不舒適感。因而對(duì)該內(nèi)窺鏡插入前端形成了角度的狀態(tài)下的插入操作進(jìn)行警告。
和上述的第1實(shí)施例同樣，作為在圖像處理裝置4中所設(shè)置的檢查應(yīng)用程序來(lái)實(shí)現(xiàn)該內(nèi)窺鏡插入部前端形成了角度的狀態(tài)下的插入操作的檢測(cè)，。當(dāng)PC15啟動(dòng)該檢查應(yīng)用程序時(shí)，圖6所示的檢查窗口100被顯示到顯示器18中，該檢查應(yīng)用程序的動(dòng)作和上述步驟S1～S12的動(dòng)作相同。但在步驟S10所實(shí)施的警告處理則變?yōu)閳D9所示的步驟S61以后的處理。
在步驟S61，所述PC15判斷是否取得了在上述步驟S8中取得記錄時(shí)的幀的插入形狀數(shù)據(jù)的前一幀的插入形狀數(shù)據(jù)，當(dāng)判斷為沒(méi)有取得前一幀的插入形狀數(shù)據(jù)時(shí)，進(jìn)入到步驟S11以后的處理。
在上述步驟S61中，當(dāng)判斷為取得了前一幀的插入形狀數(shù)據(jù)時(shí)，在步驟S62，PC15根據(jù)前一幀和當(dāng)前幀的插入形狀數(shù)據(jù)，求得電子內(nèi)窺鏡12的插入部前端的角度Angj1。通過(guò)算式5，如圖10所示那樣，從內(nèi)窺鏡插入部前端，在m個(gè)源線圈的坐標(biāo)當(dāng)中按順序選擇連續(xù)的3個(gè)點(diǎn)來(lái)求得角度Angj1。另外，Vec3和Vec4的始點(diǎn)一致所形成的角度大，則插入部前端的彎曲大。
算式5Vec3＝(Xji-Xj-1i+1，Yji-Yj-1i+1，Zji-Zj-1i+1)＝(VX3，VY3，VZ3)Vec4＝(Xji+2-Xji+1，Yji+2-Yji+2，Zji+2-Zji+1)＝(VX4，VY4，VZ4)dn3＝√VX32+VY32+VZ32dn4＝√VX42+VY42+VZ42Angji＝cos-1(VX3 VX4+VY3 VY4+VZ3 VZ4)/(dn3 dn4)接下來(lái)，在步驟S63，PC15將在上述步驟S62中所求得的多個(gè)角度Angj1與規(guī)定的閾值相比較，如果在該角度Angj1當(dāng)中有大于規(guī)定的閾值的值，則判斷為內(nèi)窺鏡插入部前端形成了角度，進(jìn)入步驟S64以后的處理，當(dāng)判斷為沒(méi)有表示大于規(guī)定的閾值的角度Angj1的值時(shí)，進(jìn)入到步驟S11以后的處理。
當(dāng)在上述步驟S63中存在有表示大于規(guī)定的閾值的值的角度Angj1，判斷為內(nèi)窺鏡插入部前端形成了角度時(shí)，在步驟S64，PC15求得插入形狀觀測(cè)裝置3的形狀處理裝置13所探測(cè)時(shí)的幀的電子內(nèi)窺鏡12的插入部的長(zhǎng)度。該電子內(nèi)窺鏡12的插入部的長(zhǎng)度，例如是以形狀處理裝置13所生成的插入形狀數(shù)據(jù)的有效的源線圈坐標(biāo)數(shù)據(jù)數(shù)為基準(zhǔn)來(lái)計(jì)算出內(nèi)窺鏡插入部的長(zhǎng)度的。
接下來(lái)，在步驟S65，PC15將在上述步驟S64中所計(jì)算出時(shí)的幀的插入部的長(zhǎng)度和該時(shí)的幀的前一幀的內(nèi)窺鏡插入部的長(zhǎng)度相比較。在該步驟S65的比較結(jié)果為當(dāng)前幀的內(nèi)窺鏡插入部的長(zhǎng)度長(zhǎng)于前一幀的內(nèi)窺鏡插入部的長(zhǎng)度時(shí)，判斷為插入部正在向器官的內(nèi)部插入移動(dòng)中，進(jìn)入到步驟S66以后的處理，當(dāng)當(dāng)前幀的內(nèi)窺鏡插入部的長(zhǎng)度短于前一幀的內(nèi)窺鏡插入部的長(zhǎng)度時(shí)，判斷為插入部處于停止或提取狀態(tài)，實(shí)施步驟S11以后的處理。
在上述步驟S66，PC15判斷內(nèi)窺鏡插入部的長(zhǎng)度增加是否連續(xù)了規(guī)定的幀數(shù)。
在該步驟S66中，當(dāng)判斷為插入部的長(zhǎng)度增加的狀態(tài)沒(méi)有連續(xù)規(guī)定的幀數(shù)時(shí)，進(jìn)入到步驟S11以后的處理，當(dāng)判斷為連續(xù)了規(guī)定的幀數(shù)時(shí)，在步驟S67中生成警告內(nèi)窺鏡插入部前端形成了角度的狀態(tài)下進(jìn)行插入的警告信息，提供與內(nèi)窺鏡插入部的形狀有關(guān)的信息，發(fā)出警告聲，并將警告信息顯示到圖6的檢查窗口100的警告顯示部110中。另外，警告顯示不僅用文字，也可以采用圖標(biāo)等的圖形顯示，或進(jìn)行閃爍顯示。
這樣，根據(jù)當(dāng)前幀和前一幀的多個(gè)插入形狀數(shù)據(jù)，可以根據(jù)實(shí)際所插入的內(nèi)窺鏡插入部的動(dòng)向來(lái)提供與內(nèi)窺鏡插入部的形狀有關(guān)的信息，可以檢測(cè)并警告成為患者不舒適感的原因的，在內(nèi)窺鏡插入部前端形成了角度的狀態(tài)下的插入操作。另外，在形成了角度的狀態(tài)下的插入操作的警告，也可以準(zhǔn)備可閱覽圖像和形狀數(shù)據(jù)的閱覽器，對(duì)所指定的插入形狀數(shù)據(jù)發(fā)出同樣的警告。
下面，結(jié)合圖11及圖12對(duì)本發(fā)明的第4實(shí)施例進(jìn)行說(shuō)明。
該第4實(shí)施例的電子內(nèi)窺鏡系統(tǒng)1的結(jié)構(gòu)和上述的第1實(shí)施例相同，且對(duì)來(lái)自圖像處理裝置4的內(nèi)窺鏡裝置2和內(nèi)窺鏡插入形狀觀測(cè)裝置3的內(nèi)窺鏡圖像及插入形狀數(shù)據(jù)的處理方法也基本相同。
該第4實(shí)施例和上述的第3實(shí)施例不同之處為在電子內(nèi)窺鏡12的插入部前端形成了不同的角度的狀態(tài)下進(jìn)行插入操作的情況下的檢測(cè)處理。
和上述的第3實(shí)施例同樣，是作為在圖像處理裝置4中所設(shè)置的檢查應(yīng)用程序來(lái)實(shí)現(xiàn)該內(nèi)窺鏡插入部前端形成了角度的狀態(tài)下的插入操作的檢測(cè)的。當(dāng)PC15啟動(dòng)該檢查應(yīng)用程序時(shí)，圖6所示的檢查窗口100被顯示到顯示器18中，該檢查應(yīng)用程序的動(dòng)作和上述步驟S1～S12的動(dòng)作相同。但在步驟S10所實(shí)施的處理則變?yōu)閳D11所示的步驟S81以后的處理。
在步驟S81，所述PC15判斷是否取得了在上述步驟S8中取得記錄時(shí)的幀的插入形狀數(shù)據(jù)的前一幀的插入形狀數(shù)據(jù)，當(dāng)判斷為沒(méi)有取得前一幀的插入形狀數(shù)據(jù)時(shí)，進(jìn)入到步驟S11以后的處理。
在上述步驟S81中，當(dāng)判斷為取得了前一幀的插入形狀數(shù)據(jù)時(shí)，在步驟S82，PC15根據(jù)前一幀和當(dāng)前幀的插入形狀數(shù)據(jù)，求得電子內(nèi)窺鏡12的插入部前端的角度Angj1，通過(guò)算式5，如圖10所示那樣，從內(nèi)窺鏡插入部前端的m個(gè)源線圈的坐標(biāo)當(dāng)中按順序選擇連續(xù)的3個(gè)點(diǎn)來(lái)求得角度Angj1。
接下來(lái)，在步驟S83，PC15將在上述步驟S82中所求得的多個(gè)角度Angj1與規(guī)定的閾值相比較，如果在該角度Angj1當(dāng)中有大于規(guī)定的閾值的值，則判斷為內(nèi)窺鏡插入部前端形成了角度，實(shí)施步驟S84以后的處理，當(dāng)判斷為沒(méi)有表示大于規(guī)定的閾值的角度Angj1的值時(shí)，進(jìn)入到上述步驟S11以后的處理。
當(dāng)在上述步驟S83中存在有表示大于規(guī)定的閾值的值的角度Angj1，判斷內(nèi)窺鏡插入部前端形成了角度時(shí)，在步驟S84，PC15通過(guò)算式4，如圖8所示那樣，根據(jù)前一幀和當(dāng)前幀的插入形狀數(shù)據(jù)，求得電子內(nèi)窺鏡12的插入部的操作部的移動(dòng)的方向和插入部操作部方面的方向所形成的角度，采用當(dāng)前幀的第j幀和前一幀的第j-1幀的第i個(gè)線圈坐標(biāo)，根據(jù)插入部操作部的移動(dòng)的方向和前一幀的第j-1幀的第i和第i+1第1個(gè)線圈坐標(biāo)，求得插入部操作部的方向所形成的角度Angj1。
即，在圖8中，(Xj-1i，Yj-1i，Zj-1i)和(Xj-1i-1，Yj-1i-1，Zj- 1i-1)所形成的矢量Vec2的方向表示插入部的方向，(Xj-1i，Yj-1i，Zj -1i)和(Xji，Yji，Zji)所形成的矢量Vec1的方向表示插入部前端的移動(dòng)方向。在這里，i采用預(yù)先賦予的線圈編號(hào)。
接下來(lái)，在步驟S85，PC15根據(jù)在上述步驟S84中所求得的角度Angj1，判斷電子內(nèi)窺鏡12的插入部的操作部是否正在插入，并與規(guī)定的閾值相比較。在該插入部操作部的移動(dòng)方向和與插入部操作部的移動(dòng)方向所形成的角度Angj1小于規(guī)定的閾值的情況下，判斷為醫(yī)務(wù)人員正在進(jìn)行電子內(nèi)窺鏡12的插入部的操作部的插入操作，實(shí)施步驟S86以后的處理，在大于規(guī)定的閾值的情況下，判斷為沒(méi)有進(jìn)行電子內(nèi)窺鏡12的插入部操作部的插入操作，進(jìn)入到上述步驟S11以后的處理。
在上述步驟S85，當(dāng)判斷為電子內(nèi)窺鏡12的插入部操作部正在進(jìn)行插入操作時(shí)，在步驟S86，PC15通過(guò)算式4，如圖8所示那樣采用作為當(dāng)前幀的第j幀和為前一幀的第j-1幀的第i個(gè)線圈坐標(biāo)，求得插入部前端的移動(dòng)的方向，和根據(jù)前一幀的第j-1幀的第i個(gè)和第i+1個(gè)線圈坐標(biāo)插入部的方向所形成的角度Angj1。
即，在圖8中表示，由(Xj-1i，Yj-1i，Zj-1i)和(Xj-1i-1，Yj-1i -1，Zj-1i-1)所形成的矢量Vec2的方向表示插入部的方向，由(Xj-1i，Yj-1i，Zj-1i)和(Xji，Yji，Zji)所形成的矢量Vec1的方向表示插入部前端的移動(dòng)的方向。在這里，i采用預(yù)先賦予的線圈編號(hào)。
接下來(lái)，在步驟S87，PC15根據(jù)在上述步驟S86中所求得的角度Angj1，判斷電子內(nèi)窺鏡12的插入部前端是否插入到與觀察方向不同的別的方向。該插入部前端的移動(dòng)方向的判斷為在和插入部前端的方向所形成的角度Angj1大于規(guī)定的閾值的情況下，判斷為內(nèi)窺鏡的插入部前端插入到與觀察方向不同的別的方向。在該步驟S87中，當(dāng)判斷為內(nèi)窺鏡的插入部前端插入到與觀察方向不同的別的方向時(shí)，實(shí)施步驟S88以后的處理，當(dāng)判斷為內(nèi)窺鏡的插入部前端插入到觀察方向時(shí)，進(jìn)入到上述步驟S11以后的處理。
在步驟S87，當(dāng)判斷為內(nèi)窺鏡12的插入部前端插入到與觀察方向不同的別的方向時(shí)，在步驟S88，PC15判斷插入到與觀察方向不同的別的方向的操作是否連續(xù)了規(guī)定的幀數(shù)，當(dāng)判斷為沒(méi)有連續(xù)規(guī)定的幀數(shù)時(shí)，進(jìn)入到上述步驟S11以后的處理，當(dāng)判斷為連續(xù)了規(guī)定的幀數(shù)時(shí)，判斷為在形成了角度的內(nèi)窺鏡的操作部所進(jìn)行的插入操作的插入部前端的狀態(tài)下正在實(shí)施插入操作，在步驟S89發(fā)出警告。警告方法例如可以考慮通過(guò)PC15發(fā)出警告聲，或?qū)⒕嫘畔@示到圖6所示的檢查窗口100的警告顯示部110中等。另外，警告顯示不僅用文字，也可以采用圖標(biāo)等的圖形顯示，并且也可以將這些文字圖像進(jìn)行閃爍顯示。
這樣，可以很容易地檢測(cè)出造成使作為被檢測(cè)體的患者產(chǎn)生不舒適感的原因的在形成了角度的狀態(tài)下的插入。
另外，在圖像處理裝置4中，只對(duì)接收來(lái)自插入形狀觀測(cè)裝置3的插入形狀數(shù)據(jù)時(shí)檢測(cè)并警告插入部前端形成了角度的狀態(tài)下的插入進(jìn)行了說(shuō)明，但也可以準(zhǔn)備可閱覽內(nèi)窺鏡圖像和插入形狀數(shù)據(jù)的閱覽器，對(duì)所指定的插入形狀數(shù)據(jù)發(fā)出同樣的警告。
下面，結(jié)合圖12～圖18對(duì)本發(fā)明的第5實(shí)施例進(jìn)行說(shuō)明。
該第5實(shí)施例的電子內(nèi)窺鏡系統(tǒng)1的結(jié)構(gòu)和上述的第1實(shí)施例相同，且對(duì)來(lái)自圖像處理裝置4的內(nèi)窺鏡裝置2和內(nèi)窺鏡插入形狀觀測(cè)裝置3的內(nèi)窺鏡圖像及插入形狀數(shù)據(jù)的處理方法也基本相同。
該第5實(shí)施例例如在大腸內(nèi)窺鏡中，在將內(nèi)窺鏡的插入部插入到大腸內(nèi)的過(guò)程中有形成環(huán)形的情況。該環(huán)形根據(jù)其形狀被稱為α環(huán)，N環(huán)，γ環(huán)等。
為了減輕該環(huán)形所給與被檢測(cè)體的患者的不舒適感，提高插入部的插入性，要解除內(nèi)窺鏡插入部的環(huán)形，進(jìn)行直線化的操作。
在此種內(nèi)窺鏡插入部的插入操作時(shí)，在形成了環(huán)形時(shí)，通過(guò)識(shí)別顯示該環(huán)形的狀態(tài)，并且顯示內(nèi)窺鏡插入部的直線化操作方法，可以達(dá)到提高內(nèi)窺鏡插入部的插入性和縮短內(nèi)窺鏡檢查的時(shí)間，及減輕患者的不舒適感的效果。
和上述的第1實(shí)施例同樣，作為在圖像處理裝置4中所設(shè)置的檢查應(yīng)用程序來(lái)實(shí)現(xiàn)在該內(nèi)窺鏡插入部前端所形成的環(huán)形的檢測(cè)。在PC15啟動(dòng)該檢查應(yīng)用程序后，顯示器18上顯示圖6所示的檢查窗口100，該檢查應(yīng)用程序的動(dòng)作和上述步驟S1～S12的動(dòng)作相同。但在步驟S10所實(shí)施的處理則變?yōu)閳D12所示的步驟S101以后的處理。
在這里，作為在該第5實(shí)施例中所進(jìn)行的識(shí)別內(nèi)窺鏡插入部的環(huán)形的狀態(tài)，并使其直線化的內(nèi)窺鏡操作的例子，采用了兩個(gè)例子。(1)判斷環(huán)形是順時(shí)針還是逆時(shí)針旋轉(zhuǎn)，把環(huán)形旋轉(zhuǎn)方向設(shè)定為從內(nèi)窺鏡插入部的前端沿著操作部側(cè)旋轉(zhuǎn)的方向。(2)判斷內(nèi)窺鏡插入部的環(huán)形形成部分的前端側(cè)和操作部側(cè)哪個(gè)位于視點(diǎn)一側(cè)。
另外，由于內(nèi)窺鏡插入形狀可以考慮為曲線，因而在識(shí)別環(huán)形，判斷旋轉(zhuǎn)方向時(shí)可以使用曲線的特征提取技術(shù)。
因此，在該實(shí)施例的說(shuō)明中，為了簡(jiǎn)化說(shuō)明，使用將插入形狀投影到X，Y軸的2維曲線來(lái)進(jìn)行參考，例如使用P形傅里葉描述符。關(guān)于P形傅里葉描述符，在電子信息通信學(xué)會(huì)論文志Vol.j 67-A No.3中進(jìn)行了詳細(xì)敘述。
該方法為首先將曲線段割成Vn個(gè)(Vn是分割數(shù)、為正數(shù))線段，對(duì)該線段的端點(diǎn)進(jìn)行復(fù)數(shù)表示，定義在各點(diǎn)的全曲率函數(shù)，將通過(guò)對(duì)全曲率函數(shù)進(jìn)行傅里葉變換而得到的功率譜作為曲線的特征。
另外，可以事先將順時(shí)針旋轉(zhuǎn)及逆時(shí)針旋轉(zhuǎn)的圓狀的環(huán)形形狀的P形傅里葉描述符的特征進(jìn)行存儲(chǔ)，將各個(gè)形狀的功率譜設(shè)為Cq(k)，(k＝0，…，Vn-1)。將q＝0定為順時(shí)針，q＝1定為逆時(shí)針。
在步驟S101，PC15決定環(huán)形狀形成候補(bǔ)。在形成圓形的環(huán)形的情況下，由于源線圈和源線圈相接近，因而將兩個(gè)源線圈的距離小于規(guī)定的閾值的部分作為環(huán)形形成候補(bǔ)。
接下來(lái)，在步驟S102，PC15將環(huán)形形成候補(bǔ)的曲線段割為Vn個(gè)線段，根據(jù)P形傅里葉描述符，求得功率譜C(k)，(k＝0，…，Vn-1)。從插入部前端側(cè)將Vn個(gè)線段的端點(diǎn)設(shè)定為(Px0，Py0，Pz0)，…，(PxVn，PyVn，PzVn)。在P形傅里葉描述符中，只使用xy成分。
接下來(lái)，在步驟S103，PC15求得功率譜Cq(k)和功率譜C(k)的歐幾里德距離。在步驟S104，將在該步驟S103中所求得的歐幾里德距離與規(guī)定的閾值相比較，在所求得的歐幾里德距離小于閾值的情況下，判斷為形成了環(huán)形。在該環(huán)形的判斷中，如果C0(k)和C1(k)雙方均小于閾值，則判斷為向小的一側(cè)進(jìn)行旋轉(zhuǎn)的方向。在沒(méi)有環(huán)形的情況下，進(jìn)入到上述步驟S11以后的處理。
在上述步驟S104，當(dāng)判斷為形成了環(huán)形時(shí)，PC15在步驟S105中采用(PxVn，PyVn，PzVn)，(PxVn-1，PyVn-1，PzVn-1)，(PxVn-2，PyVn-2，PzVn-2)，決定形成環(huán)形的平面S。然后，在步驟S106，求得所述平面S的法線矢量，求得和表示觀察內(nèi)窺鏡插入部的方向的視線矢量所形成的角度θ。然后，在步驟S107，將插入部前端的(Px0，Py0，Pz0)的坐標(biāo)代入到平面S的算式中，來(lái)決定是位于平面S的視點(diǎn)一側(cè)，還是位于與視點(diǎn)相反的一側(cè)。
關(guān)于是位于平面S的視點(diǎn)一側(cè)，還是位于與視點(diǎn)相反的一側(cè)的判斷方法為(1)如果角度θ大于90度，代入結(jié)果為正，則位于視點(diǎn)一側(cè)(參照?qǐng)D13)；(2)如果角度θ大于90度，代入結(jié)果為負(fù)，則位于和視點(diǎn)相反的一側(cè)(參照?qǐng)D13)；(3)如果角度θ小于等于90度，代入結(jié)果為正，則位于和視點(diǎn)相反的一側(cè)(參照?qǐng)D14)；(4)如果角度θ小于等于90度，代入結(jié)果為負(fù)，則位于視點(diǎn)一側(cè)(參照?qǐng)D14)。
在步驟S108，根據(jù)上述步驟S107的環(huán)形的方向和插入部前端，平面S的關(guān)系，決定內(nèi)窺鏡的操作方法，即環(huán)形解除方法。該環(huán)形解除方法的判斷基準(zhǔn)的例子，如下所述。
(1)因逆時(shí)針旋轉(zhuǎn)，前端部位于和視點(diǎn)相反的一側(cè)的情況下，按順時(shí)針旋轉(zhuǎn)來(lái)旋轉(zhuǎn)操作內(nèi)窺鏡(參照?qǐng)D15)；(2)在因順時(shí)針旋轉(zhuǎn)，前端部位于視點(diǎn)一側(cè)的情況下，按順時(shí)針旋轉(zhuǎn)來(lái)旋轉(zhuǎn)操作內(nèi)窺鏡(參照?qǐng)D16)；(3)在因順時(shí)針旋轉(zhuǎn)，前端部位于和視點(diǎn)相反的一側(cè)的情況下，按逆時(shí)針旋轉(zhuǎn)來(lái)旋轉(zhuǎn)操作內(nèi)窺鏡(參照?qǐng)D17)；(4)在因逆時(shí)針旋轉(zhuǎn)，前端部位于視點(diǎn)一側(cè)的情況下，按逆時(shí)針旋轉(zhuǎn)來(lái)旋轉(zhuǎn)操作內(nèi)窺鏡(參照?qǐng)D18)。
接下來(lái)，在步驟S109，PC15作為提供內(nèi)窺鏡操作的信息(督促操作的信息)，將在上述步驟S108中所設(shè)定的環(huán)形解除方法顯示到所述檢查窗口100的操作方法顯示部111內(nèi)。
另外，該操作方法顯示部111的顯示，如圖6所示，也可以用以箭頭等來(lái)表示的順時(shí)針旋轉(zhuǎn)及逆時(shí)針旋轉(zhuǎn)來(lái)進(jìn)行內(nèi)窺鏡旋轉(zhuǎn)操作的圖形及圖標(biāo)，或操作說(shuō)明語(yǔ)言來(lái)進(jìn)行顯示，或采用聲音的指示。
另外，在圖像處理裝置4中表示了接收來(lái)自插入形狀觀測(cè)裝置3的插入形狀數(shù)據(jù)時(shí)的解除操作顯示，但也可以準(zhǔn)備可閱覽內(nèi)窺鏡圖像和插入形狀數(shù)據(jù)的閱覽器，對(duì)所指定的插入形狀數(shù)據(jù)進(jìn)行同樣的顯示。
這樣，通過(guò)識(shí)別插入形狀，識(shí)別顯示環(huán)形的狀態(tài)，提示該插入操作，可以提高內(nèi)窺鏡的插入性和縮短內(nèi)窺鏡檢查的時(shí)間，及減輕給與患者的痛苦。
另外，實(shí)現(xiàn)上述的第1至第5實(shí)施例的圖像處理裝置4也可以作為構(gòu)成電子內(nèi)窺鏡系統(tǒng)1的一個(gè)功能，或裝載到內(nèi)窺鏡插入形狀觀察裝置3上。另外，也可以作為構(gòu)成所述插入形狀觀察裝置3及電子內(nèi)窺鏡系統(tǒng)1的綜合的功能。
還有，在上述的第1至第5實(shí)施例中，作為推斷內(nèi)窺鏡插入部的形狀的結(jié)構(gòu)，是采用在產(chǎn)生磁場(chǎng)的源線圈群和檢測(cè)磁場(chǎng)的感應(yīng)線圈群中，將其中任何一側(cè)裝載到內(nèi)窺鏡插入部上，通過(guò)由感應(yīng)線圈群檢測(cè)出的磁場(chǎng)來(lái)推斷形狀的例子來(lái)進(jìn)行說(shuō)明的，但例如也可以采用利用通過(guò)彎曲產(chǎn)生傳輸損耗的光纖維，將該光纖維設(shè)置在內(nèi)窺鏡插入部?jī)?nèi)，根據(jù)透射光纖維的光量的變化來(lái)檢測(cè)插入部的彎曲的方法，及將特殊的油墨涂在撓性基片上，，利用電阻值與基片的彎曲成比例變化的特性等的其他的檢測(cè)方法。
下面，結(jié)合圖19～圖24對(duì)本發(fā)明的第6實(shí)施例進(jìn)行說(shuō)明。
圖19是表示本發(fā)明的第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)的方框圖，圖20是說(shuō)明在上述第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，記錄保存內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀數(shù)據(jù)的處理動(dòng)作的流程圖，圖21是說(shuō)明在上述第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，同步再現(xiàn)內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀圖像的處理動(dòng)作的流程圖，圖22是說(shuō)明在上述第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，同步再現(xiàn)內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀圖像的再現(xiàn)定時(shí)處理動(dòng)作的流程圖，圖23是表示了在上述第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，記錄保存內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀數(shù)據(jù)時(shí)的顯示畫(huà)面的圖，圖24是表示了在上述第6實(shí)施例的電子內(nèi)窺鏡系統(tǒng)中，和內(nèi)窺鏡插入形狀圖像同步再現(xiàn)的處理動(dòng)作的顯示畫(huà)面的圖。
首先，結(jié)合圖19對(duì)采用了本發(fā)明的內(nèi)窺鏡圖像處理裝置的電子內(nèi)窺鏡系統(tǒng)201進(jìn)行說(shuō)明。
電子內(nèi)窺鏡系統(tǒng)201具有內(nèi)窺鏡裝置202、內(nèi)窺鏡插入形狀觀測(cè)裝置203及圖像處理裝置204。
內(nèi)窺鏡裝置202具有電子內(nèi)窺鏡212、視頻處理器210、光源裝置211及觀察監(jiān)視器214。
電子內(nèi)窺鏡212在插入體腔內(nèi)的管腔的細(xì)長(zhǎng)的插入部前端上設(shè)置有電子攝像元件(未圖示)，通過(guò)驅(qū)動(dòng)控制該電子攝像元件而生成輸出管腔的觀察部位的拍攝影像信號(hào)，并且通過(guò)設(shè)置在插入部?jī)?nèi)的導(dǎo)光路對(duì)管腔的觀察部位進(jìn)行照明。
并且，在電子內(nèi)窺鏡212的插入部的前端部分上設(shè)置有彎曲部，可以通過(guò)設(shè)置在插入部根端上的操作部來(lái)進(jìn)行彎曲操作。
另外，在電子內(nèi)窺鏡212的操作部中還設(shè)置有釋放開(kāi)關(guān)212a；在與視頻處理器210之間用于驅(qū)動(dòng)控制攝像元件，傳送拍攝所生成的拍攝影像信號(hào)的電纜；將來(lái)自光源裝置211的照明光引導(dǎo)到導(dǎo)光路的導(dǎo)光纜等。當(dāng)操作該釋放開(kāi)關(guān)212a時(shí)，實(shí)行后面所述的靜止圖像的記錄。
另外，在電子內(nèi)窺鏡212內(nèi)設(shè)置有檢測(cè)在管腔的插入部的插入位置及形狀的檢測(cè)功能。該插入部形狀檢測(cè)功能和上述的以往一樣，具有設(shè)置在內(nèi)窺鏡的插入部的多個(gè)源線圈和設(shè)置在內(nèi)窺鏡插入形狀觀測(cè)裝置203的未圖示的多個(gè)感應(yīng)線圈。
視頻處理器210在驅(qū)動(dòng)控制所述電子內(nèi)窺鏡212的電子攝像元件的同時(shí)，對(duì)由電子攝像元件通過(guò)光電轉(zhuǎn)換而生成的拍攝影像信號(hào)進(jìn)行規(guī)定的信號(hào)處理，生成具有顏色信號(hào)及輝度信號(hào)的Y/C信號(hào)，或RGB信號(hào)。
由該視頻處理器210生成的包括輝度信號(hào)和顏色信號(hào)的Y/C信號(hào)或RGB信號(hào)被直接輸出到觀察監(jiān)視器214和圖像處理裝置215。
另外，當(dāng)操作釋放開(kāi)關(guān)212a時(shí)，可以進(jìn)行輸出拍攝圖像的靜止圖像的指示。
另外，在視頻處理器210內(nèi)，具有將與內(nèi)窺鏡檢查有關(guān)的檢查信息進(jìn)行輸入的功能(未圖示)。
光源裝置211是由照明光源的燈泡和該燈泡的點(diǎn)燈電路等構(gòu)成，將燈泡點(diǎn)燈時(shí)所照射的照明光導(dǎo)入所述電子內(nèi)窺鏡212的導(dǎo)光路，從插入部前端照射到管腔的觀察部位。
觀察監(jiān)視器214根據(jù)所述視頻處理器210所生成的Y/C信號(hào)或RGB信號(hào)來(lái)顯示內(nèi)窺鏡圖像。
內(nèi)窺鏡插入形狀觀察裝置203為內(nèi)窺鏡裝置202的周邊裝置，包括形狀處理裝置213，根據(jù)設(shè)置在內(nèi)窺鏡插入形狀觀察裝置203中的未圖示的感應(yīng)線圈所檢測(cè)出的設(shè)置在所述電子內(nèi)窺鏡212的源線圈的磁場(chǎng)，計(jì)算出各源線圈的位置坐標(biāo)數(shù)據(jù)，或根據(jù)該計(jì)算出的位置坐標(biāo)數(shù)據(jù)來(lái)推斷形成插入部的形狀，生成插入部形狀圖像信號(hào)；和根據(jù)該形狀處理裝置213生成的插入部形狀圖像信號(hào)來(lái)顯示插入形狀圖像的監(jiān)視器213b。
另外，該內(nèi)窺鏡插入形狀觀察裝置203通過(guò)由未圖示的操作盤(pán)輸入指示，可以變更由形狀處理裝置213處理生成的顯示在監(jiān)視器213b中的插入部形狀圖像的旋轉(zhuǎn)角度，放大縮小率等的形狀顯示屬性。
在形狀處理裝置213內(nèi)設(shè)置有通信口213a，可以將表示內(nèi)窺鏡插入形狀的3維坐標(biāo)信息，及形狀顯示屬性等的插入形狀數(shù)據(jù)輸出到圖像處理裝置204。
另外，也可以只輸出設(shè)置在電子內(nèi)窺鏡212的釋放開(kāi)關(guān)212a的操作時(shí)的插入形狀數(shù)據(jù)。
圖像處理裝置204具有個(gè)人計(jì)算機(jī)215(以下稱為PC215)、對(duì)該P(yáng)C215進(jìn)行各種指示的輸入的鼠標(biāo)216，鍵盤(pán)217，及再現(xiàn)顯示經(jīng)PC215處理后的各種信息數(shù)據(jù)及圖像信息的顯示器218。
并且，在PC215內(nèi)，具有取得從所述內(nèi)窺鏡插入形狀觀測(cè)裝置203的形狀處理裝置213的通信口213a輸出的插入形狀數(shù)據(jù)的通信口215a；取得從所述內(nèi)窺鏡2的視頻處理器210的通信口210a輸出的內(nèi)窺鏡檢查信息的通信口215b；及將所述內(nèi)窺鏡2的視頻處理器210生成的動(dòng)態(tài)圖像信號(hào)轉(zhuǎn)換為規(guī)定的壓縮圖像數(shù)據(jù)的動(dòng)態(tài)圖像輸入口215c。
即，將所述視頻處理器210所生成的動(dòng)態(tài)圖像的影像信號(hào)輸入到圖像處理裝置204的動(dòng)態(tài)圖像輸入口215c，將該動(dòng)態(tài)圖像的影像信號(hào)轉(zhuǎn)換為規(guī)定的壓縮動(dòng)態(tài)圖像影像信號(hào)數(shù)據(jù)，如MJPEG格式的壓縮圖像數(shù)據(jù)，并保存到PC215的未圖示的存儲(chǔ)裝置內(nèi)。
另外，一般來(lái)講，在內(nèi)窺鏡檢查開(kāi)始之前，從視頻處理器210輸入與內(nèi)窺鏡檢查相關(guān)的檢查信息，根據(jù)該輸入的檢查信息數(shù)據(jù)，將其以文字及數(shù)字的形式顯示在觀察監(jiān)視器214上，并且可以從通信口210a通過(guò)通信口215b，將該檢查信息數(shù)據(jù)發(fā)送記錄到圖像處理裝置204。
另外，所謂檢查信息，例如為患者的姓名，出生年月日，性別，年齡，患者編號(hào)及檢查日期，時(shí)間等。
即，圖像處理裝置204根據(jù)需要，與視頻處理器210相連接，用來(lái)接收保存來(lái)自視頻處理器210的各種信息數(shù)據(jù)。
對(duì)此種結(jié)構(gòu)的電子內(nèi)窺鏡系統(tǒng)201的圖像處理裝置204的動(dòng)作進(jìn)行說(shuō)明。首先，結(jié)合圖20和圖23對(duì)取得保存來(lái)自內(nèi)窺鏡插入形狀觀察裝置203的形狀處理裝置213的內(nèi)窺鏡插入形狀數(shù)據(jù)，來(lái)自所述視頻處理器210的檢查信息和內(nèi)窺鏡圖像的處理動(dòng)作進(jìn)行說(shuō)明。
該處理動(dòng)作是通過(guò)驅(qū)動(dòng)設(shè)置在圖像處理裝置204的內(nèi)窺鏡檢查應(yīng)用程序來(lái)實(shí)現(xiàn)的。當(dāng)內(nèi)窺鏡檢查開(kāi)始時(shí)，視頻處理器210輸入檢查信息，圖像處理裝置204啟動(dòng)內(nèi)窺鏡檢查應(yīng)用程序。當(dāng)該內(nèi)窺鏡檢查應(yīng)用程序被啟動(dòng)后，圖23(a)所示的檢查窗口300及圖23(b)所示的內(nèi)窺鏡圖像窗口305被顯示到顯示器218上。
當(dāng)該圖像處理裝置204的PC215驅(qū)動(dòng)內(nèi)窺鏡檢查應(yīng)用程序，并將檢查窗口300顯示到顯示器218上時(shí)，在步驟S201，由PC215設(shè)定成接收保存來(lái)自視頻處理器210的檢查信息及內(nèi)窺鏡圖像數(shù)據(jù)的模式。
接下來(lái)，在步驟S202，PC215判斷醫(yī)務(wù)人員是否通過(guò)操作鼠標(biāo)216或鍵盤(pán)217來(lái)點(diǎn)擊了所述檢查窗口300所顯示的檢查開(kāi)始按鈕(圖中表示為Start Exam)301。在檢查開(kāi)始按鈕301沒(méi)有被點(diǎn)擊之前處于待機(jī)狀態(tài)，當(dāng)被點(diǎn)擊后，實(shí)施步驟S203以后的處理。
在步驟S203，PC215打開(kāi)通信口215a，開(kāi)始和內(nèi)窺鏡插入形狀觀測(cè)裝置203的形狀處理裝置213進(jìn)行通信，在步驟S204，打開(kāi)通信口215b，開(kāi)始和視頻處理器210進(jìn)行通信。
在步驟S215，PC215對(duì)于視頻處理器210，通過(guò)通信口215b將取得檢查信息的指令發(fā)送到視頻處理器210的通信口210a，接收到該檢查信息取得指令的視頻處理器210，將檢查信息發(fā)送到PC215。
在步驟S206，PC215將在該步驟S205中由視頻處理器210發(fā)送來(lái)的檢查信息記錄保存到未圖示的記錄裝置內(nèi)。
接下來(lái)，在步驟S207，PC215通過(guò)通信口215a，將取得插入形狀數(shù)據(jù)的指令發(fā)送到形狀處理裝置213的通信口213a，接收到該插入形狀數(shù)據(jù)取得指令的形狀處理裝置213開(kāi)始發(fā)送輸出插入形狀數(shù)據(jù)。該發(fā)送一直持續(xù)到PC215和形狀處理裝置213之間的通信結(jié)束，關(guān)閉通信口215a為止。
在步驟S208，PC215接收在上述步驟S207由形狀處理裝置213發(fā)送來(lái)的插入形狀數(shù)據(jù)，并將其與在上述步驟S206中所記錄保存的檢查信息建立關(guān)聯(lián)，并以文件的形式保存在設(shè)置在PC215的未圖示的硬盤(pán)中(以下稱為插入形狀文件)。
接下來(lái)，在步驟S209，PC215對(duì)從所述視頻處理器210輸入到動(dòng)態(tài)圖像輸入口215c的動(dòng)態(tài)圖像影像信號(hào)轉(zhuǎn)換為MJPEG格式的壓縮圖像數(shù)據(jù)，并將其與在上述步驟S206中記錄保存的檢查信息建立關(guān)聯(lián)，并且以文件的形式記錄保存在PC215的未圖示的硬盤(pán)中(以下稱為圖像文件)，同時(shí)將輸入到所述動(dòng)態(tài)圖像輸入口215c的動(dòng)態(tài)圖像顯示到圖23(b)所示的內(nèi)窺鏡圖像窗口305的內(nèi)窺鏡圖像區(qū)域306內(nèi)。
接下來(lái)，在步驟S210，PC215判斷是否操作了檢查窗口300的檢查結(jié)束按鈕(圖中表示為End Exam)302，當(dāng)判斷為沒(méi)有操作檢查結(jié)束按鈕302時(shí)，返回到上述步驟S208，當(dāng)判斷為操作了檢查結(jié)束按鈕302時(shí)，在步驟S211關(guān)閉通信口215a，215b，結(jié)束形狀處理裝置213和視頻處理器210的信息數(shù)據(jù)的通信。
這樣，圖像處理裝置204取得由內(nèi)窺鏡202的視頻處理器210所輸入的檢查信息數(shù)據(jù)；將電子內(nèi)窺鏡212所拍攝的影像信號(hào)轉(zhuǎn)換為規(guī)定的壓縮圖像數(shù)據(jù)的內(nèi)窺鏡圖像數(shù)據(jù)；及內(nèi)窺鏡插入形狀觀測(cè)裝置203觀測(cè)生成的插入形狀數(shù)據(jù)，并將其與所述檢查信息建立關(guān)聯(lián)，記錄保存到規(guī)定的記錄裝置內(nèi)。
下面，結(jié)合圖21和圖24對(duì)根據(jù)所述圖像處理裝置204所記錄保存的檢查信息數(shù)據(jù)，內(nèi)窺鏡圖像數(shù)據(jù)及插入形狀數(shù)據(jù)，進(jìn)行內(nèi)窺鏡圖像與插入形狀圖像的同步再現(xiàn)的處理動(dòng)作進(jìn)行說(shuō)明。
另外，在對(duì)該處理動(dòng)作的內(nèi)窺鏡圖像和插入形狀的同步再現(xiàn)進(jìn)行說(shuō)明的同時(shí)，還對(duì)暫時(shí)停止再現(xiàn)，結(jié)束再現(xiàn)，直接指定顯示幀的功能，及顯示屬性的變更進(jìn)行說(shuō)明。
另外，作為顯示屬性，根據(jù)內(nèi)窺鏡插入形狀的X軸旋轉(zhuǎn)的旋轉(zhuǎn)和Y軸旋轉(zhuǎn)的旋轉(zhuǎn)，將插入形狀顯示的坐標(biāo)系表示在圖24(b)所示的插入形狀顯示畫(huà)面330內(nèi)。這些功能是通過(guò)在圖像處理裝置204中進(jìn)行動(dòng)作的瀏覽器程序(以下簡(jiǎn)稱瀏覽器)來(lái)實(shí)現(xiàn)的。當(dāng)啟動(dòng)該瀏覽器時(shí)，圖24(a)所示的再現(xiàn)控制窗口310，圖24(b)所示的插入形狀顯示窗口330，圖24(c)所示的內(nèi)窺鏡圖像窗口335被顯示到顯示器218中。
由于決定了內(nèi)窺鏡圖像及插入形狀圖像的幀速率，并對(duì)插入形狀圖像的每一幀均記錄了記錄時(shí)間，因而對(duì)于內(nèi)窺鏡圖像和插入形狀圖像的同步再現(xiàn)，只要根據(jù)圖像文件及插入形狀文件作成時(shí)間，作成對(duì)應(yīng)調(diào)整再現(xiàn)開(kāi)始時(shí)間的幀對(duì)應(yīng)表，即可以進(jìn)行兩者的同步再現(xiàn)。
例如，當(dāng)將圖像文件的作成時(shí)間定為10點(diǎn)00分00秒，將插入形狀文件的作成時(shí)間定為10點(diǎn)00分01秒，將內(nèi)窺鏡圖像的幀速率定為每秒30幀，將插入形狀的幀速率定為每秒15幀時(shí)，如表1所示，可以形成圖像文件的內(nèi)窺鏡圖像幀編號(hào)和插入形狀文件的幀編號(hào)的關(guān)系表，根據(jù)該關(guān)系表，通過(guò)顯示對(duì)應(yīng)的幀，可以進(jìn)行同步再現(xiàn)。
另外，在只再現(xiàn)內(nèi)窺鏡圖像或內(nèi)窺鏡插入形狀的情況下，也可以不使用表1的關(guān)系，根據(jù)幀速率來(lái)決定后面所述的再現(xiàn)定時(shí)的處理間隔，進(jìn)行再現(xiàn)顯示。
表1

首先，為了進(jìn)行內(nèi)窺鏡圖像和插入形狀圖像的同步再現(xiàn)處理，醫(yī)務(wù)人員啟動(dòng)所述PC215的瀏覽器，將圖24(a)所示的再現(xiàn)控制窗口310，圖24(b)所示的插入形狀顯示窗口330，圖24(c)所示的內(nèi)窺鏡圖像窗口335顯示到顯示器218中。
當(dāng)該再現(xiàn)控制窗口310被顯示時(shí)，PC215在步驟S221中指定進(jìn)行內(nèi)窺鏡圖像和插入形狀圖像的同步再現(xiàn)的圖像文件。進(jìn)行該同步再現(xiàn)的圖像文件的指定為例如，當(dāng)采用鼠標(biāo)216或鍵盤(pán)217來(lái)操作再現(xiàn)控制窗口310的再現(xiàn)按鈕(圖中表示為Play)311時(shí)，文件選擇用的窗口被顯示到顯示器218中，當(dāng)從該文件選擇用的窗口指定圖像文件時(shí)，由該圖像文件的檢查信息附加關(guān)聯(lián)的插入形狀文件成為同步再現(xiàn)的對(duì)象。將圖像文件所包含的幀數(shù)設(shè)為Nf。
這樣，當(dāng)醫(yī)務(wù)人員從顯示器218所顯示的文件選擇用窗口中選擇出圖像文件和與該圖像文件相關(guān)的插入形狀文件時(shí)，在步驟S222，PC215初始化再現(xiàn)控制窗口310的滑動(dòng)控制器314的范圍，使其最小值為0，最大值為Nf-1。
接下來(lái)，在步驟S223，PC215進(jìn)行各種變量的初始化。在該各種變量的初期，將表示當(dāng)前動(dòng)作狀態(tài)的狀態(tài)設(shè)為再現(xiàn)St＝Playback、顯示幀編號(hào)Frm＝0、X軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θx＝0、Y軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θy＝0。
另外，再現(xiàn)幀編號(hào)Frm是指內(nèi)窺鏡圖像的幀編號(hào)，在顯示插入形狀時(shí)，從表1所示的關(guān)系表中查找與所述內(nèi)窺鏡圖像的幀編號(hào)Frm相對(duì)應(yīng)的插入形狀幀。
在上述步驟S223的各種變量的初始化結(jié)束后，在步驟S224，PC215設(shè)定再現(xiàn)定時(shí)。該定時(shí)為在軟件的多任務(wù)處理等中所采用的軟件定時(shí)。
該再現(xiàn)定時(shí)根據(jù)一定時(shí)間間隔來(lái)執(zhí)行后面所述的內(nèi)窺鏡圖像和插入形狀的顯示處理，當(dāng)將定時(shí)處理的間隔定為內(nèi)窺鏡圖像的幀速率f(fps)時(shí)，將再現(xiàn)定時(shí)定為1/f(sec)。
當(dāng)在上述步驟S224的定時(shí)設(shè)定處理結(jié)束時(shí)，在步驟S225，PC215判斷是否操作了再現(xiàn)控制窗口310的再現(xiàn)結(jié)束按鈕(圖中表示為Stop)313，當(dāng)判斷為操作了再現(xiàn)結(jié)束按鈕313時(shí)，在步驟S236結(jié)束再現(xiàn)定時(shí)的驅(qū)動(dòng)，結(jié)束該內(nèi)窺鏡圖像和插入形狀圖像的同步再現(xiàn)顯示的處理動(dòng)作，當(dāng)判斷為沒(méi)有操作再現(xiàn)結(jié)束按鈕313時(shí)，在步驟S226判斷是否操作移動(dòng)了再現(xiàn)控制窗口310的滑動(dòng)控制器314的滑塊314a。
該步驟S226的滑動(dòng)控制器314用于由醫(yī)務(wù)人員直接指定再現(xiàn)的內(nèi)窺鏡圖像的幀，可以顯示與該所指定的內(nèi)窺鏡圖像相關(guān)的插入形狀圖像。
另外，在移動(dòng)了滑動(dòng)控制器314的滑塊314a，指定了再現(xiàn)的內(nèi)窺鏡圖像的幀時(shí)，同步再現(xiàn)處于暫時(shí)停止?fàn)顟B(tài)，在移動(dòng)了滑塊314a的情況下，實(shí)施步驟S227以后的處理，在沒(méi)有移動(dòng)滑塊314a的情況下，實(shí)施步驟S230以后的處理。
當(dāng)在上述步驟S226判斷為移動(dòng)了滑動(dòng)控制器314的滑塊314a，指定了進(jìn)行再現(xiàn)顯示的內(nèi)窺鏡圖像的幀時(shí)，在步驟S227，PC215為了暫時(shí)停止根據(jù)再現(xiàn)定時(shí)的對(duì)內(nèi)窺鏡圖像和插入形狀圖像的更新，將狀態(tài)設(shè)定為暫時(shí)停止(St＝Pause)。
接下來(lái)，在步驟S228，PC215求得通過(guò)移動(dòng)滑動(dòng)控制器314的滑塊314a所設(shè)定的幀的位置，并將該位置設(shè)定為內(nèi)窺鏡圖像文件的顯示幀編號(hào)Frm，在步驟S229，在將與上述步驟S228中的內(nèi)窺鏡圖像文件的顯示幀編號(hào)Frm相對(duì)應(yīng)的內(nèi)窺鏡圖像幀顯示到圖24(c)的圖像顯示畫(huà)面335的同時(shí)，從插入形狀文件中取得與Frm相對(duì)應(yīng)的插入形狀數(shù)據(jù)及顯示屬性，將通過(guò)所述顯示屬性，及X軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θx，Y軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θy的插入形狀的旋轉(zhuǎn)所再構(gòu)成的插入形狀圖像顯示到圖24(b)的插入形狀顯示畫(huà)面330中，返回到上述步驟S225。
另外，也可以將該內(nèi)窺鏡圖像窗口335及插入形狀窗口330適當(dāng)?shù)刂丿B顯示到顯示器218中，或根據(jù)事先做出的設(shè)定，根據(jù)適當(dāng)?shù)目s尺將內(nèi)窺鏡圖像，插入形狀縮小，不使兩個(gè)窗口重疊顯示。兩個(gè)窗口的大小，也可由用戶變更。
當(dāng)在上述步驟S226判斷為沒(méi)有移動(dòng)滑動(dòng)控制器314的滑塊314a時(shí)，在步驟S230，PC215判斷是否操作了再現(xiàn)控制窗口310的再現(xiàn)按鈕(圖中表示為Play)311，當(dāng)判斷為沒(méi)有操作該再現(xiàn)按鈕311時(shí)，實(shí)施步驟S232以后的處理，當(dāng)判斷為操作了再現(xiàn)按鈕311時(shí)，在步驟S231，PC215將狀態(tài)設(shè)置為再現(xiàn)(St＝Playback)，再次打開(kāi)根據(jù)再現(xiàn)定時(shí)的對(duì)內(nèi)窺鏡圖像和插入形狀圖像的更新，返回到所示步驟S225。
當(dāng)在上述步驟S230判斷為沒(méi)有操作再現(xiàn)按鈕311時(shí)，在步驟S232，PC215判斷是否操作了再現(xiàn)控制窗口310的暫時(shí)停止按鈕(圖中表示為Pause)312，當(dāng)判斷為沒(méi)有操作暫時(shí)停止按鈕312時(shí)，實(shí)施步驟S234以后的處理，當(dāng)判斷為操作了暫時(shí)停止按鈕312時(shí)，在步驟S233，PC215將狀態(tài)設(shè)定為暫時(shí)停止(St＝Pause)，暫時(shí)停止根據(jù)再現(xiàn)定時(shí)的對(duì)內(nèi)窺鏡圖像和插入形狀圖像的更新，返回到上述步驟S225。
當(dāng)在上述步驟S232判斷為沒(méi)有操作暫時(shí)停止按鈕312時(shí)，在步驟S234，PC215判斷是否操作了插入形狀旋轉(zhuǎn)按鈕315(圖中表示為上下和左右方向的箭頭的鍵)，當(dāng)判斷為沒(méi)有操作時(shí)，返回到上述步驟S225，當(dāng)判斷為操作了插入形狀旋轉(zhuǎn)按鈕315時(shí)，在步驟S235中進(jìn)行操作了插入形狀旋轉(zhuǎn)按鈕315的插入形狀圖像的旋轉(zhuǎn)角度的增減處理，返回到上述步驟S225。
在該步驟S235實(shí)施的旋轉(zhuǎn)角度的增減處置為例如當(dāng)操作插入形狀旋轉(zhuǎn)按鈕315的向右方向的箭頭(→)時(shí)，使Y軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θy增加Cy，當(dāng)操作向左方向的箭頭(←)時(shí)，使Y軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θy減少Cy，當(dāng)操作向上方向的箭頭(↑)時(shí)，使X軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θx減少Cx，當(dāng)操作向下方向的箭頭(↓)時(shí)，使X軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θx增加Cx。
另外，Cx和Cy為事先給定的插入形狀的旋轉(zhuǎn)角度的增減量的常數(shù)，單位是表示角度的弧度。通過(guò)變更該Cx和Cy的大小，每當(dāng)操作插入形狀旋轉(zhuǎn)按鈕315時(shí)可以改變插入形狀的旋轉(zhuǎn)的程度。
下面，結(jié)合圖22對(duì)上述步驟S224的再現(xiàn)定時(shí)進(jìn)行說(shuō)明。該再現(xiàn)定時(shí)具有顯示內(nèi)窺鏡圖像，插入形狀的功能，及更新滑動(dòng)控制器314的滑塊314a的位置的功能。根據(jù)該滑塊314a的位置更新功能，醫(yī)務(wù)人員可以簡(jiǎn)單地識(shí)別在內(nèi)窺鏡圖像的全部的幀中現(xiàn)在顯示了哪一幀。
另外，通過(guò)軟件定時(shí)所實(shí)現(xiàn)的軟件的多任務(wù)處理，也可以通過(guò)多線程方法來(lái)進(jìn)行。
當(dāng)在每個(gè)1/f(sec)請(qǐng)求再現(xiàn)定時(shí)處理時(shí)，在步驟S241，PC215判斷狀態(tài)是否為再現(xiàn)狀態(tài)(St＝Playback)，當(dāng)判斷為不是再現(xiàn)時(shí)，結(jié)束再現(xiàn)定時(shí)的處理。當(dāng)判斷為再現(xiàn)時(shí)，進(jìn)入到步驟S242。
在步驟S242，PC215從內(nèi)窺鏡圖像文件中對(duì)顯示所指定的幀的內(nèi)窺鏡圖像數(shù)據(jù)進(jìn)行解碼，并顯示到內(nèi)窺鏡圖像顯示畫(huà)面335的內(nèi)窺鏡圖像顯示區(qū)域336內(nèi)。
接下來(lái)，在步驟S242，PC215從插入形狀文件中讀取與在上述步驟S242中顯示到內(nèi)窺鏡圖像顯示區(qū)域336的內(nèi)窺鏡圖像的幀相對(duì)應(yīng)的插入形狀數(shù)據(jù)及顯示屬性，根據(jù)所述顯示屬性、及按照圍繞X軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θX和圍繞Y軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θy的旋轉(zhuǎn)，再次構(gòu)成插入形狀圖像，并顯示到插入形狀顯示窗口330的插入形狀圖像顯示區(qū)域331內(nèi)。另外，通過(guò)對(duì)插入形狀的3維坐標(biāo)進(jìn)行公知的坐標(biāo)轉(zhuǎn)換，可實(shí)現(xiàn)插入形狀在X軸和Y軸上的旋轉(zhuǎn)。
接下來(lái)，在步驟S244，PC215在顯示幀編號(hào)Frm上加上1(Frm+1)，在步驟S245，判斷Frm是否＝Nf-1。即，判斷是否一直到最終的幀進(jìn)行了再現(xiàn)顯示。
在該步驟S245當(dāng)判斷為一直到最終的幀完成了再現(xiàn)顯示時(shí)，在步驟S247，PC215使滑動(dòng)控制器314的滑塊314a的位置位于在所述S244中在顯示幀編號(hào)Frm上加上了1的幀的位置上來(lái)移動(dòng)滑動(dòng)控制器314的滑塊314a，結(jié)束再現(xiàn)定時(shí)的處理。
這樣，采用所述圖像處理裝置204所記錄存儲(chǔ)的內(nèi)窺鏡圖像及插入形狀數(shù)據(jù)，可以同步再現(xiàn)顯示到顯示器218中。
另外，顯而易見(jiàn)，也可以使視頻處理器210或內(nèi)窺鏡插入形狀觀測(cè)裝置203具備圖像處理裝置204的功能。
另外，內(nèi)窺鏡圖像的保存形式并不限于動(dòng)態(tài)圖像，只要記錄時(shí)間明確，靜止圖像的連續(xù)保存也可以得到同樣的效果。
這樣，通過(guò)記錄保存內(nèi)窺鏡圖像和插入形狀數(shù)據(jù)，進(jìn)行同步再現(xiàn)，可以將內(nèi)窺鏡圖像和該時(shí)的內(nèi)窺鏡插入部的形狀自由地進(jìn)行對(duì)比，可以有效地應(yīng)用于內(nèi)窺鏡插入操作的教學(xué)。
另外，在內(nèi)窺鏡檢查后，通過(guò)一邊改變內(nèi)窺鏡插入部的形狀的顯示屬性，一邊進(jìn)行同步再現(xiàn)，可以在查找內(nèi)窺鏡插入困難的原因、和造成患者不舒適感的原因等時(shí)有效地發(fā)揮功能。
下面，結(jié)合圖25至圖27對(duì)本發(fā)明的圖像處理裝置的第7實(shí)施例進(jìn)行說(shuō)明。該第7實(shí)施例具有從在內(nèi)窺鏡檢查時(shí)所記錄保存的內(nèi)窺鏡檢查信息、內(nèi)窺鏡圖像及插入形狀數(shù)據(jù)等的數(shù)據(jù)中檢索所希望的內(nèi)窺鏡圖像及內(nèi)窺鏡插入形狀圖像、和將信息附加到這些所檢索的內(nèi)窺鏡圖像及內(nèi)窺鏡插入形狀圖像中的功能。
為了執(zhí)行該第7實(shí)施例的檢索和信息附加功能，在PC215中要啟動(dòng)具有檢索和信息附加功能的閱覽器。閱覽器將圖27(a)所示的檢索和信息附加用的再現(xiàn)控制窗口410和圖27(b)所示的插入形狀窗口430，圖27(c)所示的內(nèi)窺鏡圖像窗口435顯示到顯示器218上。
在該檢索和信息附加功能中，例如采用內(nèi)窺鏡插入部的環(huán)形形狀的檢索例子來(lái)進(jìn)行說(shuō)明。另外，由于作為可識(shí)別的環(huán)形，預(yù)先設(shè)定了α環(huán)，N環(huán)，γ環(huán)，插入部形狀可以考慮為曲線，因而使用曲線的特征提取技術(shù)。在這里，為了簡(jiǎn)化說(shuō)明，以2維曲線來(lái)考慮插入部形狀，例如，使用P形傅里葉描述符。關(guān)于該P(yáng)形傅里葉描述符，在電子信息通信學(xué)會(huì)論文志vol.j 67-A No.3中進(jìn)行了說(shuō)明。
該方法為首先用n個(gè)(n為分割數(shù)，是正數(shù))線段將曲線進(jìn)行分割，將該線段的端點(diǎn)進(jìn)行復(fù)數(shù)顯示，定義各點(diǎn)的全曲率函數(shù)，將通過(guò)對(duì)全曲率函數(shù)進(jìn)行傅里葉變換而得到的功率譜作為曲線的特征。事先存儲(chǔ)各環(huán)形的P形傅里葉描述符的特征，將各個(gè)環(huán)形的功率譜設(shè)為Cri(k)，(k＝0，…，n-1)，設(shè)i＝0時(shí)α環(huán)，i＝2時(shí)為N環(huán)，i＝3時(shí)為γ環(huán)。
結(jié)合圖25對(duì)該檢索和信息附加功能的處理動(dòng)作進(jìn)行說(shuō)明。在步驟S251，所述PC215判斷在顯示器218所顯示的再現(xiàn)控制窗口410中是否選擇了再現(xiàn)顯示對(duì)象或檢索對(duì)象的檢查信息。
該再現(xiàn)顯示對(duì)象或檢索對(duì)象的檢查信息被顯示在所述再現(xiàn)控制窗口410的檢查信息顯示區(qū)域419內(nèi)，通過(guò)鼠標(biāo)216或鍵盤(pán)217從該檢查信息的目錄中進(jìn)行選擇。
在該步驟S251，當(dāng)判斷為指示了從內(nèi)窺鏡檢查信息目錄中選擇再現(xiàn)顯示或檢索對(duì)象的檢查信息時(shí)，在步驟S252，PC215將從再現(xiàn)控制窗口410的檢查信息顯示區(qū)域419所顯示的檢查信息目錄所選擇的檢查信息進(jìn)行轉(zhuǎn)動(dòng)顯示來(lái)變更顯示。
在上述步驟S251中，在沒(méi)有從內(nèi)窺鏡檢查信息目錄中進(jìn)行選擇的情況下，視為選擇了被列在該檢查信息目錄的最前面的檢查信息。將與所選擇的檢查信息建立關(guān)聯(lián)的圖像文件所包含的幀數(shù)定為Nf。
接下來(lái)，在步驟S253，PC215判斷是否操作了再現(xiàn)控制窗口410的檢索按鈕(圖中表示為Retrieval)416，當(dāng)判斷為沒(méi)有操作檢索按鈕416時(shí)，實(shí)施步驟S260以后的處理，當(dāng)判斷為操作了檢索按鈕416時(shí)，在步驟S254將狀態(tài)設(shè)定為檢索(St＝Retrieval)，設(shè)定為顯示幀編號(hào)Frm＝0，X軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θx＝0，Y軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θy＝0。另外，軸旋轉(zhuǎn)的旋轉(zhuǎn)處理和上述的第6實(shí)施例相同。
接下來(lái)，在步驟S255，PC215將未圖示的檢索信息窗口顯示到顯示器218上，采用該檢索信息窗口來(lái)輸入所檢索的環(huán)形形狀等的檢索信息。在這里，是輸入檢索α環(huán)的信息。
在該步驟S255中，當(dāng)輸入所檢索的環(huán)形的α環(huán)信息時(shí)，在步驟S256根據(jù)插入形狀數(shù)據(jù)對(duì)每1幀計(jì)算出特征數(shù)據(jù)，將該所計(jì)算出的功率譜定為Cj(k)，(k＝0，…，n-1)，(j＝0，…，Nf-1)。
接下來(lái)，在步驟S257，PC215求得事先存儲(chǔ)的有代表性的環(huán)形的功率譜Cri(k)和在上述步驟S256所計(jì)算出的功率譜Cj(k)的距離。例如，在α環(huán)和功率譜的距離小于閾值的情況下，判斷Cj(k)為α環(huán)。使用該兩個(gè)功率譜的距離，例如使用歐幾里德距離，對(duì)所有的幀進(jìn)行類(lèi)似判斷。
在步驟S258，PC215在滑動(dòng)控制器414的范圍內(nèi)將最小值0，最大值初始化為Nf-1，在步驟S259，將表示在上述步驟S256和S257中判斷為類(lèi)似的幀的位置的圖形218顯示到滑動(dòng)控制器414的旁邊。另外，將幀位置圖形418顯示到圖27(a)的再現(xiàn)控制窗口410的滑動(dòng)控制器414的圖中的上方。該幀位置圖形418根據(jù)環(huán)形的種類(lèi)也可以按顏色劃分。
接下來(lái)，在步驟S260，PC215判斷是否移動(dòng)了滑動(dòng)控制器414的滑塊414a，當(dāng)判斷為沒(méi)有移動(dòng)時(shí)，實(shí)施步驟S263以后的處理，當(dāng)判斷為移動(dòng)了滑塊414a時(shí)，進(jìn)入到步驟S261，檢測(cè)所移動(dòng)的滑塊414a的位置，將再現(xiàn)幀的編號(hào)Frm設(shè)置到滑塊位置上，在步驟S262，顯示該所設(shè)置的幀的內(nèi)窺鏡靜止圖像和內(nèi)窺鏡插入形狀圖像。顯示方法和步驟S229相同。
在步驟S262的內(nèi)窺鏡靜止圖像和內(nèi)窺鏡插入圖像的顯示和第6實(shí)施例相同。即，將該內(nèi)窺鏡圖像窗口435及插入形狀窗口430適當(dāng)?shù)刂丿B顯示到顯示器218上，或根據(jù)事先給定的設(shè)定，根據(jù)適當(dāng)?shù)目s尺將內(nèi)窺鏡圖像，插入形狀縮小，不使兩個(gè)窗口重疊顯示。
接下來(lái)，在步驟S263，PC215判斷是否操作了所述再現(xiàn)控制窗口410的信息輸入按鈕(圖中表示為Information)417，當(dāng)判斷為沒(méi)有操作時(shí)，實(shí)施步驟S265以后的處理，當(dāng)判斷為操作了信息輸入按鈕417時(shí)，在步驟S264，使用未圖示的信息輸入窗口，輸入想附加到顯示器218所顯示的內(nèi)窺鏡靜止圖像和內(nèi)窺鏡插入形狀圖像內(nèi)的信息。將該所輸入的附加信息與所述內(nèi)窺鏡檢查信息及再現(xiàn)禎編號(hào)(Frm)建立關(guān)聯(lián)來(lái)進(jìn)行記錄保存。
另外，也可以將該附加信息作為獨(dú)立于內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀圖像的信息進(jìn)行存儲(chǔ)。
接下來(lái)，在步驟S265，PC215判斷是否操作了再現(xiàn)按鈕(Play)411，當(dāng)判斷為操作了時(shí)，進(jìn)入到上述步驟S222(參照?qǐng)D21)以后的同步再現(xiàn)的處理動(dòng)作。第7實(shí)施例的步驟S222～S236的同步再現(xiàn)處理是將再現(xiàn)結(jié)束按鈕，再現(xiàn)按鈕，暫時(shí)停止按鈕，旋轉(zhuǎn)按鈕，滑動(dòng)控制器從圖24中置換到圖27中來(lái)實(shí)施處理。在執(zhí)行了步驟S236后，返回到步驟S251。
當(dāng)判斷為沒(méi)有操作再現(xiàn)按鈕411時(shí)，在步驟S266判斷是否操作了結(jié)束按鈕(Close)420，當(dāng)判斷為沒(méi)有操作時(shí)，返回到步驟S251，當(dāng)判斷為操作了結(jié)束按鈕420時(shí)，在步驟S267關(guān)閉進(jìn)行該檢索和信息附加的閱覽器。
如上所述，在內(nèi)窺鏡檢查后，可以將附加信息追加輸入到根據(jù)檢索條件的基本原則所檢索的內(nèi)窺鏡圖像和內(nèi)窺鏡插入部形狀圖像中。
利用這樣的檢索和信息附加功能被追加輸入了附加信息的內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀圖像的同步再現(xiàn)動(dòng)作，基本上和上述的圖21的步驟S222～S236的處理相同，但由于步驟S224的再現(xiàn)定時(shí)的處理動(dòng)作不同，因而結(jié)合圖26對(duì)該檢索和信息附加功能的再現(xiàn)定時(shí)處理動(dòng)作進(jìn)行說(shuō)明。
該檢索和信息附加功能的再現(xiàn)定時(shí)處理，可實(shí)現(xiàn)內(nèi)窺鏡圖像幀和內(nèi)窺鏡插入形狀的顯示功能、附加信息顯示功能、及滑動(dòng)控制器的滑塊位置的更新功能。
在步驟S271，PC215判斷狀態(tài)是否為再現(xiàn)(St＝Playback)，當(dāng)判斷為不是再現(xiàn)(Playback)時(shí)，結(jié)束該再現(xiàn)定時(shí)處理。當(dāng)判斷為再現(xiàn)時(shí)，在步驟S272，將由內(nèi)窺鏡圖像文件所指定的幀的內(nèi)窺鏡圖像進(jìn)行解碼，并將該被解碼的幀的內(nèi)窺鏡圖像顯示到顯示器218的，圖27(c)所示的內(nèi)窺鏡圖像窗口435的內(nèi)窺鏡圖像區(qū)域436內(nèi)。
接下來(lái)，在步驟S273，PC215取得與在上述步驟S272所解碼的內(nèi)窺鏡圖像的幀相對(duì)應(yīng)的內(nèi)窺鏡插入形狀數(shù)據(jù)及顯示屬性，將根據(jù)所述顯示屬性、及按照X軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θX、Y軸旋轉(zhuǎn)的旋轉(zhuǎn)角度θy的旋轉(zhuǎn)而再次構(gòu)成的形狀圖像顯示到顯示器218上的圖27(b)所示的插入形狀顯示窗口430的插入部形狀顯示區(qū)域431內(nèi)。
并且，在步驟S274，PC215根據(jù)和上述步驟S273同樣所解碼的內(nèi)窺鏡圖像的幀相對(duì)應(yīng)的內(nèi)窺鏡插入形狀數(shù)據(jù)，通過(guò)和上述步驟S256和S257(參照?qǐng)D25)相同的方法來(lái)識(shí)別插入形狀，并將該結(jié)果顯示到插入形狀顯示畫(huà)面430的識(shí)別結(jié)果顯示區(qū)域432內(nèi)。可以識(shí)別的形狀例如為α環(huán)，N環(huán)，γ環(huán)等。
接下來(lái)，在步驟S275，PC215檢索與所述被解碼的內(nèi)窺鏡圖像的幀相對(duì)應(yīng)的附加信息，并顯示到插入形狀顯示窗口430的信息顯示區(qū)域433內(nèi)。
這樣，當(dāng)將所指定的幀的內(nèi)窺鏡圖像和與該幀相對(duì)應(yīng)的內(nèi)窺鏡插入形狀圖像、插入形狀識(shí)別結(jié)果、及附加信息顯示到顯示器218上時(shí)，在步驟S276，PC215在表示顯示器218所顯示的幀的再現(xiàn)幀編號(hào)Frm上加上1(Frm+1)，在步驟S277，判斷是否一直再現(xiàn)顯示到最終的幀，當(dāng)判斷為一直再現(xiàn)顯示到最終的幀時(shí)，在步驟S278結(jié)束定時(shí)驅(qū)動(dòng)。
在該步驟S277當(dāng)判斷為沒(méi)有再現(xiàn)顯示到最終的幀時(shí)，在步驟S279，將滑動(dòng)控制器414的滑塊414a的位置移動(dòng)到與幀相對(duì)應(yīng)的位置上，結(jié)束該再現(xiàn)定時(shí)的處理。
如上所述，該第7實(shí)施例可以根據(jù)從在內(nèi)窺鏡檢查過(guò)程中拍攝生成的內(nèi)窺鏡圖像及內(nèi)窺鏡插入形狀圖像輸入的檢索事項(xiàng)來(lái)檢索再現(xiàn)顯示所希望的圖像，并且，可以將附加信息追加輸入到該所檢索再現(xiàn)顯示的圖像中。
在該第7實(shí)施例中，對(duì)根據(jù)內(nèi)窺鏡插入形狀進(jìn)行檢索，將附加信息輸入到該所檢索的內(nèi)窺鏡插入形狀內(nèi)的例子進(jìn)行了說(shuō)明，但可以根據(jù)內(nèi)窺鏡檢查信息進(jìn)行檢索，將附加信息輸入到該內(nèi)窺鏡檢查信息內(nèi)，通過(guò)內(nèi)窺鏡圖像檢索來(lái)檢索內(nèi)窺鏡圖像，并將附加信息輸入到該所檢索的內(nèi)窺鏡圖像內(nèi)是不言而喻的。
另外，第7實(shí)施例的圖像處理裝置204的功能也可以內(nèi)置保存于視頻處理器210、或內(nèi)窺鏡插入形狀觀測(cè)裝置203內(nèi)也是不言而喻的。
另外，內(nèi)窺鏡圖像的保存形式并不限于動(dòng)態(tài)圖像，只要記錄時(shí)間明確，則連續(xù)保存靜止圖像也可以得到相同的效果。
這樣，保存所輸入記錄的與內(nèi)窺鏡圖像和插入形狀圖像相關(guān)的附加信息，通過(guò)進(jìn)行同步再現(xiàn)，可以自由地將內(nèi)窺鏡圖像和該時(shí)的內(nèi)窺鏡插入部的形狀，相關(guān)信息進(jìn)行對(duì)比，可以有效地應(yīng)用于內(nèi)窺鏡插入操作的教學(xué)。特別是通過(guò)輸入相關(guān)的信息，可以作為內(nèi)窺鏡插入的自學(xué)用的應(yīng)用程序來(lái)使用。
另外，在內(nèi)窺鏡檢查后，通過(guò)一邊改變內(nèi)窺鏡插入部的形狀的顯示屬性，一邊進(jìn)行同步再現(xiàn)，可以在研究?jī)?nèi)窺鏡插入困難的原因，造成患者的不舒適感的原因等時(shí)有效地附加相關(guān)的信息，并將研究結(jié)果進(jìn)行記錄保存。
下面，結(jié)合圖28和圖29對(duì)本發(fā)明的圖像處理裝置的第8實(shí)施例進(jìn)行說(shuō)明。
該第8實(shí)施例的圖像處理裝置例如在用大腸內(nèi)窺鏡進(jìn)行內(nèi)窺鏡檢查的情況，在將內(nèi)窺鏡的插入部插入到大腸內(nèi)的過(guò)程中，插入部有形成環(huán)形的情況。該環(huán)形根據(jù)其形狀被稱為α環(huán)，N環(huán)，γ環(huán)等。
當(dāng)形成此種環(huán)形時(shí)，由于會(huì)給被檢測(cè)體的患者帶來(lái)不舒適感，因而要解除內(nèi)窺鏡插入部的環(huán)形，使其直線化，消除給患者的不舒適感。
該內(nèi)窺鏡插入部的直線化的操作，依賴于環(huán)形的狀態(tài)。因此，通過(guò)識(shí)別，顯示插入部的環(huán)形的狀態(tài)，并顯示內(nèi)窺鏡插入部的操作方法，可以縮短內(nèi)窺鏡檢查的時(shí)間和減輕患者的不舒適感。
該第8實(shí)施例在上述的第6實(shí)施例的基礎(chǔ)上，還包括插入形狀的識(shí)別功能和將該識(shí)別結(jié)果及相關(guān)信息進(jìn)行顯示的功能。這些功能在圖像處理裝置204中是作為所動(dòng)作的檢查應(yīng)用程序來(lái)實(shí)現(xiàn)的。
在開(kāi)始內(nèi)窺鏡檢查時(shí)，在視頻處理器中輸入檢查信息，在圖像處理裝置204中啟動(dòng)檢查應(yīng)用程序。
當(dāng)啟動(dòng)該檢查應(yīng)用程序時(shí)，圖29(a)所示的檢查窗口500及圖29(b)所示的內(nèi)窺鏡圖像窗口505被顯示到顯示器218中。
采用在該檢查應(yīng)用程序中，識(shí)別內(nèi)窺鏡插入部的環(huán)形的種類(lèi)，將該識(shí)別結(jié)果進(jìn)行顯示，并根據(jù)該識(shí)別結(jié)果來(lái)檢索為相關(guān)信息的內(nèi)窺鏡插入部的操作方法并進(jìn)行顯示的例子來(lái)進(jìn)行說(shuō)明。
另外，在以下的說(shuō)明中，作為所識(shí)別的環(huán)形，考慮α，N，γ，和上述的第7實(shí)施例一樣，事先存儲(chǔ)P形傅里葉描述符的特征，作為各個(gè)環(huán)形的功率譜Cri(k)，(k＝0，…，n-1)，將i＝0設(shè)為α，將i＝2設(shè)為N，將i＝3設(shè)為γ。
另外，將與各環(huán)的狀態(tài)相對(duì)應(yīng)的內(nèi)窺鏡插入部的操作方法事先登錄到數(shù)據(jù)庫(kù)內(nèi)，將識(shí)別結(jié)果作為檢索鍵，可以檢索該內(nèi)窺鏡插入部的操作方法。
如上所述，當(dāng)檢查應(yīng)用程序被啟動(dòng)后，在步驟S291，PC215將圖29(a)所示的檢查窗口500及圖29(b)所示的內(nèi)窺鏡圖像窗口505顯示到顯示器218上，并設(shè)定為接收保存來(lái)自視頻處理器210和形狀處理裝置213的內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀圖像的模式，在步驟S292，在通過(guò)鼠標(biāo)216或鍵盤(pán)217操作檢查窗口500的檢查開(kāi)始按鈕(圖中表示為Sart Exam)501之前，處于待機(jī)狀態(tài)。
當(dāng)操作了所述檢查開(kāi)始按鈕501時(shí)，在步驟S293，PC215打開(kāi)通信口215a，開(kāi)始和內(nèi)窺鏡插入形狀觀察裝置203的形狀處理裝置213進(jìn)行通信。
接下來(lái)，在步驟S294，PC215打開(kāi)通信口215b，開(kāi)始和視頻處理器210進(jìn)行通信。在步驟S295，將取得檢查信息的指令通過(guò)通信口215b發(fā)送到視頻處理器210的通信口210a，通過(guò)通信口210a接收了該檢查信息取得指令的視頻處理器210，通過(guò)和上述的檢查信息取得指令的發(fā)送路徑相反的路徑，將內(nèi)窺鏡檢查信息發(fā)送到所述PC215。
在步驟S296，PC215接收在上述步驟S295由視頻處理器210發(fā)送來(lái)的內(nèi)窺鏡檢查信息，并記錄保存到未圖示的記錄存儲(chǔ)器內(nèi)。
接下來(lái)，在步驟S297，PC215通過(guò)通信口215a，將取得內(nèi)窺鏡插入形狀數(shù)據(jù)的指令發(fā)送到形狀處理裝置213的通信口213a，通過(guò)通信口213a接收了該插入形狀數(shù)據(jù)取得指令的形狀處理裝置213，通過(guò)和上述的內(nèi)窺鏡插入形狀數(shù)據(jù)取得指令的發(fā)送路徑相反的路徑，開(kāi)始將內(nèi)窺鏡插入形狀數(shù)據(jù)發(fā)送到所述PC215。
在步驟S298，PC215接收在上述步驟S297由形狀處理裝置213發(fā)送來(lái)的內(nèi)窺鏡插入形狀數(shù)據(jù)，并與在上述步驟S296中所記錄保存的內(nèi)窺鏡檢查信息建立關(guān)聯(lián)，進(jìn)行未圖示的硬盤(pán)的文件記錄保存。
接下來(lái)，在步驟S299，PC215從所接收的插入形狀數(shù)據(jù)中提取插入形狀的特征。使用上述的P形傅里葉描述符(參照上述的第7實(shí)施例的圖25的步驟S256的處理)來(lái)提取該插入形狀的特征。將傅里葉描述符的功率譜定為C(k)(k＝0，…，n＝1；n為正數(shù)，為曲線的分割數(shù))。
在步驟S299中，當(dāng)提取插入形狀的特征時(shí)，在步驟S300，PC215計(jì)算出C(k)和Cri(k)的距離。該距離例如使用歐幾里德距離。
在步驟S301，將在上述步驟S300中計(jì)算出的距離與事先設(shè)定的閾值相比較。
根據(jù)該步驟S301的比較的結(jié)果，當(dāng)判斷為在上述步驟S300中所計(jì)算出的距離值大于閾值時(shí)，實(shí)施步驟S306以后的處理，當(dāng)判斷為小于閾值時(shí)，實(shí)施步驟S302以后的處理。
當(dāng)判斷為在上述步驟S301中所計(jì)算出的距離值小于閾值時(shí)，在步驟S302，PC215將內(nèi)窺鏡插入部的環(huán)形的識(shí)別結(jié)果顯示到顯示器218上。在檢查窗口500的識(shí)別結(jié)果顯示部503中進(jìn)行該環(huán)形的識(shí)別結(jié)果的顯示(環(huán)形名稱等)。
接下來(lái)，在步驟S303，PC215判斷插入部的環(huán)形形狀和以前相比是否發(fā)生了變化，當(dāng)判斷為發(fā)生了變化時(shí)，在步驟S304發(fā)出警告聲。通過(guò)發(fā)出該警告聲，督促醫(yī)務(wù)人員查看內(nèi)窺鏡插入形狀觀測(cè)裝置203的監(jiān)視器213所顯示的內(nèi)窺鏡插入形狀圖像。
在上述步驟S303，當(dāng)判斷為插入部的環(huán)形形狀沒(méi)有發(fā)生變化，或發(fā)出上述步驟S304的警告聲時(shí)，在步驟S305，PC215以內(nèi)窺鏡插入部的環(huán)形形狀的識(shí)別結(jié)果為基準(zhǔn)來(lái)檢索相關(guān)信息，并將該所檢索的相關(guān)信息顯示到顯示器218所顯示的檢查窗口500的相關(guān)信息顯示部504內(nèi)。
即，將與適合事先所作成的數(shù)據(jù)庫(kù)所記錄保存的環(huán)形的狀態(tài)的內(nèi)窺鏡插入部的操作方法相關(guān)的信息顯示到相關(guān)信息顯示部504內(nèi)。醫(yī)務(wù)人員可以以該顯示為參考來(lái)進(jìn)行內(nèi)窺鏡操作。
接下來(lái)，在步驟S306，PC215將從視頻處理器210輸入到動(dòng)態(tài)圖像輸入口215c的動(dòng)態(tài)圖像影像信號(hào)轉(zhuǎn)換為MJPEG格式的壓縮圖像數(shù)據(jù)，并將其與所述內(nèi)窺鏡檢查信息建立關(guān)聯(lián)，以文件形式記錄保存到未圖示的硬盤(pán)中。另外，將來(lái)自該視頻處理器210的輸入圖像顯示到顯示器218的內(nèi)窺鏡圖像505的圖像顯示區(qū)域506內(nèi)。
接下來(lái)，在步驟S307，PC215判斷是否操作了檢查窗口500的檢查結(jié)束按鈕(圖中表示為End Exam)502，當(dāng)判斷為沒(méi)有操作時(shí)，返回到上述步驟S298，當(dāng)判斷為操作了檢查結(jié)束按鈕502時(shí)，在步驟S308，PC215關(guān)閉所述視頻處理器210和形狀處理裝置213進(jìn)行通信的通信口215a，215b，結(jié)束該檢查應(yīng)用程序。
該第8實(shí)施例是以內(nèi)窺鏡插入形狀為主體來(lái)進(jìn)行說(shuō)明的，但也可以適用于內(nèi)窺鏡檢查信息及內(nèi)窺鏡動(dòng)態(tài)圖像。
另外，該第8實(shí)施例是作為圖像處理裝置204的功能來(lái)進(jìn)行說(shuō)明的，但也可以具有和視頻處理器210及內(nèi)窺鏡插入形狀觀測(cè)裝置203相同的功能。
還有，內(nèi)窺鏡圖像的保存形式并不限于動(dòng)態(tài)圖像，只要記錄時(shí)間明確，連續(xù)地保存靜止圖像也可以得到相同的效果。
這樣，通過(guò)識(shí)別內(nèi)窺鏡插入部的環(huán)形形狀，將該所識(shí)別的環(huán)形的狀態(tài)進(jìn)行識(shí)別顯示，并將內(nèi)窺鏡操作方法等的相關(guān)信息進(jìn)行顯示，醫(yī)務(wù)人員可以正確地把握內(nèi)窺鏡的插入形狀，通過(guò)督促了解該相關(guān)信息，可以縮短內(nèi)窺鏡檢查的時(shí)間和減輕患者的不舒適感。
另外，本發(fā)明并不限于上述的實(shí)施例，在不脫離本發(fā)明的技術(shù)構(gòu)思的范圍內(nèi)，當(dāng)然可以進(jìn)行各種變形及應(yīng)用。
如上所述，根據(jù)本發(fā)明，在解析了內(nèi)窺鏡插入部的插入形狀時(shí)，可以提供與提高內(nèi)窺鏡的插入性有關(guān)的信息，可以縮短內(nèi)窺鏡檢查的時(shí)間和減輕給與患者的不舒適感。
另外，根據(jù)本發(fā)明，根據(jù)記錄保存的內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀數(shù)據(jù)，同步再現(xiàn)內(nèi)窺鏡圖像和內(nèi)窺鏡插入形狀圖像，可以自由地將內(nèi)窺鏡圖像和該內(nèi)窺鏡圖像中的內(nèi)窺鏡插入形狀圖像進(jìn)行對(duì)比。
另外，在內(nèi)窺鏡檢查后，通過(guò)一邊改變內(nèi)窺鏡插入形狀的顯示屬性，一邊進(jìn)行同步再現(xiàn)，可以一邊再現(xiàn)實(shí)際的內(nèi)窺鏡檢查，一邊進(jìn)行內(nèi)窺鏡插入操作的教學(xué)，并可以查明在內(nèi)窺鏡檢查時(shí)的內(nèi)窺鏡插入困難的原因及造成患者的不舒適感的原因等，并且可用于內(nèi)窺鏡裝置的使用培訓(xùn)。
權(quán)利要求
1.一種內(nèi)窺鏡信息的處理裝置，包括對(duì)通過(guò)檢測(cè)具有用于插入體腔內(nèi)的插入部的內(nèi)窺鏡的插入部的形狀而得到的插入形狀進(jìn)行解析的形狀解析部；和對(duì)應(yīng)所述形狀解析部的解析結(jié)果，提供內(nèi)窺鏡操作狀況信息的信息提供部。
2.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡信息的處理裝置，還包括存儲(chǔ)多個(gè)通過(guò)檢測(cè)具有用于插入體腔內(nèi)的插入部的內(nèi)窺鏡的插入部的形狀而得到的插入形狀的形狀存儲(chǔ)部，所述形狀解析部根據(jù)所述形狀存儲(chǔ)部所存儲(chǔ)的多個(gè)內(nèi)窺鏡插入部的形狀，解析內(nèi)窺鏡插入部的形狀。
3.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡信息的處理裝置，所述信息提供部對(duì)應(yīng)所述形狀解析部的解析結(jié)果，提供與內(nèi)窺鏡插入部的形狀有關(guān)的信息。
4.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡信息的處理裝置，所述信息提供部對(duì)應(yīng)所述形狀解析部的解析結(jié)果，提供內(nèi)窺鏡操作的信息。
5.根據(jù)權(quán)利要求4所述的內(nèi)窺鏡信息的處理裝置，所述信息提供部對(duì)應(yīng)所述形狀解析部的結(jié)果，提供解除環(huán)形的方法的信息。
6.根據(jù)權(quán)利要求4所述的內(nèi)窺鏡信息的處理裝置，所述信息提供部對(duì)應(yīng)所述形狀解析部的結(jié)果，將內(nèi)窺鏡操作的信息顯示在顯示裝置上。
7.根據(jù)權(quán)利要求4所述的內(nèi)窺鏡信息的處理裝置，所述信息提供部對(duì)應(yīng)所述形狀解析部的結(jié)果，通過(guò)聲音或語(yǔ)音提示內(nèi)窺鏡操作的信息。
8.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡信息的處理裝置，還包括具有產(chǎn)生磁場(chǎng)的多個(gè)磁場(chǎng)產(chǎn)生部和檢測(cè)所述磁場(chǎng)產(chǎn)生部的磁場(chǎng)的多個(gè)磁場(chǎng)檢測(cè)部，將所述磁場(chǎng)產(chǎn)生部或所述磁場(chǎng)檢測(cè)部中的任意一個(gè)配置在插入部中所構(gòu)成的形狀檢測(cè)部；和根據(jù)所述磁場(chǎng)檢測(cè)部的檢測(cè)結(jié)果，推斷所述插入部的形狀的形狀推斷部。
9.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡信息的處理裝置，還包括在該插入部中配置多個(gè)用于檢測(cè)插入部的特定部分的物理量的檢測(cè)部，根據(jù)所述被檢測(cè)出的物理量的結(jié)果和配置位置，推斷所述插入部的形狀的形狀推斷部。
10.根據(jù)權(quán)利要求9所述的內(nèi)窺鏡信息的處理裝置，檢測(cè)所述插入部的特定部分的物理量的檢測(cè)部是用于檢測(cè)變形的多個(gè)傳感器。
11.根據(jù)權(quán)利要求9所述的內(nèi)窺鏡信息的處理裝置，檢測(cè)所述插入部的特定部分的物理量的檢測(cè)部是用于檢測(cè)壓力的多個(gè)傳感器。
12.根據(jù)權(quán)利要求9所述的內(nèi)窺鏡信息的處理裝置，檢測(cè)所述插入部的特定部分的物理量的檢測(cè)部是用于檢測(cè)變位的多個(gè)傳感器。
13.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡信息的處理裝置，所述形狀解析部具有計(jì)算所述插入部的特定部分的移動(dòng)量的計(jì)算部；和根據(jù)所述插入部的特定部分的移動(dòng)量推斷插入部的狀態(tài)的推斷部。
14.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡信息的處理裝置，所述形狀解析部用于檢測(cè)插入部的環(huán)形形狀。
15.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡信息的處理裝置，所述信息提供部將所述形狀解析部的結(jié)果信息顯示在顯示裝置上。
16.根據(jù)權(quán)利要求15所述的內(nèi)窺鏡信息的處理裝置，顯示在所述顯示裝置上的信息是文字和/或圖形。
17.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡信息的處理裝置，所述信息提供部通過(guò)聲音或語(yǔ)音來(lái)提示所述形狀解析部的結(jié)果信息。
18.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡信息的處理裝置，還包括保存作為從所述信息提供部輸出的內(nèi)窺鏡操作狀況信息的第1數(shù)據(jù)的第1數(shù)據(jù)保存部；從內(nèi)窺鏡裝置接收包含內(nèi)窺鏡圖像的檢查信息數(shù)據(jù)，將其與所述第1數(shù)據(jù)建立關(guān)聯(lián)并保存的第2數(shù)據(jù)保存部；和將在所述第1及第2數(shù)據(jù)保存部中所保存的數(shù)據(jù)以同步的狀態(tài)或以單獨(dú)的形式顯示在監(jiān)視器上的再現(xiàn)部。
19.根據(jù)權(quán)利要求18所述的內(nèi)窺鏡信息的處理裝置，還包括根據(jù)所述第1數(shù)據(jù)和第2數(shù)據(jù)的特征執(zhí)行檢索的檢索執(zhí)行部；和具有將相關(guān)信息附加到由所述檢索執(zhí)行部檢索出的數(shù)據(jù)上的功能的檢索結(jié)果信息附加部，所述再現(xiàn)部在再現(xiàn)所述第1數(shù)據(jù)及第2數(shù)據(jù)時(shí)，在監(jiān)視器上顯示由所述檢索結(jié)果信息附加部所附加的信息。
20.根據(jù)權(quán)利要求18所述的內(nèi)窺鏡信息的處理裝置，還包括解析在所述第1數(shù)據(jù)保存部和/或所述第2數(shù)據(jù)保存部中所保存的所述第1數(shù)據(jù)和/或所述第2數(shù)據(jù)的數(shù)據(jù)解析部；和根據(jù)所述數(shù)據(jù)解析部的解析結(jié)果，決定并執(zhí)行處理的處理部。
21.根據(jù)權(quán)利要求18所述的內(nèi)窺鏡信息的處理裝置，所述再現(xiàn)部從所述第1數(shù)據(jù)保存部中讀出內(nèi)窺鏡操作狀況信息，從所述第2數(shù)據(jù)保存部中讀出內(nèi)窺鏡圖像數(shù)據(jù)，根據(jù)在取得所述內(nèi)窺鏡操作狀況信息時(shí)的取得時(shí)間信息和在取得所述內(nèi)窺鏡圖像數(shù)據(jù)時(shí)的取得時(shí)間信息，使根據(jù)所述讀出的內(nèi)窺鏡圖像數(shù)據(jù)的內(nèi)窺鏡圖像與對(duì)應(yīng)該內(nèi)窺鏡圖像數(shù)據(jù)的內(nèi)窺鏡操作狀況信息相對(duì)應(yīng)，并顯示在所述監(jiān)視器上。
22.根據(jù)權(quán)利要求21所述的內(nèi)窺鏡信息的處理裝置，所述內(nèi)窺鏡操作狀況信息是內(nèi)窺鏡插入部的插入形狀數(shù)據(jù)。
23.根據(jù)權(quán)利要求22所述的內(nèi)窺鏡信息的處理裝置，還包括輸入與由所述再現(xiàn)部顯示在所述監(jiān)視器上的所述內(nèi)窺鏡圖像或所述插入形狀相關(guān)的附加信息的相關(guān)信息輸入部；和將通過(guò)所述相關(guān)信息輸入部輸入的附加信息與該內(nèi)窺鏡圖像或該插入形狀建立關(guān)聯(lián)并進(jìn)行存儲(chǔ)的附加信息存儲(chǔ)部。
24.一種內(nèi)窺鏡信息的處理方法，包括解析通過(guò)檢測(cè)具有用于插入體腔內(nèi)的插入部的內(nèi)窺鏡的插入部的形狀而得到的插入形狀的形狀解析步驟；和對(duì)應(yīng)所述形狀解析步驟的解析結(jié)果，提供內(nèi)窺鏡操作狀況信息的信息提供步驟。
25.根據(jù)權(quán)利要求24所述的內(nèi)窺鏡信息的處理方法，還包括存儲(chǔ)多個(gè)通過(guò)檢測(cè)具有用于插入體腔內(nèi)的插入部的內(nèi)窺鏡的插入部的形狀而得到的插入形狀的形狀存儲(chǔ)步驟，所述形狀解析步驟根據(jù)在所述形狀存儲(chǔ)步驟所存儲(chǔ)的多個(gè)內(nèi)窺鏡插入部的形狀，解析內(nèi)窺鏡插入部的形狀。
26.根據(jù)權(quán)利要求24所述的內(nèi)窺鏡信息的處理方法，所述信息提供步驟對(duì)應(yīng)所述形狀解析步驟的解析結(jié)果，提供與內(nèi)窺鏡插入部的形狀相關(guān)的信息。
27.根據(jù)權(quán)利要求24所述的內(nèi)窺鏡信息的處理方法，所述信息提供步驟對(duì)應(yīng)所述形狀解析步驟的解析結(jié)果，提供內(nèi)窺鏡操作的信息。
28.根據(jù)權(quán)利要求24所述的內(nèi)窺鏡信息的處理方法，還包括保存作為由所述信息提供步驟提供的內(nèi)窺鏡操作狀況的信息的第1數(shù)據(jù)的第1數(shù)據(jù)保存步驟；將從內(nèi)窺鏡裝置取得的包含內(nèi)窺鏡圖像的檢查信息數(shù)據(jù)與所述第1數(shù)據(jù)建立關(guān)聯(lián)并進(jìn)行保存的第2數(shù)據(jù)保存步驟；和將在所述第1及第2數(shù)據(jù)保存步驟保存的數(shù)據(jù)以同步的狀態(tài)或單獨(dú)的形式顯示在監(jiān)視器上的再現(xiàn)步驟。
全文摘要
本發(fā)明的內(nèi)窺鏡信息的處理裝置，包括對(duì)通過(guò)檢測(cè)具有用于插入體腔內(nèi)的插入部的內(nèi)窺鏡的插入部的形狀而得到的插入形狀進(jìn)行解析的形狀解析部；和對(duì)應(yīng)所述形狀解析部的解析結(jié)果，提供內(nèi)窺鏡操作狀況信息的信息提供部。
文檔編號(hào)G06T1/00GK1694643SQ200380100759
公開(kāi)日2005年11月9日 申請(qǐng)日期2003年10月29日 優(yōu)先權(quán)日2002年10月29日
發(fā)明者平川克己 申請(qǐng)人:奧林巴斯株式會(huì)社