本申請是申請日為2012年05月22日,申請?zhí)枮?01280025678.4,發(fā)明名稱為“內(nèi)窺鏡裝置”的發(fā)明專利申請的分案申請。
本發(fā)明涉及內(nèi)窺鏡裝置以及內(nèi)窺鏡裝置的工作方法等。
背景技術:
廣泛使用對體腔內(nèi)的組織照射照明光、并使用對其反射光進行攝像而得到的圖像來進行診斷/處置的內(nèi)窺鏡裝置。在插入部的前端設有ccd或cmos等攝像元件以及以光學方式形成被攝體像的物鏡。一般情況下,作為內(nèi)窺鏡的物鏡,為了防止病變部的漏看而使用廣角的物鏡。例如,使用具有170°的視野角的物鏡。
另外,認為通過使用形成插入部的前端的側(cè)方視野的物鏡(例如專利文獻1)能夠觀察更寬的視野。
現(xiàn)有技術文獻
專利文獻
專利文獻1:日本特開2010-169792號公報
專利文獻2:日本特開2002-263064號公報
專利文獻3:日本特開平9-98943號公報
技術實現(xiàn)要素:
發(fā)明要解決的課題
但是,當擴大視野時,與現(xiàn)有的內(nèi)窺鏡相比,圖像中包含的信息量相對變多,所以,存在很難使整個圖像確保良好的明亮度的課題。
另外,在專利文獻2中公開了如下的調(diào)光處理的方法:根據(jù)鏡體的掩模形狀,將有效區(qū)域內(nèi)的像素作為對象來計算亮度平均值,維持被攝體像的明亮度。在專利文獻3中公開了如下的方法:在取得廣角圖像的內(nèi)窺鏡裝置中,通過在攝像元件的攝像面的至少3邊配設光導,確保良好的配光。
根據(jù)本發(fā)明的若干個方式,能夠提供可使關注區(qū)域維持適當明亮度的內(nèi)窺鏡裝置以及內(nèi)窺鏡裝置的工作方法等。
用于解決課題的手段
本實施方式的一個方式涉及一種內(nèi)窺鏡裝置,該內(nèi)窺鏡裝置包括:圖像取得部,其取得包括被攝體像的攝像圖像;關注區(qū)域設定部,其根據(jù)來自內(nèi)窺鏡裝置的信息,對所述攝像圖像設定關注區(qū)域;以及調(diào)光控制部,其根據(jù)所設定的所述關注區(qū)域,對所述照明光的光量進行調(diào)光控制。
根據(jù)本實施方式的一個方式,根據(jù)來自內(nèi)窺鏡裝置的信息對攝像圖像設定關注區(qū)域,根據(jù)該關注區(qū)域進行照明光的光量的調(diào)光控制。由此,能夠使手術醫(yī)生關注的關注區(qū)域維持適當?shù)拿髁炼取?/p>
另外,本發(fā)明的另一個方式涉及一種內(nèi)窺鏡裝置的工作方法,其中,取得包括被攝體像的攝像圖像,該被攝體像是通過對被攝體照射來自光源部的照明光而得到的,根據(jù)來自內(nèi)窺鏡裝置的信息,對所述攝像圖像設定關注區(qū)域,以及根據(jù)所設定的所述關注區(qū)域,對所述照明光的光量進行調(diào)光控制,其中,根據(jù)所述攝像圖像計算特征量,根據(jù)具有規(guī)定的特征量的區(qū)域來設定關注區(qū)域。
附圖說明
圖1是物鏡光學系統(tǒng)的結(jié)構(gòu)例。
圖2(a)~圖2(d)是與本實施方式的概要有關的說明圖。
圖3是第1實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖4是旋轉(zhuǎn)濾色鏡的詳細結(jié)構(gòu)例。
圖5是濾色鏡的分光特性例。
圖6是第1實施方式的圖像處理部的詳細結(jié)構(gòu)例。
圖7是灰度轉(zhuǎn)換部的詳細結(jié)構(gòu)例。
圖8是與關注區(qū)域設定部進行的處理有關的說明圖。
圖9(a)、圖9(b)是與關注區(qū)域設定部進行的處理有關的說明圖。
圖10是與關注區(qū)域設定部進行的處理有關的說明圖。
圖11是與關注區(qū)域設定部進行的處理有關的說明圖。
圖12是與關注區(qū)域設定部進行的處理有關的說明圖。
圖13是與關注區(qū)域設定部進行的處理有關的說明圖。
圖14是圖像處理部的變形結(jié)構(gòu)例。
圖15是與變倍處理部進行的處理有關的說明圖。
圖16是第2實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖17是第2實施方式的圖像處理部的詳細結(jié)構(gòu)例。
圖18是與第2實施方式的關注區(qū)域設定部進行的處理有關的說明圖。
圖19是第3實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖20是第3實施方式的狀態(tài)信息取得部的詳細結(jié)構(gòu)例。
圖21(a)~圖21(c)是與彎曲操作有關的說明圖。
圖22是第3實施方式的圖像處理部的詳細結(jié)構(gòu)例。
圖23是第4實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖24(a)~圖24(d)是與距離估計方法有關的說明圖。
圖25是內(nèi)窺鏡裝置的變形結(jié)構(gòu)例。
圖26是第5實施方式的關注區(qū)域設定部的詳細結(jié)構(gòu)例。
圖27是與第5實施方式的關注區(qū)域設定部進行的處理有關的說明圖。
圖28是與第5實施方式的變形例有關的說明圖。
圖29是第6實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖30是第2攝像元件的濾色鏡的結(jié)構(gòu)例。
圖31是第2攝像元件的濾色鏡的透射率特性例。
圖32是第6實施方式的圖像處理部的詳細結(jié)構(gòu)例。
圖33是由第2攝像元件進行攝像而得到的單板圖像信號的例子。
圖34是第6實施方式的關注區(qū)域設定部的詳細結(jié)構(gòu)例。
圖35是局部區(qū)域的設定例。
圖36是與第6實施方式的關注區(qū)域設定部進行的處理有關的說明圖。
圖37是第7實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖38是第7實施方式的圖像處理部的詳細結(jié)構(gòu)例。
圖39是第8實施方式的關注區(qū)域設定部的詳細結(jié)構(gòu)例。
圖40是失真校正處理前后的圖像的例子。
圖41是代表點的設定例。
圖42(a)~圖42(d)是與拔出狀態(tài)的判定方法有關的說明圖。
圖43是第9實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖44是第9實施方式的狀態(tài)信息取得部的詳細結(jié)構(gòu)例。
圖45是與紅暈區(qū)域有關的說明圖。
圖46(a)是與紅暈區(qū)域有關的說明圖。圖46(b)是與第10實施方式的變倍處理有關的說明圖。
圖47是第10實施方式的圖像處理部的詳細結(jié)構(gòu)例。
圖48是第10實施方式的關注區(qū)域設定部的詳細結(jié)構(gòu)例。
圖49是與第10實施方式的關注區(qū)域設定部進行的處理有關的說明圖。
圖50是紅暈區(qū)域候選檢測部的詳細結(jié)構(gòu)例。
圖51是散焦檢測部的詳細結(jié)構(gòu)例。
圖52是與第10實施方式的關注區(qū)域設定部進行的處理有關的說明圖。
圖53是變倍參數(shù)設定部的詳細結(jié)構(gòu)例。
圖54是相對于變倍前歸一化距離的多個變倍后歸一化距離的對應曲線的例子。
具體實施方式
下面,對本實施方式進行說明。另外,以下說明的本實施方式并不是不當限定權(quán)利要求書所記載的本發(fā)明的內(nèi)容。并且,本實施方式中說明的全部結(jié)構(gòu)不一定是本發(fā)明的必須結(jié)構(gòu)要件。
1.本實施方式的概要
1.1.本實施方式的方法
首先,對本實施方式的概要進行說明。在上述專利文獻1中公開了能夠?qū)︾R體前端部的前方視野和側(cè)方視野進行觀察的物鏡光學系統(tǒng)。圖1示出該物鏡光學系統(tǒng)的結(jié)構(gòu)例。如圖1所示,來自前方視野的光線lc1從面sf1入射,來自側(cè)方視野的光線lc2從面sf3入射。這些光線lc1、lc2通過面sf1、sf2折射或反射,從而對前方視野和側(cè)方視野進行成像。
如果使用這種物鏡光學系統(tǒng),則能夠在比現(xiàn)有的內(nèi)窺鏡裝置寬的視野內(nèi)對體腔內(nèi)進行觀察。即,如圖2(a)所示,在管腔狀的臟器中篩查病變部的情況下,使鏡體與臟器的軸向平行,一邊插入或拔出鏡體一邊進行觀察。在具有側(cè)方視野的情況下,由于能夠?qū)ξ挥隈薨櫛趁娴牟∽儾窟M行觀察,所以,能夠減少病變的漏看。
但是,當這樣擴大視野時,與現(xiàn)有的內(nèi)窺鏡相比,圖像中包含的信息量相對變多,所以,存在很難使整個圖像確保良好的明亮度的課題。使用圖2(a)~圖2(d)對這點進行說明。
如圖2(a)所示,在內(nèi)窺鏡攝像部位于管腔狀臟器的中心的情況下,在前方視野和側(cè)方視野中,從內(nèi)窺鏡攝像部到被攝體的距離不同。因此,如圖2(b)所示,圖像中的各區(qū)域產(chǎn)生明亮度的差。并且,如圖2(c)所示,為了對存在于管腔狀臟器的壁面的病變部進行觀察,要使內(nèi)窺鏡前端接近臟器的壁面。這樣,如圖2(d)所示,關注區(qū)域(例如病變部)產(chǎn)生光暈。在這種圖像中,手術醫(yī)生很難對希望關注的區(qū)域進行適當?shù)挠^察/處置。
針對這種課題,在內(nèi)窺鏡裝置中進行適當維持被攝體像的明亮度的調(diào)光處理。例如,在專利文獻2中公開了如下的調(diào)光處理的方法:根據(jù)鏡體的掩模形狀,將有效區(qū)域內(nèi)的像素作為對象來計算亮度平均值,維持被攝體像的明亮度。
但是,在該方法中,整個有效區(qū)域的平均值能夠取適當?shù)闹?,但是,無法對圖像內(nèi)的各區(qū)域進行調(diào)光。因此,在各區(qū)域產(chǎn)生明亮度的差的情況下,無法將手術醫(yī)生希望關注的區(qū)域調(diào)整為適當?shù)拿髁炼取?/p>
并且,在專利文獻3中公開了如下的方法:在取得廣角圖像的內(nèi)窺鏡裝置中,通過在攝像元件的攝像面的至少3邊配設光導,確保良好的配光。
但是,在該方法中,如圖2(c)所示,在相對于病變部從傾斜方向?qū)Ρ粩z體進行攝像的情況下,無法解決在關注區(qū)域中產(chǎn)生光暈的課題。
因此,在本實施方式中,如圖13所示,根據(jù)來自內(nèi)窺鏡裝置的信息(例如攝像圖像),在攝像圖像中設定關注區(qū)域,將該關注區(qū)域作為調(diào)光對象區(qū)域進行調(diào)光控制。由此,能夠使手術醫(yī)生關注的區(qū)域維持適當?shù)拿髁炼?,能夠減小手術醫(yī)生進行診斷/處置時的負荷。
如以下說明的那樣,在現(xiàn)有的調(diào)光處理中,將整個圖像作為測光區(qū)域來計算亮度平均值,通過對光源光量進行調(diào)整以使該亮度平均值接近目標值,適當維持整個圖像的明亮度。在本實施方式中,通過將關注區(qū)域作為測光區(qū)域來計算亮度平均值,如圖2(d)所示,即使在明亮度存在偏差的情況下,也能夠使手術醫(yī)生關注的區(qū)域維持適當?shù)拿髁炼取?/p>
1.2.調(diào)光處理
對現(xiàn)有的調(diào)光處理進行詳細說明。在調(diào)光處理中,首先,進行測定被攝體的明亮度的測光處理。具體而言,計算從攝像元件依次得到的1幀或1場的圖像信號中的亮度信號的平均值。這里,作為測光區(qū)域,一般使用圖像信號的有效區(qū)域。圖像信號的有效區(qū)域是指從圖2(b)所示的圖像信號中去除掩模區(qū)域后的前方區(qū)域和側(cè)方區(qū)域。
接著,將所測定的被攝體的明亮度調(diào)整為目標明亮度。具體而言,通過對調(diào)整光源光量的光圈開度進行控制,使已測光的被攝體的明亮度與目標明亮度一致。
例如,在被攝體的整體與內(nèi)窺鏡前端的物鏡分開比較遠的情況下,上述亮度平均值暫時低于亮度參照值(目標明亮度),所以,此時,光源光圈開度擴大,照明光量增大。另一方面,在被攝體的整體接近內(nèi)窺鏡前端的物鏡的情況下,上述亮度平均值高于亮度參照值(目標明亮度),所以,此時,光源光圈開度變窄,照明光量減少。并且,在通過光源光圈的調(diào)整而使亮度平均值未達到亮度參照值(目標明亮度)的情況下,通過對圖像信號施加數(shù)字增益來對圖像信號的明亮度進行調(diào)整。這樣,與被攝體的遠近無關,圖像信號維持與亮度參照值一致的適當狀態(tài)。
2.第1實施方式
2.1.內(nèi)窺鏡裝置
如上所述,對在攝像圖像中設定關注區(qū)域并通過調(diào)光來控制該關注區(qū)域的明亮度的本實施方式的內(nèi)窺鏡裝置進行詳細說明。
圖3示出第1實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400(處理器部)、顯示部500、外部i/f部550。
光源部100具有白色光源101、光源光圈102、驅(qū)動光源光圈102的光源光圈驅(qū)動部103、具有多個分光透射率的濾鏡的旋轉(zhuǎn)濾色鏡104。并且,光源部100包括驅(qū)動旋轉(zhuǎn)濾色鏡104的旋轉(zhuǎn)驅(qū)動部105、使透射過旋轉(zhuǎn)濾色鏡104的光會聚到光導纖維301的入射端面的會聚透鏡106。
光源光圈驅(qū)動部103根據(jù)來自控制裝置400的控制部420的控制信號進行光源光圈102的開閉,從而進行光量的調(diào)整。
圖4示出旋轉(zhuǎn)濾色鏡104的詳細結(jié)構(gòu)例。旋轉(zhuǎn)濾色鏡104由三原色的紅色(以下簡化為r)濾鏡701、綠色(以下簡化為g)濾鏡702、藍色(以下簡化為b)濾鏡703、旋轉(zhuǎn)馬達704構(gòu)成。圖5示出這些濾色鏡701~703的分光特性例。
旋轉(zhuǎn)驅(qū)動部105根據(jù)來自控制部420的控制信號,與攝像元件304的攝像期間同步地使旋轉(zhuǎn)濾色鏡104以規(guī)定轉(zhuǎn)速旋轉(zhuǎn)。例如,當使旋轉(zhuǎn)濾色鏡104在1秒間旋轉(zhuǎn)20次時,各濾色鏡以60分之一秒間隔橫切入射白色光。該情況下,攝像元件304以60分之一秒間隔完成圖像信號的攝像和轉(zhuǎn)送。
這里,攝像元件304例如是單色用攝像元件。即,在本實施方式中,進行以60分之一秒間隔對3原色的各色光(r或g或b)的圖像進行攝像的面順次方式的攝像。
操作部200設有進行插入部300的彎曲操作的彎曲操作桿201、以及供例如鉗子這樣的處置器械插入的插入口202。
彎曲操作桿201與彎曲操作線306連結(jié)。彎曲操作線306貫穿插入到插入部300的內(nèi)部并固定在插入部300前端。手術醫(yī)生通過對彎曲操作桿201進行操作,使彎曲操作線306牽引或松弛,使插入部300彎曲。插入口202與供處置器械貫穿插入的貫穿插入通道307連通。
插入部300例如形成為細長且能夠彎曲,使得能夠插入體腔內(nèi)。插入部300包括用于將光源部100所會聚的光引導至照明透鏡314、315的光導纖維301、使由該光導纖維301引導到前端的光擴散而對觀察對象進行照射的照明透鏡314、315。照明透鏡314是用于對前方視野的觀察對象進行照明的透鏡,照明透鏡315是用于對側(cè)方視野的觀察對象進行照明的透鏡。并且,插入部300包括使從觀察對象返回的反射光會聚的物鏡光學系統(tǒng)303、用于檢測會聚后的反射光的攝像元件304、將通過攝像元件304的光電轉(zhuǎn)換而得到的模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號的a/d轉(zhuǎn)換部305。并且,插入部300包括貫穿插入到插入部300的內(nèi)部并固定在前端部的彎曲操作線306、供在操作部200中插入的處置器械貫穿插入的貫穿插入通道307。
物鏡光學系統(tǒng)303(狹義地講為物鏡)從插入部300的前端部突出,對前方視野和側(cè)方視野進行成像。例如,物鏡光學系統(tǒng)303具有230°的視野角。
攝像元件304例如是單色單板攝像元件,例如由ccd或cmos圖像傳感器等構(gòu)成。
控制裝置400進行內(nèi)窺鏡裝置的各部的控制和圖像處理??刂蒲b置400包括進行關注區(qū)域的設定和測光處理的圖像處理部410以及控制部420。
由a/d轉(zhuǎn)換部305轉(zhuǎn)換為數(shù)字信號的圖像信號被轉(zhuǎn)送到圖像處理部410。由圖像處理部410進行處理后的圖像信號被轉(zhuǎn)送到顯示部500??刂撇?20進行內(nèi)窺鏡裝置的各部的控制。具體而言,控制部420與光源光圈驅(qū)動部103、旋轉(zhuǎn)驅(qū)動部105、圖像處理部410、外部i/f部550連接,進行它們的控制。
顯示部500是能夠進行動態(tài)圖像顯示的顯示裝置,例如由crt或液晶監(jiān)視器等構(gòu)成。
外部i/f部550是用于進行從用戶向內(nèi)窺鏡裝置輸入等的接口。外部i/f部550例如包括用于進行電源的接通/斷開的電源開關、用于切換攝影模式和其他各種模式的模式切換按鈕等。外部i/f部550將所輸入的信息轉(zhuǎn)送到控制部420。
2.2.圖像處理部
圖6示出第1實施方式的圖像處理部410的詳細結(jié)構(gòu)例。圖像處理部410包括預處理部411、同時化部412、關注區(qū)域設定部413、后處理部415、測光部416、灰度轉(zhuǎn)換部419。
a/d轉(zhuǎn)換部305與預處理部411連接。預處理部411與同時化部412連接。同時化部412與灰度轉(zhuǎn)換部419、關注區(qū)域設定部413、測光部416連接?;叶绒D(zhuǎn)換部419與后處理部415連接。后處理部415與顯示部500連接。關注區(qū)域設定部413與測光部416連接??刂撇?20與預處理部411、同時化部412、灰度轉(zhuǎn)換部419、后處理部415、關注區(qū)域設定部413、測光部416雙向連接,對它們進行控制。
預處理部411針對從a/d轉(zhuǎn)換部305輸入的圖像信號,使用控制部420中預先保存的ob鉗位值、wb系數(shù)值、噪聲降低系數(shù)值進行ob鉗位處理、wb校正處理、噪聲降低處理。預處理部411將預處理后的圖像信號轉(zhuǎn)送到同時化部412。
同時化部412針對由預處理部411處理后的圖像信號,根據(jù)控制部420的控制信號對面順次的圖像信號進行同時化。具體而言,同時化部412一幀一幀地蓄積面順次輸入的各顏色光(r或g或b)的圖像信號,同時讀出所蓄積的各顏色光的圖像信號。同時化部412將同時化后的圖像信號轉(zhuǎn)送到關注區(qū)域設定部413和測光部416。
灰度轉(zhuǎn)換部419對同時化處理后的圖像進行灰度轉(zhuǎn)換處理。灰度轉(zhuǎn)換處理例如是對整個圖像的像素值的柱狀圖進行平坦化的處理。具體而言,灰度轉(zhuǎn)換部419將圖像分割為多個區(qū)域,求出各分割區(qū)域的灰度轉(zhuǎn)換特性,通過該灰度轉(zhuǎn)換特性進行各分割區(qū)域的灰度轉(zhuǎn)換?;叶绒D(zhuǎn)換部419進行的處理在后面詳細敘述。
關注區(qū)域設定部413根據(jù)同時化處理后的圖像信號設定關注區(qū)域。具體而言,關注區(qū)域設定部413檢測攝像出處置器械的區(qū)域,將處置器械的前端的周邊區(qū)域設定為關注區(qū)域。關注區(qū)域設定部413進行的處理在后面詳細敘述。
測光部416計算所設定的關注區(qū)域中的被攝體的亮度平均值(廣義地講為明亮度信息),將計算出的亮度平均值轉(zhuǎn)送到控制部420??刂撇?20根據(jù)來自測光部416的亮度平均值對光源光圈驅(qū)動部103進行控制,從而對光源光圈102的開口面積進行調(diào)整。測光部416和控制部420進行的調(diào)光控制在后面詳細敘述。
后處理部415針對灰度轉(zhuǎn)換處理后的圖像,使用控制部420中預先保存的顏色轉(zhuǎn)換系數(shù)、輪廓強調(diào)系數(shù)、放大率進行顏色處理、輪廓強調(diào)處理、放大處理。后處理部415將后處理后的圖像信號轉(zhuǎn)送到顯示部500。
2.3.灰度轉(zhuǎn)換部
詳細說明灰度轉(zhuǎn)換部419進行的處理。圖7示出灰度轉(zhuǎn)換部419的詳細結(jié)構(gòu)例?;叶绒D(zhuǎn)換部419包括區(qū)域分割部445、柱狀圖計算部446、灰度轉(zhuǎn)換特性計算部447、轉(zhuǎn)換部448。
來自同時化部412的圖像信號被輸入到區(qū)域分割部445。區(qū)域分割部445與柱狀圖計算部446和轉(zhuǎn)換部448連接。柱狀圖計算部446與灰度轉(zhuǎn)換特性計算部447連接?;叶绒D(zhuǎn)換特性計算部447與轉(zhuǎn)換部448連接。轉(zhuǎn)換部448與后處理部415連接。控制部420與區(qū)域分割部445、柱狀圖計算部446、灰度轉(zhuǎn)換特性計算部447、轉(zhuǎn)換部448連接,進行它們的控制。
灰度轉(zhuǎn)換部419按照圖像信號的每個區(qū)域進行灰度轉(zhuǎn)換處理。具體而言,區(qū)域分割部445將所輸入的圖像信號(最大值圖像信號)按區(qū)域分割為局部區(qū)域。例如,區(qū)域分割部445將圖像信號分割為規(guī)定尺寸的矩形區(qū)域,將分割后的各矩形區(qū)域作為局部區(qū)域。例如矩形區(qū)域的尺寸為16×16像素,但是不限于此,可以適當設定。區(qū)域分割部445將這些分割后的局部區(qū)域輸出到柱狀圖計算部446和轉(zhuǎn)換部448。另外,區(qū)域分割的方法不限于上述方法。例如,也可以構(gòu)成為,應用以紋理(texture)解析為代表的公知的區(qū)域分割方法進行區(qū)域分割。
柱狀圖計算部446計算所輸入的各局部區(qū)域的柱狀圖(像素值的柱狀圖),將計算出的各局部區(qū)域的柱狀圖輸出到灰度轉(zhuǎn)換特性計算部447。
灰度轉(zhuǎn)換特性計算部447根據(jù)所輸入的局部區(qū)域的柱狀圖計算局部區(qū)域的累積柱狀圖。另外,下面說明針對1個局部區(qū)域的處理,但是,對各局部區(qū)域進行同樣的處理?;叶绒D(zhuǎn)換特性計算部447對累積柱狀圖進行歸一化,使得所得到的累積柱狀圖的最大值符合轉(zhuǎn)換部448的輸出灰度寬度。灰度轉(zhuǎn)換特性計算部447將歸一化后的累積柱狀圖作為局部區(qū)域的灰度轉(zhuǎn)換特性輸出到轉(zhuǎn)換部448。
轉(zhuǎn)換部448針對從區(qū)域分割部445輸入的局部區(qū)域,使從灰度轉(zhuǎn)換特性計算部447輸入的灰度轉(zhuǎn)換特性發(fā)揮作用,進行灰度轉(zhuǎn)換處理。轉(zhuǎn)換部448將灰度轉(zhuǎn)換后的各局部區(qū)域恢復成1幀的圖像信號,將該圖像信號輸出到后處理部415。
2.4.關注區(qū)域設定部
詳細說明關注區(qū)域設定部413進行的處理。關注區(qū)域設定部413從同時化處理后的圖像信號中檢測由具有處置器械的像的像素構(gòu)成的處置器械區(qū)域,根據(jù)檢測到的處置器械區(qū)域設定關注區(qū)域。下面,以檢測鉗子等高反射性的金屬處置器械的情況為例進行說明。
由于處置器械放置在極其接近攝像元件304的位置,所以,處置器械的亮度信號值遠遠大于臟器。因此,將圖像信號中的高亮度區(qū)域檢測為處置器械區(qū)域。具體而言,設關注像素(處理對象像素)的坐標為(x,y),通過下式(1)計算關注像素的亮度信號值y(x,y)。
【數(shù)學式1】
y(x,y)=0.299·r(x,y)+0.587·g(x,y)+0.114·b(x,y)(1)
這里,r(x,y)、g(x,y)、b(x,y)是坐標(x,y)中的各顏色的圖像信號。
接著,如圖8所示,通過下式(2)計算比關注像素靠左側(cè)的從坐標(x-a,y)到坐標(x-1,y)的亮度值的平均值yave(x,y)。在圖8中,設圖像信號為n×m像素。并且,將位于圖像信號的左上方的坐標表現(xiàn)為(0,0),將右方向表現(xiàn)為x軸的正方向,將下方向表現(xiàn)為y軸的正方向。例如,x軸是沿著水平掃描線的軸,y軸是與x軸正交的軸。
【數(shù)學式2】
這里,a是常數(shù),根據(jù)圖像信號的橫向?qū)挾萵來設定。例如,常數(shù)a被設定為圖像信號的橫向?qū)挾萵的3%。
接著,使用下式(3)檢測關注像素的亮度信號值是否遠遠大于周邊的亮度平均值。
【數(shù)學式3】
y(x,y)>yave(x,y)+yp(3)
這里,yp是作為參數(shù)而預先設定的值。設上式(3)成立的像素為處置器械候選像素。例如,如圖9(a)所示,在包含處置器械和亮點的像的圖像信號的情況下,如圖9(b)所示檢測處置器械候選像素。
接著,提取多個處置器械候選像素相鄰的區(qū)域作為處置器械候選區(qū)域。具體而言,從左上方起搜索圖像信號,將關注像素(x,y)的值為“處置器械候選像素”、關注像素的左方(x-1,y)、左上方(x-1,y-1)、上方(x,y-1)、右上方(x+1,y-1)這4個像素不是“處置器械候選像素”的關注像素設定為始點像素。如圖10所示,陰影的像素為始點像素。
接著,從始點像素(x,y)的左下方(x-1,y-1)起逆時針搜索處置器械候選像素。在始點像素的周邊“未檢測到處置器械候選像素”的情況下,從下一個始點像素起搜索處置器械候選像素。在始點像素的周邊“檢測到處置器械候選像素”的情況下,從檢測到的處置器械候選像素的周邊起再次逆時針搜索處置器械候選像素。持續(xù)進行搜索,直到檢測到的處置器械候選像素再次返回到始點像素為止。在搜索的中途,在處置器械候選像素的y坐標小于始點像素的y坐標的情況下,中止搜索,搜索下一個始點像素。如圖11所示,當處置器械候選像素再次返回到始點像素時,將檢測到的處置器械候選像素所包圍的區(qū)域作為處置器械候選區(qū)域。在圖11中,陰影的像素是通過搜索而檢測到的處置器械候選像素。
接著,分別對作為處置器械候選區(qū)域而提取出的各區(qū)域中包含的像素數(shù)進行計數(shù),提取像素數(shù)最多的區(qū)域。在包含于像素數(shù)最多的區(qū)域中的像素數(shù)tmax大于預先設定的閾值tht(tmax>tht)的情況下,將該區(qū)域作為處置器械區(qū)域。另一方面,在包含于像素數(shù)最多的區(qū)域中的像素數(shù)tmax為預先設定的閾值tht以下(包含該值)的情況下,視為圖像信號中“不存在處置器械”,不在圖像信號中設定處置器械區(qū)域。例如,如圖11所示,在處置器械候選區(qū)域2中包含的像素數(shù)最多的情況下,判定處置器械候選區(qū)域2中包含的處置器械候選像素的數(shù)量是否大于預先設定的閾值。在大于閾值的情況下,將處置器械候選區(qū)域2設定為處置器械區(qū)域。
接著,從處置器械區(qū)域中提取處置器械的前端所處的區(qū)域,將該區(qū)域設定為處置器械前端像素。例如如圖12所示,從處置器械區(qū)域所包含的像素中提取與圖像中心最近的像素作為處置器械前端像素。在圖12中,設圖像中心的坐標為(n/2,m/2),設處置器械前端像素的坐標為(x0,y0)。另外,作為提取處置器械前端像素的其他方法,也可以從處置器械區(qū)域所包含的像素中選擇接近圖像中心的坐標(n/2,m/2)的多個像素,將選擇出的多個像素的重心作為處置器械前端像素。
接著,如圖13所示,將以處置器械前端像素(x0,y0)為中心的半徑r的圓的內(nèi)側(cè)的像素設定為關注區(qū)域。這里,半徑r為常數(shù),根據(jù)圖像信號的橫向?qū)挾萵來設定。例如,半徑r被設定為圖像信號的橫向?qū)挾萵的10%。通過下式(4)判定坐標(x,y)的像素是否包含在半徑r的圓的內(nèi)側(cè)。
【數(shù)學式4】
r2>(x-x0)2+(y-y0)2(4)
關注區(qū)域設定部413將所設定的關注區(qū)域和中心像素(x0,y0)轉(zhuǎn)送到測光部416。
另外,上述將半徑r設為常數(shù),但是,本實施方式不限于此,例如也可以將半徑r設為根據(jù)關注區(qū)域(x0,y0)與圖像中心(n/2,m/2)之間的距離l而變化的變量。通過下式(5)計算關注區(qū)域的中心(x0,y0)與圖像中心(n/2,m/2)之間的距離l。
【數(shù)學式5】
并且,上述將關注區(qū)域設為以坐標(x0,y0)為中心的圓形,但是,本實施方式不限于此,例如也可以將關注區(qū)域設為以坐標(x0,y0)為中心的矩形或橢圓形。
2.5.調(diào)光控制
接著,詳細說明測光部416和控制部420進行的調(diào)光控制。
測光部416基于控制部420的控制信號,根據(jù)圖像信號計算被攝體的明亮度。具體而言,在通過關注區(qū)域設定部413設定了關注區(qū)域的情況下,測光部416根據(jù)從同時化部412輸入的圖像信號計算關注區(qū)域的亮度平均值。另一方面,在關注區(qū)域設定部413未設定關注區(qū)域的情況下,測光部416計算從同時化部412輸入的圖像信號的有效像素區(qū)域的亮度平均值。測光部416將計算出的亮度平均值作為測光值yd轉(zhuǎn)送到控制部420。
另外,被攝體的明亮度的計算方法不限于上述方法,例如,也可以對關注區(qū)域的亮度平均值和關注區(qū)域以外的區(qū)域的亮度平均值分別乘以不同的權(quán)重系數(shù),計算該加權(quán)相加平均值作為被攝體的明亮度。該情況下,作為關注區(qū)域的權(quán)重系數(shù),設定比關注區(qū)域以外的權(quán)重系數(shù)大的系數(shù)。
控制部420使用由測光部416計算出的測光值yd和預先設定的目標明亮度ybase,通過下式(6)計算光源光圈調(diào)整系數(shù)lc。
【數(shù)學式6】
控制部420使用計算出的光源光圈調(diào)整系數(shù)lc來控制光源光圈驅(qū)動部103,從而對光源光圈102的開口進行控制。
通過進行以上處理,在插入處置器械的情況下,能夠使存在于處置器械周邊的病變部的明亮度維持最佳明亮度。由此,提高病變部的觀察性能,能夠得到適合于處置的圖像。
2.6.變形例
在本實施方式中,也可以進行放大如上設定的關注區(qū)域的變倍處理。下面,對該變形例進行詳細說明。
圖14示出進行變倍處理的情況下的圖像處理部410的變形結(jié)構(gòu)例。圖像處理部410包括預處理部411、同時化部412、關注區(qū)域設定部413、變倍處理部414、后處理部415、測光部416、灰度轉(zhuǎn)換部419。另外,對與圖6等中說明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標注相同標號并適當省略說明。
變倍處理部414在維持(大致維持)視場角的同時進行圖像的變倍處理,放大關注區(qū)域。具體而言,變倍處理部414進行放大關注區(qū)域并縮小其他區(qū)域的處理?;蛘?,也可以僅進行以規(guī)定倍率放大關注區(qū)域的處理。
具體而言,變倍處理部414根據(jù)所設定的關注區(qū)域和中心像素(x0,y0),對圖像信號進行局部變倍處理。另外,在關注區(qū)域設定部413未設定關注區(qū)域的情況下,不進行變倍處理,直接將所輸入的圖像信號輸出到后處理部415。
如圖15所示,變倍處理部414以放大率α(廣義地講為倍率)放大關注區(qū)域,將放大后的圖像重疊在原來的圖像上。具體而言,以圓的中心為基準在半徑方向上以放大率α進行放大,使放大后的圓區(qū)域的中心與原來的關注區(qū)域的中心像素(x0,y0)一致而進行重疊。下面,將放大后的關注區(qū)域稱為放大區(qū)域。通過下式(7)計算對坐標(x,y)的像素進行坐標轉(zhuǎn)換而變?yōu)棣帘逗蟮淖鴺?x’,y’)。
【數(shù)學式7】
這里,α是預先設定的大于1的常數(shù),例如設定為α=1.5。并且,放大率α不限于固定的常數(shù),也可以由手術醫(yī)生從外部自由輸入。并且,如圖14所示,放大率α也可以是根據(jù)關注區(qū)域的中心(x0,y0)與圖像中心(n/2,m/2)之間的距離l而變化的變量。
在上述放大處理中,變倍處理部414生成包含在放大區(qū)域內(nèi)的像素位置的插值像素。具體而言,針對放大區(qū)域內(nèi)的像素位置,使用上式(7)的坐標轉(zhuǎn)換后的附近4個像素進行線性插值。另外,插值處理不限于線性插值,例如也可以使用最近法、三次卷積內(nèi)插法(雙三次)等插值方法。
并且,變倍處理部414進行在上述放大區(qū)域的外側(cè)設置縮小區(qū)域并對該縮小區(qū)域進行縮小轉(zhuǎn)換的處理。具體而言,縮小區(qū)域是以坐標(x0,y0)為中心的半徑rs的內(nèi)側(cè)的區(qū)域,并且是放大區(qū)域的外側(cè)的區(qū)域。變倍處理部414以縮小率β(廣義地講為倍率)縮小由半徑r的圓和半徑rs的圓夾持的區(qū)域。縮小率β是根據(jù)處理對象像素(x,y)與中心坐標(x0,y0)的距離rd而變化的變量。通過下式(8)計算距離rd??s小率β是距離rd越大則越小的系數(shù),在距離rd為r時,β=α,在距離rd為rs時,β=1。
【數(shù)學式8】
在縮小處理中,變倍處理部414生成包含在縮小區(qū)域內(nèi)的像素位置的插值像素。具體而言,針對縮小區(qū)域內(nèi)的像素位置,使用以縮小率β進行縮小處理后的像素進行線性插值。另外,插值處理不限于線性插值,例如也可以使用最近法、三次卷積內(nèi)插法(雙三次)等插值方法。
根據(jù)上述變形例,由于能夠在維持視場角的同時放大關注區(qū)域,所以,能夠一邊確保鏡體操作等所需要的寬視野一邊提高關注區(qū)域的視覺辨認性。并且,通過在放大區(qū)域的外側(cè)設置縮小區(qū)域,在放大區(qū)域的邊界部分確保了圖像的連續(xù)性,所以,能夠得到?jīng)]有不舒適感的實施了變倍處理后的圖像信號。
另外,上述將縮小區(qū)域設為半徑rs內(nèi)側(cè)包含的像素,但是,本實施方式不限于此,例如也可以將放大區(qū)域的外側(cè)全部設為縮小區(qū)域。該情況下,越是朝向圖像端部,縮小率β越小,在圖像端部,放大率為1。
并且,上述設置了縮小區(qū)域,但是,本實施方式不限于此,例如,也可以僅設置放大區(qū)域并以倍率α進行放大,將該放大區(qū)域重疊在原來的圖像上。
根據(jù)以上的實施方式,如圖6所示,內(nèi)窺鏡裝置包括圖像取得部(例如a/d轉(zhuǎn)換部305)、關注區(qū)域設定部413、調(diào)光控制部(廣義地講為光量控制部)。圖像取得部取得包括被攝體像的攝像圖像。關注區(qū)域設定部413根據(jù)來自內(nèi)窺鏡裝置的信息,對攝像圖像設定關注區(qū)域。調(diào)光控制部根據(jù)所設定的關注區(qū)域,對照明光的光量進行調(diào)光控制。
這樣,根據(jù)來自內(nèi)窺鏡裝置的信息來設定關注區(qū)域,能夠通過調(diào)光來控制該關注區(qū)域的明亮度。由此,手術醫(yī)生能夠以適當?shù)拿髁炼扔^察要關注的區(qū)域,能夠進行適當?shù)脑\斷和處置。
例如,在本實施方式中,測光部416和控制部420對應于調(diào)光控制部。如上所述,測光部416進行所設定的關注區(qū)域的測光處理,控制部420根據(jù)該測光處理的結(jié)果來控制光源部100的射出光量,從而進行調(diào)光控制。
這里,來自內(nèi)窺鏡裝置的信息是指由內(nèi)窺鏡裝置的各部取得的信息,例如是攝像部的攝像圖像、對攝像圖像進行處理而得到的信號、對各部進行控制的控制信號、內(nèi)窺鏡裝置中設置的各種傳感器的讀出信號。
并且,關注區(qū)域是指對于使用者來說觀察的優(yōu)先順位與其他區(qū)域相比相對較高的區(qū)域,例如,在使用者是醫(yī)生且希望進行治療的情況下,是指拍攝出粘膜部或病變部的區(qū)域。并且,作為其他例子,如果醫(yī)生希望觀察的對象是泡或便,則關注區(qū)域是拍攝出該泡部分或便部分的區(qū)域。即,使用者應該關注的對象根據(jù)其觀察目的而不同,但是,不管怎樣,在該觀察時,對于使用者來說觀察的優(yōu)先順位與其他區(qū)域相比相對較高的區(qū)域成為關注區(qū)域。
并且,在本實施方式中,如上式(6)等說明的那樣,調(diào)光控制部計算表示關注區(qū)域的明亮度的明亮度信息(測光值yd。例如亮度平均值),根據(jù)計算出的明亮度信息進行調(diào)光控制。
具體而言,調(diào)光控制部進行調(diào)光控制,使得關注區(qū)域的明亮度成為規(guī)定明亮度(目標明亮度信息ybase。例如目標亮度值)。例如,調(diào)光控制部進行調(diào)光控制,使得關注區(qū)域的明亮度與規(guī)定明亮度一致。
這樣,能夠通過調(diào)光控制使關注區(qū)域的明亮度接近目標明亮度,能夠使關注區(qū)域維持適當?shù)暮愣ǖ拿髁炼取?/p>
并且,在本實施方式中,關注區(qū)域設定部413將攝像圖像作為來自內(nèi)窺鏡裝置的信息來設定關注區(qū)域。
具體而言,關注區(qū)域設定部413具有未圖示的處置器械檢測部。如圖13等說明的那樣,處置器械檢測部根據(jù)攝像圖像來檢測攝像出用于對被攝體實施處置的處置器械的處置器械區(qū)域。關注區(qū)域設定部413根據(jù)檢測到的處置器械區(qū)域來設定關注區(qū)域。
這樣,能夠使認為是手術醫(yī)生要關注的區(qū)域的處置器械的周邊維持適當?shù)拿髁炼?。由此,在手術醫(yī)生進行處置時,病變部不會產(chǎn)生光暈,能夠?qū)Σ∽儾窟M行處置,所以,能夠減輕手術醫(yī)生的負荷。并且,由于根據(jù)攝像圖像來檢測處置器械區(qū)域,所以,在內(nèi)窺鏡的插入部300中不需要設置新的處置器械檢測器。
并且,在本實施方式中,處置器械檢測部檢測處置器械區(qū)域的前端。關注區(qū)域設定部413將從檢測到的前端起的規(guī)定半徑的圓內(nèi)設定為關注區(qū)域。
具體而言,如圖12中說明的那樣,處置器械檢測部將處置器械區(qū)域所包含的像素中的與攝像圖像的中心(n/2,m/2)最近的像素設定為前端(處置器械前端像素(x0,y0))。
這樣,將認為存在于處置器械前端部的處置對象區(qū)域設定為關注區(qū)域,能夠?qū)υ撽P注區(qū)域的明亮度進行調(diào)光控制。
另外,設定為關注區(qū)域的圓(圓形區(qū)域)不限于正圓,只要是圓狀的區(qū)域即可。例如,也可以是橢圓等。
并且,在本實施方式中,處置器械檢測部具有未圖示的亮度特征量計算部。亮度特征量計算部計算與攝像圖像的像素的亮度有關的亮度特征量(例如亮度信號值y(x,y))。處置器械檢測部根據(jù)計算出的亮度特征量來檢測處置器械區(qū)域。
具體而言,如圖9(b)等中說明的那樣,處置器械檢測部根據(jù)亮度特征量檢測作為處置器械區(qū)域的候選的處置器械候選像素,根據(jù)檢測到的處置器械候選像素來決定處置器械區(qū)域。
更具體而言,處置器械檢測部具有未圖示的比較部。如圖8等中說明的那樣,比較部對處理對象像素的亮度特征量(亮度信號值y(x,y))和處理對象像素的周邊像素的平均亮度特征量(平均值yave(x,y))進行比較。處置器械檢測部將亮度特征量大于平均亮度特征量的像素設定為處置器械候選像素。
處置器械由金屬等形成,照明光的反射率高,所以,與其他被攝體相比,作為高亮度的像進行攝像。因此,通過根據(jù)亮度特征量來設定處置器械候選像素,能夠從圖像中檢測處置器械。
并且,在本實施方式中,如圖11等中說明的那樣,處置器械檢測部根據(jù)處置器械候選像素的位置信息,將處置器械候選像素分類為1個或多個處置器械候選區(qū)域(例如處置器械候選區(qū)域1、2)(例如由未圖示的分類部進行分類)。處置器械檢測部從該1個或多個處置器械候選區(qū)域中選擇處置器械區(qū)域。
具體而言,處置器械檢測部從處置器械候選像素中提取作為處置器械候選區(qū)域與其他區(qū)域的邊界的像素,通過將由該邊界包圍的處置器械候選像素設定為處置器械候選區(qū)域,設定1個或多個處置器械候選區(qū)域。
并且,處置器械檢測部根據(jù)各處置器械候選區(qū)域中包含的處置器械候選像素的數(shù)量來決定處置器械區(qū)域。
具體而言,處置器械檢測部將1個或多個處置器械候選區(qū)域中的包含數(shù)量最多的處置器械候選像素的區(qū)域、即包含比規(guī)定閾值(tht)多的處置器械候選像素的區(qū)域(例如處置器械候選區(qū)域2)決定為處置器械區(qū)域。
這樣,根據(jù)由照明光在粘膜處反射而產(chǎn)生的亮點等高亮度區(qū)域,在產(chǎn)生多個處置器械候選區(qū)域的情況下,也能夠從中選擇攝像出處置器械的區(qū)域。
并且,在本實施方式中,如圖14所示,內(nèi)窺鏡裝置也可以包括變倍處理部414。變倍處理部414進行與其他區(qū)域相比相對放大關注區(qū)域的局部變倍處理。
這樣,由于與其他區(qū)域相比能夠相對放大關注區(qū)域,所以,針對微小的病變部也能夠得到更加詳細的信息,能夠?qū)﹃P注區(qū)域進行適當?shù)脑\斷和處置。
并且,在本實施方式中,如圖15等中說明的那樣,變倍處理部414在維持攝像圖像的視場角的同時進行局部的變倍處理。
這樣,手術醫(yī)生能夠一邊掌握被攝體的整體像一邊以適當大小觀察希望關注的區(qū)域。并且,由于這些被攝體的整體像和希望關注的區(qū)域能夠顯示在同一圖像中,所以,與觀察多個圖像的情況相比,能夠減輕手術醫(yī)生的負擔。并且,由于不需要切換廣角圖像和放大圖像,所以,手術醫(yī)生不需要進行煩雜的作業(yè)。
這里,維持視場角是指圖像中顯示的被攝體的范圍不會由于變倍處理而變化。視場角不需要嚴格地維持,實質(zhì)上維持即可。
并且,在本實施方式中,如圖3所示,包括1個光源部100、第1照射部(照明透鏡314)、第2照射部(照明透鏡315)。第1照射部在第1方向(例如沿著物鏡光學系統(tǒng)的光軸的方向)上照射來自1個光源部100的射出光。第2照射部在第2方向(例如相對于物鏡光學系統(tǒng)的光軸為規(guī)定角度的方向)上照射來自1個光源部100的射出光。調(diào)光控制部通過控制來自1個光源部100的射出光量,進行調(diào)光控制。
具體而言,第1方向是鏡體(插入部300)的前方視野的方向,第2方向是鏡體的側(cè)方視野的方向。圖像取得部取得包括前方視野和側(cè)方視野的被攝體像的攝像圖像。
如圖2(a)~圖2(d)中說明的那樣,在共用1個光源部100作為前方視野和側(cè)方視野的照明的情況下,由于在圖像內(nèi)產(chǎn)生明亮度的偏差,所以,有時未適當對手術醫(yī)生的關注區(qū)域進行調(diào)光。關于這點,根據(jù)本實施方式,由于根據(jù)關注區(qū)域的明亮度進行調(diào)光控制,所以,能夠?qū)㈥P注區(qū)域調(diào)整為適當?shù)拿髁炼取?/p>
并且,在本實施方式中,如圖1、圖3等中說明的那樣,圖像取得部取得對鏡體(插入部300)前端部的前方視野和側(cè)方視野進行了攝像的攝像圖像。
具體而言,攝像圖像是通過對前方視野和側(cè)方視野進行成像的物鏡光學系統(tǒng)而得到的圖像。
物鏡光學系統(tǒng)具有大于180°的視野角(例如視野角230°)。
這樣,如圖2(a)等中說明的那樣,能夠在鏡體前方的被攝體的觀察的同時進行鏡體側(cè)方的被攝體的觀察。由此,能夠防止管腔狀臟器中的壁面的病變部的漏看。
這里,物鏡光學系統(tǒng)不限于物鏡,可以是反射光學系統(tǒng),也可以是如圖1所示組合了透鏡和反射光學系統(tǒng)的光學系統(tǒng)。另外,不限于圖1的物鏡光學系統(tǒng),也可以使用視野角超過180°的魚眼透鏡。
并且,前方視野(前方的視野范圍)是指包含物鏡光學系統(tǒng)的光軸方向的視野范圍,例如是相對于光軸為0度~45度的范圍。側(cè)方視野(側(cè)方的視野范圍)是指包含與光軸正交的方向的視野范圍,例如是相對于光軸為45度~135度的范圍。本實施方式的物鏡光學系統(tǒng)303例如相對于光軸具有0度~115度的視野范圍。
3.第2實施方式
對讀出處置器械的插入并設定關注區(qū)域的第2實施方式進行說明。
圖16示出第2實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對與圖3等中說明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標注相同標號并適當省略說明。
插入部300包括處置器械傳感器308。處置器械傳感器308設置在貫穿插入通道307中。處置器械傳感器308檢測貫穿插入到貫穿插入通道307中并向插入部300的前方突出的處置器械。處置器械傳感器308與后述狀態(tài)信息取得部430連接。
控制裝置400包括狀態(tài)信息取得部430。狀態(tài)信息取得部430與圖像處理部410連接。并且,控制部420與狀態(tài)信息取得部430雙向連接。
在由處置器械傳感器308檢測到處置器械從插入部300的前端突出的情況下,狀態(tài)信息取得部430將表示“處置器械存在于圖像信號中”的控制信號轉(zhuǎn)送到圖像處理部410。
圖17示出第2實施方式的圖像處理部410的詳細結(jié)構(gòu)例。狀態(tài)信息取得部430與關注區(qū)域設定部413連接。
在第2實施方式中,關注區(qū)域設定部413進行的處理與第1實施方式不同。具體而言,關注區(qū)域設定部413在從狀態(tài)信息取得部430接收到表示“處置器械存在于圖像信號中”的控制信號的情況下,在圖像信號中設定關注區(qū)域。例如如圖18所示,將圖像中心(n/2,m/2)作為關注區(qū)域的中心,將從關注區(qū)域的中心起的半徑r以內(nèi)(包含該值)的區(qū)域設定為關注區(qū)域。關注區(qū)域設定部413將設定的關注區(qū)域轉(zhuǎn)送到測光部416。
另外,關注區(qū)域的中心不限于圖像中心(n/2,m/2),可以根據(jù)攝像元件和貫穿插入通道的相對位置關系而預先設定。例如,在從圖像中心觀察貫穿插入通道設置在y軸正方向上的情況下,可以將關注區(qū)域設定在比圖像中心靠y軸正方向側(cè)。
根據(jù)以上的實施方式,如圖16所示,內(nèi)窺鏡裝置包括取得內(nèi)窺鏡裝置的狀態(tài)信息的狀態(tài)信息取得部430。關注區(qū)域設定部413將狀態(tài)信息作為來自內(nèi)窺鏡裝置的信息來設定關注區(qū)域。
具體而言,狀態(tài)信息取得部430檢測(根據(jù)處置器械傳感器308的讀出信號檢測)用于對被攝體實施處置的處置器械是否從鏡體前端部突出,取得檢測結(jié)果作為狀態(tài)信息。關注區(qū)域設定部413根據(jù)檢測結(jié)果來設定關注區(qū)域。
更具體而言,如圖18等中說明的那樣,關注區(qū)域設定部413在檢測到處置器械的突出的情況下,將攝像圖像的中央?yún)^(qū)域或比攝像圖像的中心靠插入處置器械的一側(cè)的區(qū)域(例如比圖像中心靠y軸正方向側(cè)的區(qū)域)設定為關注區(qū)域。
這樣,在手術醫(yī)生對處置器械進行操作的情況下設定關注區(qū)域,能夠?qū)υ撽P注區(qū)域的明亮度進行調(diào)光控制。并且,能夠?qū)⑹中g醫(yī)生通常認為是病變部所在的圖像中心或圖像下方設定為關注區(qū)域。由此,與圖像信號的畫質(zhì)無關,能夠以適當?shù)拿髁炼蕊@示作為處置對象的病變部,得到適合于手術醫(yī)生的處置的圖像。
這里,內(nèi)窺鏡裝置的狀態(tài)信息是表示內(nèi)窺鏡裝置的各部的狀態(tài)的信息,例如是對攝像圖像進行處理而得到的鏡體的行進方向等信息、對各部的狀態(tài)進行控制的控制信號、讀出各部的狀態(tài)的各種傳感器的讀出信號。
4.第3實施方式
4.1.內(nèi)窺鏡裝置
對根據(jù)鏡體的彎曲角度或彎曲運動量來設定關注區(qū)域的第3實施方式進行說明。
圖19示出第3實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對與圖3等中說明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標注相同標號并適當省略說明。
光源部100包括白色光源101、光源光圈102、光源光圈驅(qū)動部103、會聚透鏡106。
操作部200設有進行插入部300的彎曲操作的彎曲操作桿201、插入例如鉗子這樣的處置器械的插入口202、檢測前端部的彎曲角度或彎曲運動量等彎曲操作的操作信息的操作量檢測傳感器203。操作量檢測傳感器203與狀態(tài)信息取得部430連接,對狀態(tài)信息取得部430發(fā)送彎曲操作的操作信息。
插入部300的攝像元件304是拜爾(bayer)型排列的攝像元件,例如由ccd或cmos圖像傳感器等構(gòu)成。
控制裝置400包括圖像處理部410、控制部420、狀態(tài)信息取得部430。圖像處理部410的結(jié)構(gòu)要素與圖17中上述的結(jié)構(gòu)例相同。
狀態(tài)信息取得部430取得與操作部200中的內(nèi)窺鏡的操作有關的信息。具體而言,狀態(tài)信息取得部430取得鏡體前端部的彎曲角度和彎曲運動量中的至少一方作為狀態(tài)信息。
4.2.彎曲角度檢測部
圖20示出第3實施方式的狀態(tài)信息取得部430的詳細結(jié)構(gòu)例。狀態(tài)信息取得部430包括彎曲角度檢測部431和彎曲運動量檢測部432中的至少一方。
彎曲角度檢測部431檢測通過操作部200進行了彎曲操作的插入部300的當前的彎曲角度。彎曲運動量檢測部432檢測通過操作部200進行了彎曲操作的插入部300的彎曲運動量。彎曲運動量是彎曲角度的每單位時間的變化量。
具體而言,彎曲操作桿201為轉(zhuǎn)盤式,通過由手術醫(yī)生對轉(zhuǎn)盤進行旋轉(zhuǎn)操作,與轉(zhuǎn)盤連結(jié)的彎曲操作線306被拉拽或推送,與此相伴,插入部300的前端彎曲。操作量檢測傳感器203檢測彎曲操作線306被拉拽或推送的“長度”作為操作量。狀態(tài)信息取得部430根據(jù)檢測到的操作量求出彎曲角度。例如,狀態(tài)信息取得部430使用一覽表或多項式等,根據(jù)操作量求出彎曲角度。
例如,如圖21(a)所示,在線306的操作量為零時,彎曲角度θ=0度。如圖21(b)所示,在線306被拉拽lwcm時,彎曲角度θ=45度。如圖21(c)所示,在線306被推送2lwcm時,彎曲角度θ=-90度。
另外,彎曲角度作為表示彎曲角度的信息取得即可,也可以不是彎曲角度本身。例如,彎曲角度信息可以是線306被操作的長度。即,彎曲操作桿201的旋轉(zhuǎn)方向的操作量與彎曲操作線306被拉拽或推送的長度一一對應,如果確定了該長度,則能夠求出彎曲角度。
并且,操作量檢測傳感器203檢測的操作量不限于長度,例如也可以是彎曲操作桿201的旋轉(zhuǎn)方向的操作量。該情況下,彎曲角度信息可以是根據(jù)旋轉(zhuǎn)操作量求出的彎曲角度,也可以是旋轉(zhuǎn)操作量。
如前面圖2(a)等中所述的那樣,在使用寬視野內(nèi)窺鏡進行篩查的情況下,能夠通過側(cè)方視野發(fā)現(xiàn)位于褶皺背面的病變部。手術醫(yī)生發(fā)現(xiàn)病變部后,由于前方視野容易進行觀察,所以,為了使病變部進入前方視野,對彎曲操作桿201進行操作以使插入部300彎曲。
因此,在本實施方式中,關注區(qū)域設定部413根據(jù)由彎曲角度檢測部431取得的彎曲角度,將側(cè)方視野的區(qū)域設定為關注區(qū)域。例如,在彎曲角度為某個閾值以上的情況時,將側(cè)方視野的區(qū)域設定為關注區(qū)域。
4.3.彎曲運動量檢測部
接著,詳細說明彎曲運動量檢測部432進行的處理。操作量檢測傳感器203檢測彎曲操作桿201的每單位時間的旋轉(zhuǎn)操作量。彎曲運動量檢測部432根據(jù)檢測到的旋轉(zhuǎn)操作量求出彎曲運動量。
另外,在本實施方式中,不限于此,也可以根據(jù)彎曲操作線306每單位時間被拉拽或推送的長度求出彎曲運動量。并且,彎曲運動量不限于每單位時間的彎曲角度的變化量,作為表示彎曲運動量的信息取得即可。例如,彎曲運動量信息可以是彎曲操作桿201的每單位時間的旋轉(zhuǎn)操作量,也可以是彎曲操作線306每單位時間被拉拽或推送的長度。
如前面圖2(a)等中所述的那樣,在使用寬視野內(nèi)窺鏡進行篩查的情況下,能夠通過側(cè)方視野發(fā)現(xiàn)位于褶皺背面的病變部。手術醫(yī)生發(fā)現(xiàn)病變部后,由于前方視野容易進行觀察,所以,為了使病變部進入前方視野,對彎曲操作桿201進行操作以使插入部300彎曲。即,在彎曲操作中認為側(cè)方視野中存在病變部。在病變部到達前方視野中后停止彎曲操作。
因此,在本實施方式中,開始彎曲時將側(cè)方視野設定為關注區(qū)域,彎曲停止后將前方視野設定為關注區(qū)域。另外,在彎曲角度彎曲到最大角度而停止彎曲的情況下,由于能夠推測到手術醫(yī)生關注的區(qū)域未進入前方視野而位于側(cè)方視野,所以,將側(cè)方視野設定為關注區(qū)域。
具體而言,關注區(qū)域設定部413根據(jù)由彎曲運動量檢測部432取得的彎曲運動量來設定關注區(qū)域。在彎曲運動量較大的情況下(急劇彎曲時),關注區(qū)域設定部413將側(cè)方視野的區(qū)域設定為關注區(qū)域。例如,在彎曲運動量為某個閾值以上的情況時設定關注區(qū)域。
4.4.圖像處理部
接著,詳細說明進行關注區(qū)域設定處理和測光處理的圖像處理部410。圖22示出第3實施方式的圖像處理部410的詳細結(jié)構(gòu)例。圖像處理部410包括預處理部411、同時化部412、關注區(qū)域設定部413、后處理部415、測光部416、灰度轉(zhuǎn)換部419。另外,對與圖6等中說明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標注相同標號并適當省略說明。
狀態(tài)信息取得部430與關注區(qū)域設定部413和測光部416連接。同時化部412與灰度轉(zhuǎn)換部419和測光部416連接。
同時化部412通過插值處理將拜爾型排列的單板圖像轉(zhuǎn)換為3板圖像(rgb圖像)。同時化部412將3板化的圖像信號轉(zhuǎn)送到灰度轉(zhuǎn)換部419和測光部416。
關注區(qū)域設定部413根據(jù)由彎曲角度檢測部431取得的彎曲角度和由彎曲運動量檢測部432取得的彎曲運動量,設定關注區(qū)域。具體而言,在彎曲角度為規(guī)定閾值以上的情況下、或彎曲運動量(彎曲速度)為規(guī)定閾值以上的情況下,關注區(qū)域設定部413將側(cè)方視野的區(qū)域設定為關注區(qū)域。關注區(qū)域設定部413將所設定的關注區(qū)域轉(zhuǎn)送到測光部416。
測光部416根據(jù)圖像信號計算被攝體的明亮度。具體而言,在通過關注區(qū)域設定部413設定了關注區(qū)域的情況下,測光部416對關注區(qū)域和關注區(qū)域以外的區(qū)域分別乘以不同的權(quán)重系數(shù),計算下式(9)所示的加權(quán)相加平均值ywa。
【數(shù)學式9】
這里,yc(x,y)是前方視野中包含的像素的亮度信號值,ya(x,y)是側(cè)方視野中包含的像素的亮度信號值。nc是前方視野中包含的像素的像素數(shù),na是側(cè)方視野中包含的像素的像素數(shù)。a是前方視野的權(quán)重系數(shù),b是側(cè)方視野的權(quán)重系數(shù)。rc是與前方視野對應的區(qū)域,ra是與側(cè)方視野對應的區(qū)域。和(σ)是與屬于各區(qū)域的像素有關的和。
測光部416將關注區(qū)域的權(quán)重系數(shù)設定為與關注區(qū)域以外的權(quán)重系數(shù)相比相對較大的系數(shù)。例如,在側(cè)方區(qū)域為關注區(qū)域的情況下,a<b。并且,測光部416根據(jù)彎曲角度(或彎曲運動量)來設定權(quán)重系數(shù)。具體而言,彎曲角度(或彎曲運動量)越大,側(cè)方視野的權(quán)重系數(shù)b越大于前方視野的權(quán)重系數(shù)a。
在關注區(qū)域設定部413未設定關注區(qū)域的情況下,測光部416計算從同時化部412輸入的圖像信號的有效像素區(qū)域的亮度平均值。測光部416將計算出的關注區(qū)域的亮度加算平均值ywa轉(zhuǎn)送到控制部420。
如上式(9)中說明的那樣,調(diào)光控制部計算表示關注區(qū)域的明亮度的第1明亮度信息(亮度信號值ya(x,y))和表示關注區(qū)域以外的區(qū)域的明亮度的第2明亮度信息(亮度信號值yc(x,y))。調(diào)光控制部分別利用第1權(quán)重系數(shù)b和第2權(quán)重系數(shù)a對第1明亮度信息和第2明亮度信息進行加權(quán)相加,根據(jù)所得到的加權(quán)相加值進行調(diào)光控制。調(diào)光控制部使用比第2權(quán)重系數(shù)a大的系數(shù)作為第1權(quán)重系數(shù)b。
這樣,主要通過調(diào)光來控制關注區(qū)域的明亮度,并且,還能夠通過調(diào)光來控制整個圖像的明亮度。由此,能夠提高關注區(qū)域的視覺辨認性,并且還能夠提高整個圖像的視覺辨認性。
根據(jù)以上的實施方式,如圖20所示,狀態(tài)信息取得部430具有彎曲角度檢測部431。彎曲角度檢測部431取得表示鏡體前端部的彎曲角度(圖21(a)~圖21(c)的角度θ)的彎曲角度信息作為狀態(tài)信息。關注區(qū)域設定部413根據(jù)所取得的彎曲角度信息設定關注區(qū)域。
這樣,能夠根據(jù)彎曲角度來推測手術醫(yī)生感興趣的觀察區(qū)域,通過對該區(qū)域的明亮度進行調(diào)光控制,能夠提供手術醫(yī)生容易觀察的圖像。
并且,在本實施方式中,關注區(qū)域設定部413在判斷為彎曲角度大于閾值的情況下,將攝像圖像中的與側(cè)方視野對應的區(qū)域設定為關注區(qū)域。
這樣,在側(cè)方視野存在病變的情況下,手術醫(yī)生認為要對鏡體前端進行彎曲操作,所以,能夠?qū)⒃搨?cè)方視野設定為關注區(qū)域。并且,能夠?qū)澢嵌容^小的(閾值以下的)微小的彎曲操作推測為誤差或前方視野的微調(diào)整。因此,通過進行閾值判定,能夠防止不必要的測光對象區(qū)域的切換。
這里,與前方視野對應的區(qū)域是對前方視野的被攝體進行了攝像的區(qū)域,例如是對物鏡光學系統(tǒng)的光軸方向的被攝體進行了攝像的區(qū)域。例如,在光軸與圖像中心一致的情況下,與前方視野對應的區(qū)域是包含圖像中心的中央?yún)^(qū)域。
并且,與側(cè)方視野對應的區(qū)域是對側(cè)方視野的被攝體進行了攝像的區(qū)域,例如是對與物鏡光學系統(tǒng)的光軸正交的方向的被攝體進行了攝像的區(qū)域。例如,在光軸與圖像中心一致的情況下,與側(cè)方視野對應的區(qū)域是上述中央?yún)^(qū)域的周邊區(qū)域。
并且,在本實施方式中,關注區(qū)域設定部413將攝像圖像中的與側(cè)方視野對應的區(qū)域設定為關注區(qū)域。如上式(9)中說明的那樣,彎曲角度越大,調(diào)光控制部越將第1權(quán)重系數(shù)b設為大于第2權(quán)重系數(shù)a。
這樣,彎曲角度越大,越能夠推測為手術醫(yī)生正在關注側(cè)方視野,所以,通過增大該區(qū)域的權(quán)重系數(shù)而進行測光處理,能夠提供手術醫(yī)生容易觀察的圖像。
并且,在本實施方式中,如圖20所示,狀態(tài)信息取得部430具有彎曲運動量檢測部432。彎曲運動量檢測部432取得表示鏡體前端部的彎曲運動量(圖21(a)~圖21(c)的角度θ的每單位時間的變化)的彎曲運動量信息作為狀態(tài)信息。關注區(qū)域設定部413根據(jù)所取得的彎曲運動量信息設定關注區(qū)域。
這樣,能夠根據(jù)彎曲運動量來推測手術醫(yī)生感興趣的觀察區(qū)域,通過對該區(qū)域的明亮度進行調(diào)光控制,能夠提供手術醫(yī)生容易觀察的圖像。
并且,在本實施方式中,關注區(qū)域設定部在判斷為彎曲運動量大于閾值的情況下,將攝像圖像中的與側(cè)方視野對應的區(qū)域設定為關注區(qū)域。
這樣,在側(cè)方視野存在病變的情況下,手術醫(yī)生認為要對鏡體前端進行彎曲操作,所以,能夠?qū)⒃搨?cè)方視野設定為關注區(qū)域。并且,能夠?qū)澢\動量較小的(閾值以下的)微小的彎曲操作推測為誤差或前方視野的微調(diào)整。因此,通過進行閾值判定,能夠防止不必要的測光對象區(qū)域的切換。
并且,在本實施方式中,關注區(qū)域設定部413將攝像圖像中的與側(cè)方視野對應的區(qū)域設定為關注區(qū)域。如上式(9)中說明的那樣,彎曲運動量越大,調(diào)光控制部越將第1權(quán)重系數(shù)b設為大于第2權(quán)重系數(shù)a。
這樣,彎曲運動量越大,越能夠推測為手術醫(yī)生正在關注側(cè)方視野,所以,通過增大該區(qū)域的權(quán)重系數(shù)而進行測光處理,能夠提供手術醫(yī)生容易觀察的圖像。
5.第4實施方式
5.1.內(nèi)窺鏡裝置
對根據(jù)從光源的射出光量估計出的到被攝體的距離信息來設定關注區(qū)域的第4實施方式進行說明。
圖23示出第4實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對與圖3等中說明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標注相同標號并適當省略說明。
控制裝置400包括圖像處理部410、控制部420、狀態(tài)信息取得部430。狀態(tài)信息取得部430與圖像處理部410連接。控制部420與光源光圈驅(qū)動部103、旋轉(zhuǎn)驅(qū)動部105、圖像處理部410、狀態(tài)信息取得部430、外部i/f部550連接,進行它們的控制。
在本實施方式中,在調(diào)光處理工作的狀態(tài)下取得光源部100的射出光量的信息,根據(jù)該射出光量的信息來估計與被攝體之間的距離信息,根據(jù)該距離信息,自適應地控制關注區(qū)域或關注區(qū)域以外的區(qū)域的測光處理。
5.2.狀態(tài)信息取得部
對估計與被攝體的距離并根據(jù)該距離設定關注區(qū)域的方法進行詳細說明。
手術醫(yī)生在使用內(nèi)窺鏡裝置的觀察中發(fā)現(xiàn)被推測為病變部的區(qū)域時,使插入部300的前端接近該區(qū)域。該情況下,來自被攝體的反射光量變強,攝像的圖像信號變亮。在本實施方式中,狀態(tài)信息取得部430進行調(diào)光處理,經(jīng)由控制部420對光源光圈驅(qū)動部103進行控制,縮小光源光圈102的開口面積,直到圖像成為目標觀察明亮度為止。
另一方面,在插入部300的前端與觀察區(qū)域分開的狀態(tài)下,來自被攝體的反射光量變?nèi)?,所攝像的圖像信號變暗。狀態(tài)信息取得部430經(jīng)由控制部420對光源光圈驅(qū)動部103進行控制,擴大光源光圈102的開口面積,直到圖像成為目標觀察明亮度為止。即,在調(diào)光處理中,光源光圈102的開口面積較小的情況是插入部300的前端和被攝體接近的狀態(tài),光源光圈102的開口面積較大的情況是插入部300的前端和被攝體分開的狀態(tài)。
在本實施方式中,為了對被攝體的更寬的范圍進行觀察,如前面圖1中所述的那樣,使用能夠在前方物體的觀察的同時進行側(cè)方(包含大致側(cè)方)物體的觀察的物鏡光學系統(tǒng)。因此,如前面圖2(b)中所述的那樣,顯示將圖像中心的坐標(n/2,m/2)作為區(qū)域中心的前方視野(中央部)和側(cè)方視野(周邊部)。
如圖24(a)、圖24(b)所示,在手術醫(yī)生發(fā)現(xiàn)被推測為病變部的區(qū)域的情況下,通常,該病變部與圖像信號的中央部(前方視野)一致。但是,如圖24(c)、圖24(d)所示,在對腸等細長的管腔狀部位進行診察的情況下,由于空間區(qū)域的限制,很難使病變部與圖像信號的前方視野一致。即,由于空間狹窄,很難使插入部300的前端旋轉(zhuǎn)。因此,如圖24(d)所示,病變部僅與圖像信號的側(cè)方視野一致。
因此,在本實施方式中,根據(jù)光源光圈102的開口信息來判定鏡體前端是否接近被攝體。在判定為接近的情況下,根據(jù)測光模式將前方視野區(qū)域或側(cè)方視野區(qū)域設定為關注區(qū)域,進行該關注區(qū)域的調(diào)光控制。
具體而言,狀態(tài)信息取得部430經(jīng)由控制部420取得光源光圈102的開口面積(廣義地講為開口信息),在開口面積為規(guī)定閾值以下的情況下,判定為處于插入部300的前端“接近”關注區(qū)域的狀態(tài)。狀態(tài)信息取得部430將判定結(jié)果作為狀態(tài)信息轉(zhuǎn)送到關注區(qū)域設定部413。
在本實施方式中,按照前面圖24(a)等中所述的觀察狀況,準備多個測光模式。測光模式由手術醫(yī)生經(jīng)由外部i/f部550設定。例如,在手術醫(yī)生希望關注圖像信號的前方視野的情況下,將測光模式設定為“前方模式”。
關注區(qū)域設定部413根據(jù)從狀態(tài)信息取得部430轉(zhuǎn)送的狀態(tài)信息、測光模式來設定關注區(qū)域。具體而言,在測光模式為“前方模式”、且判斷為鏡體前端“接近”被攝體的情況下,關注區(qū)域設定部413將以圖像中心的坐標(n/2,m/2)為區(qū)域中心的前方視野設定為關注區(qū)域。并且,在測光模式為“側(cè)方模式”、且判斷為鏡體前端“接近”被攝體的情況下,關注區(qū)域設定部413將側(cè)方視野設定為關注區(qū)域。并且,在未判斷為鏡體前端“接近”被攝體的情況下,不設定關注區(qū)域。關注區(qū)域設定部413將所設定的關注區(qū)域轉(zhuǎn)送到測光部416。
這樣,根據(jù)光源的光圈狀況,自適應地設定關注區(qū)域(前方視野或側(cè)方視野),通過進行該關注區(qū)域的調(diào)光控制,提高手術醫(yī)生對病變部的視覺辨認性。
5.3.變形例
在上述實施方式中,根據(jù)光源光圈102的開口狀況而自適應地進行測光處理,但是,本實施方式不限于此。例如,也可以使用led光源,根據(jù)該led光源的光量控制信息(例如驅(qū)動電流)進行測光處理。
圖25示出進行這種處理的情況下的內(nèi)窺鏡裝置的變形結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對與圖3等中說明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標注相同標號并適當省略說明。
光源部100包括白色光源101、旋轉(zhuǎn)濾色鏡104、旋轉(zhuǎn)驅(qū)動部105、會聚透鏡106、對光源的射出光量進行控制的光源控制部107。白色光源101由led光源構(gòu)成。光源控制部107根據(jù)來自控制部420的控制信號對led光源的射出光量的強度進行控制??刂撇?20根據(jù)上式(6)中說明的調(diào)整系數(shù)lc對射出光量進行調(diào)整。
關注區(qū)域設定部413根據(jù)來自控制部420的射出光量的控制信號來設定關注區(qū)域。即,在射出光量小于閾值的情況下,判斷為鏡體前端接近被攝體,設定與測光模式對應的關注區(qū)域。測光部416進行所設定的關注區(qū)域的測光處理。
根據(jù)以上的實施方式,狀態(tài)信息取得部430根據(jù)對被攝體進行照明的光源部100的射出光量取得表示被攝體與鏡體前端部之間的距離的距離信息。關注區(qū)域設定部413將距離信息作為狀態(tài)信息來設定關注區(qū)域。
具體而言,關注區(qū)域設定部413在判斷為距離比閾值近的情況下設定關注區(qū)域。
更具體而言,內(nèi)窺鏡裝置包括模式設定部(圖23的控制部420)和調(diào)光控制部(圖23的狀態(tài)信息取得部430和控制部420)。模式設定部設定第1測光模式(前方模式)或第2測光模式(側(cè)方模式)。調(diào)光控制部通過控制光源部100的光圈(圖23的光源光圈102)的開口面積,對射出光量進行控制。距離信息是由調(diào)光控制部控制的開口面積。在第1測光模式中判斷為開口面積小于閾值的情況下,關注區(qū)域設定部413將攝像圖像中的與前方視野對應的區(qū)域設定為關注區(qū)域。在第2測光模式中判斷為開口面積小于閾值的情況下,關注區(qū)域設定部413將攝像圖像中的與側(cè)方視野對應的區(qū)域設定為關注區(qū)域。調(diào)光控制部根據(jù)所設定的關注區(qū)域的明亮度對開口面積進行控制。
這樣,由于認為鏡體前端接近的區(qū)域是手術醫(yī)生希望觀察的區(qū)域,所以,通過根據(jù)距離來設定關注區(qū)域,能夠適當?shù)貙κ中g醫(yī)生希望觀察的區(qū)域進行調(diào)光控制。并且,由于通過調(diào)光控制使圖像的明亮度保持恒定,所以,不是根據(jù)圖像,而是根據(jù)調(diào)光控制來估計距離,由此,能夠判定鏡體前端是否接近被攝體。
6.第5實施方式
6.1.內(nèi)窺鏡裝置
對根據(jù)從圖像的明亮度估計出的到被攝體的距離信息來設定關注區(qū)域的第5實施方式進行說明。
第5實施方式的內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,結(jié)構(gòu)與圖3中說明的第1實施方式相同。下面,適當省略動作或處理與第1實施方式相同的結(jié)構(gòu)要素的說明。
圖像處理部410包括預處理部411、同時化部412、關注區(qū)域設定部413、后處理部415、測光部416、灰度轉(zhuǎn)換部419。另外,結(jié)構(gòu)與圖6中說明的第1實施方式相同。
認為圖像信號中相對明亮的區(qū)域是插入部300的前端與被攝體的距離較近的區(qū)域。因此,在本實施方式中,按照圖像信號中的每個局部區(qū)域計算明亮度,將該多個局部區(qū)域中的相對明亮的局部區(qū)域設定為關注區(qū)域。
6.2.關注區(qū)域設定部
圖26示出第5實施方式的關注區(qū)域設定部413的詳細結(jié)構(gòu)例。關注區(qū)域設定部413包括亮度換算部441、加法部442、確定部443。同時化部412與亮度換算部441連接。亮度換算部441與加法部442連接。加法部442與確定部443連接。確定部443與測光部416連接??刂撇?20與亮度換算部441、加法部442、確定部443雙向連接。
如圖27所示,亮度換算部441通過上式(1)計算同時化后的圖像信號的取樣像素的亮度信號值yi(x,y),將該取樣像素的亮度信號值yi(x,y)轉(zhuǎn)送到加法部442。
加法部442分別在前方視野和側(cè)方視野中通過下式(10)對取樣像素的亮度信號yi(x,y)進行相加平均,計算前方視野的明亮度測定值ydf和側(cè)方視野的明亮度測定值yds。這里,設圖像信號的中心坐標(n/2,m/2)為原點,將規(guī)定半徑內(nèi)的像素設定為前方視野,將除此以外的像素設定為側(cè)方視野。
【數(shù)學式10】
這里,m是前方視野的取樣像素數(shù)(常數(shù)),n是側(cè)方視野的取樣像素數(shù)(常數(shù))。它們根據(jù)圖像信號的視場角大小來設定。a(x,y)、b(x,y)是權(quán)重系數(shù)。
另外,在上述實施方式中,分割為前方視野和側(cè)方視野這2個區(qū)域來計算各個視野的明亮度測定值,但是,本實施方式不限于此。例如,在使插入部300的前端的側(cè)方接近被攝體進行觀察的情況下,該側(cè)方視野全部變亮的可能性較低。如圖28所示,假定這種情況,例如也可以將側(cè)方視野進一步分割為多個區(qū)域,對各區(qū)域中包含的取樣像素的亮度信號yi(x,y)進行相加平均,計算各區(qū)域的明亮度測定值。該情況下,設計算出的多個側(cè)方區(qū)域的明亮度測定值中的最大值為側(cè)方區(qū)域的明亮度測定值yds。例如,在圖28中,側(cè)方視野3的明亮度測定值為最大值。該情況下,將側(cè)方視野3的明亮度測定值作為側(cè)方區(qū)域的明亮度測定值yds轉(zhuǎn)送到確定部443。
確定部443根據(jù)由加法部442計算出的明亮度測定值ydf、yds來設定關注區(qū)域。具體而言,在前方視野的明亮度測定值ydf大于規(guī)定閾值的情況下,確定部443將與前方視野對應的區(qū)域設定為關注區(qū)域。并且,在側(cè)方視野的明亮度測定值yds大于規(guī)定閾值的情況下,確定部443將與側(cè)方視野對應的區(qū)域設定為關注區(qū)域。在明亮度測定值ydf、yds均大于規(guī)定閾值的情況下,將更明亮的區(qū)域設定為關注區(qū)域。確定部443將所設定的關注區(qū)域信息轉(zhuǎn)送到測光部416。
另外,在如圖28中說明的那樣分割側(cè)方視野的情況下,將分割后的區(qū)域設定為關注區(qū)域。具體而言,在分割后的側(cè)方視野中的測定值yds最大的區(qū)域的測定值yds大于規(guī)定閾值的情況下,確定部443將該區(qū)域設定為關注區(qū)域。
根據(jù)上述實施方式,根據(jù)圖像信號的明亮度估計插入部300的前端與被攝體的距離,通過根據(jù)該距離自適應地對前方視野和側(cè)方視野進行調(diào)光處理,能夠提高手術醫(yī)生對病變部的視覺辨認性。
根據(jù)以上的實施方式,關注區(qū)域設定部413具有距離信息取得部(圖26的亮度換算部441、加法部442)。距離信息取得部根據(jù)攝像圖像的明亮度(例如亮度信號yi(x,y))取得表示被攝體與鏡體前端部之間的距離的距離信息。關注區(qū)域設定部413根據(jù)所取得的距離信息來設定關注區(qū)域。
具體而言,距離信息取得部計算與攝像圖像的像素的亮度有關的亮度特征量(例如由亮度換算部441(廣義地講為亮度特征量計算部)進行計算),根據(jù)計算出的亮度特征量取得距離信息。
更具體而言,距離信息取得部將攝像圖像分割為多個區(qū)域(例如與前方視野對應的區(qū)域和與側(cè)方視野對應的區(qū)域),取得分割后的各區(qū)域的明亮度(明亮度測定值ydf、yds)作為距離信息。關注區(qū)域設定部413將該多個區(qū)域中的最亮的區(qū)域作為與鏡體前端部最近的區(qū)域而設定為關注區(qū)域。
這樣,根據(jù)圖像的明亮度設定關注區(qū)域,能夠?qū)υ撽P注區(qū)域的明亮度進行調(diào)光控制。即,當鏡體前端接近手術醫(yī)生希望觀察的區(qū)域時,該區(qū)域通過照明而變亮,所以,能夠根據(jù)圖像的明亮度來設定關注區(qū)域。
7.第6實施方式
7.1.內(nèi)窺鏡裝置
對通過特殊光來檢測病變區(qū)域并將檢測到的病變區(qū)域設定為關注區(qū)域的第6實施方式進行說明。
圖29示出第6實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對與圖3等中說明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標注相同標號并適當省略說明。
光源部100包括白色光源101、光源光圈102、光源光圈驅(qū)動部103、會聚透鏡106。與第1實施方式相比,刪除旋轉(zhuǎn)濾色鏡104、旋轉(zhuǎn)驅(qū)動部105。
插入部300包括光導纖維301、照明透鏡314、315、物鏡光學系統(tǒng)303。并且,插入部300包括將由物鏡光學系統(tǒng)303會聚的反射光分離為2個光的半透半反鏡309、檢測分離后的反射光的第1攝像元件304和第2攝像元件310、第1a/d轉(zhuǎn)換部305、第2a/d轉(zhuǎn)換部311。
a/d轉(zhuǎn)換部311將由第2攝像元件310檢測到的模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號。
第1攝像元件304是bayer型排列的攝像元件。如圖30所示,第2攝像元件310是將2種濾色鏡nb、ng配置在方格上的攝像元件。如圖31所示,各濾色鏡nb、ng具有透射窄帶光的特性。例如,濾色鏡nb具有透射390~445nm的光的特性,濾色鏡ng具有透射530~550nm的光的特性。例如,第1攝像元件304和第2攝像元件310的像素數(shù)相同。
控制裝置400包括圖像處理部410和控制部420。a/d轉(zhuǎn)換部305、311將轉(zhuǎn)換為數(shù)字方式的圖像信號轉(zhuǎn)送到圖像處理部410。圖像處理部410將處理后的圖像信號轉(zhuǎn)送到顯示部500??刂撇?20與光源光圈驅(qū)動部103、圖像處理部410、外部i/f部550連接,進行它們的控制。
7.2.圖像處理部
圖32示出第6實施方式的圖像處理部410的詳細結(jié)構(gòu)例。圖像處理部410包括第1預處理部411、第2預處理部418、第1同時化部412、第2同時化部417、關注區(qū)域設定部413、后處理部415、測光部416、灰度轉(zhuǎn)換部419。另外,由于預處理部411、灰度轉(zhuǎn)換部419、后處理部415、測光部416的處理與第1實施方式相同,所以省略說明。
同時化部412與灰度轉(zhuǎn)換部419和測光部416連接。預處理部418與同時化部417連接。同時化部417與關注區(qū)域設定部413連接。關注區(qū)域設定部413與測光部416連接。并且,控制部420與預處理部418、同時化部417雙向連接,進行它們的控制。
同時化部412對由預處理部411進行處理后的圖像信號實施同時化處理。如上所述,由第1攝像元件304取得的圖像信號是bayer型排列的單板圖像信號。同時化部412使用插值處理,根據(jù)單板圖像信號生成rgb的3板圖像信號。例如,作為插值處理,使用公知的雙三次插值處理即可。下面,將同時化部412所輸出的圖像信號稱為通常光圖像。
預處理部418針對從a/d轉(zhuǎn)換部311輸入的圖像信號,使用控制部420中預先保存的ob鉗位值、增益校正值、wb系數(shù)值進行ob鉗位處理、增益校正處理、wb校正處理。預處理部418將實施了預處理后的圖像信號轉(zhuǎn)送到同時化部417。
同時化部417對由預處理部418進行處理后的圖像信號實施同時化處理。如前面圖30中所述的那樣,第2攝像元件310是將2種濾色鏡nb、ng配置在方格上的攝像元件。因此,由預處理部418進行處理后的圖像信號是圖33所示的單板圖像信號。在圖33中,由濾色鏡nb取得的圖像信號表示為b2,由濾色鏡ng取得的圖像信號表示為g2。
同時化部417通過下式(11)、(12),根據(jù)該單板圖像信號生成b2圖像信號和g2圖像信號。b2圖像信號是全部像素中具有b2信號的圖像信號,g2圖像信號是全部像素中具有g2信號的圖像信號。例如,圖33的g2(1,1)的位置處的nb濾鏡的圖像信號b2(1,1)使用下式(11)計算即可。并且,圖33的b2(1,2)的位置處的ng濾鏡的圖像信號g2(1,2)使用下式(12)計算即可。
【數(shù)學式11】
b2(1,1)={b2(0,1)+b2(1,0)+b2(1,2)+b2(2,1)}/4(11)
【數(shù)學式12】
g2(1,2)={g2(0,2)+g2(1,1)+g2(1,3)+g2(2,2)}/4(12)
同時化部417使用通過上式(11)、(12)生成的b2圖像信號和g2圖像信號,生成rgb的3板圖像信號。具體而言,同時化部417使用g2圖像信號作為r圖像信號、使用b2圖像信號作為g、b圖像信號,從而生成3板圖像信號。下面,將由同時化部417輸出的圖像信號稱為窄帶光圖像(廣義地講為特殊光圖像)。
關注區(qū)域設定部413通過后述方法,從窄帶光圖像中檢測病變區(qū)域,根據(jù)該病變區(qū)域來設定關注區(qū)域。在窄帶光圖像上,具有扁平上皮癌等病變部被描繪成褐色區(qū)域的特征。因此,通過從窄帶光圖像中檢測具有特定色相的區(qū)域(褐色區(qū)域),能夠檢測病變區(qū)域。
7.3.關注區(qū)域設定部
圖34示出第6實施方式的關注區(qū)域設定部413的詳細結(jié)構(gòu)例。關注區(qū)域設定部413包括局部區(qū)域設定部451、特征量計算部452、病變區(qū)域檢測部453、貼標簽處理部454、區(qū)域選出部455、坐標計算部456、對應部457、測光處理條件設定部459。
同時化部417與局部區(qū)域設定部451連接。局部區(qū)域設定部451與特征量計算部452和對應部457連接。特征量計算部452與病變區(qū)域檢測部453連接。病變區(qū)域檢測部453與貼標簽處理部454連接。貼標簽處理部454與區(qū)域選出部455連接。區(qū)域選出部455與坐標計算部456連接。坐標計算部456與對應部457連接。對應部457與測光處理條件設定部459連接。測光處理條件設定部459與測光部416連接。
局部區(qū)域設定部451針對從同時化部417輸出的窄帶光圖像設定多個局部區(qū)域。下面,以將窄帶光圖像分割為矩形區(qū)域并將分割后的各區(qū)域設定為局部區(qū)域的情況為例進行說明。
如圖35所示,例如將5×5像素設為1個局部區(qū)域。設窄帶圖像信號由m×n個局部區(qū)域構(gòu)成,用(m,n)表示各區(qū)域的坐標。并且,用a(m,n)表示坐標(m,n)的局部區(qū)域。并且,設位于圖像的左上方的局部區(qū)域的坐標為(0,0),將右方向定義為m的正方向,將下方向定義為n的正方向。另外,為了削減計算量,將由多個相鄰的像素群構(gòu)成的區(qū)域作為一個局部區(qū)域,但是,也可以將1個像素作為1個局部區(qū)域。該情況下,后面的處理相同。
局部區(qū)域設定部451將局部區(qū)域的大小和全部局部區(qū)域的坐標輸出到特征量計算部452。局部區(qū)域設定部451將全部局部區(qū)域的坐標和與該坐標對應的窄帶光圖像上的坐標輸出到對應部457。這里,窄帶光圖像上的坐標是指存在于局部區(qū)域的中心的像素的坐標。
特征量計算部452根據(jù)由局部區(qū)域設定部451設定的全部局部區(qū)域計算特征量。下面,以使用色相作為特征量的情況為例進行說明。
將局部區(qū)域a(m,n)的色相表記為h(m,n)。為了計算h(m,n),特征量計算部452首先計算各局部區(qū)域中的r、g、b信號的平均值r_ave、g_ave、b_ave。這里,r_ave是各局部區(qū)域所包含的全部像素的r信號的平均值。g_ave、b_ave也同樣。例如,各信號值為8比特(0~255)。
特征量計算部452例如使用下式(13)~(18),根據(jù)r_ave、g_ave、b_ave計算各局部區(qū)域的色相h(m,n)。首先,通過下式(13)求出max。
【數(shù)學式13】
max=max(r_ave,g_ave,b_ave)(13)
這里,max()函數(shù)是輸出括弧內(nèi)的多個自變量中的最大值的函數(shù)。
在max為0的情況下,通過下式(14)計算色相h。
【數(shù)學式14】
h=0(14)
在max為0以外的情況下,通過下式(15)計算d。
【數(shù)學式15】
d=max(r_ave,g_ave,b_ave)-min(r_ave,g_ave,b_ave)(15)
這里,min()函數(shù)是輸出括弧內(nèi)的多個自變量中的最小值的函數(shù)。
在r_ave、g_ave、b_ave中的r_ave最大的情況下,通過下式(16)計算色相h。
【數(shù)學式16】
h=60×(g_ave-b_ave)÷d(16)
在r_ave、g_ave、b_ave中的g_ave最大的情況下,通過下式(17)計算色相h。
【數(shù)學式17】
h=60×{2+(b_ave-r_ave)}÷d(17)
在r_ave、g_ave、b_ave中的b_ave最大的情況下,通過下式(18)計算色相h。
【數(shù)學式18】
h=60×{2+(r_ave-g_ave)}÷d(18)
另外,在h<0的情況下,將h加上360。并且,在h=360的情況下,設h=0。
病變區(qū)域檢測部453將具有特定色相h的局部區(qū)域檢測為病變區(qū)域,將檢測為病變區(qū)域的全部局部區(qū)域的坐標輸出到貼標簽處理部454。例如,病變區(qū)域檢測部453將色相h具有5~35的值的區(qū)域(相當于褐色區(qū)域)檢測為病變區(qū)域。
貼標簽處理部454對由病變區(qū)域檢測部453輸出的病變區(qū)域中的相互相鄰的病變區(qū)域賦予相同的標簽。下面,將賦予相同標簽的病變區(qū)域的集合稱為病變區(qū)域群。貼標簽處理部454計算賦予相同標簽的病變區(qū)域群的大小。這里,病變區(qū)域群的大小只要設為賦予相同標簽的病變區(qū)域的數(shù)量即可。另外,不限于此,病變區(qū)域群的大小也可以表示病變區(qū)域群的面積的信息。
使用圖36詳細說明貼標簽處理部454進行的處理。例如在檢測到圖36所示的病變區(qū)域的情況下,對屬于a1所示的區(qū)域的病變區(qū)域賦予標簽1。同樣,對屬于a2所示的區(qū)域的病變區(qū)域賦予標簽2,對屬于a3所示的區(qū)域的病變區(qū)域賦予標簽3。貼標簽處理部454計算賦予相同標簽的病變區(qū)域群的大小。賦予標簽1的病變區(qū)域群1(a1)的大小為7。同樣,病變區(qū)域群2(a2)的大小為3,病變區(qū)域群3(a3)的大小為2。
區(qū)域選出部455選出由貼標簽處理部454賦予了標簽的多個病變區(qū)域群中的具有最大尺寸的病變區(qū)域群作為關注區(qū)域。然后,將該關注區(qū)域中包含的全部局部區(qū)域的坐標輸出到坐標計算部456。在圖36的情況下,選出a1所示的病變區(qū)域群1作為關注區(qū)域。
坐標計算部456根據(jù)由區(qū)域選出部455輸出的全部局部區(qū)域坐標計算局部區(qū)域坐標的最大值(mmax,nmax)和最小值(mmin,nmin),將計算出的值輸出到對應部457。
具體而言,設由區(qū)域選出部455輸出的全部局部區(qū)域的數(shù)量為k,為了簡便,將該全部局部區(qū)域表示為a(m1,n1)~a(mk,nk)。該情況下,坐標計算部456通過下式(19)計算局部區(qū)域坐標的最大值(mmax,nmax)和最小值(mmin,nmin)。
【數(shù)學式19】
對應部457計算與該最大值(mmax,nmax)、最小值(mmin,nmin)對應的窄帶光圖像的坐標。具體而言,根據(jù)由局部區(qū)域設定部451輸出的局部區(qū)域和窄帶光圖像的坐標的對應關系來計算該坐標。下面,將與(mmax,nmax)、(mmin,nmin)對應的窄帶光圖像的坐標表示為(xmax,ymax)、(xmin,ymin)。對應部457將坐標(xmax,ymax)、(xmin,ymin)輸出到測光處理條件設定部459。
測光處理條件設定部459決定作為測光處理對象的關注區(qū)域的條件即測光處理條件,將該測光處理條件輸出到測光部416。具體而言,測光處理條件設定部459通過下式(20)計算關注區(qū)域的中心坐標(x0,y0),通過下式(21)計算關注區(qū)域的半徑r,將計算出的中心坐標(x0,y0)和半徑r作為測光處理條件。在圖36說明的例子中,如圖所示,將半徑r的圓內(nèi)設定為測光對象的關注區(qū)域。
【數(shù)學式20】
【數(shù)學式21】
這里,int()是返回括弧內(nèi)的實數(shù)的整數(shù)值的函數(shù)。
根據(jù)以上的實施方式,關注區(qū)域設定部413根據(jù)攝像圖像計算特征量(例如色相值),根據(jù)具有規(guī)定特征量(例如色相值5~35的范圍)的區(qū)域來設定關注區(qū)域。
這樣,根據(jù)病變部中出現(xiàn)的特征性的圖像的特征量來設定關注區(qū)域,能夠?qū)υ撽P注區(qū)域的明亮度進行調(diào)光控制。由此,手術醫(yī)生能夠以適當?shù)拿髁炼葘Σ∽儾窟M行觀察。
并且,在本實施方式中,如圖36等中說明的那樣,關注區(qū)域設定部413選擇具有規(guī)定特征量的區(qū)域中的面積最大的區(qū)域,將包含選擇出的區(qū)域的圓形區(qū)域設定為關注區(qū)域。
由于手術醫(yī)生使鏡體接近希望觀察的病變部,所以,認為較大地顯示該希望觀察的病變部。因此,通過將大小最大的病變區(qū)域群設定為關注區(qū)域,能夠以適當?shù)拿髁炼蕊@示認為手術醫(yī)生正在關注的區(qū)域。
另外,在上述實施方式中,以特征量是色相值的情況為例進行了說明,但是,本實施方式不限于此。例如,只要特征量能夠識別病變部與其他區(qū)域即可,例如在識別出血部位的情況下,r像素值也可以是特征量。
并且,在上述實施方式中,說明了根據(jù)由貼標簽處理部454貼了標簽的病變區(qū)域群中具有最大尺寸的病變區(qū)域群來設定關注區(qū)域的例子,但是,本實施方式不限于此。例如,也可以根據(jù)由病變區(qū)域檢測部453檢測到的全部病變區(qū)域來設定關注區(qū)域。該情況下,只要區(qū)域選出部455將由貼標簽處理部454輸出的全部病變區(qū)域群中包含的局部區(qū)域的坐標輸出到坐標計算部456即可。
由此,在存在多個病變區(qū)域群的情況下,也能夠以適當?shù)拿髁炼蕊@示全部病變區(qū)域群。
并且,在上述實施方式中,示出使用通常光圖像作為顯示圖像的例子,但是,本實施方式不限于此。例如,也可以使用窄帶光圖像作為顯示圖像。
并且,在本實施方式中,攝像圖像是對具有特定波段的信息的被攝體像進行攝像而得到的特殊光圖像、以及對具有白色光的波段的信息的被攝體像進行攝像而得到的通常光圖像(白色光圖像)。關注區(qū)域設定部413根據(jù)特殊光圖像來設定關注區(qū)域。
調(diào)光控制部根據(jù)所設定的關注區(qū)域進行通常光圖像的調(diào)光控制。
這樣,通過取得與希望檢測的病變部對應的特殊光圖像,容易提取該病變部的特征量,能夠根據(jù)該提取出的特征量來設定關注區(qū)域。并且,對應于根據(jù)特殊光圖像而設定的關注區(qū)域,能夠進行觀察中通常使用的通常光圖像的調(diào)光控制。
并且,在本實施方式中,特定波段是比白色波段(例如380nm~650nm)窄的波段(nbi:narrowbandimaging:窄帶成像)。例如,通常光圖像和特殊光圖像是拍攝出活體內(nèi)的活體內(nèi)圖像,該活體內(nèi)圖像中包含的特定波段是被血液中的血紅蛋白吸收的波長的波段。例如,該被血紅蛋白吸收的波長是390nm~445nm(第1窄帶光nb)或530nm~550nm(第2窄帶光ng)。
由此,能夠?qū)ξ挥诨铙w的表層部和深部的血管的構(gòu)造進行觀察。并且,通過將所得到的信號輸入到特定通道(g2→r、b2→g、b),能夠以褐色等顯示扁平上皮癌等通常光中難以視覺辨認的病變等,能夠抑制病變部的漏看。另外,390nm~445nm或530nm~550nm是根據(jù)被血紅蛋白吸收這樣的特性、以及分別到達活體的表層部或深部這樣的特性而得到的數(shù)字。但是,該情況下的波段不限于此,例如,根據(jù)與血紅蛋白的吸收和到達活體的表層部或深部有關的實驗結(jié)果等的變動原因,認為波段的下限值減少0~10%左右,上限值上升0~10%左右。
并且,在本實施方式中,也可以是,通常光圖像和特殊光圖像是拍攝出活體內(nèi)的活體內(nèi)圖像,該活體內(nèi)圖像中包含的特定波段是熒光物質(zhì)發(fā)出的熒光的波段。例如,特定波段也可以是490nm~625nm的波段。
由此,能夠進行被稱為afi(autofluorescenceimaging:自體熒光成像)的熒光觀察。在該熒光觀察中,通過照射激勵光(390nm~470nm),能夠?qū)碜怨悄z原等熒光物質(zhì)的自體熒光(intrinsicfluorescence。490nm~625nm)進行觀察。在這種觀察中,能夠以與正常粘膜不同的色調(diào)對病變進行強調(diào)顯示,能夠抑制病變部的漏看等。另外,490nm~625nm表示照射上述激勵光時由骨膠原等熒光物質(zhì)發(fā)出的自體熒光的波段。但是,該情況下的波段不限于此,例如,根據(jù)與熒光物質(zhì)發(fā)出的熒光的波段有關的實驗結(jié)果等的變動原因,認為波段的下限值減少0~10%左右,上限值上升0~10%左右。并且,也可以同時照射被血紅蛋白吸收的波段(540nm~560nm),生成虛擬彩色圖像。
并且,在本實施方式中,活體內(nèi)圖像中包含的特定波段也可以是紅外光的波段。例如,特定波段也可以是790nm~820nm或905nm~970nm的波段。
由此,能夠進行被稱為iri(infraredimaging:紅外成像)的紅外光觀察。在該紅外光觀察中,通過在靜脈注射容易吸收紅外光的紅外標識藥劑即icg(吲哚菁綠)后照射上述波段的紅外光,能夠?qū)θ庋垭y以視覺辨認的粘膜深部的血管或血流信息進行強調(diào)顯示,能夠進行胃癌的深度診斷和治療方針的判定等。另外,790nm~820nm這樣的數(shù)字是根據(jù)紅外標識藥劑的吸收最強這樣的特性求出的,905nm~970nm這樣的數(shù)字是根據(jù)紅外標識藥劑的吸收最弱這樣的特性求出的。但是,該情況下的波段不限于此,例如,根據(jù)與紅外標識藥劑的吸收有關的實驗結(jié)果等的變動原因,認為波段的下限值減少0~10%左右,上限值上升0~10%左右。
并且,在本實施方式中,也可以包括特殊光圖像取得部,該特殊光圖像取得部根據(jù)所取得的通常光圖像生成特殊光圖像。例如,在圖29中,也可以省略半透半反鏡309、攝像元件310、a/d轉(zhuǎn)換部311,圖32的預處理部418和同時化部417作為特殊光圖像取得部,根據(jù)通常光圖像生成特殊光圖像。
具體而言,特殊光圖像取得部包括信號提取部,該信號提取部從所取得的通常光圖像中提取白色波段中的信號。而且,特殊光圖像取得部也可以根據(jù)提取出的通常光的波段中的信號,生成包含特定波段中的信號的特殊光圖像。例如,信號提取部根據(jù)通常光圖像的rgb信號,按照每10nm估計被攝體的分光反射率特性,特殊光圖像取得部在上述特定波段中乘以該估計出的信號成分,生成特殊光圖像。
更具體而言,特殊光圖像取得部也可以包括矩陣數(shù)據(jù)設定部,該矩陣數(shù)據(jù)設定部根據(jù)通常光的波段中的信號設定用于計算特定波段中的信號的矩陣數(shù)據(jù)。而且,特殊光圖像取得部也可以使用所設定的矩陣數(shù)據(jù),根據(jù)白色波段中的信號計算特定波段中的信號,生成特殊光圖像。例如,矩陣數(shù)據(jù)設定部設定按照每10nm記述特定波段的照射光的分光特性的表數(shù)據(jù)作為矩陣數(shù)據(jù)。而且,在按照每10nm估計出的被攝體的分光反射率特性中乘以該表數(shù)據(jù)中記述的分光特性(系數(shù))進行累積,生成特殊光圖像。
由此,由于能夠根據(jù)通常光圖像生成特殊光圖像,所以,僅通過照射通常光的1個光源和對通常光進行攝像的1個攝像元件就能夠?qū)崿F(xiàn)系統(tǒng)。因此,能夠減小膠囊型內(nèi)窺鏡、鏡體型內(nèi)窺鏡的插入部,并且,由于部件很少即可,所以,還能夠期待降低成本的效果。
8.第7實施方式
8.1.內(nèi)窺鏡裝置
對根據(jù)鏡體id來設定關注區(qū)域的第7實施方式進行說明。
圖37示出第7實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對與圖3等中說明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標注相同標號并適當省略說明。
插入部300包括光導纖維301、照明透鏡314、315、物鏡光學系統(tǒng)303、攝像元件304、a/d轉(zhuǎn)換部305、存儲器313。由于存儲器313以外的各部的結(jié)構(gòu)與第1實施方式相同,所以省略說明。
插入部300一般被稱為鏡體。因此,下面將插入部300適當?shù)胤Q為鏡體。在內(nèi)窺鏡診斷中,根據(jù)要診斷的部位而使用不同的鏡體。例如,在食道或胃的診斷中使用上部消化器鏡體,在大腸的診斷中使用下部消化器鏡體。另一方面,在鏡體的存儲器313中保持各鏡體固有的識別編號(鏡體id)。
控制裝置400包括圖像處理部410、控制部420、狀態(tài)信息取得部430。狀態(tài)信息取得部430參照存儲器313中保持的各鏡體固有的識別編號,識別所連接的鏡體的種類。鏡體的種類例如是上部消化器鏡體或下部消化器鏡體中的某一種。狀態(tài)信息取得部430將識別到的鏡體的種類輸出到后述關注區(qū)域設定部413。
8.2.圖像處理部
圖38示出第7實施方式的圖像處理部410的詳細結(jié)構(gòu)例。圖像處理部410包括預處理部411、同時化部412、關注區(qū)域設定部413、后處理部415、測光部416、灰度轉(zhuǎn)換部419。由于關注區(qū)域設定部413以外的處理與第1實施方式相同,所以省略說明。
關注區(qū)域設定部413根據(jù)由狀態(tài)信息取得部430輸出的鏡體的種類來設定關注區(qū)域。關注區(qū)域的設定方法與第3實施方式相同。具體而言,在鏡體的種類為下部消化器鏡體的情況下,將側(cè)方視野的區(qū)域設定為關注區(qū)域。在鏡體的種類為上部消化器鏡體的情況下,將前方視野的區(qū)域設定為關注區(qū)域。
根據(jù)以上的實施方式,如圖37等中說明的那樣,能夠在內(nèi)窺鏡裝置上裝卸鏡體(插入部300)。狀態(tài)信息取得部430取得用于識別所裝配的鏡體的識別信息(鏡體id)。關注區(qū)域設定部413根據(jù)所取得的識別信息來設定關注區(qū)域。
這樣,通過根據(jù)所連接的鏡體來實施適當?shù)恼{(diào)光控制,手術醫(yī)生能夠以適當?shù)拿髁炼葘Σ∽儏^(qū)域進行觀察。
具體而言,鏡體具有對前方視野和側(cè)方視野進行成像的物鏡光學系統(tǒng)。在識別信息是表示下部消化道用鏡體的識別信息的情況下,關注區(qū)域設定部413將攝像圖像中的與側(cè)方視野對應的區(qū)域設定為關注區(qū)域。
在作為下部消化器鏡體的診斷對象的大腸中,假設位于褶皺背面的病變顯示在圖像的側(cè)方區(qū)域中。因此,通過對與側(cè)方視野對應的區(qū)域的明亮度進行調(diào)光控制,能夠改善病變漏看的危險性。
并且,在本實施方式中,在識別信息是表示上部消化道(例如胃或食道)用鏡體的識別信息的情況下,關注區(qū)域設定部413將攝像圖像中的與前方視野對應的區(qū)域設定為關注區(qū)域。
由于在作為上部消化器的診斷對象的食道或胃中褶皺較少,所以,與側(cè)方視野相比,前方視野在診斷時更為重要。因此,通過對與前方視野對應的區(qū)域的明亮度進行調(diào)光控制,能夠容易看到重要的視野。
9.第8實施方式
9.1.關注區(qū)域設定部
對根據(jù)圖像計算被攝體的運動量(廣義地講為運動信息)并根據(jù)該運動量設定關注區(qū)域的第8實施方式進行說明。
由于內(nèi)窺鏡裝置和圖像處理部410的結(jié)構(gòu)與前面圖3、圖6中所述的第1實施方式相同,所以適當省略說明。下面,對結(jié)構(gòu)與第1實施方式不同的關注區(qū)域設定部413進行詳細說明。
圖39示出第8實施方式的關注區(qū)域設定部413的詳細結(jié)構(gòu)例。關注區(qū)域設定部413包括失真校正部471、圖像存儲器472、運動檢測部473(廣義地講為運動信息取得部)、設定部474。
同時化部412將同時化后的圖像信號輸出到失真校正部471。失真校正部471與圖像存儲器472、運動檢測部473、設定部474連接。運動檢測部473與設定部474連接。設定部474與測光部416連接??刂撇?20與失真校正部471、圖像存儲器472、運動檢測部473、設定部474雙向連接,進行它們的控制。
失真校正部471針對同時化處理后的圖像信號,對作為一種像差的畸變像差(以下適當稱為失真)進行校正。圖40示出失真校正處理前后的圖像例。
具體而言,失真校正部471取得失真校正處理后的圖像的像素坐標。根據(jù)光學系統(tǒng)的失真而預先取得失真校正處理后的圖像尺寸。失真校正部471使用下式(22)將所取得的像素坐標(x,y)轉(zhuǎn)換為以光軸中心為原點的坐標(x’,y’)。
【數(shù)學式22】
這里,(center_x,center_y)是失真校正處理后的光軸中心的坐標。例如,失真校正處理后的光軸中心是失真校正處理后圖像的中心。
接著,失真校正部471根據(jù)轉(zhuǎn)換后的像素坐標(x’,y’),使用下式(23)計算物體高r。
【數(shù)學式23】
r=(x′2+y′2)1/2/max_r(23)
這里,max_r是失真校正處理后的圖像中的最大物體高。
接著,失真校正部471根據(jù)計算出的物體高r來計算像高與物體高之比(r/r)。具體而言,失真校正部471保持比r/r與物體高r之間的關系作為表,通過參照該表,取得與物體高r對應的比r/r。接著,失真校正部471使用下式(24)取得與失真校正處理后的像素坐標(x,y)對應的失真校正處理前的像素坐標(x,y)。
【數(shù)學式24】
這里,(center_x,center_y)是失真校正處理前的光軸中心的坐標。例如,失真校正處理前的光軸中心是失真校正處理前的圖像的中心。
接著,失真校正部471根據(jù)計算出的失真校正處理前的像素坐標(x,y),計算失真校正處理后的像素坐標(x,y)中的像素值。在(x,y)不是整數(shù)的情況下,通過基于周圍像素值的線性插值來計算像素值。失真校正部471對失真校正處理后的圖像的全部像素進行以上處理。失真校正部471將這樣進行失真校正后的圖像輸出到圖像存儲器472和運動檢測部473。
圖像存儲器472保存由失真校正部471進行失真校正后的失真校正后圖像。所保存的失真校正后圖像與失真校正部471輸出新的失真校正后圖像的定時同步地輸出到運動檢測部473。
運動檢測部473根據(jù)由失真校正部471進行失真校正后的失真校正后圖像和圖像存儲器472中保存的失真校正后圖像,檢測圖像的局部運動。下面,為了簡化說明,設前者的失真校正后圖像為當前幀圖像,設后者的失真校正后圖像為前幀圖像。
具體而言,運動檢測部473在當前幀圖像上設定用于檢測局部運動的點即代表點。例如如圖41所示,在當前幀圖像的像素中以一定間隔呈格子狀設定代表點(圖41所示的●)。運動檢測部473計算當前幀圖像與前幀圖像之間的代表點的運動矢量作為局部運動量。例如,使用作為公知技術的塊匹配來檢測運動矢量。運動檢測部473將所設定的代表點的坐標和在各代表點檢測到的運動矢量輸出到設定部474。
設定部474根據(jù)來自失真校正部471的當前幀圖像以及來自運動檢測部473的代表點的坐標和各代表點的運動矢量,設定關注區(qū)域。具體而言,設定部474根據(jù)當前幀圖像和運動矢量判定是否是拔出狀態(tài),如果是拔出狀態(tài),則將側(cè)方視野設定為關注區(qū)域,如果不是拔出狀態(tài),則將前方視野設定為關注區(qū)域。設定部474將所設定的關注區(qū)域輸出到測光部416。
這里,拔出狀態(tài)是指在將內(nèi)窺鏡插入到管腔狀臟器的里面后一邊拔出內(nèi)窺鏡一邊進行觀察的狀態(tài)。由于一般針對大腸進行這種觀察,所以,如果是拔出狀態(tài),則將側(cè)方視野設定為關注區(qū)域,使得容易觀察褶皺背面,如果不是拔出狀態(tài),則將前方視野設定為關注區(qū)域,使得容易進行內(nèi)窺鏡操作。
9.2.拔出狀態(tài)的判定方法
使用圖42(a)~圖42(d)對拔出狀態(tài)的判定方法進行說明。首先,根據(jù)代表點中的運動矢量來檢測運動矢量的消失點。
具體而言,在圖42(a)中,●表示代表點,實線箭頭表示運動矢量,×表示消失點。消失點是以各代表點為始點在沿著各代表點的運動矢量的方向上延長的直線的交點。例如,當觀察對象為內(nèi)徑恒定的圓筒狀、運動矢量僅由內(nèi)窺鏡的運動產(chǎn)生時,在拔出狀態(tài)的情況下,從各代表點延長的直線在消失點這一點交叉。實際上,作為觀察對象的管腔狀臟器的內(nèi)徑并不恒定,并且,運動矢量還由于活體脈動而產(chǎn)生,所以,即使在拔出狀態(tài)下,直線也不會在消失點這一點交叉。因此,將與全部直線之間的距離的平方和作為第1評價值,將該第1評價值最小的點作為消失點候選。當設直線為ax+by+c=0、點為(p,q)時,通過下式(25)求出第1評價值d。
【數(shù)學式25】
這里,上式(25)中的和表示與從代表點延長的全部直線有關的距離的平方的總和。
通過最小二乘法,使用下式(26)計算第1評價值d最小的消失點候選的坐標(xsk,ysk)。
【數(shù)學式26】
這里,當設代表點的坐標為(px,py)、代表點處的運動矢量為(mx,my)時,a=my、b=-mx、c=mxpy-mypx。
接著,在該消失點候選中的第1評價值d為規(guī)定第1閾值以下、該消失點候選存在于圖像內(nèi)的情況下,將該消失點候選作為消失點。在消失點候選不滿足該條件的情況下,判定為無法檢測消失點。
對在該條件下能夠檢測拔出狀態(tài)的理由進行詳細說明。這里,如圖42(b)所示,定義內(nèi)窺鏡前端的移動方向。x方向、y方向、z方向在圖像上分別對應于水平方向、鉛直方向、與水平方向和鉛直方向正交的進深方向。并且,關于x方向、y方向、z方向,將沿著箭頭的運動定義為正運動,將相反的運動定義為負運動。在拔出狀態(tài)下,內(nèi)窺鏡前端為z方向負運動。在不是拔出狀態(tài)、例如內(nèi)窺鏡的前端的運動為x方向正運動的情況下,如圖42(c)所示,由于運動矢量大致平行,所以,該消失點候選存在于圖像外?;蛘?,即使消失點候選存在于圖像內(nèi),該消失點候選中的第1評價值d也成為較大的值。即,根據(jù)消失點候選存在于圖像內(nèi)、第1評價值d小于第1閾值這樣的條件,能夠檢測z方向的運動。
接著,進行是否是拔出狀態(tài)的判定。如圖42(d)所示,在插入了內(nèi)窺鏡的情況下也能夠檢測消失點。因此,根據(jù)從各代表點朝向該消失點的矢量(虛線箭頭)和運動矢量(實線箭頭)進行判定。具體而言,在朝向該消失點的矢量和運動矢量的內(nèi)積為負的代表點為規(guī)定個數(shù)以上的情況下,判定為未檢測到消失點。在未檢測到消失點的情況下,判定為不是拔出狀態(tài)。
接著,設檢測到的消失點坐標中的當前幀圖像的像素值為第2評價值,根據(jù)該第2評價值判定觀察對象是否是管腔狀臟器。在消失點坐標不是整數(shù)的情況下,根據(jù)周圍的像素值,通過線性插值來計算第2評價值。然后,在第2評價值為規(guī)定第2閾值以下的情況下,判定為管腔狀臟器。在觀察對象不是管腔狀而是平坦的情況下,由于當內(nèi)窺鏡前端進行z方向負運動時檢測消失點,所以,需要進行這種判定。
具體而言,在觀察對象為管腔狀的情況下,在當前幀圖像上,由于消失點位于照明光不太能照射到的管腔狀臟器的背面,所以,第2評價值變小。另一方面,在觀察對象為平坦的情況下,在當前幀圖像上,由于消失點位于照明光比較能照射到的區(qū)域,所以,第2評價值變大。由此,通過判定第2評價值是否為第2閾值以下,能夠判定拔出狀態(tài),即一邊相對于管腔狀的觀察對象拔出內(nèi)窺鏡一邊進行觀察。
另外,在上述實施方式中,在判定從拔出狀態(tài)切換為非拔出狀態(tài)的情況下,立即將前方視野設定為關注區(qū)域,但是,本實施方式不限于此。例如,也可以在非拔出狀態(tài)這樣的判定連續(xù)規(guī)定幀的情況下,將前方視野設定為關注區(qū)域。在判定從非拔出狀態(tài)切換為拔出狀態(tài)的情況下也同樣,可以在拔出狀態(tài)這樣的判定連續(xù)規(guī)定幀的情況下,將側(cè)方視野設定為關注區(qū)域。通過這樣設定關注區(qū)域,能夠防止在細細地反復進行插入和拔出的情況下頻繁切換關注區(qū)域而使顯示畫面不穩(wěn)定。
根據(jù)以上的實施方式,如圖39所示,關注區(qū)域設定部413具有運動檢測部473。運動檢測部473根據(jù)攝像圖像取得被攝體的運動量。關注區(qū)域設定部根據(jù)所取得的運動量來設定關注區(qū)域。
具體而言,如圖42(a)等中說明的那樣,內(nèi)窺鏡裝置的特征在于,在根據(jù)運動量判定為處于拔出鏡體的狀態(tài)的情況下,關注區(qū)域設定部413將攝像圖像中的與側(cè)方視野對應的區(qū)域設定為關注區(qū)域。
通常,在對大腸進行觀察的情況下,一邊拔出鏡體一邊進行觀察。因此,通過在拔出時將與側(cè)方視野對應的區(qū)域設定為關注區(qū)域而進行調(diào)光控制,能夠適當?shù)厝〉脤Υ竽c的褶皺背面等的診斷有用的信息。
并且,在本實施方式中,運動檢測部473計算多個代表點的運動矢量作為運動量,求出計算出的運動矢量的消失點。在求出的消失點存在于攝像圖像中、從代表點朝向消失點的矢量和運動矢量的內(nèi)積為正的情況下,關注區(qū)域設定部413判定為處于拔出鏡體的狀態(tài)。
這樣,通過判定消失點的位置,能夠判定鏡體插入或拔出的情況,通過判定運動矢量的朝向,能夠判定是插入還是拔出。
并且,在本實施方式中,在判斷為消失點的像素值小于閾值(第2閾值)的情況下,關注區(qū)域設定部413判定為處于拔出鏡體的狀態(tài)。
這樣,如上所述,由于能夠判定是處于鏡體正對著壁面的狀態(tài)還是處于鏡體朝向沿著管腔的方向的狀態(tài),所以,能夠判定拔出狀態(tài),即沿著管腔的方向的移動。
并且,在本實施方式中,在根據(jù)運動量判定為不是拔出鏡體的狀態(tài)的情況下,關注區(qū)域設定部413將攝像圖像中的與前方視野對應的區(qū)域設定為關注區(qū)域。
這樣,能夠?qū)⒄J為主要在拔出時以外使用的前方視野設定為關注區(qū)域并進行調(diào)光控制。例如,由于在插入時使用前方視野對內(nèi)窺鏡進行操作,所以,能夠提示包含大量對該操作有用的信息的前方的信息。
并且,在本實施方式中,如圖39所示,運動檢測部473具有失真校正部471。失真校正部471根據(jù)鏡體的光學系統(tǒng)所具有的畸變像差來進行攝像圖像的失真校正。運動檢測部473根據(jù)失真校正后的攝像圖像取得運動量。
這樣,例如在使用了圖1的物鏡光學系統(tǒng)等視野范圍較寬的光學系統(tǒng)的情況下,能夠?qū)σ蚱浠兿癫疃鴮е碌膱D像的失真進行校正。由此,能夠減輕失真對運動量檢測的影響。
10.第9實施方式
10.1.內(nèi)窺鏡裝置
對通過形狀檢測部取得被攝體的形狀信息并根據(jù)該形狀信息設定關注區(qū)域的第9實施方式進行說明。
圖43示出第9實施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、插入部300、控制裝置400、顯示部500、外部i/f部550、形狀檢測部700(例如upd(positiondetectingunit:位置檢測單元))。另外,對與圖3等中說明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標注相同標號并適當省略說明。
插入部300包括光導纖維301、照明透鏡314、315、物鏡光學系統(tǒng)303、攝像元件304、a/d轉(zhuǎn)換部305、磁線圈312。由于磁線圈312以外與第1實施方式相同,所以省略說明。
例如在插入部300中設置十幾個磁線圈312,分別向形狀檢測部700(廣義地講為形狀信息取得部)發(fā)出磁。多個磁線圈312例如沿著插入部300的長度方向排列。
形狀檢測部700通過未圖示的天線接收設于插入部300的各部中的磁線圈312發(fā)出的磁,實時取得各磁線圈的三維位置信息。形狀檢測部700根據(jù)所取得的磁線圈的三維位置信息,實時取得表示插入部300的形狀的內(nèi)窺鏡形狀信息。
控制裝置400包括圖像處理部410、控制部420、狀態(tài)信息取得部430。由于控制部420與第1實施方式相同,所以省略說明。
10.2.狀態(tài)信息取得部
圖44示出第9實施方式的狀態(tài)信息取得部430的詳細結(jié)構(gòu)例。狀態(tài)信息取得部430包括被攝體信息取得部436和觀察信息取得部437。形狀檢測部700將檢測到的內(nèi)窺鏡形狀信息輸出到被攝體信息取得部436和觀察信息取得部437。被攝體信息取得部436與關注區(qū)域設定部413連接。觀察信息取得部437與關注區(qū)域設定部413連接。
被攝體信息取得部436根據(jù)由形狀檢測部700取得的內(nèi)窺鏡形狀信息,判定被攝體是否是下部消化道。具體而言,被攝體信息取得部436根據(jù)內(nèi)窺鏡形狀信息取得被插入體內(nèi)的內(nèi)窺鏡的長度和內(nèi)窺鏡形狀是否形成環(huán)形的判定結(jié)果,根據(jù)該長度和判定結(jié)果來判定是否是下部消化道。
更具體而言,一般在對下部消化道進行內(nèi)窺鏡檢查的情況下,與對除此以外的臟器進行內(nèi)窺鏡檢查的情況相比,將內(nèi)窺鏡插入到里側(cè)深部。因此,如果內(nèi)窺鏡被插入體內(nèi)規(guī)定長度以上,則被攝體信息取得部436判定為被攝體是下部消化道。并且,存在如下的插入法:僅在將內(nèi)窺鏡插入下部消化道中的情況下,為了容易進行插入,在內(nèi)窺鏡中形成環(huán)形。因此,如果在內(nèi)窺鏡中形成環(huán)形,則被攝體信息取得部436判定為被攝體是下部消化道。
在被插入體內(nèi)的內(nèi)窺鏡超過規(guī)定長度或內(nèi)窺鏡形成環(huán)形之前,被攝體信息取得部436判定為被攝體不是下部消化道。然后,在滿足任意一個條件的情況下,判定為被攝體是下部消化道,此后不變更該判定結(jié)果。被攝體信息取得部436將該判別結(jié)果作為被攝體信息輸出到關注區(qū)域設定部413。
觀察信息取得部437根據(jù)由形狀檢測部700取得的內(nèi)窺鏡形狀信息,判定內(nèi)窺鏡是否處于拔出狀態(tài)。具體而言,觀察信息取得部437根據(jù)內(nèi)窺鏡形狀信息,判定被插入體內(nèi)的內(nèi)窺鏡的長度是否經(jīng)時縮短,在經(jīng)時縮短的情況下判定為處于拔出狀態(tài)。觀察信息取得部437將拔出狀態(tài)的判定結(jié)果作為觀察信息輸出到關注區(qū)域設定部413。
10.3.圖像處理部
第9實施方式的圖像處理部410包括預處理部411、同時化部412、關注區(qū)域設定部413、后處理部415、測光部416、灰度轉(zhuǎn)換部419。另外,結(jié)構(gòu)與圖17中說明的第2實施方式相同。由于關注區(qū)域設定部413以外的動作和處理與第2實施方式相同,所以省略說明。
關注區(qū)域設定部413根據(jù)由狀態(tài)信息取得部430輸出的被攝體信息和觀察信息來設定關注區(qū)域。具體而言,在根據(jù)被攝體信息判定為被攝體是下部消化道、根據(jù)觀察信息判定為內(nèi)窺鏡處于拔出狀態(tài)的情況下,關注區(qū)域設定部413將側(cè)方視野設定為關注區(qū)域。在除此以外的情況下,將前方視野設定為關注區(qū)域。關注區(qū)域設定部413將所設定的關注區(qū)域輸出到測光部416。
根據(jù)以上的實施方式,如圖44所示,內(nèi)窺鏡裝置包括取得鏡體插入部(插入部300)的形狀信息(例如圖43的磁線圈312的三維位置信息)的形狀檢測部700。狀態(tài)信息取得部430具有被攝體信息取得部436。被攝體信息取得部436取得所取得的形狀信息作為狀態(tài)信息,根據(jù)該形狀信息取得被攝體信息。關注區(qū)域設定部413根據(jù)所取得的被攝體信息來設定關注區(qū)域。
具體而言,被攝體信息取得部436根據(jù)形狀信息判定被攝體的部位,取得判定出的部位作為被攝體信息。在判定為被攝體的部位是下部消化道的情況下,關注區(qū)域設定部413將攝像圖像中的與側(cè)方視野對應的區(qū)域設定為關注區(qū)域。
更具體而言,被攝體信息取得部436在判斷為鏡體插入部是環(huán)形狀的情況下,判定為被攝體的部位是下部消化道。
這樣,能夠根據(jù)基于被攝體的形狀信息而判定出的部位來設定關注區(qū)域并進行調(diào)光控制。并且,在下部消化道的情況下,通過對側(cè)方視野的明亮度進行調(diào)光控制,能夠適當?shù)貙κ中g醫(yī)生提示在拔出時等對大腸的褶皺背面等的診斷有用的信息。
這里,被攝體信息是與被攝體有關的信息。被攝體信息不限于被攝體的部位,只要是根據(jù)被攝體的形狀信息而估計出的信息即可,例如也可以是被攝體的大小或長度。
并且,在本實施方式中,狀態(tài)信息取得部430具有觀察信息取得部437。觀察信息取得部437取得所取得的形狀信息作為狀態(tài)信息,根據(jù)該形狀信息取得觀察狀態(tài)信息。關注區(qū)域設定部413根據(jù)所取得的觀察狀態(tài)信息來設定關注區(qū)域。
具體而言,觀察信息取得部437根據(jù)形狀信息判定鏡體的行進方向,取得判定出的行進方向作為觀察狀態(tài)信息。在判定為鏡體被拔出的情況下,關注區(qū)域設定部413將攝像圖像中的與側(cè)方視野對應的區(qū)域設定為關注區(qū)域。
這樣,在對鏡體進行拔出操作的情況下,能夠?qū)?cè)方視野的明亮度進行調(diào)光控制。例如,在被攝體是下部消化道且對鏡體進行拔出操作的情況下,通過對側(cè)方視野的明亮度進行調(diào)光控制,手術醫(yī)生容易觀察褶皺背面等。
并且,在本實施方式中,在判定為被攝體是下部消化道且判定為處于拔出狀態(tài)的情況以外的情況下,關注區(qū)域設定部413將攝像圖像中的與前方視野對應的區(qū)域設定為關注區(qū)域。
這樣,將在上部消化道的觀察和下部消化道的插入操作中很重要的前方視野設定為關注區(qū)域,能夠?qū)υ撽P注區(qū)域的明亮度進行調(diào)光控制。
11.第10實施方式
11.1.概要
對從圖像中檢測紅暈區(qū)域并將該紅暈區(qū)域以外的區(qū)域設定為關注區(qū)域的第10實施方式進行說明。
很難將內(nèi)窺鏡插入大腸的理由是,大腸是狹窄的管腔,屈曲扭轉(zhuǎn),還依賴于內(nèi)窺鏡插入而伸縮變形。在這種狀況下,操作者進行如下操作:一邊觀察內(nèi)窺鏡像來判斷插入方向,一邊驅(qū)使內(nèi)窺鏡的操作而向插入方向進行引導。內(nèi)窺鏡的操作是內(nèi)窺鏡前端的上下左右的角度操作、內(nèi)窺鏡插入部(適當稱為鏡體)的推拉扭轉(zhuǎn)等。
這種插入操作對于不熟練的醫(yī)生來說是很難的。特別是在插入時推進內(nèi)窺鏡插入部的操作較多,所以,內(nèi)窺鏡前端頻繁與腸壁接觸,內(nèi)窺鏡像成為被稱為紅暈的整個圖像為紅色的焦點模糊狀態(tài),實在無法判斷插入方向。當成為這種狀態(tài)時,需要通過稍微拉回內(nèi)窺鏡插入部,從紅暈狀態(tài)返回能夠確認插入方向的狀態(tài)再次進行插入操作,成為插入時間延長的原因之一。
在前端具有180度以上(包含該值)的寬視野的光學系統(tǒng)的內(nèi)窺鏡中,由于即使內(nèi)窺鏡前端與腸壁接觸也不會堵住較寬的全部視野,所以,不會在內(nèi)窺鏡像整個區(qū)域內(nèi)產(chǎn)生上述紅暈狀態(tài),能夠確保一部分視野。即,存在即使在內(nèi)窺鏡前端與腸壁接觸的狀態(tài)下也能夠確認插入方向的可能性。
因此,在本實施方式中,在180度以上(包含該值)的光學系統(tǒng)的內(nèi)窺鏡像中檢測紅暈區(qū)域,將該紅暈區(qū)域以外的區(qū)域設定為關注區(qū)域,在提高該關注區(qū)域的視覺辨認性的狀態(tài)下對醫(yī)生進行提示,由此,實現(xiàn)插入時間的縮短。提高視覺辨認性的狀態(tài)是通過對關注區(qū)域的調(diào)光控制而將關注區(qū)域調(diào)整為適當曝光的狀態(tài)。
圖45示出內(nèi)窺鏡插入部的前端傾斜接觸對大腸進行模型化后的管腔的壁面的狀態(tài)。如圖46(a)所示,在該狀態(tài)的內(nèi)窺鏡像中,成為紅暈區(qū)域占據(jù)內(nèi)窺鏡像的大半部分的狀態(tài)。在該狀態(tài)下,在管腔筆直開口的情況下,能夠?qū)挡颗袛酁椴迦敕较颉A硪环矫?,在管腔屈曲的狀態(tài)下或管腔的口閉合的狀態(tài)下,由于插入方向不是明確的暗部而很難看清,所以,希望以進一步放大內(nèi)窺鏡像的紅暈以外的較小的關注區(qū)域的狀態(tài)進行觀察。因此,如圖46(b)所示,放大顯示紅暈區(qū)域以外的較小的關注區(qū)域。這樣,能夠判斷很難識別的插入方向。
并且,在圖46(a)的紅暈區(qū)域中,由于在插入部的前端與腸壁接觸的狀態(tài)下對腸壁照射照明光,所以,在紅暈區(qū)域和除此以外的關注區(qū)域中,相對地產(chǎn)生明暗差。特別是,在內(nèi)窺鏡中,對照明光量進行調(diào)整(調(diào)光處理),將內(nèi)窺鏡像控制成適當曝光狀態(tài)。因此,當紅暈區(qū)域占據(jù)大部分時,進行調(diào)光控制以使得紅暈區(qū)域的明亮度成為適當曝光狀態(tài)。這樣,即使特意使紅暈區(qū)域以外的關注區(qū)域位于視野內(nèi),該關注區(qū)域也可能變暗而不會適當曝光,所以,即使對關注區(qū)域進行放大處理,也無法確保插入方向的視覺辨認性。因此,將紅暈區(qū)域以外的關注區(qū)域指定為調(diào)光對象區(qū)域進行調(diào)光處理。由此,能夠在適當曝光狀態(tài)下觀察關注區(qū)域,容易識別插入方向。
由于圖46(a)是傾斜接觸腸壁的情況下的例子,所以,即使將紅暈區(qū)域以外的區(qū)域大致判斷為插入方向,也能夠以某種程度進行插入。但是,在大腸(管腔)的屈曲部等中,有時內(nèi)窺鏡前端會以正對著腸壁的狀態(tài)與腸壁接觸。該情況下,內(nèi)窺鏡像的中央部分成為紅暈區(qū)域,周邊部分成為紅暈區(qū)域以外的關注區(qū)域。該情況下,僅發(fā)現(xiàn)紅暈區(qū)域以外的區(qū)域,無法識別插入方向。因此,與上述同樣放大顯示作為關注區(qū)域的周邊區(qū)域,將周邊區(qū)域指定為調(diào)光對象區(qū)域進行調(diào)光處理。由此,能夠更加簡單地從放大后的周邊區(qū)域的360度的方向中識別應該插入的方向。
11.2.圖像處理部
接著,對本實施方式的檢測紅暈區(qū)域的方法以及將紅暈區(qū)域以外的區(qū)域設定為關注區(qū)域的方法進行詳細說明。
圖47示出第10實施方式的圖像處理部410的詳細結(jié)構(gòu)例。圖像處理部410包括預處理部411、同時化部412、關注區(qū)域設定部413、變倍處理部414、后處理部415、測光部416。下面,對與圖6等中說明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標注相同標號并適當省略說明。另外,第10實施方式的內(nèi)窺鏡裝置與前面圖3等中所述的第1實施方式相同。
預處理部411與同時化部412連接。同時化部412與關注區(qū)域設定部413和變倍處理部414連接。關注區(qū)域設定部413與變倍處理部414和測光部416連接。變倍處理部414與后處理部415連接。后處理部415與顯示部500連接??刂撇?20與預處理部411、同時化部412、關注區(qū)域設定部413、變倍處理部414、后處理部415、測光部416連接。
關注區(qū)域設定部413將紅暈區(qū)域以外的區(qū)域設定為關注區(qū)域。變倍處理部414進行放大所設定的關注區(qū)域的處理。這些處理在后面詳細敘述。測光部416計算圖像的明亮度(例如亮度)。測光部416在設定了關注區(qū)域的情況下,計算關注區(qū)域的明亮度。測光部416將計算出的明亮度輸出到控制部420。控制部420根據(jù)該明亮度來控制光源光圈驅(qū)動部103,進行調(diào)光處理。
11.3.關注區(qū)域設定部
圖48示出第10實施方式的關注區(qū)域設定部413的詳細結(jié)構(gòu)例。關注區(qū)域設定部413包括顏色轉(zhuǎn)換部461、紅暈區(qū)域候選檢測部462、散焦檢測部463、紅暈區(qū)域判定部464、變倍參數(shù)設定部465。
顏色轉(zhuǎn)換部461與紅暈區(qū)域候選檢測部462和散焦檢測部463連接。紅暈區(qū)域候選檢測部462與紅暈區(qū)域判定部464連接。散焦檢測部463與紅暈區(qū)域判定部464連接。紅暈區(qū)域判定部464與變倍參數(shù)設定部465和測光部416連接。變倍參數(shù)設定部465與變倍處理部414連接。控制部420與紅暈區(qū)域候選檢測部462、散焦檢測部463、變倍參數(shù)設定部465連接。
顏色轉(zhuǎn)換部461將從同時化部412輸出的彩色圖像的rgb信號轉(zhuǎn)換為亮度信號和顏色信號。另外,下面以將rgb信號轉(zhuǎn)換為ycbcr信號的情況為例進行說明。顏色轉(zhuǎn)換部461將計算出的亮度信號y輸出到散焦檢測部463和測光部416,將色差信號cb、cr輸出到紅暈區(qū)域候選檢測部462。
紅暈區(qū)域候選檢測部462根據(jù)來自控制部420的塊尺寸信息(例如n×n塊)將所輸入的色差信號cb、cr分割為塊區(qū)域。然后,紅暈區(qū)域候選檢測部462根據(jù)塊區(qū)域內(nèi)的色差信號的統(tǒng)計量判定紅暈區(qū)域候選,將每個塊區(qū)域的判定信息輸出到紅暈區(qū)域判定部464。
散焦檢測部463根據(jù)來自控制部420的塊尺寸信息將所輸入的亮度信號y分割為塊區(qū)域。然后,散焦檢測部463根據(jù)塊區(qū)域內(nèi)有無高頻率成分來判定塊區(qū)域是否是散焦狀態(tài),將每個塊區(qū)域的判定信息輸出到紅暈區(qū)域判定部464。
紅暈區(qū)域判定部464將由紅暈區(qū)域候選檢測部462判定為紅暈候選區(qū)域、由散焦檢測部463判定為散焦狀態(tài)的塊區(qū)域判定為紅暈區(qū)域。紅暈區(qū)域判定部464將該判定結(jié)果輸出到變倍參數(shù)設定部465和測光部416。
如圖49所示,變倍參數(shù)設定部465針對分割后的各塊區(qū)域(n×n塊的各塊)設定變倍參數(shù)。具體而言,變倍參數(shù)設定部465根據(jù)紅暈區(qū)域判定部464的判定結(jié)果,將成像區(qū)域內(nèi)的塊區(qū)域中的判定為不是紅暈區(qū)域的塊區(qū)域設定為關注區(qū)域。變倍參數(shù)設定部465根據(jù)關注區(qū)域與紅暈區(qū)域之間的關系對各塊區(qū)域設定變倍參數(shù),將所設定的變倍參數(shù)輸出到變倍處理部414。
變倍處理部414再次設定與非關注區(qū)域之間的顯示倍率以放大顯示成像區(qū)域內(nèi)的關注區(qū)域,生成與紅暈區(qū)域相比相對放大關注區(qū)域的圖像。再次設定伴隨顯示倍率的變更,生成變倍處理前的坐標位置(實數(shù)精度)相對于變倍處理后的像素位置(整數(shù)精度)的轉(zhuǎn)換表。
測光部416根據(jù)從關注區(qū)域設定部413輸出的紅暈區(qū)域以外的關注區(qū)域信息和從顏色轉(zhuǎn)換部461輸出的亮度信號,計算關注區(qū)域的平均亮度電平。
11.4.紅暈區(qū)域候選檢測部
圖50示出紅暈區(qū)域候選檢測部462的詳細結(jié)構(gòu)例。紅暈區(qū)域候選檢測部462包括區(qū)域分割部481、統(tǒng)計量計算部482、特定顏色區(qū)域判定部483、存儲器484。
區(qū)域分割部481與統(tǒng)計量計算部482連接。統(tǒng)計量計算部482與特定顏色區(qū)域判定部483連接。特定顏色區(qū)域判定部483與存儲器484和紅暈區(qū)域判定部464連接。并且,控制部420與區(qū)域分割部481和特定顏色區(qū)域判定部483連接。
區(qū)域分割部481根據(jù)來自控制部420的塊尺寸將從顏色轉(zhuǎn)換部461輸出的cb信號、cr信號分別分割為塊區(qū)域,將該塊區(qū)域輸出到統(tǒng)計量計算部482。
統(tǒng)計量計算部482計算cb信號的塊區(qū)域中的cb信號的平均值cba(x,y)和標準偏差值cbs(x,y),計算cr信號的塊區(qū)域中的cr信號的平均值cra(x,y)和標準偏差值crs(x,y)。統(tǒng)計量計算部482將計算出的這些值輸出到特定顏色區(qū)域判定部483。這里,x表示水平方向的塊區(qū)域的坐標,y表示垂直方向的塊區(qū)域的坐標。圖像的左上方為原點(0,0)。隨著去往圖像的右方(水平掃描方向),x的值增大。隨著去往圖像的下方(與水平掃描方向正交的方向),y的值增大。
對特定顏色區(qū)域判定部483輸入上述平均值和標準偏差值。并且,從控制部420向特定顏色區(qū)域判定部483輸入用于在以cb信號和cr信號為坐標軸的二維平面(以下稱為色相平面)中規(guī)定紅暈區(qū)域候選的特定顏色區(qū)域信息。
這里,特定顏色區(qū)域信息是指定色相平面內(nèi)的區(qū)域的信息,例如可以由色相角和彩度指定,也可以由cbcr坐標指定。
并且,從控制部420向特定顏色區(qū)域判定部483輸入用于規(guī)定對大腸進行一般觀察的情況下的粘膜和血管的顏色區(qū)域的通常顏色區(qū)域信息。通常顏色區(qū)域信息是指定色相平面內(nèi)的區(qū)域的信息,通過與特定顏色區(qū)域信息相同的形式進行指定即可。另外,下面將特定顏色區(qū)域信息所表示的色相平面的區(qū)域稱為特定顏色區(qū)域,將通常顏色區(qū)域信息所表示的色相平面的區(qū)域稱為通常顏色區(qū)域。
如圖49所示,在平均值cba(x,y)、cra(x,y)進入特定顏色區(qū)域內(nèi)的情況下,特定顏色區(qū)域判定部483將該塊區(qū)域的紅暈區(qū)域候選標志frc(x,y)設定為“有效(on)”,將該標志frc(x,y)記錄在存儲器484中。紅暈區(qū)域候選標志frc(x,y)作為表示紅暈區(qū)域候選的標志被分配給各塊區(qū)域。在未判定為塊區(qū)域是紅暈區(qū)域候選的情況下,特定顏色區(qū)域判定部483將該塊區(qū)域的紅暈區(qū)域候選標志frc(x,y)設定為“無效(off)”,將該標志frc(x,y)記錄在存儲器484中。
在標準偏差值cbs(x,y)小于閾值thcb、且標準偏差值crs(x,y)小于閾值thcr的情況下,特定顏色區(qū)域判定部483不變更該塊區(qū)域的紅暈區(qū)域候選標志frc(x,y),使其維持現(xiàn)狀。閾值thcb、thcr存儲在存儲器484中。另一方面,在標準偏差值cbs(x,y)為閾值thcb以上(包含該值)、或標準偏差值crs(x,y)為閾值thcr以上(包含該值)的情況下,特定顏色區(qū)域判定部483將該塊區(qū)域的紅暈區(qū)域候選標志frc(x,y)設定為“無效(off)”。特定顏色區(qū)域判定部483將所設定的紅暈區(qū)域候選標志frc(x,y)輸出到紅暈區(qū)域判定部464。
這里,閾值thcb和閾值thcr是在過去攝像的彩色圖像中的塊區(qū)域的平均值cba(x,y)、cra(x,y)包含在通常顏色區(qū)域內(nèi)的情況下,對塊區(qū)域的標準偏差值cbs(x,y)、crs(x,y)的最大值maxcbss、maxcrss乘以規(guī)定系數(shù)(小于1)而得到的。規(guī)定系數(shù)預先保存在控制部420內(nèi),從控制部420取得。
將過去的標準的粘膜區(qū)域的最大標準偏差maxcbss、maxcrss作為基準是因為,將特定顏色區(qū)域所包含的顏色偏差比通常觀察的粘膜區(qū)域小的塊區(qū)域檢測為紅暈區(qū)域候選。即,這是因為,在散焦狀態(tài)的紅暈區(qū)域中,由于模糊而使得粘膜內(nèi)的血管未被分解,粘膜與血管之間的顏色偏差低。
11.5.散焦檢測部
圖51示出散焦檢測部463的詳細結(jié)構(gòu)例。散焦檢測部463包括區(qū)域分割部491、頻率成分生成部492、高頻有無判定部493。
區(qū)域分割部491與頻率成分生成部492連接。頻率成分生成部492與高頻有無判定部493連接。并且,控制部420與區(qū)域分割部491和高頻有無判定部493連接。
區(qū)域分割部491根據(jù)來自控制部420的塊尺寸將從顏色轉(zhuǎn)換部461輸出的亮度信號分割為塊區(qū)域,將分割后的塊區(qū)域輸出到頻率成分生成部492。
頻率成分生成部492對塊區(qū)域進行例如dct(離散余弦轉(zhuǎn)換)、fft(高速傅里葉轉(zhuǎn)換),將其轉(zhuǎn)換為頻率成分。頻率成分生成部492將所生成的各塊區(qū)域的頻率成分輸出到高頻有無判定部493。
對高頻有無判定部493輸入各塊區(qū)域的頻率成分以及來自控制部420的高頻判定閾值thf和高頻有無判定閾值thp。在頻率成分的振幅值大于規(guī)定值的最高頻率大于高頻判定閾值thf、頻率成分總和大于高頻有無判定閾值thp的情況下,高頻有無判定部493判定為塊區(qū)域處于對焦狀態(tài),將散焦狀態(tài)標志fdf(x,y)設定為“無效(off)”。在頻率成分總和為高頻有無判定閾值thp以下(包含該值)的情況下,高頻有無判定部493判定為處于散焦狀態(tài),將散焦狀態(tài)標志fdf(x,y)設定為“有效(on)”。高頻有無判定部493將所設定的散焦狀態(tài)標志fdf(x,y)輸出到紅暈區(qū)域判定部464。
另外,散焦檢測部463不限于上述結(jié)構(gòu)。例如,散焦檢測部463也可以通過單純的高通濾波器或帶通濾波器對亮度信號進行處理,在塊區(qū)域內(nèi)對提取出的高頻成分信號進行絕對值相加,通過規(guī)定閾值對該值進行閾值判定,從而判定散焦狀態(tài)。
紅暈區(qū)域判定部464通過取紅暈區(qū)域候選標志frc(x,y)與散焦狀態(tài)標志fdf(x,y)的邏輯積,得到紅暈區(qū)域標志fr(x,y)。如圖52所示,紅暈區(qū)域判定部464例如利用閉合曲線近似設定包含紅暈區(qū)域標志fr(x,y)為“有效(on)”的多個塊區(qū)域的邊界線,將該邊界線內(nèi)的區(qū)域作為最終的紅暈區(qū)域的判定結(jié)果。然后,紅暈區(qū)域判定部464將該區(qū)域內(nèi)的全部紅暈區(qū)域標志fr(x,y)設定為“有效(on)”,將該紅暈區(qū)域標志fr(x,y)輸出到變倍參數(shù)設定部465。
11.6.變倍參數(shù)設定部
圖53示出變倍參數(shù)設定部465的詳細結(jié)構(gòu)例。變倍參數(shù)設定部465包括紅暈區(qū)域參數(shù)計算部495和塊變倍參數(shù)計算部496。
紅暈區(qū)域參數(shù)計算部495與塊變倍參數(shù)計算部496連接。塊變倍參數(shù)計算部496與變倍處理部414連接。并且,控制部420與紅暈區(qū)域參數(shù)計算部495和塊變倍參數(shù)計算部496連接。
如圖52所示,紅暈區(qū)域參數(shù)計算部495計算所輸入的紅暈區(qū)域標志fr(x,y)為“有效(on)”的區(qū)域的重心位置r0、以及從該重心位置r0到紅暈區(qū)域邊界的最大距離rr。具體而言,根據(jù)來自控制部420的塊尺寸計算紅暈區(qū)域標志fr(x,y)為“有效(on)”的全部塊區(qū)域的中心坐標,將計算出的中心坐標的紅暈區(qū)域內(nèi)平均值作為重心位置r0。并且,搜索紅暈區(qū)域內(nèi)的塊區(qū)域的中心坐標和重心位置r0的最大距離,求出最大距離rr。紅暈區(qū)域參數(shù)計算部495將計算出的重心位置r0和最大距離rr輸出到塊變倍參數(shù)計算部496。
塊變倍參數(shù)計算部496根據(jù)所輸入的重心位置r0和最大距離rr,利用圓來定義紅暈區(qū)域(下面將該圓內(nèi)稱為紅暈區(qū)域)。紅暈區(qū)域的中心是重心位置r0,紅暈區(qū)域的半徑是最大距離rr。并且,還利用圓來定義整個成像區(qū)域(下面將該圓內(nèi)稱為成像區(qū)域)。成像區(qū)域的中心是光軸中心,與成像區(qū)域的半徑一起根據(jù)光學系統(tǒng)被預先確定。成像區(qū)域的中心和半徑從控制部420輸入到塊變倍參數(shù)計算部496。
塊變倍參數(shù)計算部496根據(jù)紅暈區(qū)域和成像區(qū)域決定各塊區(qū)域的變倍參數(shù)。具體而言,在設紅暈區(qū)域的中心位置為r0、塊區(qū)域的中心位置為b0(x,y)的情況下,求出穿過r0和b0(x,y)的直線。然后,計算該直線與成像區(qū)域的邊界的交點isb(x,y),計算該直線與紅暈區(qū)域的邊界的交點rb(x,y)。
塊變倍參數(shù)計算部496通過下式(27)計算線段|r0-rb(x,y)|的距離rr與線段|isb(x,y)-rb(x,y)|的距離ds(x,y)之比dratio(x,y)。并且,通過下式(28)計算r0與b0(x,y)的距離db(x,y)。針對全部塊區(qū)域計算dratio(x,y)和db(x,y)。
dratio(x,y)
=|isb(x,y)-rb(x,y)|/|r0-rb(x,y)|
=|isb(x,y)-rb(x,y)|/rr(27)
db(x,y)
=|r0-b0(x,y)|(28)
塊變倍參數(shù)計算部496將與各塊對應地計算出的比dratio(x,y)、距離db(x,y)、紅暈區(qū)域的中心r0、紅暈區(qū)域的半徑rr輸出到變倍處理部414。
變倍處理部414蓄積1個畫面量的從塊變倍參數(shù)計算部496輸入的每個塊區(qū)域的參數(shù),生成像素單位的倍率轉(zhuǎn)換表。如圖54所示,紅暈區(qū)域與非紅暈區(qū)域的距離比dratio(x,y)被用于從多個變倍后歸一化距離相對于變倍前歸一化距離的對應曲線中選擇一條曲線。該曲線可以由一覽表(lut)記述,也可以由多項式的系數(shù)記述。該曲線存儲在變倍處理部414內(nèi)的未圖示的rom表中,rom表的地址對應于距離比dratio(x,y)。
變倍處理部414通過下式(29)計算各塊區(qū)域的歸一化距離nd(x,y)。
nd(x,y)=db(x,y)/(1+dratio(x,y))×rr(29)
變倍處理部414根據(jù)計算出的歸一化距離nd(x,y),決定代表各塊區(qū)域的變倍前后的歸一化距離的對應關系(下面稱為代表對應關系)。代表對應關系是圖54所示的相對于變倍后的歸一化距離的變倍前的歸一化距離。變倍處理部414使用關注塊區(qū)域的代表對應關系及其周邊塊區(qū)域的代表對應關系,通過插值來計算關注塊區(qū)域內(nèi)的各像素中的變倍前后的歸一化距離的對應關系。例如,作為插值處理,能夠利用線性插值。
變倍處理部414對從紅暈區(qū)域的中心位置r0到關注塊區(qū)域內(nèi)的像素位置p(i,j)的實際距離和該像素位置處的變倍前后的歸一化距離的對應關系進行相乘,將歸一化距離中的對應關系轉(zhuǎn)換為實際距離中的對應關系。這里,i、j分別表示像素間距精度的水平坐標、垂直坐標。由于與變倍后的像素位置(整數(shù)精度)對應的變倍前的像素位置(實數(shù)精度)位于連接變倍后的像素位置p’(i,j)與紅暈區(qū)域的中心位置r0的線段上,所以,唯一確定為與實際距離對應的坐標值。
變倍處理部414使用該坐標值的周邊多個像素值(像素值位于整數(shù)精度的像素位置),通過插值來計算所決定的變倍前的坐標值中的像素值。例如,作為插值處理,能夠利用線性插值、bicubic等。這樣,能夠生成與紅暈區(qū)域相比相對放大了不是紅暈區(qū)域的關注區(qū)域的變倍圖像。
另外,可以始終實施紅暈區(qū)域的判定處理,也可以通過外部i/f部550所具有的未圖示的開關以手動的方式對紅暈區(qū)域的判定處理進行接通/斷開控制。即,也可以在用戶判斷為產(chǎn)生了紅暈區(qū)域后,通過接通開關來實施紅暈區(qū)域的判定處理。
根據(jù)以上的實施方式,攝像圖像是對活體內(nèi)進行攝像所得的圖像。關注區(qū)域設定部413具有接觸狀態(tài)信息取得部(圖48的顏色轉(zhuǎn)換部461、紅暈區(qū)域候選檢測部462、散焦檢測部463、紅暈區(qū)域判定部464)。接觸狀態(tài)信息取得部根據(jù)攝像圖像取得鏡體前端部與活體的接觸狀態(tài)信息(紅暈區(qū)域的信息)。關注區(qū)域設定部413根據(jù)該接觸狀態(tài)信息來設定關注區(qū)域。
具體而言,接觸狀態(tài)信息取得部檢測在攝像圖像中具有特定顏色范圍的顏色的特定顏色區(qū)域(色相平面中表示為紅暈區(qū)域的顏色區(qū)域),根據(jù)特定顏色區(qū)域來設定接觸區(qū)域。關注區(qū)域設定部413將該接觸區(qū)域以外的區(qū)域設定為關注區(qū)域。
例如,在本實施方式中,紅暈區(qū)域候選檢測部462(廣義地講為特定顏色區(qū)域檢測部)檢測特定顏色區(qū)域,紅暈區(qū)域判定部464(廣義地講為接觸區(qū)域設定部)設定接觸區(qū)域。
這樣,能夠判定與活體的接觸區(qū)域(紅暈區(qū)域。廣義地講為不可觀察區(qū)域),將該接觸區(qū)域以外的區(qū)域設定為關注區(qū)域并進行調(diào)光控制。如上所述,在由于畸變像差而產(chǎn)生圖像失真這樣的寬視野的光學系統(tǒng)中,即使存在接觸區(qū)域,有時管腔的插入方向也會映入其他區(qū)域中。因此,通過對接觸區(qū)域以外的區(qū)域的明亮度進行調(diào)光控制,能夠提高插入方向的視覺辨認性,實現(xiàn)插入時間的縮短。
并且,在本實施方式中,接觸狀態(tài)信息取得部將特定顏色區(qū)域的圖像轉(zhuǎn)換為空間頻率成分,在轉(zhuǎn)換后的空間頻率成分為規(guī)定閾值以下的情況下,將特定顏色區(qū)域設定為接觸區(qū)域。例如,在判定為轉(zhuǎn)換后的空間頻率成分的振幅值大于等于規(guī)定值的最高頻率為第1閾值以下、或空間頻率成分的振幅值的總和為第2閾值以下的情況下,將特定顏色區(qū)域設定為接觸區(qū)域。
例如,在本實施方式中,散焦檢測部463(廣義地講為空間頻率轉(zhuǎn)換部)將特定顏色區(qū)域的圖像轉(zhuǎn)換為空間頻率成分,判定轉(zhuǎn)換后的空間頻率成分是否為規(guī)定閾值以下。
這樣,由于認為在接觸區(qū)域中由于散焦而使圖像的高頻成分較小,所以,通過對特定顏色區(qū)域的高頻成分進行閾值判定,能夠檢測接觸區(qū)域。
并且,在本實施方式中,如圖52中說明的那樣,接觸狀態(tài)信息取得部設定包含特定顏色區(qū)域的圓,將圓的內(nèi)側(cè)設定為接觸區(qū)域。調(diào)光控制部進行該接觸區(qū)域的圓的外側(cè)區(qū)域的調(diào)光控制。
接觸狀態(tài)信息是表示接觸區(qū)域的位置(圓的中心位置r0)和大小(半徑rr)的信息。
這樣,將接觸區(qū)域設定為圓區(qū)域,通過調(diào)光來控制該圓的外側(cè)區(qū)域的明亮度,由此,能夠以適當曝光來顯示接觸區(qū)域以外的區(qū)域。
并且,在本實施方式中,如圖47所示,內(nèi)窺鏡裝置也可以包括變倍處理部414。如圖52中說明的那樣,變倍處理部414根據(jù)在連接接觸區(qū)域的圓的中心與攝像圖像的外周(成像區(qū)域的外周)的直線中從圓的中心到圓周的距離rr與從圓周到外周的距離ds(x,y)之比dratio(x,y),設定關注區(qū)域的放大率(圖54的變倍前后的歸一化距離的對應關系)。
這樣,通過沿著從接觸區(qū)域的圓的中心連接攝像圖像的外周的直線的變倍處理,能夠放大顯示關注區(qū)域。
以上說明了應用本發(fā)明的實施方式及其變形例,但是,本發(fā)明不限于各實施方式及其變形例,能夠在實施階段在不脫離發(fā)明主旨的范圍內(nèi)對結(jié)構(gòu)要素進行變形而具體化。并且,通過對上述各實施方式和變形例所公開的多個結(jié)構(gòu)要素進行適當組合,能夠形成各種發(fā)明。例如,可以從各實施方式和變形例所記載的全部結(jié)構(gòu)要素中刪除若干個結(jié)構(gòu)要素。進而,可以對不同實施方式和變形例中說明的結(jié)構(gòu)要素進行適當組合。這樣,能夠在不脫離發(fā)明主旨的范圍內(nèi)進行各種變形和應用。
并且,在說明書或附圖中,至少一次與更加廣義或同義的不同用語一起記載的用語能夠在說明書或附圖的任意部位置換為該不同用語。
標號說明
100:光源部;101:白色光源;102:光源光圈;103:驅(qū)動部;104:旋轉(zhuǎn)濾色鏡;105:旋轉(zhuǎn)驅(qū)動部;106:會聚透鏡;107:光源控制部;200:操作部;201:彎曲操作桿;202:插入口;203:操作量檢測傳感器;300:插入部;301:光導纖維;303:物鏡光學系統(tǒng);304:攝像元件;305:a/d轉(zhuǎn)換部;306:彎曲操作線;307:貫穿插入通道;308:處置器械傳感器;309:半透半反鏡;310:攝像元件;311:a/d轉(zhuǎn)換部;312:磁線圈;313:存儲器;314、315:照明透鏡;400:控制裝置;410:圖像處理部;411:預處理部;412:同時化部;413:關注區(qū)域設定部;414:變倍處理部;415:后處理部;416:測光部;417:同時化部;418:預處理部;419:灰度轉(zhuǎn)換部;420:控制部;430:狀態(tài)信息取得部;431:彎曲角度檢測部;432:彎曲運動量檢測部;436:被攝體信息取得部;437:觀察信息取得部;441:亮度換算部;442:加法部;443:確定部;445:區(qū)域分割部;446:柱狀圖計算部;447:灰度轉(zhuǎn)換特性計算部;448:轉(zhuǎn)換部;451:局部區(qū)域設定部;452:特征量計算部;453:病變區(qū)域檢測部;454:貼標簽處理部;455:區(qū)域選出部;456:坐標計算部;457:對應部;459:測光處理條件設定部;461:顏色轉(zhuǎn)換部;462:紅暈區(qū)域候選檢測部;463:散焦檢測部;464:紅暈區(qū)域判定部;465:變倍參數(shù)設定部;471:失真校正部;472:圖像存儲器;473:運動檢測部;474:設定部;481:區(qū)域分割部;482:統(tǒng)計量計算部;483:特定顏色區(qū)域判定部;484:存儲器;491:區(qū)域分割部;492:頻率成分生成部;493:高頻有無判定部;495:紅暈區(qū)域參數(shù)計算部;496:塊變倍參數(shù)計算部;500:顯示部;550:外部i/f部;700:形狀檢測部;701~703:濾色鏡;704:旋轉(zhuǎn)馬達;a、b:權(quán)重系數(shù);a(m,n):局部區(qū)域;b0(x,y):塊中心;b2、g2:圖像信號;db(x,y):距離;dratio:距離比;ds(x,y):距離;isb(x,y):交點;lc1、lc2:光線;lw:長度;n、m:橫向?qū)挾鹊南袼財?shù);(n/2,m/2):圖像中心的坐標;nb、ng:濾色鏡;r:半徑;rd:距離;r0:中心位置;rb(x,y):交點;rr:半徑;rs:半徑;sf1~sf3:面;(x,y):坐標;(x0,y0):關注區(qū)域中心像素的坐標;α:放大率;β:縮小率;θ:彎曲角度。