專利名稱：醫(yī)療用圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及醫(yī)療用圖像處理裝置和醫(yī)療用圖像處理方法，特別是涉及根據(jù)活體組織的像的二維圖像估計該活體組織的三維模型的醫(yī)療用圖像處理裝置和醫(yī)療用圖像處理方法。
背景技術(shù)：
以往，在醫(yī)療領(lǐng)域中，廣泛進行使用X線診斷裝置、CT、MRI、超聲波觀測裝置以及內(nèi)窺鏡裝置等圖像攝像設(shè)備的觀察。這種圖像攝像設(shè)備中的內(nèi)窺鏡裝置例如具有以下的作用和結(jié)構(gòu)，S卩具有可插入到體腔內(nèi)的插入部，使用固體攝像元件等攝像單元拍攝由配置在該插入部的前端部的物鏡光學系統(tǒng)所成像的體腔內(nèi)的像并作為攝像信號來輸出，根據(jù)該攝像信號在監(jiān)視器等顯示單元上顯示體腔內(nèi)的像的圖像。然后，用戶根據(jù)顯示在監(jiān)視器等顯示單元上的體腔內(nèi)的像的圖像進行例如體腔內(nèi)的臟器等的觀察。并且，內(nèi)窺鏡裝置可直接拍攝消化道粘膜的像。因此，用戶可綜合地觀察例如粘膜的色調(diào)、病變的形狀和粘膜表面的細微結(jié)構(gòu)等。而且，內(nèi)窺鏡裝置中，作為能對存在具有局部隆起形狀病變的規(guī)定圖像進行檢測的圖像處理方法，例如通過使用日本特開2005-192880號公報(現(xiàn)有文獻1)等所記載的圖像處理方法，還能檢測包含有息肉等病變部位的圖像。該現(xiàn)有文獻1所記載的圖像處理方法可提取所輸入的圖像具有的輪廓，并可根據(jù)該輪廓的形狀檢測該圖像中具有局部隆起形狀的病變。并且，以往在大腸息肉檢測處理中，根據(jù)二維圖像估計三維數(shù)據(jù)，使用三維特征量 (形狀指標(Siape Index) /曲率(Curvedness))來檢測大腸息肉(現(xiàn)有文獻2 日本電子情報通信學會、信學技報(MI2003-1(^)，形狀情報^基3 < 3次元腹部CT像+ ^ 大腸求 'J 一自動検出手法(二関t 3検討木村、林、北坂、森、末長pp. 29 34，2004)。該三維特征量通過根據(jù)三維數(shù)據(jù)計算參考點的偏微分系數(shù)并使用偏微分系數(shù)進行計算來實現(xiàn)。然后， 在大腸息肉檢測處理中，通過對三維特征量進行閾值處理來檢測息肉候選。然而，由于以往用作三維數(shù)據(jù)估計方法的“從明暗恢復(fù)形狀(Siape From Shading) ”法受到由對象的反射/散射特性和針對對象的二次光引起的影響，因而以往的大腸息肉檢測處理具有檢測精度下降和產(chǎn)生誤檢測的問題。并且，該“從明暗恢復(fù)形狀”法根據(jù)圖像而產(chǎn)生三維數(shù)據(jù)密度的疏密。三維特征量的標準誤差(表示樣品值相對于平均值在何種程度的范圍內(nèi)分布的統(tǒng)計指標)受到三維數(shù)據(jù)密度的疏密的影響。由于該標準誤差，以往的大腸息肉檢測處理具有檢測精度下降和產(chǎn)生誤檢測的問題。

發(fā)明內(nèi)容
鑒于上述情況，本發(fā)明的目的是提供一種醫(yī)療用圖像處理裝置和醫(yī)療用圖像處理方法，其能執(zhí)行與對象的二維圖像的觀察狀態(tài)恰當?shù)剡m應(yīng)的處理，與以往相比能提高在檢測具有局部隆起形狀的病變的情況下的檢測精度。本發(fā)明的一方式的醫(yī)療用圖像處理裝置構(gòu)成為具有三維模型估計單元，其根據(jù)從醫(yī)療用攝像裝置輸入的體腔內(nèi)的活體組織的像的二維圖像，估計所述活體組織的三維模型；檢測對象區(qū)域設(shè)定單元，其在所述三維模型中設(shè)定具有隆起形狀的病變的檢測對象區(qū)域；形狀特征量計算單元，其計算形狀特征量，所述形狀特征量表示所述檢測對象區(qū)域內(nèi)所包含的各數(shù)據(jù)點上的形狀的狀態(tài)；三維形狀檢測單元，其根據(jù)針對所述形狀特征量的閾值處理，檢測存在于所述檢測對象區(qū)域內(nèi)的局部隆起形狀的病變區(qū)域；以及閾值決定單元，其決定在所述三維形狀檢測單元中使用的閾值，所述閾值決定單元根據(jù)在將從所述醫(yī)療用攝像裝置輸入的體腔內(nèi)的活體組織的像的所述二維圖像的攝像位置作為視點并將所述檢測對象區(qū)域上的一個點作為關(guān)注點時的、從所述視點到所述關(guān)注點的視線矢量與所述關(guān)注點在所述檢測對象區(qū)域內(nèi)的法線矢量之間的夾角，決定在所述形狀特征量的計算中使用的所述閾值


圖1是示出本發(fā)明實施例1的醫(yī)療用圖像處理裝置所使用的內(nèi)窺鏡系統(tǒng)的整體結(jié)構(gòu)的一例的圖。圖2是示出圖1的CPU的功能結(jié)構(gòu)的功能框圖。圖3是示出圖2的CPU的處理流程的流程圖。圖4是示出圖3的閾值Tl、T2的決定處理流程的流程圖。圖5是示出在圖4的處理中使用的“Z坐標-閾值T1、T2”閾值表數(shù)據(jù)的圖。圖6是說明圖4的處理的圖。圖7是示出本發(fā)明實施例2的閾值Τ1、Τ2的決定處理流程的流程圖。圖8是示出在圖7的處理中使用的“夾角-乘法值”閾值表數(shù)據(jù)的圖。圖9是說明圖7的處理的第1圖。圖10是說明圖7的處理的第2圖。圖11是說明圖7的處理的第3圖。圖12是說明本發(fā)明實施例3的局部偏微分系數(shù)的計算處理的圖。圖13是示出圖12的局部偏微分系數(shù)的計算處理流程的流程圖。圖14是示出圖13的處理后級的閾值Tl、Τ2的決定處理流程的流程圖。圖15是示出在圖13的處理中使用的數(shù)據(jù)點數(shù)量Mi與閾值Tl、Τ2之間的對應(yīng)的閾值表的圖。圖16是示出圖12的局部偏微分系數(shù)的計算處理的變形例的流程的流程圖。
具體實施例方式以下，參照附圖描述本發(fā)明的實施例。(實施例1)圖1至圖6涉及本發(fā)明的實施例1，圖1是示出醫(yī)療用圖像處理裝置所使用的內(nèi)窺鏡系統(tǒng)的整體結(jié)構(gòu)的一例的圖，圖2是示出圖1的CPU的功能結(jié)構(gòu)的功能框圖，圖3是示出圖2的CPU的處理流程的流程圖，圖4是示出圖3的閾值T1、T2的決定處理流程的流程圖， 圖5是示出在圖4的處理中使用的“Ζ坐標-閾值Tl、Τ2”閾值表數(shù)據(jù)的圖，圖6是說明圖 4的處理的圖。如圖1所示，本實施例的內(nèi)窺鏡系統(tǒng)1的要部構(gòu)成為具有醫(yī)療用觀察裝置2，醫(yī)療用圖像處理裝置3，以及監(jiān)視器4。所述醫(yī)療用觀察裝置2是拍攝被攝體并輸出該被攝體的像的二維圖像的觀察裝置。并且，醫(yī)療用圖像處理裝置3由個人計算機等構(gòu)成，是對從醫(yī)療用觀察裝置2輸出的二維圖像的映像信號進行圖像處理、并將進行了該圖像處理后的映像信號作為圖像信號來輸出的圖像處理裝置。而且，監(jiān)視器4是顯示基于從醫(yī)療用圖像處理裝置3輸出的圖像信號的圖像的顯示裝置。所述內(nèi)窺鏡觀察裝置2的要部構(gòu)成為具有內(nèi)窺鏡6，光源裝置7，相機控制單元 (以下簡記為CCU) 8，以及監(jiān)視器9。所述內(nèi)窺鏡6被插入到被檢體的體腔內(nèi)，并且拍攝該體腔內(nèi)存在的活體組織等被攝體并作為攝像信號來輸出。所述光源裝置7提供用于對由內(nèi)窺鏡6拍攝的被攝體進行照明的照明光。所述CCU 8進行對內(nèi)窺鏡6的各種控制，并且對從內(nèi)窺鏡6輸出的攝像信號進行信號處理，作為二維圖像的映像信號進行輸出。所述監(jiān)視器9根據(jù)從CXU 8輸出的二維圖像的映像信號，對由內(nèi)窺鏡6所拍攝的被攝體的像進行圖像顯示。所述內(nèi)窺鏡6構(gòu)成為具有插入到體腔內(nèi)的插入部11，以及設(shè)置在插入部11的基端側(cè)的操作部12。并且，在從插入部11內(nèi)的基端側(cè)到插入部11內(nèi)的前端側(cè)的前端部14這部分上，插通有用于傳送從光源裝置7提供的照明光的光導(dǎo)管(light guide) 13。所述光導(dǎo)管13的前端側(cè)配置在內(nèi)窺鏡6的前端部14，并且后端側(cè)與所述光源裝置 7連接。由于光導(dǎo)管13具有這種結(jié)構(gòu)，因而從光源裝置7提供的照明光在通過光導(dǎo)管13 傳送后，從設(shè)在插入部11的前端部14的前端面上的未作圖示的照明窗射出。然后，通過照明光從未作圖示的照明窗射出，從而對作為被攝體的活體組織等進行照明。在內(nèi)窺鏡6的前端部14設(shè)有攝像部17，該攝像部17具有安裝在與未作圖示的照明窗鄰接的未作圖示的觀察窗上的物鏡光學系統(tǒng)15，以及配置在該物鏡光學系統(tǒng)15的成像位置上的由例如CCD(電荷耦合元件)等構(gòu)成的攝像元件16。根據(jù)這種結(jié)構(gòu)，由物鏡光學系統(tǒng)15所成像的被攝體的像在由攝像元件16拍攝后，作為攝像信號被輸出。另外，攝像元件16不限于(XD，也可以由C-MOS傳感器構(gòu)成。所述攝像元件16經(jīng)由信號線與CXU 8連接。然后，攝像元件16根據(jù)從CXU 8輸出的驅(qū)動信號進行驅(qū)動，并向CCU 8輸出與所拍攝的被攝體的像對應(yīng)的攝像信號。并且，輸入到CXU 8的攝像信號在設(shè)于CXU 8的內(nèi)部的未作圖示的信號處理電路中進行信號處理，從而轉(zhuǎn)換成二維圖像的映像信號來輸出。從CCU 8輸出的二維圖像的映像信號被輸出到監(jiān)視器9和醫(yī)療用圖像處理裝置3。由此，監(jiān)視器9將基于從CCU 8所輸出的映像信號的被攝體的像作為二維圖像進行顯示。醫(yī)療用圖像處理裝置3構(gòu)成為具有圖像輸入部21，其對從醫(yī)療用觀察裝置2輸出的二維圖像的映像信號進行A/D轉(zhuǎn)換并進行輸出；作為中央運算處理裝置的CPU 22，其對從圖像輸入部21輸出的映像信號進行圖像處理；處理程序存儲部23，其被寫入了與該圖像處理相關(guān)的處理程序；圖像存儲部對，其存儲從圖像輸入部21輸出的映像信號等；以及分析信息存儲部25，其存儲由CPU 22進行的圖像處理中的運算結(jié)果等。并且，醫(yī)療用圖像處理裝置3具有存儲裝置接口(I/F06 ；作為存儲裝置的硬盤 27，其經(jīng)由存儲裝置接口沈存儲作為CPU 22的圖像處理結(jié)果的圖像數(shù)據(jù)、CPU22在圖像處理中使用的各種數(shù)據(jù)等；顯示處理部觀，其根據(jù)作為CPU 22的圖像處理結(jié)果的圖像數(shù)據(jù)， 進行用于將該圖像數(shù)據(jù)顯示在監(jiān)視器4上的顯示處理，并將進行了該顯示處理后的圖像數(shù)據(jù)作為圖像信號進行輸出；以及輸入操作部四，其由鍵盤或鼠標等指向器件等構(gòu)成，可由用戶輸入在CPU 22進行的圖像處理中的參數(shù)和對醫(yī)療用圖像處理裝置3的操作指示。然后，監(jiān)視器4顯示基于從顯示處理部觀所輸出的圖像信號的圖像。另外，醫(yī)療用圖像處理裝置3的圖像輸入部21、CPU 22、處理程序存儲部23、圖像存儲部M、分析信息存儲部25、存儲裝置接口沈、顯示處理部觀以及輸入操作部四分別經(jīng)由數(shù)據(jù)總線30相互連接。如圖2所示，CPU 22由以下各功能部構(gòu)成作為三維模型估計單元的三維模型估計部22a，作為檢測對象區(qū)域設(shè)定單元的檢測對象區(qū)域設(shè)定部22b，作為形狀特征量計算單元的形狀特征量計算部22c，作為三維形狀檢測單元的三維形狀檢測部22d，作為閾值決定單元的閾值決定部22e，以及息肉決定部22f。另外，在本實施例中，這些功能部使用由CPU 22執(zhí)行的軟件來實現(xiàn)。并且，關(guān)于這些功能部的詳細作用在后面描述。下面，使用圖3和圖4的流程圖，并參照圖5和圖6來說明這樣構(gòu)成的本實施例的內(nèi)窺鏡系統(tǒng)1的作用。首先，用戶在接通了內(nèi)窺鏡系統(tǒng)1具有的各部的電源之后，將內(nèi)窺鏡6的插入部11 插入到被檢體的體腔內(nèi)。然后，當由用戶將插入部11插入到被檢體的體腔內(nèi)時，例如，該體腔內(nèi)存在的活體組織等被攝體的像由設(shè)在前端部14上的攝像部17拍攝。然后，由攝像部17所拍攝的被攝體的像作為攝像信號被輸出到CCU 8。CXU 8通過在未作圖示的信號處理電路中，對從攝像部17的攝像元件16所輸出的攝像信號進行信號處理，將該攝像信號轉(zhuǎn)換成二維圖像的映像信號來輸出。然后，監(jiān)視器 9根據(jù)從CCU 8輸出的映像信號，將由攝像部17所拍攝的被攝體的像顯示為二維圖像。并且，CXU 8將通過對從攝像部17的攝像元件16所輸出的攝像信號進行信號處理而獲得的二維圖像的映像信號輸出到醫(yī)療用圖像處理裝置3。輸出到醫(yī)療用圖像處理裝置3的二維圖像的映像信號在圖像輸入部21中進行了 A/D轉(zhuǎn)換之后，被輸入到CPU 22。然后，如圖3所示，CPU 22的三維模型估計部2 在步驟Sl中使用例如“從明暗恢復(fù)形狀(Siape From blading) ”法等，對從圖像輸入部21輸出的二維圖像實施基于該二維圖像的亮度信息等的幾何變換等處理，從而估計與該二維圖像對應(yīng)的三維模型，并將三維模型的各數(shù)據(jù)點的坐標經(jīng)由存儲裝置接口 26存儲在硬盤27內(nèi)。然后，CPU 22的檢測對象區(qū)域設(shè)定部22b在步驟S2中檢測從圖像輸入部21輸出的二維圖像的色調(diào)變化、以及通過圖3的步驟Sl的處理所估計的三維模型的隆起性變化， 從而設(shè)定作為該三維模型中的用于檢測具有隆起形狀的病變的處理應(yīng)用對象的區(qū)域的檢測對象區(qū)域即對象區(qū)域。具體地說，CPU 22的檢測對象區(qū)域設(shè)定部22b例如將從圖像輸入部21輸出的二維圖像分離成R(紅色)圖像、G(綠色)圖像以及B(藍色)圖像的各平面圖像之后，根據(jù)按照該R圖像估計出的三維模型的數(shù)據(jù)檢測隆起性變化，并根據(jù)該R圖像和G圖像的色度來檢測色調(diào)變化。然后，CPU 22的檢測對象區(qū)域設(shè)定部22b根據(jù)所述隆起性變化的檢測結(jié)果和所述色調(diào)變化的檢測結(jié)果，將檢測出所述隆起性變化和所述色調(diào)變化兩者的區(qū)域設(shè)定為所述對象區(qū)域。之后，CPU 22的形狀特征量計算部22c在步驟S3中計算對象區(qū)域的局部偏微分系數(shù)。具體地說，CPU 22的形狀特征量計算部22c針對計算出的三維形狀，計算包含關(guān)注的三維位置(χ、y、ζ)在內(nèi)的局部區(qū)域(曲面)中的其R像素值f的1階偏微分系數(shù)fx、fy、 fz、以及 2 階偏微分系數(shù) fxx、fyy、fzz、fxy、fyz、fxz。然后，CPU 22的形狀特征量計算部22c在步驟S4中針對三維模型的處理對象區(qū)域內(nèi)存在的各數(shù)據(jù)點，進行根據(jù)局部偏微分系數(shù)計算形狀指標值和曲率值作為(三維形狀) 的形狀特征量的處理。S卩，CPU 22的形狀特征量計算部22c使用這些局部偏微分系數(shù)來計算高斯曲率K 和平均曲率H。另一方面，曲面的主曲率kl、k2(kl彡k2)使用高斯曲率K和平均曲率H表示為式 ⑴。kl = H+ (H2-K)1/2 k2 = H- (H2-K)1/2(1)并且，在該情況下的表示曲面形狀的特征量即形狀指標SI和曲率CV分別為式 (2) 、 (3)。SI = 1/2-(1/π )arctan[(kl+k2)/(kl-k2)] (2)CV= ((kl2+k22)/2)1/2(3)CPU 22的形狀特征量計算部22c按照這樣計算出三維的各曲面中的形狀指標SI 和曲率CV作為三維形狀信息，并將其存儲在分析信息存儲部25內(nèi)。所述的形狀指標值是用于表示三維模型具有的各數(shù)據(jù)點上的凹凸狀態(tài)的值，表示為0以上1以下的范圍內(nèi)的數(shù)值。具體地說，在存在于三維模型內(nèi)的各個數(shù)據(jù)點上，在形狀指標值接近0的情況下，暗示了存在凹狀形狀，并且在形狀指標值接近1的情況下，暗示了存在凸狀形狀。并且，所述的曲率值是用于表示三維模型具有的各數(shù)據(jù)點上的曲率的值。具體地說，在存在于三維模型內(nèi)的各個數(shù)據(jù)點上，曲率值越小，則暗示了存在彎曲得越大的曲面， 并且，曲率值越大，則暗示了存在彎曲得越平緩的曲面。然后，在步驟S5中，CPU 22的閾值決定部2 在存在于三維模型的對象區(qū)域內(nèi)的各數(shù)據(jù)點上，進行同形狀指標值和曲率值的各值進行比較的閾值Tl、T2的決定處理。該步驟S5的閾值Tl、T2的決定處理的詳情在后面描述。并且，在步驟S6中，CPU 22的三維形狀檢測部22d在存在于三維模型的對象區(qū)域內(nèi)的各數(shù)據(jù)點上，進行形狀指標值以及曲率值的各值與閾值決定部2 所決定的閾值Tl、 T2之間的比較處理，從而在該數(shù)據(jù)點中檢測出具有隆起形狀的數(shù)據(jù)組。具體地說，CPU 22 在存在于三維模型的處理對象區(qū)域內(nèi)的各數(shù)據(jù)點中檢測例如形狀指標值大于閾值Tl且曲率值大于閾值T2的多個數(shù)據(jù)點來作為具有隆起形狀的數(shù)據(jù)組。然后，CPU 22的息肉決定部22f在步驟S7中進行隆起形狀判別處理，即判別在三維模型中檢測為具有隆起形狀的數(shù)據(jù)組的多個數(shù)據(jù)點各方是否是與息肉等病變引起的隆起形狀對應(yīng)的數(shù)據(jù)點。之后，CPU 22的息肉決定部22f在步驟S8中將具有數(shù)據(jù)組的區(qū)域決定為息肉區(qū)域，并檢測病變區(qū)域即息肉，該數(shù)據(jù)組由與病變引起的隆起形狀對應(yīng)的數(shù)據(jù)點構(gòu)成。然后，CPU 22將該檢測結(jié)果與檢測對象的內(nèi)窺鏡圖像相關(guān)聯(lián)地存儲在例如圖1的硬盤27內(nèi)，并經(jīng)由顯示處理部觀與例如檢測對象的內(nèi)窺鏡圖像并排地顯示在監(jiān)視器4上。由此，在監(jiān)視器4上，對用戶能容易識別出由息肉等病變引起的隆起形狀所存在的位置的被攝體的三維模型進行圖像顯示。下面，說明上述步驟S5的閾值T1、T2的決定處理。如圖4所示，CPU 22的閾值決定部2 在步驟S51中將參數(shù)i設(shè)定為1，在步驟S52中從分析信息存儲部25取得三維模型的對象區(qū)域內(nèi)的第i個數(shù)據(jù)點的三維坐標(xi，yi，zi)。然后，在步驟S53中，CPU 22的閾值決定部2 根據(jù)Z坐標zi，從經(jīng)由存儲裝置接口沈存儲在硬盤27內(nèi)的圖5所示的“Z坐標-閾值T1、T2”閾值表數(shù)據(jù)中讀出閾值Tl⑴、 T2(i)。然后，在步驟S54中，CPU 22的閾值決定部2 作為第i個數(shù)據(jù)點的形狀指標值和曲率值的閾值Tl(i)、T2(i)存儲在分析信息存儲部25內(nèi)。然后，CPU 22的閾值決定部2 在步驟S55中判斷參數(shù)i是否達到三維模型的對象區(qū)域內(nèi)的全部數(shù)據(jù)點的數(shù)量N，在不是i > N時，在步驟S56中使參數(shù)i遞增并返返回到步驟S52。CPU 22的閾值決定部2 重復(fù)上述步驟S52 S56的處理，直到在步驟S55中對三維模型的對象區(qū)域內(nèi)的全部數(shù)據(jù)點上的閾值Tl (i)、T2 (i)進行決定。另夕卜，可以采用以下結(jié)構(gòu)通過應(yīng)用“Z坐標-閾值T1、T2”閾值表(參照圖5)所示的值的1次或2次函數(shù)使Z坐標值與Tl、Τ2之間的關(guān)系公式化，利用公式運算求出該關(guān)系。在二維圖像中，離光源越近，來自粘膜下的散射光就越增強，其他位置的反射光 (二次光)的入射量也就增大。并且，由于大腸內(nèi)窺鏡圖像是腸道的攝像圖像，因此，在腸道方向處于圖像內(nèi)的情況下，進深方向較遠位置上的圖像部分是對從斜向觀察腸道壁時的圖像進行拍攝的，與對腸壁正視觀察時相比，反射光和散射光的角度特性不同。即，息肉候選檢測用的形狀指標(表示凹凸性的指標)和曲率(表示凹凸的尖銳度的指標)的最佳的閾值組合根據(jù)閾值判定點的ζ坐標而不同。例如圖6是通過相同的閾值組合來進行息肉候選檢測的例子，不僅檢測出近前的應(yīng)有的息肉250，而且還檢測出內(nèi)部的平緩的凸部251和接近峰狀的凸部252。如上所述，在本實施例中，由于使用三維數(shù)據(jù)的關(guān)注點的位置(Ζ坐標)來校正閾值，因而可將排除了由對象的反射/散射特性和針對對象的二次光的影響后的閾值用于息肉檢測處理，可提高息肉候選的檢測精度。因此，可促進用戶在大腸內(nèi)窺鏡檢查中提高息肉候選的發(fā)現(xiàn)率。(實施例2)圖7至圖11涉及本發(fā)明的實施例2，圖7是示出閾值T1、T2的決定處理流程的流程圖，圖8是示出在圖7的處理中使用的“夾角-乘法值”閾值表數(shù)據(jù)的圖，圖9是說明圖 7的處理的第1圖，圖10是說明圖7的處理的第2圖，圖11是說明圖7的處理的第3圖。實施例2與實施例1的不同點在于與形狀指標值以及曲率值的各值進行比較的閾值Tl、Τ2的決定處理，由于結(jié)構(gòu)與實施例1相同，因而僅說明不同點。在本實施例的與形狀指標值以及曲率值的各值進行比較的閾值Tl、Τ2的決定處理中，如圖7所示，CPU 22的閾值決定部2 在步驟S51中將參數(shù)i設(shè)定為1，在步驟S52 中從分析信息存儲部25取得三維模型的對象區(qū)域內(nèi)的第i個數(shù)據(jù)點的三維坐標(xi，yi，
zi) ο然后，CPU 22的閾值決定部2 在步驟S57中計算視點坐標與所述坐標點的差， 生成視線矢量。視點位置的坐標(xO，yO, z0)是在圖3的步驟Sl中決定的，該視線矢量 VO(VxO, VyO, VzO)為(xi-xO, yi-yO, zi-zO)。然后，CPU 22的閾值決定部2 在步驟S58中計算出第i個數(shù)據(jù)點上的法線矢量 Vi (Vxi, Vyi, Vzi)。該法線矢量Vi是針對在圖3的步驟S2中求出的二維曲面f計算出在數(shù)據(jù)點上的微分值(fx，fy，fz)而求得的。并且，CPU 22的閾值決定部2 在步驟S59中計算出視線矢量與法線矢量的夾角9i。該夾角θ i是根據(jù)矢量的內(nèi)積公式而求得的。另外，在本實施例中，圖8所示的“夾角-乘法值”閾值表數(shù)據(jù)和閾值的默認值 Tl (0)、T2 (0)被存儲在硬盤27內(nèi)。然后，在步驟S60中，CPU 22的閾值決定部2 從存儲在硬盤27內(nèi)的“夾角-乘法值”閾值表數(shù)據(jù)中提取與求得的夾角θ i對應(yīng)的乘法值α i、β i，并從硬盤27中取得閾值的默認值(T1(0)、T2(0))，求出將閾值的默認值T1、T2和乘法值ai、β i分別相乘后的值 Tl(i)(= α iXTl(0))、T2(i) ( = β ΧΤ2(0))。然后，在步驟S54中，CPU 22的閾值決定部2 作為第i個數(shù)據(jù)點的形狀指標值和曲率值的閾值Tl(i)、T2(i)存儲在分析信息存儲部25內(nèi)。然后，在步驟S55中，CPU 22的閾值決定部2 判斷參數(shù)i是否達到三維模型的對象區(qū)域內(nèi)的全部數(shù)據(jù)點的數(shù)量N，在不是i > N時，在步驟S56中使參數(shù)i遞增并返回到步驟S52。CPU 22的閾值決定部2 重復(fù)上述圖7的步驟S52、S57 S60以及SM S56的處理，直到在步驟S55中決定三維模型的對象區(qū)域內(nèi)的全部數(shù)據(jù)點上的閾值Tl (i)、T2(i)。使用該閾值Tl(i)、T2(i)，執(zhí)行在圖3所示的步驟S6中的三維模型的對象區(qū)域內(nèi)存在的各數(shù)據(jù)點的形狀指標值和曲率值的各值與閾值決定部2 所決定的閾值T1、T2之間的比較處理。大腸內(nèi)窺鏡圖像由于反射光和散射光的角度特性根據(jù)對腸壁的正視/斜視而不同，因而息肉候選檢測用的形狀指標值和曲率值的最佳的閾值組合根據(jù)閾值判定點的腸壁的法線矢量與視線角所形成的角度而不同。例如圖9是以正視拍攝半球狀的樣品100后的圖像，而當采用“從明暗恢復(fù)形狀 (Shape From blading) ”法生成三維數(shù)據(jù)時，具有從視點觀察到的圖像由于反射光和散射光的角度特性而延伸成半橢圓球狀的問題。在本實施例中，由于使用三維數(shù)據(jù)的關(guān)注點的位置和角度信息來校正閾值，因而可獲得與實施例1相同的效果，并且由于采用使表值和默認值相乘的結(jié)構(gòu)，因而可根據(jù)默認值的變更來求出最佳的閾值。另外，還能采用這樣的結(jié)構(gòu)通過使用例如日本特開2003-933 號公報等所公開的內(nèi)窺鏡圖像的視野內(nèi)管腔檢測方法，根據(jù)內(nèi)窺鏡圖像的視野內(nèi)管腔檢測的有無，決定圖像整體的平均閾值。例如，如圖10所示，在視野內(nèi)檢測出管腔101整體的情況下，腸道表面的法線矢量與視線角的夾角是取較大的值來作為圖像整體的平均值。因此，使用例如圖8的閾值表的夾角=60 的值來提取乘法值ai = 1.03、= 0. 90，將閾值確定為Tl = 1. 03XTl (0))、T2 = 0. 90XT2 (0))。并且，如圖11所示，在視野內(nèi)未檢測出管腔101整體的情況下，腸道表面的法線矢量與視線角的夾角是取較小的值來作為圖像整體的閾值。因此，使用例如圖8的閾值表的夾角=20 30的值來提取乘法值α i = 1.01、β i = 0.98，將閾值確定為Tl = 1. 01 X Tl (0))、T2 = 0. 98 X T2 (0))。(實施例3)圖12至圖16涉及本發(fā)明的實施例3，圖12是說明局部偏微分系數(shù)的計算處理的圖，圖13是示出圖12的局部偏微分系數(shù)的計算處理流程的流程圖，圖14是示出圖13的處理后級的閾值Tl、T2的決定處理流程的流程圖，圖15是示出在圖13的處理中使用的數(shù)據(jù)點數(shù)量Mi與閾值T1、T2之間的對應(yīng)的閾值表的圖，圖16是示出圖13的局部偏微分系數(shù)的計算處理的變形例的流程的流程圖。實施例3與實施例1的不同點在于局部偏微分系數(shù)的計算處理(圖3的步驟S3) 以及同形狀指標值和曲率值的各值進行比較的閾值Tl、Τ2的決定處理(圖3的步驟S5)， 由于結(jié)構(gòu)與實施例1相同，因而僅說明不同點。在實施例1中，使用在固定尺寸的立方或球的范圍內(nèi)存在的三維數(shù)據(jù)點。因此，在實施例1應(yīng)用的局部偏微分系數(shù)的計算處理(圖3的步驟S3)中，如圖12所示，由于產(chǎn)生三維數(shù)據(jù)點的疏密，因而所估計的局部偏微分系數(shù)的標準誤差當數(shù)據(jù)變疏時則增大。在以數(shù)據(jù)密的范圍作為基準而設(shè)定了閾值的情況下，在數(shù)據(jù)疏的范圍內(nèi)發(fā)生漏取。并且，在以數(shù)據(jù)疏的范圍作為基準而設(shè)定了閾值的情況下，在數(shù)據(jù)密的范圍內(nèi)誤檢測增多。本實施例的局部偏微分系數(shù)的計算處理與實施例1的不同點是附加了決定三維數(shù)據(jù)點取得區(qū)域的處理。在本實施例的局部偏微分系數(shù)的計算處理中，首先，針對通過圖3的步驟S2計算出的腸道表面上的點中的關(guān)注的1個點，估計并計算出該位置上的腸道表面的二維曲面方程式的系數(shù)，通過對二維曲面方程式進行偏微分而求出局部偏微分系數(shù)。二維曲面方程式是這樣求出的設(shè)定以關(guān)注的1個點為中心的立方或球的局部區(qū)域，根據(jù)局部區(qū)域內(nèi)存在的包含自身在內(nèi)的三維數(shù)據(jù)點的坐標值生成矩陣(需要9點以上的坐標值)，生成其偽逆矩陣。具體地說，在本實施例的局部偏微分系數(shù)的計算處理中，如圖13所示，CPU 22的形狀特征量計算部22c在步驟S31中將參數(shù)i設(shè)定為1，當在步驟S32中計算出第i個三維數(shù)據(jù)點的局部偏微分系數(shù)時，首先對變量L設(shè)定初始值L0。接下來，CPU 22的形狀特征量計算部22c在步驟S33中從分析信息存儲部25取得三維模型的對象區(qū)域內(nèi)的第i個數(shù)據(jù)點的三維坐標(xi，yi, zi)。然后，在步驟S34中，CPU 22的形狀特征量計算部22c從存儲在硬盤27內(nèi)的、表示腸道表面的三維數(shù)據(jù)點序列中取得以第i個數(shù)據(jù)點的坐標(xi，yi, zi)為中心的立方范圍(xi士L，yi士L，zi士L)的范圍內(nèi)存在的數(shù)據(jù)點信息。對該數(shù)據(jù)點信息的數(shù)量ni進行計數(shù)。然后，CPU 22的形狀特征量計算部22c在步驟S35中將計數(shù)的數(shù)量ni與規(guī)定的值K進行比較，在計數(shù)的數(shù)量ni大于K的情況下，進行步驟S36中的二維曲面方程式的系數(shù)計算處理以及步驟S37中的局部偏微分系數(shù)的計算處理，進入圖3的步驟S3的形狀指標
/曲率的計算處理。在計數(shù)的數(shù)量ni小于等于規(guī)定的值K的情況下，在步驟S38中使L加上規(guī)定的增量LS來擴大所述范圍，之后返回到步驟S34，重新對處于范圍內(nèi)的數(shù)據(jù)點信息進行計數(shù)。然后，在步驟S39中，CPU 22的形狀特征量計算部22c判斷參數(shù)i是否達到三維模型的對象區(qū)域內(nèi)的全部數(shù)據(jù)點的數(shù)量N，在不是i > N時，在步驟S56中使參數(shù)i遞增并返回到步驟S32。CPU 22的閾值決定部2 重復(fù)上述圖12的S32 S39以及S56的處理， 直到在步驟S39中完成三維模型的對象區(qū)域內(nèi)的全部數(shù)據(jù)點上的二維曲面方程式的系數(shù)計算和局部偏微分系數(shù)的計算。通過以上處理，進行局部區(qū)域的尺寸變更，以使局部區(qū)域內(nèi)包含的三維數(shù)據(jù)點數(shù)
量大于等于規(guī)定數(shù)量。并且，在本實施例的與形狀指標值以及曲率值的各值進行比較的閾值Tl、T2的決定處理中，如圖14所示，CPU 22的閾值決定部2 在步驟S51中將參數(shù)i設(shè)定為1，在步驟 S52中從分析信息存儲部25取得三維模型的對象區(qū)域內(nèi)的第i個數(shù)據(jù)點的三維坐標(xi， yi, zi)。然后，CPU 22的閾值決定部2 在步驟S61中使用規(guī)定的值L來設(shè)定以該三維坐標(xi, yi, zi)為中心的立方區(qū)域。即，設(shè)定為{(xi，，yi，，zi，) xi_L彡xi’ ( xi+L, yi-L彡yi，彡yi+L，zi-L ^ zi' ^ zi+L}。根據(jù)存儲在硬盤27內(nèi)的三維數(shù)據(jù)點序列對該立方區(qū)域內(nèi)的數(shù)據(jù)點數(shù)量Mi進行計數(shù)。另外，在硬盤27內(nèi)存儲有圖15所示的、數(shù)據(jù)點數(shù)量Mi與閾值Tl、T2對應(yīng)起來的閾值表。然后，CPU 22的閾值決定部2 在步驟S62中根據(jù)所述的數(shù)據(jù)點數(shù)量Mi，從閾值表取得與數(shù)據(jù)點數(shù)量Mi對應(yīng)的閾值Tl、T2。接下來，CPU 22的閾值決定部2 在步驟S54中，作為第i個數(shù)據(jù)點的形狀指標值和曲率值的閾值Tl(i)、T2(i)而存儲在分析信息存儲部25內(nèi)。然后，CPU 22的閾值決定部2 在步驟S55中判斷參數(shù)i是否達到三維模型的對象區(qū)域內(nèi)的全部數(shù)據(jù)點的數(shù)量N，在不是i > N時，在步驟S56中使參數(shù)i遞增并返回到步驟S52。CPU 22的閾值決定部2 重復(fù)上述圖14的步驟S52、S61、S62、SM S56的處理， 直到在步驟S55中決定三維模型的對象區(qū)域內(nèi)的全部數(shù)據(jù)點的閾值Tl (i)、T2 (i)。另外，在數(shù)據(jù)點數(shù)量Mi是0 8的情況下，由于閾值處理是無效的，因而閾值Tl、T2被代入表示無效的值0。并且，盡管構(gòu)成為對以坐標為中心的立方區(qū)域內(nèi)的數(shù)據(jù)點數(shù)量進行計數(shù)，然而也可以構(gòu)成為除了 xk’ 2+yk’ 2+zk’ 2 < L的條件以外，還對以坐標為中心的球區(qū)域內(nèi)的數(shù)據(jù)點數(shù)量進行計數(shù)。這樣，在本實施例中，進行局部區(qū)域的尺寸變更，以使局部區(qū)域內(nèi)包含的三維數(shù)據(jù)點數(shù)量大于等于規(guī)定數(shù)，并根據(jù)三維數(shù)據(jù)的點密度設(shè)定用于求出三維特征量(形狀指標值和曲率值)的閾值Tl、T2，因而通過根據(jù)三維數(shù)據(jù)的密度來變更息肉檢測處理中的處理參數(shù)，可提高息肉候選的檢測精度，可促進在大腸內(nèi)窺鏡檢查中息肉候選發(fā)現(xiàn)率的提高。另外，在存在于范圍內(nèi)的數(shù)據(jù)點數(shù)量過多的情況下，計算二維曲面方程式的系數(shù)時的處理時間增加。因此，如本實施方式的局部偏微分系數(shù)的計算處理的變形例的圖16的處理流程所示，CPU 22的形狀特征量計算部22c可以構(gòu)成為，在步驟S40中判斷所取得的數(shù)據(jù)點數(shù)量是否大于規(guī)定的值J (K < J)，在大于規(guī)定的值J的情況下，在步驟S41中將在二維曲面方程式的系數(shù)計算中使用的數(shù)據(jù)點控制為K+1。在該情況下，通過將所取得的數(shù)據(jù)點數(shù)量與規(guī)定的值J進行比較，在計數(shù)的數(shù)量 ni大于J的情況下，通過刪除數(shù)據(jù)點信息中的第K+2以后的數(shù)據(jù)并計算二維曲面方程式的系數(shù)來實現(xiàn)。本發(fā)明不限于上述的實施例，可在不改變本發(fā)明宗旨的范圍內(nèi)進行各種變更、改變等。本申請是以2006年7月27日向日本申請的日本特願2006-205142號作為優(yōu)先權(quán)要求的基礎(chǔ)來提出申請的，上述的公開內(nèi)容被引用在本申請說明書和權(quán)利要求書中。
權(quán)利要求
1.一種醫(yī)療用圖像處理裝置，其特征在于，該醫(yī)療用圖像處理裝置具有三維模型估計單元，其根據(jù)從醫(yī)療用攝像裝置輸入的體腔內(nèi)的活體組織的像的二維圖像，估計所述活體組織的三維模型；檢測對象區(qū)域設(shè)定單元，其在所述三維模型中設(shè)定具有隆起形狀的病變的檢測對象區(qū)域；形狀特征量計算單元，其計算形狀特征量，所述形狀特征量表示所述檢測對象區(qū)域內(nèi)所包含的各數(shù)據(jù)點上的形狀的狀態(tài)；三維形狀檢測單元，其根據(jù)針對所述形狀特征量的閾值處理，檢測存在于所述檢測對象區(qū)域內(nèi)的局部隆起形狀的病變區(qū)域；以及閾值決定單元，其決定在所述三維形狀檢測單元中使用的閾值， 所述閾值決定單元根據(jù)在將從所述醫(yī)療用攝像裝置輸入的體腔內(nèi)的活體組織的像的所述二維圖像的攝像位置作為視點并將所述檢測對象區(qū)域上的一個點作為關(guān)注點時的、從所述視點到所述關(guān)注點的視線矢量與所述關(guān)注點在所述檢測對象區(qū)域內(nèi)的法線矢量之間的夾角，決定在所述形狀特征量的計算中使用的所述閾值。
2.根據(jù)權(quán)利要求1所述的醫(yī)療用圖像處理裝置，其特征在于所述形狀特征量是形狀指標值和曲率值，所述閾值是和所述形狀指標值以及曲率值進行比較的比較閾值。
全文摘要
本發(fā)明的內(nèi)窺鏡系統(tǒng)的要部構(gòu)成為具有醫(yī)療用觀察裝置、醫(yī)療用圖像處理裝置以及監(jiān)視器。醫(yī)療用圖像處理裝置的CPU(22)由三維模型估計部(22a)、檢測對象區(qū)域設(shè)定部(22b)、形狀特征量計算部(22c)、三維形狀檢測部(22d)、閾值決定部(22e)以及息肉決定部(22f)各功能部構(gòu)成。根據(jù)這種結(jié)構(gòu)，可執(zhí)行與對象的二維圖像的觀察狀態(tài)恰當?shù)剡m應(yīng)的處理，與以往相比能提高在檢測具有局部隆起形狀的病變的情況下的檢測精度。
文檔編號A61B1/04GK102247118SQ201110082529
公開日2011年11月23日 申請日期2007年4月10日 優(yōu)先權(quán)日2006年7月27日
發(fā)明者中村健次, 井上涼子, 沢美穗, 田中秀樹, 西村博一 申請人:奧林巴斯醫(yī)療株式會社