專利名稱：醫(yī)療用圖像處理裝置和醫(yī)療用圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對根據(jù)二維圖像所生成的三維表面模型中的各部的可信 度進(jìn)行處理的醫(yī)療用圖像處理裝置和醫(yī)療用圖像處理方法。
背景技術(shù)：
由插入體腔內(nèi)的內(nèi)窺鏡獲得的內(nèi)窺鏡圖像廣泛利用在觀察部位的診 斷中。由于由內(nèi)窺鏡獲得的內(nèi)窺鏡圖像是二維圖像，因而例如如日本特
開平8—252217號公報公開的現(xiàn)有例那樣，有這樣的裝置，即根據(jù)所 取得的圖像信息生成三維表面模型，通過顯示所生成的表面模型，來提 供更容易診斷的圖像信息。
如上所述在生成并顯示了三維表面模型的情況下，其圖像與二維內(nèi) 窺鏡圖像的情況相比是容易診斷的圖像。然而，為了根據(jù)二維內(nèi)窺鏡圖 像構(gòu)建三維表面模型，例如當(dāng)插入有內(nèi)窺鏡來觀察的體腔內(nèi)部位處在與 內(nèi)窺鏡的照明窗或觀察(攝像)窗相隔很遠(yuǎn)的距離時，來自照明光源的 照明光的照射量下降。
因此，根據(jù)在遠(yuǎn)距離所拍攝的圖像數(shù)據(jù)部分而生成的表面模型的數(shù) 據(jù)部分的精度比根據(jù)在近距離所拍攝的圖像數(shù)據(jù)部分而生成的表面模型 的數(shù)據(jù)部分的精度低。
并且，在體腔內(nèi)，特別是管腔形狀的情況下，當(dāng)管腔部分有皺褶或 隆起物時，成為其背面的位置從成為視點的位置(即觀察窗)是看不到 的。因此，在生成與該部位對應(yīng)的表面模型上的位置的情況下，由于根 據(jù)基于該位置的鄰近數(shù)據(jù)等的估計值來生成，因而所生成的表面模型的 精度下降。
在現(xiàn)有例中，由于未考慮這種精度，因而在將表面模型利用在診斷 中的情況下，難以確認(rèn)其可信度。并且，在通過圖像處理使用表面模型
來進(jìn)行具有病變部的特征量的病變候補(bǔ)的檢測和判定的情況下，其可信 度的確認(rèn)或提高變得困難。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述方面而作成的，本發(fā)明的目的是提供一種可實現(xiàn) 在將表面模型利用在病變候補(bǔ)檢測等中的情況下的可信度的確認(rèn)或提高 的醫(yī)療用圖像處理裝置和醫(yī)療用圖像處理方法。
本發(fā)明的醫(yī)療用圖像處理裝置，其特征在于，該醫(yī)療用圖像處理裝 置具有表面模型生成單元，其根據(jù)二維醫(yī)療用圖像進(jìn)行三維表面模型 生成處理；以及區(qū)域可信度計算單元，其將所述表面模型劃分為多個區(qū) 域，計算各區(qū)域中的多個數(shù)據(jù)的可信度。
并且，本發(fā)明的醫(yī)療用圖像處理方法，其特征在于，該醫(yī)療用圖像 處理方法具有表面模型生成步驟，根據(jù)二維醫(yī)療用圖像進(jìn)行三維表面 模型生成處理；以及區(qū)域可信度計算步驟，將所述表面模型劃分為多個 區(qū)域，計算各區(qū)域中的多個數(shù)據(jù)的可信度。


圖1是示出內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)的框圖。
圖2是示出由插入大腸那樣的管狀部位內(nèi)的內(nèi)窺鏡進(jìn)行拍攝的狀況 的圖。
圖3是示出由設(shè)置在圖2的內(nèi)窺鏡內(nèi)的攝像裝置所拍攝的內(nèi)窺鏡圖 像的圖。
圖4是示出根據(jù)圖3的內(nèi)窺鏡圖像而生成的表面模型的圖。 圖5是示出CPU的圖像分析處理功能的框圖。 圖6是示出用于生成表面模型的處理進(jìn)程的流程圖。 圖7是示出與所拍攝的圖像的各像素對應(yīng)的物體上的對應(yīng)點和光源 等的位置關(guān)系的圖。
圖8A是示出在物體的面上反射來自光源的光的狀況等的圖。 圖8B是示出在物體的面上反射來自光源的光的狀況等的圖。
圖9是示出設(shè)定在對應(yīng)點周圍的多個法線矢量的圖。 圖IO是示出圖8B的矢量m通過二維圖像上的位置的圖。 圖11是示出在圖6的步驟S2中生成的表面模型的圖。 圖12是示出生成體素可信度映射圖的處理內(nèi)容和所使用的數(shù)據(jù)等 的圖。
圖13是圖12的步驟S12的距離計算的說明圖。 圖14是示出進(jìn)行息肉候補(bǔ)提取判定的處理內(nèi)容和所生成/使用的圖 像等的圖。
圖15A是圖14的步驟S24的動作說明圖。 圖15B是圖14的步驟S24的動作說明圖。 圖15C是圖14的步驟S24的動作說明圖。 圖15D是圖14的步驟S24的動作說明圖。
圖16是示出圖14的步驟S26的息肉候補(bǔ)判定處理內(nèi)容的流程圖。 圖17是圖16的處理的說明圖。
具體實施例方式
以下，參照

本發(fā)明的實施方式。
圖1 圖17涉及本發(fā)明的一實施方式，圖l是示出內(nèi)窺鏡系統(tǒng)的結(jié) 構(gòu)的框圖，圖2是示出由插入大腸那樣的管狀部位內(nèi)的內(nèi)窺鏡進(jìn)行拍攝 的狀況的圖，圖3是示出由設(shè)置在圖2的內(nèi)窺鏡內(nèi)的攝像裝置所拍攝的 內(nèi)窺鏡圖像的圖，圖4是示出根據(jù)圖3的內(nèi)窺鏡圖像而生成的表面模型 的圖，圖5是示出CPU的圖像分析處理功能的框圖，圖6是示出用于生 成表面模型的處理進(jìn)程的流程圖，圖7是示出與所拍攝的圖像的各像素 對應(yīng)的物體上的對應(yīng)點和光源等的位置關(guān)系的圖，圖8A是示出在物體的 面上反射來自光源的光的狀況等的圖，圖8B是示出在物體的面上反射來 自光源的光的狀況等的圖，圖9是示出設(shè)定在對應(yīng)點周圍的多個法線矢 量的圖，圖10是示出圖8B的矢量m通過二維圖像上的位置的圖，圖ll 是示出在圖6的步驟S2中生成的表面模型的圖，圖12是示出生成體素 可信度映射圖的處理內(nèi)容和所使用的數(shù)據(jù)等的圖，圖13是圖12的步驟
S12的距離計算的說明圖，圖14是示出進(jìn)行息肉候補(bǔ)提取判定的處理內(nèi) 容和所生成/使用的圖像等的圖，圖15A是圖14的步驟S24的動作說明 圖，圖15B是圖14的步驟S24的動作說明圖，圖15C是圖14的步驟S24 的動作說明圖，圖15D是圖14的步驟S24的動作說明圖，圖16是示出 圖14的步驟S26的息肉候補(bǔ)判定處理內(nèi)容的流程圖，圖17是圖16的處 理的說明圖。
圖1所示的內(nèi)窺鏡系統(tǒng)1由以下構(gòu)成，即內(nèi)窺鏡觀察裝置2;醫(yī) 療用圖像處理裝置(以下簡記為圖像處理裝置)3，其由個人計算機(jī)等構(gòu) 成，對由該內(nèi)窺鏡觀察裝置2所獲得的作為醫(yī)療用圖像的內(nèi)窺鏡圖像進(jìn) 行圖像處理；以及顯示監(jiān)視器4，其顯示由該圖像處理裝置3進(jìn)行了圖像 處理的圖像。
內(nèi)窺鏡觀察裝置2具有內(nèi)窺鏡6，其被插入體腔內(nèi)；光源裝置7， 其將照明光提供給該內(nèi)窺鏡6;相機(jī)控制單元(簡記為CCU) 8，其進(jìn)行
針對內(nèi)窺鏡6的攝像單元的信號處理；以及監(jiān)視器9，其通過被輸入從該
CCU 8所輸出的影像信號，顯示由攝像元件所拍攝的內(nèi)窺鏡圖像。
內(nèi)窺鏡6具有被插入體腔內(nèi)的插入部11;以及設(shè)置在該插入部ll
的后端的操作部12。并且，在插入部11內(nèi)插通有傳送照明光的導(dǎo)光路 13。
該導(dǎo)光路13的后端與光源裝置7連接。然后，通過導(dǎo)光路13傳送 從該光源裝置7提供的照明光，從安裝在設(shè)置于插入部11的前端部14 上的照明窗上的前端面射出(所傳送的照明光)，對患部等的被攝體進(jìn)行 照明。
設(shè)置有攝像裝置17，該攝像裝置17具有安裝在與照明窗鄰接的 觀察窗上的物鏡15,以及配置在該物鏡15的成像位置的作為固體攝像元 件的例如電荷耦合元件(簡記為CCD) 16。然后，形成在該CCD 16的 攝像面上的光學(xué)像由該CCD 16進(jìn)行光電轉(zhuǎn)換。
該CCD 16經(jīng)由信號線與CCU 8連接，通過從該CCU 8施加CCD 驅(qū)動信號，CCD 16輸出光電轉(zhuǎn)換后的圖像信號。該圖像信號由CCU 8 內(nèi)的影像處理電路進(jìn)行信號處理，被轉(zhuǎn)換成影像信號。該影像信號被輸
出到監(jiān)視器9，在監(jiān)視器9的顯示面上顯示內(nèi)窺鏡圖像。該影像信號也被 輸入到圖像處理裝置3。
該圖,處理裝置3具有圖像輸入部21，其被輸入與從內(nèi)窺鏡觀察 裝置2所輸入的內(nèi)窺鏡圖像對應(yīng)的影像信號；作為中央運算處理裝置的 CPU 22，其進(jìn)行針對從該圖像輸入部21所輸入的圖像數(shù)據(jù)的圖像處理； 以及處理程序存儲部23，其存儲通過該CPU 22執(zhí)行圖像處理的處理程 序(控制程序)。
并且，該圖像處理裝置3具有圖像存儲部24，其存儲從圖像輸入 部21所輸入的圖像數(shù)據(jù)等；信息存儲部25，其存儲由CPU22所處理的 信息等；作為存儲裝置的硬盤27，其經(jīng)由存儲裝置接口 26存儲由CPU22 所處理的圖像數(shù)據(jù)和信息等；顯示處理部28，其進(jìn)行用于顯示由CPU22 所處理的圖像數(shù)據(jù)等的顯示處理；以及輸入操作部29,其由用戶進(jìn)行圖 像處理參數(shù)等的數(shù)據(jù)輸入和指示操作的鍵盤等構(gòu)成。
然后，由該顯示處理部28所生成的影像信號顯示在顯示監(jiān)視器4上， 在該顯示監(jiān)視器4的顯示面上顯示進(jìn)行了圖像處理的處理圖像。另外， 圖像輸入部21、 CPU 22、處理程序存儲部23、圖像存儲部24、信息存 儲部25、存儲裝置接口26、顯示處理部28以及輸入操作部29經(jīng)由數(shù)據(jù) 總線30相互連接。
在本實施方式中，如圖2所示，直視型內(nèi)窺鏡6的插入部11被插入 例如大腸31那樣的管狀部位(管狀器官)內(nèi)，由攝像裝置17進(jìn)行拍攝。
圖3示出由該直視型內(nèi)窺鏡6所拍攝的內(nèi)窺鏡圖像的一例。在該內(nèi) 窺鏡圖像內(nèi)存在皺褶或隆起性的凸部。另外，斜線所示的部分表示延伸 到深部側(cè)的管腔暗部。
在本實施方式中，使用直視型等的內(nèi)窺鏡6拍攝大腸31那樣的管狀 器官，根據(jù)所拍攝的二維內(nèi)窺鏡圖像估計對象物(具體地說為大腸的管 腔形狀的內(nèi)面)的三維形狀的表面模型。例如圖4示出所估計的表面模 型的例子。在圖4中，生成與圖3的凸部對應(yīng)的凸部G1、 G2。
在根據(jù)圖3的二維內(nèi)窺鏡圖像的圖像數(shù)據(jù)生成圖4所示的呈三維形 狀的表面模型的情況下，在內(nèi)窺鏡6的前端面距照明窗位置的距離大的
部分中，由于與距離小的部分相比較照明強(qiáng)度下降，因而與該部分對應(yīng) 而生成的表面模型中的三維數(shù)據(jù)精度下降。
并且，當(dāng)管腔有皺褶或隆起的凸部時，由于成為其背面的位置從成 為視點位置的觀察窗是看不到的，因而通過估計等而生成的表面模型的 三維數(shù)據(jù)精度下降。
在本實施方式中，考慮到這些方面，生成可信度映射圖，該可信度 映射圖表示所生成的三維表面模型中的各點(如后所述作為小區(qū)域的體 素)的面或位置的數(shù)據(jù)可信度。
然后，可將所生成的三維表面模型的各部中的其數(shù)據(jù)可信度信息有 效地利用在病變的檢測或判定等中。
因此，構(gòu)成本實施方式中的圖像處理裝置的CPU 22具有圖5所示的 圖像處理功能。
CPU22具有作為表面模型生成單元的表面模型生成功能22a，其 根據(jù)二維內(nèi)窺鏡圖像生成(估計)呈三維形狀的表面模型；作為區(qū)域可 信度計算單元的體素可信度映射圖生成功能22b，其針對所生成的表面模 型的表面數(shù)據(jù)各部中的、作為小區(qū)域的體素生成體素可信度映射圖，該 體素可信度映射圖表示在該體素部分的其數(shù)據(jù)可信度；以及作為候補(bǔ)檢 測單元的息肉候補(bǔ)判定功能(息肉候補(bǔ)檢測功能)22c，其根據(jù)表面模型 的表面數(shù)據(jù)提取病變候補(bǔ)，具體地說為息肉候補(bǔ)，進(jìn)行息肉的可能性的 判定處理(或檢測處理)。
在本實施方式中，這樣生成三維表面模型，將該表面模型的表面數(shù) 據(jù)各部視為體素集合體，計算各體素部分中的其三維數(shù)據(jù)的可信度(體 素可信度)。
然后，例如在進(jìn)行根據(jù)所生成的三維表面模型檢測或判定息肉等的 病變的圖像處理的情況下，通過利用該可信度信息，可進(jìn)行可信度更高 的檢測或判定。
并且，由于所提供的息肉等的病變檢測或判定結(jié)果是向醫(yī)生提供可 信度信息，因而醫(yī)生在進(jìn)行息肉等的診斷時，可更有效地利用該信息。 從而容易進(jìn)行更準(zhǔn)確的診斷。
在本實施方式中，圖5所示的各功能以軟件形式來實現(xiàn)。即，存儲 在處理程序存儲部23內(nèi)的處理程序由CPU22讀出，CPU22通過按照該 處理程序進(jìn)行處理，來執(zhí)行圖6所示的與表面模型生成功能22a對應(yīng)的 流程圖的處理等。
下面說明本實施方式的動作。
當(dāng)圖像處理裝置3的動作開始時，CPU 22讀出處理程序存儲部23 的處理程序，開始按照該處理程序進(jìn)行處理。如圖6所示，CPU22在最 初的步驟S1中，將從內(nèi)窺鏡觀察裝置2的CCU8經(jīng)過圖像輸入部21所
輸入的內(nèi)窺鏡圖像作為原圖像的圖像數(shù)據(jù)來取得。
然后，在下一步驟S2中，CPU 22對所取得的圖像數(shù)據(jù)進(jìn)行失真像 差校正(例如，日本特開平8—256295號公報所記載的內(nèi)容)、噪聲去除 等的預(yù)處理。在步驟S3中，CPU 22按以下進(jìn)程求出與圖像內(nèi)的像素對
應(yīng)的對象物體的三維位置。
如圖7所示，提取與由位于視點O的攝像單元所拍攝的圖像的3像 素對應(yīng)的對象物體上的像素對應(yīng)點El、 E2、 E3，根據(jù)像素對應(yīng)點El、 E2、 E3的三維位置與光源Q和視點O的位置關(guān)系求出以下的式(1)。 [算式l]
<formula>formula see original document page 10</formula>式中，設(shè)像素對應(yīng)點E1、 E2、 E3的三維位置矢量為klml、 k2m2、 k3m3 (ml、 m2、 m3:大小為1的單位矢量)，設(shè)從視點O到光源Q的 矢量為d，設(shè)從光源Q到3像素對應(yīng)點El、 E2、 E3的三維位置的矢量為 rl、 r2、 r3。
設(shè)由像素對應(yīng)點E1、E2、E3的三維位置構(gòu)成的平面的法線矢量為n， 根據(jù)式(1)，矢量n如下式(2)所示，由矢量分量kl、 k2、 k3的比率 表7K o <formula>formula see original document page 11</formula> (2)
式中，設(shè)從點El到點E2的矢量為112，設(shè)從點E2到點E3的矢量 為123， x表示外積。并且，假定如圖8A所示成為攝像對象的(大腸內(nèi)面 等的)對象物體的表面具有在全方向均勻反射光的漫反射率，則像素對 應(yīng)點E1、 E2、 E3的亮度值I1、 12、 13由下式(3)表示。 [算式3]<formula>formula see original document page 11</formula> (3):
式中，h是對象物體的表面的漫反射率，Iq是光源Q的光度，卩是 在點P的對象物體的表面的法線矢量n與從光源Q到點P的矢量r形成 的角。另外，圖8A的點P代表圖7的像素對應(yīng)點E1、 E2、 E3 (因此， 矢量r代表圖7的矢量rl、 r2、 r3)。
然后設(shè)定以下條件(a)和(b)，根據(jù)滿足這些條件(a)和(b)的 假定，計算與所拍攝的像素對應(yīng)的對象物體的三維位置。
現(xiàn)在，在條件(a)和條件(b)這兩條件(a)、 (b)成立的情況下， 得到以下的近似式(4)，條件(a)是視點O與光源Q之間的距離《視 點o與像素對應(yīng)點E1、E2、E3的三維位置之間的距離，即U I << I rm I (或I d I I r I ，這里m-l 3)，條件(b)是像素對應(yīng)點El、 E2、 E3的三維位置接近。 [算式4]<formula>formula see original document page 11</formula> (4)
在圖8B所示r的絕對值比d的絕對值大的情況下，上述條件(a) 成立。并且，在拍攝食道等的管狀內(nèi)面的情況下，認(rèn)為條件(b)在大部 分情況下成立。另外，圖8B將插入部的前端部14中的前端面部分放大
示出。
安裝有導(dǎo)光路13的前端面(或照明透鏡)的照明窗13a面朝該前端 面，從照明窗13a射出照明光。即，該導(dǎo)光路13的前端面等的照明窗13a 相當(dāng)于圖7和圖8A的光源Q。并且，與該照明窗13a鄰接的視點O成為 配置有攝像單元(攝像裝置17)的物鏡15的觀察窗(攝像窗)。
根據(jù)上述式(4)求出kl、 k2、 k3的比率，并求出法線矢量n。與
圖像內(nèi)的各像素對應(yīng)的對象物體的表面上的像素對應(yīng)點由于存在多個鄰 接的像素對應(yīng)點，因而如圖9所示針對由一個像素對應(yīng)點Pa周圍的點 Pb Pe中的各3點形成的各面分別求出法線矢量nl n4。因此，可以計 算該多個法線矢量nl n4的平均矢量，并將該平均矢量作為像素對應(yīng)點 的法線矢量。
如圖8A所示將對象物體的表面假定為漫反射，通過進(jìn)一步改寫角|3， 各像素對應(yīng)點P (x， y)的亮度值I (x， y)可由以下的式(5)表示。 [算式5]
I (x.y〉- h"cos 0 /r2 i ^," . r,x,y)/ I r,x，y) I a (5)
式中，h是對象表面的漫反射率，Iq是光源Q的光度，(3是在點P 的對象物體的表面的法線矢量n (x， y)與光源方向r (x， y)形成的角。 并且，在點P的光源方向r (x， y)可由以下的式(6)表示。 [算式6]
式中，如圖8B所示，設(shè)從物鏡15的視點0到光源Q的矢量為d， 設(shè)從視點O到對象物體(具體地說大腸的管腔表面)的位置P的單位矢 量為m (x， y)，設(shè)距離OP為k (x， y)。
矢量m (x, y)如圖10所示通過(CCD16的)攝像面42的圖像上 的位置(x， y)，因而如以下的式(7)所示，得到 [算式7]X
/S/x2+ y2+ f 2
f /S7x2十y2+ f 2 V 乂
(7)
式中，f是攝像裝置17的焦距。因此圖像上的各像素的亮度值I (x， y) 可由以下的式(8)表示。 [算式8]
+ 今
I ",y產(chǎn)hlq L力,(k (如Ly廣d ) / 1 k (x.y〉m(x,y>- d I a ( 8 )
在上述式(8)中k (x， y)以外全部是已知的，因而根據(jù)式(8) 計算k (x， y)，并按以下的式(9)計算與圖像上的各像素(x， y)對應(yīng) 的三維位置(X， Y， Z)。 [算式9]
廣 、 X
Y。
廣
、
f /S/x2+ y2+ f 2
(9)
這樣，生成圖11所示的呈三維形狀的表面模型。圖11所示的三維
表面模型的內(nèi)面上的各位置P如圖10所示通過攝像面42的二維圖像上 的位置(x， y)，并且是使用該圖像上的各位置(x， y)的數(shù)據(jù)來生成的。 因此，距視點O或攝像面42的距離越大，為生成(構(gòu)成)在各位置P的 小區(qū)域的體素B內(nèi)包含的該部分所使用的二維圖像中的數(shù)據(jù)點數(shù)就越 少。
并且，該數(shù)據(jù)點數(shù)根據(jù)各位置P的面與攝像面42形成的角度等的不 同而發(fā)生變化。該情況下的數(shù)據(jù)點數(shù)被認(rèn)為與表示該體素B的三維位置 的可信度的信息量有密切關(guān)系。
因此，在本實施方式中，如以下說明那樣，在針對設(shè)定在所生成的 三維形狀的內(nèi)面上的體素B計算表示其可信度的體素可信度的情況下， 考慮該數(shù)據(jù)點數(shù)。這樣，在使用所生成的三維表面模型來檢測病變候補(bǔ) 或進(jìn)行病變候補(bǔ)判定的情況下，可提供該檢測結(jié)果或判定結(jié)果的可信度 信息，實現(xiàn)針對檢測結(jié)果等的可信度的確認(rèn)或提高。
并且，在圖11所示的三維表面模型的內(nèi)面在該內(nèi)面部分有在內(nèi)側(cè)為
凸的部分(圖11中G1、 G2所示)的情況下，處于隱蔽了在從視點O側(cè) 觀察的情況下成為該部分的后方側(cè)的背后的內(nèi)面部分的狀態(tài)，該背后部 分成為背面而處于隱蔽狀態(tài)，即所謂的隱蔽(Occlusion),隱蔽部分H1、 H2是數(shù)據(jù)缺失的部分。
然后，CPU 22掃描通過圖6的步驟S3所生成的三維形狀數(shù)據(jù)，如 步驟S4所示進(jìn)行對隱蔽部分H1、 H2等的插值處理。在該情況下，針對 通過插值處理所生成的表面位置的數(shù)據(jù)點，將小于1的系數(shù)w與該表面 數(shù)據(jù)相關(guān)聯(lián)來存儲。
這樣對缺失部分進(jìn)行插值來生成圖4所示的表面模型，該表面模型 的數(shù)據(jù)(稱為表面模型數(shù)據(jù))被存儲在例如圖1的信息存儲部25內(nèi)。
然后，CPU 22進(jìn)行圖12所示的體素可信度映射圖生成處理。當(dāng)該 處理開始時，CPU 22在步驟S11中進(jìn)行初始設(shè)定(將以下的位置參數(shù)s 設(shè)定為初始值sini)，之后在下一步驟S12中使用存儲在信息存儲部25的 表面模型數(shù)據(jù)存儲部25a內(nèi)的表面模型數(shù)據(jù)，如圖13所示在表面模型上 設(shè)定各體素Bxyz(簡記為Bs)，計算該體素Bs的中心位置與觀察位置(即 視點O)之間的距離Ls。
該距離Ls可通過使所拍攝的內(nèi)窺鏡圖像的管腔形狀部分的直徑應(yīng) 用實際拍攝的大腸31的平均直徑值而計算為客觀數(shù)值。并且這里，計算 體素Bs的中心位置與觀察位置(或視點0)之間的距離Ls，然而可以如 圖8B所示，使用OQ的矢量d的值來計算體素Bs的中心位置與光源Q (照明窗)之間的距離(設(shè)為Lsq)。并且，矢量d的大小可以設(shè)定得比 距離Lsq小，也可以設(shè)為Ls —Lsq，該距離Ls可以視為從內(nèi)窺鏡前端面
到體素Bs的中心位置的距離。
在將觀察位置作為視點O來設(shè)定在表面模型生成的原點(0， 0， 0) 的情況下，體素Bs在其中心坐標(biāo)位置由(Vx+1/2， Vy+l/2， Vz+1/2) 表示時，成為Vx^X<Vx+l、 Vy^Y<Vy+l、 Vz^Z<Vz+l的一邊 長度是1的小區(qū)域。針對該小區(qū)域進(jìn)行以下處理(下標(biāo)s簡化表示三維 坐標(biāo)位置(Vx+l/2， Vy+l/2， Vz+1/2)不同的表面模型上的體素Bs 的位置)。
然后，CPU 22在下一步驟S13中，針對各體素Bs取得構(gòu)成表面模 型數(shù)據(jù)的構(gòu)成數(shù)據(jù)點數(shù)(簡記為數(shù)據(jù)點數(shù))Ns。在該情況下，將通過插 值處理而構(gòu)成的數(shù)據(jù)點數(shù)Nsh乘以小于1的系數(shù)w來計算數(shù)據(jù)點數(shù)Ns。
在下一步驟S14中，CPU 22計算針對體素Bs的體素可信度ps。
該ps例如是
ps= (1/Ls) (Ns/1'1.1) a (10)
這里，a表示進(jìn)行歸一化的因子，并且數(shù)據(jù)點數(shù)Ns是不使用插值處 理的實值數(shù)據(jù)點數(shù)Nsi與對通過插值處理所生成的數(shù)據(jù)點數(shù)Nsh乘以(小 于l的)系數(shù)w后的結(jié)果之和。
即，
Ns=Nsi+wNsh (11)
然后，CPU 22將計算出的體素可信度ps的值與體素Bs的位置數(shù)據(jù) 相關(guān)聯(lián)來存儲在設(shè)置于信息存儲部25內(nèi)的體素可信度映射圖存儲部25b 內(nèi)。
當(dāng)距光源Q或觀察位置(觀察窗)的距離Ls增大時，上述體素可信 度ps的值減小，而且當(dāng)該體素Bs內(nèi)的數(shù)據(jù)點數(shù)越少，該體素可信度ps 的值就越小。因此，這成為適當(dāng)評價所生成的表面模型上的各部的點(小 區(qū)域)的可信度的評價手段。
然后，在下一步驟S15中，CPU 22針對所有表面模型數(shù)據(jù)進(jìn)行是否 進(jìn)行了體素Bs的設(shè)定的條件判定(換句話說進(jìn)行是否進(jìn)行到最終的參數(shù) 值sfm的條件判定)。在不符合該條件的情況下，如步驟S16所示變更一 個參數(shù)s的值并回到步驟S12。
這樣當(dāng)結(jié)束了針對所有表面模型數(shù)據(jù)計算體素可信度ps的處理時，
在體素可信度映射圖存儲部25b內(nèi)生成計算出在表面模型上的各點(作 為小區(qū)域的體素)的可信度的體素可信度映射圖。
這樣，作為基于所生成的體素可信度映射圖的利用方法，大致劃分 主要有兩種。
其中一種是，例如根據(jù)計算出的體素可信度映射圖的體素可信度ps 對所生成的表面模型的表面形狀進(jìn)行偽彩色化來顯示。
例如，并列顯示通常的表面模型的顯示圖像和根據(jù)體素可信度ps進(jìn) 行了偽彩色化的表面模型。在該情況下，可以以相同尺寸顯示。
作為上述顯示的變形例，在醫(yī)生等的用戶使用未作圖示的鼠標(biāo)等的 指示單元將注目的部位或區(qū)域指示作為表面模型上的病變候補(bǔ)的情況 下，CPU22可以從體素可信度映射圖中讀出與所指示的區(qū)域部分對應(yīng)的 體素可信度來顯示。
這樣由于可提供表面模型上的各區(qū)域的可信度，因而在醫(yī)生使用表 面模型來進(jìn)行病變診斷等的情況下，可提供該可信度信息，可進(jìn)行可信 度確認(rèn)，并可提高可信度。
然后第二種利用方法是，在通過圖像處理使用表面模型進(jìn)行病變候 補(bǔ)的檢測或病變候補(bǔ)的病變判斷的情況下，提供針對該檢測結(jié)果或判斷 結(jié)果的可信度信息。
作為該情況的例子，以下以使用體素可信度映射圖來提取大腸內(nèi)的 息肉候補(bǔ)并進(jìn)行檢測(判定)的情況進(jìn)行說明。
圖14是示出本實施方式中的息肉候補(bǔ)提取判定處理程序和該程序 使用的數(shù)據(jù)的框圖。
當(dāng)該處理開始時，CPU 22讀出存儲在圖1的處理程序存儲部23內(nèi) 的息肉候補(bǔ)提取判定處理程序，并按照該程序開始圖5所示的息肉候補(bǔ) 判定處理22c。
如圖14所示在最初的步驟S21中，CPU 22取入存儲在圖像處理裝 置3內(nèi)的圖像存儲部24 (參照圖1)內(nèi)的原圖像51的例如R信號分量， 進(jìn)行邊緣提取處理。在該情況下，通過將帶通濾波器應(yīng)用于例如R信號
分量來生成邊緣圖像52。使用帶通濾波器的邊緣提取方法是公知技術(shù)。并 且，可以取代R信號分量而使用原圖像51的亮度分量來生成邊緣圖像52。
在下一步驟S22中，CPU22對邊緣圖像52進(jìn)行二值化處理。然后， 通過該二值化處理，生成二值化圖像53。在本實施方式中的二值化處理 中，根據(jù)邊緣圖像52的各像素的像素值與規(guī)定或預(yù)定閾值的大小比較結(jié) 果，將二值化圖像53的各像素決定為0或1。
在下一步驟S23中，CPU22將公知的細(xì)線化方法應(yīng)用于二值化圖像 53，生成細(xì)線化圖像54。
在下一步驟S24中，CPU22進(jìn)行這樣的提取處理，即從作為二維 圖像的細(xì)線化圖像54中提取例如作為隆起性病變的息肉的候補(bǔ)等彎曲的 邊緣形狀等的、具有規(guī)定特征量的候補(bǔ)點。在該情況下，CPU22進(jìn)行這 樣的處理，即從細(xì)線化圖像54中提取注目邊緣的端的2點及其中點、 以及將邊緣上的端2點連接的直線上的中點，作為二維圖像的病變的候 補(bǔ)點信息55來保存。
參照圖15A 圖15D說明該處理。圖15A表示細(xì)線化圖像54， CPU 22從該細(xì)線化圖像54取得要進(jìn)行判定處理的邊緣部分，然后如圖15B 所示，進(jìn)行邊緣的端2點tl和t2的提取。
然后，CPU 22將邊緣的像素數(shù)作為線段長度Dl (未作圖示)來計 算，并計算得到1/2xDl的中點t (圖15C)。
然后，CPU22提取將tl和t2連接的直線，計算其線段長度D2(未 作圖示)，之后計算得到l/2xD2的中點p (圖15D)。
然后，CPU22保存計算出的二維圖像的候補(bǔ)點信息(邊緣的端2點 tl、 t2、其中點t、將邊緣上的端2點tl、 t2連接的直線上的中點p)。
然后，在圖14所示的步驟S25中，CPU 22進(jìn)行提取與二維圖像上 的候補(bǔ)點對應(yīng)的三維圖像(表面模型)上的候補(bǔ)點的數(shù)據(jù)的處理。
艮卩，取得三維表面模型上的二維圖像上的候補(bǔ)點(邊緣的端2點tl、 t2、其中點t、將邊緣上的端2點連接的直線上的中點p)的坐標(biāo)，保存 該候補(bǔ)點的坐標(biāo)信息(三維)56。
然后，在下一步驟S26中，CPU 22使用候補(bǔ)點信息56來進(jìn)行(利
用圖像處理的)作為隆起性病變的息肉候補(bǔ)的可能性判定，即息肉候補(bǔ) 判定處理。
圖16示出該息肉候補(bǔ)判定處理。另夕卜，在以下說明中，以將二維圖 像上的2點tl和t2連接的直線與x軸平行的情況進(jìn)行說明。
在最初的步驟S31中，CPU22取得上述的三維表面模型上的候補(bǔ)點 56的坐標(biāo)信息，在下一步驟S32中計算將邊緣的端2點tl、 t2連接的直 線上的中點p的y坐標(biāo)py，計算包含該py和2點tl、 t2的xz平面。中 點p近似為與將邊緣的端2點tl、 t2連接的直線上的y坐標(biāo)相同的值。
圖17示出該情況的表面模型上的候補(bǔ)點56附近。另外，該部分對 應(yīng)于例如圖13的標(biāo)號Gl所示的部分。
在下一步驟S33中，CPU22從點t畫垂直線到由點tl、 t2、 py決定 的xz平面，計算該垂直線的高度h。然后如圖17所示，在下一步驟S34 中，CPU22判定高度h和預(yù)定閾值Tth的大小。在h〉Tth的情況下，進(jìn) 到步驟S35，除此以外，即在h^Tth的情況下，判定為該邊緣部分不是 息肉候補(bǔ)，結(jié)束該處理。
另外，步驟S33中的點t是在二維圖像上被設(shè)定為點tl和t2的中點 的點(位置)，在三維表面模型上的點t的周邊部也求出垂直線的值，可 以將其最大值作為高度h來計算。
在步驟S35中，CPU 22將在圖14的步驟S24的處理中所取得的邊
緣部分判定為是息肉候補(bǔ)。
另外，在上述2點tl、 t2與x軸不平行的情況下，除了上述高度h 以外，還可以計算從點t到y(tǒng)z平面的高度(設(shè)為hy)，計算該2個平方 值的平方根，并比較該計算值與閾值Tth的大小。
在下一步驟S36中，CPU 22從體素可信度映射圖中提取與例如在判 定為是上述息肉候補(bǔ)的判定中使用的邊緣部分(點tl、 t2、 t、 p (py)等) 對應(yīng)的(體素的)體素可信度，計算它們的平均值pa。
然后，在下一步驟S37中，CPU22將判定為息肉候補(bǔ)的部分例如以 與其他部分不同的顏色等提供在顯示監(jiān)視器4等上以使用戶知道，并提 供其平均值pa作為表示針對該判定的可信度的信息。
然后，在細(xì)線化圖像有另外的邊緣的情況下，進(jìn)行相同處理。然后， 對所有邊緣進(jìn)行相同處理之后，結(jié)束息肉候補(bǔ)判定處理。
這樣在通過圖像處理裝置3提示例如大腸檢查的作為隆起性病變的 大腸息肉候補(bǔ)時，根據(jù)例如上述平均值pa同時提示表示針對該判定結(jié)果 的可信度的信息。
由于該平均值pa是使用在判定為息肉候補(bǔ)的情況下使用的部分的體 素可信度ps來計算的，因而成為適當(dāng)評價息肉候補(bǔ)判定結(jié)果的評價手段 之一。
因此，醫(yī)生可定量地判斷相應(yīng)的大腸息肉候補(bǔ)的可信度。這樣，由 于可定量地判斷大腸息肉候補(bǔ)判定功能的可信度，因而在輔助醫(yī)生進(jìn)行 病變判定的情況下成為有效的資料或信息。
另外，在上述說明中，例如在計算體素可信度ps的情況下，還可以 包含二維圖像上的亮度值的信息。
例如，可以使用在將與暗部和光暈對應(yīng)的值(亮度值)除外的該情 況下的、隨著亮度值增大而增大的加權(quán)系數(shù)來將該加權(quán)系數(shù)反映在體素 可信度上。即，亮度值大的部分由于與亮度值低的部分相比噪音等的影 響少，因而成為可信度更高的部分。因此，可以將亮度值的信息反映在 體素可信度上。
另外，作為上述實施方式中的變形例，不限于針對表面模型上的所 有部分計算(體素可信度的)映射圖作為體素可信度映射圖的情況，可 以僅使用代表性的點來計算?；蛘?，可以僅計算在病變檢測(判定)中 使用的部分的體素可信度。
另外，在上述例子中，以判定作為隆起性病變的息肉候補(bǔ)的情況作 了說明，然而本實施方式也能同樣應(yīng)用于凹陷性病變候補(bǔ)。在該情況下， 取代高度h而計算深度h'。然后，在該深度h'大于閾值Tth'的情況下，可 以進(jìn)行凹陷性病變候補(bǔ)判定，在除此以外的情況下，可以判定為不是候 補(bǔ)。
并且，在上述實施方式中，例如作為息肉候補(bǔ)判定處理，使用高度 的閾值Tth的信息來進(jìn)行判定，然而此外還可以使用表示曲面形狀的特
征量即形狀指數(shù)(ShapeIndex)和彎曲性(Curvedness)來進(jìn)行判定(檢
在該情況下也不限于隆起性病變的情況，可以進(jìn)行凹陷性病變候補(bǔ) 判定。并且，不限于僅根據(jù)高度的閾值Tth進(jìn)行判定的情況，可以使用 表示該區(qū)域大小的例如曲線性的閾值來進(jìn)行判定(檢測)。
并且，將上述實施方式的內(nèi)容在不變更其主旨的情況下進(jìn)行組合等 來變形的情況也屬于本發(fā)明。
如以上說明那樣，根據(jù)本發(fā)明，在通過圖像處理根據(jù)二維內(nèi)窺鏡圖
像等的醫(yī)療用圖像生成三維表面模型，并使用所生成的表面模型數(shù)據(jù)來
檢測息肉等的病變候補(bǔ)或者判定病變可能性的情況下，考慮在該檢測結(jié)
果或判定結(jié)果中使用的表面模型各部的數(shù)據(jù)的可信度，提示針對檢測結(jié) 果等的可信度信息。由此，具有使醫(yī)生更容易適當(dāng)進(jìn)行診斷的產(chǎn)業(yè)上的
可利用性。
并且，本發(fā)明具有以下記載的附記中描述的特征。 (附記l)
一種醫(yī)療用圖像處理裝置，其特征在于，該醫(yī)療用圖像處理裝置具 有表面模型生成單元，其根據(jù)二維醫(yī)療用圖像進(jìn)行三維表面模型生成 處理；以及區(qū)域可信度計算單元，其將所述表面模型劃分為多個區(qū)域， 計算各區(qū)域中的多個數(shù)據(jù)的可信度。 (附記2)
根據(jù)附記1所述的醫(yī)療用圖像處理裝置，其特征在于，所述二維醫(yī) 療用圖像是由內(nèi)窺鏡拍攝的內(nèi)窺鏡圖像，所述區(qū)域可信度計算單元使用 所述各區(qū)域與所述內(nèi)窺鏡的照明窗或攝像窗之間的距離的信息、以及所 述區(qū)域內(nèi)包含的構(gòu)成所述表面模型的構(gòu)成數(shù)據(jù)點數(shù)的信息中的至少一個 信息來計算所述區(qū)域可信度。 (附記3)
根據(jù)附記1所述的醫(yī)療用圖像處理裝置，其特征在于，該醫(yī)療用圖 像處理裝置還具有候補(bǔ)檢測單元，該候補(bǔ)檢測單元根據(jù)所述二維醫(yī)療用 圖像或所述表面模型來檢測具有預(yù)定特征量的候補(bǔ)，所述醫(yī)療用圖像處
理裝置針對由所述候補(bǔ)檢測單元檢測的候補(bǔ)，使用在所述候補(bǔ)的檢測中 利用的所述表面模型中的所述各區(qū)域的區(qū)域可信度，計算針對所述候補(bǔ) 的檢測結(jié)果的可信度。
(附記4)
根據(jù)附記3所述的醫(yī)療用圖像處理裝置，其特征在于，所述候補(bǔ)檢 測單元檢測具有隆起性或凹陷性的特征量的候補(bǔ)部位作為具有所述預(yù)定 特征量的候補(bǔ)。 (附記5)
根據(jù)附記4所述的醫(yī)療用圖像處理裝置，其特征在于，所述候補(bǔ)檢 測單元將具有隆起性或凹陷性的特征量的部分作為候補(bǔ)來提取，在所提
取的部分的高度或深度是閾值以上的情況下，將其檢測或判定為隆起性 病變或凹陷性病變。 (附記6)
一種醫(yī)療用圖像處理方法，其特征在于，該醫(yī)療用圖像處理方法具 有表面模型生成步驟，根據(jù)二維醫(yī)療用圖像進(jìn)行三維表面模型生成處 理；以及區(qū)域可信度計算步驟，將所述表面模型劃分為多個區(qū)域，計算 各區(qū)域中的多個數(shù)據(jù)的可信度。 (附記7)
根據(jù)附記6所述的醫(yī)療用圖像處理方法，其特征在于，所述二維醫(yī) 療用圖像是由內(nèi)窺鏡拍攝的內(nèi)窺鏡圖像，所述區(qū)域可信度計算步驟使用 所述各區(qū)域與所述內(nèi)窺鏡的照明窗或攝像窗之間的距離的信息、以及所 述區(qū)域內(nèi)包含的所述表面模型的構(gòu)成中利用的構(gòu)成數(shù)據(jù)點數(shù)的信息中的 至少一個信息來計算所述區(qū)域可信度。 (附記8)
根據(jù)附記6所述的醫(yī)療用圖像處理方法，其特征在于，該醫(yī)療用圖 像處理方法還具有候補(bǔ)檢測步驟，該候補(bǔ)檢測步驟根據(jù)所述二維醫(yī)療用 圖像或所述表面模型來檢測具有預(yù)定特征量的候補(bǔ)，所述醫(yī)療用圖像處 理方法針對由所述候補(bǔ)檢測步驟檢測的候補(bǔ)，使用在所述候補(bǔ)的檢測中 利用的所述表面模型中的所述各區(qū)域的區(qū)域可信度，計算針對所述候補(bǔ)
的檢測結(jié)果的可信度。 (附記9)
根據(jù)附記8所述的醫(yī)療用圖像處理方法，其特征在于，所述候補(bǔ)檢
測步驟檢測或判定具有隆起性或凹陷性的特征量的候補(bǔ)部位作為具有所 述預(yù)定特征量的候補(bǔ)。
如以上說明那樣，根據(jù)本發(fā)明，可實現(xiàn)在使用三維表面模型進(jìn)行病 變候補(bǔ)檢測等的情況下的可信度確認(rèn)和可信度提高。
權(quán)利要求
1. 一種醫(yī)療用圖像處理裝置，其特征在于，該醫(yī)療用圖像處理裝置具有表面模型生成單元，其根據(jù)二維醫(yī)療用圖像進(jìn)行三維表面模型生成處理；以及區(qū)域可信度計算單元，其將所述表面模型劃分為多個區(qū)域，計算各區(qū)域中的多個數(shù)據(jù)的可信度。
2. 根據(jù)權(quán)利要求1所述的醫(yī)療用圖像處理裝置，其特征在于，所述 二維醫(yī)療用圖像是由內(nèi)窺鏡拍攝的內(nèi)窺鏡圖像，所述區(qū)域可信度計算單 元使用所述各區(qū)域與所述內(nèi)窺鏡的照明窗或攝像窗之間的距離的信息、 以及^ 述區(qū)域內(nèi)包含的構(gòu)成所述表面模型的構(gòu)成數(shù)據(jù)點數(shù)的信息中的至 少一個信息來計算所述區(qū)域可信度。
3. 根據(jù)權(quán)利要求1所述的醫(yī)療用圖像處理裝置，其特征在于，該醫(yī) 療用圖像處理裝置具有候補(bǔ)檢測單元，該候補(bǔ)檢測單元根據(jù)所述二維醫(yī) 療用圖像或所述表面模型來檢測具有預(yù)定特征量的候補(bǔ)，所述醫(yī)療用圖 像處理裝置針對由所述候補(bǔ)檢測單元檢測的候補(bǔ)，使用在所述候補(bǔ)的檢 測中利用的所述表面模型中的所述各區(qū)域的區(qū)域可信度，計算針對所述 候補(bǔ)的檢測結(jié)果的可信度。
4. 根據(jù)權(quán)利要求3所述的醫(yī)療用圖像處理裝置，其特征在于，所述 候補(bǔ)檢測單元檢測具有隆起性或凹陷性的特征量的候補(bǔ)部位作為具有所 述預(yù)定特征量的候補(bǔ)。
5. —種醫(yī)療用圖像處理方法，其特征在于，該醫(yī)療用圖像處理方法 具有表面模型生成步驟，根據(jù)二維醫(yī)療用圖像進(jìn)行三維表面模型生成處 理；以及區(qū)域可信度計算步驟，將所述表面模型劃分為多個區(qū)域，計算各區(qū) 域中的多個數(shù)據(jù)的可信度。
6. 根據(jù)權(quán)利要求5所述的醫(yī)療用圖像處理方法，其特征在于，所述 二維醫(yī)療用圖像是由內(nèi)窺鏡拍攝的內(nèi)窺鏡圖像，所述區(qū)域可信度計算步 驟使用所述各區(qū)域與所述內(nèi)窺鏡的照明窗或攝像窗之間的距離的信息、 以及所述區(qū)域內(nèi)包含的構(gòu)成所述表面模型的構(gòu)成數(shù)據(jù)點數(shù)的信息中的至 少一個信息來計算所述區(qū)域可信度。
7.根據(jù)權(quán)利要求5所述的醫(yī)療用圖像處理方法，其特征在于，該醫(yī) 療用圖像處理方法具有候補(bǔ)檢測步驟，該候補(bǔ)檢測步驟根據(jù)所述二維醫(yī) 療用圖像或所述表面模型來檢測具有預(yù)定特征量的候補(bǔ)，所述醫(yī)療用圖 像處理方法針對由所述候補(bǔ)檢測步驟檢測的候補(bǔ)，使用在所述候補(bǔ)的檢 測中利用的所述表面模型中的所述各區(qū)域的區(qū)域可信度，計算針對所述 候補(bǔ)的檢測結(jié)果的可信度。
全文摘要
本發(fā)明提供醫(yī)療用圖像處理裝置和醫(yī)療用圖像處理方法。在圖像處理裝置(3)中，根據(jù)內(nèi)窺鏡圖像生成三維表面模型，設(shè)定小區(qū)域的體素(Bs)以包含所生成的表面模型的內(nèi)面各部，計算各體素(Bs)與觀察位置之間的距離(Ls)，取得體素(Bs)內(nèi)的表面模型的構(gòu)成數(shù)據(jù)點數(shù)(Ns)，計算各體素的可信度(ρs)來生成體素可信度映射圖，并將其存儲在體素可信度映射圖存儲部(25b)內(nèi)。然后，在通過圖像處理使用表面模型進(jìn)行病變候補(bǔ)檢測等的情況下，使用所用的體素部分的可信度來提供針對檢測結(jié)果的可信度信息。
文檔編號G06T1/00GK101389260SQ20078000682
公開日2009年3月18日 申請日期2007年2月27日 優(yōu)先權(quán)日2006年3月14日
發(fā)明者中村健次, 井上涼子, 沢美穗, 田中秀樹, 西村博一 申請人:奧林巴斯醫(yī)療株式會社