本發(fā)明涉及超聲波診斷裝置、圖像處理裝置及圖像處理程序。
背景技術(shù):
在臨床應(yīng)用中,tca(timecurveanalysis,時(shí)間曲線分析)對(duì)超聲圖像序列中的異常區(qū)(腫瘤等)的定量分析來說是重要的手段。但是眾所周知在時(shí)間曲線分析中,觀察者感興趣的關(guān)注區(qū)域(roi,regionofinterested)例如腫瘤區(qū)域在隨時(shí)間經(jīng)過而獲取的一序列的超聲波圖像中會(huì)不斷變化,而roi的運(yùn)動(dòng)跟蹤是獲取關(guān)注區(qū)域(如腫瘤區(qū)域)的可靠的tca結(jié)果的一個(gè)重要步驟。
為了提高roi運(yùn)動(dòng)追蹤的精度,專利文獻(xiàn)1中提出了一種將指定的時(shí)相前后的圖像信息(幀)從存儲(chǔ)電路讀出而取得中間假想幀并計(jì)算小區(qū)域圖像(roi)的方案。其中,roi的移動(dòng)位置的計(jì)算采用了區(qū)域匹配法等的圖像相關(guān)處理,通過該技術(shù)方案,能夠?qū)⑾嚓P(guān)性低的roi判斷為噪聲等不需要的圖像并將對(duì)應(yīng)部位的亮度信息減小。
但是,專利文獻(xiàn)1的技術(shù)方案并沒有考慮指定時(shí)相的前后的圖像信息不準(zhǔn)確的情況。例如在采樣中途已經(jīng)發(fā)生了丟幀或超聲波圖像強(qiáng)度階段性劇烈變化的情況下,指定的時(shí)相的前后兩幀中可能已不存在期望的roi,基于該前后兩幀即使取得參考幀,由于該參考幀中沒有期望的roi,后續(xù)的計(jì)算結(jié)果也不準(zhǔn)確,不能實(shí)現(xiàn)高精度的roi運(yùn)動(dòng)跟蹤。此外,專利文獻(xiàn)1中,關(guān)于roi的移動(dòng)位置的計(jì)算,采用了區(qū)域匹配法,但其區(qū)域匹配僅在上述方法得到的兩個(gè)區(qū)域間實(shí)施,在中途已經(jīng)發(fā)生了丟幀或圖像強(qiáng)度變化大的情況下,移動(dòng)位置的差分值同樣是不準(zhǔn)確的。
專利文獻(xiàn)1:日本特開2008-289632號(hào)公報(bào)
技術(shù)實(shí)現(xiàn)要素:
為了解決上述問題,本發(fā)明提出了一種能夠使關(guān)注區(qū)域的追蹤精度提高的超聲波診斷裝置、圖像處理裝置及圖像處理程序。
技術(shù)方案的超聲波診斷裝置具備取得部、參考幀生成部和追蹤處理部。取得部以時(shí)間序列取得以初始幀為開始的表示超聲波圖像的多個(gè)幀。參考幀生成部進(jìn)行當(dāng)前幀與該當(dāng)前幀的前一幀的相似度比較,基于使用比較結(jié)果而對(duì)初始幀及前一幀進(jìn)行的加權(quán)處理,生成參考幀。追蹤處理部在上述參考幀與上述當(dāng)前幀之間進(jìn)行追蹤處理。
附圖說明
圖1是表示本發(fā)明實(shí)施方式1的醫(yī)用圖像處理裝置的模塊圖。
圖2是用于說明在參考幀的生成過程中將前一幀的關(guān)注區(qū)域向初始幀的關(guān)注區(qū)域進(jìn)行變位的過程的圖。
圖3是表示本發(fā)明實(shí)施方式1的醫(yī)用圖像處理裝置的追蹤處理的次序的流程圖。
圖4是表示本發(fā)明實(shí)施方式2的醫(yī)用圖像處理裝置的模塊圖。
圖5是用于說明由匹配部進(jìn)行的正向匹配和逆向匹配以及由追蹤結(jié)果判定部進(jìn)行的追蹤處理的示意圖。
圖6是表示本發(fā)明實(shí)施方式2的醫(yī)用圖像處理裝置的追蹤處理的次序的流程圖。
圖7是示意性地表示出超聲波圖像亮度的較大變化和由探頭運(yùn)動(dòng)等引起丟幀的情況的圖。
圖8是表示顯示器上所顯示的超聲波圖像及其關(guān)注區(qū)域的圖。
圖9是表示有關(guān)實(shí)施方式1的醫(yī)用圖像處理裝置的整體處理的流程的流程圖。
圖10是表示有關(guān)實(shí)施方式3的超聲波診斷裝置的結(jié)構(gòu)例的模塊圖。
具體實(shí)施方式
下面參照說明書附圖說明實(shí)施方式的超聲波診斷裝置、圖像處理裝置及圖像處理程序。另外,實(shí)施方式不限于以下的實(shí)施方式。并且,記載在一個(gè)實(shí)施方式中的內(nèi)容原則上也同樣適用于其他的實(shí)施方式。并且,以下的實(shí)施方式中,以作為roi(regionofinterest)而追蹤腫瘤區(qū)域?yàn)槔M(jìn)行說明,但實(shí)施方式的應(yīng)用不限定于腫瘤區(qū)域,也可以對(duì)其他關(guān)注區(qū)域進(jìn)行追蹤。
[實(shí)施方式1]
圖1是表示本發(fā)明實(shí)施方式1的醫(yī)用圖像處理裝置的模塊圖。
如圖1所示,醫(yī)用圖像處理裝置100包括取得部101、參考幀生成部102、和追蹤處理部103。
這樣構(gòu)成的醫(yī)用圖像處理裝置100按照攝像的順序取得由超聲波診斷裝置以時(shí)間序列攝像的作為超聲波圖像的多個(gè)幀。并且,醫(yī)用圖像處理裝置100例如在追蹤作為腫瘤區(qū)域的roi的情況下,執(zhí)行以下所示的圖像處理方法。使用圖9,對(duì)醫(yī)用圖像處理裝置100的圖像處理方法的整體處理的流程進(jìn)行說明。圖9是表示實(shí)施方式1的醫(yī)用圖像處理裝置100的圖像處理方法的整體處理的流程的流程圖。
例如,如圖9所示,醫(yī)用圖像處理裝置100取得最新的幀(步驟s1)。例如,醫(yī)用圖像處理裝置100取得由超聲波診斷裝置實(shí)時(shí)地?cái)z像的超聲波圖像中的最新的幀。另外,醫(yī)用圖像處理裝置100也可以按照攝像的順序取得作為由超聲波診斷裝置攝像的且存儲(chǔ)在規(guī)定的存儲(chǔ)部中的超聲波圖像。
接著,醫(yī)用圖像處理裝置100判定所取得的幀的總數(shù)是否是3以上(步驟s2)。這里,醫(yī)用圖像處理裝置100在沒有判定出所取得的幀的總數(shù)是3以上的情況下(步驟s2,否),向步驟s1轉(zhuǎn)移,取得最新的幀。另一方面,醫(yī)用圖像處理裝置100在判定為所取得的幀的總數(shù)是3以上的情況下(步驟s2,是),執(zhí)行追蹤處理(步驟s3)。例如,醫(yī)用圖像處理裝置100每當(dāng)取得最新的幀就生成參考幀,在參考幀與最新的幀之間進(jìn)行追蹤處理。另外,關(guān)于追蹤處理的詳細(xì)情況在后面敘述。另外,將“最新的幀”也稱作“當(dāng)前幀”。
醫(yī)用圖像處理裝置100在追蹤處理結(jié)束后,判定是否處理了全部的幀(步驟s4)。這里,醫(yī)用圖像處理裝置100在沒有判定出處理了全部的幀的情況下(步驟s4,否),向步驟s1轉(zhuǎn)移,取得最新的幀。另一方面,醫(yī)用圖像處理裝置100在判定為處理了全部的幀的情況下(步驟s4,是,執(zhí)行tca解析(步驟s5)。以下,對(duì)醫(yī)用圖像處理裝置100具有的各部的追蹤處理的詳細(xì)情況進(jìn)行說明。
取得部101能夠通過處理器實(shí)現(xiàn),其按照時(shí)間序列取得以初始幀(frame1)為開始的表示超聲波圖像的多個(gè)幀。所述超聲波圖像是對(duì)作為檢查對(duì)象的被檢體進(jìn)行拍攝而得到的。實(shí)施方式中以時(shí)間序列取得的多個(gè)幀表示為:frame1(初始幀)、……framei-1(當(dāng)前幀的前一幀)、framei(當(dāng)前幀),其中i≥3。按照時(shí)間序列取得的表示超聲波圖像的每個(gè)幀在經(jīng)過后述的追蹤處理并被判斷為追蹤處理成功后被保存到與醫(yī)用圖像處理裝置100相應(yīng)的存儲(chǔ)電路(存儲(chǔ)器)中。
實(shí)施方式中的初始幀既可以是拍攝剛開始時(shí)的幀,也可以是拍攝開始一段時(shí)間后的幀,但初始幀需要是操作者可以準(zhǔn)確地選定關(guān)注區(qū)域(腫瘤)的幀。實(shí)施方式的關(guān)注區(qū)域是指操作者感興趣并期望通過醫(yī)用圖像處理裝置100外部的顯示裝置(顯示器)觀察到的目標(biāo)區(qū)域。作為設(shè)定關(guān)注區(qū)域的手段,可以在選定初始幀后,利用與醫(yī)用圖像處理裝置100相應(yīng)的輸入部通過人為操作來標(biāo)注出關(guān)注區(qū)域,從而能夠使初始幀中設(shè)定有關(guān)注區(qū)域。
圖8是表示顯示在顯示器上的超聲波圖像及其關(guān)注區(qū)域的圖。圖8的右圖及圖8的左圖是基于在造影劑存在下對(duì)被檢體進(jìn)行掃描后的相同的反射波數(shù)據(jù)的初始幀的超聲波圖像。圖8的左圖表示僅將造影劑影像化而得到的超聲波圖像8b,圖8的右圖表示圖8的左圖的背景的b模式的超聲波圖像8a。操作者例如參照超聲波圖像8a或超聲波圖像8b設(shè)定關(guān)注區(qū)域。更具體地講,在超聲波圖像8a中設(shè)定關(guān)注區(qū)域8c。并且,醫(yī)用圖像處理裝置100與關(guān)注區(qū)域8c的設(shè)定連動(dòng),在超聲波圖像8b中在與關(guān)注區(qū)域8c對(duì)應(yīng)的位置設(shè)定關(guān)注區(qū)域8d。另外,操作者也可以在超聲波圖像8b中設(shè)定關(guān)注區(qū)域8d。在此情況下,醫(yī)用圖像處理裝置100與關(guān)注區(qū)域8d的設(shè)定連動(dòng)來在超聲波圖像8a中在與關(guān)注區(qū)域8d對(duì)應(yīng)的位置設(shè)定關(guān)注區(qū)域8c。這樣,初始幀是設(shè)定了關(guān)注區(qū)域的幀。
參照幀生成部102能夠通過處理器實(shí)現(xiàn),進(jìn)行當(dāng)前幀與該當(dāng)前幀的前一幀的相似度比較,基于使用比較結(jié)果而對(duì)初始幀及前一幀進(jìn)行的加權(quán)處理,來生成參考幀。例如,參考幀生成部102進(jìn)行攝像得到的當(dāng)前幀(framei)與其前一幀(framei-1)的相似度比較,基于該相似度對(duì)初始幀及前一幀賦予權(quán)重。更具體地講,參考幀生成部102在相似度高時(shí)增加前一幀(framei-1)的權(quán)重或在相似度低時(shí)增加初始幀(frame1)的權(quán)重后,利用被賦予了權(quán)重的前一幀和初始幀生成參考幀(framer)。另外,在參考幀的生成中使用被設(shè)定了關(guān)注區(qū)域的初始幀(frame1)。因此,在生成的參考幀中同樣設(shè)定關(guān)注區(qū)域,在腫瘤觀察時(shí)能夠從顯示器觀察關(guān)注區(qū)域。在本實(shí)施方式的情況下,如例如使用圖8在上面敘述的那樣,在超聲波圖像中設(shè)定關(guān)注區(qū)域8c及關(guān)注區(qū)域8d。另外,關(guān)于參考幀的生成的詳細(xì)情況在后面敘述。
追蹤處理部103能夠通過處理器實(shí)現(xiàn),在參考幀與當(dāng)前幀之間和當(dāng)前幀與前一幀之間進(jìn)行追蹤處理。例如,追蹤處理部103在各幀之間進(jìn)行追蹤處理,以判斷是否保存當(dāng)前幀。所述追蹤處理包括:從一幀的關(guān)注區(qū)域匹配出另一幀的匹配區(qū)域的匹配處理、以及將一幀的關(guān)注區(qū)域和另一幀的匹配區(qū)域之間的變化量與事先確定的閾值進(jìn)行比較的比較判斷處理。
現(xiàn)有技術(shù)中公開了在兩幀之間進(jìn)行匹配的匹配處理以及將匹配后的變化量與閾值進(jìn)行比較的方法。本實(shí)施方式的追蹤處理部103可以利用現(xiàn)有技術(shù)的方法僅在參考幀和當(dāng)前幀之間進(jìn)行上述匹配處理并利用匹配后的幀間的變化量與閾值進(jìn)行比較從而判斷是否保存當(dāng)前幀。但是僅在兩幀間進(jìn)行匹配處理進(jìn)而進(jìn)行變化量與閾值的比較的情況下,若參考幀不準(zhǔn)確則后續(xù)的處理的結(jié)果也不準(zhǔn)確,因此不能準(zhǔn)確地判斷當(dāng)前幀是否可靠。
相對(duì)于此,優(yōu)選的是,本實(shí)施方式的追蹤處理部103在三幀(參考幀(framer)和當(dāng)前幀(framei)、以及當(dāng)前幀(framei)和前一幀(framei-1))間進(jìn)行匹配和閾值比較,通過在當(dāng)前幀(framei)和前一幀(framei-1)也進(jìn)行匹配及閾值比較,能夠更精確地判斷是否保存當(dāng)前幀。
[參考幀的生成]
以下具體說明通過參考幀生成部102實(shí)現(xiàn)的參考幀的生成。
參考幀生成部102進(jìn)行相似度比較,進(jìn)行如果相似度較高則增加前一幀的權(quán)重、如果相似度較低則增加初始幀的權(quán)重的處理,通過對(duì)加權(quán)處理后的初始幀及前一幀進(jìn)行加法運(yùn)算,從而生成參考幀。
例如,參考幀生成部102在參考幀的生成中,首先將前一幀的關(guān)注區(qū)域相對(duì)于初始幀的關(guān)注區(qū)域進(jìn)行變位,接著對(duì)初始幀和進(jìn)行了變位的前一幀分別賦予權(quán)重來生成參考幀。關(guān)于上述變位和權(quán)重賦予在后面詳細(xì)說明。
參考幀的生成利用了下述的數(shù)學(xué)式(1)。即,數(shù)學(xué)式(1)是framer=a×frame1+b×t(framei-1)。這里,a,b∈[0,1]。
上述數(shù)學(xué)式(1)中,frame1表示初始幀,framei-1表示當(dāng)前幀的前一幀,t(framei-1)是將前一幀中的關(guān)注區(qū)域的位置相對(duì)于初始幀中的關(guān)注區(qū)域的位置進(jìn)行變位后得到的,a、b分別表示初始幀(frame1)和前一幀(framei-1)的權(quán)重系數(shù),下面將a、b分別稱為初始幀的權(quán)重a和前一幀的權(quán)重b,framer表示生成的參考幀,該參考幀是通過將被賦予了權(quán)重a的初始幀、和相對(duì)于初始幀進(jìn)行了變位并被賦予了權(quán)重b后的前一幀相加而得到的。即,參考幀生成部102在相加之前,使前一幀的關(guān)注區(qū)域的位置相對(duì)于初始幀的關(guān)注區(qū)域變位。
接下來,參照?qǐng)D2來說明數(shù)學(xué)式(1)中的t(framei-1)的變位(即前一幀的關(guān)注區(qū)域相對(duì)于初始幀的關(guān)注區(qū)域進(jìn)行的變位)。圖2中的frame1表示從存儲(chǔ)電路中讀取出的初始幀,framei-1表示從存儲(chǔ)電路中讀取出的前一幀。t(framei-1)表示將前一幀中的關(guān)注區(qū)域相對(duì)于初始幀中的關(guān)注區(qū)域進(jìn)行變位后的圖像,framer表示生成的參考幀。例如,如圖2所示,在初始幀(frame1)中設(shè)定有關(guān)注區(qū)域2a,在前一幀(framei-1)中設(shè)定有關(guān)注區(qū)域2b。
由于超聲波圖像的采集過程是一個(gè)動(dòng)態(tài)過程,所以取得部101按照時(shí)間序列取得的多個(gè)幀中的關(guān)注區(qū)域的位置可能不會(huì)完全一致,為了將兩個(gè)幀(初始幀、前一幀)中的關(guān)注區(qū)域的位置匹配,需要將一個(gè)幀的關(guān)注區(qū)域的位置相對(duì)于另一個(gè)幀進(jìn)行變位。本實(shí)施方式中,初始幀作為確定存在有關(guān)注區(qū)域的基準(zhǔn)幀發(fā)揮作用,因此在進(jìn)行上述變位時(shí)使前一幀的關(guān)注區(qū)域的位置相對(duì)于初始幀中的關(guān)注區(qū)域的位置進(jìn)行了變位。更具體地講,參考幀生成部102使前一幀(framei-1)中的關(guān)注區(qū)域2b相對(duì)于初始幀(frame1)中的關(guān)注區(qū)域2a變位。即,參考幀生成部102使前一幀(framei-1)的關(guān)注區(qū)域2b變位到t(framei-1)中的期望的目標(biāo)位置2c。另外,在圖2所示的例子中,在參考幀中設(shè)定有關(guān)注區(qū)域2d。該參考幀中的關(guān)注區(qū)域2d的位置與初始幀中的關(guān)注區(qū)域2a的位置對(duì)應(yīng)。
此外,參考幀的生成中對(duì)初始幀和前一幀分別賦予的權(quán)重a、b滿足如下的數(shù)學(xué)式(2)的關(guān)系,即當(dāng)權(quán)重b小時(shí),權(quán)重a較大,當(dāng)權(quán)重b大時(shí),權(quán)重a較小。
a=1-b數(shù)學(xué)式(2)
另外,數(shù)學(xué)式(2)中的權(quán)重b是由當(dāng)前幀和前一幀的相似度決定的,滿足如下的數(shù)學(xué)式(3)。
b=0.5*cc(i-1,i)數(shù)學(xué)式(3)
數(shù)學(xué)式(3)中的cc(i-1,i)表示當(dāng)前幀(framei)和前一幀(framei-1)之間的相似度,該相似度的計(jì)算方法可以使用現(xiàn)有技術(shù)中的計(jì)算方法。由于cc(i-1,i)是基于當(dāng)前幀(framei)和前一幀(framei-1)計(jì)算得到的,而權(quán)重b與cc(i-1,i)存在數(shù)學(xué)式(3)的關(guān)系,因此權(quán)重b是與當(dāng)前幀(framei)和前一幀(framei-1)建立了對(duì)應(yīng)的參數(shù)。
從而,基于數(shù)學(xué)式(2)和數(shù)學(xué)式(3)中的權(quán)重a、b和相對(duì)度cc(i-1,i)的關(guān)系,在當(dāng)前幀和前一幀的相似度高時(shí),對(duì)數(shù)學(xué)式(1)中的前一幀賦予較大的權(quán)重而對(duì)初始幀賦予較小的權(quán)重,在當(dāng)前幀和前一幀的相似度低時(shí),對(duì)數(shù)學(xué)式(1)中的前一幀賦予較小的權(quán)重而對(duì)初始幀賦予較大的權(quán)重。
[生成參考幀的作用]
本實(shí)施方式的參考幀是基于初始幀、前一幀和當(dāng)前幀而生成的,其中初始幀是設(shè)有關(guān)注區(qū)域的幀。通過利用包括初始幀在內(nèi)的三個(gè)幀生成參考幀,能夠確保參考幀中存在期望的關(guān)注區(qū)域,能夠排除因超聲波圖像亮度的較大變化或丟幀而造成的誤檢測(cè)。
此外,在本實(shí)施方式的參考幀的生成中,根據(jù)前一幀和當(dāng)前幀的相似度來適應(yīng)性地對(duì)初始幀和前一幀賦予不同的權(quán)重,當(dāng)前一幀與當(dāng)前幀相似度高時(shí)增加前一幀的權(quán)重,當(dāng)前一幀與當(dāng)前幀相似度低時(shí)增加初始幀的權(quán)重,從而生成參考幀。通過該方法,在相似度高時(shí)增加與當(dāng)前幀相似的前一幀的權(quán)重,在相似度低時(shí)判斷為可能出現(xiàn)了關(guān)注區(qū)域檢測(cè)失敗而增加設(shè)有關(guān)注區(qū)域的初始幀的權(quán)重,從而保證了參考幀中存在期望的關(guān)注區(qū)域,能夠排除因超聲波圖像亮度的較大變化或丟幀而造成的誤檢測(cè)。
以下參照?qǐng)D3說明本發(fā)明實(shí)施方式1的醫(yī)用圖像處理裝置100的追蹤處理的次序。圖3是表示實(shí)施方式1的醫(yī)用圖像處理裝置100的追蹤處理的次序的流程圖。
醫(yī)用圖像處理裝置100的取得部101按照時(shí)間序列取得以初始幀(frame1)為開始的表示超聲波圖像的多個(gè)幀(步驟s101)。初始幀中包括觀察者所感興趣的部位即關(guān)注區(qū)域。
在步驟s102中,參考幀生成部102將前一幀(framei-1)中的關(guān)注區(qū)域相對(duì)于初始幀中的關(guān)注區(qū)域進(jìn)行變位,并進(jìn)行當(dāng)前幀(framei)和前一幀(framei-1)之間的相似度比較,基于當(dāng)前幀(framei)和前一幀(framei-1)的相似度,對(duì)初始幀(frame1)和前一幀(framei-1)賦予權(quán)重,在相似度高時(shí)增加前一幀的權(quán)重,在相似度低時(shí)增加初始幀的權(quán)重,將被分別賦予了權(quán)重的前一幀和初始幀相加而生成參考幀(framer)。所述相似度比較在當(dāng)前幀的超聲波圖像和前一幀的超聲波圖像的整個(gè)區(qū)域中進(jìn)行。
接著,追蹤處理部103在各幀之間進(jìn)行追蹤處理,以判斷當(dāng)前幀是否可以被接受,在判斷為可以被接受時(shí)保存當(dāng)前幀,在判斷為不可被接受時(shí)放棄當(dāng)前幀(步驟s103)。
所述追蹤處理包括:從一幀的關(guān)注區(qū)域匹配出另一幀的匹配區(qū)域的匹配處理、以及將一幀的關(guān)注區(qū)域和另一幀的匹配區(qū)域之間的變化量與事先確定的閾值進(jìn)行比較的比較判斷處理。
現(xiàn)有技術(shù)中公開了在兩幀之間進(jìn)行匹配的匹配處理以及將匹配后的變化量與閾值進(jìn)行比較的方法。步驟s103中可以利用現(xiàn)有技術(shù)的方法僅在參考幀和當(dāng)前幀之間進(jìn)行上述匹配處理并利用匹配后的幀間的變化量與閾值進(jìn)行比較從而判斷是否保存當(dāng)前幀。但是僅在兩幀間進(jìn)行匹配處理進(jìn)而進(jìn)行變化量與閾值的比較的情況下,若參考幀不準(zhǔn)確則后續(xù)的處理的結(jié)果也不準(zhǔn)確,因此不能準(zhǔn)確地判斷當(dāng)前幀是否被保存。
相對(duì)于此,在實(shí)施方式1的步驟s103中,追蹤處理部103在三幀(參考幀(framer)和當(dāng)前幀(framei)、以及當(dāng)前幀(framei)和前一幀(framei-1))間進(jìn)行關(guān)注區(qū)域的匹配。并且,追蹤處理部103計(jì)算當(dāng)前幀中的與參考幀之間匹配的區(qū)域、和在參考幀中該匹配的區(qū)域和對(duì)應(yīng)的區(qū)域之間的第一變化量。此外,追蹤處理部103計(jì)算當(dāng)前幀中的與前一幀之間匹配的區(qū)域、和在前一幀中該匹配的區(qū)域和對(duì)應(yīng)的區(qū)域之間的第二變化量。并且,追蹤處理部103在計(jì)算出的第一變化量及第二變化量同時(shí)小于閾值的情況下判定為追蹤成功,在計(jì)算出的第一變化量及第二變化量的至少某一方大于等于閾值的情況下判定為追蹤失敗。
圖7是概略地表示現(xiàn)有技術(shù)的因超聲波圖像亮度的較大變化及探頭的運(yùn)動(dòng)等造成的丟幀的圖。使用圖7上段說明有因超聲波圖像亮度的較大變化造成的丟幀的情況,使用圖7下段說明有因探頭的運(yùn)動(dòng)或被檢體的身體動(dòng)作等造成的丟幀的情況。
在圖7上段,表示超聲波圖像7a、超聲波圖像7b及超聲波圖像7c。假設(shè)在圖7上段表示的各超聲波圖像是按照超聲波圖像7a、超聲波圖像7b及超聲波圖像7c的順序以時(shí)間序列取得的。此外,在圖7上段所表示的例子中,假設(shè)以超聲波圖像7a為初始幀,在作為初始幀的超聲波圖像7a中設(shè)定關(guān)注區(qū)域7d。
這里,在tca解析中,例如在將造影劑被引入到關(guān)注區(qū)域中之后,到將造影劑從關(guān)注區(qū)域排出的期間中,觀察關(guān)注區(qū)域中的時(shí)間序列的造影劑濃度的變化。當(dāng)將造影劑引入到關(guān)注區(qū)域中時(shí),在超聲波圖像中發(fā)生急劇的亮度的變化。例如,在超聲波圖像7b及超聲波圖像7c中,與超聲波圖像7a相比亮度急劇地變化。在這樣的情況下,現(xiàn)有技術(shù)的醫(yī)用圖像處理裝置例如在相鄰的兩幀間的圖案匹配中,有可能不能正確地追蹤關(guān)注區(qū)域。更具體地講,現(xiàn)有技術(shù)的醫(yī)用圖像處理裝置在與超聲波圖像7a的圖案匹配中不能追蹤超聲波圖像7b中的關(guān)注區(qū)域7e。此外,現(xiàn)有技術(shù)的醫(yī)用圖像處理裝置在與不能追蹤關(guān)注區(qū)域的超聲波圖像7b的圖案匹配中,不能追蹤超聲波圖像7c中的關(guān)注區(qū)域7f。這樣,在通過現(xiàn)有技術(shù)的醫(yī)用圖像處理裝置不能正確地追蹤關(guān)注區(qū)域的情況下,超聲波圖像7b及超聲波圖像7c成為在tca解析中不期望的幀。
此外,在圖7下段,表示超聲波圖像7g、超聲波圖像7h及超聲波圖像7i。假設(shè)在圖7下段表示的各超聲波圖像是按照超聲波圖像7g、超聲波圖像7h及超聲波圖像7i的順序以時(shí)間序列取得的。此外,在圖7下段所表示的例子中,假設(shè)以超聲波圖像7g為初始幀,在作為初始幀的超聲波圖像7g中設(shè)定有關(guān)注區(qū)域7j。
這里,有在超聲波掃描中因探頭的移動(dòng)或被檢體的身體動(dòng)作而攝像范圍移動(dòng)的情況。例如,在超聲波圖像7h及超聲波圖像7i中,與超聲波圖像7g相比攝像范圍產(chǎn)生了移動(dòng)。在這樣的情況下,現(xiàn)有技術(shù)的醫(yī)用圖像處理裝置例如在相鄰的兩幀間的圖案匹配中,有可能不能正確地追蹤關(guān)注區(qū)域。更具體地講,現(xiàn)有技術(shù)的醫(yī)用圖像處理裝置在與超聲波圖像7g的圖案匹配中,不能追蹤超聲波圖像7h中的關(guān)注區(qū)域7k。此外,現(xiàn)有技術(shù)的醫(yī)用圖像處理裝置在與不能追蹤關(guān)注區(qū)域的超聲波圖像7h的圖案匹配中,不能追蹤超聲波圖像7i中的關(guān)注區(qū)域7l。這樣,在通過現(xiàn)有技術(shù)的醫(yī)用圖像處理裝置不能正確地追蹤關(guān)注區(qū)域的情況下,超聲波圖像7h及超聲波圖像7i成為在tca解析中不期望的幀。
但是,根據(jù)上述圖像處理方法,能夠?qū)D7所示那樣的不期望的幀丟棄,即,能夠?qū)⒁虺暡▓D像亮度的較大變化及探頭的運(yùn)動(dòng)等造成的沒有價(jià)值的圖像排除。更具體地講,醫(yī)用圖像處理裝置100將在圖7上段表示的超聲波圖像7b丟棄。進(jìn)而,醫(yī)用圖像處理裝置100通過與參考幀的匹配及與作為前一幀的超聲波圖像7b的匹配,在圖7上段所示的超聲波圖像7c中能夠正確地追蹤關(guān)注區(qū)域。由此,醫(yī)用圖像處理裝置100能夠保持超聲波圖像7c。此外,醫(yī)用圖像處理裝置100將在圖7下段表示的超聲波圖像7h丟棄。進(jìn)而,醫(yī)用圖像處理裝置100通過與參考幀的匹配及與作為前一幀的超聲波圖像7h的匹配,在圖7下段所示的超聲波圖像7i中能夠正確地追蹤關(guān)注區(qū)域。由此,醫(yī)用圖像處理裝置100能夠保持超聲波圖像7i。
(變形例)
上述實(shí)施方式中設(shè)權(quán)重a、b滿足數(shù)學(xué)式(2)的關(guān)系且權(quán)重b和cc(i-1,i)滿足數(shù)學(xué)式(3)的關(guān)系而進(jìn)行了說明,但是也可以設(shè)為,使權(quán)重a成為大于零的固定值而不隨權(quán)重b變化、使權(quán)重b與相似度cc(i-1,i)之間滿足其他的正相關(guān)的關(guān)系。
上述權(quán)重a、b和cc(i-1,i)之間的關(guān)系并沒有特別限定,只要滿足在當(dāng)前幀和前一幀的相似度高時(shí)對(duì)前一幀賦予較大的權(quán)重、在當(dāng)前幀和前一幀的相似度低時(shí)對(duì)前一幀賦予較小的權(quán)重即可。
(實(shí)施方式2)
實(shí)施方式2是實(shí)施方式1的變形例。如圖4所示,實(shí)施方式2的醫(yī)用圖像處理裝置200具有:與實(shí)施方式1的醫(yī)用圖像處理裝置100的取得部101、參考幀生成部102相同的取得部201、參考幀生成部202、和與實(shí)施方式1追蹤處理部103不同的追蹤處理部203。
實(shí)施方式2的追蹤處理部203具有匹配部204和追蹤結(jié)果判定部205。
圖5是用于說明由匹配部204進(jìn)行的正向匹配和逆向匹配、和由追蹤結(jié)果判定部205進(jìn)行的追蹤處理的示意圖。
圖5的中圖表示當(dāng)前幀的超聲波圖像5a。并且,圖5的左圖表示參考幀的超聲波圖像5b,圖5的右圖表示前一幀的超聲波圖像5c。此外,在圖5的左圖中,表示在參考幀的超聲波圖像5b中設(shè)定的關(guān)注區(qū)域5e,在圖5的右圖中,表示在前一幀的超聲波圖像5c中設(shè)定的關(guān)注區(qū)域5f。
如圖5所示,本實(shí)施方式的匹配部204在參考幀和當(dāng)前幀之間、當(dāng)前幀和前一幀之間的匹配雙方進(jìn)行正向匹配和逆向匹配,正向匹配是指從作為其他幀的參考幀和前一幀中的任何一個(gè)向當(dāng)前幀進(jìn)行的匹配,逆向匹配是指從當(dāng)前幀向其他幀(參考幀、前一幀)進(jìn)行的匹配。由于從關(guān)注區(qū)域的可靠性上看參考幀要強(qiáng)于前一幀,因此優(yōu)選的是基于參考幀的關(guān)注區(qū)域(blockr)來匹配出當(dāng)前幀的匹配區(qū)域(blocki)。
逆向匹配是在執(zhí)行了正向匹配并獲得了當(dāng)前幀的匹配區(qū)域(blocki)后執(zhí)行的匹配,該逆向匹配基于當(dāng)前幀中的匹配區(qū)域(blocki)進(jìn)一步在參考幀和前一幀中匹配出新的匹配區(qū)域(blockr’、blocki-1’)。
不同幀之間進(jìn)行正向匹配和逆向匹配時(shí)的向匹配部204的輸入(輸入信息)和從匹配部204的輸出(輸出信息)如下所示。
在進(jìn)行參考幀向當(dāng)前幀的正向匹配的情況下,匹配部204利用表示超聲波圖像的整個(gè)區(qū)域的參考幀和當(dāng)前幀、以及參考幀中的關(guān)注區(qū)域(blockr),生成當(dāng)前幀中的匹配區(qū)域(blocki)。更具體地講,匹配部204例如使用圖案匹配,檢索與在參考幀中設(shè)定的關(guān)注區(qū)域相似的當(dāng)前幀中的區(qū)域。在圖5所示的例子中,匹配部204在圖5的中圖所示的當(dāng)前幀的超聲波圖像5a中設(shè)定匹配區(qū)域5d。
在進(jìn)行當(dāng)前幀向參考幀的逆向匹配的情況下,匹配部204利用表示超聲波圖像的整個(gè)區(qū)域的參考幀和當(dāng)前幀、以及當(dāng)前幀中的匹配區(qū)域(blocki),生成參考幀中的新的匹配區(qū)域(blockr’)。更具體地講,匹配部204例如檢索與在正向的匹配中設(shè)定的當(dāng)前幀中的匹配區(qū)域相似的參考幀中的區(qū)域。并且,匹配部204將檢索到的參考幀中的區(qū)域設(shè)定為新的匹配區(qū)域。
在進(jìn)行前一幀向當(dāng)前幀的正向追蹤的情況下,匹配部204利用表示超聲波圖像的整個(gè)區(qū)域的當(dāng)前幀和前一幀、前一幀中的關(guān)注區(qū)域(blocki-1),生成當(dāng)前幀中的匹配區(qū)域(blocki)。但是如上所述,本實(shí)施方式優(yōu)選的是,利用參考幀的關(guān)注區(qū)域生成當(dāng)前幀中的匹配區(qū)域(blocki),并且在已獲得當(dāng)前幀中的匹配區(qū)域(blocki)的情況下,優(yōu)選的是省略從前一幀向當(dāng)前幀的正向匹配,通過省略該步驟能夠提高作業(yè)效率。另外,前一幀中的關(guān)注區(qū)域是通過該前一幀是當(dāng)前幀時(shí)的參考幀而設(shè)定為匹配區(qū)域的區(qū)域。
在進(jìn)行當(dāng)前幀向前一幀的逆向追蹤的情況下,匹配部204利用表示超聲波圖像的整個(gè)區(qū)域的當(dāng)前幀和前一幀、以及當(dāng)前幀中的匹配區(qū)域(blocki),生成前一幀中的新的匹配區(qū)域(blocki-1)。更具體地講,匹配部204例如檢索與當(dāng)前幀中的匹配區(qū)域相似的前一幀中的區(qū)域。并且,匹配部204將檢索出的前一幀中的區(qū)域設(shè)定為新的匹配區(qū)域。
接著,追蹤結(jié)果判定部205計(jì)算當(dāng)前幀中的與參考幀之間匹配得到的區(qū)域和參考幀中與該匹配得到的區(qū)域?qū)?yīng)的區(qū)域之間的第一變化量。例如,追蹤結(jié)果判定部205計(jì)算參考幀向當(dāng)前幀的區(qū)域變化量與當(dāng)前幀向參考幀的區(qū)域變化量之間的差分值作為第一變化量。這里,追蹤結(jié)果判定部205在參考幀與當(dāng)前幀之間進(jìn)行正向匹配的情況下,將進(jìn)行匹配前的參考幀的關(guān)注區(qū)域作為對(duì)應(yīng)的區(qū)域,在參考幀與當(dāng)前幀之間進(jìn)行逆向匹配的情況下,將從當(dāng)前幀進(jìn)行逆向匹配后的參考幀的匹配區(qū)域作為對(duì)應(yīng)的區(qū)域。
此外,追蹤結(jié)果判定部205計(jì)算當(dāng)前幀中的與前一幀之間匹配得到的區(qū)域、和在前一幀中與該匹配得到的區(qū)域?qū)?yīng)的區(qū)域之間的第二變化量。例如,追蹤結(jié)果判定部205計(jì)算前一幀向當(dāng)前幀的區(qū)域變化量與當(dāng)前幀向前一幀的區(qū)域變化量之間的差分值作為第二變化量。這里,追蹤結(jié)果判定部205在當(dāng)前幀與前一幀之間進(jìn)行正向匹配的情況下,將進(jìn)行匹配前的前一幀的關(guān)注區(qū)域作為對(duì)應(yīng)的區(qū)域,在當(dāng)前幀與前一幀之間進(jìn)行逆向匹配的情況下,將從當(dāng)前幀進(jìn)行了逆向匹配后的前一幀的匹配區(qū)域作為對(duì)應(yīng)的區(qū)域。
更具體地講,追蹤結(jié)果判定部205基于通過上述正向匹配得到的當(dāng)前幀的匹配區(qū)域(blocki),分別計(jì)算出上述當(dāng)前幀中的匹配區(qū)域(blocki)與上述參考幀的關(guān)注區(qū)域(blockr)和從存儲(chǔ)器讀取出的上述前一幀中的關(guān)注區(qū)域(blocki-1)之間的變化量(fx1,fx2)、以及上述當(dāng)前幀中的匹配區(qū)域(blocki)與上述參考幀的新的匹配區(qū)域(blockr’)和上述前一幀中的新的匹配區(qū)域(blocki-1’)之間的變化量(bx1,bx2)。這里,變化量fx1例如是從參考幀中的關(guān)注區(qū)域(blockr)向當(dāng)前幀的匹配區(qū)域(blocki)的變位向量,變化量fx2例如是從前一幀中的關(guān)注區(qū)域(blocki-1)向當(dāng)前幀的匹配區(qū)域(blocki)的變位向量。此外,變化量bx1是從當(dāng)前幀中的匹配區(qū)域(blocki)向參考幀的新的匹配區(qū)域(blockr’)的變位向量,變化量bx2是從當(dāng)前幀中的匹配區(qū)域(blocki)向前一幀中的新的匹配區(qū)域(blocki-1’)的變位向量。并且,追蹤結(jié)果判定部205在計(jì)算出的第一變化量及第二變化量同時(shí)小于閾值的情況下判定為追蹤成功,在計(jì)算出的第一變化量及第二變化量的至少某一方大于等于閾值的情況下判定為追蹤失敗。即,追蹤結(jié)果判定部205判斷||fx1|-|bx1||以及||fx2|-|bx2||是否同時(shí)小于閾值。這里,追蹤結(jié)果判定部205在同時(shí)小于規(guī)定的閾值的情況下判定為追蹤成功,在不是同時(shí)小于規(guī)定的閾值的情況下判定為追蹤失敗。此外,追蹤處理部203也可以具備在由追蹤結(jié)果判定部205判定為追蹤失敗的情況下將當(dāng)前幀丟棄、在由追蹤結(jié)果判定部205判定為追蹤成功的情況下將當(dāng)前幀保持的拒絕處理部。
圖6是表示實(shí)施方式2的醫(yī)用圖像處理裝置200的追蹤處理的次序的流程圖。
本實(shí)施方式的醫(yī)用圖像處理裝置200的取得部201按照時(shí)間序列取得以初始幀(frame1)為開始的表示超聲波圖像的多個(gè)幀(步驟s201)。初始幀中包括觀察者所感興趣的部位即關(guān)注區(qū)域。
在步驟s202中,參考幀生成部202進(jìn)行當(dāng)前幀(framei)和前一幀(framei-1)之間的相似度比較,基于當(dāng)前幀(framei)和前一幀(framei-1)的相似度,對(duì)初始幀(frame1)和前一幀(framei-1)賦予權(quán)重,在相似度高時(shí)增加前一幀的權(quán)重,在相似度低時(shí)增加初始幀的權(quán)重,將被分別賦予了權(quán)重的前一幀和初始幀相加而生成參考幀(framer)。所述相似度比較在當(dāng)前幀的超聲波圖像和前一幀的超聲波圖像的整個(gè)區(qū)域中進(jìn)行。
上述的步驟s201和步驟s202與實(shí)施方式1的步驟s101和步驟s102相同。
實(shí)施方式2的追蹤處理過程還包括步驟s203~步驟s209。
在步驟s203中,匹配部204首先進(jìn)行參考幀(framer)向當(dāng)前幀(framei)的正向匹配。即,根據(jù)參考幀(framer)中的關(guān)注區(qū)域(blockr)匹配出當(dāng)前幀(framei)中的匹配區(qū)域(blocki)。
接著,在步驟s204中,追蹤結(jié)果判定部205分別計(jì)算參考幀(framer)中的關(guān)注區(qū)域(blockr)與當(dāng)前幀(framei)中的匹配區(qū)域(blocki)之間的差分值fx1、以及當(dāng)前幀(framei)中的匹配區(qū)域(blocki)與前一幀(framei-1)中的關(guān)注區(qū)域(blocki-1)之間的差分值fx2。
接著,在步驟s205中,匹配部204根據(jù)當(dāng)前幀(framei)中的匹配區(qū)域(blocki)匹配出參考幀(framer)中的新的匹配區(qū)域(blockr’)和前一幀(framei-1)中的新的匹配區(qū)域(blocki-1’)。
接著,在步驟s206中,追蹤結(jié)果判定部205分別計(jì)算當(dāng)前幀(framei)中的匹配區(qū)域(blocki)與參考幀(framer)中的新的匹配區(qū)域(blockr’)和前一幀(framei-1)中的新的匹配區(qū)域(blocki-1’)之間的差分值bx1和bx2。
本實(shí)施方式中是按照步驟s203、s204、s205、s206的順序進(jìn)行的,但也可以在匹配部204執(zhí)行完匹配步驟s203、s205后再進(jìn)行基于追蹤結(jié)果判定部205的差分值計(jì)算步驟s204、s206。
接著,在步驟s207中,追蹤結(jié)果判定部205基于上述的計(jì)算出的各變化量(fx1、fx2、bx1、bx2),判斷在參考幀與當(dāng)前幀之間進(jìn)行正向匹配和逆向匹配得到的變化量(fx1,bx1)之差是否小于事先規(guī)定的閾值,并判斷當(dāng)前幀與前一幀之間的兩個(gè)變化量(其中,一個(gè)變化量(fx2)是從前一幀的關(guān)注區(qū)域減去當(dāng)前幀的匹配區(qū)域而得到的,另一個(gè)變化量(bx2)是進(jìn)行從當(dāng)前幀向前一幀的逆向匹配而得到的)之差是否小于事先確定的閾值。換言之,在步驟s207中判斷||fx1|-|bx1||以及||fx2|-|bx2||是否同時(shí)小于閾值。在變化量小于閾值時(shí)判斷為追蹤成功而保存當(dāng)前幀(步驟s209),在變化量大于等于閾值時(shí)判斷為追蹤不成功而將當(dāng)前幀丟棄(步驟s208)。
作為對(duì)比例,關(guān)于假設(shè)只考慮一對(duì)跟蹤結(jié)果即僅判斷是否滿足||fx1|-|bx1||<閾值或||fx2|-|bx2||<閾值的情況,如以下這樣說明。在只考慮第一對(duì)變化量(fx1,bx1)的情況下,如果加權(quán)得到的參考幀不十分準(zhǔn)確,則基于第一對(duì)變化量(fx1,bx1)并不能準(zhǔn)確地判斷當(dāng)前幀的追蹤是否成功,在只考慮第二對(duì)變化量(fx2,bx2)的情況下,如果存儲(chǔ)電路中保存的前一幀的追蹤結(jié)果稍微偏離,則該偏離將被傳遞到當(dāng)前幀的追蹤判斷中并放大該偏離。極端情況下,若關(guān)注區(qū)域在前一幀和當(dāng)前幀中同時(shí)消失而兩者的圖像中又恰好有相同的結(jié)構(gòu)特征則同樣會(huì)出現(xiàn)變化量收斂的結(jié)果(||fx2|-|bx2||約為0),但此時(shí)當(dāng)前幀的追蹤實(shí)際上不成功。
與此相對(duì),本實(shí)施方式的醫(yī)用圖像處理裝置200在||fx1|-|bx1||以及||fx2|-|bx2||同時(shí)小于閾值時(shí)才判斷為追蹤成功,否則判斷為追蹤失敗。通過采用這種判斷方法,相對(duì)于只判斷||fx1|-|bx1||或||fx2|-|bx2||的情況能夠進(jìn)一步提高檢測(cè)的精度。
通過上述處理過程,在如上述圖7所示那樣因超聲波圖像亮度的較大變化或探頭運(yùn)動(dòng)而出現(xiàn)丟幀時(shí),能夠?qū)⒉黄谕漠?dāng)前幀丟棄,即能夠排除由于超聲波圖像亮度的較大變化及探頭運(yùn)動(dòng)等而產(chǎn)生的無價(jià)值圖像。
[變形例]
在上述實(shí)施方式2中利用參考幀的關(guān)注區(qū)域(blockr)生成當(dāng)前幀中的匹配區(qū)域(blocki),并省略了前一幀的關(guān)注區(qū)域(blocki-1)向當(dāng)前幀中的匹配區(qū)域(blocki)的匹配而直接計(jì)算變化量fx2,但實(shí)施方式并不限于此。也可以基于前一幀的關(guān)注區(qū)域(blocki-1)來匹配出當(dāng)前幀的匹配區(qū)域(blocki),省略參考幀的關(guān)注區(qū)域(blockr)向當(dāng)前幀中的匹配區(qū)域(blocki)的匹配而直接計(jì)算變化量fx1。此外,也可以分別利用參考幀的關(guān)注區(qū)域(blockr)和前一幀的關(guān)注區(qū)域(blocki-1)而生成兩個(gè)當(dāng)前幀中的匹配區(qū)域(blocki),并根據(jù)該兩個(gè)當(dāng)前幀中的匹配區(qū)域(blocki)分別進(jìn)行逆向匹配而進(jìn)行各自的追蹤處理,在基于兩個(gè)匹配出的匹配區(qū)域(blocki)得到的變化量都滿足與閾值的關(guān)系的情況下判斷為追蹤成功,否則判斷為追蹤失敗。
上述變形例除了用于生成當(dāng)前幀中的匹配區(qū)域(blocki)的基準(zhǔn)與實(shí)施方式2不同以外,其他與實(shí)施方式2相同。
根據(jù)實(shí)施方式1、2及它們的變形例所述的醫(yī)用圖像處理裝置,通過利用當(dāng)前幀、當(dāng)前幀的前一幀和設(shè)有關(guān)注區(qū)域的初始幀生成參考幀并在所生成的參考幀和當(dāng)前幀和當(dāng)前幀的前一幀之間進(jìn)行關(guān)注區(qū)域的追蹤,從而能夠放棄不期望的當(dāng)前幀,能夠排除由于超聲波圖像亮度的較大變化及探頭運(yùn)動(dòng)等而產(chǎn)生的無價(jià)值圖像(噪聲等)。
上述的實(shí)施方式1、2的醫(yī)用圖像處理裝置中,作為構(gòu)成要素的取得部、參考幀生成部和追蹤處理部所能實(shí)現(xiàn)的各處理功能通過計(jì)算機(jī)可執(zhí)行的程序的形式被保存到存儲(chǔ)電路中。處理電路是將程序從存儲(chǔ)電路讀出并執(zhí)行從而實(shí)現(xiàn)與各程序?qū)?yīng)的功能的處理器。換言之,讀出了各程序的狀態(tài)下的處理電路具有取得部、參考幀生成部和追蹤處理部的功能。另外,雖然如上所述說明了將實(shí)施方式的醫(yī)用圖像處理裝置中的取得部、參考幀生成部和追蹤處理部通過單一的處理電路來實(shí)現(xiàn)的情況,但也可以將多個(gè)獨(dú)立的處理器組合來構(gòu)成處理電路,通過各處理器執(zhí)行程序來實(shí)現(xiàn)取得部、參考幀生成部和追蹤處理部的功能。
[實(shí)施方式3]
在上述實(shí)施方式中,對(duì)在醫(yī)用圖像處理裝置100中取得由超聲波診斷裝置攝像的超聲波圖像、執(zhí)行圖像處理方法的情況進(jìn)行了說明。但是,該圖像處理方法也可以在超聲波診斷裝置中執(zhí)行。所以,在實(shí)施方式3中,對(duì)在超聲波診斷裝置中執(zhí)行與上述實(shí)施方式同樣的圖像處理方法的情況進(jìn)行說明。
圖10是表示實(shí)施方式3的超聲波診斷裝置300的結(jié)構(gòu)例的模塊圖。如圖10所示,實(shí)施方式3的超聲波診斷裝置300具備超聲波探頭311、輸入裝置312、顯示器313和裝置主體320。超聲波探頭311與后述的裝置主體320具備的收發(fā)部321可通信地連接。此外,輸入裝置312及顯示器313與裝置主體320具備的各部可通信地連接。
超聲波探頭311與被檢體p的體表面接觸,進(jìn)行超聲波的收發(fā)。例如,超聲波探頭311具有多個(gè)壓電振子(也稱作振子)。這些多個(gè)壓電振子基于從收發(fā)部321供給的發(fā)送信號(hào)產(chǎn)生超聲波。產(chǎn)生的超聲波在被檢體p的體內(nèi)組織中被反射,作為反射波信號(hào)而被多個(gè)壓電振子接收。超聲波探頭311將由多個(gè)壓電振子接收到的反射波信號(hào)向收發(fā)部321發(fā)送。
另外,實(shí)施方式3的超聲波探頭311不論是對(duì)被檢體p內(nèi)的2維區(qū)域進(jìn)行掃描(2維掃描)的1d陣列探頭、還是對(duì)被檢體p內(nèi)的3維區(qū)域進(jìn)行掃描(3維掃描)的機(jī)械4d探頭、2d陣列探頭,都能夠使用。
輸入裝置312例如對(duì)應(yīng)于鼠標(biāo)、鍵盤、按鈕、觸摸開關(guān)、觸摸指令屏幕、腳踏開關(guān)、跟蹤球、操縱桿等。輸入裝置312受理來自超聲波診斷裝置300的操作者的各種設(shè)定請(qǐng)求,將受理的各種設(shè)定請(qǐng)求對(duì)裝置主體320的各部適當(dāng)傳送。
顯示器313顯示用于操作者使用輸入裝置312輸入各種設(shè)定請(qǐng)求的gui(graphicaluserinterface),或顯示基于在裝置主體320中生成的超聲波圖像數(shù)據(jù)的圖像(超聲波圖像)等。
裝置主體320是基于超聲波探頭311接收到的反射波信號(hào)生成超聲波圖像數(shù)據(jù)的裝置。如圖10所示,裝置主體320例如具有收發(fā)部321、b模式處理部322、多普勒處理部323、圖像生成部324、圖像存儲(chǔ)器325、存儲(chǔ)部326和處理部327。收發(fā)部321、b模式處理部322、多普勒處理部323、圖像生成部324、圖像存儲(chǔ)器325、存儲(chǔ)部326及處理部327相互可通信地連接。
收發(fā)部321控制超聲波探頭311的超聲波的收發(fā)。例如,收發(fā)部321具有發(fā)送部321a和接收部321b,基于后述的處理部327的指示,控制超聲波探頭311進(jìn)行的超聲波收發(fā)。發(fā)送部321a制作發(fā)送波形數(shù)據(jù),根據(jù)制作出的發(fā)送波形數(shù)據(jù),生成用于超聲波探頭311發(fā)送超聲波的發(fā)送信號(hào)。并且,發(fā)送部321a通過對(duì)超聲波探頭311施加發(fā)送信號(hào),使其發(fā)送超聲波被聚束為束狀的超聲波束。此外,接收部321b通過對(duì)超聲波探頭311接收到的反射波信號(hào)賦予規(guī)定的延遲時(shí)間而進(jìn)行加法處理,根據(jù)與反射波信號(hào)的接收指向性對(duì)應(yīng)的方向生成強(qiáng)調(diào)了反射成分的反射波數(shù)據(jù),將所生成的反射波數(shù)據(jù)向b模式處理部322及多普勒處理部323發(fā)送。
b模式處理部322對(duì)接收部321b根據(jù)反射波信號(hào)生成的反射波數(shù)據(jù)進(jìn)行各種信號(hào)處理。b模式處理部322對(duì)從接收部321b接收到的反射波數(shù)據(jù)進(jìn)行對(duì)數(shù)放大、包絡(luò)線檢波處理等,生成將各個(gè)采樣點(diǎn)(觀測(cè)點(diǎn))的信號(hào)強(qiáng)度用亮度的明暗度表現(xiàn)的數(shù)據(jù)(b模式數(shù)據(jù))。b模式處理部322將所生成的b模式數(shù)據(jù)向圖像生成部324發(fā)送。
此外,b模式處理部322進(jìn)行信號(hào)處理,用來進(jìn)行將高諧波成分影像化的諧波成像。作為諧波成像,已知有對(duì)比諧波成像(chi:contrastharmonicimaging)及組織諧波成像(thi:tissueharmonicimaging)。此外,在對(duì)比諧波成像及組織諧波成像中,作為掃描方式,已知有振幅調(diào)制、相位調(diào)制。
多普勒處理部323根據(jù)接收部321b接收到的反射波數(shù)據(jù),生成在掃描區(qū)域內(nèi)的各采樣點(diǎn)提取了移動(dòng)體的基于多普勒效應(yīng)的運(yùn)動(dòng)信息而得到的數(shù)據(jù)(多普勒數(shù)據(jù))。具體而言,多普勒處理部323作為移動(dòng)體的運(yùn)動(dòng)信息,生成在各采樣點(diǎn)提取了平均速度、分散值、強(qiáng)度值等的多普勒數(shù)據(jù)。這里,移動(dòng)體例如是血流或心壁等的組織、造影劑。多普勒處理部323將所生成的多普勒數(shù)據(jù)向圖像生成部324發(fā)送。
圖像生成部324根據(jù)b模式處理部322或多普勒處理部323所生成的數(shù)據(jù)而生成超聲波圖像數(shù)據(jù)。例如,圖像生成部324根據(jù)b模式處理部322所生成的b模式數(shù)據(jù),生成將反射波的強(qiáng)度用亮度表示的b模式圖像數(shù)據(jù)。此外,圖像生成部324根據(jù)多普勒處理部323所生成的多普勒數(shù)據(jù),生成表示移動(dòng)體信息的多普勒?qǐng)D像數(shù)據(jù)。該多普勒?qǐng)D像數(shù)據(jù)是速度圖像數(shù)據(jù)、分散圖像數(shù)據(jù)、強(qiáng)度圖像數(shù)據(jù)、或者將它們組合的圖像數(shù)據(jù)。
圖像存儲(chǔ)器325是將由b模式處理部322、多普勒處理部323及圖像生成部324生成的數(shù)據(jù)存儲(chǔ)的存儲(chǔ)器。例如,圖像存儲(chǔ)器325將由圖像生成部324生成的超聲波圖像數(shù)據(jù)與被檢體p的心電波形建立對(duì)應(yīng)而存儲(chǔ)。另外,在向圖像存儲(chǔ)器325存儲(chǔ)的數(shù)據(jù)量超過圖像存儲(chǔ)器325的存儲(chǔ)容量的情況下,從較舊的數(shù)據(jù)起依次刪除而更新。
存儲(chǔ)部326是存儲(chǔ)各種數(shù)據(jù)的存儲(chǔ)裝置。例如,存儲(chǔ)部326存儲(chǔ)用來進(jìn)行超聲波收發(fā)、圖像處理及顯示處理的控制程序、及診斷信息(例如患者id、醫(yī)生的所見等)、診斷記錄或各種身體標(biāo)記等的各種數(shù)據(jù)。此外,存儲(chǔ)在存儲(chǔ)部326中的數(shù)據(jù)可以經(jīng)由未圖示的接口部向外部裝置傳送。
此外,存儲(chǔ)部326將由b模式處理部322、多普勒處理部323及圖像生成部324生成的數(shù)據(jù)存儲(chǔ)。例如,存儲(chǔ)部326存儲(chǔ)由操作者指定的規(guī)定心拍數(shù)的超聲波圖像數(shù)據(jù)。另外,存儲(chǔ)部326是將被檢體p在規(guī)定期間中掃描而得到的多個(gè)圖像存儲(chǔ)的存儲(chǔ)部的一例。
處理部327控制超聲波診斷裝置300的處理整體。具體而言,處理部327基于經(jīng)由輸入裝置312從操作者輸入的各種設(shè)定請(qǐng)求、或從存儲(chǔ)部326讀入的各種控制程序及各種數(shù)據(jù),控制收發(fā)部321、b模式處理部322、多普勒處理部323及圖像生成部324等的處理。此外,處理部327使顯示器313顯示圖像存儲(chǔ)器325所存儲(chǔ)的超聲波圖像數(shù)據(jù)。
此外,處理部327如圖10所示,具有取得部327a、參考幀生成部327b及追蹤處理部327c。
這樣構(gòu)成的超聲波診斷裝置300例如在進(jìn)行tca解析的情況下,在造影劑存在下執(zhí)行超聲波掃描,以時(shí)間序列將超聲波圖像攝像。并且,超聲波診斷裝置300在以時(shí)間序列攝像的超聲波圖像中追蹤例如作為腫瘤區(qū)域的roi的情況下,執(zhí)行以下所示的圖像處理方法。另外,超聲波診斷裝置300執(zhí)行的圖像處理方法可以使用在超聲波掃描時(shí)實(shí)時(shí)取得的超聲波圖像而執(zhí)行,或者也可以在超聲波掃描后將保存在規(guī)定的存儲(chǔ)部中的超聲波圖像讀出而執(zhí)行。
取得部327a執(zhí)行與實(shí)施方式1的取得部101同樣的功能。例如,取得部327a以時(shí)間序列取得以初始幀為開始的、表示超聲波圖像的多個(gè)幀。
參考幀生成部327b執(zhí)行與實(shí)施方式1的參考幀生成部102同樣的功能。例如,參考幀生成部327b進(jìn)行當(dāng)前幀與該當(dāng)前幀的前一幀之間的相似度比較,基于使用比較結(jié)果而對(duì)初始幀及前一幀進(jìn)行的加權(quán)處理,生成參考幀。
追蹤處理部327c執(zhí)行與實(shí)施方式1的追蹤處理部103同樣的功能。例如,追蹤處理部327c在參考幀與當(dāng)前幀之間、和當(dāng)前幀與前一幀之間進(jìn)行追蹤處理。
[實(shí)施方式3的變形例]
此外,在上述實(shí)施方式3中,與實(shí)施方式1同樣,假設(shè)超聲波診斷裝置300僅進(jìn)行正向匹配而進(jìn)行了說明,但實(shí)施方式并不限定于此。例如,超聲波診斷裝置300也可以與實(shí)施方式2同樣地進(jìn)行正向匹配及逆向匹配。
在這樣的情況下,取得部327a執(zhí)行與實(shí)施方式1的取得部101同樣的功能。此外,參考幀生成部327b執(zhí)行與實(shí)施方式1的參考幀生成部102同樣的功能。并且,追蹤處理部327c執(zhí)行與實(shí)施方式2的追蹤處理部203同樣的功能。
例如,追蹤處理部327c在參考幀與當(dāng)前幀之間、以及當(dāng)前幀與前一幀之間的匹配雙方,進(jìn)行從作為其他幀的參考幀及前一幀中的某一方向當(dāng)前幀進(jìn)行的匹配即正向匹配、以及從當(dāng)前幀向其他幀進(jìn)行的匹配即逆向匹配。這里,追蹤處理部327c在參考幀與當(dāng)前幀之間進(jìn)行正向匹配的情況下,將進(jìn)行匹配前的參考幀的關(guān)注區(qū)域作為對(duì)應(yīng)的區(qū)域,在當(dāng)前幀與前一幀之間進(jìn)行正向匹配的情況下,將進(jìn)行匹配前的前一幀的關(guān)注區(qū)域作為對(duì)應(yīng)的區(qū)域。此外,追蹤處理部327c在參考幀與當(dāng)前幀之間進(jìn)行逆向匹配的情況下,將從當(dāng)前幀進(jìn)行逆向匹配后的參考幀的匹配區(qū)域作為對(duì)應(yīng)的區(qū)域,在當(dāng)前幀與前一幀之間進(jìn)行逆向匹配的情況下,將從當(dāng)前幀進(jìn)行逆向匹配后的前一幀的匹配區(qū)域作為對(duì)應(yīng)的區(qū)域。
[其他實(shí)施方式]
實(shí)施方式并不限于上述的實(shí)施方式。
在上述實(shí)施方式中,假設(shè)在當(dāng)前幀與參考幀及當(dāng)前幀與前一幀的這3個(gè)幀間追蹤而進(jìn)行了說明,但實(shí)施方式并不限定于此。例如,也可以在當(dāng)前幀與參考幀的兩個(gè)幀間執(zhí)行追蹤處理。以下,在實(shí)施方式2的醫(yī)用圖像處理裝置200中對(duì)執(zhí)行兩個(gè)幀間的追蹤處理的情況進(jìn)行說明,但兩個(gè)幀間的追蹤處理在實(shí)施方式3的超聲波診斷裝置300中也同樣能夠執(zhí)行。
追蹤處理部203在參考幀與當(dāng)前幀之間進(jìn)行追蹤處理。例如,追蹤處理部203的匹配部204在參考幀與上述當(dāng)前幀之間進(jìn)行匹配。
這里,追蹤處理部203的匹配部204在參考幀與當(dāng)前幀之間,進(jìn)行從參考幀向當(dāng)前幀的匹配即正向匹配、以及從當(dāng)前幀向參考幀進(jìn)行的匹配即逆向匹配。例如,追蹤處理部203的匹配部204在正向匹配中,將進(jìn)行匹配前的參考幀的關(guān)注區(qū)域作為對(duì)應(yīng)的區(qū)域,在逆向匹配中,將從當(dāng)前幀進(jìn)行逆向匹配后的參考幀的匹配區(qū)域作為對(duì)應(yīng)的區(qū)域。
并且,追蹤處理部203的追蹤結(jié)果判定部205基于當(dāng)前幀中的被匹配的區(qū)域,計(jì)算當(dāng)前幀中的被匹配的區(qū)域和參考幀中的與被匹配的區(qū)域相對(duì)應(yīng)的區(qū)域之間的變化量。這里,追蹤處理部203的追蹤結(jié)果判定部205計(jì)算參考幀向當(dāng)前幀的區(qū)域變化量與當(dāng)前幀向參考幀的區(qū)域變化量之間的差分值作為變化量。
接著,追蹤處理部203的追蹤結(jié)果判定部205在計(jì)算出的變化量小于閾值的情況下判定為追蹤成功,在計(jì)算出的變化量大于等于閾值的情況下判定為追蹤失敗。
此外,追蹤處理部203也可以具備在由追蹤結(jié)果判定部205判定為追蹤失敗的情況下將當(dāng)前幀丟棄、在由追蹤結(jié)果判定部205判定為追蹤成功的情況下保持當(dāng)前幀的拒絕處理部。
另外,在上述實(shí)施方式中,說明了在兩個(gè)幀間進(jìn)行正向匹配及逆向匹配的情況,但實(shí)施方式并不限定于此。例如,追蹤處理部203也可以僅在兩個(gè)幀間執(zhí)行正向匹配。
在上述說明中使用的“處理器”這一詞語是指例如cpu(centralprocessingunit)、gpu(graphicsprocessingunit)、或者面向特定用途的集成電路(applicationspecificintegratedcircuit:asic)、可編程邏輯設(shè)備(例如,簡(jiǎn)單可編程邏輯設(shè)備(simpleprogrammablelogicdevice:spld)、復(fù)合可編程邏輯設(shè)備(complexprogrammablelogicdevice:cpld)及現(xiàn)場(chǎng)可編程門陣列(fieldprogrammablegatearray:fpga))等的電路。處理器通過將保存在存儲(chǔ)電路中的程序讀出執(zhí)行而實(shí)現(xiàn)功能。另外,也可以構(gòu)成為,代替在存儲(chǔ)電路中保存程序而在處理器的電路內(nèi)直接裝入程序。在此情況下,處理器通過將裝入在電路內(nèi)的程序讀出并執(zhí)行而實(shí)現(xiàn)功能。另外,本實(shí)施方式的各處理器并不限于按照處理器構(gòu)成為單一的電路的情況,也可以將多個(gè)獨(dú)立的電路組合而構(gòu)成為1個(gè)處理器,實(shí)現(xiàn)其功能。進(jìn)而,也可以將圖1、圖4及圖10中的多個(gè)構(gòu)成要素向1個(gè)處理器合并而實(shí)現(xiàn)其功能。
在上述實(shí)施方式的說明中,圖示的各裝置的各構(gòu)成要素是功能概念性的,并不一定需要在物理上如圖示那樣構(gòu)成。即,各裝置的分散/合并的具體的形態(tài)并不限于圖示的形態(tài),可以將其全部或一部分根據(jù)各種負(fù)荷或使用狀況等以任意的單位在功能上或物理上分散/合并而構(gòu)成。進(jìn)而,由各裝置進(jìn)行的各處理功能其全部或任意的一部分可以通過cpu及由該cpu解析執(zhí)行的程序?qū)崿F(xiàn),或者可以作為布線邏輯的硬件實(shí)現(xiàn)。
此外,在上述實(shí)施方式中說明的控制方法可以通過將預(yù)先準(zhǔn)備的控制程序用個(gè)人計(jì)算機(jī)或工作站等的計(jì)算機(jī)執(zhí)行來實(shí)現(xiàn)。該控制程序可以經(jīng)由因特網(wǎng)等的網(wǎng)絡(luò)分發(fā)。此外,該控制程序也可以記錄到硬盤、軟盤(fd)、cd-rom、mo、dvd等的能夠由計(jì)算機(jī)讀取的存儲(chǔ)介質(zhì)中、用計(jì)算機(jī)從存儲(chǔ)介質(zhì)讀出來執(zhí)行。
根據(jù)以上說明的至少一個(gè)實(shí)施方式,能夠正確地追蹤關(guān)注區(qū)域。
說明了本發(fā)明的各實(shí)施方式,但這些實(shí)施方式是作為例子提示的,不意味著對(duì)發(fā)明的范圍進(jìn)行限定。這些實(shí)施方式能夠以其他各種各樣的形態(tài)實(shí)施,在不脫離發(fā)明的主旨的范圍內(nèi)能夠進(jìn)行各種省略、置換、變更。這些實(shí)施方式及其變形都包含在發(fā)明的范圍和主旨中,并且包含在權(quán)利要求的范圍所記載的發(fā)明及與其均等的范圍中。
[標(biāo)號(hào)說明]
300超聲波診斷裝置
320裝置主體
327處理部
327a取得部
327b參考幀生成部
327c追蹤處理部