專(zhuān)利名稱(chēng)：手術(shù)刀跟蹤方法與裝置及數(shù)字立體顯微鏡系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及手術(shù)導(dǎo)航技術(shù)領(lǐng)域，特別是涉及一種手術(shù)刀跟蹤方法與裝置及數(shù)字立體顯微鏡系統(tǒng)。
背景技術(shù)：
數(shù)字顯微鏡，將CXD或者CMOS等成像元器件內(nèi)置到顯微鏡內(nèi)部，再通過(guò)USB、1394接口或視頻接口將圖像導(dǎo)入到PC內(nèi)或顯示在監(jiān)視器上。采用高分辨率的成像元器件，可以獲得更高的放大倍數(shù)，從而擺脫了光學(xué)目鏡對(duì)觀(guān)察者的束縛。
在眾多的手術(shù)器械當(dāng)中，手術(shù)刀是應(yīng)用最為廣泛的一種，它是外科手術(shù)操作過(guò)程中，在組織或器官上造成切口的唯一工具。如果采用數(shù)字顯微鏡對(duì)手術(shù)刀進(jìn)行跟蹤，獲取手術(shù)刀在當(dāng)前手術(shù)區(qū)域的各種位置和深度信息，提供有價(jià)值的數(shù)據(jù)，有利于醫(yī)生對(duì)手術(shù)的遠(yuǎn)程遙控。由于普通的數(shù)字顯微鏡所拍攝的圖像是平面的，對(duì)圖像進(jìn)行分析所提取的手術(shù)刀的位置和深度信息與實(shí)際位置和深度仍有差距，而差距將增加手術(shù)風(fēng)險(xiǎn)，不利于提高手術(shù)操作的質(zhì)量。

發(fā)明內(nèi)容
基于上述情況，本發(fā)明提出了一種手術(shù)刀跟蹤方法與裝置及數(shù)字立體顯微鏡系統(tǒng)，以提聞手術(shù)刀跟蹤的精確度。一種手術(shù)刀跟蹤方法，包括步驟采用數(shù)字立體顯微鏡系統(tǒng)獲取手術(shù)區(qū)域的左右雙目視頻圖像；在其中一目視頻圖像中，以預(yù)定大小的宏塊為單位，采用幀差法確定圖像中的運(yùn)動(dòng)區(qū)域，根據(jù)手術(shù)刀與機(jī)體組織的色彩差，從所述運(yùn)動(dòng)區(qū)域中定位出手術(shù)刀區(qū)域；在另一目視頻圖像中，按照左右目視頻圖像的位置對(duì)應(yīng)關(guān)系，尋找色彩值與所述其中一目視頻圖像的所述手術(shù)刀區(qū)域的色彩值差異最小的區(qū)域，將該區(qū)域作為所述另一目視頻圖像的手術(shù)刀區(qū)域，所述其中一目為左右雙目中的任意一目。一種手術(shù)刀跟蹤裝置，包括視頻圖像獲取模塊，用于采用數(shù)字立體顯微鏡系統(tǒng)獲取手術(shù)區(qū)域的左右雙目視頻圖像；手術(shù)刀區(qū)域單目定位模塊，用于在其中一目視頻圖像中，以預(yù)定大小的宏塊為單位，采用幀差法確定圖像中的運(yùn)動(dòng)區(qū)域，根據(jù)手術(shù)刀與機(jī)體組織的色彩差，從所述運(yùn)動(dòng)區(qū)域中定位出手術(shù)刀區(qū)域；手術(shù)刀區(qū)域?qū)?yīng)搜索模塊，用于在另一目視頻圖像中，按照左右目視頻圖像的位置對(duì)應(yīng)關(guān)系，尋找色彩值與所述其中一目視頻圖像的所述手術(shù)刀區(qū)域的色彩值差異最小的區(qū)域，將該區(qū)域作為所述另一目視頻圖像的手術(shù)刀區(qū)域，
所述其中一目為左右雙目中的任意一目。本發(fā)明手術(shù)刀跟蹤方法與裝置及數(shù)字立體顯微鏡系統(tǒng)，由于采用了前述基于宏塊的幀差法，解決了區(qū)域檢測(cè)容易受背景干擾的問(wèn)題，提高了手術(shù)刀定位的準(zhǔn)確度，又由于采用了基于色彩差異的對(duì)比分析法，并利用左右目圖像對(duì)應(yīng)關(guān)系，參考其中一目手術(shù)刀區(qū)域確定另一目手術(shù)刀區(qū)域，能夠快速準(zhǔn)確地對(duì)手術(shù)刀進(jìn)行定位，提高了跟蹤效率。從所定位出的左右兩目視頻圖像中的手術(shù)刀區(qū)域中提取的位置和深度信息更為精確，經(jīng)過(guò)后續(xù)疊加處理，得到三維顯示效果，為醫(yī)生提供具有立體感的手術(shù)環(huán)境。


圖1為為本發(fā)明手術(shù)刀跟蹤方法的流程示意圖；
圖2為采用本發(fā)明手術(shù)刀跟蹤方法定位出的左右雙目視頻圖像中手術(shù)刀區(qū)域的示意圖；圖3為本發(fā)明手術(shù)刀跟蹤裝置的結(jié)構(gòu)示意圖。
具體實(shí)施例方式數(shù)字立體顯微系統(tǒng)，具有兩個(gè)并排的成像元器件，在不同的視角實(shí)時(shí)采集被觀(guān)察物體，對(duì)得到的雙目圖像經(jīng)過(guò)處理后，可以形成立體視覺(jué)。在很多專(zhuān)業(yè)領(lǐng)域，如手術(shù)操作過(guò)程、對(duì)空間探索機(jī)器人的遠(yuǎn)程操控等領(lǐng)域，需要為操作者提供實(shí)時(shí)的帶有立體感的視覺(jué)感受，通過(guò)立體顯示技術(shù)，被觀(guān)察的物體的第三維信息得以被探知，從而實(shí)現(xiàn)精確控制工作過(guò)程、減少誤判斷的目的，數(shù)字立體顯微顯示系統(tǒng)既可以滿(mǎn)足這種需求。本發(fā)明借助上述數(shù)字立體顯微鏡系統(tǒng)實(shí)現(xiàn)對(duì)手術(shù)刀的跟蹤，下面結(jié)合附圖與實(shí)施例詳細(xì)解釋本發(fā)明。本發(fā)明手術(shù)刀跟蹤方法，如圖1所示，包括步驟步驟S101、采用數(shù)字立體顯微鏡系統(tǒng)獲取手術(shù)區(qū)域的左右雙目視頻圖像；步驟S102、在其中一目視頻圖像中，以預(yù)定大小的宏塊為單位，采用幀差法確定圖像中的運(yùn)動(dòng)區(qū)域，根據(jù)手術(shù)刀與機(jī)體組織的色彩差，從所述運(yùn)動(dòng)區(qū)域中定位出手術(shù)刀區(qū)域；步驟S103、在另一目視頻圖像中，按照左右目視頻圖像的位置對(duì)應(yīng)關(guān)系，尋找色彩值與所述其中一目視頻圖像的所述手術(shù)刀區(qū)域的色彩值差異最小的區(qū)域，將該區(qū)域作為所述另一目視頻圖像的手術(shù)刀區(qū)域。所述其中一目為左右雙目中的任意一目。如上述步驟所述，本方法利用數(shù)字立體顯微鏡系統(tǒng)的雙目攝像頭來(lái)獲取手術(shù)現(xiàn)場(chǎng)的視頻，視頻分為左目視頻和右目視頻，對(duì)兩類(lèi)視頻中的每幀圖像進(jìn)行分析，分別定位出左右兩目視頻圖像中的手術(shù)刀區(qū)域，實(shí)現(xiàn)手術(shù)刀跟蹤。本方法先確定出左右雙目中任意一目視頻圖像的手術(shù)刀區(qū)域，再據(jù)此找出另一目視頻的手術(shù)刀區(qū)域，省去了重復(fù)檢測(cè)的過(guò)程，節(jié)省了跟蹤定位的時(shí)間。在尋找其中一目視頻圖像的手術(shù)刀區(qū)域時(shí)，如步驟S102所述，先在圖像中檢測(cè)運(yùn)動(dòng)區(qū)域，再對(duì)運(yùn)動(dòng)區(qū)域進(jìn)一步分析，從中摳取手術(shù)刀區(qū)域。在檢測(cè)運(yùn)動(dòng)區(qū)域時(shí)可以采用幀差法，幀差法是一種簡(jiǎn)單的背景減除算法，其對(duì)前后幀圖像對(duì)應(yīng)像素點(diǎn)相減，由于是以像素點(diǎn)為單位的，本算法對(duì)運(yùn)動(dòng)特別敏感，很細(xì)微的運(yùn)動(dòng)都能被檢測(cè)出來(lái)，在進(jìn)行定位跟蹤時(shí)，檢測(cè)結(jié)果容易受背景的干擾。為此，本方法對(duì)傳統(tǒng)的幀差法作了改進(jìn)，將圖像劃分為若干宏塊，即鄰近的像素點(diǎn)構(gòu)成一個(gè)宏塊，該宏塊取代像素點(diǎn)成為每幀圖像的基本單元。以宏塊為單位進(jìn)行幀差檢測(cè)，減輕了對(duì)運(yùn)動(dòng)的敏感度，消除了背景的干擾，有利于提高手術(shù)刀定位的準(zhǔn)確度。宏塊的確定方法是在原巾貞中選取大小為size*size的正方形,將該正方形中所有像素點(diǎn)的色彩均值作為該宏塊的色彩值，該正方形的中心點(diǎn)表征宏塊的位置。size的大小可以任意選取，但size過(guò)大將降低定位的精確度，過(guò)小則難以解決背景的干擾，且降低了定位的速度，因此，可以根據(jù)具體情況選擇合適的大小。在實(shí)際手術(shù)過(guò)程中，手術(shù)刀對(duì)應(yīng)的前景與機(jī)體組織對(duì)應(yīng)的背景的色彩差異較大，因此可以對(duì)初步確定的運(yùn)動(dòng)區(qū)域中每個(gè)像素點(diǎn)的色彩值進(jìn)行統(tǒng)計(jì)，找出色彩值劇烈變化的邊界，再根據(jù)已知的手術(shù)刀的色彩值的范圍，將手術(shù)刀區(qū)域從運(yùn)動(dòng)區(qū)域中摳取出來(lái)。由于前 景與背景的色彩對(duì)比強(qiáng)烈，因此這種方法準(zhǔn)確而高效。數(shù)字立體顯微顯示系統(tǒng)中，用于雙目采集的雙目攝像頭是經(jīng)過(guò)幾何校正的，左右視場(chǎng)內(nèi)的圖像是沒(méi)有垂直視差的。如果已知左目中手術(shù)刀的未知區(qū)域，即可通過(guò)在水平方向上進(jìn)行一維搜索的方式找出右目中同樣的手術(shù)刀區(qū)域，而不用再對(duì)右目進(jìn)行幀差分析和色彩統(tǒng)計(jì)來(lái)獲取相應(yīng)的手術(shù)刀區(qū)域。例如先確定了左目視頻圖像的手術(shù)刀區(qū)域，以該手術(shù)刀區(qū)域作為參考，得出其區(qū)域的大小和位置信息，大小包括該區(qū)域的長(zhǎng)度和寬度，位置信息可以用區(qū)域中心點(diǎn)的坐標(biāo)來(lái)表示。在同時(shí)被采集的右目視頻圖像中，與左目手術(shù)刀區(qū)域中心點(diǎn)在同一縱坐標(biāo)的像素行上尋找對(duì)應(yīng)的手術(shù)刀區(qū)域中心。具體做法是，從最左邊像素點(diǎn)開(kāi)始，以該像素點(diǎn)為中心，建立與左目手術(shù)刀區(qū)域大小相同的區(qū)域，計(jì)算兩個(gè)區(qū)域的相似度。相似度用兩個(gè)區(qū)域?qū)?yīng)像素點(diǎn)的色彩差異之和來(lái)表示，色彩差異即是對(duì)應(yīng)像素點(diǎn)的RGB三通道分量的差值。這個(gè)和越大，表示兩個(gè)區(qū)域色彩差異越大，反之表示兩個(gè)區(qū)域越相近。根據(jù)個(gè)原則，找出與左目手術(shù)刀區(qū)域相似度最高或者說(shuō)色彩值差異最小的區(qū)域，將該區(qū)域作為右目視頻圖像的手術(shù)刀區(qū)域。如圖2所示，為立體顯微顯示系統(tǒng)中，雙目跟蹤手術(shù)刀的畫(huà)面，畫(huà)面由左目視頻圖像和右目視頻圖像組成。圖中的兩個(gè)方框即為左右目實(shí)時(shí)跟蹤到的手術(shù)刀區(qū)域。本發(fā)明手術(shù)刀跟蹤裝置與上述手術(shù)刀跟蹤方法相對(duì)應(yīng)，如圖3所示，包括視頻圖像獲取模塊，用于采用數(shù)字立體顯微鏡系統(tǒng)獲取手術(shù)區(qū)域的左右雙目視頻圖像；手術(shù)刀區(qū)域單目定位模塊，用于在其中一目視頻圖像中，以預(yù)定大小的宏塊為單位，采用幀差法確定圖像中的運(yùn)動(dòng)區(qū)域，根據(jù)手術(shù)刀與機(jī)體組織的色彩差，從所述運(yùn)動(dòng)區(qū)域中定位出手術(shù)刀區(qū)域；手術(shù)刀區(qū)域?qū)?yīng)搜索模塊，用于在另一目視頻圖像中，按照左右目視頻圖像的位置對(duì)應(yīng)關(guān)系，尋找色彩值與所述其中一目視頻圖像的所述手術(shù)刀區(qū)域的色彩值差異最小的區(qū)域，將該區(qū)域作為所述另一目視頻圖像的手術(shù)刀區(qū)域，所述其中一目為左右雙目中的任意一目。作為一個(gè)優(yōu)選地實(shí)施例，所述手術(shù)刀區(qū)域?qū)?yīng)搜索模塊用于在所述其中一目視頻圖像中，確定手術(shù)刀區(qū)域中心點(diǎn)的水平位置，在所述另一目視頻圖像中同一水平方向上搜索手術(shù)刀區(qū)域，所搜索的手術(shù)刀區(qū)域的中心點(diǎn)在所述水平方向上，區(qū)域大小與所述其中一目視頻圖像的手術(shù)刀區(qū)域大小一致，區(qū)域中像素點(diǎn)的色彩值與所述其中一目視頻圖像的手術(shù)刀區(qū)域中對(duì)應(yīng)像素點(diǎn)的色彩值差異最小。作為一個(gè)優(yōu)選地實(shí)施例，所述手術(shù)刀區(qū)域?qū)?yīng)搜索模塊用于采用RGB三通道分量的差值表征像素點(diǎn)與像素點(diǎn)的色彩值差異。作為一個(gè)優(yōu)選地實(shí)施例，所述預(yù)定大小的宏塊的大小與本裝置的跟蹤精確度和跟蹤效率相適應(yīng)。本發(fā)明數(shù)字立體顯微鏡系統(tǒng)，包括手術(shù)刀跟蹤裝置，所述手術(shù)刀跟蹤裝置與上述的手術(shù)刀跟蹤裝置具有同樣的技術(shù)特征，在此不予贅述。以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并 不能因此而理解為對(duì)本發(fā)明專(zhuān)利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專(zhuān)利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
權(quán)利要求
1.一種手術(shù)刀跟蹤方法，其特征在于，包括步驟采用數(shù)字立體顯微鏡系統(tǒng)獲取手術(shù)區(qū)域的左右雙目視頻圖像；在其中一目視頻圖像中，以預(yù)定大小的宏塊為單位，采用幀差法確定圖像中的運(yùn)動(dòng)區(qū)域，根據(jù)手術(shù)刀與機(jī)體組織的色彩差，從所述運(yùn)動(dòng)區(qū)域中定位出手術(shù)刀區(qū)域；在另一目視頻圖像中，按照左右目視頻圖像的位置對(duì)應(yīng)關(guān)系，尋找色彩值與所述其中一目視頻圖像的所述手術(shù)刀區(qū)域的色彩值差異最小的區(qū)域，將該區(qū)域作為所述另一目視頻圖像的手術(shù)刀區(qū)域，所述其中一目為左右雙目中的任意一目。
2.根據(jù)權(quán)利要求1所述的手術(shù)刀跟蹤方法，其特征在于，所述步驟在另一目視頻圖像中，按照左右目視頻圖像的位置對(duì)應(yīng)關(guān)系，尋找色彩值與所述其中一目視頻圖像的所述手術(shù)刀區(qū)域的色彩值差異最小的區(qū)域具體包括在所述其中一目視頻圖像中，確定手術(shù)刀區(qū)域中心點(diǎn)的水平位置，在所述另一目視頻圖像中同一水平方向上搜索手術(shù)刀區(qū)域，所搜索的手術(shù)刀區(qū)域的中心點(diǎn)在所述水平方向上，區(qū)域大小與所述其中一目視頻圖像的手術(shù)刀區(qū)域大小一致，區(qū)域中像素點(diǎn)的色彩值與所述其中一目視頻圖像的手術(shù)刀區(qū)域中對(duì)應(yīng)像素點(diǎn)的色彩值差異最小。
3.根據(jù)權(quán)利要求2所述的手術(shù)刀跟蹤方法，其特征在于，采用RGB三通道分量的差值表征像素點(diǎn)與像素點(diǎn)的色彩值差異。
4.根據(jù)權(quán)利要求1或2或3所述的手術(shù)刀跟蹤方法，其特征在于，所述預(yù)定大小的宏塊的大小與本方法的跟蹤精確度和跟蹤效率相適應(yīng)。
5.一種手術(shù)刀跟蹤裝置，其特征在于，包括視頻圖像獲取模塊，用于采用數(shù)字立體顯微鏡系統(tǒng)獲取手術(shù)區(qū)域的左右雙目視頻圖手術(shù)刀區(qū)域單目定位模塊，用于在其中一目視頻圖像中，以預(yù)定大小的宏塊為單位，采用幀差法確定圖像中的運(yùn)動(dòng)區(qū)域，根據(jù)手術(shù)刀與機(jī)體組織的色彩差，從所述運(yùn)動(dòng)區(qū)域中定位出手術(shù)刀區(qū)域；手術(shù)刀區(qū)域?qū)?yīng)搜索模塊，用于在另一目視頻圖像中，按照左右目視頻圖像的位置對(duì)應(yīng)關(guān)系，尋找色彩值與所述其中一目視頻圖像的所述手術(shù)刀區(qū)域的色彩值差異最小的區(qū)域，將該區(qū)域作為所述另一目視頻圖像的手術(shù)刀區(qū)域，所述其中一目為左右雙目中的任意一目。
6.根據(jù)權(quán)利要求5所述的手術(shù)刀跟蹤裝置，其特征在于，所述手術(shù)刀區(qū)域?qū)?yīng)搜索模塊用于在所述其中一目視頻圖像中，確定手術(shù)刀區(qū)域中心點(diǎn)的水平位置，在所述另一目視頻圖像中同一水平方向上搜索手術(shù)刀區(qū)域，所搜索的手術(shù)刀區(qū)域的中心點(diǎn)在所述水平方向上，區(qū)域大小與所述其中一目視頻圖像的手術(shù)刀區(qū)域大小一致，區(qū)域中像素點(diǎn)的色彩值與所述其中一目視頻圖像的手術(shù)刀區(qū)域中對(duì)應(yīng)像素點(diǎn)的色彩值差異最小。
7.根據(jù)權(quán)利要求6所述的手術(shù)刀跟蹤裝置，其特征在于，所述手術(shù)刀區(qū)域?qū)?yīng)搜索模塊用于采用RGB三通道分量的差值表征像素點(diǎn)與像素點(diǎn)的色彩值差異。
8.根據(jù)權(quán)利要求5或6或7所述的手術(shù)刀跟蹤裝置，其特征在于，所述預(yù)定大小的宏塊的大小與本裝置的跟蹤精確度和跟蹤效率相適應(yīng)。
9.一種數(shù)字立體顯微鏡系統(tǒng)，其特征在于，包括手術(shù)刀跟蹤裝置，所述手術(shù)刀跟蹤裝置為 5-8項(xiàng)任意一項(xiàng)所述的手術(shù)刀跟蹤裝置。
全文摘要
本發(fā)明公開(kāi)了一種手術(shù)刀跟蹤方法與裝置及數(shù)字立體顯微鏡系統(tǒng)，采用數(shù)字立體顯微鏡系統(tǒng)獲取雙目視頻圖像，先對(duì)其中一目視頻圖像進(jìn)行分析，利用基于宏塊的幀差法及基于色彩差異的對(duì)比分析法來(lái)確定手術(shù)刀區(qū)域，再以該手術(shù)刀區(qū)域?yàn)閰⒄眨凑兆笥夷恳曨l圖像的位置對(duì)應(yīng)關(guān)系，確定另一目視頻圖像的手術(shù)刀區(qū)域。由于采用了基于宏塊的幀差法，解決了區(qū)域檢測(cè)容易受背景干擾的問(wèn)題，又由于采用了基于色彩差異的對(duì)比分析法，并利用其中一目的手術(shù)刀區(qū)域確定另一目的手術(shù)刀區(qū)域，能夠快速準(zhǔn)確地對(duì)手術(shù)刀進(jìn)行定位。從所得的左右兩目視頻圖像的手術(shù)刀區(qū)域中提取的位置和深度信息更為精確，經(jīng)過(guò)后續(xù)疊加處理，獲得三維顯示效果，為醫(yī)生提供立體手術(shù)環(huán)境。
文檔編號(hào)A61B19/00GK103006332SQ20121057961
公開(kāi)日2013年4月3日 申請(qǐng)日期2012年12月27日 優(yōu)先權(quán)日2012年12月27日
發(fā)明者邵航, 吳勉, 葉斌, 朱春興 申請(qǐng)人:廣東圣洋信息科技實(shí)業(yè)有限公司