專利名稱:采用紅外反光球為標(biāo)志點的手術(shù)器械定位方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種采用紅外反光球為標(biāo)志點的手術(shù)器械定位方法,可應(yīng)用于手術(shù)導(dǎo)航儀中的手術(shù)器械跟蹤定位系統(tǒng),并可以擴(kuò)展到所有采用紅外反光球為標(biāo)志點的光學(xué)定位系統(tǒng)中。本發(fā)明屬于先進(jìn)醫(yī)療裝備與技術(shù)領(lǐng)域。
背景技術(shù):
到目前為止,外科手術(shù)主要依靠醫(yī)生用肉眼來判斷病灶的位置,從而進(jìn)行手術(shù)切除等操作。這種方式的缺點是手術(shù)開口大,出血多,術(shù)后恢復(fù)時間長。隨著計算機(jī)成像技術(shù)、虛擬現(xiàn)實技術(shù)以及計算機(jī)視覺理論的發(fā)展,手術(shù)導(dǎo)航系統(tǒng)(Surgical Navigation System)越來越受到人們的重視。手術(shù)導(dǎo)航系統(tǒng)可以給醫(yī)生提供一個直觀、可視化的手術(shù)操作平臺,使微創(chuàng)手術(shù)成為現(xiàn)實,病人的痛苦大大減輕。在西方發(fā)達(dá)國家,在手術(shù)導(dǎo)航系統(tǒng)輔佐下的微創(chuàng)手術(shù)甚至遠(yuǎn)程手術(shù)逐漸推廣。
為了實現(xiàn)手術(shù)導(dǎo)航,對手術(shù)器械進(jìn)行準(zhǔn)確的跟蹤和定位是不可或缺的步驟。加拿大NDI公司生產(chǎn)的導(dǎo)航定位儀是目前國際市場上的主流產(chǎn)品。但由于現(xiàn)有定位算法的缺陷,幾乎所有的導(dǎo)航定位設(shè)備的有效工作范圍都較狹窄,往往無法滿足手術(shù)過程中任意移動手術(shù)器械的要求。目前,人們常用紅外反光標(biāo)志球的橢圓投影中心代替反光球球心的投影點,但這一前提僅僅在手術(shù)器械處于攝像機(jī)視場中間區(qū)域時近似成立。但是,在手術(shù)過程中,很有可能需要對手術(shù)器械作比較大范圍的移動。一旦手術(shù)器械偏離攝像機(jī)視場的中心區(qū)域,定位精度就會降低,那么很有可能導(dǎo)致風(fēng)險操作甚至醫(yī)療事故。目前,常見導(dǎo)航產(chǎn)品通過提示用戶超出使用范圍來避免風(fēng)險發(fā)生,但這往往造成使用不便。比如,NDI公司就對其產(chǎn)品使用有嚴(yán)格的規(guī)定(POLARIS User Manual,http://www.ndigital.com)。同時,現(xiàn)有技術(shù)要求盡量減小反光球的直徑,但光斑很小時,光斑邊界就容易受到圖像上各種噪聲的干擾,從而產(chǎn)生比較大的誤差。
總之,為了擴(kuò)大導(dǎo)航儀的有效工作范圍,需要準(zhǔn)確確定出紅外反光球的球心投影點,進(jìn)而確定反光球球心的空間坐標(biāo),而不是用反光球橢圓影像的中心代替球心的投影點。因此,一種能夠以較小計算代價求取反光球球心投影點的算法具有較高的實用價值。
發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足,提出一種采用紅外反光球為標(biāo)志點的手術(shù)器械定位方法,擴(kuò)大手術(shù)導(dǎo)航系統(tǒng)的有效工作范圍,提高手術(shù)器械的定位精度。
本發(fā)明的上述目的是通過下述技術(shù)方案實現(xiàn)的利用單攝像機(jī)標(biāo)定方法,分別確定出左右攝像機(jī)的內(nèi)參數(shù)和一階徑向畸變參數(shù),利用立體攝像機(jī)標(biāo)定方法,計算出表征左右攝像機(jī)相對位置關(guān)系的旋轉(zhuǎn)矩陣和平移向量;用紅外光源照射安裝有3個不在同一直線上的紅外反光球的手術(shù)器械導(dǎo)航支架,再利用左右攝像機(jī)同時拍攝導(dǎo)航支架,從而得到左右兩幅包含3個反光球的橢圓影像的圖像;對這兩幅圖像進(jìn)行畸變校正,使其不含有畸變信息;在經(jīng)過畸變校正的左右圖像上分別檢測出每個反光球橢圓影像的邊界,利用邊界像素點擬合出橢圓方程,從而在左右圖像上分別得到3個橢圓影像的數(shù)學(xué)表示矩陣;分別求出每個矩陣的對偶矩陣,利用相應(yīng)的約束關(guān)系計算出反光球球心投影點的位置;對左右圖像分別得到的3個球心投影點進(jìn)行點匹配,得到3個點對,再利用它們重建出3個反光球球心的空間坐標(biāo);最后進(jìn)行一系列的坐標(biāo)變換可以計算出手術(shù)器械尖端工作部位的空間方位。
本發(fā)明所涉及的定位方法包括以下具體步驟 (1)攝像機(jī)標(biāo)定對左右攝像機(jī)分別利用單攝像機(jī)標(biāo)定方法,確定出左攝像機(jī)的內(nèi)參數(shù)矩陣Al、左攝像機(jī)的一階徑向畸變參數(shù)Sl、右攝像機(jī)的內(nèi)參數(shù)矩陣Ar、右攝像機(jī)的一階徑向畸變參數(shù)Sr;利用立體攝像機(jī)標(biāo)定方法,計算出表征左右攝像機(jī)相對位置關(guān)系的旋轉(zhuǎn)矩陣R0和平移向量t0; (2)畸變校正用紅外光源照射安裝有不在同一直線上的三個紅外反光球的導(dǎo)航支架,并將左右攝像機(jī)放置在導(dǎo)航支架附近,確保該導(dǎo)航支架處在左右攝像機(jī)的公共視場范圍內(nèi);利用左右攝像機(jī)同時拍攝導(dǎo)航支架,從而在左攝像機(jī)得到一幅包含三個紅外反光球的橢圓影像的圖像,同時,在右攝像機(jī)也得到一幅包含三個紅外反光球的橢圓影像的圖像;利用左攝像機(jī)的一階徑向畸變參數(shù)Sl對左邊圖像進(jìn)行畸變校正,得到不含有畸變信息的左邊圖像;同時,利用右攝像機(jī)的一階徑向畸變參數(shù)Sr對右邊圖像進(jìn)行畸變校正,得到不含有畸變信息的右邊圖像; (3)邊界檢測和橢圓擬合利用canny算子,分別檢測出經(jīng)畸變校正后的兩幅圖像平面上反光球的橢圓影像的邊界,從而在左右兩邊的圖像上分別得到3組由橢圓影像邊界像素點的坐標(biāo)構(gòu)成的點對;分別利用左邊圖像的3組點對,擬合出表示左邊三個橢圓影像的矩陣Cl1、Cl2、Cl3,再分別利用右邊圖像的3組點對,擬合出表示右邊三個橢圓影像的矩陣Cr1、Cr2、Cr3; (4)計算球心投影點分別計算出Cli的對偶矩陣Cli*,Cri的對偶矩陣Cri*,其中i=1,2,3; 利用下式 求解出kli、kri、vli、vri;其中kli、kri是尺度因子,i=1,2,3;三維列向量vli表示與橢圓Cli對應(yīng)的紅外反光球球心在左邊圖像上的投影點的齊次坐標(biāo),三維列向量vri表示與橢圓Cri對應(yīng)的紅外反光球球心在右邊圖像上的投影點的齊次坐標(biāo);從而在左右圖像上分別得到三個紅外反光球球心的投影點的齊次坐標(biāo); (5)點匹配和重建對左邊圖像上的三個球心投影點和右邊圖像上的三個球心投影點進(jìn)行點匹配,得到3組對應(yīng)點;利用左右攝像機(jī)的內(nèi)參數(shù)矩陣Al、Ar以及旋轉(zhuǎn)矩陣R0和平移向量t0進(jìn)行點重建,得到三個紅外反光球球心在左邊攝像機(jī)坐標(biāo)系下的空間坐標(biāo); (6)坐標(biāo)轉(zhuǎn)換在手術(shù)器械上安裝導(dǎo)航支架時,任意選取2個紅外反光球的球心連線作為X軸,第3個紅外反光球的球心到X軸的垂線為Y軸,垂點為坐標(biāo)原點,根據(jù)右手法則建立導(dǎo)航支架坐標(biāo)系,同時確定手術(shù)器械尖端工作部位在該坐標(biāo)系下的坐標(biāo);利用得到的三個紅外反光球球心在左邊攝像機(jī)坐標(biāo)系下的空間坐標(biāo),計算出導(dǎo)航支架坐標(biāo)系與左邊攝像機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣R和平移向量t;利用旋轉(zhuǎn)矩陣R和平移向量t,計算出手術(shù)器械尖端工作部位在左攝像機(jī)坐標(biāo)系下的坐標(biāo),由此完成對手術(shù)器械的定位。
與現(xiàn)存的方法相比,本發(fā)明精確確定出了紅外反光球球心的投影點,使得手術(shù)定位器械的定位精度不隨著手術(shù)器械的位置改變而不同。同時,手術(shù)器械的有效工作范圍擴(kuò)大,對手術(shù)操作的動作限制大為減少。本發(fā)明可以用于改進(jìn)現(xiàn)有的導(dǎo)航設(shè)備,而且無需更改硬件設(shè)置,有利于現(xiàn)有產(chǎn)品的過渡升級。
圖1為本發(fā)明采用紅外反光球為標(biāo)志點的手術(shù)器械定位方法的示意圖。
圖2為導(dǎo)航支架坐標(biāo)系的建立與坐標(biāo)轉(zhuǎn)換示意圖。
具體實施例方式 為了更好地理解本發(fā)明的技術(shù)方案,下面結(jié)合附圖和實施例對本發(fā)明的實施方式作詳細(xì)描述。
圖1為本發(fā)明定位方法的示意圖,其中所示為一任意配置的雙目立體視覺系統(tǒng)。OlXlYlZl和OrXrYrZr分別為左右攝像機(jī)坐標(biāo)系,olulvl和orurvr分別為以像素為單位的左右圖像坐標(biāo)系。安裝有3個不在同一直線上的紅外反光球的導(dǎo)航支架放置在左右攝像機(jī)的公共視場范圍內(nèi)。用左右攝像機(jī)同時拍攝導(dǎo)航支架,此時在左右圖像上分別得到3個橢圓,它們是3個紅外反光球在圖像上的投影。
下面詳細(xì)描述本發(fā)明方法的實施步驟 1.對左右攝像機(jī),分別利用單攝像機(jī)標(biāo)定方法(Z.Zhang,F(xiàn)lexible cameracalibration by viewing a plane from unknown orientations,proceedingsof the Fifth International Conference on Computer Vision,1999,pp.666-673),確定出左邊攝像機(jī)的內(nèi)參數(shù)矩陣Al、左邊攝像機(jī)的一階徑向畸變參數(shù)Sl、右邊攝像機(jī)的內(nèi)參數(shù)矩陣Ar、右邊攝像機(jī)的一階徑向畸變參數(shù)Sr;利用立體攝像機(jī)標(biāo)定方法(Jean-Yves Bouguet,Camera Calibration Toolbox forMatlab,MRL-Intel Incorp.),計算出表征左右攝像機(jī)相對位置關(guān)系的旋轉(zhuǎn)矩陣R0和平移向量t0。其中,內(nèi)參數(shù)矩陣的形式為 2.用紅外光源照射安裝有不在同一直線上的三個紅外反光球的導(dǎo)航支架,并將左右攝像機(jī)放置在導(dǎo)航支架附近,確保該導(dǎo)航支架處在左右攝像機(jī)的公共視場范圍內(nèi);利用左右攝像機(jī)同時拍攝導(dǎo)航支架,從而在左攝像機(jī)得到一幅包含三個紅外反光球的橢圓影像的圖像,同時,在右攝像機(jī)也得到一幅包含三個紅外反光球的橢圓影像的圖像;利用左攝像機(jī)的一階徑向畸變參數(shù)Sl對左邊圖像進(jìn)行畸變校正,得到不含有畸變信息的左邊圖像,記為πl(wèi);同時,利用右攝像機(jī)的一階徑向畸變參數(shù)Sr對右邊圖像進(jìn)行畸變校正,得到不含有畸變信息的右邊圖像,記為πr; 具體的校正過程是對左邊的圖像,設(shè)某包含畸變信息的圖像點在以像素為單位的圖像坐標(biāo)系下的坐標(biāo)為
其歸一化的圖像坐標(biāo)為
它們對應(yīng)的不含畸變信息的圖像點分別記為(u,v)和(x,y)。根據(jù)文獻(xiàn)(D.C.Brown,Close-range camera calibration,Photogram-metric Engineering,37(8)855-866,1971),有 利用坐標(biāo)變換公式 其中Sl為左邊攝像機(jī)一階徑向畸變參數(shù),Al為左攝像機(jī)的內(nèi)參數(shù)矩陣,且都已經(jīng)通過標(biāo)定確定。
可以得到 由于上面的方程是非線性方程組,為了簡化求解過程,上述方程組可近似為(Janne Heikkila,Geometric Camera Calibration Using Circular ControlPoints,IEEE.0n Pattern Analysis and Machine Intelligence,vol.22,no.10,1066-1077) 利用上面兩式可以對左邊圖像上的每一個圖像點進(jìn)行畸變校正,從而得到不含有畸變信息的圖像πl(wèi)。對于右邊的圖像,校正方法與左邊圖像的校正方法完全相同。
3.利用canny算子,分別檢測出πl(wèi)和πr兩幅圖像平面上紅外反光球的橢圓影像的邊界,從而在左右兩邊的圖像上分別得到3組由橢圓影像邊界像素點的坐標(biāo)構(gòu)成的點對;分別利用左邊圖像的3組點對,擬合出表示左邊三個橢圓影像的矩陣Cl1、Cl2、Cl3,再分別利用右邊圖像的3組點對,擬合出表示右邊三個橢圓影像的矩陣Cr1、Cr2、Cr3。具體的方法參見(A.W.Fitzgibbon,M.Pilu,and R.B.Fisher,“Direct Least-Squares Fitting of Ellipses”,IEEE Trans.Pattern Analysis and Machine Intelligence,vol.14,no.2,pp.239-256)。
4.分別計算出Cli的對偶矩陣Cli*,Cri的對偶矩陣Cri*,其中i=1,2,3; 利用下式 求解出kli、kri、vli、vri;其中kli、kri是尺度因子,i=1,2,3;三維列向量vli表示與橢圓Cli對應(yīng)的紅外反光球球心在左邊圖像上的投影點的齊次坐標(biāo),三維列向量vri表示與橢圓Cri對應(yīng)的紅外反光球球心在右邊圖像上的投影點的齊次坐標(biāo);從而在左右圖像上分別得到三個紅外反光球球心的投影點的齊次坐標(biāo); 具體方法是計算矩陣AlAlT和矩陣Cli*的廣義特征值,則未知尺度因子kli為它們的二重廣義特征值;對AlAlT-kliCli*進(jìn)行特征值分解,設(shè)其非零特征值對應(yīng)的特征向量為βi,那么從而計算出與橢圓Cli對應(yīng)的紅外反光球球心在左邊圖像上的投影點的齊次坐標(biāo);對右邊的圖像采用相同的方法處理。
5.點匹配和重建對左邊圖像上的三個球心投影點和右邊圖像上的三個球心投影點進(jìn)行點匹配,得到3組對應(yīng)點;利用左右攝像機(jī)的內(nèi)參數(shù)矩陣Al、Ar以及旋轉(zhuǎn)矩陣R0和平移向量t0進(jìn)行點重建,得到三個紅外反光球球心在左邊攝像機(jī)坐標(biāo)系下的空間坐標(biāo); 具體方法是由于左右攝像機(jī)的位置相距較近,且處于導(dǎo)航支架的同一側(cè),那么左右圖像上的3個球心投影點的位置具有相似性。分別在左右圖像平面上進(jìn)行逐行逐列掃描,直接將處在相似位置的左右球心投影點進(jìn)行匹配。
利用空間點重建方法,在已知兩個投影點的圖像坐標(biāo)和左右攝像機(jī)的內(nèi)參數(shù)矩陣Al、Ar以及表示左右攝像機(jī)相對位置關(guān)系的旋轉(zhuǎn)矩陣R0和平移向量t0時,可以重建出球心在左攝像機(jī)坐標(biāo)系下的空間坐標(biāo)(馬頌德、張正友,計算機(jī)視覺---計算理論與算法基礎(chǔ),科學(xué)出版社,1999)。
(6)在手術(shù)器械上安裝導(dǎo)航支架時,任意選取2個紅外反光球的球心連線作為X軸,第3個紅外反光球的球心到X軸的垂線為Y軸,垂點為坐標(biāo)原點,根據(jù)右手法則建立導(dǎo)航支架坐標(biāo)系;同時確定手術(shù)器械尖端工作部位在該坐標(biāo)系下的坐標(biāo);利用得到的三個紅外反光球球心在左邊攝像機(jī)坐標(biāo)系下的空間坐標(biāo),計算出導(dǎo)航支架坐標(biāo)系與左邊攝像機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣R和平移向量t;利用旋轉(zhuǎn)矩陣R和平移向量t,計算出手術(shù)器械尖端工作部位在左攝像機(jī)坐標(biāo)系下的坐標(biāo),由此完成對手術(shù)器械的定位。
圖2所示為導(dǎo)航支架坐標(biāo)系建立及其坐標(biāo)變換的示意圖。不妨選擇球心OA和OB的連線為X軸,從球心OC作X軸的垂線,以垂點作為坐標(biāo)原點,記為Ow,根據(jù)右手法則,建立導(dǎo)航支架坐標(biāo)系Ow-XwYwZw;通過精確的安裝,確定出手術(shù)器械尖端工作部位OD在導(dǎo)航支架坐標(biāo)系下的坐標(biāo),記為αD=[XwD YwD ZwD]T;設(shè)球心OA、OB、OC在左攝像機(jī)坐標(biāo)系下的坐標(biāo)分別為αA=[XcA YcA ZcA]T、αB=[XcB YcB ZcB]T、αC=[XcC YcC ZcC]T;導(dǎo)航支架坐標(biāo)系Ow-XwYwZw與左攝像機(jī)坐標(biāo)系Ol-XlYlZl之間的旋轉(zhuǎn)矩陣為R、平移向量為t;則坐標(biāo)原點Ow在左攝像機(jī)坐標(biāo)系下的坐標(biāo)為其中 則旋轉(zhuǎn)矩陣 平移向量t=αA-λ(αB-αA) 手術(shù)器械的尖端工作部位在左攝像機(jī)坐標(biāo)系Ol-XlYlZl下的坐標(biāo)為RαD+t,至此,手術(shù)器械定位完成。
權(quán)利要求
1、一種采用紅外反光球為標(biāo)志點的手術(shù)器械定位方法,其特征在于包含如下步驟
(1)攝像機(jī)標(biāo)定對左右攝像機(jī)分別利用單攝像機(jī)標(biāo)定方法,確定出左攝像機(jī)的內(nèi)參數(shù)矩陣Al、左攝像機(jī)的一階徑向畸變參數(shù)Sl、右攝像機(jī)的內(nèi)參數(shù)矩陣Ar、右攝像機(jī)的一階徑向畸變參數(shù)Sr;利用立體攝像機(jī)標(biāo)定方法,計算出表征左右攝像機(jī)相對位置關(guān)系的旋轉(zhuǎn)矩陣R0和平移向量t0;
(2)畸變校正用紅外光源照射安裝有不在同一直線上的三個紅外反光球的導(dǎo)航支架,并將左右攝像機(jī)放置在導(dǎo)航支架附近,確保該導(dǎo)航支架處在左右攝像機(jī)的公共視場范圍內(nèi);利用左右攝像機(jī)同時拍攝導(dǎo)航支架,從而在左攝像機(jī)得到一幅包含三個紅外反光球的橢圓影像的圖像,同時,在右攝像機(jī)也得到一幅包含三個紅外反光球的橢圓影像的圖像;利用左攝像機(jī)的一階徑向畸變參數(shù)Sl對左邊圖像進(jìn)行畸變校正,得到不含有畸變信息的左邊圖像;同時,利用右攝像機(jī)的一階徑向畸變參數(shù)Sr對右邊圖像進(jìn)行畸變校正,得到不含有畸變信息的右邊圖像;
(3)邊界檢測和橢圓擬合利用canny算子,分別檢測出經(jīng)畸變校正后的兩幅圖像平面上反光球的橢圓影像的邊界,從而在左右兩邊的圖像上分別得到3組由橢圓影像邊界像素點的坐標(biāo)構(gòu)成的點對;分別利用左邊圖像的3組點對,擬合出表示左邊三個橢圓影像的矩陣Cl1、Cl2、Cl3,再分別利用右邊圖像的3組點對,擬合出表示右邊三個橢圓影像的矩陣Cr1、Cr2、Cr3;
(4)計算球心投影點分別計算出Cli的對偶矩陣Cli*,Cri的對偶矩陣Cri*,其中i=1,2,3;
利用下式
求解出kli、kri、vli、vri;其中kli、kri是尺度因子,i=1,2,3;三維列向量vli表示與橢圓Cli對應(yīng)的紅外反光球球心在左邊圖像上的投影點的齊次坐標(biāo),三維列向量vri表示與橢圓Cri對應(yīng)的紅外反光球球心在右邊圖像上的投影點的齊次坐標(biāo);從而在左右圖像上分別得到三個紅外反光球球心的投影點的齊次坐標(biāo);
(5)點匹配和重建對左邊圖像上的三個球心投影點和右邊圖像上的三個球心投影點進(jìn)行點匹配,得到3組對應(yīng)點;利用左右攝像機(jī)的內(nèi)參數(shù)矩陣Al、Ar以及旋轉(zhuǎn)矩陣R0和平移向量t0進(jìn)行點重建,得到三個紅外反光球球心在左邊攝像機(jī)坐標(biāo)系下的空間坐標(biāo);
(6)坐標(biāo)轉(zhuǎn)換在手術(shù)器械上安裝導(dǎo)航支架時,任意選取2個紅外反光球的球心連線作為X軸,第3個紅外反光球的球心到X軸的垂線為Y軸,垂點為坐標(biāo)原點,根據(jù)右手法則建立導(dǎo)航支架坐標(biāo)系,同時確定手術(shù)器械尖端工作部位在該坐標(biāo)系下的坐標(biāo);利用得到的三個紅外反光球球心在左邊攝像機(jī)坐標(biāo)系下的空間坐標(biāo),計算出導(dǎo)航支架坐標(biāo)系與左邊攝像機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣R和平移向量t;利用旋轉(zhuǎn)矩陣R和平移向量t,計算出手術(shù)器械尖端工作部位在左攝像機(jī)坐標(biāo)系下的坐標(biāo),由此完成對手術(shù)器械的定位。
全文摘要
本發(fā)明涉及一種采用紅外反光球為標(biāo)志點的手術(shù)器械定位方法,分別確定左右攝像機(jī)的內(nèi)參數(shù)和一階徑向畸變參數(shù),計算出表征左右攝像機(jī)相對位置關(guān)系的旋轉(zhuǎn)矩陣和平移向量,再用紅外光源照射裝有3個紅外反光球的導(dǎo)航支架,拍攝得到左右兩幅包含紅外反光球的橢圓影像的圖像并進(jìn)行畸變校正;通過擬合經(jīng)畸變校正后的左右圖像平面的橢圓影像,直接線性地計算出3個紅外反光球球心的投影點;對左右圖像上的3個球心投影點進(jìn)行點匹配,再重建出3個紅外反光球的球心坐標(biāo);最后經(jīng)坐標(biāo)變換得到手術(shù)器械尖端工作部位的坐標(biāo)。本發(fā)明精確確定出紅外反光球球心的投影點,使得手術(shù)器械的定位精度不隨其位置的改變而不同,同時擴(kuò)大了手術(shù)器械的有效工作范圍。
文檔編號A61B17/00GK101099673SQ200710044709
公開日2008年1月9日 申請日期2007年8月9日 優(yōu)先權(quán)日2007年8月9日
發(fā)明者鄭銀強(qiáng), 劉允才 申請人:上海交通大學(xué)