專(zhuān)利名稱(chēng)：從血管樹(shù)圖像對(duì)內(nèi)窺鏡的機(jī)器人控制的制作方法
從血管樹(shù)圖像對(duì)內(nèi)窺鏡的機(jī)器人控制本發(fā)明大體涉及微創(chuàng)手術(shù)程序(例如微創(chuàng)冠狀動(dòng)脈旁路移植手術(shù))期間內(nèi)窺鏡的機(jī)器人控制。本發(fā)明具體涉及將手術(shù)前三維(“3D”)血管樹(shù)圖像的圖形表示到手術(shù)中內(nèi)窺鏡血管樹(shù)圖像的圖形表示的匹配作為機(jī)器人引導(dǎo)內(nèi)窺鏡的根據(jù)。冠狀動(dòng)脈旁路移植術(shù)(“CABG”)是用于阻塞的冠狀動(dòng)脈血管的再形成的手術(shù)程序。美國(guó)每年執(zhí)行大約500000例這種手術(shù)。在常規(guī)CABG中，患者的胸骨被打開(kāi)并且患者的心臟充分暴露給外科醫(yī)生。盡管心臟暴露，但是一些動(dòng)脈可能因?yàn)樗鼈兩戏降闹窘M織層而部分不可見(jiàn)。對(duì)于這樣的動(dòng)脈，外科醫(yī)生可以摸觸心臟表面并感受來(lái)自動(dòng)脈的血液脈動(dòng)以及動(dòng)脈的狹窄部位。不過(guò)，這樣的數(shù)據(jù)是不充足的，可能不足以向手術(shù)部位轉(zhuǎn)移手術(shù)計(jì)劃。在微創(chuàng)CABG中，由于醫(yī)生不能摸觸心臟表面，因而常規(guī)CABG的上述問(wèn)題更嚴(yán)重。此外，微創(chuàng)CABG中使用的手術(shù)器械的長(zhǎng)度阻止了來(lái)自工具近端的任何觸覺(jué)反饋。用于解決常規(guī)CABG的問(wèn)題的一種已知技術(shù)是將手術(shù)中的部位與手術(shù)前的3D冠狀動(dòng)脈樹(shù)配準(zhǔn)。具體而言，使用光學(xué)跟蹤的指示器對(duì)打開(kāi)的心臟環(huán)境中動(dòng)脈的位置進(jìn)行數(shù)字化，并且利用現(xiàn)有技術(shù)中的迭代最近點(diǎn)(“ICP”)算法將位置數(shù)據(jù)配準(zhǔn)到手術(shù)前的樹(shù)。然而，與匹配數(shù)字化動(dòng)脈和手術(shù)前數(shù)據(jù)的任何相關(guān)方法一樣，這種技術(shù)對(duì)于微創(chuàng)CABG而言是不現(xiàn)實(shí)的，因?yàn)樾《丝谠L問(wèn)施加了空間的約束。而且，這種技術(shù)要求大多數(shù)動(dòng)脈能被醫(yī)生看到或觸摸到，在微創(chuàng)CABG中這是不可能的。用于解決微創(chuàng)CABG的問(wèn)題的一種已知技術(shù)是執(zhí)行配準(zhǔn)方法，其中利用光學(xué)跟蹤的內(nèi)窺鏡重建心臟表面并將其匹配到同一表面的手術(shù)前計(jì)算機(jī)層析成像(“CT”)數(shù)據(jù)。然而，與建議基于表面的匹配的任何相關(guān)方法一樣，如果用于導(dǎo)出表面的內(nèi)窺鏡視野過(guò)小，那么這種技術(shù)可能會(huì)失敗。此外，由于心臟表面相對(duì)平滑，沒(méi)有特定的表面特征，這種技術(shù)的算法經(jīng)常工作在該算法的不是最理`想的局部最大值中。用于解決微創(chuàng)CABG的問(wèn)題的另一種已知技術(shù)是利用先前標(biāo)記的病例數(shù)據(jù)庫(kù)和基于圖表的匹配來(lái)標(biāo)記從新患者提取的冠狀動(dòng)脈樹(shù)。然而，僅在有完整的樹(shù)且其目標(biāo)是標(biāo)記樹(shù)而非匹配幾何結(jié)構(gòu)時(shí)，這種技術(shù)才有效。微創(chuàng)CABG的另一問(wèn)題是一旦達(dá)到相對(duì)于手術(shù)前的3D圖像的全局定位，內(nèi)窺鏡的取向和引導(dǎo)。配準(zhǔn)的目標(biāo)是便于定位接合部位和狹窄部位。在標(biāo)準(zhǔn)設(shè)置中，內(nèi)窺鏡由助理持有，而外科醫(yī)生持有兩個(gè)器械。外科醫(yī)生向助理發(fā)出命令并且助理相應(yīng)地移動(dòng)內(nèi)窺鏡。這種設(shè)置有礙于外科醫(yī)生的手眼協(xié)調(diào)，因?yàn)橹硇枰庇X(jué)地轉(zhuǎn)變外科醫(yī)生發(fā)出的命令，通常從醫(yī)生的參照系轉(zhuǎn)變到助理的參照系和內(nèi)窺鏡的參照系。多個(gè)坐標(biāo)系可能導(dǎo)致各種操作誤差，延長(zhǎng)手術(shù)時(shí)間或?qū)е鹿跔顒?dòng)脈的錯(cuò)誤辨識(shí)。被設(shè)計(jì)為允許外科醫(yī)生直接經(jīng)由感測(cè)的醫(yī)生頭部運(yùn)動(dòng)來(lái)控制內(nèi)窺鏡的手術(shù)內(nèi)窺鏡輔助可以通過(guò)從控制回路中去除助理來(lái)解決那些問(wèn)題中的一些，但是外科醫(yī)生參照系和內(nèi)窺鏡參照系之間的變換的問(wèn)題仍然存在。本發(fā)明提供的方法用于匹配手術(shù)前三維(“3D”)圖像(例如CT圖像、錐形射束CT圖像、3D X射線圖像或MRI圖像)中所示出的和手術(shù)中內(nèi)窺鏡圖像中所示出的血管樹(shù)(例如動(dòng)脈的分叉、毛細(xì)血管或靜脈)的圖形表示，用于將來(lái)自手術(shù)前3D圖像的血管樹(shù)疊加到手術(shù)中內(nèi)窺鏡圖像以及用于使用疊加圖像將持有內(nèi)窺鏡的機(jī)器人引導(dǎo)到手術(shù)前3D圖像中定義的位置。本發(fā)明的一種形式是采用機(jī)器人單元和控制單元的機(jī)器人引導(dǎo)系統(tǒng)。一種機(jī)器人引導(dǎo)系統(tǒng)采用了機(jī)器人單元和控制單元。機(jī)器人單元包括用于生成解剖區(qū)域內(nèi)的血管樹(shù)的手術(shù)中內(nèi)窺鏡圖像的內(nèi)窺鏡，以及用于在解剖區(qū)域內(nèi)移動(dòng)內(nèi)窺鏡的機(jī)器人。所述控制單元包括內(nèi)窺鏡控制器，用于生成所述解剖區(qū)域之內(nèi)的內(nèi)窺鏡路徑，其中，所述內(nèi)窺鏡路徑從所述血管樹(shù)的手術(shù)中內(nèi)窺鏡圖像的圖形表示到所述血管樹(shù)的手術(shù)前三維圖像的圖形表示的匹配導(dǎo)出?？刂茊卧€包括機(jī)器人控制器，用于命令所述機(jī)器人根據(jù)所述內(nèi)窺鏡路徑在所述解剖區(qū)域之內(nèi)移動(dòng)所述內(nèi)窺鏡。本發(fā)明的第二種形式是一種機(jī)器人引導(dǎo)方法，包括生成解剖區(qū)域內(nèi)的血管樹(shù)的手術(shù)中內(nèi)窺鏡路徑以及生成解剖區(qū)域內(nèi)的內(nèi)窺鏡路徑，其中，從所述血管樹(shù)的手術(shù)中內(nèi)窺鏡圖像的圖形表示到所述血管樹(shù)的手術(shù)前三維圖像的圖形表示的匹配導(dǎo)出所述內(nèi)窺鏡路徑。機(jī)器人弓I導(dǎo)方法還包括命令機(jī)器人根據(jù)所述內(nèi)窺鏡路徑在所述解剖區(qū)域之內(nèi)移動(dòng)內(nèi)窺鏡。將本文中使用的術(shù)語(yǔ)“手術(shù)前”寬泛地定義為描述解剖區(qū)域內(nèi)窺鏡成像之前、期間或之后為了采集解剖區(qū)域三維圖像而執(zhí)行的任何動(dòng)作，將本文中所使用的術(shù)語(yǔ)“手術(shù)中”寬泛地定義為描述在解剖區(qū)域的內(nèi)窺鏡成像期間由機(jī)器人單元和控制單元執(zhí)行的任何動(dòng)作。解剖區(qū)域的內(nèi)窺鏡成像的范例包括，但不限于CABG、支氣管窺鏡檢查、結(jié)腸窺鏡檢查、腹腔鏡檢查和大腦內(nèi)窺鏡檢查。結(jié)合附圖閱讀本發(fā)明各實(shí)施例的以下詳細(xì)描述，本發(fā)明的以上形式和其他形式以及本發(fā)明的各種特征和優(yōu)點(diǎn)將變得更加顯而易見(jiàn)。詳細(xì)描述和附圖僅僅是本發(fā)明的例示而非限制，本發(fā)明的范圍由所附權(quán)利要求及其等價(jià)內(nèi)容定義。

圖1圖示了根據(jù)本發(fā)明的機(jī)`器人引導(dǎo)系統(tǒng)的示范性實(shí)施例。圖2圖示了表示根據(jù)本發(fā)明的機(jī)器人引導(dǎo)方法的示范性實(shí)施例的流程圖。圖3圖示了圖2中所示的流程圖的示范性手術(shù)實(shí)現(xiàn)。圖4圖示了表示根據(jù)本發(fā)明的圖形匹配方法的示范性實(shí)施例的流程圖。圖5和6圖示了根據(jù)本發(fā)明的血管樹(shù)主圖的示范性排序。圖7圖示了根據(jù)本發(fā)明幾何表示在內(nèi)窺鏡圖像上的示范性疊加。圖8圖示了根據(jù)本發(fā)明的圖7中所示和疊加圖像內(nèi)的示范性機(jī)器人路徑。如圖1中所示，機(jī)器人引導(dǎo)系統(tǒng)針對(duì)包括有一個(gè)或多個(gè)分叉(即分支)的血管樹(shù)的內(nèi)窺鏡成像的任何內(nèi)窺鏡程序采用機(jī)器人單元10和控制單元20。這種內(nèi)窺鏡程序的范例包括，但不限于微創(chuàng)心臟手術(shù)(例如，冠狀動(dòng)脈旁路移植術(shù)或二尖瓣置換)。機(jī)器人單元10包括機(jī)器人11、剛性附著于機(jī)器人11的內(nèi)窺鏡12和附著于內(nèi)窺鏡12的視頻捕捉設(shè)備13。本文中將機(jī)器人11寬泛地定義為在結(jié)構(gòu)上配置有一個(gè)或多個(gè)關(guān)節(jié)的電動(dòng)機(jī)控制系統(tǒng)的任何機(jī)器人設(shè)備，用于如特定的內(nèi)窺鏡程序所期望地操作末端執(zhí)行器。在實(shí)踐中，機(jī)器人11可以具有四個(gè)(4)自由度，例如，具有用剛性段串聯(lián)的關(guān)節(jié)的串聯(lián)機(jī)器人，具有按并聯(lián)次序安裝的關(guān)節(jié)和剛性段(例如，現(xiàn)有技術(shù)中的Stewart平臺(tái))的并聯(lián)機(jī)器人，或者串聯(lián)和并聯(lián)運(yùn)動(dòng)學(xué)的任何混合組合。本文中將內(nèi)窺鏡12寬泛地定義為在結(jié)構(gòu)上配置有從身體內(nèi)部成像的任何設(shè)備。用于本發(fā)明的目的的內(nèi)窺鏡12的范例包括，但不限于任何類(lèi)型的柔性的或剛性的觀測(cè)儀器(例如內(nèi)窺鏡、關(guān)節(jié)鏡、支氣管窺鏡、膽管鏡、結(jié)腸鏡、膀胱鏡、十二指腸鏡、胃窺鏡、宮腔鏡、腹窺鏡、喉鏡、神經(jīng)窺鏡、耳鏡、推式腸鏡、鼻喉鏡、乙狀結(jié)腸窺鏡、鼻竇鏡、胸腔窺鏡等)和裝備有圖像系統(tǒng)的類(lèi)似于觀測(cè)儀器的任何設(shè)備(例如，具有成像功能的嵌套插管)。成像是本地的，可以利用光纖、透鏡和小型化(例如基于CCD的)成像系統(tǒng)用光學(xué)方式獲得表面圖像。在實(shí)踐中，將內(nèi)窺鏡12安裝到機(jī)器人11的末端執(zhí)行器。機(jī)器人11的末端執(zhí)行器的姿態(tài)是機(jī)器人11致動(dòng)器坐標(biāo)系中的末端執(zhí)行器的位置和取向。在內(nèi)窺鏡12安裝到機(jī)器人11的末端執(zhí)行器的條件下，解剖區(qū)域內(nèi)的內(nèi)窺鏡12視場(chǎng)的任何給定姿態(tài)對(duì)應(yīng)于機(jī)器人坐標(biāo)系之內(nèi)機(jī)器人11的末端執(zhí)行器的不同姿態(tài)。因此，可以將內(nèi)窺鏡12生成的血管樹(shù)的每個(gè)個(gè)體內(nèi)窺鏡圖像鏈接到解剖區(qū)域之內(nèi)對(duì)應(yīng)的內(nèi)窺鏡12的姿態(tài)。本文中將視頻捕捉設(shè)備13寬泛地定義為在結(jié)構(gòu)上配置有將來(lái)自內(nèi)窺鏡12的手術(shù)中內(nèi)窺鏡視頻信號(hào)轉(zhuǎn)換成手術(shù)中內(nèi)窺鏡圖像(“Ι0ΕΙ”)14的計(jì)算機(jī)可讀時(shí)間序列的能力的任何設(shè)備。在實(shí)踐中，視頻捕捉設(shè)備13可以采用任何類(lèi)型的幀抓取器，用于從手術(shù)中內(nèi)窺鏡視頻信號(hào)捕捉單個(gè)數(shù)字的靜止幀。仍然參考圖1，控制單元20包括機(jī)器人控制器21和內(nèi)窺鏡控制器22。本文中將機(jī)器人控制器21寬泛地定義為在結(jié)構(gòu)上配置為向機(jī)器人11提供一個(gè)或多個(gè)機(jī)器人致動(dòng)器命令(“RAC”)26的任何控制器，用于根據(jù)內(nèi)窺鏡程序的需要控制機(jī)器人11的末端執(zhí)行器的姿態(tài)。更具體而言，機(jī)器人控制器21將來(lái)自內(nèi)窺鏡控制器22的內(nèi)窺鏡位置命令(“EPC”)25轉(zhuǎn)換成機(jī)器人致動(dòng)器命令26。例如，內(nèi)窺鏡位置命令25可以指示通往解剖區(qū)域內(nèi)的內(nèi)窺鏡12視場(chǎng)中的期望3D位置的內(nèi)窺鏡路徑，由此，機(jī)器人控制器21根據(jù)需要將命令25轉(zhuǎn)換成包括針對(duì)機(jī)器人11每個(gè)電動(dòng)機(jī)的致動(dòng)電流的命令26,以將內(nèi)窺鏡12移動(dòng)到期望的3D位置。本文中將內(nèi)窺鏡控制器2`2寬泛地定義為在結(jié)構(gòu)上配置為實(shí)現(xiàn)根據(jù)本發(fā)明并且在圖2中示范性示出的機(jī)器人引導(dǎo)方法的任何控制器。為此，內(nèi)窺鏡控制器22可以并入圖像處理模塊(“IPM”)23，本文中將所述圖像處理模塊(“IPM”)23寬泛地定義為在結(jié)構(gòu)上配置為執(zhí)行本發(fā)明的解剖對(duì)象圖像配準(zhǔn)的任何模塊。具體而言，如圖2示出的由流程圖30的階段S32和S33示范性地實(shí)現(xiàn)的血管樹(shù)圖像配準(zhǔn)。內(nèi)窺鏡控制器22還可以并入視覺(jué)伺服模塊(“VSM”)24，本文中將所述視覺(jué)伺服模塊(“VSM”)24寬泛地定義為在結(jié)構(gòu)上配置為生成內(nèi)窺鏡位置命令25的任何模塊，所述內(nèi)窺鏡位置命令25指示通往解剖區(qū)域內(nèi)的內(nèi)窺鏡12視場(chǎng)中的期望3D位置的內(nèi)窺鏡路徑。具體而言，如圖2中示出的流程圖30的階段S34示范性實(shí)現(xiàn)那樣，從血管樹(shù)圖像配準(zhǔn)導(dǎo)出內(nèi)窺鏡位置命令25。現(xiàn)在將在此提供流程圖30的描述以便進(jìn)一步理解內(nèi)窺鏡控制器22。參考圖2，流程圖30的階段S31包括從手術(shù)前3D圖像提取血管樹(shù)的幾何表示。例如，如圖3中所示，操作3D成像設(shè)備(例如，CT設(shè)備、X射線設(shè)備或MRI設(shè)備)以生成患者50胸部區(qū)域的手術(shù)前3D圖像42，該圖像42示出了患者50的左右冠狀動(dòng)脈51和52。之后，操作血管樹(shù)提取器43以從圖像42提取冠狀動(dòng)脈樹(shù)的幾何表示44，所述圖像42可以存儲(chǔ)在數(shù)據(jù)庫(kù)45中。在實(shí)踐中，可以使用Philips銷(xiāo)售的Brilliance iCT掃描機(jī)來(lái)生成圖像42并從圖像42提取冠狀動(dòng)脈樹(shù)的3D數(shù)據(jù)集。
回來(lái)參考圖2，流程圖30的階段S32包括:圖像處理模塊23將血管樹(shù)的一個(gè)或多個(gè)手術(shù)中內(nèi)窺鏡圖像14 (圖1)的圖形表示匹配到血管樹(shù)的手術(shù)前3D圖像44 (圖1)的圖形表示。例如，如圖3中所示，內(nèi)窺鏡12生成患者50胸部區(qū)域的手術(shù)中內(nèi)窺鏡視頻，該手術(shù)中內(nèi)窺鏡視頻是由視頻捕捉設(shè)備13拍攝的并轉(zhuǎn)換成手術(shù)中內(nèi)窺鏡圖像14，由此，內(nèi)窺鏡控制器22的圖像處理模塊23將冠狀動(dòng)脈樹(shù)的手術(shù)中內(nèi)窺鏡圖像14的圖形表示匹配到冠狀動(dòng)脈樹(shù)的手術(shù)前3D圖像44的圖形表示。在一個(gè)示范性實(shí)施例中，圖像處理模塊23如圖4中所示的流程圖60示范性表示地那樣執(zhí)行本發(fā)明的血管樹(shù)圖像匹配方法，本文中將在血管樹(shù)為冠狀動(dòng)脈樹(shù)的背景中進(jìn)行描述。參考圖4，流程圖60的階段S61包括:圖像處理模塊23根據(jù)現(xiàn)有技術(shù)中的任何表示方法從冠狀動(dòng)脈樹(shù)的幾何表示生成冠狀動(dòng)脈樹(shù)主圖。例如，如階段S61中所示,將冠狀動(dòng)脈樹(shù)的幾何表示70轉(zhuǎn)換為具有節(jié)點(diǎn)還具有節(jié)點(diǎn)之間的分支連接的主圖71，節(jié)點(diǎn)由冠狀動(dòng)脈樹(shù)幾何表示70的每個(gè)分叉(例如，二分叉點(diǎn)或三分叉點(diǎn))表示?？梢栽谑中g(shù)前執(zhí)行階段S61 (例如，在內(nèi)窺鏡手術(shù)之前幾天或在將內(nèi)窺鏡12引入到患者50體內(nèi)之前的任何時(shí)間)，或利用C型臂血管造影術(shù)或其他適當(dāng)?shù)南到y(tǒng)在手術(shù)中執(zhí)行。流程圖60的階段S62包括:圖像處理模塊23根據(jù)現(xiàn)有技術(shù)中的任何圖形表示方法從手術(shù)中內(nèi)窺鏡圖像14中可見(jiàn)的冠狀動(dòng)脈樹(shù)的部分生成冠狀動(dòng)脈樹(shù)子圖。具體而言，將內(nèi)窺鏡12引入患者50體內(nèi)，由此，圖像處理模塊23在手術(shù)中內(nèi)窺鏡圖像14之內(nèi)執(zhí)行冠狀動(dòng)脈結(jié)構(gòu)的檢測(cè)。在實(shí)踐中，一些動(dòng)脈結(jié)構(gòu)是可見(jiàn)的，而其他動(dòng)脈結(jié)構(gòu)可能被脂肪組織層隱藏。這樣，圖像處理模塊23可以通過(guò)已知的圖像處理操作實(shí)現(xiàn)(一個(gè)或多個(gè))可見(jiàn)冠狀動(dòng)脈結(jié)構(gòu)的自動(dòng)檢測(cè)(例如，通過(guò)(一個(gè)或多個(gè))可見(jiàn)冠狀動(dòng)脈結(jié)構(gòu)的清晰紅色進(jìn)行的閾值檢測(cè))，或者外科醫(yī)生可以手動(dòng)地使用輸入設(shè)備以在計(jì)算機(jī)顯示器上勾勒出(一個(gè)或多個(gè))可見(jiàn)冠狀動(dòng)脈結(jié)構(gòu)。在檢測(cè)(一個(gè)或多個(gè))動(dòng)脈結(jié)構(gòu)時(shí)，圖像處理模塊23以類(lèi)似于生成冠狀動(dòng)脈樹(shù)主圖的方式生成冠狀動(dòng)脈樹(shù)圖。例如，如階段S62中所示，將冠狀動(dòng)脈結(jié)構(gòu)的幾何表示72變換成具有節(jié)點(diǎn)，還具有節(jié)點(diǎn)之間的分支連接的圖73，所述節(jié)點(diǎn)表示冠狀動(dòng)脈樹(shù)幾何表示72的每個(gè)分叉(例如，二分叉點(diǎn)或三分叉點(diǎn))。由于兩個(gè)樹(shù)都來(lái)自同一人，因而把從內(nèi)診鏡檢查圖像導(dǎo)出的圖理解為從3D圖像`導(dǎo)出的圖的子圖。流程圖60的階段S63包括:圖像處理模塊23根據(jù)任何已知的圖匹配方法(例如最大公共子圖或McGregor公共子圖)將子圖匹配到主圖。例如，如階段S63所示，將子圖73的節(jié)點(diǎn)匹配到主圖71的節(jié)點(diǎn)的子集。在實(shí)踐中，子圖73可以在手術(shù)中內(nèi)窺鏡圖像14中僅被部分地檢測(cè)到，或者子圖73的一些節(jié)點(diǎn)/連接可能從手術(shù)中內(nèi)窺鏡圖像14中缺失。為改善階段S62的匹配精確度，可以進(jìn)行主圖71和子圖73的額外排序。在一個(gè)實(shí)施例中，基于階段S61的圖像掃描期間患者50的已知取向進(jìn)行主圖71的垂直節(jié)點(diǎn)排序。具體而言，可以將主圖節(jié)點(diǎn)定向鏈接以保持如圖5通過(guò)實(shí)線箭頭示范性示出的上下次序。對(duì)于子圖73，患者50相對(duì)于內(nèi)窺鏡12的取向可能不是已知的。然而，已知在冠狀動(dòng)脈樹(shù)從上到下擴(kuò)展時(shí)冠狀動(dòng)脈樹(shù)分支的直徑減小，那么手術(shù)中內(nèi)窺鏡圖像14中動(dòng)脈分支的變化的動(dòng)脈尺寸可以指示取向。在另一個(gè)實(shí)施例中，可以基于階段S61的圖像掃描期間患者50的已知取向?qū)崿F(xiàn)主圖70的水平節(jié)點(diǎn)排序。具體而言，可以將主圖節(jié)點(diǎn)定向鏈接以保持如圖6通過(guò)虛線箭頭示范性示出的左右次序。對(duì)于子圖73，在患者50相對(duì)于內(nèi)窺鏡12的取向還可能未知的情況下，可以由做手術(shù)的醫(yī)生或助理通過(guò)圖形用戶界面設(shè)置子圖73的水平節(jié)點(diǎn)次序。
盡管使用排序可以減少匹配圖的時(shí)間并減少可能匹配的數(shù)目，但是理論上講，通過(guò)匹配算法仍然可能獲得圖之間的多個(gè)匹配。在流程圖30的階段S33期間解決了這樣的多個(gè)匹配的情況。再次參考圖2，基于圖的匹配，流程圖的階段S33包括:在血管樹(shù)的手術(shù)中內(nèi)窺鏡圖像14上疊加血管樹(shù)的手術(shù)前3D圖像44 (圖1)的幾何表示。這是通過(guò)與主圖唯一性關(guān)聯(lián)的幾何表示實(shí)現(xiàn)的。于是，可以利用透視圖變換將整個(gè)幾何結(jié)構(gòu)直接轉(zhuǎn)變成手術(shù)中內(nèi)窺鏡圖像14?？梢岳矛F(xiàn)有技術(shù)中的匹配算法，例如，單圖匹配，從手術(shù)中內(nèi)窺鏡圖像14和手術(shù)前3D圖像44中的節(jié)點(diǎn)檢測(cè)透視圖變換。例如，圖7示出了具有節(jié)點(diǎn)的冠狀動(dòng)脈樹(shù)的幾何表示80，利用手術(shù)中內(nèi)窺鏡圖像90將節(jié)點(diǎn)與節(jié)點(diǎn)91-95匹配?？梢岳霉?jié)點(diǎn)91-95中每個(gè)節(jié)點(diǎn)對(duì)之間的距離確定用于幾何表示80的縮放因子，由此使得幾何表示80能夠如圖所示地覆蓋手術(shù)中內(nèi)窺鏡圖像90。在實(shí)踐中，如果階段S32 (圖2)的圖匹配生成多個(gè)結(jié)果，那么可以向外科醫(yī)生顯示所有可能的疊加圖，由此外科醫(yī)生可以通過(guò)圖形用戶界面選擇他認(rèn)為是最可能的匹配的匹配結(jié)果。假設(shè)外科醫(yī)生知道內(nèi)窺鏡12相對(duì)于手術(shù)中內(nèi)窺鏡圖像14中至少一些結(jié)構(gòu)的位置，該選擇可以是相對(duì)直截了當(dāng)?shù)??；貋?lái)參考圖2，流程圖30的階段S34包括:視覺(jué)伺服模塊32在血管樹(shù)的手術(shù)中內(nèi)窺鏡圖像14 (圖1)上的血管樹(shù)的手術(shù)前3D圖像44 (圖1)的幾何表示疊加圖像內(nèi)生成內(nèi)窺鏡路徑。基于內(nèi)窺鏡路徑，視覺(jué)伺服模塊32向機(jī)器人控制器21生成內(nèi)窺鏡位置命令25，由此沿著內(nèi)窺鏡路徑將內(nèi)窺鏡12 (圖1)引導(dǎo)到解剖區(qū)域之內(nèi)的期望位置。具體而言，一旦發(fā)現(xiàn)了精確的疊加，可以命令機(jī)器人11將內(nèi)窺鏡12引導(dǎo)到外科醫(yī)生在手術(shù)前3D圖像44上選擇的位置。外科醫(yī)生或助理可以選擇血管樹(shù)的點(diǎn)，機(jī)器人11可以沿著任何適當(dāng)?shù)穆窂较蛟撈谕恢靡龑?dǎo)內(nèi)窺鏡12。例如，如圖9中所示，機(jī)器人11可以沿著最短路徑101將內(nèi)窺鏡12移動(dòng)到期望位置100或沿著冠狀動(dòng)脈路徑102移動(dòng)到期望位置100。冠狀動(dòng)脈路徑102是優(yōu)選的實(shí)施例，因?yàn)楣跔顒?dòng)脈路徑102允許外科醫(yī)生在機(jī)器人11移動(dòng)內(nèi)窺鏡12時(shí)觀察可見(jiàn)的動(dòng)脈。此外，這可能幫助外科醫(yī)生判斷匹配是否成功?？梢岳矛F(xiàn)有技術(shù)中的方法(例如Dijkstra最短路徑算法)定義冠狀動(dòng)脈路徑102。在實(shí)踐中，可以利用具有遠(yuǎn)程運(yùn)動(dòng)中心的未校準(zhǔn)的視覺(jué)伺服命令機(jī)器人11運(yùn)動(dòng)，可以將內(nèi)窺鏡12的視場(chǎng)擴(kuò)展以能夠在匹配階段S32期間獲得更大的子圖。回來(lái)參考圖2，也可以一次或周期性地執(zhí)行階段S32-S34，直到機(jī)器人11將內(nèi)窺鏡12移動(dòng)到解剖區(qū)域之內(nèi)的期望位置的這樣時(shí)間，或者執(zhí)行由外科醫(yī)生指定的很多次。在實(shí)踐中，如圖所示，可以由內(nèi)窺鏡控制器22之內(nèi)集成的硬件、軟件和/或固件實(shí)現(xiàn)模塊23和24 (圖1)。從本文中圖1-8的描述，本領(lǐng)域普通技術(shù)人員將認(rèn)識(shí)到本發(fā)明的眾多益處，包括但不限于，將本發(fā)明應(yīng)用于在任何類(lèi)型的血管中執(zhí)行的任何類(lèi)型的內(nèi)窺鏡手術(shù)。盡管已經(jīng)參考示范性方面、特征和實(shí)現(xiàn)方式描述了本發(fā)明，但公開(kāi)的系統(tǒng)和方法不限于這樣的示范性方面、特征和/或?qū)崿F(xiàn)方式。相反，本領(lǐng)域的技術(shù)人員從本文中提供的描述容易明了，在不脫離本發(fā)明的精神或范圍的情況下易于對(duì)公開(kāi)的系統(tǒng)和方法進(jìn)行修改、變化和強(qiáng)化。因此，本發(fā)明明確`涵蓋了其范圍之內(nèi)這樣的修改、變化和強(qiáng)化。
權(quán)利要求
1.一種機(jī)器人引導(dǎo)系統(tǒng),包括: 機(jī)器人單元(10)，其包括 內(nèi)窺鏡(12)，其能夠操作用于生成解剖區(qū)域內(nèi)的血管樹(shù)的手術(shù)中內(nèi)窺鏡圖像(14)，以及 機(jī)器人(11)，其能夠操作用于在所述解剖區(qū)域之內(nèi)移動(dòng)所述內(nèi)窺鏡(12);以及 控制單元(20)，其包括 內(nèi)窺鏡控制器(22)，其能夠操作用于生成所述解剖區(qū)域之內(nèi)的內(nèi)窺鏡路徑，其中，所述內(nèi)窺鏡路徑從所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的圖形表示到所述血管樹(shù)的手術(shù)前三維圖像(44)的圖形表示的匹配導(dǎo)出，以及 機(jī)器人控制器(21 )，其能夠操作用于命令所述機(jī)器人(11)根據(jù)所述內(nèi)窺鏡路徑在所述解剖區(qū)域之內(nèi)移動(dòng)所述內(nèi)窺鏡(12 )。
2.根據(jù)權(quán)利要求1所述的機(jī)器人引導(dǎo)系統(tǒng)，其中，所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的所述圖形表示到所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述圖形表示的所述匹配包括: 生成從所述血管樹(shù)的所述手術(shù)前三維圖像(44)的幾何表示導(dǎo)出的主圖； 生成從所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的幾何表示導(dǎo)出的子圖；以及 將所述子圖匹配到所述主圖。
3.根據(jù)權(quán)利要求2所述的機(jī)器人引導(dǎo)系統(tǒng)， 其中，所述主圖包括表示所述血管樹(shù)的所述手術(shù)前三維圖像(44)內(nèi)的所述血管樹(shù)的每個(gè)分叉的節(jié)點(diǎn)的主集合；并且 其中，所述子圖包括所述節(jié)點(diǎn)的主集合的子集，所述節(jié)點(diǎn)的子集表示所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)內(nèi)的所述血管樹(shù)的每個(gè)分叉。
4.根據(jù)權(quán)利要求3所述的機(jī)器人引導(dǎo)系統(tǒng)，其中，所述子圖到所述主圖的所述匹配包括: 在所述主圖中建立所述節(jié)點(diǎn)的垂直排序和水平排序中的至少一個(gè)。
5.根據(jù)權(quán)利要求2所述的機(jī)器人引導(dǎo)系統(tǒng)，其中，所述內(nèi)窺鏡控制器(22)還能夠操作用于根據(jù)所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的所述圖形表示到所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述圖形表示的所述匹配，向所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)上疊加所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述幾何表示。
6.根據(jù)權(quán)利要求5所述的機(jī)器人引導(dǎo)系統(tǒng)，其中，所述內(nèi)窺鏡控制器(22)還能夠操作用于在所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述幾何表示到所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14 )上的疊加圖像內(nèi)生成所述內(nèi)窺鏡路徑。
7.根據(jù)權(quán)利要求2所述的機(jī)器人引導(dǎo)系統(tǒng)， 其中，所述子圖到所述主圖的所述匹配包括所述節(jié)點(diǎn)的子集到所述節(jié)點(diǎn)的主集合的多個(gè)匹配結(jié)果；并且 其中，選擇所述多個(gè)匹配結(jié)果中的一個(gè)作為所述子圖到所述主圖的匹配。
8.根據(jù)權(quán)利要求1所述的機(jī)器人引導(dǎo)系統(tǒng)，其中，所述血管樹(shù)是冠狀動(dòng)脈樹(shù)。
9.一種用于內(nèi)窺鏡(12 )和機(jī)器人 (11)的控制單元(20 )，所述內(nèi)窺鏡(12 )能夠操作用于生成解剖區(qū)域內(nèi)的血管樹(shù)的手術(shù)中內(nèi)窺鏡圖像(14)，所述機(jī)器人(11)能夠操作用于在所述解剖區(qū)域之內(nèi)移動(dòng)所述內(nèi)窺鏡(12)，所述控制單元(20)包括: 內(nèi)窺鏡控制器(22)，其能夠操作用于生成所述解剖區(qū)域內(nèi)的內(nèi)窺鏡路徑，其中，所述內(nèi)窺鏡路徑從所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的圖形表示到所述血管樹(shù)的手術(shù)前三維圖像(44)的圖形表示的匹配導(dǎo)出；以及 機(jī)器人 控制器(21 )，其能夠操作用于命令所述機(jī)器人(11)根據(jù)所述內(nèi)窺鏡路徑在所述解剖區(qū)域內(nèi)移動(dòng)所述內(nèi)窺鏡(12 )。
10.根據(jù)權(quán)利要求9所述的控制單元(20)，其中，所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的所述圖形表示到所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述圖形表示的所述匹配包括: 生成從所述血管樹(shù)的所述手術(shù)前三維圖像(44)的幾何表示導(dǎo)出的主圖； 生成從所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的幾何表示導(dǎo)出的子圖；以及 將所述子圖匹配到所述主圖。
11.根據(jù)權(quán)利要求10所述的控制單元(20)， 其中，所述主圖包括表示所述血管樹(shù)的所述手術(shù)前三維圖像(44)內(nèi)的所述血管樹(shù)每個(gè)分叉的節(jié)點(diǎn)的主集合；并且 其中，所述子圖包括所述節(jié)點(diǎn)的主集合的子集，所述節(jié)點(diǎn)的子集表示所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)內(nèi)的所述血管樹(shù)的每個(gè)分叉。
12.根據(jù)權(quán)利要求11所述的控制單元(20)，其中，所述子圖到所述主圖的所述匹配包括: 在所述主圖中建立所述節(jié)點(diǎn)的垂直排序和水平排序中的至少一個(gè)。
13.根據(jù)權(quán)利要求10所述的控制單元(20)，其中，所述內(nèi)窺鏡控制器(22)還能夠操作用于根據(jù)所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的所述圖形表示到所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述圖形表示的所述匹配，向所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)上疊加所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述幾何表示。
14.根據(jù)權(quán)利要求13所述的機(jī)器人引導(dǎo)系統(tǒng)，其中，所述內(nèi)窺鏡控制器(22)還能夠操作用于在所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述幾何表示到所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14 )上的疊加圖像內(nèi)生成所述內(nèi)窺鏡路徑。
15.根據(jù)權(quán)利要求10所述的機(jī)器人引導(dǎo)系統(tǒng)， 其中，所述子圖到所述主圖的匹配包括所述節(jié)點(diǎn)的子集到所述節(jié)點(diǎn)的主集合的多個(gè)匹配結(jié)果；并且 其中，選擇所述多個(gè)匹配結(jié)果中的一個(gè)作為所述子圖到所述主圖的匹配。
16.—種機(jī)器人引導(dǎo)方法,包括: 生成解剖區(qū)域內(nèi)的血管樹(shù)的手術(shù)中內(nèi)窺鏡圖像(14); 生成所述解剖區(qū)域內(nèi)的內(nèi)窺鏡路徑，其中，所述內(nèi)窺鏡路徑從所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的圖形表示到所述血管樹(shù)的手術(shù)前三維圖像(44)的圖形表示的匹配導(dǎo)出；以及 命令機(jī)器人(11)根據(jù)所述內(nèi)窺鏡路徑在所述解剖區(qū)域內(nèi)移動(dòng)內(nèi)窺鏡(12 )。
17.根據(jù)權(quán)利要求16所述的機(jī)器人引導(dǎo)方法，其中，所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的所述圖形表示到所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述圖形表示的所述匹配包括: 生成從所述血管樹(shù)的所述手術(shù)前三維圖像(44)的幾何表示導(dǎo)出的主圖； 生成從所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的幾何表示導(dǎo)出的子圖；以及 將所述子圖匹配到所述主圖。
18.根據(jù)權(quán)利要求17所述的機(jī)器人引導(dǎo)方法， 其中，所述主圖包括表示所述血管樹(shù)的所述手術(shù)前三維圖像(44)內(nèi)的所述血管樹(shù)的每個(gè)分叉的節(jié)點(diǎn)的主集合；并且 其中，所述子圖包括所述節(jié)點(diǎn)的主集合的子集，所述節(jié)點(diǎn)的子集表示所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)內(nèi)的所述血管樹(shù)的每個(gè)分叉。
19.根據(jù)權(quán)利要求17所述的機(jī)器人引導(dǎo)方法，還包括: 根據(jù)所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)的所述圖形表示到所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述圖形表示的所述匹配，向所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)上疊加所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述幾何表示。
20.根據(jù)權(quán)利要求19所述的機(jī)器人引導(dǎo)系統(tǒng)，其中，在所述血管樹(shù)的所述手術(shù)前三維圖像(44)的所述幾何表示到所述血管樹(shù)的所述手術(shù)中內(nèi)窺鏡圖像(14)上的疊加圖像內(nèi)生成所述內(nèi)窺鏡路徑。
全文摘要
一種機(jī)器人引導(dǎo)系統(tǒng)采用了機(jī)器人單元(10)和控制單元(20)。所述機(jī)器人單元(10)包括用于生成解剖區(qū)域內(nèi)的血管樹(shù)的手術(shù)中內(nèi)窺鏡圖像(14)的內(nèi)窺鏡(12)以及用于在解剖區(qū)域內(nèi)移動(dòng)所述內(nèi)窺鏡(12)的機(jī)器人(11)。所述控制單元(20)包括內(nèi)窺鏡控制器(22)，所述內(nèi)窺鏡控制器(22)用于生成所述解剖區(qū)域內(nèi)的內(nèi)窺鏡路徑，其中，所述內(nèi)窺鏡路徑從所述血管樹(shù)的手術(shù)中內(nèi)窺鏡圖像(14)的圖形表示到所述血管樹(shù)的手術(shù)前三維圖像(44)的圖形表示的匹配來(lái)導(dǎo)出。所述控制單元(20)還包括機(jī)器人控制器(21)，所述機(jī)器人控制器(21)用于命令所述機(jī)器人(11)根據(jù)所述內(nèi)窺鏡路徑在所述解剖區(qū)域內(nèi)移動(dòng)所述內(nèi)窺鏡(12)。
文檔編號(hào)G06K9/64GK103108602SQ201180044480
公開(kāi)日2013年5月15日 申請(qǐng)日期2011年9月13日 優(yōu)先權(quán)日2010年9月15日
發(fā)明者A·波波維奇 申請(qǐng)人:皇家飛利浦電子股份有限公司