血管樹(shù)圖像內(nèi)不可見(jiàn)的二分叉的檢測(cè)的制作方法
【專利摘要】一種圖像配準(zhǔn)系統(tǒng)、內(nèi)窺鏡(12)和內(nèi)窺鏡控制器(22)。在操作中，內(nèi)窺鏡(12)生成解剖學(xué)區(qū)域內(nèi)的血管樹(shù)的術(shù)中內(nèi)窺鏡圖像(14)，所述血管樹(shù)的術(shù)中內(nèi)窺鏡圖像(14)包括術(shù)中內(nèi)窺鏡圖像(14)內(nèi)的血管樹(shù)的可見(jiàn)的多個(gè)分枝，所述多個(gè)分枝作為對(duì)術(shù)中內(nèi)窺鏡圖像(14)內(nèi)血管樹(shù)的不可見(jiàn)的分叉的指示。內(nèi)窺鏡控制器(22)將血管樹(shù)的術(shù)中操作內(nèi)窺鏡圖像(14)圖像配準(zhǔn)到血管樹(shù)的術(shù)前三維圖像(44)。所述圖像配準(zhǔn)包括由血管樹(shù)的術(shù)中內(nèi)窺鏡圖像(14)內(nèi)的血管樹(shù)的可見(jiàn)分枝所指示的血管樹(shù)的分叉的圖形表示圖像匹配到血管樹(shù)的術(shù)前三維圖像(44)內(nèi)的血管樹(shù)的分叉的圖形表示。
【專利說(shuō)明】血管樹(shù)圖像內(nèi)不可見(jiàn)的二分叉的檢測(cè)

【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)要求共有專利申請(qǐng)"Robotic Control of An Endoscope From Vessel Tree Images" 的益處。
[0002] 本發(fā)明總體上涉及術(shù)前三維（"3D"）血管樹(shù)圖像到（一個(gè)或多個(gè)）術(shù)中內(nèi)窺鏡血 管樹(shù)圖像之間的術(shù)中配準(zhǔn)。本發(fā)明特別涉及并入了用于檢測(cè)由于覆蓋器官（例如心臟）表 面的脂肪組織而在（一個(gè)或多個(gè)）內(nèi)窺鏡圖像中不是可見(jiàn)的（即不可見(jiàn)）血管樹(shù)的二分叉 的方法的術(shù)中配準(zhǔn)。

【背景技術(shù)】
[0003] 冠狀動(dòng)脈旁路移植術(shù)（"CABG"）是用于堵塞的冠狀動(dòng)脈的血管再形成的外科程 序。在美國(guó)每年執(zhí)行大約500, 000起手術(shù)。在常規(guī)的CABG中，病人的胸骨被打開(kāi)并且病人 的心臟完全暴露給外科醫(yī)生。盡管暴露了心臟，但是因?yàn)橐恍﹦?dòng)脈上的脂肪組織層，這些動(dòng) 脈可能是不可見(jiàn)的。對(duì)于這樣的動(dòng)脈，外科醫(yī)生可以觸摸心臟表面并且感覺(jué)來(lái)自動(dòng)脈和動(dòng) 脈狹窄二者的血液搏動(dòng)。然而，該數(shù)據(jù)是稀疏的并且可能不足以向手術(shù)部位傳遞手術(shù)規(guī)劃。
[0004] 在微創(chuàng)CABG中，由于外科醫(yī)生不能觸摸心臟表面，因而常規(guī)CABG的前述的問(wèn)題被 放大。此外，在微創(chuàng)CABG中使用的手術(shù)器械的長(zhǎng)度阻礙了來(lái)自工具的遠(yuǎn)端的任何觸覺(jué)反 饋。
[0005] 用于解決常規(guī)CABG的該問(wèn)題的一種已知技術(shù)是利用術(shù)前3D冠狀動(dòng)脈樹(shù)來(lái)配準(zhǔn)術(shù) 中部位。具體地，對(duì)開(kāi)放心臟設(shè)置中，使用光學(xué)跟蹤的指示器來(lái)對(duì)動(dòng)脈的位置進(jìn)行數(shù)字化， 并且使用本領(lǐng)域已知的迭代最近點(diǎn)（"ICP"）算法將位置數(shù)據(jù)配準(zhǔn)到術(shù)前樹(shù)。然而，由于 小的進(jìn)入端口施加的空間約束，與將數(shù)字化的動(dòng)脈與術(shù)前數(shù)據(jù)進(jìn)行匹配的任何相關(guān)方案一 樣，該技術(shù)對(duì)于微創(chuàng)CABG是不實(shí)用的。并且，該技術(shù)要求動(dòng)脈中的大部分是被外科醫(yī)生可 見(jiàn)或可觸摸的，而這在微創(chuàng)CABG中是不可能的。
[0006] 用于解決微創(chuàng)CABG的該問(wèn)題的一種已知技術(shù)是實(shí)施一種配準(zhǔn)方法，在所述配準(zhǔn) 方法中，使用光學(xué)跟蹤的內(nèi)窺鏡來(lái)重建心臟表面，并且將心臟表面匹配到同一表面的術(shù)前 計(jì)算機(jī)斷層攝影（"CT"）數(shù)據(jù)。然而，那么與計(jì)劃基于表面的匹配的任何相關(guān)方案一樣，如 果用來(lái)獲得表面的內(nèi)窺鏡視野太小，則該技術(shù)可能失敗。此外，由于心臟表面是相對(duì)平滑的 且沒(méi)有具體的表面特征，該技術(shù)的算法往往運(yùn)行于該算法的次優(yōu)的局部最大值。
[0007] 用于解決微創(chuàng)CABG的該問(wèn)題的另一種已知技術(shù)是使用之前標(biāo)注的病例的數(shù)據(jù)庫(kù) 和基于圖形的匹配來(lái)對(duì)從新的病人提取的冠狀樹(shù)進(jìn)行標(biāo)注。然而，只有在完整的樹(shù)可用的 情況下該技術(shù)才有效，并且其目的是對(duì)樹(shù)進(jìn)行標(biāo)注，而不是對(duì)幾何形狀進(jìn)行匹配。
[0008] 微創(chuàng)CABG的另一個(gè)問(wèn)題是獲得了針對(duì)術(shù)前3D圖像的全局定位后對(duì)內(nèi)窺鏡的取向 和引導(dǎo)。配準(zhǔn)的目的是促進(jìn)對(duì)吻合部位和器官狹窄的定位。在標(biāo)準(zhǔn)設(shè)置中，由助手持有內(nèi)窺 鏡，而外科醫(yī)生持有兩個(gè)器械。外科醫(yī)生向助手發(fā)布命令并且助手相應(yīng)地移動(dòng)內(nèi)窺鏡。因 為助手需要憑直覺(jué)將典型地以外科醫(yī)生的參照系發(fā)布的外科醫(yī)生的命令轉(zhuǎn)換到助手的參 照系和內(nèi)窺鏡的參照系，所以這種設(shè)置妨礙了外科醫(yī)生的手眼協(xié)調(diào)。多個(gè)坐標(biāo)系統(tǒng)可以引 起多種處理錯(cuò)誤、使手術(shù)延遲或引起對(duì)冠狀動(dòng)脈的錯(cuò)誤識(shí)別。
[0009] 設(shè)計(jì)用來(lái)允許外科醫(yī)生經(jīng)由被感測(cè)的外科醫(yī)生頭部的運(yùn)動(dòng)來(lái)直接控制內(nèi)窺鏡的 外科內(nèi)窺鏡輔助器可以通過(guò)從控制循環(huán)中移除助手來(lái)解決這些問(wèn)題中的一些，但是在外科 醫(yī)生的參照系與內(nèi)窺鏡的參照系之間的轉(zhuǎn)換的問(wèn)題仍然存在。


【發(fā)明內(nèi)容】

[0010] 本發(fā)明提供了圖像配準(zhǔn)方法，所述圖像配準(zhǔn)方法用于將如在術(shù)前三維（"3D"）圖 像（例如CT圖像、錐形束CT圖像、3D X射線圖像或MRI圖像）中示出的血管樹(shù)的每個(gè)分叉 (例如動(dòng)脈、毛細(xì)血管、靜脈和其他多分枝解剖結(jié)構(gòu)的每一點(diǎn)）的圖形表示與如在術(shù)中內(nèi)窺 鏡圖像中示出的血管樹(shù)的每個(gè)分叉的圖形表示進(jìn)行匹配。所述圖像配準(zhǔn)方法解決了由于覆 蓋器官（例如心臟）的表面的脂肪組織而在（一個(gè)或多個(gè)）內(nèi)窺鏡圖像中不是可見(jiàn)（即不 可見(jiàn)）的血管樹(shù)的二分叉的問(wèn)題。
[0011] 為了本發(fā)明的目的，在本文中術(shù)語(yǔ)"分叉"被廣泛地定義為沿血管樹(shù)的分成兩個(gè)或 多個(gè)分枝的任意點(diǎn)。
[0012] 本發(fā)明的一種形式是使用內(nèi)窺鏡和內(nèi)窺鏡控制器的配準(zhǔn)系統(tǒng)。在操作中，所述內(nèi) 窺鏡在解剖學(xué)區(qū)域內(nèi)生成血管樹(shù)（例如動(dòng)脈樹(shù)、靜脈樹(shù)或人體的任何其他管狀結(jié)構(gòu)）的術(shù) 中內(nèi)窺鏡圖像，并且所述內(nèi)窺鏡控制器將所述血管樹(shù)的術(shù)中有效內(nèi)窺鏡圖像圖像配準(zhǔn)到所 述血管樹(shù)的術(shù)前三維圖像。所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像包括所述術(shù)中內(nèi)窺鏡圖像內(nèi) 的所述血管樹(shù)的可見(jiàn)的多個(gè)分枝，所述多個(gè)分枝指示所述術(shù)中內(nèi)窺鏡圖像內(nèi)的所述血管樹(shù) 的不可見(jiàn)分叉。所述圖像配準(zhǔn)包括如所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像內(nèi)的所述血管樹(shù)的 所述可見(jiàn)分枝所指示的所述血管樹(shù)的所述分叉的圖形表示到所述血管樹(shù)的所述術(shù)前三維 圖像內(nèi)的所述血管樹(shù)的所述分叉的圖形表示的圖像匹配。
[0013] 本發(fā)明的第二種形式是一種圖像配準(zhǔn)方法，所述圖像配準(zhǔn)方法包括生成解剖學(xué)區(qū) 域內(nèi)的血管樹(shù)的術(shù)前三維圖像、生成所述解剖學(xué)區(qū)域內(nèi)的所述血管樹(shù)的術(shù)中內(nèi)窺鏡圖像、 并且進(jìn)行所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像到所述血管樹(shù)的所述術(shù)前三維圖像的圖像配 準(zhǔn)。所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像包括所述術(shù)中內(nèi)窺鏡圖像內(nèi)的所述血管樹(shù)的可見(jiàn)的 多個(gè)分枝，所述多個(gè)分枝指示所述術(shù)中內(nèi)窺鏡圖像內(nèi)的所述血管樹(shù)不可見(jiàn)的的分叉。所述 圖像配準(zhǔn)包括如所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像內(nèi)的所述血管樹(shù)的可見(jiàn)分枝所指示的 所述血管樹(shù)的所述分叉的圖形表示到所述血管樹(shù)的所述術(shù)前三維圖像內(nèi)的所述血管樹(shù)的 所述分叉的圖形表示的圖像匹配。
[0014] 如本文中所使用的術(shù)語(yǔ)"術(shù)前"被廣泛地定義為描述出于采集解剖學(xué)區(qū)域的三維 圖像的目的而在所述解剖學(xué)區(qū)域的內(nèi)窺成像之前、之中或之后的執(zhí)行的任何行動(dòng)，并且如 本文中所使用的術(shù)語(yǔ)"術(shù)中"被廣泛地定義為描述在所述解剖學(xué)區(qū)域的內(nèi)窺成像之中或與 所述解剖學(xué)區(qū)域的內(nèi)窺成像相關(guān)的任何行動(dòng)。解剖學(xué)區(qū)域的內(nèi)窺成像的范例包括但不限于 CABG、支氣管鏡檢查、結(jié)腸鏡檢查、腹腔鏡檢查和腦部?jī)?nèi)窺鏡檢查。
[0015] 通過(guò)結(jié)合附圖來(lái)閱讀對(duì)本發(fā)明的多個(gè)實(shí)施例的以下具體說(shuō)明，本發(fā)明的前述形式 和其他形式以及本發(fā)明的各種特征和優(yōu)勢(shì)將變得更加顯而易見(jiàn)。具體說(shuō)明和附圖只是對(duì)本 發(fā)明進(jìn)行說(shuō)明，而非限制本發(fā)明，本發(fā)明的范圍由權(quán)利要求書(shū)和其等價(jià)方案來(lái)限定。

【專利附圖】

【附圖說(shuō)明】
[0016] 圖1圖示了根據(jù)本發(fā)明的機(jī)器人引導(dǎo)系統(tǒng)的示范性實(shí)施例。
[0017] 圖2圖示了表示根據(jù)本發(fā)明的機(jī)器人引導(dǎo)系統(tǒng)的示范性實(shí)施例的流程圖。
[0018] 圖3圖示了圖2中示出的流程圖的示范性外科實(shí)現(xiàn)方式。
[0019] 圖4圖示了表示根據(jù)本發(fā)明的圖形匹配方法的示范性實(shí)施例的流程圖。
[0020] 圖5和6圖示了根據(jù)本發(fā)明的對(duì)血管樹(shù)的主圖的示范性排序。
[0021] 圖7圖示了根據(jù)本發(fā)明的內(nèi)窺鏡圖像上的幾何表示的示范性覆蓋圖。
[0022] 圖8圖示了根據(jù)本發(fā)明的、在圖7中示出的覆蓋圖內(nèi)的示范性機(jī)器人路徑。
[0023] 圖9圖示了表示根據(jù)本發(fā)明的不可見(jiàn)二分叉檢測(cè)方法的流程圖。
[0024] 圖10圖示了根據(jù)圖9中圖示的流程圖的多重二分叉血管樹(shù)的示范性二分叉檢測(cè)。
[0025] 圖11圖示了表示根據(jù)本發(fā)明的可見(jiàn)/不可見(jiàn)二分叉配準(zhǔn)方法的流程圖。
[0026] 圖12圖示了表示根據(jù)本發(fā)明的二分叉配準(zhǔn)細(xì)化方法的流程圖。

【具體實(shí)施方式】
[0027] 如圖1所示，機(jī)器人引導(dǎo)系統(tǒng)將機(jī)器人單元10和控制單元20用于包括具有一個(gè) 或多個(gè)分叉（即分枝）的血管樹(shù)的內(nèi)窺成像的任何內(nèi)窺鏡程序。這樣的內(nèi)窺鏡程序的范例 包括但不限于微創(chuàng)心臟手術(shù)（例如冠狀動(dòng)脈旁路移植手術(shù)或二尖瓣置換術(shù)）。
[0028] 機(jī)器人單元10包括機(jī)器人11、剛性附接到機(jī)器人11的內(nèi)窺鏡12和附接到內(nèi)窺鏡 12的視頻捕獲設(shè)備13。
[0029] 在本文中機(jī)器人11被廣泛地定義為在結(jié)構(gòu)上構(gòu)造有對(duì)一個(gè)或多個(gè)關(guān)節(jié)進(jìn)行機(jī)動(dòng) 控制以針對(duì)特定的內(nèi)窺鏡程序按期望操縱末端執(zhí)行器的任何機(jī)器人設(shè)備。在實(shí)踐中，機(jī)器 人11可以具有四個(gè)（4)自由度，例如具有與剛性段串聯(lián)連接的關(guān)節(jié)的串聯(lián)機(jī)器人、具有以 并聯(lián)順序安裝（例如本領(lǐng)域已知的Stewart平臺(tái)）的關(guān)節(jié)和剛性段的并聯(lián)機(jī)器人或者串聯(lián) 或并聯(lián)運(yùn)動(dòng)學(xué)上的任何混合組合。
[0030] 在本文中內(nèi)窺鏡12被廣泛地定義為在結(jié)構(gòu)上構(gòu)造有從身體內(nèi)進(jìn)行成像的能力的 任何設(shè)備。用于本發(fā)明的內(nèi)窺鏡12的范例包括但不限于柔性的或剛性的任何類型的觀測(cè) 儀器（例如內(nèi)窺鏡、關(guān)節(jié)內(nèi)窺鏡、氣管鏡、膽管鏡、結(jié)腸檢查鏡、膀胱鏡、十二指腸鏡、胃窺 鏡、子宮鏡、腹腔鏡、喉鏡、神經(jīng)檢查鏡、耳鏡、推入式腸鏡、鼻喉鏡、乙狀結(jié)腸鏡、鼻竇內(nèi)窺 鏡、胸鏡等）以及與裝備有成像系統(tǒng)（例如成像的套管）的觀測(cè)儀器類似的任何設(shè)備。該 成像是局部的，并且可以利用光纖、透鏡和小型化（例如基于CCD的）成像系統(tǒng)來(lái)以光學(xué)方 式獲得表面圖像。
[0031] 在實(shí)踐中，內(nèi)窺鏡12被安裝到機(jī)器人11的末端執(zhí)行器。機(jī)器人11的末端執(zhí)行器 的姿態(tài)是在機(jī)器人致動(dòng)器坐標(biāo)系統(tǒng)內(nèi)該末端執(zhí)行器位置和取向。在內(nèi)窺鏡12安裝到機(jī)器 人11的末端執(zhí)行器后，解剖學(xué)區(qū)域內(nèi)內(nèi)窺鏡12的視場(chǎng)的任何給定姿態(tài)都與機(jī)器人坐標(biāo)系 內(nèi)機(jī)器人11的末端執(zhí)行器的獨(dú)特姿態(tài)相對(duì)應(yīng)。因此，可以將由內(nèi)窺鏡12生成的血管樹(shù)的 每個(gè)獨(dú)立的內(nèi)窺鏡圖像鏈接到解剖學(xué)區(qū)域內(nèi)內(nèi)窺鏡12的對(duì)應(yīng)姿態(tài)。
[0032] 在本文中，視頻捕獲設(shè)備13被廣泛地定義為在結(jié)構(gòu)上被配置有有將來(lái)自內(nèi)窺鏡 12的術(shù)中內(nèi)窺鏡視頻信號(hào)轉(zhuǎn)換為術(shù)中內(nèi)窺鏡圖像（"Ι0ΕΙ"）14的計(jì)算機(jī)可讀時(shí)間序列的 能力的任何設(shè)備。在實(shí)踐中，視頻捕獲設(shè)備13可以將任何類型的幀抓取器用于從術(shù)中內(nèi)窺 鏡視頻信號(hào)中捕獲單獨(dú)的數(shù)字靜止幀。
[0033] 仍然參考圖1，控制單元20包括機(jī)器人控制器21和內(nèi)窺鏡控制器22。
[0034] 在本文中，機(jī)器人控制器21被廣泛地定義為在結(jié)構(gòu)上被配置為向機(jī)器人11提供 一個(gè)或多個(gè)機(jī)器人致動(dòng)器命令（"RAC") 26以針對(duì)內(nèi)窺鏡程序按期望控制機(jī)器人11的末端 執(zhí)行器的姿態(tài)。更具體而言，機(jī)器人控制器21將來(lái)自內(nèi)窺鏡控制器22的內(nèi)窺鏡位置命令 ("EPC"）25轉(zhuǎn)換為機(jī)器人致動(dòng)器命令26。例如，內(nèi)窺鏡位置命令25可以指示通向解剖學(xué) 區(qū)域內(nèi)的內(nèi)窺鏡12的視場(chǎng)的期望的3D位置的內(nèi)窺路徑，而機(jī)器人控制器21將命令25轉(zhuǎn) 換為包括按需要將內(nèi)窺鏡12移動(dòng)到期望的3D位置的針對(duì)機(jī)器人11的每個(gè)電動(dòng)機(jī)的致動(dòng) 電流的命令26。
[0035] 在本文中，內(nèi)窺鏡控制器22被廣泛地定義為在結(jié)構(gòu)上被配置為實(shí)施根據(jù)本發(fā)明 的和圖2中示出的范例的機(jī)器人引導(dǎo)方法的任何控制器。為此，內(nèi)窺鏡控制器22可以包含 圖像處理模塊（"IPM") 23,在本文中，圖像處理模塊23被廣泛地定義為在結(jié)構(gòu)上被配置為 執(zhí)行本發(fā)明的解剖學(xué)對(duì)象圖像配準(zhǔn)的任何模塊。具體地，由圖2中示出的流程圖30的步驟 S32和S33示范性地實(shí)施的血管樹(shù)圖像配準(zhǔn)。內(nèi)窺鏡控制器22還可以包含視覺(jué)伺服模塊 ("VSM"）24,在本文中，視覺(jué)伺服模塊24被廣泛地定義為在結(jié)構(gòu)上被配置為生成內(nèi)窺鏡位 置命令25的任何模塊，該內(nèi)窺鏡位置命令25指示通向解剖學(xué)區(qū)域內(nèi)的內(nèi)窺鏡12的視場(chǎng)的 期望的3D位置的內(nèi)窺路徑。具體地，利用如圖2中示出的流程圖30的步驟S34示范性地 實(shí)施的血管樹(shù)圖像配準(zhǔn)來(lái)導(dǎo)出內(nèi)窺鏡位置命令25。
[0036] 現(xiàn)在將在此提供對(duì)流程圖30的說(shuō)明以促進(jìn)對(duì)內(nèi)窺鏡控制器22的進(jìn)一步的理解。
[0037] 參考圖2,流程圖30的步驟S31包括從身體的任何解剖學(xué)區(qū)域的術(shù)前3D圖像中提 取血管樹(shù)（例如動(dòng)脈、毛細(xì)血管或靜脈的分叉）的幾何表示。例如，如圖3中所示，3D成像 設(shè)備（例如CT設(shè)備、X射線設(shè)備或MRI設(shè)備）被操作為生成病人50的胸部區(qū)域的術(shù)前3D 圖像42,該術(shù)前3D圖像42圖示了病人50的左冠狀動(dòng)脈51和右冠狀動(dòng)脈52。接著，操作 血管樹(shù)提取器43來(lái)從圖像42中提取冠狀動(dòng)脈樹(shù)的幾何表示44,可以將圖像42存儲(chǔ)在數(shù)據(jù) 庫(kù)45中。在實(shí)踐中，可以使用由Philips出售的Brilliance iCT掃描器來(lái)生成圖像42并 且從圖像42中提取冠狀動(dòng)脈樹(shù)的3D數(shù)據(jù)集。
[0038] 返回參考圖2,流程圖30的步驟S32包括圖像處理模塊23將血管樹(shù)的一個(gè)或多個(gè) 術(shù)中內(nèi)窺鏡圖像14(圖1)的圖形表示匹配到血管樹(shù)的術(shù)前3D圖像44的圖形表示。例如， 如圖3中所示，內(nèi)窺鏡12生成病人50的胸部區(qū)域的術(shù)中內(nèi)窺鏡視頻，所述術(shù)中內(nèi)窺鏡視頻 由視頻捕獲設(shè)備13捕獲，并且將所述術(shù)中內(nèi)窺鏡視頻轉(zhuǎn)換為術(shù)中內(nèi)窺鏡圖像14,而內(nèi)窺鏡 控制器22的圖像處理模塊23將冠狀動(dòng)脈樹(shù)的（一個(gè)或多個(gè)）術(shù)中內(nèi)窺鏡圖像14的圖形 表示匹配到冠狀動(dòng)脈樹(shù)的術(shù)前3D圖像44的圖形表示。在一個(gè)示范性實(shí)施例中，圖像處理 模塊23執(zhí)行如圖4中示出的流程圖60示范性地表示的本發(fā)明的血管樹(shù)圖像匹配方法，在 此將在血管樹(shù)是冠狀動(dòng)脈樹(shù)的背景下描述該血管樹(shù)圖像匹配方法。
[0039] 參考圖4,血管流程圖60的步驟S61包括圖像處理模塊23根據(jù)本領(lǐng)域已知的任何 表示方法來(lái)利用冠狀動(dòng)脈樹(shù)的幾何表示來(lái)生成冠狀動(dòng)脈主圖。例如，如步驟S61所示，將冠 狀動(dòng)脈樹(shù)的幾何表示70轉(zhuǎn)換為具有表示冠狀動(dòng)脈樹(shù)幾何表示70的每個(gè)分叉（例如二分叉 和三分叉）的節(jié)點(diǎn)并且還具有節(jié)點(diǎn)之間的分枝連接的主圖71?？梢栽谛g(shù)前（例如內(nèi)窺手術(shù) 之前幾天或?qū)?nèi)窺鏡12引入病人50之前的任何時(shí)間）執(zhí)行步驟S61，或者借助C型臂血管 造影術(shù)或其他適當(dāng)?shù)南到y(tǒng)來(lái)在術(shù)中執(zhí)行步驟S61。
[0040] 流程圖60的步驟S62包括圖像處理模塊23根據(jù)本領(lǐng)域已知的任何圖形表示方法 利用在術(shù)中內(nèi)窺鏡圖像14中冠狀動(dòng)脈樹(shù)可見(jiàn)的一部分來(lái)生成冠狀動(dòng)脈樹(shù)子圖。特別地，將 內(nèi)窺鏡12引入病人50,而圖像處理模塊23在術(shù)中內(nèi)窺鏡圖像14內(nèi)執(zhí)行對(duì)冠狀動(dòng)脈結(jié)構(gòu) 的檢測(cè)。在實(shí)踐中，一些動(dòng)脈結(jié)構(gòu)可以是可見(jiàn)的，而其他動(dòng)脈結(jié)構(gòu)可能被脂肪組織層隱藏。 這樣，圖像處理模塊23可以通過(guò)已知的圖像處理操作（例如依據(jù)（一個(gè)或多個(gè)）可見(jiàn)冠狀 動(dòng)脈結(jié)構(gòu)的獨(dú)特的紅色的閾值檢測(cè)）來(lái)實(shí)施對(duì)（一個(gè)或多個(gè)）可見(jiàn)冠狀動(dòng)脈結(jié)構(gòu)的自動(dòng)檢 測(cè)，或者外科醫(yī)生可以手動(dòng)地使用輸入設(shè)備來(lái)在計(jì)算機(jī)顯示器上描畫(huà)（一個(gè)或多個(gè)）可見(jiàn) 冠狀動(dòng)脈結(jié)構(gòu)。在檢測(cè)到（一個(gè)或多個(gè)）動(dòng)脈結(jié)構(gòu)之后，圖像處理模塊23以與生成冠狀動(dòng) 脈樹(shù)主圖相似的方法來(lái)生成冠狀動(dòng)脈樹(shù)子圖。例如，如在步驟S62中所示，將（一個(gè)或多 個(gè)）冠狀動(dòng)脈結(jié)構(gòu)的幾何表示72轉(zhuǎn)換為具有表示冠狀動(dòng)脈樹(shù)幾何表示72的每個(gè)分叉（例 如二分叉或三分叉）的節(jié)點(diǎn)并且還具有節(jié)點(diǎn)之間的分枝連接的圖形73。因?yàn)閮蓚€(gè)樹(shù)都來(lái)自 同一個(gè)人，所以應(yīng)當(dāng)理解利用內(nèi)窺鏡圖像導(dǎo)出的圖形是利用3D圖像導(dǎo)出的主圖的子圖。
[0041] 流程圖60的步驟S63包括圖像處理模塊23根據(jù)任何已知的圖形匹配方法（例如 最大公共子圖或McGregor公共子圖）將子圖匹配到主圖。例如，如步驟S63所示，將子圖 73的節(jié)點(diǎn)匹配到主圖71的節(jié)點(diǎn)的子集。
[0042] 在實(shí)踐中，可以在術(shù)中內(nèi)窺鏡圖像14內(nèi)僅部分地檢測(cè)子圖73,或者子圖像73的一 些節(jié)點(diǎn)/連接可能從術(shù)中內(nèi)窺鏡圖像14中丟失。為了改進(jìn)步驟S62的匹配準(zhǔn)確度，可以實(shí) 施對(duì)主圖71和子圖73的額外的排序。
[0043] 在一個(gè)實(shí)施例中，在步驟S61的圖像掃描期間基于已知的病人50的取向來(lái)實(shí)施對(duì) 主圖71的垂直節(jié)點(diǎn)排序。特別地，可以將主圖節(jié)點(diǎn)方向性地鏈接起來(lái)以保持如在圖5中經(jīng) 由實(shí)線箭頭示范性地示出的從上到下的次序。對(duì)于子圖像73,病人50相對(duì)于內(nèi)窺鏡12的 取向可以是不知道的。然而，已知冠狀動(dòng)脈樹(shù)的分枝隨著它們從上到下延伸而直徑減小，那 么術(shù)中內(nèi)窺鏡圖像14中動(dòng)脈分枝的變化的動(dòng)脈尺寸可以指示取向。
[0044] 在另一個(gè)實(shí)施例中，可以在步驟S61的圖像掃描期間基于已知的病人50的取向來(lái) 實(shí)施對(duì)主圖71的水平節(jié)點(diǎn)排序。特別地，可以將主圖節(jié)點(diǎn)方向性地鏈接起來(lái)以保持如在圖 6中經(jīng)由虛線箭頭示范性地示出的從左到右的次序。對(duì)于子圖像73,在很有可能不知道病 人50對(duì)于內(nèi)窺鏡12的取向的情況下，可以由操作的外科醫(yī)生或助手經(jīng)由圖形用戶界面來(lái) 設(shè)置子圖73的水平節(jié)點(diǎn)順序。
[0045] 盡管使用排序可以減少用來(lái)匹配圖形的時(shí)間并且減少可能的匹配的數(shù)量，但是理 論上也可以通過(guò)匹配算法來(lái)獲得圖形之間的多個(gè)匹配。在流程圖30的步驟S33期間解決 了這樣的多個(gè)匹配的情況。
[0046] 再次參考圖2,基于對(duì)圖形的匹配，流程圖的步驟S33包括將血管樹(shù)的術(shù)前3D圖 像44(圖1)的幾何表示覆蓋到血管樹(shù)的術(shù)中內(nèi)窺鏡圖像14。這是通過(guò)使用與主圖特有地 相關(guān)的幾何表示來(lái)做到的。因此，可以使用透視變換來(lái)將全部的幾何圖形直接轉(zhuǎn)換到術(shù)中 內(nèi)窺鏡圖像14。可以使用本領(lǐng)域已知的匹配算法（例如單應(yīng)性匹配）根據(jù)術(shù)中內(nèi)窺鏡圖像 14和在術(shù)前3D圖像44中的節(jié)點(diǎn)來(lái)檢測(cè)該透視變換。
[0047] 例如，圖7圖示了冠狀動(dòng)脈樹(shù)的幾何表示80,該幾何表示80具有利用術(shù)中內(nèi)窺鏡 圖像90匹配到節(jié)點(diǎn)91-95的節(jié)點(diǎn)?？梢允褂霉?jié)點(diǎn)91-95當(dāng)中的每個(gè)節(jié)點(diǎn)對(duì)之間的距離來(lái) 為幾何表示80確定比例因子，由此來(lái)使得幾何表示80能夠如所示出地覆蓋術(shù)中內(nèi)窺鏡圖 像90。
[0048] 在實(shí)踐中，如果步驟S32 (圖2)的圖形匹配產(chǎn)生多個(gè)結(jié)果，那么可以向外科醫(yī)生顯 示所有可能的覆蓋圖，由此外科醫(yī)生可以經(jīng)由圖形用戶界面來(lái)選擇他/她相信的最可能匹 配的匹配結(jié)果?？紤]到外科醫(yī)生知道內(nèi)窺鏡12相對(duì)于術(shù)中內(nèi)窺鏡圖像14中的至少一些結(jié) 構(gòu)的位置，所述選擇可以是相對(duì)簡(jiǎn)單的。
[0049] 返回參考圖2,流程圖30的步驟S34包括視覺(jué)伺服模塊24在血管樹(shù)的術(shù)中內(nèi)窺鏡 圖像14(圖1)上的血管樹(shù)的術(shù)前3D圖像44(圖1)的幾何表示的覆蓋圖內(nèi)生成內(nèi)窺路徑。 基于該內(nèi)窺路徑，視覺(jué)伺服模塊24向機(jī)器人控制器21生成內(nèi)窺鏡位置指令25,由此將內(nèi) 窺鏡12(圖1)沿著內(nèi)窺路徑引導(dǎo)到解剖學(xué)區(qū)域內(nèi)的期望位置。特別地，一旦找到準(zhǔn)確的覆 蓋圖，就可以命令機(jī)器人11將內(nèi)窺鏡12引導(dǎo)到外科醫(yī)生在術(shù)前3D圖像44上選擇的位置。 外科醫(yī)生或助手可以選擇血管樹(shù)的一點(diǎn)，并且機(jī)器人11可以將內(nèi)窺鏡12沿任何適當(dāng)?shù)穆?徑引引導(dǎo)該期望的位置。外科醫(yī)生和助手可以選擇血管樹(shù)的一個(gè)點(diǎn)，并且機(jī)器人11可以將 內(nèi)窺鏡12沿任何適當(dāng)?shù)穆窂揭龑?dǎo)向該期望位置。例如，如圖9所示，機(jī)器人11可以將內(nèi)窺 鏡12沿最短路徑101移動(dòng)到期望的位置100,或者沿冠狀動(dòng)脈路徑102移動(dòng)到期望的位置 100。冠狀動(dòng)脈路徑102是優(yōu)選的實(shí)施例，這是因?yàn)楣跔顒?dòng)脈路徑102允許外科醫(yī)生隨著機(jī) 器人11移動(dòng)內(nèi)窺鏡12來(lái)觀察可見(jiàn)的動(dòng)脈。此外，這可以幫助醫(yī)生判定匹配是否成功?？?以使用本領(lǐng)域已知的方法（例如Dijkstra最短路徑算法）來(lái)界定冠狀動(dòng)脈路徑102。
[0050] 在實(shí)踐中，可以使用具有遠(yuǎn)程運(yùn)動(dòng)中心的未校準(zhǔn)的視覺(jué)伺服來(lái)命令機(jī)器人11的 移動(dòng)，并且可以延伸內(nèi)窺鏡12的視場(chǎng)以在匹配步驟S32期間實(shí)現(xiàn)更大的子圖（例如本領(lǐng)域 已知的對(duì)術(shù)中內(nèi)窺鏡圖像14的縫合）。
[0051] 如本文之前所述的，如圖2所示的流程圖30的步驟32和33表示包括單一的血管 樹(shù)的本發(fā)明的血管樹(shù)圖像配準(zhǔn)。此外，在冠狀動(dòng)脈樹(shù)的背景下提供了對(duì)步驟S32和S33的 之前的說(shuō)明，以促進(jìn)對(duì)步驟S32和S33的理解。在實(shí)踐中，本發(fā)明的血管樹(shù)圖像配準(zhǔn)可以包 括在身體的任何解剖學(xué)區(qū)域內(nèi)任何類型的兩個(gè)（2)或更多個(gè)血管樹(shù)。
[0052] 返回參考圖2,步驟S32將內(nèi)窺鏡視野中可見(jiàn)的分叉點(diǎn)用于將血管樹(shù)（例如動(dòng)脈 樹(shù)）從術(shù)前數(shù)據(jù)44(圖1)匹配到內(nèi)窺鏡視頻（圖1)。在實(shí)踐中，如本文之前陳述的，可見(jiàn) 分叉的總數(shù)可能不足以執(zhí)行對(duì)血管樹(shù)從術(shù)前數(shù)據(jù)44到內(nèi)窺鏡視頻14的準(zhǔn)確匹配。此外， 考慮到內(nèi)窺鏡典型地是沒(méi)有被校準(zhǔn)的，則血管樹(shù)的幾何信息（例如內(nèi)窺鏡圖像14中可見(jiàn)分 枝的形狀）可能不能夠被轉(zhuǎn)換為幾何項(xiàng)，并且對(duì)內(nèi)窺鏡12的任何校準(zhǔn)都可以引起工作流程 中的明顯中斷。
[0053] 圖9-12圖示了對(duì)于利用血管樹(shù)的可見(jiàn)分枝來(lái)檢測(cè)內(nèi)窺鏡視頻14中可能是不可見(jiàn) 的分叉的步驟32的額外實(shí)施例，尤其是對(duì)于利用動(dòng)脈的可見(jiàn)段來(lái)檢測(cè)內(nèi)窺鏡視頻14中不 可見(jiàn)的動(dòng)脈二分叉的實(shí)施例。這些實(shí)施例根據(jù)如本文之前教導(dǎo)的流程圖60(圖4)的原理 來(lái)執(zhí)行圖形生成和節(jié)點(diǎn)匹配。
[0054] 參考圖9,流程圖110表示一種用于利用血管樹(shù)的可見(jiàn)分枝來(lái)檢測(cè)在內(nèi)窺鏡視頻 中可能是不可見(jiàn)的分叉的方法，該方法用作將解剖學(xué)區(qū)域的術(shù)中內(nèi)窺鏡圖像配準(zhǔn)到該解剖 學(xué)區(qū)域的術(shù)前3D圖像的基礎(chǔ)。為了促進(jìn)對(duì)該方法的理解，在此將在二分叉由于被脂肪組織 或心肌（內(nèi)心肌動(dòng)脈）覆蓋而在內(nèi)窺鏡視野中不可見(jiàn)的背景下描述流程圖110,所述情況在 需要冠狀動(dòng)脈旁路移植手術(shù)的病人中非常常見(jiàn)。
[0055] 流程圖110的步驟S111包括采用內(nèi)窺鏡視野中動(dòng)脈樹(shù)的可見(jiàn)分枝段來(lái)構(gòu)造可能 包圍內(nèi)窺鏡視野中不可見(jiàn)的二分叉的多邊形。
[0056] 特別地，步驟S111包括外科醫(yī)生或任何輔助人員手動(dòng)地標(biāo)記在內(nèi)窺鏡視頻中示 出的動(dòng)脈樹(shù)的可見(jiàn)段。例如，步驟S111示出了動(dòng)脈樹(shù)的子樹(shù)（120,所述子樹(shù)120具有三（3) 個(gè)在內(nèi)窺鏡視頻中可見(jiàn)的被標(biāo)記的動(dòng)脈段121-123,而動(dòng)脈樹(shù)剩下的部分，尤其是子樹(shù)120 的兩個(gè)二分叉，被脂肪覆蓋。
[0057] 步驟S111還包括定義從被標(biāo)記的可見(jiàn)分枝段延伸的射線，用于描繪包圍動(dòng)脈樹(shù) 的（一個(gè)或多個(gè)）不可見(jiàn)二分叉的多邊形區(qū)域。例如，步驟S111示出了從段121延伸的射 線121x-121y、從段122延伸的射線122x-122y和從段123延伸的射線123x-123y，用于描 繪包圍子樹(shù)120的不可見(jiàn)二分叉的區(qū)域。在實(shí)踐中，在知道了動(dòng)脈從心臟的頂部向下伸展 的情況下，可以預(yù)定義每個(gè)射線與對(duì)應(yīng)的段之間的角度，這是因?yàn)椴活A(yù)期動(dòng)脈突然改變方 向并且開(kāi)始向上延伸。此外，可以從動(dòng)脈樹(shù)的術(shù)前3D掃描中提取最大的可能角度。
[0058] 對(duì)于在步驟S111中示范性地示出的段中的任何一個(gè)三元組，至多有一個(gè)多邊形 區(qū)域（用圓圈標(biāo)記），在該多邊形區(qū)域中來(lái)自所有段的所有射線是交迭的。這就是被包圍的 區(qū)域，預(yù)料在該被包圍的區(qū)域中找到子樹(shù)120的二分叉。如果在射線之間沒(méi)有交迭，那么有 可能被標(biāo)記的分枝段121-123屬于同一動(dòng)脈分枝并且沒(méi)有二分叉，或者那些被標(biāo)記的分枝 段121-123屬于非常不同的分枝。
[0059] 利用步驟S111描繪的多邊形區(qū)域，流程圖110的步驟S112包括定義在該多邊形 區(qū)域內(nèi)的二分叉。在一個(gè)實(shí)施例中，如步驟S112中示出的，可以將多邊形區(qū)域的中心124 定義為二分叉。在替代的實(shí)施例中，可以使描繪的多邊形區(qū)域在內(nèi)窺鏡圖像上可見(jiàn)。接著 外科醫(yī)生可以利用他/她對(duì)解剖學(xué)或鄰近的解剖結(jié)構(gòu)的了解以及/或者利用術(shù)前掃描數(shù)據(jù) 來(lái)手動(dòng)地在多邊形區(qū)域內(nèi)選擇他/她認(rèn)為是二分叉點(diǎn)最有可能的位置的點(diǎn)。更具體而言， 如果能夠自動(dòng)識(shí)別所選擇的血管中的一條（例如左前下行動(dòng)脈），那么觀察該血管結(jié)構(gòu)周 圍的術(shù)前圖像可以造成對(duì)該多邊形區(qū)域內(nèi)可能的二分叉的準(zhǔn)確猜測(cè)。
[0060] 一旦已經(jīng)計(jì)算或選擇出了二分叉點(diǎn)，那么就可以使用新的二分叉點(diǎn)來(lái)生成血管結(jié) 構(gòu)的圖形表示。例如，步驟S112示出了基于由可見(jiàn)分枝段121-123定義的二分叉124的圖 形表示125。該圖形表示125可以作為子圖或更大的子圖的一部分，用于流程圖60 (圖4)。
[0061] 在實(shí)踐中，考慮到在大多數(shù)病人中冠狀動(dòng)脈是良好定義的具有標(biāo)準(zhǔn)形狀和形態(tài)的 解剖結(jié)構(gòu)，不合理的圖形表示將指示所定義的二分叉點(diǎn)中的錯(cuò)誤。例如，如果二分叉點(diǎn)124 需要確定的血管段122做出對(duì)于動(dòng)脈樹(shù)的解剖結(jié)構(gòu)而言非常不可能的極端的彎曲，那么鑒 于錯(cuò)誤的二分叉點(diǎn)124,圖形表示125將被認(rèn)為是不合理的。在該情況下，可以放棄圖形表 示125并且可以重新執(zhí)行流程圖110。
[0062] 為了促進(jìn)對(duì)流程圖110的進(jìn)一步理解，圖10圖示了對(duì)動(dòng)脈樹(shù)的子樹(shù)130的四個(gè) (4)可見(jiàn)分枝段131-134的標(biāo)記。利用段131-134的交迭的x-y射線的所有可能的組合來(lái) 描繪總共四個(gè)（4)候選多邊形區(qū)域。特別地，段131-132-133的x-y射線形成了第一多邊形 區(qū)域、來(lái)自段132-133-134的χ-y射線形成了第二多邊形區(qū)域、來(lái)自段132-134的χ-y射線 形成了第三多邊形區(qū)域并且段133-134的x-y射線形成了第四多邊形區(qū)域。在這四個(gè)（4) 多邊形區(qū)域中，只有第一多邊形區(qū)域和第二多邊形區(qū)域是可用的，這是因?yàn)榈谝缓偷诙?邊形區(qū)域包括三個(gè)（3)段的交迭。二分叉候選項(xiàng)135是多邊形區(qū)域131-132-133的中心， 并且二分叉候選項(xiàng)136是多邊形區(qū)域132-133-134的中心。由于多邊形區(qū)域131-132-133 是在多邊形區(qū)域132-133-134內(nèi)，因而可以假設(shè)兩個(gè)（2)二分叉候選項(xiàng)135和136通過(guò)一 階樹(shù)（虛線）連接。
[0063] 在實(shí)踐中，動(dòng)脈樹(shù)的內(nèi)窺鏡圖像可以具有可見(jiàn)的二分叉和不可見(jiàn)的二分叉。圖11 圖示了表示用于生成根據(jù)流程圖60 (圖4)的子圖的可見(jiàn)/不可見(jiàn)二分叉配準(zhǔn)方法的流程 圖 140。
[0064] 流程圖140的步驟S141包括對(duì)內(nèi)窺鏡圖像中可見(jiàn)的η個(gè)（一個(gè)或多個(gè)）二分叉B 的選擇。流程圖140的步驟S142包括根據(jù)流程圖110 (圖9)的對(duì)內(nèi)窺鏡圖像中所有可見(jiàn) 的分枝段的選擇。利用所選擇的可見(jiàn)分枝段，流程圖140的步驟S143包括對(duì)k個(gè)（一個(gè)或 多個(gè)）多邊形區(qū)域P的描繪，并且流程圖140的步驟S144包括對(duì)k個(gè)不可見(jiàn)二分叉候選項(xiàng) C的描繪。
[0065] 流程圖140的步驟S145包括所有η個(gè)可見(jiàn)二分叉B與不可見(jiàn)二分叉C的所有k 個(gè)候選項(xiàng)的比較。如果二分叉對(duì)（B、C)中的任何一個(gè)屬于同一個(gè)多邊形區(qū)域，那么有可能 該不可見(jiàn)二分叉預(yù)測(cè)了該可見(jiàn)二分叉，并且放棄該不可見(jiàn)二分叉。將所有剩下的m個(gè)不可 見(jiàn)二分叉組合起來(lái)以在流程圖140的步驟S146期間建立最終的二分叉列表，由此可以利用 最終的二分叉列表來(lái)為流程圖60生成子圖。
[0066] 參考圖9,當(dāng)標(biāo)記可見(jiàn)分枝段時(shí)，直接使用動(dòng)脈樹(shù)的形狀是不切實(shí)際的，這是因?yàn)?臨床內(nèi)窺鏡通常是沒(méi)有被校準(zhǔn)的，并且額外的校準(zhǔn)可以引起工作流程中的明顯中斷。因此， 動(dòng)脈樹(shù)的形狀的縮放比例是未知的。圖12圖示了表示配準(zhǔn)細(xì)化方法的流程圖150,在經(jīng)由 步驟S32(圖2)執(zhí)行了初始的圖像配準(zhǔn)并且經(jīng)由步驟S33(圖2)將來(lái)自術(shù)前3D圖像的動(dòng) 脈覆蓋在內(nèi)窺鏡圖像上之后，該方法利用術(shù)前3D圖像來(lái)檢索內(nèi)窺鏡圖像中的對(duì)象的縮放 比例。例如，可以利用術(shù)前3D圖像來(lái)檢索內(nèi)窺鏡圖像中任何動(dòng)脈段對(duì)象的SI單位長(zhǎng)度。
[0067] 特別地，流程圖150的步驟S152包括對(duì)對(duì)象尤其是動(dòng)脈的縮放比例的檢索，在執(zhí) 行了所述覆蓋之后，對(duì)象的縮放比例和動(dòng)脈段的形狀的縮放比例是以世界單位的（例如毫 米）而不是以像素的。在流程圖150的步驟S153期間采用這些形狀來(lái)執(zhí)行基于點(diǎn)的配準(zhǔn) (例如本領(lǐng)域已知的迭代鄰近點(diǎn)（ICP))，接著使用該基于點(diǎn)的配準(zhǔn)來(lái)細(xì)化步驟S32的初始 圖像配準(zhǔn)。
[0068] 返回參考圖1，在實(shí)踐中，可以如示出地通過(guò)集成在內(nèi)窺鏡控制器22內(nèi)的硬件、軟 件和/或固件來(lái)實(shí)現(xiàn)模塊23和24。
[〇〇69] 本領(lǐng)域技術(shù)人員根據(jù)本文中對(duì)圖1-12的說(shuō)明將意識(shí)到本發(fā)明的多個(gè)益處，所述 益處包括但不限于，將本發(fā)明用于對(duì)任何類型的血管執(zhí)行的任何類型的內(nèi)窺鏡外科手術(shù)。 [0070] 雖然已經(jīng)參考示范性的方面、特征和實(shí)現(xiàn)方式描述了本發(fā)明，但是所公開(kāi)的系統(tǒng) 和方法并不限于這些示范性的方面、特征和/或?qū)崿F(xiàn)方式。然而，根據(jù)本文提供的說(shuō)明，對(duì) 于本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是，在不脫離本發(fā)明的精神和范圍的情況下，容易對(duì)所公開(kāi) 的系統(tǒng)和方法做出修改、改變和提高。因此，本發(fā)明明確地將這樣的修改、改變和提高包括 在本發(fā)明的范圍內(nèi)。
【權(quán)利要求】
1. 一種圖像配準(zhǔn)系統(tǒng)，包括： 內(nèi)窺鏡（12)，其能夠操作用于生成解剖學(xué)區(qū)域內(nèi)的血管樹(shù)的術(shù)中內(nèi)窺鏡圖像（14)， 其中，所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像（14)包括所述術(shù)中內(nèi)窺鏡圖像（14)內(nèi)的所 述血管樹(shù)的可見(jiàn)的多個(gè)分枝，所述多個(gè)分枝作為對(duì)所述術(shù)中內(nèi)窺鏡圖像（14)內(nèi)的所述血 管樹(shù)的不可見(jiàn)的分叉的指示；以及 內(nèi)窺鏡控制器（22)，其能夠操作用于將所述解剖學(xué)區(qū)域內(nèi)的所述血管樹(shù)的所述術(shù)中操 作內(nèi)窺鏡圖像（14)圖像配準(zhǔn)到所述血管樹(shù)的術(shù)前三維圖像（44)， 其中，所述圖像配準(zhǔn)包括由所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像（14)內(nèi)的所述血管樹(shù) 的可見(jiàn)分枝所指示的所述血管樹(shù)的所述分叉的圖形表示與所述血管樹(shù)的所述術(shù)前三維圖 像（44)內(nèi)的所述血管樹(shù)的所述分叉的圖形表示的圖像匹配。
2. 如權(quán)利要求1所述的圖像配準(zhǔn)系統(tǒng)，其中，所述圖像匹配包括： 生成從所述血管樹(shù)的所述術(shù)前三維圖像（44)的幾何表示導(dǎo)出的主圖，所述主圖包括 表示所述血管樹(shù)的所述術(shù)前三維圖像（44)內(nèi)的所述血管樹(shù)的每個(gè)分叉的節(jié)點(diǎn)的主集合； 生成從所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像（14)的幾何表示導(dǎo)出的子圖，所述子圖包 括所述節(jié)點(diǎn)的主集合的子集，其中，所述子集的第一節(jié)點(diǎn)表示由所述血管樹(shù)的所述術(shù)中內(nèi) 窺鏡圖像（14)內(nèi)的所述血管樹(shù)的所述可見(jiàn)分枝所指示的所述血管樹(shù)的所述分叉；并且 將所述子圖節(jié)點(diǎn)匹配到所述主圖。
3. 如權(quán)利要求2所述的圖像配準(zhǔn)系統(tǒng)，其中，所述子圖到所述主圖的所述圖像匹配包 括： 建立所述主圖中的所述節(jié)點(diǎn)的垂直排序和水平排序中的至少一個(gè)。
4. 如權(quán)利要求1所述的圖像配準(zhǔn)系統(tǒng)，其中，所述圖像配準(zhǔn)還包括： 在所述術(shù)中內(nèi)窺鏡圖像（14)上描繪包圍所述術(shù)中內(nèi)窺鏡圖像（14)內(nèi)的所述血管樹(shù)的 不可見(jiàn)的所述分叉的多邊形區(qū)域。
5. 如權(quán)利要求4所述的圖像配準(zhǔn)系統(tǒng)，其中，對(duì)所述多邊形區(qū)域的描繪包括： 將所述術(shù)中內(nèi)窺鏡圖像（14)內(nèi)的所述血管樹(shù)的可見(jiàn)的每個(gè)分枝標(biāo)記為分枝段； 從每個(gè)分枝段延伸射線；并且 描繪不同的分枝段的交迭射線。
6. 如權(quán)利要求4所述的圖像配準(zhǔn)系統(tǒng)，其中，所述圖像配準(zhǔn)還包括： 將所述多邊形區(qū)域內(nèi)定分叉候選項(xiàng)定義作為對(duì)所述術(shù)中內(nèi)窺鏡圖像（14)內(nèi)的所述血 管樹(shù)的不可見(jiàn)的所述分叉的檢測(cè)。
7. 如權(quán)利要求6所述的圖像配準(zhǔn)系統(tǒng)，其中，對(duì)所述多邊形區(qū)域內(nèi)的所述分叉候選項(xiàng) 的定義包括： 將所述多邊形區(qū)域的中心識(shí)別為所述分叉候選項(xiàng)。
8. 如權(quán)利要求6所述的圖像配準(zhǔn)系統(tǒng)，其中，對(duì)所述多邊形區(qū)域內(nèi)的所述分叉候選項(xiàng) 的定義包括： 基于所述解剖學(xué)區(qū)域的解剖結(jié)構(gòu)來(lái)將所述多邊形區(qū)域內(nèi)的點(diǎn)識(shí)別為所述分叉候選項(xiàng)。
9. 如權(quán)利要求6所述的圖像配準(zhǔn)系統(tǒng)，其中，對(duì)所述多邊形區(qū)域內(nèi)的所述分叉候選項(xiàng) 的定義包括： 基于所述血管樹(shù)的所述術(shù)前三維圖像（44)來(lái)將所述多邊形區(qū)域內(nèi)的點(diǎn)識(shí)別為所述分 叉候選項(xiàng)。
10. 如權(quán)利要求1所述的圖像配準(zhǔn)系統(tǒng)， 其中，所述圖像配準(zhǔn)還包括： 選擇所述術(shù)中內(nèi)窺鏡圖像（14)內(nèi)的所有可見(jiàn)分叉；并且 其中，所述圖像匹配包括： 利用所述可見(jiàn)分叉和不可見(jiàn)分叉來(lái)生成所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像（14)的幾 何表示。
11. 如權(quán)利要求10所述的圖像配準(zhǔn)系統(tǒng)，其中，所述圖像配準(zhǔn)還包括： 在所述術(shù)中內(nèi)窺鏡圖像（14)上描繪包圍所述血管樹(shù)的所述不可見(jiàn)分叉的多邊形區(qū) 域，其中，所述可見(jiàn)分叉在所述多邊形區(qū)域之外。
12. 如權(quán)利要求1所述的圖像配準(zhǔn)系統(tǒng)，所述內(nèi)窺鏡控制器（22)還能夠操作用于基于 所述血管的所述術(shù)前三維圖像（44)內(nèi)的所述血管樹(shù)的縮放比例來(lái)細(xì)化所述血管樹(shù)的所述 術(shù)中操作內(nèi)窺鏡圖像（14)到所述血管樹(shù)的所述術(shù)前三維圖像（44)的圖像配準(zhǔn)。
13. 如權(quán)利要求1所述的圖像配準(zhǔn)系統(tǒng)，其中，對(duì)所述圖像配準(zhǔn)的細(xì)化包括： 將所述血管的所述術(shù)前三維圖像（44)內(nèi)的所述血管樹(shù)的所述縮放比例利用到所述術(shù) 中操作內(nèi)窺鏡圖像（14)內(nèi)的所述血管樹(shù)的可見(jiàn)的每個(gè)分枝的形狀的縮放比例；并且 利用所述術(shù)中操作內(nèi)窺鏡圖像（14)內(nèi)的所述血管樹(shù)的可見(jiàn)的每個(gè)分枝的形狀縮放比 例來(lái)執(zhí)行所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像（14)到所述血管樹(shù)的所述術(shù)前三維圖像（44) 的基于點(diǎn)的配準(zhǔn)。
14. 如權(quán)利要求1所述的圖像配準(zhǔn)系統(tǒng)，其中，所述內(nèi)窺鏡控制器（22)還能夠操作用于 根據(jù)所述圖像配準(zhǔn)來(lái)將所述血管樹(shù)的所述術(shù)前三維圖像（44)的所述幾何表示覆蓋到所述 血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像（14)上。
15. 如權(quán)利要求1所述的圖像配準(zhǔn)系統(tǒng)，其中，所述血管樹(shù)是動(dòng)脈樹(shù)和靜脈樹(shù)中的一 個(gè)。
16. -種圖像配準(zhǔn)方法，包括： 生成解剖學(xué)區(qū)域內(nèi)的血管樹(shù)的術(shù)前三維圖像（44); 生成所述解剖學(xué)區(qū)域內(nèi)的所述血管樹(shù)的術(shù)中內(nèi)窺鏡圖像（14)， 其中，所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像（14)包括所述術(shù)中內(nèi)窺鏡圖像（14)內(nèi)的所 述血管樹(shù)的可見(jiàn)的多個(gè)分枝，所述多個(gè)分枝作為對(duì)所述術(shù)中內(nèi)窺鏡圖像（14)內(nèi)的所述血 管樹(shù)的不可見(jiàn)的分叉的指示；并且 將所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像（14)圖像配準(zhǔn)到所述血管樹(shù)的所述術(shù)前三維圖 像（44)， 其中，所述圖像配準(zhǔn)包括如所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像（14)內(nèi)的所述血管樹(shù) 的所述可見(jiàn)分枝所指示的所述血管樹(shù)的所述分叉的圖形表示到所述血管樹(shù)的所述術(shù)前三 維圖像（44)內(nèi)的所述血管樹(shù)的所述分叉的圖形表示的圖像匹配。
17. 如權(quán)利要求16所述的圖像配準(zhǔn)方法，其中，所述圖像匹配包括： 生成從所述血管樹(shù)的所述術(shù)前三維圖像（44)的幾何表示導(dǎo)出的主圖，所述主圖包括 節(jié)點(diǎn)的主集合，所述節(jié)點(diǎn)的主集合表示所述血管樹(shù)的所述術(shù)前三維圖像（44)內(nèi)的所述血 管樹(shù)的每個(gè)分叉；并且 生成從所述血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像（14)的幾何表示導(dǎo)出的子圖，所述子圖包 括所述節(jié)點(diǎn)的主集合的子集，其中，所述子集的第一節(jié)點(diǎn)表示作為由所述血管樹(shù)的所述術(shù) 中內(nèi)窺鏡圖像（14)內(nèi)的所述血管樹(shù)的所述可見(jiàn)分枝所指示的所述血管樹(shù)的所述分叉；并 且 將所述子圖節(jié)點(diǎn)匹配到所述主圖。
18. 如權(quán)利要求17所述的圖像配準(zhǔn)方法，其中，所述子圖到所述主圖的所述圖像匹配 包括： 建立所述主圖中的所述節(jié)點(diǎn)的垂直排序和水平排序中的至少一個(gè)。
19. 如權(quán)利要求16所述的圖像配準(zhǔn)方法，其中，所述內(nèi)窺鏡控制器（22)還能夠操作用 于根據(jù)所述圖像配準(zhǔn)將所述血管樹(shù)的所述術(shù)前三維圖像（44)的所述幾何表示覆蓋到所述 血管樹(shù)的所述術(shù)中內(nèi)窺鏡圖像（14)上。
20. 如權(quán)利要求16所述的圖像配準(zhǔn)方法，其中，所述血管樹(shù)是動(dòng)脈樹(shù)和靜脈樹(shù)中的一 個(gè)。
【文檔編號(hào)】G06T7/00GK104105439SQ201380008233
【公開(kāi)日】2014年10月15日 申請(qǐng)日期:2013年2月4日 優(yōu)先權(quán)日:2012年2月6日
【發(fā)明者】A·波波維奇, H·埃爾哈瓦林 申請(qǐng)人:皇家飛利浦有限公司