用于柔性針操縱的超聲引導(dǎo)機器人的制作方法
【專利摘要】一種用于在超聲成像下操縱柔性針的機器人系統(tǒng)。使用機器人通過操控針基部沿著預(yù)定彎曲軌跡來操縱針。由超聲傳感器檢測針尖端位置并將針尖端與預(yù)定針路徑的跟蹤誤差輸入到控制器，控制器基于針的位置以及針和組織屬性求解逆向運動學(xué)?？刂扑惴ㄊ褂眯路f的方法通過分析針尖端前方區(qū)域的組織運動來檢測組織的彈性屬性?？梢詫ψ鳛槿嵝允尼樀哪Ｐ蛨?zhí)行逆向運動學(xué)解，所述柔性束具有橫向連接的虛擬彈簧，以模擬由組織彈性施加的橫向力。該系統(tǒng)能夠?qū)⑨樢龑?dǎo)到組織之內(nèi)的靶，同時繞過禁止區(qū)域。
【專利說明】用于柔性針操縱的超聲弓I導(dǎo)機器人
[0001]本申請為分案申請，其原申請的申請日是2011年I月27日，申請?zhí)枮?00980129480.9，發(fā)明名稱為“用于柔性針操縱的超聲引導(dǎo)機器人”。

【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及向組織中插入柔性針的控制領(lǐng)域，尤其是在通過超聲成像觀察針插入時，向組織中插入柔性針的控制領(lǐng)域。

【背景技術(shù)】
[0003]大量臨床流程涉及到出于診斷和治療目的的針插入。這樣的流程包括活組織檢查、區(qū)域麻醉、施藥、采血、前列腺近距治療和燒蝕。這些流程需要在器官、血管或病灶處對針尖端進行導(dǎo)航和精確放置。診斷是否正確或治療處置是否成功高度取決于針插入的精度。例如，在用針向腫瘤中放置放射性種子的近距治療中，治療的有效性直接與針放置的精確度相關(guān)。在活組織檢查中顯然也是同樣情況，在活組織檢查中針的誤置可能會導(dǎo)致誤診。
[0004]醫(yī)師常常徒手執(zhí)行針插入流程，根據(jù)從工具反饋的力和他們對解剖結(jié)構(gòu)的3D感知向前推進針。這種流程的性能是受到限制的，依賴于醫(yī)師的訓(xùn)練和技巧。盡管成像技術(shù)能夠改善靶可見度和針的放置，但仍然有導(dǎo)致針誤置的原因，例如由于組織變形導(dǎo)致的靶移動和針偏斜。此外，軌跡可能包含需要避開的障礙，從而需要重復(fù)插入過程。軟組織性質(zhì)的變化可能導(dǎo)致規(guī)劃流程階段和治療階段之間不可預(yù)知的偏差。估計在進行CT引導(dǎo)的針刺活組織檢查的患者中，由于針的誤置有14%的測試是沒有價值的。因此，有時會重復(fù)活檢流程以確保采樣充分，這使患者承受更大風(fēng)險并可能發(fā)生并發(fā)癥。
[0005]使用柔性針而非剛性針，可以在很大程度上克服以上限制，因為通過操控針的基部，能夠?qū)⑷嵝葬樇舛瞬倏v到祀，即使沿著彎曲軌跡。題為“Controlled Steering of aFlexible Needle” 的 PCT 專利申請 N0.PCT/IL2007/000682 (被公開為 W02007/141784)以及 D.Glozman 和 M.Shoham 在 IEEE Transact1ns on Robotics 2007 年 6 月第 23 卷第 3期發(fā)表的題為“Image-guided Robot for Flexible Needle Steering”的文章描述了用于在實時X射線熒光檢查引導(dǎo)下在軟組織中操縱柔性針的機器人系統(tǒng)，通過引用將這兩篇文獻都全文并入本文。
[0006]這種用于閉環(huán)針插入的方法利用了一種算法，用于基于虛擬彈簧模型由機器人操控針基部，進行路徑規(guī)劃，針尖端和輪廓檢測，以及通過分析由針對組織施加的力導(dǎo)致的組織沿針長度的位移來迭代地估計組織硬度。
[0007]在上述W02007/141784中已經(jīng)介紹了基于虛擬彈簧模型在軟組織中操縱柔性針的理論模型。在這種模型中，如圖1的示意圖所示，針把持在機器人基部中，機器人基部向針施加橫向力Fb和力矩Mb。將針本身看做圖1中分成段的線性束，標識為要素
1......1....n，其中每者都受到與虛擬彈簧系數(shù)和位移成正比的橫向彈簧力。假設(shè)橫向針位移很小，將組織響應(yīng)視為線性的并通過沿針分布的橫向虛擬彈簧對組織的力建模。因此，每段i都受到點力Fi的作用，其取決于從初始位置Wtji的局部位移Wi以及由虛擬彈簧系數(shù)ki描述的組織硬度。
[0008]從基部處的邊界條件和二階連續(xù)性條件和要素間施加的彈簧力，可以導(dǎo)出由以下矩陣表達式描述的4Xn方程:
[0009]KN = Q (I)
[0010]其中
[0011]η是要素的數(shù)量，
[0012]K是Nij的矩陣系數(shù)，
[0013]N是在每個要素Nu的邊緣處的平移和斜率矢量，其中i是要素編號，而j是要素i處的自由度。
[0014]Q是包括在針刺穿其時節(jié)點的硬度系數(shù)和初始位置的組合的矢量。
[0015]然后可以解方程(I)，以計算針基部的所需取向和平移，從而針尖端將按期望路徑行進。這是逆向運動學(xué)問題的解。在所有避開障礙并確實能到達靶的可能路徑中，要使用的最佳一個是對組織施加最小橫向壓力的路徑，其一般與最小針曲率相關(guān)。這是通過選擇使虛擬彈簧位移和斜率的平方和最小化的尖端傾斜來實現(xiàn)的。
[0016]然而，現(xiàn)有技術(shù)中描述的X射線熒光檢查跟蹤涉及對受檢者的X輻射劑量以及執(zhí)行流程的醫(yī)務(wù)人員受到的偶然散射輻射。此外，可用于執(zhí)行成像的X射線系統(tǒng)可能是有限的，且這樣的設(shè)備昂貴，從而可能期望有一種備選的跟蹤針的方法。
[0017]在說明書這一節(jié)和其他節(jié)中提到的每種出版物的公開都通過引用、全文地并入本文。


【發(fā)明內(nèi)容】

[0018]本公開描述了一種在超聲成像的實時引導(dǎo)下在軟組織中操縱柔性針的系統(tǒng)和方法。使用超聲相對于其他成像模態(tài)提供了優(yōu)點。相對于使用X射線成像的主要優(yōu)點是沒有輻射危害，更通用且成本更低。
[0019]不過，因為在這種成像中對針可見性的限制，這種超聲圖像的解釋可能不是簡單直接的。針的可見性受到針和超聲探頭的軸之間角度，或更具體而言，受到超聲成像的方向的影響。如果要如X射線熒光檢查那樣沿針的大致側(cè)向執(zhí)行超聲成像(盡管對于超聲成像而言這通常不會是實用的操作方法)，針桿(shaft)投影的至少一部分可以被看到但針尖端可能無法清晰可見。另一方面，在接近針插入角度的成像方向(這是通常用于超聲成像的方向)，針尖端作為一個明亮區(qū)域清晰可見，其隨著針的推進而移動，但針自身一般難以分辨。于是，以通常使用的配置使用US成像能夠跟蹤針尖端的位置(這是該系統(tǒng)的最終目的)，卻不能容易地看到針桿。
[0020]作為這種現(xiàn)象的結(jié)果，不能執(zhí)行上述WO 2007/141784中所述使用X射線熒光檢查成像進行的針插入過程和所得機器人操控的分析。在該流程中，一般可以在X射線圖像中看到沿針長度的每個點并連續(xù)實時跟蹤，并使用對該路徑的了解來迭代計算針尖端運動必須要被確定的每個點處組織的硬度系數(shù)。不了解針的每個插入增量處的硬度系數(shù)，就不能對逆向運動學(xué)方程求解。最多可以將硬度近似值用于整個插入過程，但由于組織的硬度可能會沿著針的軌跡變化，這種流程的精確度差。
[0021]本公開提供了新穎的分析流程和設(shè)備，即使在僅針的尖端大致可見的條件下，也能夠?qū)崿F(xiàn)對針插入的超聲跟蹤。該流程涉及在針的尖端推進到組織中的同時，通過對針尖端前方和緊鄰尖端的周圍區(qū)域中組織運動進行超聲彈性圖描記測量，確定針的尖端處組織的彈性屬性。由于對于針的每個插入步驟這樣測量在針尖端處組織的硬度，如上所述，則能夠容易地利用針尖端處組織的實測彈性屬性獲得逆向運動學(xué)方程的解。該解能夠為插入針過程中相繼迭代步驟規(guī)劃正向運動和機器人的對準，使得針尖端將循著期望路徑前進。由于尖端處的組織硬度是已知的，至少在一級近似上，可以比上述X射線方法更簡單地得到逆向運動學(xué)方程的解，在X射線方法中不能連續(xù)測量組織的硬度，而是從插入之前硬度的初始估計值并從針前進時針路徑的形狀迭代地確定組織的硬度。在本方法中，也是迭代地執(zhí)行逆向運動學(xué)方程的求解，但僅使用觀察到的針尖端與其規(guī)劃路徑的偏差作為反饋參數(shù)，來校正每個后續(xù)插入步驟。
[0022]以解析方式表達這種情況，已知上述矩陣表達式
[0023]KN = Q (I)
[0024]被通過逆向運動學(xué)方法求解，以計算針基部所需的取向和平移，使得針尖端將按橫向壓力最小的期望針軌跡行進。然而，與上述X射線成像流程(其中Q和K中的硬度系數(shù)是未知的，因此必須要借助于在WO 2007/141784中描述的針路徑測繪過程迭代地加以估計)不同的是，在本公開的超聲方法中，Q和K中的硬度系數(shù)是實時測量的，因此在針軌跡的每個迭代點處都是已知的。結(jié)果，Q和K的所有要素都是已知的，使用超聲成像就這樣提供了比現(xiàn)有技術(shù)的X射線成像流程更簡單的方法來找到方程(I)的逆向運動學(xué)解。盡管與考慮到插入期間針路徑中的任何變化的情況(如X射線成像方案中所做的)相比這種方法可能精確性差些，但該技術(shù)確實能夠根據(jù)沿針軌跡實際測量的組織硬度的變化更新模型。
[0025]由于對于針的每個插入步驟尖端的位置都是已知的，所以可以通過將這些針尖端位置連接起來的圖解過程在一級近似上確定針的累積路徑。由于其未考慮在遠端針尖端進一步前進到組織中時在針的近端部分針路徑的任何橫向運動，所以這種路徑是近似的。然而，這確實意味著在沿著已知針路徑長度的所有遞增點處以組織硬度的形式知道了整個束配置。盡管這一信息不是執(zhí)行本公開所述一階迭代插入過程所需的，但對于可以執(zhí)行的任何推演(derivative)測量可能是有用的。
[0026]盡管當前使用的具有光滑表面的柔性針在以接近針進入角度的角度執(zhí)行的超聲成像流程一般不可見，但使得針的全長在超聲成像下確實變得可見的技術(shù)，尤其是使用特殊針表面的技術(shù)可能是可行的。在這種情況下，則能夠借助于在插入時測量針橫向側(cè)的組織的移動并計算沿針的長度的所有那些點處的硬度常數(shù)來測量沿針的整個長度的組織彈性。一旦沿著針長度知道了這些硬度系數(shù)，加上針的路徑，方程(I)的逆向運動學(xué)解就變得可以在閉合形式中獲得，并容易進行計算。于是這代表了導(dǎo)出組織硬度的備選方法，組織硬度被用作已知輸入?yún)?shù)，以對方程(I)中給出的逆向運動學(xué)問題求解。
[0027]除了使用超聲彈性圖描記來確定針的尖端處遇到的組織類型之外，為了將針引導(dǎo)到預(yù)定靶，可以使用這種“深度組織彈性圖描記”來確定關(guān)于組織的病理數(shù)據(jù)，否則，從通過在組織表面施加外力來執(zhí)行的現(xiàn)有技術(shù)彈性圖描記流程是難以辨別病理數(shù)據(jù)的。
[0028]本公開中描述的系統(tǒng)的一個示例實施方式涉及一種用于根據(jù)預(yù)定軌跡控制具有尖端的柔性針到組織中的插入的系統(tǒng)，其中所述系統(tǒng)包括:
[0029](i)用于操控所述針進入所述組織的機器人，
[0030](?)用于探知所述針的所述尖端的位置的超聲成像系統(tǒng)，
[0031](iii)用于根據(jù)超聲圖像確定所述尖端區(qū)域中所述組織的位移模式的組織運動分析器，以及
[0032](iv)使所探知的所述針的所述尖端的位置和根據(jù)所述預(yù)定軌跡的所述尖端的期望位置之間的差異最小化的控制系統(tǒng)，
[0033]其中所述控制系統(tǒng)還適于:
[0034](a)利用所述尖端的區(qū)域中所述組織的位移模式來確定所述組織的彈性屬性，
[0035](b)使用所述組織的彈性屬性獲得逆向運動學(xué)解以計算要賦予所述針以使所述尖端按規(guī)劃軌跡行進的所需運動，以及
[0036](C)根據(jù)所述逆向運動學(xué)解指示所述機器人操控所述針進入所述組織中。
[0037]在上述系統(tǒng)中，可以在作為柔性束的所述針的模型上執(zhí)行所述逆向運動學(xué)解，所述柔性束具有橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫向力，且其中所述組織在所述針上施加的橫向力可以是根據(jù)從針尖端周圍的位移模式導(dǎo)出的所述組織的彈性屬性確定的。在這種情況下，所述針的所述模型通過所述組織的路徑可以是由所述多個虛擬彈簧對所述針的影響確定的。
[0038]一種用于根據(jù)預(yù)定軌跡將這樣的柔性針插入組織中的備選示例性系統(tǒng)可以包括:
[0039](i)用于操控所述針進入所述組織中的機器人，
[0040](ii)用于探知所述針的所述尖端的位置的超聲成像系統(tǒng)，
[0041](iii)用于根據(jù)超聲圖像確定所述尖端的區(qū)域中的組織的位移模式的組織運動分析器，以及
[0042](iv)控制所述機器人運動的運動以使所探知的所述針的所述尖端的位置和根據(jù)所述預(yù)定軌跡的所述尖端的期望位置之間的差異最小化的控制系統(tǒng)，
[0043]其中，所述控制系統(tǒng)可以適于利用作為柔性束的所述針的模型，所述柔性束具有橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫向力，且其中所述組織在所述針上施加的所述橫向力可以根據(jù)從所述針尖端周圍的組織的位移模式導(dǎo)出的所述組織的彈性屬性來確定。
[0044]在這一所描述的系統(tǒng)中，所述針的所述模型通過所述組織的路徑可以由所述多個虛擬彈簧對所述針的影響來確定。此外，所述控制系統(tǒng)還可以利用應(yīng)用于所述虛擬彈簧模型的逆向運動學(xué)解來計算要賦予所述針以使所述尖端按規(guī)劃軌跡行進的所需運動。
[0045]在任何上述系統(tǒng)中，所述針的所述預(yù)定軌跡可以包括對于所述針的所述尖端的靶和所述針應(yīng)當避免的至少一個區(qū)域。
[0046]此外，這些系統(tǒng)還可以包括確定在其基部施加在所述針上的力的力傳感器，在這種情況下所述控制系統(tǒng)還使用測得的力來確定針尖端附近組織的硬度屬性。
[0047]此外，在任何上述系統(tǒng)中，所述控制系統(tǒng)可以確定通過對超聲圖像進行圖像處理確定的所述尖端的位置與根據(jù)所述預(yù)定軌跡所述尖端的規(guī)劃位置的偏差，并計算要應(yīng)用于所述機器人以減小所述偏差的運動。
[0048]根據(jù)另一示例性實施方式，所述預(yù)定軌跡可以被分成增量，并且所述控制系統(tǒng)可以在每個遞增插入點根據(jù)從所述超聲成像系統(tǒng)獲得的所述針尖端的實時位置依據(jù)這些增量執(zhí)行插入。此外，可以選擇預(yù)定軌跡以避免行程通過不期望的組織區(qū)域。
[0049]此外，在任何上述系統(tǒng)的其他實施方式中，可以使用圖像處理算法獲得尖端區(qū)域中組織的位移模式，圖像處理算法可以方便地是雙線性可變形塊匹配算法。
[0050]本公開中描述的所要求發(fā)明的其他實施方式利用任何上述系統(tǒng)執(zhí)行一種方法。
[0051]其他示例實施方式涉及一種用于確定組織的彈性特性的方法，包括:
[0052](i)操控具有尖端的針進入所述組織，
[0053](ii)產(chǎn)生所述針的所述尖端的超聲圖像，
[0054](iii)根據(jù)所述超聲圖像確定所述尖端周圍的所述組織的位移模式，以及
[0055](iv)利用所述位移模式的性質(zhì)確定所述尖端的區(qū)域中所述組織的彈性特性。
[0056]這樣的方法還可以包括測量在插入所述針期間外部施加的力并使用所述力的測量結(jié)果確定所述尖端的區(qū)域中所述組織的彈性特性的步驟。所述位移模式的性質(zhì)可以包括所述模式中的位移的幅度和形式中的至少一個。此外，根據(jù)這些方法，可以利用組織的彈性特性來檢測組織中的病理異常。
[0057]其他示例性實施方式涉及一種用于確定組織的彈性特性的系統(tǒng)，該系統(tǒng)包括:
[0058](i)具有尖端的針，用于插入所述組織中，
[0059](ii)用于產(chǎn)生所述針的所述尖端的至少一個超聲圖像的系統(tǒng)，
[0060](iii)用于根據(jù)所述至少一個超聲圖像確定所述尖端的區(qū)域中所述組織的位移模式的組織運動分析器，以及
[0061](iv)利用所述位移模式的性質(zhì)確定所述尖端的區(qū)域中所述組織的彈性特性的組織分析器。
[0062]這樣的系統(tǒng)還可以包括用于測量施加到所述針的插入力的力傳感器，其中所述力的測量結(jié)果可用于提高確定所述尖端的區(qū)域中的組織的彈性特性的精確度。所述位移模式的性質(zhì)可以包括所述模式中的位移的幅度和形式中的至少一個。此外，使用這種系統(tǒng)確定的組織的彈性特性可用于檢測組織中的病理異常。
[0063]這里描述的系統(tǒng)的另一種示例性實施方式還涉及一種用于根據(jù)預(yù)定軌跡控制具有尖端的柔性針到組織中的插入的系統(tǒng)，所述系統(tǒng)包括:
[0064](i)用于操控所述針進入所述組織中的機器人，
[0065](ii)用于探知所述針的位置的超聲成像系統(tǒng)，
[0066](iii)用于根據(jù)超聲圖像確定沿所述針的所述組織的位移模式的組織運動分析器，以及
[0067](iv)使所探知的所述針的所述尖端的位置和根據(jù)所述預(yù)定軌跡的所述尖端的期望位置之間的差異最小化的控制系統(tǒng)，
[0068]其中所述控制系統(tǒng)還可以適于:
[0069](a)利用沿所述針的所述組織的位移模式確定所述組織的彈性屬性，
[0070](b)使用所述組織的所述彈性屬性來獲得逆向運動學(xué)解以計算要賦予所述針以使所述尖端按規(guī)劃軌跡行進的所需運動，以及
[0071](C)根據(jù)所述逆向運動學(xué)解指示所述機器人操控所述針進入所述組織中。
[0072]在這樣的系統(tǒng)中，可以在作為柔性束的所述針的模型上執(zhí)行所述逆向運動學(xué)解，所述柔性束具有橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫向力，且其中由所述組織在所述針上施加的橫向力可以是根據(jù)從所述針周圍的所述位移模式導(dǎo)出的所述組織的彈性屬性確定的。
[0073]這里描述的系統(tǒng)的另一種示例性實施方式可以涉及一種用于根據(jù)預(yù)定軌跡將具有尖端的柔性針插入組織中的系統(tǒng)，所述系統(tǒng)包括:
[0074](i)用于操控所述針進入所述組織中的機器人，
[0075](ii)用于探知所述針的所述尖端的位置的超聲成像系統(tǒng)，
[0076](iii)用于根據(jù)超聲圖像確定沿所述針的所述組織的位移模式的組織運動分析器，以及
[0077](iv)控制所述機器人運動的運動以使所探知的所述針的所述尖端的位置和根據(jù)所述預(yù)定軌跡的所述尖端的期望位置之間的差異最小化的控制系統(tǒng)，
[0078]其中，所述控制系統(tǒng)可以適于利用作為柔性束的所述針的模型，所述柔性束具有橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫向力，且其中由所述組織施加在所述針上的所述橫向力可以是根據(jù)從沿所述針的所述位移模式導(dǎo)出的所述組織的彈性屬性確定的。
[0079]在這樣的系統(tǒng)中，所述針的所述模型通過所述組織的路徑可以由所述多個虛擬彈簧對所述針的影響來確定。此外，所述控制系統(tǒng)可以利用應(yīng)用于所述虛擬彈簧模型上的逆向運動學(xué)解來計算要賦予所述針以使所述尖端按規(guī)劃軌跡行進的所需運動。

【專利附圖】

【附圖說明】
[0080]通過下文結(jié)合附圖給出的詳細描述，所要求的本發(fā)明將得到更充分的理解和認識，附圖中:
[0081]圖1是柔性針的理論模型的示意圖，柔性針被模型化為分成段的線性束，每個段受到橫向彈簧力作用；
[0082]圖2是用于執(zhí)行本申請所描述的超聲控制的針插入方法的示例性系統(tǒng)的示意圖；
[0083]圖3A示意性地示出了正被插入組織的針，以顯示針和超聲探頭之間的相對角度，而圖3B是利用圖2的系統(tǒng)獲得的超聲圖像，示出了表現(xiàn)為明亮區(qū)域的針尖端；
[0084]圖4A到4C示出了在諸如圖3B所示的超聲圖像中檢測針尖端的方法；
[0085]圖5是參照幀的超聲圖像，被分成放在針尖端前方的所定義節(jié)點周圍的感興趣區(qū)域，以便執(zhí)行彈性圖描記來估計一對超聲圖像之間的組織運動；
[0086]圖6示出了針尖端周圍區(qū)域的大面積超聲圖像，在明亮區(qū)域中用十字加以標記；
[0087]圖7是圖6的針尖端區(qū)域的放大截面，示出了由小白色箭頭標記的組織位移；
[0088]圖8示意性地示出了在針插入流程期間用于使針尖端跟蹤誤差最小化的示例性控制回路算法；以及
[0089]圖9為流程圖，示出了根據(jù)本公開中描述的一個示例性流程的插入柔性針的方法中的步驟。

【具體實施方式】
[0090]現(xiàn)在參考圖2，圖2是用于執(zhí)行本申請中描述的受控針插入方法的示例性系統(tǒng)的示意圖。柔性針24被示為把持在插入機器人25中，插入受檢者組織20中的進度被示為受到超聲(us)成像系統(tǒng)的監(jiān)測，超聲成像系統(tǒng)包括超聲探頭22及其控制和顯示系統(tǒng)23。探頭一般可以既包括超聲換能器又包括針對從針和組織返回的US能量的傳感器系統(tǒng)。US控制系統(tǒng)23 —般可以包括US電源和信號處理例程，用于分析接收的信號并從其產(chǎn)生US圖像。
[0091]用于把持針24、對準針24并將其推進到患者組織20中的機器人25可以是RSPR6D0F 并行機器人，例如由 D.Glozman和 M.Shoham在 IEEE Transact1ns on Robotics 2007年 6 月第 23 卷第 3 期發(fā)表的題為“Image-guided Robot for Flexible Needle Steering”的文章中所描述的機器人。不過要理解的是，這里所描述的系統(tǒng)并非意在受限于使用并行機器人結(jié)構(gòu)，而是可以使用任何串行、并行或混合式機器人結(jié)構(gòu)?？梢岳闷淇刂葡到y(tǒng)27控制機器人運動。可以通過6-D0F力/轉(zhuǎn)矩換能器26將針連接到機器人的移動板，該換能器測量針的插入力和轉(zhuǎn)矩。
[0092]在圖2所示的示例性系統(tǒng)中，示出了獨立的控制系統(tǒng)28，用于執(zhí)行針運動控制算法的計算并用于運行運動控制回路。其功能是獲得針對每個插入步驟的所需針基部坐標，并向機器人發(fā)出命令，從而在計算逆向運動方程的每個步驟之后將針基部移動到要求的坐標?？刂苹芈坟撠?zé)從US圖像處理系統(tǒng)計算機23接收輸入數(shù)據(jù)并基于該數(shù)據(jù)產(chǎn)生移動命令?？梢苑治鲈糢S數(shù)據(jù)或US圖像以便定義針尖端的位置，針路徑形狀、與組織彈性特性相關(guān)的數(shù)據(jù)和來自力傳感器的插入力信息，用于輸入到機器人控制系統(tǒng)中?？梢栽谙到y(tǒng)控制計算機28中執(zhí)行這一操作，該計算機可以負責(zé)圖像處理、針和組織的檢測以及針控制。系統(tǒng)計算機28經(jīng)由機器人控制計算機27命令機器人的運動。兩者之間的通信可以由數(shù)據(jù)鏈路29提供。
[0093]上述控制的劃分僅僅是整個針插入系統(tǒng)可以如何工作的一個示例，要理解的是，同樣可以圍繞單個計算系統(tǒng)構(gòu)建控制系統(tǒng)，或進行任何適當?shù)目刂坪吞幚砉δ艿膫溥x劃分。
[0094]超聲圖像中針的可見性取決于若干參數(shù):針直徑、針涂層、插入角度，并且最重要的是超聲探頭平面與針的對準情況，如在1.Schafhalter-Zoppoth等人于Reg Anesth PainMed 2004 第 29 卷第 480-488 頁發(fā)表的題為 “Ultrasound visibility of needles usedfor reg1nal nerve block:An in vitro study”的文章中所述。可以利用相對于機器人坐標系校準的數(shù)字轉(zhuǎn)換器實現(xiàn)探頭的對準，數(shù)字轉(zhuǎn)換器例如是可從加利福尼亞San Jose的Immers1n Products Inc.獲得的MicroScribe 3DXL數(shù)字轉(zhuǎn)換器。然后可以使用數(shù)字轉(zhuǎn)換器將超聲探頭的中心軸線平面與針對準。
[0095]現(xiàn)在參考圖3A，其示意性地示出了與從US探頭32發(fā)射的超聲成像束的方向成角度Θ向組織20中插入的針30。針被定向為從插入點36朝向靶點34進入組織20中。利用各種角度的實驗表明，在接近90°的角度，可以沿著其大部分長度看到針桿，但不能清晰看到針尖端。然而，在10°到30°角度，在US圖像中針尖端作為隨著針前進而移動的明亮區(qū)域變得清晰可見。在圖3B所示的超聲圖像的示例中清晰地看出這一點，其中針尖端的位置由箭頭表不。
[0096]現(xiàn)在參考圖4A到4C，其示出了在超聲圖像中檢測針尖端的方法。因為US圖像中斑點程度高，并不能總是容易直接對US圖像使用圖像處理來確定針尖端的位置。在圖4A中看到的針尖端是明亮區(qū)域。因為對于接近所使用的垂直對準角度而言，由于隨著針尖端的前進，幀間的主要區(qū)別是針尖端位置，所以能夠通過從參照幀減去當前幀的簡單圖像處理流程來容易地檢測到針尖端。圖4B是為這樣的參照幀，其為圖4A緊前方步驟拍攝的，從圖像上的時間戳可以看出。從圖4A的當前幀減去圖4B的參照幀獲得圖4C所示的圖像，其中僅有標記了白色箭頭的針尖端作為一明亮區(qū)域可以看到，因為它是兩幀之間發(fā)生變化的唯一物體。修剪圖4C的圖像僅留下尖端區(qū)域，并向這一經(jīng)修剪的區(qū)域應(yīng)用閾值。認為尖端位置是差值圖像中高于閾值電平的最大明亮區(qū)域的質(zhì)心。為了能夠?qū)D像坐標系的每個像素匹配到機器人坐標系，進行圖像與探頭的配準，并利用數(shù)字轉(zhuǎn)換器測量探頭到機器人的變換。使用這種圖像-機器人配準，能夠在機器人的坐標系中表達在圖像中檢測的針尖端位置。
[0097]然后在下一插入步驟中使用針尖端位置與期望路徑的偏差，針基部插入的幅度和角度是由控制器決定的。
[0098]精確計算逆向運動學(xué)問題需要知道組織的硬度。由于沒有從針插入點到靶區(qū)域一路上對組織屬性的先驗知識，并且由于使用超聲，所以不能使用針路徑來迭代地估計組織硬度，本公開中描述了一種估計組織屬性的新方法。所用的方法基于超聲彈性圖描記，其根據(jù)所施加力作用下組織位移的測量導(dǎo)出軟組織的彈性屬性。超聲成像是用于產(chǎn)生彈性圖的通用醫(yī)療成像技術(shù)。
[0099]在現(xiàn)有技術(shù)的超聲彈性圖描記系統(tǒng)中，在組織表面上施加壓縮力并觀察淺表力導(dǎo)致的組織移動，來得到組織的位移。這樣的力導(dǎo)致較軟的內(nèi)部組織比較硬的內(nèi)部組織變形更多。例如，這種技術(shù)用于通過組織上的可觸知壓縮力檢測腫瘤。不過，在這種流程中，從施加壓縮力的組織表面到感興趣的遠程點，內(nèi)部組織壓縮的測量是在整個路徑上的積分，因此測量的精度有限或用處有限。
[0100]與這樣的方法相反，在當前描述的系統(tǒng)的方法中，使用對超聲圖像的分析來確定由針尖端的推進導(dǎo)致的組織局部位移。有很多技術(shù)來估計組織的運動。根據(jù)一種方法，跟蹤超聲圖像中斑點圖案的移動可以基于雙線性可變形塊匹配算法，如A.Basarab等人發(fā)表于Medical Image Analysis 2008年6月第12卷第3期259-274頁，并在2007年10月預(yù)先在線發(fā)表為 Med.1mage Anal.(2007) ,do1:10.1016/j.media.2007.10.007 的題為“A methodfor vector displacement estimat1n with ultrasound imaging and its applicat1nfor thyroid nodular disease”的文章中提出的那樣。然而,要理解的是,這種雙線性可變形塊匹配算法僅僅是可以用于提取圖像移動的一種技術(shù)，本公開的方法并非意在僅限于這種所描述的方法。
[0101]因為Basarab等人描述的方法分析由于探頭在表面組織上施加的壓縮力導(dǎo)致的組織運動，所以必須要做出一些修改以調(diào)整該方法來分析前進的針尖端前方區(qū)域中的組織運動。彈性圖描記的目的是估計一對超聲圖像之間的組織運動:變形之前的參照幀，以及由于針移動導(dǎo)致組織變形之后的比較幀。為了實現(xiàn)這個目的，首先將參照幀分成位于針尖端前方所定義節(jié)點周圍的(多個)感興趣區(qū)域。這在圖5所示的超聲圖像中示出了，其中，感興趣區(qū)域被示為所定義節(jié)點周圍的橫向尺度為軸向尺度兩倍的交迭白色矩形，節(jié)點被示為小黑色十字。針尖端的實測位置被示為孤立的黑十字。
[0102]對于3.5MHz頻率的US探頭而言，適當?shù)某叽缡禽S向方向上為2.2mm，橫向方向上為5.6mm。界定交迭的感興趣區(qū)域提高了位移估計的精確度。有利地，可以將感興趣區(qū)域布置成在橫向軸具有60%的交迭，在軸向軸具有50%的交迭。然后由單級塊匹配算法計算每個ROI的角部的平移。通過使平方差之和(SSD)最小化來確定塊匹配準則。在下一步中，基于雙線性模型計算ROI內(nèi)部所有像素的位移?？梢詮挠嬎愠龅慕遣康奈灰普业轿粗碾p線性參數(shù)。
[0103]一旦已經(jīng)獲得完整的位移圖，則分析它以確定針尖端的周圍，尤其是前方的區(qū)域中組織的彈性屬性。由所施加力在尖端周圍產(chǎn)生的位移場取決于周圍組織的硬度。在考慮到沿針長度的切向摩擦力時，進行初步校準測試以將獲得的位移水平與由機器人向針基部施加的力相關(guān)起來?？梢允褂眠@種初步校準測試來根據(jù)諸如針尺寸以及到達那一點采取的步長的參數(shù)來表征不同類型的位移模式。于是，檢查根據(jù)所施加力而產(chǎn)生的位移的范圍和分布就能夠?qū)M織彈性做出估計。這提供了針尖端處組織的彈性的精確和局部數(shù)據(jù)。能夠產(chǎn)生校準比例或查找表，使得能夠從向針施加的力讀出估計的硬度系數(shù)以及針尖端前方的組織運動。然后可以在系統(tǒng)控制器中運行的算法中使用這種組織硬度以確定針插入的下一插入步驟，如上所述。
[0104]現(xiàn)在參考圖6和7，其示出了超聲掃描，以展示針尖端周圍的組織位移估計，用于執(zhí)行組織硬度表征的過程。圖6是針尖端周圍的區(qū)域的大面積US圖像，針尖端用十字標記在明亮區(qū)域中。圖7是圖6的針尖端區(qū)域的放大截面。在圖6中能夠辨別出US成像軟件的個體像素。用小箭頭標記如上述Basarab等人的文章中描述的利用圖像處理技術(shù)根據(jù)超聲圖像計算的組織位移。具有不同硬度的組織將表現(xiàn)出不同的箭頭分布。從不同類型組織檢測到的運動中的差異使得能夠確定組織性質(zhì)。于是，組織運動被檢測到的尖端周圍區(qū)域的范圍為該區(qū)域中組織的局部硬度提供了指示一距尖端越遠觀察到組織移動，該區(qū)域中組織的硬度就越小。此外，在尖端周圍組織中觀察到的移動的幅度也提供了該區(qū)域中組織的局部硬度的指示一移動越大，該區(qū)域中組織的硬度越小。
[0105]現(xiàn)在參考圖8，圖8示意性地示出了用于在針插入流程期間使針尖端跟蹤誤差最小化的示例性控制回路算法。到系統(tǒng)中的輸入是規(guī)劃的針尖端位置，不包括其取向，取向稍后由控制器優(yōu)化。實際針尖端位置是從超聲圖像導(dǎo)出的，并將其與規(guī)劃位置的偏差饋送給控制器?？刂破骰谔摂M彈簧模型的逆向運動學(xué)，利用由點線輸入到控制器的所檢測組織硬度，為每個插入步驟計算所需的針基部移動?？刂破鬟€對針的取向進行優(yōu)化以使橫向組織壓力最小化。將這些控制器輸出饋送給機器人，機器人相應(yīng)地向內(nèi)、橫向地和傾斜地向其下一迭代位置移動針基部。實測尖端位置減去期望尖端位置為該次迭代的跟蹤誤差，將其加到期望尖端位置作為控制器的新輸入，進行下一次迭代。繼續(xù)該過程，直到針尖端到達其所規(guī)劃的靶?？刂破骺梢允荘ID控制器，但要理解的是，本發(fā)明并非意在限于這種控制模式。
[0106]典型的針插入流程包括以下步驟:
[0107](i)首先在針的平面中放置超聲探頭并執(zhí)行配準流程。
[0108](ii)用戶在超聲圖像上選擇期望的靶，由醫(yī)師根據(jù)其判斷來確定針的進入點，或可以由控制系統(tǒng)計算機計算針的進入點。通過以與針取向和探頭間角度相同的角度使一直線通過靶，來執(zhí)行計算。然后利用圖像-機器人配準將這條線與成像區(qū)邊界的交點轉(zhuǎn)換到機器人坐標系中并定義為進入點。
[0109](iii)由用戶選擇靶和進入點之間的障礙。
[0110](iv)命令機器人將針移動到進入點并應(yīng)用用于尖端檢測的算法來檢測尖端的初始位置。
[0111](V)基于檢測到的初始尖端位置、靶位置和障礙(或多個障礙)位置，通過諸如樣條方法的內(nèi)插法計算軌跡。
[0112](vi)然后可以根據(jù)上文結(jié)合圖8所述的插入算法執(zhí)行受控針插入流程。
[0113]現(xiàn)在參考圖9，圖9為流程圖，示出了根據(jù)在本公開中描述的一個示例性流程的插入柔性針的方法中的步驟。將流程分成兩個部分，與為受控插入做準備相關(guān)的步驟50到56，以及迭代地控制插入流程自身的步驟57到63。
[0114]在步驟50中，為受檢者的感興趣區(qū)域拍攝弟一超聲圖像；
[0115]在步驟51中，外科醫(yī)生在諸如計算機鼠標的指示裝置幫助下描繪靶位置和適當?shù)尼樇舛诉M入點，而不管是由醫(yī)師選擇的還是由控制系統(tǒng)計算的。
[0116]在步驟52中，命令機器人將針移動到規(guī)劃的進入點并在超聲圖像中檢測初始針尖端位置。
[0117]在步驟53中，外科醫(yī)生在諸如計算機鼠標的指示裝置幫助下描繪出尖端進入點和靶之間應(yīng)當避開的任何區(qū)域。因此這個步驟定義了規(guī)劃軌跡和對其施加的任何約束。
[0118]在步驟54中，計算這一規(guī)劃路徑軌跡并將其細分成段用于迭代進入過程。
[0119]在步驟55中，利用上述逆向運動學(xué)解進行計算以確定為了使針的尖端按預(yù)定軌跡前進所需的系列針基部運動。在第一次逆向運動學(xué)計算中使用組織硬度系數(shù)的初始假定值?；蛘?，在第一次刺穿組織表面之后，可以使用力傳感器獲得硬度系數(shù)。
[0120]在步驟56中，機器人從控制系統(tǒng)接收命令以通過向組織之內(nèi)的第一軌跡點移動尖％5來開始插入流程自身。
[0121]在步驟57中，在完成第一次移動增量之后，拍攝該部位的超聲圖像。
[0122]在步驟58中，通過基于前一圖像(對于第一步驟來說是步驟50中拍攝的參照圖像)和當前圖像之間的圖像差異的圖像處理來確定針尖端的位置。
[0123]在步驟59中，計算針尖端位置與其期望位置的誤差。將這一誤差水平加到所到達的位置以產(chǎn)生用于下一遞增插入步驟的期望位置。
[0124]同時，在步驟61中，進行力傳感器測量，從其可以確定針尖端上的縱向力。
[0125]在步驟62中，根據(jù)檢測到的在尖端前方區(qū)域中的組織運動并使用步驟61中從力傳感器讀數(shù)計算的針尖端處的估計力，通過成像處理計算在第一迭代插入點處的尖端周圍的組織硬度。或者，利用作為組織移動的函數(shù)的預(yù)校準硬度尺度來進行組織的硬度系數(shù)估計。
[0126]在步驟63中，利用新測量的組織硬度系數(shù)更新針軌跡的模型以在尖端運動的下一迭代步驟中使用。
[0127]在步驟60中，查詢迭代次數(shù)。如果已經(jīng)到達了在步驟54中為模型預(yù)定的規(guī)劃迭代次數(shù)，就認為完成了插入，在步驟65停止該過程。
[0128]如果未達到規(guī)劃迭代次數(shù)，在步驟64中執(zhí)行進一步迭代。使用來自步驟63的經(jīng)更新的模型以便利用逆向運動學(xué)解，考慮到為了最小針偏離或最小組織扭曲進行的優(yōu)化，計算在下一遞增步驟中向意向靶移動針尖端所需的機器人移動。還向這一計算出的新靶點增加來自步驟59的誤差校正，然后指示機器人移動到這一組合的下一期望迭代位置。
[0129]一旦已經(jīng)執(zhí)行了新的遞增移動，該過程流返回到步驟57，在此獲得另一超聲圖像，從而能夠確定新的針尖端位置，并能夠確定該新位置處組織的新彈性系數(shù)。步驟58到65描述的過程然后自身進行重復(fù)，直到已經(jīng)執(zhí)行最終迭代并到達意向靶為止。
[0130]要理解的是在本發(fā)明上述優(yōu)選實施例中使用的控制方案僅僅是一種備選方法，本發(fā)明并不意在限于使用該方案，而是意在包括使用其他控制器和其他控制方案的應(yīng)用。此夕卜，盡管已經(jīng)利用僅2維的控制描述了本發(fā)明，但要理解的是，這僅僅是為了解釋系統(tǒng)及其操作方法的目的，該方法和設(shè)備同樣可用于3維受控運動。
[0131]分析針尖端周圍組織的硬度不僅提供了組織硬度的信息(從其計算按期望路徑行進所需的針基部的操控)，其也可用于估計靶硬度以確定所到達組織的性質(zhì)。組織特性的差異可用于表示已經(jīng)到達不同的器官或已經(jīng)檢測到腫瘤。根據(jù)這種方法，醫(yī)師盡其所能使用對于該流程而言恒定的插入力有策略地插入針，同時借助于超聲成像觀察針尖端。從超聲圖像(一個或多個)確定尖端周圍組織的位移模式并使用位移模式的性質(zhì)確定尖端區(qū)域中組織的彈性特性。具體而言，觀察到的彈性系數(shù)變化可能表示存在有病理異常的組織。用于執(zhí)行這一流程的系統(tǒng)能夠僅由上文中圖2系統(tǒng)的針24、超聲系統(tǒng)22、23和控制系統(tǒng)28構(gòu)成。根據(jù)更精確的流程，也可以使用力傳感器26，從而可以測量用于插入針的力而非使可靠性依賴于醫(yī)師使用特定或均勻插入力的技能。盡管可以理解也可以利用用于插入過程的機器人執(zhí)行該方法，但不必需機器人及其控制器或任何逆向運動學(xué)方程的解來執(zhí)行這些方法。
[0132]本領(lǐng)域的技術(shù)人員將認識到，本發(fā)明不限于上文具體示出和描述的內(nèi)容。相反，本發(fā)明的范圍包括上文所述各種特征的組合和子組合，以及本領(lǐng)域技術(shù)人員在閱讀以上描述后能想到的、不在現(xiàn)有技術(shù)中的變化和修改。
【權(quán)利要求】
1.一種用于根據(jù)預(yù)定軌跡將具有尖端的柔性針插入組織中的系統(tǒng)，所述系統(tǒng)包括: 用于操控所述針進入所述組織中的機器人； 用于根據(jù)所述尖端的超聲圖像確定所述尖端的區(qū)域中所述組織的位移模式的組織運動分析器；以及 控制所述機器人的運動以使根據(jù)所述尖端的超聲圖像所探知的所述針的所述尖端的位置和根據(jù)所述預(yù)定軌跡的所述尖端的所述期望位置之間的差異最小化的控制系統(tǒng)； 其中，所述控制系統(tǒng)適于利用作為柔性束的所述針的模型，所述柔性束具有橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫向力，且其中，由所述組織施加在所述針上的所述橫向力是根據(jù)從所述針尖端周圍的所述組織的位移模式導(dǎo)出的所述組織的彈性屬性確定的。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述針的所述模型通過所述組織的路徑是由所述多個虛擬彈簧對所述針的影響確定的。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述控制系統(tǒng)還利用應(yīng)用于所述虛擬彈簧模型的逆向運動學(xué)解來計算要賦予所述針以使所述尖端按所述規(guī)劃軌跡行進的所需運動。
4.根據(jù)權(quán)利要求1到3中的任一項所述的系統(tǒng)，其中，所述針的所述預(yù)定軌跡包括對于所述針的所述尖端的靶和所述針應(yīng)當避免的至少一個區(qū)域。
5.根據(jù)權(quán)利要求1到4中的任一項所述的系統(tǒng)，還包括確定在所述針的基部施加在所述針上的力的力傳感器，且其中，所述控制系統(tǒng)還使用所述力來確定所述針尖端附近的組織的硬度屬性。
6.根據(jù)權(quán)利要求1到5中的任一項所述的系統(tǒng)，其中，所述控制系統(tǒng)確定通過對超聲圖像進行圖像處理確定的所述尖端的位置與根據(jù)所述預(yù)定軌跡的所述尖端的規(guī)劃位置的偏差，并計算要應(yīng)用于所述機器人以減小所述偏差的運動。
7.根據(jù)權(quán)利要求1到6中的任一項所述的系統(tǒng)，其中，所述預(yù)定軌跡被分成增量，并且所述控制系統(tǒng)在每個遞增插入點根據(jù)從所述超聲成像系統(tǒng)獲得的所述針尖端的實時位置依據(jù)這些增量執(zhí)行所述插入。
8.根據(jù)權(quán)利要求1到7中的任一項所述的系統(tǒng)，其中，選擇所述預(yù)定軌跡以避免行程通過所述組織的不期望的區(qū)域。
9.根據(jù)權(quán)利要求1到6中的任一項所述的系統(tǒng)，其中，使用圖像處理算法獲得所述尖端的區(qū)域中所述組織的所述位移模式。
10.根據(jù)權(quán)利要求1到6中的任一項所述的系統(tǒng)，其中，所述圖像處理算法是雙線性可變形塊匹配算法。
11.一種用于確定組織的彈性特性的系統(tǒng)，所述系統(tǒng)包括: 具有尖端的針，用于插入所述組織中； 用于根據(jù)所述尖端的至少一個超聲圖像確定所述尖端的區(qū)域中所述組織的位移模式的組織運動分析器；以及 利用所述位移模式的性質(zhì)確定所述尖端的區(qū)域中所述組織的彈性特性的組織分析器。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，還包括用于測量施加到所述針的插入力的力傳感器，其中，所述力的測量結(jié)果用于提高所述確定所述尖端的區(qū)域中所述組織的彈性特性的精確度。
13.根據(jù)權(quán)利要求11所述的系統(tǒng),其中，所述位移模式的性質(zhì)包括所述模式中的位移的幅度和形式中的至少一個。
14.根據(jù)權(quán)利要求11到13中的任一項所述的系統(tǒng)，其中，利用所述組織的所述彈性特性來檢測所述組織中的病理異常。
15.一種用于根據(jù)預(yù)定軌跡將具有尖端的柔性針插入組織中的系統(tǒng)，所述系統(tǒng)包括: 用于操控所述針進入所述組織中的機器人； 用于根據(jù)所述尖端的超聲圖像確定沿所述針的所述組織的位移模式的組織運動分析器；以及 控制所述機器人的運動以使根據(jù)所述尖端的超聲圖像所探知的所述針的所述尖端的位置和根據(jù)所述預(yù)定軌跡的所述尖端的所述期望位置之間的差異最小化的控制系統(tǒng)； 其中，所述控制系統(tǒng)適于利用作為柔性束的所述針的模型，所述柔性束具有橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫向力，且其中，由所述組織施加在所述針上的所述橫向力是根據(jù)從沿所述針的所述位移模式導(dǎo)出的所述組織的彈性屬性確定的。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述針的所述模型通過所述組織的路徑是由所述多個虛擬彈簧對所述針的影響確定的。
17.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述控制系統(tǒng)還利用應(yīng)用于所述虛擬彈簧模型的逆向運動學(xué)解來計算要賦予所述針以使所述尖端按所述規(guī)劃軌跡行進的所需運動。
【文檔編號】A61B19/00GK104382650SQ201410637274
【公開日】2015年3月4日 申請日期:2009年5月31日 優(yōu)先權(quán)日:2008年5月28日
【發(fā)明者】Z·諾伊巴赫, M·肖哈姆 申請人:泰克尼恩研究和發(fā)展基金有限公司