一種腹部外科手術(shù)導(dǎo)航方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明適用于通信領(lǐng)域，提供了一種腹部外科手術(shù)導(dǎo)航方法，包括：對(duì)術(shù)前采集到帶標(biāo)記點(diǎn)信息的CT或MR圖像利用第一預(yù)設(shè)算法自動(dòng)提取標(biāo)記點(diǎn)以得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息；術(shù)中通過(guò)影像獲取設(shè)備獲取病人手術(shù)區(qū)域的RGB圖像以及深度圖像；借助深度圖像將二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三維坐標(biāo)以得到術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn)集信息；將得到的術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集和術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn)集做點(diǎn)對(duì)匹配運(yùn)算；應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí)時(shí)導(dǎo)航過(guò)程。本發(fā)明還提供了一種腹部外科手術(shù)導(dǎo)航系統(tǒng)。本發(fā)明所提供的腹部外科手術(shù)導(dǎo)航方法及系統(tǒng)能提高腹部手術(shù)導(dǎo)航精度與腹部手術(shù)的安全性。
【專利說(shuō)明】一種腹部外科手術(shù)導(dǎo)航方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通信領(lǐng)域，尤其涉及一種腹部外科手術(shù)導(dǎo)航方法及系統(tǒng)。

【背景技術(shù)】
[0002] 傳統(tǒng)的基于標(biāo)記點(diǎn)的外科手術(shù)導(dǎo)航系統(tǒng)在術(shù)前和術(shù)中標(biāo)記點(diǎn)的選取時(shí)需要人工 干預(yù)，所選取的標(biāo)記點(diǎn)具有很強(qiáng)的主觀性與不穩(wěn)定性，不同的操作者所選取的結(jié)果不盡相 同，同一操作者在不同時(shí)刻所得的結(jié)果也不盡一致，人工干預(yù)也可能導(dǎo)致標(biāo)記點(diǎn)選取的潛 在錯(cuò)誤，這些對(duì)最終的注冊(cè)結(jié)果影響非常顯著，并直接影響到導(dǎo)航的精度。假如外科醫(yī)生對(duì) 注冊(cè)結(jié)果不滿意，需要重新注冊(cè)時(shí)，術(shù)前和術(shù)中所有的標(biāo)記點(diǎn)需要重新選取，即注冊(cè)過(guò)程沒(méi) 有可回溯性與重復(fù)性。另一方面，如果在手術(shù)過(guò)程中，病人手術(shù)區(qū)域發(fā)生移動(dòng)或者變形時(shí)， 在這之前的注冊(cè)結(jié)果就會(huì)失效，導(dǎo)航系統(tǒng)要正確定位則需重新注冊(cè)，整個(gè)手術(shù)導(dǎo)航過(guò)程繁 瑣、耗時(shí)，不利于手術(shù)導(dǎo)航的正常進(jìn)行。此外，在腹部手術(shù)的導(dǎo)航過(guò)程中，人體腹部的腹式呼 吸運(yùn)動(dòng)導(dǎo)致粘貼于腹部表面的標(biāo)記點(diǎn)并非靜止不動(dòng)，標(biāo)記點(diǎn)的位置會(huì)隨著腹部的運(yùn)動(dòng)而變 化。
[0003] 因此，亟需設(shè)計(jì)一種全新的腹部外科手術(shù)導(dǎo)航方法及系統(tǒng)，從而可以提高腹部手 術(shù)導(dǎo)航精度以及腹部手術(shù)的安全性。


【發(fā)明內(nèi)容】

[0004] 有鑒于此，本發(fā)明實(shí)施例的目的在于提供一種腹部外科手術(shù)導(dǎo)航方法及系統(tǒng)，旨 在解決現(xiàn)有技術(shù)中基于標(biāo)記點(diǎn)的腹部外科手術(shù)導(dǎo)航方法及系統(tǒng)的精準(zhǔn)度不夠的問(wèn)題。
[0005] 本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種腹部外科手術(shù)導(dǎo)航方法，包括：
[0006] 對(duì)術(shù)前采集到帶標(biāo)記點(diǎn)信息的CT或MR圖像利用第一預(yù)設(shè)算法自動(dòng)提取標(biāo)記點(diǎn)以 得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息；
[0007] 術(shù)中通過(guò)影像獲取設(shè)備獲取病人手術(shù)區(qū)域的RGB圖像以及深度圖像，并采用第二 預(yù)設(shè)算法獲取所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息；
[0008] 借助所述深度圖像將所述二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三維坐標(biāo)以得到術(shù)中物理 空間的標(biāo)記點(diǎn)點(diǎn)集信息；
[0009] 將得到的所述術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集和所述術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn)集做 點(diǎn)對(duì)匹配運(yùn)算，以得到圖像空間與物理空間的變換結(jié)果并完成注冊(cè)過(guò)程；
[0010] 應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí)時(shí)導(dǎo)航過(guò)程。
[0011] 優(yōu)選的，在所述對(duì)術(shù)前采集到帶標(biāo)記點(diǎn)信息的CT或MR圖像利用第一預(yù)設(shè)算法自 動(dòng)提取標(biāo)記點(diǎn)以得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息的步驟之前，所述方法還包括：
[0012] 在病人待手術(shù)區(qū)域的腹部體表上貼上多個(gè)標(biāo)記點(diǎn)后，對(duì)病人進(jìn)行CT或MR掃描以 采集帶標(biāo)記點(diǎn)信息的CT或MR圖像。
[0013] 優(yōu)選的，所述第一預(yù)設(shè)算法具體為結(jié)合區(qū)域生長(zhǎng)算法及高斯曲率對(duì)術(shù)前采集的帶 標(biāo)記點(diǎn)信息的CT或MR圖像作標(biāo)記點(diǎn)自動(dòng)提取,得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息。
[0014] 優(yōu)選的，所述第二預(yù)設(shè)算法具體為術(shù)中采用深度相機(jī)獲取手術(shù)區(qū)域的RGB圖像以 及深度圖像，根據(jù)標(biāo)記點(diǎn)在RGB三個(gè)分量上的值的比率獲取RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信 息，借助深度圖像，可將二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三維坐標(biāo)，得到術(shù)中物理空間的標(biāo)記點(diǎn) 點(diǎn)集信息。
[0015] 優(yōu)選的，所述影像獲取設(shè)備具體為深度相機(jī)。
[0016] 優(yōu)選的，所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息具體位于所述影像獲取設(shè)備坐標(biāo)系 下，其中，在所述術(shù)中通過(guò)影像獲取設(shè)備獲取病人手術(shù)區(qū)域的RGB圖像以及深度圖像，并采 用第二預(yù)設(shè)算法獲取所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息的步驟之后，所述方法還包括：
[0017] 將所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)變換到空間定位系統(tǒng)坐 標(biāo)系下。
[0018] 優(yōu)選的，所述將所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)變換到空間 定位系統(tǒng)坐標(biāo)系下的步驟具體包括：
[0019] 將所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)Pm i通過(guò)以下公式變換 到空間定位系統(tǒng)下：
[0020] ^Tracker i ，^ToF2Tracker ^ToF i ?
[0021] 其中，所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)記為ΡΜ」，空間定位 系統(tǒng)坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo)系之間的空間變換記為T(mén) T()F2TMC;kOT，變換后的所述空間 定位系統(tǒng)坐標(biāo)系下的坐標(biāo)點(diǎn)記為Pftacto i。
[0022] 優(yōu)選的，獲取空間定位系統(tǒng)坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo)系之間的空間變換 ，^ToF2Tracker 的步驟具體包括：
[0023] 在所述影像獲取設(shè)備固定一個(gè)可以被所述空間定位系統(tǒng)識(shí)別的參考幀工具；
[0024] 通過(guò)以下公式獲取空間定位系統(tǒng)坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo)系之間的空間 ，^ToF2Tracker? ，^ToF2Tracker ，^ToF2Eef ，^Eef2Tracker ?
[0025] 其中，通過(guò)所述空間定位系統(tǒng)實(shí)時(shí)捕獲所述參考幀工具的空間位置信息記為 Tltemracto，所述影像獲取設(shè)備與所述參考幀工具之間的相對(duì)位置信息記為τΜ2Κε?。
[0026] 優(yōu)選的，所述應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí)時(shí)導(dǎo)航過(guò) 程的步驟具體包括：
[0027] 通過(guò)以下公式=P1=T · Pt，將手術(shù)器械的空間坐標(biāo)從所述空間定位系統(tǒng)的物理空間 變換到圖像空間；
[0028] 其中，所述空間定位系統(tǒng)的手術(shù)器械的空間坐標(biāo)是相對(duì)于所述空間定位系統(tǒng)本身 的，記為P t，手術(shù)器械在變換后的所述圖像空間的虛擬位置記為P1，所述空間定位系統(tǒng)坐標(biāo) 系與所述圖像空間坐標(biāo)系之間的空間變換記為Τ。
[0029] 另一方面，本發(fā)明還提供一種腹部外科手術(shù)導(dǎo)航系統(tǒng)，所述系統(tǒng)包括：
[0030] 點(diǎn)集獲取模塊，用于對(duì)術(shù)前采集到帶標(biāo)記點(diǎn)信息的CT或MR圖像利用第一預(yù)設(shè)算 法自動(dòng)提取標(biāo)記點(diǎn)以得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息；
[0031] 坐標(biāo)獲取模塊，用于術(shù)中通過(guò)影像獲取設(shè)備獲取病人手術(shù)區(qū)域的RGB圖像以及深 度圖像，并采用第二預(yù)設(shè)算法獲取所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息；
[0032] 坐標(biāo)轉(zhuǎn)換模塊，用于借助所述深度圖像將所述二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三維坐 標(biāo)以得到術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn)集信息；
[0033] 注冊(cè)模塊，用于將得到的所述術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集和所述術(shù)中物理空間的 標(biāo)記點(diǎn)點(diǎn)集做點(diǎn)對(duì)匹配運(yùn)算，以得到圖像空間與物理空間的變換結(jié)果并完成注冊(cè)過(guò)程； [0034] 導(dǎo)航模塊，用于應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí)時(shí)導(dǎo)航 過(guò)程。
[0035] 優(yōu)選的，所述系統(tǒng)還包括：
[0036] 掃描模塊，用于在病人待手術(shù)區(qū)域的腹部體表上貼上多個(gè)標(biāo)記點(diǎn)后，對(duì)病人進(jìn)行 CT或MR掃描以采集帶標(biāo)記點(diǎn)信息的CT或MR圖像。
[0037] 優(yōu)選的，所述第一預(yù)設(shè)算法具體為結(jié)合區(qū)域生長(zhǎng)算法及高斯曲率對(duì)術(shù)前采集的帶 標(biāo)記點(diǎn)信息的CT或MR圖像作標(biāo)記點(diǎn)自動(dòng)提取,得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息。
[0038] 優(yōu)選的，所述第二預(yù)設(shè)算法具體為術(shù)中采用深度相機(jī)獲取手術(shù)區(qū)域的RGB圖像以 及深度圖像，根據(jù)標(biāo)記點(diǎn)在RGB三個(gè)分量上的值的比率獲取RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信 息，借助深度圖像，可將二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三維坐標(biāo)，得到術(shù)中物理空間的標(biāo)記點(diǎn) 點(diǎn)集信息。
[0039] 優(yōu)選的，所述影像獲取設(shè)備具體為深度相機(jī)。
[0040] 優(yōu)選的，所述坐標(biāo)轉(zhuǎn)換模塊，還用于將所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo) 記點(diǎn)的坐標(biāo)變換到空間定位系統(tǒng)坐標(biāo)系下。
[0041] 優(yōu)選的，所述坐標(biāo)轉(zhuǎn)換模塊，還具體用于將所述影像獲取設(shè)備坐標(biāo)系下的所述二 維標(biāo)記點(diǎn)的坐標(biāo)通過(guò)以下公式變換到空間定位系統(tǒng)下：
[0042] ^Tracker i ，^ToF2Tracker ^ToF i ?
[0043] 其中，所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)記為ΡΜ」，空間定位 系統(tǒng)坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo)系之間的空間變換記為T(mén) T()F2TMC;kOT，變換后的所述空間 定位系統(tǒng)坐標(biāo)系下的坐標(biāo)點(diǎn)記為Pftacto i。
[0044] 優(yōu)選的，所述坐標(biāo)轉(zhuǎn)換模塊，還具體用于在所述影像獲取設(shè)備固定一個(gè)可以被所 述空間定位系統(tǒng)識(shí)別的參考幀工具，并通過(guò)以下公式獲取空間定位系統(tǒng)坐標(biāo)系與所述影像 獲取設(shè)備坐標(biāo)系之間的空間變換 ，^ToF2Tracker? ，^ToF2Tracker ，^ToF2Eef ，^Eef2Tracker ?
[0045] 其中，通過(guò)所述空間定位系統(tǒng)實(shí)時(shí)捕獲所述參考幀工具的空間位置信息記為 Tltemracto，所述影像獲取設(shè)備與所述參考幀工具之間的相對(duì)位置信息記為τΜ2Κε?。
[0046] 優(yōu)選的，所述導(dǎo)航模塊，具體用于通過(guò)以下公式=P1=T · Pt，將手術(shù)器械的空間坐標(biāo) 從所述空間定位系統(tǒng)的物理空間變換到圖像空間；
[0047] 其中，所述空間定位系統(tǒng)的手術(shù)器械的空間坐標(biāo)是相對(duì)于所述空間定位系統(tǒng)本身 的，記為P t，手術(shù)器械在變換后的所述圖像空間的虛擬位置記為P1，所述空間定位系統(tǒng)坐標(biāo) 系與所述圖像空間坐標(biāo)系之間的空間變換記為Τ。
[0048] 在本發(fā)明實(shí)施例中，本發(fā)明提供的技術(shù)方案，通過(guò)引入了影像獲取設(shè)備(例如深度 相機(jī)）的應(yīng)用，提出一種全新的腹部外科手術(shù)導(dǎo)航系統(tǒng)自動(dòng)注冊(cè)的方法。應(yīng)用本發(fā)明方法， 可以有效簡(jiǎn)化腹部手術(shù)導(dǎo)航過(guò)程，克服腹部手術(shù)導(dǎo)航過(guò)程中需要人工干預(yù)標(biāo)記點(diǎn)選取所帶 來(lái)的操作上的不便以及潛在錯(cuò)誤會(huì)導(dǎo)致注冊(cè)結(jié)果誤差過(guò)大的問(wèn)題，進(jìn)而實(shí)現(xiàn)整個(gè)手術(shù)導(dǎo)航 過(guò)程的自動(dòng)化注冊(cè)。即使當(dāng)病人體位發(fā)生移動(dòng)或者腹部手術(shù)區(qū)域有變形、腹部呼吸運(yùn)動(dòng)的 情況時(shí)，利用本發(fā)明方法，可以實(shí)現(xiàn)可回溯性與重復(fù)性的注冊(cè)步驟，導(dǎo)航系統(tǒng)可以實(shí)時(shí)展示 手術(shù)過(guò)程中腹部臟器等軟組織在不同呼吸相位的導(dǎo)航定位誤差，外科醫(yī)生可以根據(jù)實(shí)時(shí)顯 示的注冊(cè)誤差，選擇最小注冊(cè)誤差時(shí)刻進(jìn)行手術(shù)操作。使用本發(fā)明提供的技術(shù)方案可以使 得整個(gè)過(guò)程自動(dòng)完成，無(wú)需人工干預(yù)，從而提高手術(shù)導(dǎo)航精度與手術(shù)的安全性，讓外科醫(yī)生 準(zhǔn)確、快速地完成手術(shù)操作。

【專利附圖】

【附圖說(shuō)明】
[0049] 圖1為本發(fā)明一實(shí)施方式中腹部外科手術(shù)導(dǎo)航方法流程圖；
[0050] 圖2為本發(fā)明一實(shí)施方式中腹部外科手術(shù)導(dǎo)航系統(tǒng)結(jié)構(gòu)示意圖；
[0051] 圖3為本發(fā)明一實(shí)施方式中通過(guò)本發(fā)明的方法所實(shí)現(xiàn)的自動(dòng)注冊(cè)腹部手術(shù)導(dǎo)航 系統(tǒng)的總體框架示意圖；
[0052] 圖4為本發(fā)明一實(shí)施方式中將深度相機(jī)坐標(biāo)系下的標(biāo)記點(diǎn)坐標(biāo)變換為空間定位 系統(tǒng)坐標(biāo)系下的標(biāo)記點(diǎn)坐標(biāo)的示意圖。

【具體實(shí)施方式】
[0053] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。
[0054] 本發(fā)明【具體實(shí)施方式】提供了 一種腹部外科手術(shù)導(dǎo)航方法，主要包括如下步驟：
[0055] S11、對(duì)術(shù)前采集到帶標(biāo)記點(diǎn)信息的CT或MR圖像利用第一預(yù)設(shè)算法自動(dòng)提取標(biāo)記 點(diǎn)以得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息；
[0056] S12、術(shù)中通過(guò)影像獲取設(shè)備獲取病人手術(shù)區(qū)域的RGB圖像以及深度圖像，并采用 第二預(yù)設(shè)算法獲取所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息；
[0057] S13、借助所述深度圖像將所述二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三維坐標(biāo)以得到術(shù)中 物理空間的標(biāo)記點(diǎn)點(diǎn)集信息；
[0058] S14、將得到的所述術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集和所述術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn) 集做點(diǎn)對(duì)匹配運(yùn)算，以得到圖像空間與物理空間的變換結(jié)果并完成注冊(cè)過(guò)程；
[0059] S15、應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí)時(shí)導(dǎo)航過(guò)程。
[0060] 本發(fā)明所提供的一種腹部外科手術(shù)導(dǎo)航方法，通過(guò)引入了影像獲取設(shè)備(例如深 度相機(jī)）的應(yīng)用，提出一種全新的腹部外科手術(shù)導(dǎo)航系統(tǒng)自動(dòng)注冊(cè)的方法。應(yīng)用本發(fā)明方 法，可以有效簡(jiǎn)化腹部外科手術(shù)導(dǎo)航過(guò)程，克服腹部外科手術(shù)導(dǎo)航過(guò)程中需要人工干預(yù)標(biāo) 記點(diǎn)選取所帶來(lái)的操作上的不便以及潛在錯(cuò)誤會(huì)導(dǎo)致注冊(cè)結(jié)果誤差過(guò)大的問(wèn)題，進(jìn)而實(shí)現(xiàn) 整個(gè)手術(shù)導(dǎo)航過(guò)程的自動(dòng)化注冊(cè)。即使當(dāng)病人體位發(fā)生移動(dòng)或者腹部手術(shù)區(qū)域有變形情 況、腹部呼吸運(yùn)動(dòng)的時(shí)，利用本發(fā)明方法，可以實(shí)現(xiàn)可回溯性與重復(fù)性的注冊(cè)步驟，導(dǎo)航系 統(tǒng)可以實(shí)時(shí)展示手術(shù)過(guò)程中腹部臟器等軟組織在不同呼吸相位的導(dǎo)航定位誤差，外科醫(yī)生 可以根據(jù)實(shí)時(shí)顯示的注冊(cè)誤差，選擇最小注冊(cè)誤差時(shí)刻進(jìn)行手術(shù)操作。使用本發(fā)明提供的 技術(shù)方案可以使得整個(gè)過(guò)程自動(dòng)完成，無(wú)需人工干預(yù)，從而提高手術(shù)導(dǎo)航精度與手術(shù)的安 全性，讓外科醫(yī)生準(zhǔn)確、快速地完成手術(shù)操作。
[0061] 以下將對(duì)本發(fā)明所提供的一種腹部外科手術(shù)導(dǎo)航方法進(jìn)行詳細(xì)說(shuō)明。
[0062] 請(qǐng)參閱圖1，為本發(fā)明一實(shí)施方式中腹部外科手術(shù)導(dǎo)航方法流程圖。
[0063] 在步驟Sll中，對(duì)術(shù)前采集到帶標(biāo)記點(diǎn)信息的CT或MR圖像利用第一預(yù)設(shè)算法自 動(dòng)提取標(biāo)記點(diǎn)以得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息。
[0064] 在本實(shí)施方式中，在步驟Sll之前，本發(fā)明實(shí)施方式中的腹部外科手術(shù)導(dǎo)航方法 還包括：在病人待手術(shù)區(qū)域的腹部體表上貼上多個(gè)標(biāo)記點(diǎn)后，對(duì)病人進(jìn)行CT或MR掃描以采 集帶標(biāo)記點(diǎn)信息的CT或MR圖像。
[0065] 在本實(shí)施方式中，第一預(yù)設(shè)算法可以為結(jié)合區(qū)域生長(zhǎng)算法及高斯曲率對(duì)術(shù)前采集 的帶標(biāo)記點(diǎn)信息的CT或MR圖像作標(biāo)記點(diǎn)自動(dòng)提取,得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息。 [0066] 在步驟S12中，術(shù)中通過(guò)影像獲取設(shè)備獲取病人手術(shù)區(qū)域的RGB圖像以及深度圖 像，并采用第二預(yù)設(shè)算法獲取所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息。
[0067] 在本實(shí)施方式中，所述影像獲取設(shè)備具體為深度相機(jī)，如美國(guó)微軟公司生產(chǎn)的 Killed^ Sensor。在本實(shí)施方式中，所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息具體位于所述影 像獲取設(shè)備坐標(biāo)系下，
[0068] 在本實(shí)施方式中，病人在進(jìn)行CT或MR掃描之后，保持標(biāo)記點(diǎn)點(diǎn)集在體表上的位置 不變，利用影像獲取設(shè)備(例如ICinecf Sensor )獲取病人體表上標(biāo)記點(diǎn)點(diǎn)集的二維彩色信 息及深度信息，例如RGB圖像以及深度圖像，根據(jù)影像獲取設(shè)備(例如Kineef Sensor)獲 取的圖像信息計(jì)算影像獲取設(shè)備(例如KineCtK' Sensor)坐標(biāo)系統(tǒng)下標(biāo)記點(diǎn)集的空間位置， 計(jì)算所采用的第二預(yù)設(shè)算法通常為術(shù)中采用深度相機(jī)（如Kinecf Sensor)獲取手術(shù)區(qū)域 的RGB圖像以及深度圖像，根據(jù)標(biāo)記點(diǎn)在RGB三個(gè)分量上的值的比率獲取RGB圖像的二維 標(biāo)記點(diǎn)坐標(biāo)信息，借助深度圖像，可將二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三維坐標(biāo)，得到術(shù)中物理 空間的標(biāo)記點(diǎn)點(diǎn)集信息。
[0069] 在本實(shí)施方式中，步驟S12所得的所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息是相對(duì)于 影像獲取設(shè)備坐標(biāo)系的，由于手術(shù)過(guò)程中手術(shù)器械的空間坐標(biāo)信息是相對(duì)于空間定位系統(tǒng) 的，因此，需要將步驟S12所得的所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息變換到空間定位系統(tǒng) 坐標(biāo)下，這個(gè)過(guò)程的實(shí)施可由以下步驟完成。
[0070] 在本實(shí)施方式中，在步驟S12之后，本發(fā)明實(shí)施方式中的腹部外科手術(shù)導(dǎo)航方法 還包括：將所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)變換到空間定位系統(tǒng)坐標(biāo) 系下。
[0071] 在本實(shí)施方式中，所述將所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)變 換到空間定位系統(tǒng)坐標(biāo)系下的步驟具體包括：
[0072] 將所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)Pm」通過(guò)以下公式變換 到空間定位系統(tǒng)下：
[0073] ^Tracker i ，^ToF2Tracker ^ToF i ?
[0074] 其中，所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)記為ΡΜ」，空間定位 系統(tǒng)坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo)系之間的空間變換記為T(mén) T()F2TMC;kOT，變換后的所述空間 定位系統(tǒng)坐標(biāo)系下的坐標(biāo)點(diǎn)記為？!^。1^」。其中，1 = 1，2,"*11，11表示所提取的標(biāo)記點(diǎn)的個(gè) 數(shù)。
[0075] 在本實(shí)施方式中，獲取空間定位系統(tǒng)坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo)系之間的空 間變換T T()F2TMC;ke;:r的步驟具體包括：
[0076] 在所述影像獲取設(shè)備固定一個(gè)可以被所述空間定位系統(tǒng)識(shí)別的參考幀工具；
[0077] 通過(guò)以下公式獲取空間定位系統(tǒng)坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo)系之間的空間 ，^ToF2Tracker? ，^ToF2Tracker ，^ToF2Eef ，^Eef2Tracker ?
[0078] 其中，通過(guò)所述空間定位系統(tǒng)實(shí)時(shí)捕獲所述參考幀工具的空間位置信息記為 Tltemracto，所述影像獲取設(shè)備與所述參考幀工具之間的相對(duì)位置信息記為τΜ2Κε?。
[0079] 舉例來(lái)說(shuō)，圖4為本發(fā)明一實(shí)施方式中將深度相機(jī)坐標(biāo)系下的標(biāo)記點(diǎn)坐標(biāo)變換為 空間定位系統(tǒng)坐標(biāo)系下的標(biāo)記點(diǎn)坐標(biāo)的示意圖。
[0080] 如圖4所示，首先在深度相機(jī)上固定一個(gè)參考幀工具，參考幀工具是可被空間定 位系統(tǒng)識(shí)別的，其空間位置信息可通過(guò)空間定位系統(tǒng)實(shí)時(shí)捕獲，即圖4中的T Kef2ftac;kCT已知。 需要確定的是空間定位系統(tǒng)坐標(biāo)系與深度相機(jī)坐標(biāo)系間的空間變換TT()F2Tracto，一旦空間定 位系統(tǒng)與深度相機(jī)之間的空間位置確定以后，變換T T()F2Trac;kCT的值就是固定的。但是如果深 度相機(jī)與空間定位系統(tǒng)間的相對(duì)位置發(fā)生變化時(shí)，則TT()F2TMC;kCT的值也隨之改變，而腹部外 科手術(shù)導(dǎo)航過(guò)程中，要保證空間定位系統(tǒng)與深度相機(jī)之間的位置不變，幾乎是不可能的事 情，難免需要調(diào)整兩者間的相對(duì)位置，以獲取最佳的術(shù)中導(dǎo)航數(shù)據(jù)?？紤]圖4中的T T()F2Tracto、 TRef2Tracker 和 TT〇F2Ref 這三個(gè)量剛好組成了一個(gè)閉合環(huán)路，因此可以用 ^'Eef2Tracker ^'ToF2Eef 的乘 積來(lái)代替TM2TMC;kCT實(shí)現(xiàn)把標(biāo)記點(diǎn)從深度相機(jī)坐標(biāo)空間變換到定位系統(tǒng)坐標(biāo)空間。即：
[0081 ] Tj〇p2Xracker ，^ToF2Eef ，^Eef2Tracker
[0082] 上式中的Tltef2ftacto可以通過(guò)空間定位系統(tǒng)實(shí)時(shí)獲取，因此空間定位系統(tǒng)與深度相 機(jī)之間的相對(duì)位置發(fā)生變化時(shí)，該值也能反映出來(lái)；T T()F2Itef表示深度相機(jī)與參考幀坐標(biāo)系 之間空間變換，在實(shí)際操作中，保證深度相機(jī)與參考幀之間的相對(duì)位置固定不變，而這是很 容易做到的，只要把參考幀固定在深度相機(jī)上即可，因此T T()F2Itef的值只要計(jì)算一次。
[0083] 考慮圖4中的PTrac;kOT、PT()F和所組合的閉合回路，在某一時(shí)刻，固定圖4所 示的定位系統(tǒng)、深度相機(jī)、標(biāo)記點(diǎn)及參考幀之間的位置，利用空間定位系統(tǒng)的定位工具可以 選取若干標(biāo)記點(diǎn)（例如選取的標(biāo)記點(diǎn)不少于3個(gè)）在空間定位系統(tǒng)坐標(biāo)系下的坐標(biāo)值，標(biāo)記 點(diǎn)在空間定位系統(tǒng)坐標(biāo)下的點(diǎn)集記為P ftadte/ ;同樣，借助深度相機(jī)也可以獲取到上述標(biāo)記 點(diǎn)在深度相機(jī)坐標(biāo)系下的坐標(biāo)值，標(biāo)記點(diǎn)在深度相機(jī)坐標(biāo)下的點(diǎn)集記為Ρτ。/。獲得同一組 標(biāo)記點(diǎn)在不同的坐標(biāo)空間里的點(diǎn)集P ftacto'和Ρτ。/后，利用最小二乘法就可以確定出某一 時(shí)刻空間定位系統(tǒng)與深度相機(jī)之間的變換 ，^ToF2Tracker ° 然后把 ，^ToF2Tracker 的值代入 ，^ToF2Tracker · Tltemracto公式中求出變換 TToF2Ref 為：
[0084] TT()F2Ref-TRef2Trac;ker · TT()F2Tracker。
[0085] 由于深度相機(jī)與參考幀工具之間的位置是保持不變的，因此，在某一時(shí)刻里計(jì)算 所得的變換T T()F2Itef的值是保持不變的。一旦利用標(biāo)記點(diǎn)的自動(dòng)提取算法提取出標(biāo)記點(diǎn)在深 度相機(jī)坐標(biāo)系下的坐標(biāo)值P m以后，利用以下關(guān)系式，就可以變換到定位系統(tǒng)坐標(biāo)空間：
[0086] ^Tracker ，^Eef2Tracker ，^ToF2Eef ^ToF0
[0087] 請(qǐng)繼續(xù)參閱圖1，在步驟S13中，借助所述深度圖像將所述二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn) 化為三維坐標(biāo)以得到術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn)集信息。
[0088] 在步驟S14中，將得到的所述術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集和所述術(shù)中物理空間的 標(biāo)記點(diǎn)點(diǎn)集做點(diǎn)對(duì)匹配運(yùn)算，以得到圖像空間與物理空間的變換結(jié)果并完成注冊(cè)過(guò)程。
[0089] 在本實(shí)施方式中，由步驟Sll已經(jīng)自動(dòng)提取出圖像空間的標(biāo)記點(diǎn)點(diǎn)集,記為Plmage ; 由步驟S12可以自動(dòng)提取出標(biāo)記點(diǎn)在深度相機(jī)坐標(biāo)空間下的標(biāo)記點(diǎn)點(diǎn)集，記為Pm，并將 Pm變換至定位系統(tǒng)坐標(biāo)空間，記定位系統(tǒng)坐標(biāo)空間（即物理空間）的標(biāo)記點(diǎn)點(diǎn)集為PTrac;kOT。 外科手術(shù)導(dǎo)航注冊(cè)的最終目的就是要確定圖像空間與物理空間之間的坐標(biāo)變換關(guān)系，利用 點(diǎn)集P lmage和Pftacto可以確定圖像空間與物理空間之間的變換關(guān)系T，至此即可完成外科手 術(shù)導(dǎo)航注冊(cè)的過(guò)程。
[0090] 在步驟S15中，應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí)時(shí)導(dǎo)航 過(guò)程。
[0091] 在本實(shí)施方式中，所述應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí) 時(shí)導(dǎo)航過(guò)程的步驟具體包括：
[0092] 通過(guò)以下公式=P1=T · Pt，將手術(shù)器械的空間坐標(biāo)從所述空間定位系統(tǒng)的物理空間 變換到圖像空間；
[0093] 其中，所述空間定位系統(tǒng)的手術(shù)器械的空間坐標(biāo)是相對(duì)于所述空間定位系統(tǒng)本身 的，記為P t，手術(shù)器械在變換后的所述圖像空間的虛擬位置記為P1，所述空間定位系統(tǒng)坐標(biāo) 系與所述圖像空間坐標(biāo)系之間的空間變換記為T(mén)。
[0094] 本發(fā)明所提供的一種腹部外科手術(shù)導(dǎo)航方法，通過(guò)引入了影像獲取設(shè)備(例如深 度相機(jī)）的應(yīng)用，提出一種全新的腹部外科手術(shù)導(dǎo)航系統(tǒng)自動(dòng)注冊(cè)的方法。應(yīng)用本發(fā)明方 法，可以有效簡(jiǎn)化腹部手術(shù)導(dǎo)航過(guò)程，克服腹部手術(shù)導(dǎo)航過(guò)程中需要人工干預(yù)標(biāo)記點(diǎn)選取 所帶來(lái)的操作上的不便以及潛在錯(cuò)誤會(huì)導(dǎo)致注冊(cè)結(jié)果誤差過(guò)大的問(wèn)題，進(jìn)而實(shí)現(xiàn)整個(gè)手術(shù) 導(dǎo)航過(guò)程的自動(dòng)化注冊(cè)。即使當(dāng)病人體位發(fā)生移動(dòng)或者手術(shù)區(qū)域有變形情況時(shí)，利用本發(fā) 明方法，可以實(shí)現(xiàn)可回溯性與重復(fù)性的注冊(cè)步驟，導(dǎo)航系統(tǒng)可以實(shí)時(shí)展示手術(shù)過(guò)程中腹部 臟器等軟組織在不同呼吸相位的導(dǎo)航定位誤差，外科醫(yī)生可以根據(jù)實(shí)時(shí)顯示的注冊(cè)誤差， 選擇最小注冊(cè)誤差時(shí)刻進(jìn)行手術(shù)操作。使用本發(fā)明提供的技術(shù)方案可以使得整個(gè)過(guò)程自動(dòng) 完成，無(wú)需人工干預(yù)，從而提高手術(shù)導(dǎo)航精度與手術(shù)的安全性，讓外科醫(yī)生準(zhǔn)確、快速地完 成手術(shù)操作。
[0095] 本發(fā)明【具體實(shí)施方式】還提供一種腹部外科手術(shù)導(dǎo)航系統(tǒng)10,主要包括：
[0096] 點(diǎn)集獲取模塊101，用于對(duì)術(shù)前采集到帶標(biāo)記點(diǎn)信息的CT或MR圖像利用第一預(yù)設(shè) 算法自動(dòng)提取標(biāo)記點(diǎn)以得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息；
[0097] 坐標(biāo)獲取模塊102,用于術(shù)中通過(guò)影像獲取設(shè)備獲取病人手術(shù)區(qū)域的RGB圖像以 及深度圖像，并采用第二預(yù)設(shè)算法獲取所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息；
[0098] 坐標(biāo)轉(zhuǎn)換模塊103,用于借助所述深度圖像將所述二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三 維坐標(biāo)以得到術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn)集信息；
[0099] 注冊(cè)模塊104,用于將得到的所述術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集和所述術(shù)中物理空 間的標(biāo)記點(diǎn)點(diǎn)集做點(diǎn)對(duì)匹配運(yùn)算，以得到圖像空間與物理空間的變換結(jié)果并完成注冊(cè)過(guò) 程；
[0100] 導(dǎo)航模塊105,用于應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí)時(shí)導(dǎo) 航過(guò)程。
[0101] 本發(fā)明所提供的一種腹部外科手術(shù)導(dǎo)航系統(tǒng)10,通過(guò)引入了影像獲取設(shè)備(例如 深度相機(jī))的應(yīng)用，提出一種全新的腹部外科手術(shù)導(dǎo)航系統(tǒng)自動(dòng)注冊(cè)的方法。應(yīng)用本發(fā)明方 法，可以有效簡(jiǎn)化腹部手術(shù)導(dǎo)航過(guò)程，克服腹部手術(shù)導(dǎo)航過(guò)程中需要人工干預(yù)標(biāo)記點(diǎn)選取 所帶來(lái)的操作上的不便以及潛在錯(cuò)誤會(huì)導(dǎo)致注冊(cè)結(jié)果誤差過(guò)大的問(wèn)題，進(jìn)而實(shí)現(xiàn)整個(gè)手術(shù) 導(dǎo)航過(guò)程的自動(dòng)化注冊(cè)。即使當(dāng)病人體位發(fā)生移動(dòng)或者手術(shù)區(qū)域有變形情況時(shí)，利用本發(fā) 明方法，可以實(shí)現(xiàn)可回溯性與重復(fù)性的注冊(cè)步驟，導(dǎo)航系統(tǒng)可以實(shí)時(shí)展示手術(shù)過(guò)程中腹部 臟器等軟組織在不同呼吸相位的導(dǎo)航定位誤差，外科醫(yī)生可以根據(jù)實(shí)時(shí)顯示的注冊(cè)誤差， 選擇最小注冊(cè)誤差時(shí)刻進(jìn)行手術(shù)操作。使用本發(fā)明提供的技術(shù)方案可以使得整個(gè)過(guò)程自動(dòng) 完成，無(wú)需人工干預(yù)，從而提高手術(shù)導(dǎo)航精度與手術(shù)的安全性，讓外科醫(yī)生準(zhǔn)確、快速地完 成手術(shù)操作。
[0102] 以下將對(duì)本發(fā)明所提供的一種腹部外科手術(shù)導(dǎo)航系統(tǒng)10進(jìn)行詳細(xì)說(shuō)明。
[0103] 請(qǐng)參閱圖2,所示為本發(fā)明一實(shí)施方式中腹部外科手術(shù)導(dǎo)航系統(tǒng)10的結(jié)構(gòu)示意 圖。在本實(shí)施方式中，腹部外科手術(shù)導(dǎo)航系統(tǒng)10包括點(diǎn)集獲取模塊101、坐標(biāo)獲取模塊102、 坐標(biāo)轉(zhuǎn)換模塊103、注冊(cè)模塊104以及導(dǎo)航模塊105。
[0104] 點(diǎn)集獲取模塊101，用于對(duì)術(shù)前采集到帶標(biāo)記點(diǎn)信息的CT或MR圖像利用第一預(yù)設(shè) 算法自動(dòng)提取標(biāo)記點(diǎn)以得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息。
[0105] 在本實(shí)施方式中，腹部外科手術(shù)導(dǎo)航系統(tǒng)10還包括掃描模塊（圖中未不出）。掃描 模塊，用于在病人待手術(shù)區(qū)域的腹部體表上貼上多個(gè)標(biāo)記點(diǎn)后，對(duì)病人進(jìn)行CT或MR掃描以 采集帶標(biāo)記點(diǎn)信息的CT或MR圖像。
[0106] 在本實(shí)施方式中，第一預(yù)設(shè)算法可以為結(jié)合區(qū)域生長(zhǎng)算法及高斯曲率對(duì)術(shù)前采集 的帶標(biāo)記點(diǎn)信息的CT或MR圖像作標(biāo)記點(diǎn)自動(dòng)提取,得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息。
[0107] 坐標(biāo)獲取模塊102,用于術(shù)中通過(guò)影像獲取設(shè)備獲取病人手術(shù)區(qū)域的RGB圖像以 及深度圖像，并采用第二預(yù)設(shè)算法獲取所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息。
[0108] 在本實(shí)施方式中，所述影像獲取設(shè)備具體為深度相機(jī)，如美國(guó)微軟公司生產(chǎn)的 KinectSensor。在本實(shí)施方式中，所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息具體位于所述影 像獲取設(shè)備坐標(biāo)系下，
[0109] 在本實(shí)施方式中，病人在進(jìn)行CT或MR掃描之后，保持標(biāo)記點(diǎn)點(diǎn)集在體表上的位置 不變，利用影像獲取設(shè)備(例如Kinecf Sensor)獲取病人體表上標(biāo)記點(diǎn)點(diǎn)集的二維彩色信 息及深度信息，例如RGB圖像以及深度圖像，根據(jù)影像獲取設(shè)備(例如KinectK: Sensor)獲 取的圖像信息計(jì)算影像獲取設(shè)備(例如Kinect:"' Sensor)坐標(biāo)系統(tǒng)下標(biāo)記點(diǎn)集的空間位置， 計(jì)算所采用的第二預(yù)設(shè)算法通常為術(shù)中采用深度相機(jī)（如Kineet? Sensor)獲取手術(shù)區(qū)域 的RGB圖像以及深度圖像，根據(jù)標(biāo)記點(diǎn)在RGB三個(gè)分量上的值的比率獲取RGB圖像的二維 標(biāo)記點(diǎn)坐標(biāo)信息，借助深度圖像，可將二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三維坐標(biāo)，得到術(shù)中物理 空間的標(biāo)記點(diǎn)點(diǎn)集信息。
[0110] 在本實(shí)施方式中，所得的所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息是相對(duì)于影像獲取 設(shè)備坐標(biāo)系的，由于手術(shù)過(guò)程中手術(shù)器械的空間坐標(biāo)信息是相對(duì)于空間定位系統(tǒng)的，因此， 需要將所得的所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息變換到空間定位系統(tǒng)坐標(biāo)下，這個(gè)過(guò)程 的實(shí)施可由以下步驟完成。
[0111] 在本實(shí)施方式中，坐標(biāo)轉(zhuǎn)換模塊102,還用于將所述影像獲取設(shè)備坐標(biāo)系下的所述 二維標(biāo)記點(diǎn)的坐標(biāo)變換到空間定位系統(tǒng)坐標(biāo)系下。
[0112] 在本實(shí)施方式中，坐標(biāo)轉(zhuǎn)換模塊102,還用于將所述影像獲取設(shè)備坐標(biāo)系下的所述 二維標(biāo)記點(diǎn)的坐標(biāo)通過(guò)以下公式變換到空間定位系統(tǒng)下：
[01 1 3] ^Tracker i ，^ToF2Tracker ^ToF i ?
[0114] 其中，所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)記為ΡΜ」，空間定位 系統(tǒng)坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo)系之間的空間變換記為T(mén) T()F2TMC;kOT，變換后的所述空間 定位系統(tǒng)坐標(biāo)系下的坐標(biāo)點(diǎn)記為？!^。1^」。其中，1 = 1，2,"*11，11表示所提取的標(biāo)記點(diǎn)的個(gè) 數(shù)。
[0115] 在本實(shí)施方式中，坐標(biāo)轉(zhuǎn)換模塊102,還具體用于在所述影像獲取設(shè)備固定一個(gè)可 以被所述空間定位系統(tǒng)識(shí)別的參考幀工具；通過(guò)以下公式獲取空間定位系統(tǒng)坐標(biāo)系與所述 影像獲取設(shè)備坐標(biāo)系之間的空間變換 ，^ToF2Tracker? ，^ToF2Tracker ，^ToF2Eef ，^Eef2Tracker ?
[0116] 其中，通過(guò)所述空間定位系統(tǒng)實(shí)時(shí)捕獲所述參考幀工具的空間位置信息記為 Tltemracto，所述影像獲取設(shè)備與所述參考幀工具之間的相對(duì)位置信息記為τΜ2Κε?。
[0117] 坐標(biāo)轉(zhuǎn)換模塊103,用于借助所述深度圖像將所述二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三 維坐標(biāo)以得到術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn)集信息；
[0118] 注冊(cè)模塊104,用于將得到的所述術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集和所述術(shù)中物理空 間的標(biāo)記點(diǎn)點(diǎn)集做點(diǎn)對(duì)匹配運(yùn)算，以得到圖像空間與物理空間的變換結(jié)果并完成注冊(cè)過(guò) 程；
[0119] 在本實(shí)施方式中，由點(diǎn)集獲取模塊101已經(jīng)自動(dòng)提取出圖像空間的標(biāo)記點(diǎn)點(diǎn)集， 記為P lmage ;由坐標(biāo)轉(zhuǎn)換模塊102可以自動(dòng)提取出標(biāo)記點(diǎn)在深度相機(jī)坐標(biāo)空間下的標(biāo)記點(diǎn)點(diǎn) 集，記為Pm，并將P m變換至定位系統(tǒng)坐標(biāo)空間，記定位系統(tǒng)坐標(biāo)空間（即物理空間)的標(biāo)記 點(diǎn)點(diǎn)集為Pftacto。外科手術(shù)導(dǎo)航注冊(cè)的最終目的就是要確定圖像空間與物理空間之間的坐 標(biāo)變換關(guān)系，利用點(diǎn)集P lmage和PTrac；kCT可以確定圖像空間與物理空間之間的變換關(guān)系τ，至此 即可完成外科手術(shù)導(dǎo)航注冊(cè)的過(guò)程。
[0120] 導(dǎo)航模塊105,用于應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí)時(shí)導(dǎo) 航過(guò)程。
[0121] 在本實(shí)施方式中，所述應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí) 時(shí)導(dǎo)航過(guò)程的步驟具體包括：
[0122] 通過(guò)以下公式=P1=T · Pt，將手術(shù)器械的空間坐標(biāo)從所述空間定位系統(tǒng)的物理空間 變換到圖像空間；
[0123] 其中，所述空間定位系統(tǒng)的手術(shù)器械的空間坐標(biāo)是相對(duì)于所述空間定位系統(tǒng)本身 的，記為P t，手術(shù)器械在變換后的所述圖像空間的虛擬位置記為P1，所述空間定位系統(tǒng)坐標(biāo) 系與所述圖像空間坐標(biāo)系之間的空間變換記為T(mén)。
[0124] 本發(fā)明所提供的一種腹部外科手術(shù)導(dǎo)航系統(tǒng)10,通過(guò)引入了影像獲取設(shè)備(例如 深度相機(jī))的應(yīng)用，提出一種全新的腹部外科手術(shù)導(dǎo)航系統(tǒng)自動(dòng)注冊(cè)的方法。應(yīng)用本發(fā)明方 法，可以有效簡(jiǎn)化腹部手術(shù)導(dǎo)航過(guò)程，克服腹部手術(shù)導(dǎo)航過(guò)程中需要人工干預(yù)標(biāo)記點(diǎn)選取 所帶來(lái)的操作上的不便以及潛在錯(cuò)誤會(huì)導(dǎo)致注冊(cè)結(jié)果誤差過(guò)大的問(wèn)題，進(jìn)而實(shí)現(xiàn)整個(gè)手術(shù) 導(dǎo)航過(guò)程的自動(dòng)化注冊(cè)。即使當(dāng)病人體位發(fā)生移動(dòng)或者手術(shù)區(qū)域有變形情況時(shí)，利用本發(fā) 明方法，可以實(shí)現(xiàn)可回溯性與重復(fù)性的注冊(cè)步驟，導(dǎo)航系統(tǒng)可以實(shí)時(shí)展示手術(shù)過(guò)程中腹部 臟器等軟組織在不同呼吸相位的導(dǎo)航定位誤差，外科醫(yī)生可以根據(jù)實(shí)時(shí)顯示的注冊(cè)誤差， 選擇最小注冊(cè)誤差時(shí)刻進(jìn)行手術(shù)操作。使用本發(fā)明提供的技術(shù)方案可以使得整個(gè)過(guò)程自動(dòng) 完成，無(wú)需人工干預(yù)，從而提高手術(shù)導(dǎo)航精度與手術(shù)的安全性，讓外科醫(yī)生準(zhǔn)確、快速地完 成手術(shù)操作。
[0125] 在本發(fā)明實(shí)施例中，本發(fā)明提供的技術(shù)方案，通過(guò)引入了影像獲取設(shè)備(例如深度 相機(jī)）的應(yīng)用，提出一種全新的腹部外科手術(shù)導(dǎo)航系統(tǒng)自動(dòng)注冊(cè)的方法。應(yīng)用本發(fā)明方法， 可以有效簡(jiǎn)化腹部手術(shù)導(dǎo)航過(guò)程，克服腹部手術(shù)導(dǎo)航過(guò)程中需要人工干預(yù)標(biāo)記點(diǎn)選取所帶 來(lái)的操作上的不便以及潛在錯(cuò)誤會(huì)導(dǎo)致注冊(cè)結(jié)果誤差過(guò)大的問(wèn)題，進(jìn)而實(shí)現(xiàn)整個(gè)腹部手術(shù) 導(dǎo)航過(guò)程的自動(dòng)化注冊(cè)。即使當(dāng)病人體位發(fā)生移動(dòng)或者手術(shù)區(qū)域有變形情況時(shí)，利用本發(fā) 明方法，可以實(shí)現(xiàn)可回溯性與重復(fù)性的注冊(cè)步驟，導(dǎo)航系統(tǒng)可以實(shí)時(shí)展示手術(shù)過(guò)程中腹部 臟器等軟組織在不同呼吸相位的導(dǎo)航定位誤差，外科醫(yī)生可以根據(jù)實(shí)時(shí)顯示的注冊(cè)誤差， 選擇最小注冊(cè)誤差時(shí)刻進(jìn)行手術(shù)操作。使用本發(fā)明提供的技術(shù)方案可以使得整個(gè)過(guò)程自動(dòng) 完成，無(wú)需人工干預(yù)，從而提高手術(shù)導(dǎo)航精度與手術(shù)的安全性，讓外科醫(yī)生準(zhǔn)確、快速地完 成手術(shù)操作。
[0126] 值得注意的是，上述實(shí)施例中，所包括的各個(gè)單元只是按照功能邏輯進(jìn)行劃分的， 但并不局限于上述的劃分，只要能夠?qū)崿F(xiàn)相應(yīng)的功能即可；另外，各功能單元的具體名稱也 只是為了便于相互區(qū)分，并不用于限制本發(fā)明的保護(hù)范圍。
[0127] 另外，本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述各實(shí)施例方法中的全部或部分步驟 是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，相應(yīng)的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介 質(zhì)中，所述的存儲(chǔ)介質(zhì)，如R0M/RAM、磁盤(pán)或光盤(pán)等。
[0128] 以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精 神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1. 一種腹部外科手術(shù)導(dǎo)航方法，其特征在于，所述方法包括： 對(duì)術(shù)前采集到帶標(biāo)記點(diǎn)信息的CT或MR圖像利用第一預(yù)設(shè)算法自動(dòng)提取標(biāo)記點(diǎn)以得到 術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息； 術(shù)中通過(guò)影像獲取設(shè)備獲取病人手術(shù)區(qū)域的RGB圖像以及深度圖像，并采用第二預(yù)設(shè) 算法獲取所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息； 借助所述深度圖像將所述二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三維坐標(biāo)以得到術(shù)中物理空間 的標(biāo)記點(diǎn)點(diǎn)集信息； 將得到的所述術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集和所述術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn)集做點(diǎn)對(duì) 匹配運(yùn)算，以得到圖像空間與物理空間的變換結(jié)果并完成注冊(cè)過(guò)程； 應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí)時(shí)導(dǎo)航過(guò)程。
2. 如權(quán)利要求1所述的腹部外科手術(shù)導(dǎo)航方法，其特征在于，在所述對(duì)術(shù)前采集到帶 標(biāo)記點(diǎn)信息的CT或MR圖像利用第一預(yù)設(shè)算法自動(dòng)提取標(biāo)記點(diǎn)以得到術(shù)前圖像空間的標(biāo)記 點(diǎn)點(diǎn)集信息的步驟之前，所述方法還包括： 在病人待手術(shù)區(qū)域的腹部體表上貼上多個(gè)標(biāo)記點(diǎn)后，對(duì)病人進(jìn)行CT或MR掃描以采集 帶標(biāo)記點(diǎn)信息的CT或MR圖像。
3. 如權(quán)利要求1所述的腹部外科手術(shù)導(dǎo)航方法，其特征在于，所述第一預(yù)設(shè)算法具體 為結(jié)合區(qū)域生長(zhǎng)算法及高斯曲率對(duì)術(shù)前采集的帶標(biāo)記點(diǎn)信息的CT或MR圖像作標(biāo)記點(diǎn)自動(dòng) 提取，得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息。
4. 如權(quán)利要求1所述的腹部外科手術(shù)導(dǎo)航方法，其特征在于，所述第二預(yù)設(shè)算法具體 為術(shù)中采用深度相機(jī)獲取手術(shù)區(qū)域的RGB圖像以及深度圖像，根據(jù)標(biāo)記點(diǎn)在RGB三個(gè)分量 上的值的比率獲取RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息，借助深度圖像，可將二維標(biāo)記點(diǎn)坐標(biāo) 信息轉(zhuǎn)化為三維坐標(biāo)，得到術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn)集信息。
5. 如權(quán)利要求1所述的腹部外科手術(shù)導(dǎo)航方法，其特征在于，所述影像獲取設(shè)備具體 為深度相機(jī)。
6. 如權(quán)利要求1所述的腹部外科手術(shù)導(dǎo)航方法，其特征在于，所述RGB圖像的二維標(biāo)記 點(diǎn)坐標(biāo)信息具體位于所述影像獲取設(shè)備坐標(biāo)系下，其中，在所述術(shù)中通過(guò)影像獲取設(shè)備獲 取病人手術(shù)區(qū)域的RGB圖像以及深度圖像，并采用第二預(yù)設(shè)算法獲取所述RGB圖像的二維 標(biāo)記點(diǎn)坐標(biāo)信息的步驟之后，所述方法還包括： 將所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)變換到空間定位系統(tǒng)坐標(biāo)系 下。
7. 如權(quán)利要求6所述的腹部外科手術(shù)導(dǎo)航方法，其特征在于，所述將所述影像獲取設(shè) 備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)變換到空間定位系統(tǒng)坐標(biāo)系下的步驟具體包括： 將所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)通過(guò)以下公式變換到空 間定位系統(tǒng)下： ^Tracker i ，^ToF2Tracker ^ToF i ? 其中，所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)記為，空間定位系統(tǒng) 坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo)系之間的空間變換記為T(mén)T()F2TMcto，變換后的所述空間定位 系統(tǒng)坐標(biāo)系下的坐標(biāo)點(diǎn)記為PTMcto
8. 如權(quán)利要求7所述的腹部外科手術(shù)導(dǎo)航方法，其特征在于，獲取空間定位系統(tǒng)坐標(biāo) 系與所述影像獲取設(shè)備坐標(biāo)系之間的空間變換TT()F2TMC;kCT的步驟具體包括： 在所述影像獲取設(shè)備固定一個(gè)可以被所述空間定位系統(tǒng)識(shí)別的參考幀工具； 通過(guò)以下公式獲取空間定位系統(tǒng)坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo)系之間的空間變換 ，^ToF2Tracker? ，^ToF2Tracker ，^ToF2Eef ，^Eef2Tracker ? 其中，通過(guò)所述空間定位系統(tǒng)實(shí)時(shí)捕獲所述參考幀工具的空間位置信息記為 TK6f2Tracto，所述影像獲取設(shè)備與所述參考幀工具之間的相對(duì)位置信息記為T(mén)M2K6f。
9. 如權(quán)利要求8所述的腹部外科手術(shù)導(dǎo)航方法，其特征在于，所述應(yīng)用注冊(cè)所得的圖 像空間與物理空間的變換結(jié)果，開(kāi)始實(shí)時(shí)導(dǎo)航過(guò)程的步驟具體包括： 通過(guò)以下公式ffT ? PT，將手術(shù)器械的空間坐標(biāo)從所述空間定位系統(tǒng)的物理空間變換 到圖像空間； 其中，所述空間定位系統(tǒng)的手術(shù)器械的空間坐標(biāo)是相對(duì)于所述空間定位系統(tǒng)本身的， 記為PT，手術(shù)器械在變換后的所述圖像空間的虛擬位置記為h，所述空間定位系統(tǒng)坐標(biāo)系 與圖像空間坐標(biāo)系之間的空間變換記為T(mén)。
10. -種腹部外科手術(shù)導(dǎo)航系統(tǒng)，其特征在于，所述系統(tǒng)包括： 點(diǎn)集獲取模塊，用于對(duì)術(shù)前采集到帶標(biāo)記點(diǎn)信息的CT或MR圖像利用第一預(yù)設(shè)算法自 動(dòng)提取標(biāo)記點(diǎn)以得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息； 坐標(biāo)獲取模塊，用于術(shù)中通過(guò)影像獲取設(shè)備獲取病人手術(shù)區(qū)域的RGB圖像以及深度圖 像，并采用第二預(yù)設(shè)算法獲取所述RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息； 坐標(biāo)轉(zhuǎn)換模塊，用于借助所述深度圖像將所述二維標(biāo)記點(diǎn)坐標(biāo)信息轉(zhuǎn)化為三維坐標(biāo)以 得到術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn)集信息； 注冊(cè)模塊，用于將得到的所述術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集和所述術(shù)中物理空間的標(biāo)記 點(diǎn)點(diǎn)集做點(diǎn)對(duì)匹配運(yùn)算，以得到圖像空間與物理空間的變換結(jié)果并完成注冊(cè)過(guò)程； 導(dǎo)航模塊，用于應(yīng)用注冊(cè)所得的圖像空間與物理空間的變換結(jié)果，開(kāi)始實(shí)時(shí)導(dǎo)航過(guò)程。
11. 如權(quán)利要求10所述的腹部外科手術(shù)導(dǎo)航系統(tǒng)，其特征在于，所述系統(tǒng)還包括： 掃描模塊，用于在病人待手術(shù)區(qū)域的腹部體表上貼上多個(gè)標(biāo)記點(diǎn)后，對(duì)病人進(jìn)行CT或 MR掃描以采集帶標(biāo)記點(diǎn)信息的CT或MR圖像。
12. 如權(quán)利要求10所述的腹部外科手術(shù)導(dǎo)航系統(tǒng)，其特征在于，所述第一預(yù)設(shè)算法具 體為結(jié)合區(qū)域生長(zhǎng)算法及高斯曲率對(duì)術(shù)前采集的帶標(biāo)記點(diǎn)信息的CT或MR圖像作標(biāo)記點(diǎn)自 動(dòng)提取，得到術(shù)前圖像空間的標(biāo)記點(diǎn)點(diǎn)集信息。
13. 如權(quán)利要求10所述的腹部外科手術(shù)導(dǎo)航系統(tǒng)，其特征在于，所述第二預(yù)設(shè)算法具 體為術(shù)中采用深度相機(jī)獲取手術(shù)區(qū)域的RGB圖像以及深度圖像，根據(jù)標(biāo)記點(diǎn)在RGB三個(gè)分 量上的值的比率獲取RGB圖像的二維標(biāo)記點(diǎn)坐標(biāo)信息，借助深度圖像，可將二維標(biāo)記點(diǎn)坐 標(biāo)信息轉(zhuǎn)化為三維坐標(biāo)，得到術(shù)中物理空間的標(biāo)記點(diǎn)點(diǎn)集信息。
14. 如權(quán)利要求10所述的腹部外科手術(shù)導(dǎo)航系統(tǒng)，其特征在于，所述影像獲取設(shè)備具 體為深度相機(jī)。
15. 如權(quán)利要求10所述的腹部外科手術(shù)導(dǎo)航系統(tǒng)，其特征在于， 所述坐標(biāo)轉(zhuǎn)換模塊，還用于將所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)變 換到空間定位系統(tǒng)坐標(biāo)系下。
16. 如權(quán)利要求15所述的腹部外科手術(shù)導(dǎo)航系統(tǒng)，其特征在于， 所述坐標(biāo)轉(zhuǎn)換模塊，還具體用于將所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐 標(biāo)通過(guò)以下公式變換到空間定位系統(tǒng)下： ^Tracker i ，^ToF2Tracker ^ToF i ? 其中，所述影像獲取設(shè)備坐標(biāo)系下的所述二維標(biāo)記點(diǎn)的坐標(biāo)記為，空間定位系統(tǒng) 坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo)系之間的空間變換記為T(mén)T()F2TMcto，變換后的所述空間定位 系統(tǒng)坐標(biāo)系下的坐標(biāo)點(diǎn)記為PTMcto
17. 如權(quán)利要求16所述的腹部外科手術(shù)導(dǎo)航系統(tǒng)，其特征在于， 所述坐標(biāo)轉(zhuǎn)換模塊，還具體用于在所述影像獲取設(shè)備固定一個(gè)可以被所述空間定位系 統(tǒng)識(shí)別的參考幀工具，并通過(guò)以下公式獲取空間定位系統(tǒng)坐標(biāo)系與所述影像獲取設(shè)備坐標(biāo) 系之間的空間變換 ，^ToF2Tracker? ，^ToF2Tracker ，^ToF2Eef ，^Eef2Tracker ? 其中，通過(guò)所述空間定位系統(tǒng)實(shí)時(shí)捕獲所述參考幀工具的空間位置信息記為 TK6f2Tracto，所述影像獲取設(shè)備與所述參考幀工具之間的相對(duì)位置信息記為T(mén)M2K6f。
18. 如權(quán)利要求17所述的腹部外科手術(shù)導(dǎo)航系統(tǒng)，其特征在于， 所述導(dǎo)航模塊，具體用于通過(guò)以下公式? PT，將手術(shù)器械的空間坐標(biāo)從所述空間 定位系統(tǒng)的物理空間變換到圖像空間； 其中，所述空間定位系統(tǒng)的手術(shù)器械的空間坐標(biāo)是相對(duì)于所述空間定位系統(tǒng)本身的， 記為PT，手術(shù)器械在變換后的所述圖像空間的虛擬位置記為h，所述空間定位系統(tǒng)坐標(biāo)系 與所述圖像空間坐標(biāo)系之間的空間變換記為T(mén)。
【文檔編號(hào)】A61B19/00GK104434313SQ201310436801
【公開(kāi)日】2015年3月25日 申請(qǐng)日期:2013年9月23日 優(yōu)先權(quán)日:2013年9月23日
【發(fā)明者】羅火靈, 肖德強(qiáng), 賈富倉(cāng), 方馳華, 范應(yīng)方 申請(qǐng)人:中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院, 南方醫(yī)科大學(xué)珠江醫(yī)院