本發(fā)明涉及一種基于場景分解的胃腸手術導航方法及系統(tǒng)。
背景技術：
隨著技術和設備的成熟，醫(yī)療器械已在多個領域特別是胃腸外科被廣泛使用,然而醫(yī)療器械的操作特點使其失去了傳統(tǒng)開腹手術中的精細“觸覺”，從而使得在腔鏡下辨別解剖位置的“視覺”變得極其重要；而且醫(yī)療器械多為2D視野，缺少縱深感，盡管市面上能提供3D的鏡頭，但因費用昂貴在國內仍不能很好地推廣；其次，醫(yī)療器械還有一個自身固有的局限性：術者的視野從開放手術的160度縮窄到70度，這種管狀視野使術者不能同時間有效觀察到腹腔內多個臟器和器械——大大降低了對全局的把握性，胃腸手術特別是胃癌手術，是基于以周圍血管為指引的手術，血管的走行和變異對手術的策略具有重要意義。
基于胃腸手術的復雜環(huán)境，其手術場景復雜多變，不易跟蹤，影響其匹配的精準，無法實現(xiàn)精確的定位。
技術實現(xiàn)要素：
本發(fā)明的目的在于提供一種基于場景分解的胃腸手術導航方法及系統(tǒng)，本發(fā)明可以實現(xiàn)胃腸手術過程中的精確導航。
其技術方案如下：
基于場景分解的胃腸手術導航方法，
該方法包括如下步驟：
獲取患者至少在手術部位的掃描圖像數(shù)據(jù)，該掃描圖像數(shù)據(jù)至少包括至少兩個分場景的分場景數(shù)據(jù)；
醫(yī)療器械進入時手術區(qū)域時，將其位置數(shù)據(jù)與各分場景數(shù)據(jù)的定位數(shù)據(jù)相對應，并獲取對應的分場景數(shù)據(jù)的虛擬影像；
將對應的分場景的虛擬影像輸出用于進行手術的導航。
進一步的，所述醫(yī)療器械具有鏡頭，當其進入手術部位時，通過鏡頭獲取鏡頭前端實時的光學影像；
跟蹤元件跟蹤醫(yī)療器械鏡頭的位置數(shù)據(jù)，并將該位置數(shù)據(jù)與前述掃描圖像數(shù)據(jù)匹配，得到與光學影像相對應的虛擬影像；
將醫(yī)療器械前端實時的光學影像及虛擬影像輸出用于進行手術的實時導航。
進一步的，所述分場景包括：中央?yún)^(qū)、右下區(qū)、左下區(qū)、右上區(qū)、肝胃區(qū)；
至少兩個所述分場景數(shù)據(jù)為：左下區(qū)數(shù)據(jù)、右下區(qū)數(shù)據(jù)、右上區(qū)數(shù)據(jù)、中央?yún)^(qū)數(shù)據(jù)、肝胃區(qū)數(shù)據(jù)，在前述步驟中，將前述醫(yī)療器械鏡頭的位置數(shù)據(jù)與左下區(qū)數(shù)據(jù)、右下區(qū)數(shù)據(jù)、右上區(qū)數(shù)據(jù)、中央?yún)^(qū)數(shù)據(jù)或肝胃區(qū)數(shù)據(jù)中的定位數(shù)據(jù)進行對應，并顯示與其相對應的虛擬影像。
進一步的，前述步驟中，醫(yī)療器械依次進入左下區(qū)、右下區(qū)、右上區(qū)、中央?yún)^(qū)、肝胃區(qū)，并顯示與此相對應的虛擬影像。
進一步的，所述掃描圖像數(shù)據(jù)包括子數(shù)據(jù)，該子數(shù)據(jù)包括有子虛擬影像，在前述步驟中，跟蹤光學影像中的特征點，當光學影像中的部分區(qū)域的特征點出現(xiàn)翻轉或移動，則調用該區(qū)域的子虛擬影像，并將該子虛擬影像疊加到前述虛擬影像中輸出。
進一步的，前述掃描圖像數(shù)據(jù)包括：至少在手術部位的圖像數(shù)據(jù)及人體定位基點的定位數(shù)據(jù)；
將前述位置數(shù)據(jù)與定位數(shù)據(jù)相匹配，并顯示該定位數(shù)據(jù)相對應的虛擬影像。
進一步的，在所述醫(yī)療器械上設有跟蹤標記點，所述跟蹤元件通過跟蹤該跟蹤標記點獲取醫(yī)療器械鏡頭的位置數(shù)據(jù)。
進一步的，將醫(yī)療器械前端實時的光學影像及虛擬影像進行融合后形成融合圖像，并向外輸出該融合圖像。
進一步的，在前述步驟中，獲取鏡頭前端實時的光學影像后，提取該光學影像中的特征點，并根據(jù)該特征點與虛擬影像中的特征點相對應，識別出錯誤的特征點并將該錯誤的特征點運除；或者，計算光學影像與虛擬影像的偏差值，并根據(jù)該偏差值對虛擬影像進行糾偏。
基于場景分解的胃腸手術導航系統(tǒng)，該系統(tǒng)包括：
醫(yī)療器械，用于進入手術區(qū)域，用于進行手術操作；
跟蹤元件，用于跟蹤醫(yī)療器械的位置數(shù)據(jù)；
存儲單元，用于存儲事先獲取的掃描圖像數(shù)據(jù)，該掃描圖像數(shù)據(jù)至少包括至少兩個分場景的分場景數(shù)據(jù)；
匹配單元，用于將醫(yī)療器械的位置數(shù)據(jù)與對應的分場景數(shù)據(jù)進行匹配，并得到該分場景對應的虛擬影像；
輸出單元，用于將所對應的分場景對應的虛擬影像至少部分向外輸出。
下面對本發(fā)明的優(yōu)點或原理進行說明：
1、在手術過程中，并且由于腹腔臟器的結構復雜，位置不固定，容易變形，為提高導航的精度，將手術場景分為多個分場景，進一步的提高其匹配的精度，實現(xiàn)高精度的導航。
2、該導航方法需事先獲取患者至少在手術部位的掃描圖像數(shù)據(jù)；手術時醫(yī)療器械獲取其鏡頭前端的光學影像，同時跟蹤元件會跟蹤醫(yī)療器械的位置，并將鏡頭的位置數(shù)據(jù)與掃描圖像數(shù)據(jù)匹配，得到與光學影像相對應的虛擬影像，實現(xiàn)手術的實時動態(tài)導航。
3、通過掃描事先獲取的掃描圖像數(shù)據(jù)中，包括有圖像數(shù)據(jù)，還包括有其對應的定位數(shù)據(jù)；事先掃描時可以通過CT掃描或其他方式完成，掃描時可以在患者身上設置定位基點，也可以以患者身體的某些特征為定位基點，以準確的對該圖像數(shù)據(jù)進行定位，以便后期通過數(shù)據(jù)處理逼真再現(xiàn)患者手術部位的三維影像。
4、為方便醫(yī)務人員對手術的效果進行觀察，將醫(yī)療器械前端實時的光學影像及虛擬影像進行融合后形成融合圖像，并向外輸出該融合圖像。
5、對于胃腸手術而言，采用以下五個分場景：中央?yún)^(qū)、右下區(qū)、左下區(qū)、右上區(qū)、肝胃區(qū)，通過這五個分場景進行區(qū)分，可以更好的符合手術過程中的實際需要。
6、通過跟蹤元件對醫(yī)療器械進行位置跟蹤，并將手術場景與掃描圖像數(shù)據(jù)進行匹配，但其精度仍然有待提高，此時，可以提取鏡頭前端的光學影像中的特征點，并與虛擬影像中的特征點相對應，再根據(jù)兩者之間的偏差值進行糾正，以達到精度匹配的效果。
7、跟蹤光學影像中的特征點，當光學影像中的部分區(qū)域的特征點出現(xiàn)翻轉或移動，則調用該區(qū)域的子虛擬影像，并將該子虛擬影像疊加到前述虛擬影像中輸出；這樣，可以適應手術過程中的復雜情況，實現(xiàn)實時精確的導航。
8、在對光學影像與虛擬影像進行匹配時，將錯誤的特征點去除或者根據(jù)偏差進行糾偏，以達到精確的融合效果。
附圖說明
圖1是本發(fā)明實施例所述胃腸手術導航方法的流程圖。
具體實施方式
下面對本發(fā)明的實施例進行詳細說明。
如圖1所示，基于場景分解的腹腔鏡胃腸手術導航方法，該方法包括如下步驟：
醫(yī)務人員事先通過CT掃描，獲取患者在手術部位的掃描圖像數(shù)據(jù)(該掃描圖像數(shù)據(jù)包括至少在手術部位的圖像數(shù)據(jù)及人體定位基點的定位數(shù)據(jù))；將該掃描圖像數(shù)據(jù)在存儲單元中進行存儲，在手術前將掃描圖像數(shù)據(jù)導入該導航系統(tǒng)的處理器，重建三維的虛擬模型；
在手術過程中，醫(yī)療器械(本實施例中，醫(yī)療器械為腹腔鏡，也可以為帶有鏡頭的手術刀頭或其他器械)進入手術部位，鏡頭進行視頻采集，獲取其前端實時的光學影像；
通過跟蹤元件跟蹤醫(yī)療器械鏡頭的位置，并基于該位置進行粗匹配；
再通過場景分割及圖像特征的匹配實現(xiàn)精確的匹配；
通過場景融合將光學影像及虛擬模型融合在一起并向外輸出。
現(xiàn)具體說明如下：
醫(yī)療器械具有鏡頭，當其進入手術部位時，通過鏡頭獲取醫(yī)療器械跟蹤元件跟蹤醫(yī)療器械鏡頭的位置數(shù)據(jù)，并將該位置數(shù)據(jù)與前述掃描圖像數(shù)據(jù)中的定位數(shù)據(jù)相匹配，得到與光學影像相對應的虛擬影像；將鏡頭前端實時的光學影像及虛擬影像輸出用于進行手術的實時導航。
在所述醫(yī)療器械上設有跟蹤標記點，所述跟蹤元件通過跟蹤該跟蹤標記點獲取醫(yī)療器械鏡頭的位置數(shù)據(jù)(此時，需要先對醫(yī)療器械鏡頭進行標定，其步驟如下：采用平面標定模板為12X9的方格圖，方格邊長為20mm，鏡頭輸出平面分辨率為1280X720；①從不同的角度拍攝10幅方格圖的圖像；②檢測方格圖所有角點，利用其空間點和對應圖像點之間的關系求解相機的焦距、坐標中心等內部參；③求解相機的畸變參數(shù)。④利用最終求出的徑向畸變參數(shù)恢復無畸變的圖像)。
將鏡頭前端實時的光學影像及虛擬影像進行融合后形成實時的融合圖像，并向外輸出該融合圖像。
通過CT掃描獲取患者的掃描圖像數(shù)據(jù)時，該掃描圖像數(shù)據(jù)包括多個分場景的分場景數(shù)據(jù)；醫(yī)療器械進入時手術區(qū)域時，將其位置數(shù)據(jù)與各分場景數(shù)據(jù)的定位數(shù)據(jù)相對應，并獲取對應的分場景數(shù)據(jù)的虛擬影像；具體如下：
所述掃描圖像數(shù)據(jù)被分割為五個分場景，即左下區(qū)(胃網膜左血管周圍)、右下區(qū)(幽門下)、右上區(qū)(幽門上、肝十二指腸韌帶)、中央?yún)^(qū)(腹腔動脈及其分支)、肝胃區(qū)肝胃之間，醫(yī)療器械進入時手術區(qū)域時，將其位置數(shù)據(jù)與各分場景數(shù)據(jù)的定位數(shù)據(jù)相對應，并顯示對應的分場景數(shù)據(jù)的虛擬影像。采用該方法減少配準的誤差，保證手術的精確性。
醫(yī)療器械進入五個分場景的順序為:左下區(qū)、右下區(qū)、右上區(qū)、中央?yún)^(qū)、肝胃區(qū)。
醫(yī)療器械首次進入各分場景時，醫(yī)療器械先停頓并將此時的光學影像與所述虛擬影像進行匹配，并進入相應的分場景，顯示對應的分場景數(shù)據(jù)的虛擬影像。
在進行導航時，獲取鏡頭前端實時的光學影像后，提取該光學影像中的特征點，并根據(jù)該特征點與虛擬影像中的特征點相對應，識別出錯誤的特征點并將該錯誤的特征點運除；或者，計算光學影像與虛擬影像的偏差值，并根據(jù)該偏差值對虛擬影像進行糾偏，以達到精確定位的效果。具體是：采用一種基于雙目視覺圖像特征點的圖像配準方法，實現(xiàn)三維模型在醫(yī)療器械雙目視覺影像中的匹配。首先根據(jù)三維模型和醫(yī)療器械位置獲得相應位置下虛擬醫(yī)療器械圖像，利用Harris特征提取算法，檢測虛擬影像和光學影像的特征點，然后針對錯誤的配準點，依據(jù)基于特征互相關及組織結構不變性來濾除掉這種錯配點，最后在得到正確配準的特征點后，使用TPS變換得到配準后圖像?；诙喑叨菻arris角點SAM的配準算法是一種新的算法，其實現(xiàn)的步驟是：首先利用小波多尺度積提取圖像邊緣信息；然后，引入多尺度Harris角點檢測算子提取圖像邊緣信息；接著通過估計變換參數(shù)和定義相似性測度函數(shù)來確定最佳匹配點對，最后利用最小二乘求解變換參數(shù)。其優(yōu)點在于：1.配準的精讀和速度較高；2.利用小波多尺度積邊緣檢測，可消除噪音對特征點提取的干擾；3.引入角點的尺度空間表示，實現(xiàn)多分辨率圖像間的配準。
在匹配的過程中，還需要解決虛實遮擋的問題，其解決的方法是采用離線處理及在線處理兩方面：1、離線處理過程中，首先拍攝左右兩幅圖像，計算場景中每個像素點的深度值，然后對深度值進行改善，以便提取一個相對粗糙的遮擋邊緣，同時計算場景中在HSV顏色空間中每個像素點的像素值，并采用銳化等圖像增強處理得到較為清晰的輪廓；之后利用融合手段，結合粗糙遮擋邊緣和輪廓信息，獲得更高精度的遮擋邊緣。2、在線處理過程中，首先跟蹤特征點，根據(jù)特征點的位移計算目標輪廓的位移量，獲得近似輪廓，然后以近似輪廓為中心的帶狀區(qū)域內求目標物體的精確輪廓，最后利用重繪技術獲得遮擋關系正確的虛實合成圖像。繼續(xù)下一幀圖像，將當前幀圖像中求得的目標輪廓作為下一幀的初始輪廓，重復以上步驟即可。
由于腹腔臟器不固定，活動性較大，容易出現(xiàn)形變，所以其難點在于處理形變的問題；解決方法是：事先通過對患者進行CT掃描，并重建三維的虛擬模型后，可以通過處理再建立子數(shù)據(jù)，該子數(shù)據(jù)包括有子虛擬影像(如部分血管處于垂直狀態(tài)時的虛擬影像)，在手術過程中，跟蹤光學影像中的特征點，當光學影像中的部分區(qū)域的特征點出現(xiàn)翻轉或移動，則調用該區(qū)域的子虛擬影像(如部分血管處于垂直狀態(tài)時的虛擬影像)，并將該子虛擬影像疊加到前述虛擬影像中輸出。
本實施例具有如下優(yōu)點：
1、該導航方法需事先獲取患者至少在手術部位的掃描圖像數(shù)據(jù)；手術時醫(yī)療器械獲取其鏡頭前端的光學影像，同時跟蹤元件會跟蹤醫(yī)療器械的位置，并將鏡頭的位置數(shù)據(jù)與到掃描圖像匹配，得到與光學影像相對應的虛擬影像，實現(xiàn)手術的實時動態(tài)導航。
2、通過掃描事先獲取的掃描圖像數(shù)據(jù)中，包括有圖像數(shù)據(jù)，還包括有其對應的定位數(shù)據(jù)；事先掃描時可以通過CT掃描或其他方式完成，掃描時可以在患者身上設置定位基點，也可以以患者身體的某些特征為定位基點，以準確的對該圖像數(shù)據(jù)進行定位，以便和光學影像實現(xiàn)精準的匹配。
3、為方便醫(yī)務人員對手術的效果進行觀察，將鏡頭前端實時的光學影像及虛擬影像進行融合后形成融合圖像，并向外輸出該融合圖像。
4、在手術過程中，并且由于腹腔臟器的結構復雜，位置不固定，容易變形，鏡頭前端的光學影像與重建的虛擬影像之間會存在配準的誤差，為提高配準的精度，將手術場景分為多個分場景。
5、對于胃腸手術而言，采用以下五個分場景：中央?yún)^(qū)、右下區(qū)、左下區(qū)、右上區(qū)、肝胃區(qū)，通過這五個分場景進行區(qū)分，可以更好的符合手術過程中的實際需要。
6、通過跟蹤元件對醫(yī)療器械進行位置跟蹤，并將手術場景與掃描圖像數(shù)據(jù)進行匹配，但其精度仍然有待提高，此時，可以提取鏡頭前端的光學影像中的特征點，并與虛擬影像中的特征點相對應，再根據(jù)兩者之間的偏差值進行糾正，以達到精度匹配的效果。
7、跟蹤光學影像中的特征點，當光學影像中的部分區(qū)域的特征點出現(xiàn)翻轉或移動，則調用該區(qū)域的子虛擬影像，并將該子虛擬影像疊加到前述虛擬影像中輸出；這樣，可以適應手術過程中的臟器和血管位置的變化，實現(xiàn)實時精確的導航。
8、在對光學影像與虛擬影像進行匹配時，將錯誤的特征點去除或者根據(jù)偏差進行糾偏，以達到精確的融合效果。
以上僅為本發(fā)明的具體實施例，并不以此限定本發(fā)明的保護范圍；在不違反本發(fā)明構思的基礎上所作的任何替換與改進，均屬本發(fā)明的保護范圍。