本發(fā)明屬于增強(qiáng)現(xiàn)實(shí)(ar)應(yīng)用技術(shù)領(lǐng)域，涉及一種實(shí)時(shí)匹配的手術(shù)場(chǎng)景增強(qiáng)現(xiàn)實(shí)投射方法。

背景技術(shù)：

隨著計(jì)算機(jī)技術(shù)和影像學(xué)技術(shù)的發(fā)展，利用術(shù)前患者影像的重建圖像可以更加準(zhǔn)確且直觀地顯示出患者的解剖結(jié)構(gòu)和疾病的病理生理變化。進(jìn)一步地，將這些患者特異性的影像投射于手術(shù)區(qū)域，來(lái)引導(dǎo)手術(shù)進(jìn)程，保證手術(shù)安全成為新興的技術(shù)應(yīng)用。為解決上述問(wèn)題,中國(guó)專(zhuān)利201010585237.2號(hào)便公開(kāi)了一種“醫(yī)學(xué)手術(shù)導(dǎo)航方法”。該發(fā)明提供了一種醫(yī)學(xué)手術(shù)導(dǎo)航方法，包括：第一步驟，用于對(duì)醫(yī)學(xué)圖像進(jìn)行三維重建以得到虛擬模型；第二步驟，用于通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)將所述虛擬模型與病人身體部位融合，以便在融合狀態(tài)下實(shí)現(xiàn)對(duì)醫(yī)學(xué)手術(shù)的導(dǎo)航作用。根據(jù)本發(fā)明的醫(yī)學(xué)手術(shù)導(dǎo)航方法使得外科醫(yī)生能夠獲取更加準(zhǔn)確且直觀的病人身體信息。在該技術(shù)方案中，醫(yī)學(xué)手術(shù)導(dǎo)航包括：對(duì)醫(yī)學(xué)圖像進(jìn)行三維重建得到虛擬模型和虛擬模型與病人身體融合兩部分。其存在以下難點(diǎn)：1、醫(yī)學(xué)圖像的三維重建難題?，F(xiàn)有的醫(yī)學(xué)圖像軟件進(jìn)行自動(dòng)三維重建多用于骨骼系統(tǒng)或血管增強(qiáng)的組織，而用于腹部等軟組織結(jié)構(gòu)則沒(méi)有好的算法解決，多需要依賴人工的判別和描繪。2、虛擬模型與病人實(shí)體的定位難題。由于手術(shù)中病人或病人的器官處于運(yùn)動(dòng)的狀態(tài)，給圖像與實(shí)體的自動(dòng)融合匹配造成困難。較大的誤差不僅不能使用戶從感官上相信虛擬物體在真實(shí)環(huán)境中的存在性及其一體性。3、圖像的投射問(wèn)題。手術(shù)中醫(yī)生的頭部運(yùn)動(dòng)經(jīng)常會(huì)遮擋圖像，如何利用投射圖像進(jìn)行引導(dǎo)又不造成手術(shù)者的負(fù)擔(dān)是有待解決。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種實(shí)時(shí)匹配的手術(shù)場(chǎng)景增強(qiáng)現(xiàn)實(shí)投射方法。

本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：一種實(shí)時(shí)匹配的手術(shù)場(chǎng)景增強(qiáng)現(xiàn)實(shí)投射方法，該方法包括：根據(jù)ct圖像進(jìn)行三維重建，得到虛擬3d模型；通過(guò)紅外攝像機(jī)獲得手術(shù)病人的紅外圖像，并將其與虛擬3d模型的冠狀面圖像(從人體的前面往后面看)進(jìn)行融合；同時(shí)對(duì)手術(shù)病人的體位信息進(jìn)行實(shí)時(shí)跟蹤，最后根據(jù)體位信息，通過(guò)投影儀將融合圖像投射在病人體表。

進(jìn)一步地,所述圖像融合方法如下：

(1)根據(jù)虛擬3d模型獲得冠狀面圖像的灰度圖；采用全局閾值分割法對(duì)灰度圖進(jìn)行分割，提取前景圖像；

(2)對(duì)紅外攝像機(jī)實(shí)時(shí)采集的紅外圖像，采用基于仿射傳播聚類(lèi)的視頻關(guān)鍵幀提取方法，獲取關(guān)鍵幀圖像。采用全局閾值分割法對(duì)關(guān)鍵幀圖像的灰度圖進(jìn)行分割，提取前景圖像；

(3)將步驟1和2獲得的前景圖像進(jìn)行融合。

進(jìn)一步地,根據(jù)體位信息，通過(guò)投影儀將融合圖像投射在病人體表，具體為：

(1)通過(guò)訓(xùn)練,獲得紅外攝像機(jī)和投影儀位置相對(duì)于病人位置的變化矩陣t；

(2)對(duì)紅外攝像機(jī)實(shí)時(shí)采集的紅外圖像，采用基于仿射傳播聚類(lèi)的視頻關(guān)鍵幀提取方法，獲取關(guān)鍵幀圖像。采用全局閾值分割法對(duì)關(guān)鍵幀圖像的灰度圖進(jìn)行分割，獲得前景圖像中各個(gè)像素點(diǎn)的坐標(biāo)(xu,yu)；

(3)根據(jù)像素點(diǎn)坐標(biāo)以及變換矩陣t，調(diào)整投影儀的位置，將融合圖像投射在病人體表。

本發(fā)明的有益效果在于：本發(fā)明的快速ct圖像三維重建算法可實(shí)現(xiàn)ct圖像的快速自動(dòng)重建，為實(shí)時(shí)引導(dǎo)提供圖像基礎(chǔ)。由于本發(fā)明的紅外線反射攝像頭可以捕捉到病人器官的運(yùn)動(dòng)，使得投射圖像具有實(shí)時(shí)的跟蹤功能，為手術(shù)提供實(shí)時(shí)的指引。計(jì)算機(jī)的定位融合模塊，可解決因手術(shù)中變化位置等因素的干擾和影像，保證了疊合圖像的穩(wěn)定性和可靠性。

附圖說(shuō)明

圖1是本發(fā)明的技術(shù)路線圖。

圖2是本發(fā)明的實(shí)時(shí)手術(shù)區(qū)域跟蹤識(shí)別過(guò)程圖。

圖3是本發(fā)明的投射構(gòu)造圖。

圖4為投射效果圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施方式對(duì)本發(fā)明進(jìn)一步說(shuō)明。

本發(fā)明提供一種實(shí)時(shí)匹配的手術(shù)場(chǎng)景增強(qiáng)現(xiàn)實(shí)投射方法，該方法包括：根據(jù)ct圖像進(jìn)行三維重建，得到虛擬3d模型；通過(guò)紅外攝像機(jī)獲得手術(shù)病人的紅外圖像，并將其與虛擬3d模型的冠狀面圖像進(jìn)行融合；同時(shí)對(duì)手術(shù)病人的體位信息進(jìn)行實(shí)時(shí)跟蹤，最后根據(jù)體位信息，通過(guò)投影儀將融合圖像投射在病人體表。

其中，ct圖像的快速三維自動(dòng)重建是基于血管樹(shù)和概率模型的腹腔臟器分割算法，主要任務(wù)為從腹部ct圖像中提取出實(shí)質(zhì)性臟器和血管結(jié)構(gòu)，并重建其3d模型，以便更直觀地反映出器官的生理構(gòu)造。本算法的基本思路為通過(guò)提取器官的血管樹(shù)來(lái)對(duì)器官進(jìn)行定位，并將與器官內(nèi)血管在特定距離范圍內(nèi)的細(xì)胞(體素)定義為器官結(jié)構(gòu)。這一過(guò)程類(lèi)似于樹(shù)葉的生長(zhǎng)過(guò)程，只有與樹(shù)枝在特定距離范圍內(nèi)的樹(shù)葉才能接收到樹(shù)枝傳輸?shù)臓I(yíng)養(yǎng)物質(zhì)，并存活下來(lái)。同樣地，只有與器官血管在特定距離范圍內(nèi)的細(xì)胞才能與之進(jìn)行物質(zhì)交換并成為器官的一部分。本算法采用了概率模型，利用ct圖像中密度值、位置以及與血管的距離等特征定義了四個(gè)概率公式，通過(guò)綜合考量這四個(gè)概率來(lái)得到最終的判定結(jié)果。在腹部器官分割的過(guò)程中，用戶只需要通過(guò)交互界面輸入一個(gè)種子點(diǎn)，系統(tǒng)即可通過(guò)區(qū)域生長(zhǎng)、形態(tài)擴(kuò)張和閾值等算法得到器官的大致定位，并分割出較為準(zhǔn)確的器官血管樹(shù)。此后，系統(tǒng)會(huì)根據(jù)血管樹(shù)的點(diǎn)云構(gòu)建kd樹(shù)，實(shí)現(xiàn)組織器官的自動(dòng)重建。

所述圖像融合方法如下：

(1)根據(jù)虛擬3d模型獲得冠狀面圖像的灰度圖；采用全局閾值分割法對(duì)灰度圖進(jìn)行分割，提取前景圖像；一般情況下，閾值取100。

(2)對(duì)紅外攝像機(jī)實(shí)時(shí)采集的紅外視頻序列，采用基于仿射傳播聚類(lèi)的視頻關(guān)鍵幀提取方法，獲取關(guān)鍵幀圖像。具體如下：

計(jì)算任意兩個(gè)幀i(0≤i<m)andk(0≤k<m)的直方圖交的距離。采用仿射傳播聚類(lèi)方法生成聚類(lèi)集合:

r(i,k)←d(i,k)-max{a(i,j)+s(i,j)}

(j∈{1,2,...,n},butj≠k)

然后采用全局閾值分割法對(duì)關(guān)鍵幀圖像的灰度圖進(jìn)行分割，提取前景圖像；一般情況下，閾值取100。

(3)將步驟1和2獲得的前景圖像進(jìn)行融合。

根據(jù)體位信息，通過(guò)投影儀將融合圖像投射在病人體表，具體為：

(1)通過(guò)訓(xùn)練，獲得紅外攝像機(jī)和投影儀位置相對(duì)于病人位置的變化矩陣t；變化矩陣t可通過(guò)在病人體表設(shè)置4個(gè)或更多的標(biāo)志點(diǎn)，通過(guò)病人沿設(shè)定方向移動(dòng)一定距離來(lái)獲得。假定病人坐標(biāo)系為xwywzw，在手術(shù)病人體表設(shè)置4個(gè)定位點(diǎn)，病人分別沿x，y和z軸作緩慢運(yùn)動(dòng)。optictrack紅外攝像機(jī)獲取紅外圖像，檢測(cè)與識(shí)別現(xiàn)實(shí)手術(shù)病人場(chǎng)景的信息，生成v3×3和w3×1矩陣，v3×3是一個(gè)3×3的矩陣，表示了攝像頭相對(duì)于病人坐標(biāo)系下繞x，y，z三個(gè)坐標(biāo)軸的旋轉(zhuǎn)角度。w3×1是一個(gè)3×l的矩陣，表示了攝像頭相對(duì)病人坐標(biāo)系下沿x，y，z三個(gè)坐標(biāo)軸平移距離。從而得到攝像頭和投影儀相對(duì)于病人坐標(biāo)系的變換矩陣t，如式(1)所示。

(2)對(duì)紅外攝像機(jī)實(shí)時(shí)采集的紅外視頻序列，采用基于仿射傳播聚類(lèi)的視頻關(guān)鍵幀提取方法，獲取關(guān)鍵幀圖像。采用全局閾值分割法對(duì)關(guān)鍵幀圖像的灰度圖進(jìn)行分割，獲得前景圖像中各個(gè)像素點(diǎn)的坐標(biāo)(xu,yu)；

(3)根據(jù)像素點(diǎn)坐標(biāo)以及變換矩陣t，調(diào)整投影儀的位置，將融合圖像投射在病人體表，如圖4所示。

其中，(u,v,h)為投射的虛擬模型上某一點(diǎn)的坐標(biāo)，(xw,yw,zw)為人體坐標(biāo)系下的坐標(biāo)；p矩陣為已知的攝像頭固有內(nèi)部物理參數(shù)矩陣，a矩陣為單位矩陣。

本發(fā)明通過(guò)圖像融合以及實(shí)時(shí)跟蹤，解決人體器官三維圖像與手術(shù)實(shí)景界面的錨定問(wèn)題，從而將虛擬三維結(jié)構(gòu)與實(shí)體解剖畫(huà)面準(zhǔn)確對(duì)合，解決手術(shù)區(qū)域被牽拉扭曲甚至切除后，快速更新三維結(jié)構(gòu)圖，以配合手術(shù)進(jìn)程與實(shí)體解剖畫(huà)面相疊合，保證了疊合圖像的穩(wěn)定性和可靠性。