具有不用手的控制的混合圖像/場(chǎng)景再現(xiàn)器相關(guān)申請(qǐng)的交叉引用本申請(qǐng)要求2012年5月25日提交的美國(guó)臨時(shí)申請(qǐng)序列號(hào)61/651,775的權(quán)益并且以引用的方式并入本文中。背景本申請(qǐng)一般來(lái)說(shuō)涉及一種用于模擬外科手術(shù)過(guò)程的系統(tǒng)和方法。更具體來(lái)說(shuō)，本申請(qǐng)涉及一種通過(guò)使用不用手的控制將組織動(dòng)力學(xué)模型聯(lián)接到患者特定圖像來(lái)將靜態(tài)/靜止醫(yī)療圖像轉(zhuǎn)化成與醫(yī)療工具(例如像外科手術(shù)工具、探針和/或植入式醫(yī)療裝置)交互作用的動(dòng)態(tài)和交互式圖像的系統(tǒng)和方法。外科醫(yī)生缺乏練習(xí)工具和準(zhǔn)備工具，所述工具將為他們提供具有物理組織性質(zhì)的真實(shí)視覺(jué)模型。更重要的是，需要具有包含以下各項(xiàng)的“完全沉浸式”外科手術(shù)工具:(i)患者特定外科手術(shù)區(qū)域(例如，動(dòng)脈瘤)的真實(shí)的“逼真的”2D和/或3D顯示；(ii)局部患者特定外科手術(shù)區(qū)域幾何形狀和物理性質(zhì)的建模；(iii)使得能夠操縱外科手術(shù)模型的患者特定區(qū)域并且實(shí)際上執(zhí)行外科手術(shù)動(dòng)作(如切割、轉(zhuǎn)移和夾緊)的接口；以及(iv)向外科醫(yī)生提供反饋提示的接口。此外，允許外科醫(yī)生使用不用手的控制來(lái)執(zhí)行模擬的工具連同用于糾正組織模型的圖形圖像中的缺陷或以其它方式修改所述圖形圖像的裝置一起也將是有用的。概述本發(fā)明提供多個(gè)示例性實(shí)施方案，這些實(shí)施方案包括但不限于一種用于執(zhí)行醫(yī)療過(guò)程的建模系統(tǒng)，所述建模系統(tǒng)包括:顯示器；圖像生成器，所述圖像生成器用于生成動(dòng)態(tài)組織圖像以便在顯示器上顯示，所述生成是用于在顯示器上顯示真實(shí)地表示對(duì)應(yīng)實(shí)際生物組織的組織；用戶(hù)工具生成器，所述用戶(hù)工具生成器用于生成用戶(hù)工具的工具模型以便在顯示器上顯示，所述工具模型用于通過(guò)由用戶(hù)輸入提供的操縱來(lái)與動(dòng)態(tài)組織圖像動(dòng)態(tài)地交互作用；以及用戶(hù)接口，所述用戶(hù)接口提供用于調(diào)整顯示在顯示器上的動(dòng)態(tài)組織圖像的工具，所述調(diào)整是通過(guò)添加或修改組織的特征來(lái)進(jìn)行，以補(bǔ)償位于實(shí)際生物組織中但最初顯示的動(dòng)態(tài)組織圖像中所缺少的解剖結(jié)構(gòu)，以使得所顯示的動(dòng)態(tài)組織圖像隨后與添加或修改的特征一起顯示在顯示器上。所述工具模型在顯示器上被顯示為與動(dòng)態(tài)組織圖像動(dòng)態(tài)地交互作用以便真實(shí)地模擬醫(yī)療過(guò)程。本發(fā)明還提供一種使得用戶(hù)能夠執(zhí)行模擬醫(yī)療過(guò)程的建模系統(tǒng)，所述系統(tǒng)包括:一個(gè)或多個(gè)計(jì)算機(jī)；顯示器，所述顯示器用于向用戶(hù)顯示圖像；數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)用于存儲(chǔ)特定患者的組織的物理特性；圖像生成器，所述圖像生成器使用所述計(jì)算機(jī)中的一個(gè)或多個(gè)來(lái)執(zhí)行軟件以便生成特定患者的組織的動(dòng)態(tài)真實(shí)圖像以便在顯示器上顯示，其中所述組織的真實(shí)圖像被提供為示出指示特定患者的組織的外觀(guān)，所述外觀(guān)包括陰影效果和紋理；用戶(hù)工具庫(kù)，所述用戶(hù)工具庫(kù)用于提供醫(yī)療過(guò)程中所使用的實(shí)際用戶(hù)工具的多個(gè)用戶(hù)工具模型；用戶(hù)接口，所述用戶(hù)接口用于從用戶(hù)接受用于選擇所述用戶(hù)工具模型中的一個(gè)的輸入；用戶(hù)工具生成器，所述用戶(hù)工具生成器使用所述計(jì)算機(jī)中的一個(gè)或多個(gè)來(lái)執(zhí)行軟件以便生成所選擇用戶(hù)工具模型的真實(shí)工具圖像以便在顯示器上顯示；用戶(hù)接口，所述用戶(hù)接口用于從用戶(hù)接受輸入，所述輸入用于動(dòng)態(tài)地操縱所選擇用戶(hù)工具圖像以便在模擬醫(yī)療過(guò)程期間與所述組織的真實(shí)圖像動(dòng)態(tài)地交互作用，以便在顯示器上向用戶(hù)實(shí)時(shí)顯示；以及用戶(hù)接口，所述用戶(hù)接口提供用于調(diào)整顯示在顯示器上的動(dòng)態(tài)組織圖像的工具，所述調(diào)整是通過(guò)添加或修改組織的特征來(lái)進(jìn)行，以補(bǔ)償位于特定患者的實(shí)際生物組織中但最初顯示的動(dòng)態(tài)組織圖像中所缺少的解剖結(jié)構(gòu)，以使得所顯示的動(dòng)態(tài)組織圖像隨后與添加或修改的特征一起顯示在顯示器上。用戶(hù)工具圖像與組織的圖像之間的動(dòng)態(tài)交互作用是使用具有真實(shí)視覺(jué)特征的圖像來(lái)顯示在顯示器上，所述真實(shí)視覺(jué)特征基于所存儲(chǔ)的物理特性展示出真實(shí)的機(jī)械交互作用。本發(fā)明進(jìn)一步提供一種用于執(zhí)行外科手術(shù)模擬的建模系統(tǒng)，所述建模系統(tǒng)包括:數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)用于存儲(chǔ)從特定患者的醫(yī)療圖像取得或得到的患者組織圖像信息；所述數(shù)據(jù)庫(kù)還用于存儲(chǔ)所述組織的標(biāo)準(zhǔn)特性；顯示器；圖像生成器，所述圖像生成器用于生成特定患者的動(dòng)態(tài)組織圖像以便在顯示器上顯示，所述生成使用所述患者圖像信息以使得所述動(dòng)態(tài)組織圖像在顯示器上被顯示為真實(shí)地表示特定患者的對(duì)應(yīng)實(shí)際組織；用戶(hù)工具生成器，所述用戶(hù)工具生成器用于生成用戶(hù)工具的工具模型以便在顯示器上顯示，所述工具模型用于通過(guò)由用戶(hù)提供的操縱來(lái)與所述動(dòng)態(tài)組織圖像動(dòng)態(tài)地交互作用；以及用戶(hù)接口，所述用戶(hù)接口提供用于調(diào)整顯示在顯示器上的動(dòng)態(tài)組織圖像的工具，所述調(diào)整是通過(guò)添加或修改組織的特征來(lái)進(jìn)行，以補(bǔ)償位于特定患者的實(shí)際生物組織中但最初顯示的動(dòng)態(tài)組織圖像中所缺少的解剖結(jié)構(gòu)，以使得所顯示的動(dòng)態(tài)組織圖像隨后與添加或修改的特征一起顯示在顯示器上。所述工具模型在顯示器上被顯示為與動(dòng)態(tài)組織圖像動(dòng)態(tài)地交互作用以便真實(shí)地模擬醫(yī)療過(guò)程。本發(fā)明還提供一種用于使得用戶(hù)能夠執(zhí)行模擬醫(yī)療過(guò)程的建模系統(tǒng)，所述系統(tǒng)包括:一個(gè)或多個(gè)計(jì)算機(jī)；顯示器，所述顯示器用于向用戶(hù)顯示圖像；數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)用于存儲(chǔ)特定患者的組織的特性；圖像生成器，所述圖像生成器使用所述計(jì)算機(jī)中的一個(gè)或多個(gè)來(lái)執(zhí)行軟件以便基于特定患者的所存儲(chǔ)特性生成特定患者的組織的動(dòng)態(tài)真實(shí)圖像以便在顯示器上顯示，其中所述組織的真實(shí)圖像被提供為示出指示特定患者的組織的外觀(guān)，所述外觀(guān)包括陰影效果和紋理；用戶(hù)工具庫(kù)，所述用戶(hù)工具庫(kù)用于提供醫(yī)療過(guò)程中所使用的實(shí)際用戶(hù)工具的多個(gè)用戶(hù)工具模型；用戶(hù)接口，所述用戶(hù)接口用于從用戶(hù)接受用于選擇所述用戶(hù)工具模型中的一個(gè)的輸入；用戶(hù)工具生成器，所述用戶(hù)工具生成器使用所述計(jì)算機(jī)中的一個(gè)或多個(gè)來(lái)執(zhí)行軟件以便生成所選擇用戶(hù)工具模型的真實(shí)工具圖像以便在顯示器上顯示；以及用戶(hù)接口，所述用戶(hù)接口包括用于從用戶(hù)接受不用手的輸入的攝像機(jī)，所述輸入用于動(dòng)態(tài)地操縱所選擇用戶(hù)工具圖像和/或組織的圖像以便在模擬醫(yī)療過(guò)程期間與所述組織的真實(shí)圖像動(dòng)態(tài)地交互作用，以便在顯示器上向用戶(hù)實(shí)時(shí)顯示。用戶(hù)工具圖像與組織的圖像之間的動(dòng)態(tài)交互作用是使用具有真實(shí)視覺(jué)特征的圖像來(lái)顯示在顯示器上，所述真實(shí)視覺(jué)特征展示出真實(shí)的機(jī)械交互作用。本發(fā)明還提供一種用于使得用戶(hù)能夠執(zhí)行模擬醫(yī)療過(guò)程的建模系統(tǒng)，所述系統(tǒng)包括:一個(gè)或多個(gè)計(jì)算機(jī)；顯示器，所述顯示器用于向用戶(hù)顯示圖像；圖像生成器，所述圖像生成器使用所述計(jì)算機(jī)中的一個(gè)或多個(gè)來(lái)執(zhí)行軟件以便生成特定患者的組織的動(dòng)態(tài)真實(shí)圖像以便在顯示器上顯示，其中所述組織的真實(shí)圖像被提供為示出指示實(shí)際組織的外觀(guān)，所述外觀(guān)包括陰影效果和紋理；數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)用于存儲(chǔ)用戶(hù)工具庫(kù)，所述用戶(hù)工具庫(kù)提供醫(yī)療過(guò)程中所使用的實(shí)際用戶(hù)工具的多個(gè)用戶(hù)工具模型；用戶(hù)接口，所述用戶(hù)接口用于從用戶(hù)接受用于選擇所述用戶(hù)工具模型中的一個(gè)的輸入；用戶(hù)工具生成器，所述用戶(hù)工具生成器使用所述計(jì)算機(jī)中的一個(gè)或多個(gè)來(lái)執(zhí)行軟件以便生成所選擇用戶(hù)工具模型的真實(shí)工具圖像以便在顯示器上顯示；以及用戶(hù)接口，所述用戶(hù)接口可跟蹤由用戶(hù)用于特定患者的實(shí)際外科手術(shù)儀器的運(yùn)動(dòng)，以使得所述運(yùn)動(dòng)用于動(dòng)態(tài)地操縱所選擇用戶(hù)工具圖像和/或組織的圖像以便在模擬醫(yī)療過(guò)程期間與所述組織的真實(shí)圖像動(dòng)態(tài)地交互作用，以便在顯示器上向用戶(hù)實(shí)時(shí)顯示。本發(fā)明進(jìn)一步提供一種執(zhí)行外科手術(shù)模擬的方法，所述方法包括以下步驟:提供計(jì)算機(jī)系統(tǒng)；提供連接到計(jì)算機(jī)裝置的顯示器；獲得關(guān)于特定患者的生物組織的患者圖像信息以便存儲(chǔ)在計(jì)算機(jī)系統(tǒng)中；使用計(jì)算機(jī)系統(tǒng)生成特定患者的生物組織的動(dòng)態(tài)圖像以便在顯示器上顯示，所述生成使用患者圖像信息以使得動(dòng)態(tài)組織圖像在顯示器上被顯示為真實(shí)地表示特定患者的對(duì)應(yīng)實(shí)際組織；使用計(jì)算機(jī)系統(tǒng)生成用戶(hù)工具模型以便在顯示器上顯示，所述用戶(hù)工具模型用于通過(guò)由用戶(hù)輸入的操縱來(lái)與動(dòng)態(tài)組織圖像動(dòng)態(tài)地交互作用；使用對(duì)計(jì)算機(jī)系統(tǒng)的用戶(hù)輸入調(diào)整顯示在顯示器上的動(dòng)態(tài)組織圖像，所述調(diào)整是通過(guò)添加或修改供顯示的組織的特征來(lái)進(jìn)行，以便補(bǔ)償位于特定患者的實(shí)際生物組織中但最初顯示的動(dòng)態(tài)組織圖像中所缺少的解剖結(jié)構(gòu)，以使得所顯示的動(dòng)態(tài)組織圖像隨后與添加或修改的特征一起顯示在顯示器上；以及使用計(jì)算機(jī)系統(tǒng)生成醫(yī)療過(guò)程的真實(shí)模擬以便在顯示器上顯示，所述真實(shí)模擬示出動(dòng)態(tài)組織圖像與用戶(hù)工具模型之間的交互作用，所述交互作用是根據(jù)用戶(hù)的輸入。本發(fā)明還提供額外的示例性實(shí)施方案，下文更詳細(xì)地描述這些額外的實(shí)施方案中的一些但不是全部。附圖簡(jiǎn)述通過(guò)閱讀以下說(shuō)明并參考附圖，本發(fā)明所涉及領(lǐng)域的技術(shù)人員將清楚本文所述的本發(fā)明的實(shí)施例的特征和優(yōu)點(diǎn)，其中:圖1提供示例性外科手術(shù)室系統(tǒng)的高層次示意圖；圖1A提供用于實(shí)施示例性外科手術(shù)室系統(tǒng)的示例性計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)；圖2提供協(xié)作手術(shù)室概念的實(shí)例的高層次圖，所述協(xié)作手術(shù)室概念使用聯(lián)網(wǎng)在一起的多個(gè)外科手術(shù)室；圖3示出用于示例性外科手術(shù)室實(shí)施方案的分布式模擬網(wǎng)絡(luò)概念的示例性分解圖；圖4是示出示例性外科手術(shù)室系統(tǒng)的示例性軟件功能性的框圖；圖5是示出高層次真實(shí)圖像生成器(RIG)平臺(tái)的圖；圖6提供用于示例性外科手術(shù)室系統(tǒng)的手術(shù)練習(xí)平臺(tái)(SRP)的示例性高層次體系結(jié)構(gòu)和工作流程；圖7提供示例性SRP的示例性計(jì)算機(jī)體系結(jié)構(gòu)；圖8是示出用于調(diào)整動(dòng)態(tài)組織圖像的示例性工具的流程圖；圖9是示出示例性交互式工具和組織元件的屏幕截圖；圖10A和圖10B是示出示例性不用手的輸入交互作用的圖像；圖11是示出可被用戶(hù)拖動(dòng)的示例性標(biāo)記物和工具的屏幕截圖；圖12A、圖12B、圖13A和圖13B是示出可使用魔術(shù)組織棒工具加以修改的示例性結(jié)構(gòu)的屏幕截圖；以及圖14A和圖14B是示出可使用組織繪制工具加以修改的示例性結(jié)構(gòu)的屏幕截圖。示例性實(shí)施方案的詳細(xì)描述圖1提供系統(tǒng)1的一種應(yīng)用的示例性實(shí)施方案，其中患者特定掃描圖像(CT、MRI或類(lèi)似圖像)(14)被饋送到系統(tǒng)控制臺(tái)(10)；創(chuàng)建三維真實(shí)解剖結(jié)構(gòu)顯示(18)的算法將紋理、陰影、陰影效果和其它提示添加到圖像；機(jī)械性質(zhì)算法(16)將機(jī)械行為特性指派給圖像并且將圖像從靜態(tài)/靜止圖像轉(zhuǎn)變?yōu)閯?dòng)態(tài)和交互式圖像/模型。具有或不具有力反饋的接口(20)連接到系統(tǒng)，從而允許外科醫(yī)生/操作員(12)操縱系統(tǒng)所創(chuàng)建的圖像/模型；外科醫(yī)生可從工具庫(kù)和植入物庫(kù)中選擇工具和植入物，其中包括那些工具和植入物的特性。外科醫(yī)生隨后在其患者機(jī)體的可操縱的、動(dòng)態(tài)的和交互式的三維圖像/模型上以真實(shí)的和動(dòng)態(tài)的方式執(zhí)行虛擬外科手術(shù)。系統(tǒng)包括執(zhí)行程序，所述執(zhí)行程序運(yùn)行和管理所有系統(tǒng)組件并且根據(jù)外科醫(yī)生/操作員(12)的動(dòng)作來(lái)更新子組件的狀態(tài)。例如，當(dāng)外科醫(yī)生使用接口(20)推擠(如通過(guò)使用選擇工具)他在所述顯示(18)中看到的組織時(shí)，機(jī)械性質(zhì)模型(16)接收關(guān)于所施加力的信息，例如力的方向；所使用的工具包括工具的材料和形狀以及工具的其它機(jī)械特性，隨后使用機(jī)械性質(zhì)來(lái)根據(jù)所施加力計(jì)算所述圖像的三維取向和設(shè)置的新?tīng)顟B(tài)；執(zhí)行程序?qū)⒂?jì)算出的三維矩陣發(fā)送到真實(shí)解剖結(jié)構(gòu)顯示(18)，所述三維矩陣是由機(jī)械性質(zhì)算法(16)創(chuàng)建的，所述真實(shí)解剖結(jié)構(gòu)顯示計(jì)算由于圖像改變而引起的新圖像及其提示，例如，由于圖像組件的新取向而引起的一組新的陰影和陰影效果得到確定。同時(shí)，機(jī)械性質(zhì)模型(16)將一組參數(shù)發(fā)送到力反饋接口(20)，這些參數(shù)包括外科醫(yī)生/操作員(12)需要感覺(jué)到的由于與器官交互作用而引起的力(在外科醫(yī)生推擠組織或以其它方式與組織交互作用之后，器官所返回的力)的信息。在系統(tǒng)組件(14、16、18、20)中的每個(gè)組件處的這個(gè)新階段計(jì)算過(guò)程以循環(huán)的方式快速且連續(xù)地執(zhí)行，并且每個(gè)循環(huán)是在幾毫秒的一幀時(shí)間內(nèi)完成，從而允許外科醫(yī)生/操作員接收實(shí)時(shí)和真實(shí)的提示以及對(duì)其動(dòng)作的實(shí)時(shí)反應(yīng)。外科手術(shù)室是將一個(gè)或多個(gè)計(jì)算機(jī)(PC)2A-2n、一個(gè)或多個(gè)數(shù)據(jù)庫(kù)3A-3n以及其它硬件組件(例如，網(wǎng)絡(luò)5、6)和專(zhuān)有軟件整合成一個(gè)完整系統(tǒng)1(參見(jiàn)圖1和圖1A)的系統(tǒng)(如圖1A中所示)，這個(gè)系統(tǒng)被構(gòu)造成尺寸大約與小型走入式壁櫥一樣大的沉浸式室/控制臺(tái)(參見(jiàn)圖1的控制臺(tái)10)。一旦外科醫(yī)生12起動(dòng)了系統(tǒng)，外科醫(yī)生就加載其患者的設(shè)置參數(shù)，所述設(shè)置參數(shù)包括患者的詳情，以允許系統(tǒng)上載相關(guān)數(shù)據(jù)，外科手術(shù)室隨后將來(lái)自患者圖像14的所有患者可用CT和MRI圖像加載到數(shù)據(jù)庫(kù)3中并且加載與模擬的模型有關(guān)的其它信息，如患者年齡、性別等(其中的一些或全部可從例如像醫(yī)療數(shù)據(jù)庫(kù)的外部實(shí)體8獲得)。系統(tǒng)使用來(lái)自系統(tǒng)數(shù)據(jù)庫(kù)的組織信息參數(shù)16。系統(tǒng)1執(zhí)行分段過(guò)程并且識(shí)別器官的實(shí)體(實(shí)體是脈管、組織、腫瘤等)以便創(chuàng)建在裝置的顯示器上向外科醫(yī)生展示的模擬圖像模型18。系統(tǒng)通過(guò)反饋機(jī)構(gòu)提供真實(shí)的戰(zhàn)術(shù)反饋20以便給模擬增添進(jìn)一步的真實(shí)性。系統(tǒng)應(yīng)用真實(shí)視覺(jué)層、來(lái)自系統(tǒng)數(shù)據(jù)庫(kù)的機(jī)械性質(zhì)和其它相關(guān)參數(shù)16以及與病例相關(guān)的特性，所有這些被應(yīng)用于來(lái)自患者圖像數(shù)據(jù)庫(kù)3的CT和MRI圖像14的頂部并且與那些圖像同步。所述同步創(chuàng)建了“夾緊”或“附接”到脈管圖像的脈管機(jī)械性質(zhì)等以提供真實(shí)模擬能力。外科醫(yī)生可具備“微調(diào)”所述模型并且調(diào)整器官某個(gè)區(qū)域的機(jī)械性質(zhì)的能力。例如，外科醫(yī)生可調(diào)整實(shí)體行為的彈性和其它機(jī)械特性。隨后，在這種設(shè)置后，外科手術(shù)室投影以真實(shí)視覺(jué)保真度呈現(xiàn)的三維器官模型18，所述三維器官模型真實(shí)特征，如紋理、陰影效果和具有給模擬圖像增添真實(shí)性的其它特征。視覺(jué)模型18的每個(gè)區(qū)段被協(xié)調(diào)并且與來(lái)自系統(tǒng)數(shù)據(jù)庫(kù)16的適當(dāng)機(jī)械性質(zhì)模型以及特定病例的相關(guān)性質(zhì)相對(duì)應(yīng)。在這個(gè)階段，系統(tǒng)允許外科醫(yī)生在系統(tǒng)數(shù)據(jù)庫(kù)中從系統(tǒng)的虛擬庫(kù)16瀏覽和選擇相關(guān)外科手術(shù)工具和他可能需要用來(lái)執(zhí)行外科手術(shù)(或其它過(guò)程)的其它元件(就系統(tǒng)軟件而言，那些工具和元件也是“實(shí)體”)。這些元件可包括:卡頭和夾具；用于動(dòng)脈瘤的夾子；人工心臟瓣膜；以及適用于特定病例的其它元件。(添加通過(guò)網(wǎng)絡(luò)9(如通過(guò)互聯(lián)網(wǎng)或?qū)Ｓ镁W(wǎng)絡(luò))連接到系統(tǒng)1的額外系統(tǒng)1'、1″...可以產(chǎn)生稍后在本公開(kāi)中更詳細(xì)地描述的協(xié)作手術(shù)室平臺(tái)。)所有各種實(shí)體均由系統(tǒng)在高保真度分布式模型中表示并且以分布式體系結(jié)構(gòu)起作用，例如，每個(gè)實(shí)體通常具有單獨(dú)的子實(shí)體，其中所述子實(shí)體為例如“視覺(jué)實(shí)體”或“機(jī)械實(shí)體”等。每個(gè)子實(shí)體存在于不同環(huán)境(例如，下文更詳細(xì)地描述的視覺(jué)系統(tǒng)環(huán)境、機(jī)械建模環(huán)境等)的一個(gè)中，所述不同環(huán)境分布在多個(gè)計(jì)算機(jī)中。每個(gè)這種子實(shí)體負(fù)責(zé)它自己的性能(例如，呈現(xiàn)實(shí)體的真實(shí)視覺(jué)或執(zhí)行實(shí)體的機(jī)械操作)。子實(shí)體通過(guò)分布式網(wǎng)絡(luò)(在下文更詳細(xì)地描述)通信以使子實(shí)體同步和協(xié)調(diào)成一個(gè)整合的實(shí)體復(fù)合模型。例如，當(dāng)外科手術(shù)工具按壓組織時(shí)，通過(guò)網(wǎng)絡(luò)分布外科手術(shù)工具的壓力特性(例如，位置、取向和壓力量等)，子實(shí)體中的每一個(gè)負(fù)責(zé)“監(jiān)聽(tīng)”和推斷它是否受到這種外科手術(shù)工具壓力的影響；一旦子實(shí)體確定它受到影響，每個(gè)這種子實(shí)體(例如，組織實(shí)體)就在其子實(shí)體模型(例如，視覺(jué)子實(shí)體)上對(duì)所述影響進(jìn)行建模，呈現(xiàn)視覺(jué)效果(如組織流血)，并且機(jī)械性質(zhì)對(duì)組織的轉(zhuǎn)移進(jìn)行建模。每個(gè)子實(shí)體通過(guò)網(wǎng)絡(luò)分布變化(例如，組織位置和尺寸的變化)，這樣其它子實(shí)體將能夠確定它們是否受到這個(gè)變化的影響。在這個(gè)動(dòng)作結(jié)束時(shí)，以上實(shí)例的組織的所有子實(shí)體(和其它實(shí)體)習(xí)慣于(并且如果需要的話(huà))使它們的狀態(tài)和模型適應(yīng)于以上實(shí)例中由外科手術(shù)工具發(fā)起和啟動(dòng)的新動(dòng)作。因此，各種功能(子實(shí)體)可使用分布式數(shù)據(jù)和狀態(tài)復(fù)制(用于保持模擬狀態(tài)的本地副本)分布在連接于點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)中的各種計(jì)算機(jī)中，所有這些功能在網(wǎng)絡(luò)上監(jiān)聽(tīng)會(huì)影響它們的模擬部分的任何動(dòng)作，在所述情況下，它們通過(guò)網(wǎng)絡(luò)更新它們的參數(shù)以便保持系統(tǒng)準(zhǔn)確，這可能必然影響其它子實(shí)體中的其它功能，其它功能因此將通過(guò)監(jiān)聽(tīng)網(wǎng)絡(luò)得知這一事實(shí)，從而引導(dǎo)進(jìn)一步更新，等等。以此方式，系統(tǒng)將功能性以平行方式分布在很多計(jì)算機(jī)中，以使得更新發(fā)生的速度可以比僅使用單個(gè)計(jì)算機(jī)時(shí)更快。只有那些受變化影響的子實(shí)體需要響應(yīng)，并且因此可將網(wǎng)絡(luò)流量減少為必要流量。外科手術(shù)室允許外科醫(yī)生記錄他的動(dòng)作并且保存這些動(dòng)作用于隨后回放，以便向主治外科醫(yī)生或住院醫(yī)師演示他的外科手術(shù)計(jì)劃或與其它外科醫(yī)生分享信息，演示他正在研究的新技術(shù)，實(shí)施外科手術(shù)，等等。系統(tǒng)面向外科醫(yī)生的接口包括外科手術(shù)接口(例如，卡頭手柄)，所述外科手術(shù)接口包括力反饋，所述力反饋被傳達(dá)給那些工具以允許外科醫(yī)生感覺(jué)到他的動(dòng)作的力反饋提示，從而真實(shí)地模擬實(shí)際過(guò)程。一旦外科醫(yī)生選擇了外科手術(shù)工具和其它實(shí)體，它們就被整合到虛擬外科手術(shù)場(chǎng)景中并且成為模擬情景的整合元件，所述整合元件包括應(yīng)用于那些所選擇項(xiàng)目中的每一個(gè)的真實(shí)視覺(jué)特征和機(jī)械性質(zhì)以及操作性質(zhì)特征。例如，模擬的剪刀反映出實(shí)際剪刀的機(jī)械特性并且將在模擬中像實(shí)際剪刀所做的那樣進(jìn)行切割，并且動(dòng)脈瘤夾子放置在模擬脈管處時(shí)會(huì)模擬阻塞血流。接下來(lái)，外科醫(yī)生在虛擬外科手術(shù)的任何階段執(zhí)行外科手術(shù)動(dòng)作；外科醫(yī)生可“凍結(jié)”模擬并且旋轉(zhuǎn)器官來(lái)從不同的取向和視角觀(guān)察他感興趣的區(qū)域。外科醫(yī)生可對(duì)虛擬外科手術(shù)“標(biāo)記時(shí)間點(diǎn)”并且可命令“回到標(biāo)記點(diǎn)”。例如，外科醫(yī)生可在夾緊動(dòng)脈瘤之前標(biāo)記時(shí)間，并且在“取消”在這個(gè)時(shí)間點(diǎn)之后發(fā)生的所有動(dòng)作時(shí)回到這個(gè)時(shí)間點(diǎn)。以這種方式，外科醫(yī)生可評(píng)估外科手術(shù)的所選擇階段的不同外科手術(shù)方法，而無(wú)需從原始起始點(diǎn)開(kāi)始重新開(kāi)始整個(gè)外科手術(shù)。若干這類(lèi)“標(biāo)記點(diǎn)”是可用的，從而允許外科醫(yī)生返回并“重新進(jìn)行”在外科手術(shù)的若干所選擇階段的動(dòng)作和檢查/練習(xí)。外科手術(shù)室用途可包括:外科醫(yī)生關(guān)于外科手術(shù)的練習(xí)；外科醫(yī)生向主治外科醫(yī)生或住院醫(yī)師的演示；外科實(shí)踐和發(fā)展、工具和方法的測(cè)試和驗(yàn)證，以及知識(shí)共享。如下所述的不用手的操作可用于這個(gè)特征。協(xié)作手術(shù)室圖2示出與外科手術(shù)室一起引入的協(xié)作手術(shù)室概念的高層次示例性實(shí)現(xiàn)方式。通過(guò)利用下一代寬帶基礎(chǔ)結(jié)構(gòu)25，使用來(lái)自不同醫(yī)院的SRP21、22、23...的個(gè)體將被連接，從而允許全國(guó)各地和世界各地的外科醫(yī)生協(xié)作地規(guī)劃外科手術(shù)病例，例如，來(lái)自?xún)蓚€(gè)或更多個(gè)分布式站點(diǎn)的外科醫(yī)生進(jìn)入他們的SRP并且關(guān)于外科手術(shù)一起對(duì)患者病例進(jìn)行練習(xí)。這種協(xié)作手術(shù)室允許外科醫(yī)生通過(guò)觀(guān)察先前的外科手術(shù)室病例以及提供遠(yuǎn)程教學(xué)和指導(dǎo)來(lái)研究最佳實(shí)踐方法。協(xié)作手術(shù)室允許所有連接在一起且使用SRP的醫(yī)院可以獲得最新的積累知識(shí)和最近的“最佳實(shí)踐”。同樣，如下所述的不用手的操作可用于協(xié)作手術(shù)室概念。系統(tǒng)級(jí)設(shè)計(jì)在前面的部分中概述了系統(tǒng)級(jí)設(shè)計(jì)描述。視覺(jué)再現(xiàn)引擎分析3DMRI和CT患者特定圖像并且創(chuàng)建表示特定圖像的解剖結(jié)構(gòu)和特征的計(jì)算機(jī)化分段模塊。醫(yī)療市場(chǎng)上有大量先進(jìn)的醫(yī)療數(shù)字成像和通信-DICOM(1)觀(guān)察器。它們的特征集的范圍是:從可交叉引用的3個(gè)不同面板中的分層黑白切片，到飛越患者器官的3D圖像的靜態(tài)子集的完整能力。另外，存在4D和5D特征，這些特征以影片片段的形式記錄器官的各種功能和動(dòng)態(tài)變化。與那些所捕獲的圖像或移動(dòng)序列可能的情況一樣宏大，它們是一組固定的及時(shí)快照?qǐng)D像。外科手術(shù)室進(jìn)行現(xiàn)有的3D轉(zhuǎn)化過(guò)程，并且基于隨后存儲(chǔ)在系統(tǒng)數(shù)據(jù)庫(kù)中的物理和機(jī)械性質(zhì)添加人體組織和結(jié)構(gòu)特有的特征。一旦使這個(gè)基于患者的模型在虛擬世界中運(yùn)動(dòng)，外科手術(shù)室就引入一組虛擬外科手術(shù)工具，所述工具允許外科醫(yī)生操縱(推擠、切割、夾緊等)那些模型，所述操縱與實(shí)際外科手術(shù)組織操縱類(lèi)似，從而為外科醫(yī)生提供直觀(guān)體驗(yàn)。圖3提供示例性外科手術(shù)室分布式模擬網(wǎng)絡(luò)(呈現(xiàn)外科手術(shù)室DIS(ST-DIS))的分解圖。圖中組件(即，方框)中的每一個(gè)是具有一組指定功能的隔離式計(jì)算站(所述計(jì)算站可在獨(dú)立的計(jì)算機(jī)或計(jì)算機(jī)集合上執(zhí)行)。所述站與常規(guī)支持網(wǎng)絡(luò)31(例如像以太網(wǎng))適當(dāng)?shù)剡B接，這個(gè)網(wǎng)絡(luò)處理緩慢的不規(guī)則流量，例如傳遞大量DICOM數(shù)據(jù)。根據(jù)更強(qiáng)烈的數(shù)據(jù)處理需求，所述站由專(zhuān)業(yè)化分布式交互模擬(ST-DIS)網(wǎng)絡(luò)32支持，這個(gè)網(wǎng)絡(luò)是僅用于高優(yōu)先權(quán)模擬數(shù)據(jù)的硬件隔離式網(wǎng)絡(luò)(所述網(wǎng)絡(luò)可在例如高帶寬以太網(wǎng)中實(shí)施)。ST-DIS網(wǎng)絡(luò)32攜帶易失性模擬信息并且允許這種精致的模擬載荷分布。外科手術(shù)室的ST-DIS是用于從一組獨(dú)立的模擬器節(jié)點(diǎn)建立大規(guī)模虛擬世界的網(wǎng)絡(luò)體系結(jié)構(gòu)。模擬器節(jié)點(diǎn)33-38由網(wǎng)絡(luò)鏈接起來(lái)并且通過(guò)常見(jiàn)的網(wǎng)絡(luò)協(xié)議(例如像TCP/IP)來(lái)通信。ST-DIS基礎(chǔ)結(jié)構(gòu)使得各種模擬器能夠在時(shí)間和空間連貫的環(huán)境中交互操作。在外科手術(shù)室的ST-DISST-DIS系統(tǒng)中，將虛擬世界建模成一組“實(shí)體”，這些實(shí)體通過(guò)它們引起的事件彼此交互作用。模擬器節(jié)點(diǎn)33-38各自在模擬的虛擬世界中獨(dú)立地模擬實(shí)體中的一個(gè)或多個(gè)的活動(dòng)，并且通過(guò)消息在網(wǎng)絡(luò)上向其它模擬器節(jié)點(diǎn)報(bào)告它們的屬性和感興趣的動(dòng)作。網(wǎng)絡(luò)上的其它模擬器節(jié)點(diǎn)負(fù)責(zé)“監(jiān)聽(tīng)”網(wǎng)絡(luò)消息、確定哪些消息是它們感興趣的(基于它們正在模擬的實(shí)體)并且適當(dāng)?shù)刈龀鲰憫?yīng)。關(guān)于分布式交互模擬的ST-DIS網(wǎng)絡(luò)和模擬體系結(jié)構(gòu)的特征之一是不需要存在中央服務(wù)器或處理器。每個(gè)模擬應(yīng)用程序在它自己的存儲(chǔ)器或數(shù)據(jù)庫(kù)中維持它自己的常見(jiàn)虛擬環(huán)境副本。在任何實(shí)時(shí)操作之前，通過(guò)各種手段將這個(gè)環(huán)境的表示分布給所有模擬應(yīng)用程序。ST-DIS基本上是點(diǎn)對(duì)點(diǎn)體系結(jié)構(gòu)，在其中傳輸可供所有模擬器使用的數(shù)據(jù)，其中可取決于接收器的需求來(lái)拒絕或接受所述數(shù)據(jù)。通過(guò)消除所有消息所經(jīng)過(guò)的中央服務(wù)器，ST-DIS減少了模擬器將重要信息發(fā)送到另一個(gè)模擬器的時(shí)間滯后。這個(gè)時(shí)間滯后(被稱(chēng)為延遲)可嚴(yán)重降低聯(lián)網(wǎng)的模擬器的真實(shí)性并且因此降低有效性。有效的分布式模擬取決于針對(duì)模擬實(shí)體發(fā)生新的狀態(tài)/事件的時(shí)間與必須對(duì)此做出反應(yīng)的另一個(gè)實(shí)體感知到這個(gè)狀態(tài)/事件的時(shí)間之間的非常低的延遲。由訓(xùn)練裝置引入的任何延遲均可導(dǎo)致對(duì)受訓(xùn)者的負(fù)強(qiáng)化。再次參照?qǐng)D3，存檔服務(wù)器34一般用于執(zhí)行將模擬所需的大量數(shù)據(jù)下載和保持在數(shù)據(jù)庫(kù)中的任務(wù)。另外，存檔服務(wù)器34可用于使所獲得的數(shù)據(jù)準(zhǔn)備好在模擬中進(jìn)一步使用。請(qǐng)注意，由于其職責(zé)通常在本質(zhì)上是全局性的，并且對(duì)于模擬活動(dòng)來(lái)說(shuō)不是關(guān)鍵的，因此存檔服務(wù)器34通常僅連接到支持網(wǎng)絡(luò)31。圖3示出包括離線(xiàn)“支持”網(wǎng)絡(luò)(31)的網(wǎng)絡(luò)體系結(jié)構(gòu)，所述離線(xiàn)“支持”網(wǎng)絡(luò)連接以下兩者:“存檔服務(wù)器”(34)，所述存檔服務(wù)器加載醫(yī)療圖像(CT/MRI)和存儲(chǔ)在數(shù)據(jù)庫(kù)中的額外初始化數(shù)據(jù)(例如，患者姓名、年齡等，以及如外科手術(shù)工具庫(kù)的情景中將要包括的文件)；“匯報(bào)服務(wù)器”(38)，所述匯報(bào)服務(wù)器記錄控制輸入并將情景和所有動(dòng)作存儲(chǔ)在時(shí)間線(xiàn)信息中并且允許回放所述情景和動(dòng)作。實(shí)時(shí)網(wǎng)絡(luò)(32)是在模擬期間以實(shí)時(shí)的方式在系統(tǒng)之間傳遞消息的網(wǎng)絡(luò)，用于實(shí)施這個(gè)網(wǎng)絡(luò)的一種方式可以是分布式交互模擬(DIS)網(wǎng)絡(luò)(32)，連接到這個(gè)網(wǎng)絡(luò)的組件為:連接到外科醫(yī)生/操作員系統(tǒng)接口的控制輸入端(33)，這個(gè)節(jié)點(diǎn)具有到主機(jī)(35)的任選的直接物理連接，在DSI網(wǎng)絡(luò)不能滿(mǎn)足系統(tǒng)的實(shí)時(shí)要求并且需要那些節(jié)點(diǎn)之間的直接物理連接的情況下可實(shí)施所述任選的直接物理連接。主機(jī)(35)包括執(zhí)行管理程序和其它模型以及模擬組件，并且所述主機(jī)負(fù)責(zé)整個(gè)系統(tǒng)的實(shí)時(shí)同步和計(jì)時(shí)。例如，當(dāng)外科醫(yī)生選擇要使用的特定工具時(shí)，手術(shù)室初始化系統(tǒng)(TIS)(36)針對(duì)節(jié)點(diǎn)中的每一個(gè)執(zhí)行系統(tǒng)分配和設(shè)置，所述TIS分配/激活這個(gè)工具的適當(dāng)模型以便針對(duì)所有節(jié)點(diǎn)生成準(zhǔn)確的工具模擬(其中工具特性存儲(chǔ)在數(shù)據(jù)庫(kù)中)，從而確保通過(guò)相同的初始化來(lái)設(shè)置所有節(jié)點(diǎn)。圖像生成器(36)執(zhí)行情景的再現(xiàn)和可視化任務(wù)。主機(jī)(35)、TIS(36)、圖像生成器(36)和匯報(bào)服務(wù)器通過(guò)離線(xiàn)接收和交換信息以用于從支持網(wǎng)絡(luò)(31)初始化并且通過(guò)實(shí)時(shí)網(wǎng)絡(luò)(32)接收和交換信息以用于“在線(xiàn)”和實(shí)時(shí)模擬。從存儲(chǔ)在數(shù)據(jù)庫(kù)中的現(xiàn)有MRI/CT掃描中提取所需器官表面和體積數(shù)據(jù)。為獲得3D器官表面數(shù)據(jù)，系統(tǒng)可使用DICOM觀(guān)察器和數(shù)據(jù)管理系統(tǒng)，所述數(shù)據(jù)管理系統(tǒng)如OsiriX(或類(lèi)似系統(tǒng))，OsiriX是針對(duì)例如蘋(píng)果Macintosh計(jì)算機(jī)實(shí)施的開(kāi)源軟件。通過(guò)“點(diǎn)擊進(jìn)入”O(jiān)siriX通過(guò)ObjectiveC源代碼基于立體像素密度值來(lái)生成器官和器官組的3D表面的能力，外科手術(shù)室添加了將關(guān)于描述成平面文件的3D表面和器官類(lèi)型的信息存儲(chǔ)在數(shù)據(jù)庫(kù)中的能力。這項(xiàng)研究的各部分的完整集合以此方式存儲(chǔ)在系統(tǒng)數(shù)據(jù)庫(kù)中以使得其隨后被傳遞到圖像生成器站37，所述圖像生成器站基于器官的標(biāo)準(zhǔn)特性來(lái)重新創(chuàng)建患者特定圖像。一旦獲得必要的再現(xiàn)數(shù)據(jù)，就將圖像生成器站37的再現(xiàn)平臺(tái)應(yīng)用于圖像。為此，將專(zhuān)有的圖像生成器算法(如飛行IG；參見(jiàn)真實(shí)圖像生成器(RIG)的單獨(dú)標(biāo)題中的特征)與可視化工具包整合。IG具有獨(dú)特特征，這些特征傳達(dá)良好提示，如指派給視覺(jué)模型的陰影效果、紋理和材料性質(zhì)，并且在RIG部分中進(jìn)一步詳述。IG不僅通過(guò)使用那些特征來(lái)創(chuàng)建真實(shí)的和完全沉浸式的環(huán)境，而且它還在硬性實(shí)時(shí)約束下處理大量視覺(jué)數(shù)據(jù)基礎(chǔ)模型。通過(guò)DIS體系結(jié)構(gòu)與“實(shí)體”設(shè)計(jì)的組合來(lái)實(shí)現(xiàn)的是，使網(wǎng)絡(luò)流量最小化，并且點(diǎn)對(duì)點(diǎn)節(jié)點(diǎn)的解剖結(jié)構(gòu)創(chuàng)建高效的實(shí)時(shí)系統(tǒng)。在患者特定圖像已成功再現(xiàn)后，添加各種物理庫(kù)以便創(chuàng)建恰當(dāng)?shù)哪M。使用體現(xiàn)在建模平臺(tái)中的廣泛研究來(lái)模擬腦組織的推擠和操縱，所述建模平臺(tái)如可用庫(kù)的OpenTissue(或類(lèi)似)集合。例如，OpenTissue是對(duì)體積殼和三維形狀的其它復(fù)雜行為進(jìn)行建模的庫(kù)的開(kāi)源集合。自定義庫(kù)也可被開(kāi)發(fā)使用。例如，可使用從對(duì)張力下腦組織機(jī)械性質(zhì)的研究得出的腦組織物理和機(jī)械性質(zhì)的特異性。實(shí)驗(yàn)論文是可用的，所述實(shí)驗(yàn)論文提供動(dòng)物腦樣本的機(jī)械操縱的數(shù)學(xué)模型。模擬外科手術(shù)工具與模擬組織的動(dòng)態(tài)和真實(shí)的交互作用是以2012年3月30日提交的共同待決的專(zhuān)利申請(qǐng)PCT/US12/31514和2010年10月19日提交的美國(guó)專(zhuān)利號(hào)8,311,791中(所述專(zhuān)利以引用的方式并入本文中)中所描述的算法和方法來(lái)實(shí)施。工作著眼于用來(lái)創(chuàng)建真實(shí)模擬(特別是用于實(shí)施外科手術(shù)模擬)的各種工具和組織類(lèi)型。示例性外科手術(shù)室的軟件代碼是在如C++的商業(yè)環(huán)境中編寫(xiě)，其中所述代碼被設(shè)計(jì)來(lái)在視窗操作系統(tǒng)、Linux系統(tǒng)或類(lèi)似系統(tǒng)中運(yùn)行。在編碼開(kāi)發(fā)過(guò)程中，重點(diǎn)在于代碼實(shí)時(shí)執(zhí)行和代碼效率，這兩者都旨在維持實(shí)時(shí)系統(tǒng)性能同時(shí)使延遲最小化。位于圖像生成器(37)中的視覺(jué)系統(tǒng)驅(qū)動(dòng)程序被設(shè)計(jì)成具有如OpenGL或類(lèi)似環(huán)境的優(yōu)化器環(huán)境，實(shí)現(xiàn)高性能再現(xiàn)和與大模型的交互作用，同時(shí)維持所需的高模型保真度，從而在跨平臺(tái)環(huán)境中維持高性能的同時(shí)提供對(duì)細(xì)節(jié)的關(guān)注。出于計(jì)算效率的目的，視覺(jué)模型的實(shí)體中的每一個(gè)都具有若干細(xì)節(jié)層次(LOD)表示；在外科醫(yī)生需要高分辨率的模擬場(chǎng)景區(qū)域中呈現(xiàn)高LOD，并且在外科醫(yī)生沒(méi)有直接興趣或交互作用的模擬場(chǎng)景區(qū)域中呈現(xiàn)較低的LOD。例如，組織視覺(jué)模型在外科醫(yī)生交互作用周?chē)膮^(qū)域中以高LOD呈現(xiàn)，并且在外科醫(yī)生沒(méi)有直接交互作用的區(qū)域中以較低的LOD呈現(xiàn)?？蓜?dòng)態(tài)地調(diào)整LOD:LOD優(yōu)化算法可使用外科醫(yī)生的動(dòng)作(如使外科手術(shù)儀器指向特定區(qū)域)來(lái)針對(duì)視覺(jué)模型的特定部分動(dòng)態(tài)分配LOD。典型系統(tǒng)的計(jì)算機(jī)是具有多核(多個(gè)處理器)的PC，所述多核提供靈活性和增長(zhǎng)潛力。計(jì)算機(jī)系統(tǒng)包括隨機(jī)存取存儲(chǔ)器、以太網(wǎng)端口、系統(tǒng)盤(pán)和數(shù)據(jù)盤(pán)。為了驗(yàn)證外科手術(shù)室(圖像質(zhì)量、真實(shí)性、圖像控制器和操縱)，使用高級(jí)外科醫(yī)生的技能和經(jīng)驗(yàn)。外科醫(yī)生用于通過(guò)以下操作來(lái)評(píng)估系統(tǒng):執(zhí)行特定外科手術(shù)過(guò)程，同時(shí)將這個(gè)外科手術(shù)過(guò)程與他們的大量神經(jīng)外科經(jīng)驗(yàn)以及與他們已操作并且正在外科手術(shù)室中加以模擬的特定病例相比較。圖4的外科手術(shù)室框圖通過(guò)將掃描的圖像DICOM41的行數(shù)據(jù)分段(以識(shí)別軟組織、脈管等)的過(guò)程從所述行數(shù)據(jù)來(lái)描述過(guò)程的功能性和流程(對(duì)比圖3的實(shí)際網(wǎng)絡(luò)連接)。隨后，圖像生成器指派每個(gè)區(qū)段的視覺(jué)表示(陰影、紋理等)，這個(gè)圖像通過(guò)DIA44網(wǎng)絡(luò)連接到投影接口46并且連接到主機(jī)45，所述主機(jī)將利用通過(guò)外科醫(yī)生接口47連接的外科醫(yī)生動(dòng)作和機(jī)械性質(zhì)以及主機(jī)所包括的其它建模來(lái)更新圖像生成器43，這些都將反映主機(jī)在每個(gè)模擬循環(huán)期間將發(fā)送到IG43的新?tīng)顟B(tài)。通過(guò)消除所有消息所經(jīng)過(guò)的中央服務(wù)器，ST-DIS極大地減少了一個(gè)模擬器(計(jì)算機(jī))將重要信息發(fā)送到另一個(gè)模擬器(計(jì)算機(jī))的時(shí)間滯后。這個(gè)時(shí)間滯后(被稱(chēng)為延遲)如果過(guò)大，可嚴(yán)重降低聯(lián)網(wǎng)的模擬器的真實(shí)性并且因此降低有效性。有效的分布式模擬取決于針對(duì)模擬實(shí)體發(fā)生新的狀態(tài)/事件的時(shí)間與必須對(duì)此做出反應(yīng)的另一個(gè)實(shí)體感知到這個(gè)狀態(tài)/事件的時(shí)間之間的非常低的延遲。由訓(xùn)練裝置引入的任何延遲均可導(dǎo)致對(duì)操作員(例如，外科醫(yī)生)的負(fù)強(qiáng)化。根據(jù)通信體系結(jié)構(gòu)(IEEE1278.2)的推薦實(shí)施，基礎(chǔ)通信結(jié)構(gòu)應(yīng)支持?jǐn)?shù)據(jù)包交換的100ms或更少的延遲以得到在模擬實(shí)體之間實(shí)時(shí)緊密聯(lián)接的交互作用(例如，在空戰(zhàn)中模擬高性能飛機(jī)，或模擬外科醫(yī)生執(zhí)行腦外科手術(shù))。這個(gè)要求是基于人體反應(yīng)時(shí)間，所述人體反應(yīng)時(shí)間多年來(lái)已成為人工介入(HITL)飛行模擬器設(shè)計(jì)的基礎(chǔ)。在ST-DIS系統(tǒng)內(nèi)，將虛擬世界建模成一組實(shí)體(如前所述)，這些實(shí)體通過(guò)它們引起的事件彼此交互作用。實(shí)體是模擬情景中的子組件，如組織、特定特性(如組織機(jī)械性質(zhì))，所述特性創(chuàng)建所述“組織實(shí)體”的子組。另一個(gè)實(shí)體可以是例如血管等。每個(gè)實(shí)體可以具有以分布式方式(如在不同的模擬器/計(jì)算機(jī)上)操作的若干子實(shí)體。那些子實(shí)體組合在一起以形成完整的實(shí)體模型。那些子實(shí)體例如為:擁有和模擬實(shí)體的視覺(jué)特征和特性的視覺(jué)子實(shí)體；或擁有和模擬實(shí)體的機(jī)械特征和特性的機(jī)械性質(zhì)子實(shí)體。那些子實(shí)體模型代碼中的每一個(gè)可在不同的計(jì)算機(jī)(或計(jì)算機(jī)組)中運(yùn)行，所述計(jì)算機(jī)如PC，并且那些子實(shí)體模型代碼可通過(guò)ST-DIS網(wǎng)絡(luò)彼此通信以及與其它實(shí)體通信。模擬器節(jié)點(diǎn)在模擬的虛擬世界中獨(dú)立地模擬一個(gè)或多個(gè)實(shí)體(或子實(shí)體)的活動(dòng)，并且通過(guò)消息在ST-DIS網(wǎng)絡(luò)上向其它模擬器節(jié)點(diǎn)報(bào)告它們的屬性和感興趣的動(dòng)作。網(wǎng)絡(luò)上的其它模擬器節(jié)點(diǎn)負(fù)責(zé)“監(jiān)聽(tīng)”網(wǎng)絡(luò)消息、確定哪些消息是它們感興趣的(基于它們正在模擬的實(shí)體)并且適當(dāng)?shù)刈龀鲰憫?yīng)。上述外科手術(shù)室體系結(jié)構(gòu)是基于這種分布式模擬概念，從而實(shí)現(xiàn)傳達(dá)首要保真度的先鋒且獨(dú)有的能力，首要保真度是創(chuàng)建對(duì)于開(kāi)放式/經(jīng)典外科手術(shù)的練習(xí)來(lái)說(shuō)很重要的沉浸式情景的基本要求，其中外科醫(yī)生通過(guò)直接人體感覺(jué)來(lái)與器官交互作用。由于每個(gè)實(shí)體被分為其子組件(視覺(jué)、機(jī)械性質(zhì)等)，并且由于那些子組件/實(shí)體的模擬代碼中的每一個(gè)在單獨(dú)的計(jì)算機(jī)中運(yùn)行，因此這可使計(jì)算能力最大化，并且通過(guò)這樣做將創(chuàng)建獨(dú)特的且獨(dú)有的首要保真度、良好提示以及計(jì)算能力，同時(shí)在維持實(shí)時(shí)性能(例如，小于100毫秒的延遲)的情況下在硬性“實(shí)時(shí)”約束下處理太字節(jié)的信息，這是飛行模擬技術(shù)的核心能力。外科手術(shù)室促進(jìn)視覺(jué)再現(xiàn)引擎，這個(gè)視覺(jué)再現(xiàn)引擎分析3DMRI和CT患者特定圖像并且創(chuàng)建表示特定圖像的解剖結(jié)構(gòu)和特征的計(jì)算機(jī)化分段模塊。醫(yī)療市場(chǎng)上有大量先進(jìn)的DICOM觀(guān)察器，但與那些所捕獲的圖像或移動(dòng)序列可能的情況一樣宏大，它們是基于一組固定的及時(shí)快照?qǐng)D像。外科手術(shù)室采用現(xiàn)有的3D模型轉(zhuǎn)化算法并且基于物理和機(jī)械性質(zhì)添加人體組織和結(jié)構(gòu)特有的特征，從而用模型創(chuàng)建“活的”圖像，所述圖像根據(jù)外科醫(yī)生采取的動(dòng)作并且基于模擬所述圖像中每個(gè)像素的機(jī)械性質(zhì)的模型和真實(shí)的視覺(jué)特性模型來(lái)改善患者特定CT/MRI圖像。一旦使這個(gè)基于患者的模型在虛擬世界中運(yùn)動(dòng)，就引入一組虛擬外科手術(shù)工具(所述工具可包括動(dòng)脈瘤夾子和夾子施放器、如骨關(guān)節(jié)植入物的植入物，或其它裝置)，所述工具允許外科醫(yī)生操縱(推擠、切割等)那些模型，所述操縱與實(shí)際外科手術(shù)組織操縱類(lèi)似。因此，外科手術(shù)室為用戶(hù)提供直觀(guān)體驗(yàn)。對(duì)于圖像生成器，示例性實(shí)施方案的外科手術(shù)室將專(zhuān)有的飛行模擬圖像生成器算法與如可視化工具包(VTK)的可視化代碼整合。如以下部分中詳述，外科手術(shù)室真實(shí)圖像生成器具有傳達(dá)良好提示的特征，如指派給視覺(jué)模型的陰影效果、紋理和材料性質(zhì)。真實(shí)視覺(jué)子系統(tǒng)這部分聚焦于:外科手術(shù)室的“真實(shí)視覺(jué)”區(qū)段，這是對(duì)飛行模擬圖像生成器的修改，所述區(qū)段能夠:將衛(wèi)星圖像再現(xiàn)為真實(shí)的三維圖像和模型，所述三維圖像和模型被轉(zhuǎn)化成外科手術(shù)室真實(shí)圖像生成器(RIG)；處理CT/MRIDICOM圖像并且實(shí)時(shí)再現(xiàn)為對(duì)于開(kāi)放性/經(jīng)典外科手術(shù)來(lái)說(shuō)很重要的患者特定真實(shí)的和動(dòng)態(tài)的CT/MRI圖像和模型，其中外科醫(yī)生通過(guò)直接人體感覺(jué)來(lái)與器官交互作用。在人類(lèi)因素工程學(xué)領(lǐng)域中使用視覺(jué)系統(tǒng)來(lái)創(chuàng)建沉浸式模擬系統(tǒng)是重要的；研究表明，高百分比的沉浸是由操作員(例如，飛行員或外科醫(yī)生)與之交互作用的視覺(jué)系統(tǒng)的保真度和真實(shí)性的等級(jí)構(gòu)成并引起。研究結(jié)果表明，在高保真度視覺(jué)系統(tǒng)上練習(xí)的操作員在比低保真度組顯著更高的層次上完成記憶任務(wù)，所述任務(wù)包括自行報(bào)告置信度和意識(shí)狀態(tài)。在使用高保真度、真實(shí)模擬時(shí)，發(fā)現(xiàn)了正確的“記住”和“得知”響應(yīng)與信任得分之間的顯著正相關(guān)。如上所述，外科手術(shù)室創(chuàng)建外科手術(shù)部位和周?chē)M織/結(jié)構(gòu)的真實(shí)的“逼真的”數(shù)字再現(xiàn)。由于這個(gè)數(shù)字再現(xiàn)是患者特有的和“逼真的”，因此它使外科手術(shù)室與使用通用成像來(lái)創(chuàng)建外科手術(shù)部位的大致再現(xiàn)的其它模擬器或模擬無(wú)創(chuàng)過(guò)程(如內(nèi)窺鏡過(guò)程、血管過(guò)程和類(lèi)似的過(guò)程)的其它系統(tǒng)分開(kāi)，其中外科醫(yī)生/操作員使有機(jī)體與具有它自己的視覺(jué)特性的攝像機(jī)對(duì)接，所述視覺(jué)特性由攝像機(jī)規(guī)格限定和限制并且與開(kāi)放性/經(jīng)典外科醫(yī)生的裸眼直接觀(guān)察的視覺(jué)特性有很大不同，其中外科醫(yī)生通過(guò)他的眼睛的直接感覺(jué)來(lái)與有機(jī)體交互作用。然而，真實(shí)的“逼真的”再現(xiàn)呈現(xiàn)了由于活的生物組織的性質(zhì)的復(fù)雜性而引起的可以克服的任務(wù)。為了創(chuàng)建如此高程度的真實(shí)性，外科手術(shù)室包括真實(shí)圖像生成器附加設(shè)備(RIG)，它是一種視覺(jué)系統(tǒng)，其中外科手術(shù)部位連同周?chē)M織一起的患者特定圖像被真實(shí)地呈現(xiàn)并且可以這種通用方式操縱。圖5示出RIG體系結(jié)構(gòu)框圖。數(shù)據(jù)庫(kù)框-基于患者特定CT/MRI、3D和分段圖像的網(wǎng)格模塊的集合、圖像的預(yù)處理、平滑化、遮蔽、縮放。圖形創(chuàng)建器框-面向圖形卡的接口。ST-DIS接口框-面向ST-DIS網(wǎng)絡(luò)的接口。這個(gè)圖示出視覺(jué)系統(tǒng)的層次圖。系統(tǒng)包括執(zhí)行程序，所述執(zhí)行程序運(yùn)行和管理所有系統(tǒng)組件并且在通過(guò)DIS網(wǎng)絡(luò)(502)讀取所有子組件的狀態(tài)時(shí)根據(jù)外科醫(yī)生/操作員和所有子組件的狀態(tài)來(lái)更新所述子組件的狀態(tài)。操作/執(zhí)行引擎(501)以如下方式負(fù)責(zé)所有軟件和硬件組件的初始化:系統(tǒng)的所有組件利用相同的數(shù)據(jù)庫(kù)(例如，外科醫(yī)生選擇的那組工具)來(lái)工作。當(dāng)情景開(kāi)始時(shí)，操作/執(zhí)行引擎(502)執(zhí)行循環(huán)和計(jì)時(shí)控制并且執(zhí)行管理每個(gè)組件的任務(wù)以在時(shí)間范圍內(nèi)完成它的計(jì)算循環(huán)，所述時(shí)間范圍是以如下方式來(lái)規(guī)劃:系統(tǒng)的所有子組件及時(shí)地從其它子組件接收信息，從而允許整個(gè)系統(tǒng)在給定的時(shí)間范圍內(nèi)完成模擬循環(huán)。例如，當(dāng)外科醫(yī)生采取動(dòng)作并且DIS網(wǎng)絡(luò)(502)傳輸這個(gè)動(dòng)作時(shí)，特征生成器(504)讀取這個(gè)動(dòng)作的相關(guān)部分/這個(gè)動(dòng)作的結(jié)果，所述結(jié)果是由機(jī)械性質(zhì)算法計(jì)算出，圖形創(chuàng)建器(503)根據(jù)這個(gè)動(dòng)作改變圖像(例如，移動(dòng)被外科醫(yī)生推擠的脈管)，隨后計(jì)算由于這個(gè)變化而需要施加于圖像上的變化，例如，創(chuàng)建由脈管位置和取向的變化引起的陰影。這個(gè)循環(huán)由操作/執(zhí)行引擎(501)以循環(huán)方式快速執(zhí)行并且連續(xù)地管理，這是以如下方式進(jìn)行:每個(gè)循環(huán)是在幾毫秒的一幀時(shí)間內(nèi)完成，從而允許外科醫(yī)生/操作員接收實(shí)時(shí)和真實(shí)的提示。SRP一般描述:SRP創(chuàng)建真實(shí)的“逼真的”全沉浸式體驗(yàn)以便于神經(jīng)外科醫(yī)生通過(guò)將外科手術(shù)部位和周?chē)M織/結(jié)構(gòu)的患者特定DICOM數(shù)據(jù)轉(zhuǎn)化成動(dòng)態(tài)和交互式3D模型來(lái)計(jì)劃并且實(shí)際練習(xí)腦動(dòng)脈瘤夾閉外科手術(shù)。與現(xiàn)有的外科手術(shù)準(zhǔn)備裝置不同，SRP可提供:(i)患者特定組織的觀(guān)看、感覺(jué)和機(jī)械行為的良好提示，(ii)患者特定解剖結(jié)構(gòu)的3D顯示，(iii)3D組織模型的實(shí)時(shí)類(lèi)外科手術(shù)操縱，以及未來(lái)的(iv)對(duì)外科醫(yī)生的觸覺(jué)反饋以獲得“完全沉浸式”體驗(yàn)。由于活的生物組織的結(jié)構(gòu)和機(jī)械性質(zhì)的復(fù)雜性，開(kāi)發(fā)這種真實(shí)的“逼真的”再現(xiàn)將需要以下子開(kāi)發(fā)(圖6):(i)DICOM圖像體積讀取器(602)和具有內(nèi)置分段感興趣體積(VOI)模型生成器(611)的觀(guān)察器，(ii)3D圖像生成器(IG)(604)，(iii)實(shí)時(shí)軟組織變形引擎(RTTDE)(612)，(iv)外科手術(shù)分布式交互模擬(SDIS)網(wǎng)絡(luò)(610)，(v)模擬執(zhí)行應(yīng)用程序(SimExec)軟件(601)，(vi)外科醫(yī)生用戶(hù)接口(SUI)(605)，以及(vii)用戶(hù)接口解釋器引擎(UIIE)(613)，(vi)用于視覺(jué)(如工具庫(kù)心跳、血流等)的VisChasDB數(shù)據(jù)庫(kù)(603)。將2D患者特定DICOM數(shù)據(jù)集轉(zhuǎn)化成具有準(zhǔn)確的患者特定組織屬性的分段3DVOI模型是使用DICOM體積觀(guān)察器(611)(由外科手術(shù)室LLC開(kāi)發(fā)的專(zhuān)有軟件)來(lái)進(jìn)行。首先，患者特定DICOM數(shù)據(jù)集經(jīng)歷圖像增強(qiáng)階段，這個(gè)階段使用適于3D數(shù)據(jù)集(603)的數(shù)學(xué)算法。這個(gè)增強(qiáng)階段將增加圖像平滑度并且減少圖像噪聲而不影響區(qū)分不同組織類(lèi)型的能力。接下來(lái)，外科醫(yī)生使用DICOM體積觀(guān)察器(602)內(nèi)的多面板觀(guān)察窗來(lái)定義VOI，即，含有動(dòng)脈瘤的外科手術(shù)部位以及周?chē)}管和結(jié)構(gòu)。下一個(gè)步驟是組織分段，即，使用DICOM體積觀(guān)察器的頂部觀(guān)察窗將初始組織特定強(qiáng)度范圍指派給組織以產(chǎn)生具有高分辨率、高質(zhì)量、可自定義的數(shù)據(jù)結(jié)構(gòu)和組織特定分段的3DVOI模型。將3DVOI模型存儲(chǔ)在患者特定存儲(chǔ)庫(kù)中并且在操作循環(huán)期間訪(fǎng)問(wèn)所述模型，如下所示:(I)3D圖像生成器(IG)(604)通過(guò)圖形接口為外科醫(yī)生呈現(xiàn)所述模型的高保真度視覺(jué)表示；(II)外科醫(yī)生在外科手術(shù)用戶(hù)接口(SUI)(605)內(nèi)使用真實(shí)的外科手術(shù)工具操縱所述模型；(III)用戶(hù)接口解釋器引擎(UIIE)(613)將外科醫(yī)生的操縱轉(zhuǎn)換成一組數(shù)學(xué)值，實(shí)時(shí)組織變性引擎(RTTDE)(612)將所述數(shù)學(xué)值連同其它患者特定輸入(例如，心跳、血流等)一起應(yīng)用于所述模型。當(dāng)所述模型變化時(shí)，IG(604)向外科醫(yī)生實(shí)時(shí)反映那些變化，從而完成一個(gè)模擬循環(huán)。通過(guò)由IG每秒超過(guò)60次并且由RTTDE(612)每秒20次重復(fù)循環(huán)，實(shí)現(xiàn)平滑的、連續(xù)的、“逼真的”SRP流?；赟DIS的體系結(jié)構(gòu):基于SDIS的體系結(jié)構(gòu)促進(jìn)用于首要保真度、良好提示以及計(jì)算能力的獨(dú)特的且獨(dú)有的能力，同時(shí)在維持實(shí)時(shí)性能的情況下在硬性實(shí)時(shí)約束下處理大量信息，所述實(shí)時(shí)性能是飛行模擬技術(shù)的核心能力。SDIS網(wǎng)絡(luò)的特征之一是不存在任何服務(wù)器或處理器，每個(gè)模擬器節(jié)點(diǎn)(節(jié)點(diǎn)可以是:圖像生成器、用戶(hù)接口、機(jī)械建模計(jì)算機(jī)等)維持它自己的常見(jiàn)虛擬環(huán)境(在模擬器節(jié)點(diǎn)中的每一個(gè)處保存和維持的脈管、組織和其它模型)的副本；每個(gè)這樣的模型作為單獨(dú)的“實(shí)體”處理。這個(gè)體系結(jié)構(gòu)使得若干PC能夠在硬性實(shí)時(shí)約束下以同步方式一起工作，從而允許SRP傳達(dá)模擬場(chǎng)景的首要保真度的首創(chuàng)且獨(dú)特的能力。這創(chuàng)建了允許練習(xí)開(kāi)放性/經(jīng)典外科手術(shù)的沉浸式情景，其中外科醫(yī)生通過(guò)直接人體感覺(jué)來(lái)與器官交互作用。一旦外科醫(yī)生選擇了外科手術(shù)工具和其它實(shí)體，它們就被整合到虛擬外科手術(shù)場(chǎng)景中并且成為模擬情景的整合元件，所述整合元件包括應(yīng)用于那些所選擇項(xiàng)目中的每一個(gè)的真實(shí)視覺(jué)特征和機(jī)械性質(zhì)以及操作性質(zhì)特征，例如，剪刀具有實(shí)際機(jī)械特性并且將像實(shí)際剪刀所做的那樣進(jìn)行切割，并且動(dòng)脈瘤夾子在放置在脈管處時(shí)會(huì)阻塞血流。取決于配置、需要模擬的體積以及特定應(yīng)用，SRP系統(tǒng)由以下單元或單元的子部分的組合組成。這些單元與圖4所示的用于外科手術(shù)室系統(tǒng)的那些單元類(lèi)似，但如這部分中所述對(duì)所述單元進(jìn)行修改。子組件可在多個(gè)PC中的若干分開(kāi)的計(jì)算處理器單元中運(yùn)行(圖7):外科醫(yī)生在上面工作的工作站是用戶(hù)接口101。圖像生成器102與外科手術(shù)室中的類(lèi)似裝置類(lèi)似地操作。模擬執(zhí)行管理器103-使系統(tǒng)的實(shí)時(shí)操作同步，運(yùn)行并執(zhí)行建模程序。STDE工作站104-這個(gè)PC處理STDE(軟組織變形引擎)。存檔服務(wù)器105-這個(gè)站保存所有相關(guān)文件和數(shù)據(jù)并且能夠記錄過(guò)程以用于未來(lái)的匯報(bào)和數(shù)據(jù)收集，并且這個(gè)PC還用作網(wǎng)域控制器。IOS(指導(dǎo)者操作站)106是用于監(jiān)督和控制訓(xùn)練課程，還允許指導(dǎo)者“插入”事件。還用作“儀式主持人”并將激活整個(gè)訓(xùn)練課程。一個(gè)或多個(gè)用戶(hù)接口107被提供用于不用手的控制和/或用于跟蹤實(shí)際外科手術(shù)儀器，如下所述。這些計(jì)算處理器單元中的每一個(gè)通過(guò)SDIS網(wǎng)絡(luò)與網(wǎng)絡(luò)交換機(jī)(未示出)連接。外科手術(shù)接口如上文和相關(guān)申請(qǐng)中所述，更新的外科手術(shù)室提供一種用于將來(lái)自多種格式(例如，醫(yī)療數(shù)字成像和通信-DICOM)的場(chǎng)景文件(例如，醫(yī)療掃描文件)的圖像混合再現(xiàn)(體積和表面)成交互式圖像/場(chǎng)景的方法。輸出的圖像/場(chǎng)景可以是二維的或三維的并且將含有幾何形狀、視點(diǎn)、紋理、照明、陰影和明暗處理信息以及虛擬場(chǎng)景描述的其它元件。圖8示出展示了更新的特征的流程圖，具體詳情在以下論述。交互式圖像/場(chǎng)景由各元件構(gòu)成，所述元件為體積再現(xiàn)元件和表面再現(xiàn)元件兩者。此外，每個(gè)元件(體積元件或表面元件)與一個(gè)或多個(gè)元件交互作用，所述一個(gè)或多個(gè)元件為體積元件(參見(jiàn)圖9中所示圖像的112)和/或表面元件(參見(jiàn)圖9中的111)。元件之間的交互作用包括但不限于物理交互作用，如:碰撞模型，這個(gè)模型被實(shí)施來(lái)表示由元件的移動(dòng)和/或再成形所引起的元件之間的交互作用，所述交互作用根據(jù)如壓力、元件材料(彈性、粘性等)的物理?xiàng)l件和如碰撞角度和元件取向的碰撞條件來(lái)復(fù)制所述元件的實(shí)際物理移動(dòng)。再現(xiàn)過(guò)程方程考慮了所有的照明陰影和陰影效果現(xiàn)象并且產(chǎn)生并入有所有視覺(jué)元件的最終輸出流。外科手術(shù)室再現(xiàn)軟件對(duì)再現(xiàn)方程實(shí)時(shí)求解，同時(shí)反應(yīng)元件之間的物理交互作用，同時(shí)維持輸出圖像/場(chǎng)景/模型的真實(shí)外觀(guān)。例如，在圖9中，夾子112按壓血管(體積再現(xiàn)元件)，這導(dǎo)致脈管111再成形。用戶(hù)通過(guò)鼠標(biāo)控制器、觸摸屏、3D或6D控制器或通過(guò)下文所述的不用手的控制器來(lái)控制交互作用控制。不用手的控制器或觸摸屏:通過(guò)整合基于攝像機(jī)的裝置，這個(gè)裝置實(shí)時(shí)捕獲和識(shí)別用戶(hù)身體元件(以如下方式:可使用類(lèi)似于微軟公司的Kinect系統(tǒng)的技術(shù)，例如，參見(jiàn)www.xbox.com/en-US/kinect/kinect-effect，LeapMotion公司的Leap技術(shù)是另一個(gè)實(shí)例，參見(jiàn)live.leapmotion.com/about.html，兩者均以引用的方式并入，參見(jiàn)圖7的項(xiàng)目107)，或通過(guò)觸摸屏或任何另一個(gè)接口，用戶(hù)可通過(guò)以預(yù)定義方式放棄手來(lái)與圖像/場(chǎng)景對(duì)接和交互作用，以便控制圖像/場(chǎng)景(圖10A和圖10B)。用戶(hù)尤其可以進(jìn)行如下動(dòng)作:旋轉(zhuǎn)、移動(dòng)和轉(zhuǎn)移圖像/場(chǎng)景(參見(jiàn)圖10A至圖10B中所示的手部運(yùn)動(dòng)，所述運(yùn)動(dòng)分別使圖像121、122移動(dòng)和重新取向)縮小和放大。從庫(kù)中選擇元件并將它們添加到圖像/場(chǎng)景。從圖像/場(chǎng)景中拖放元件。命令一個(gè)或多個(gè)元件與一個(gè)或多個(gè)其它元件交互作用，例如放置動(dòng)脈瘤夾子并且命令?yuàn)A子在動(dòng)脈瘤上閉合，且隨后命令“閉合”，這導(dǎo)致夾子(表面元件)與動(dòng)脈瘤(體積元件)交互作用，從而引起對(duì)動(dòng)脈瘤的物理擠壓和夾子的移動(dòng)(形成打開(kāi)的葉片和閉合的葉片)。從圖像/場(chǎng)景中選擇元件并將它們移除。如果圖像/場(chǎng)景是由多個(gè)切片(如CTMRI)堆疊/建造而成，那么在切片之間滾動(dòng)通過(guò)選擇對(duì)象且隨后將它們拖到所需3D位置來(lái)在場(chǎng)景中重新定位所述對(duì)象。這允許但不限于導(dǎo)致工具與組織交互作用(在工具在圖11中被拖到132的情況下)或在場(chǎng)景中執(zhí)行測(cè)量(參見(jiàn)圖11，在拖動(dòng)測(cè)量標(biāo)記物131的情況下)。“患者組織”:一般來(lái)說(shuō):由掃描儀生成的醫(yī)療圖像(如MRI、CT和其它圖像)提供物理信息、功能結(jié)構(gòu)信息或關(guān)于掃描的解剖結(jié)構(gòu)的其它信息。由于各種各樣的原因，尤其是掃描儀限制，在所產(chǎn)生圖像中并不是所有的解剖結(jié)構(gòu)都清晰可見(jiàn)。這個(gè)現(xiàn)象/限制的兩個(gè)實(shí)例為:1-在MR掃描中，神經(jīng)可能并不總是可見(jiàn)。具體實(shí)例可能在為了治療微血管壓迫的腦部掃描圖像中，其中腦血管觸碰神經(jīng)并且在神經(jīng)上造成物理壓力，在那些掃描中，血管通常在掃描圖像處是可見(jiàn)的，但無(wú)法觀(guān)察到神經(jīng)。2-在MR掃描、CT掃描或其它掃描中，解剖結(jié)構(gòu)的一部分可能是可見(jiàn)的，但由于各種各樣的原因，尤其是掃描儀限制，解剖結(jié)構(gòu)僅有部分是可見(jiàn)的。一個(gè)實(shí)例可在圖像中:在CT掃描或MRI掃描中，脈管結(jié)構(gòu)的部分可能是可見(jiàn)的，而其它部分不可見(jiàn)。在這個(gè)實(shí)例中，脈管圖像將是失真的和/或不完整的?！敖M織繪制”-所開(kāi)發(fā)的算法和軟件工具為用戶(hù)提供接口來(lái)以二維或三維方式(例如，線(xiàn)、圓、診所、球等)繪制任何幾何形狀或徒手繪制形狀。所產(chǎn)生的繪制接口允許用戶(hù)確定三維形狀的線(xiàn)或壁殼和壁的厚度。用戶(hù)還可確定所述形狀的視覺(jué)特性:顏色、透明度等。在醫(yī)療圖像內(nèi)以如下方式創(chuàng)建新的形狀:允許新創(chuàng)建的形狀成為掃描的一部分(魔術(shù)組織)并且與掃描圖像整合。例如，用戶(hù)可繪制將表示神經(jīng)的線(xiàn)。這條神經(jīng)可按用戶(hù)選擇的長(zhǎng)度、形狀、顏色、透明度、位置和取向來(lái)創(chuàng)建。用戶(hù)可將所述形狀放置在掃描圖像中觀(guān)察到的現(xiàn)有的解剖結(jié)構(gòu)(例如，掃描的可見(jiàn)部分)旁邊并且將所述形狀“連接”到現(xiàn)有的解剖結(jié)構(gòu)。用戶(hù)還將這個(gè)新繪制的形狀指派給特定組織類(lèi)型。一旦已創(chuàng)建，就將這個(gè)新的形狀再現(xiàn)并添加到三維解剖模型?？蓪⑿碌男螤钤佻F(xiàn)和重建為體積模型或網(wǎng)格/多邊形模型。圖14A和圖14B分別在181、182處示出組織繪制的實(shí)例。“魔術(shù)組織棒(MagicTissueWand)”-由于各種各樣的原因，尤其是掃描儀限制，所產(chǎn)生的圖像中并不是所有的解剖結(jié)構(gòu)都可見(jiàn)。通常，解剖結(jié)構(gòu)(例如，血管)將僅部分出現(xiàn)在圖像中，并且整個(gè)結(jié)構(gòu)將未被可視化；將存在所述解剖結(jié)構(gòu)的缺失部分并且所述解剖結(jié)構(gòu)將不是整個(gè)連續(xù)的/完整的解剖結(jié)構(gòu)。提供算法和軟件工具，所述算法和軟件工具完成所述解剖結(jié)構(gòu)并且重建所述圖像以創(chuàng)建更完整的解剖結(jié)構(gòu)。重建算法使用分析幾何計(jì)算和對(duì)掃描圖像執(zhí)行的計(jì)算來(lái)基于掃描圖像中現(xiàn)有的“暗示”、提示和其它標(biāo)志分析并重新創(chuàng)建解剖結(jié)構(gòu)，以便完成解剖結(jié)構(gòu)的缺失部分。這包括類(lèi)似立體像素按亨氏單位(HU)的幾何和球形分布以及分布向量的創(chuàng)建以便分析并重新創(chuàng)建解剖結(jié)構(gòu)的缺失部分(HU尺度是將原始線(xiàn)性衰減系數(shù)測(cè)量線(xiàn)性變換成如下測(cè)量，其中蒸餾水在標(biāo)準(zhǔn)壓力和溫度(STP)下的放射強(qiáng)度被定義為零亨氏單位(HU)-例如，空氣在STP下的放射強(qiáng)度被定義為1000HU)。魔術(shù)組織棒算法以互補(bǔ)方式連接球形分布立體像素，也就是說(shuō)，立體像素將被添加到原始、不完整的解剖結(jié)構(gòu)(參見(jiàn)圖12B的項(xiàng)目152和圖13A的項(xiàng)目162)，如果通過(guò)將那些立體像素添加在一起，那么解剖結(jié)構(gòu)更完整，(例如，繼續(xù)組合成整個(gè)/完整的解剖結(jié)構(gòu)，參見(jiàn)圖12B5的項(xiàng)目151和圖13B的項(xiàng)目161)。通過(guò)將魔術(shù)組織棒算法應(yīng)用于掃描圖像，解剖結(jié)構(gòu)將是完整的。例如，在已應(yīng)用組織棒算法后，圖像某個(gè)部分中不可見(jiàn)的脈管將被完成并且將表現(xiàn)為更連續(xù)的解剖結(jié)構(gòu)(例如，圖13B的項(xiàng)目161)。體積和或網(wǎng)格/多邊形重建-利用組織繪制和魔術(shù)組織棒算法來(lái)創(chuàng)建并且與掃描圖像整合的解剖結(jié)構(gòu)，出于任何實(shí)踐考慮，是圖像的整合部分。例如，最初是部分的并且在應(yīng)用魔術(shù)組織繪制和組織棒算法后是完整的脈管解剖結(jié)構(gòu)將變成完整的解剖結(jié)構(gòu)，這個(gè)完整的解剖結(jié)構(gòu)具有由原始掃描圖像和新創(chuàng)建的結(jié)構(gòu)組合而成的結(jié)構(gòu)。此外，控件(復(fù)選框)允許選擇新創(chuàng)建的結(jié)構(gòu)并且在開(kāi)啟(示出新創(chuàng)建的結(jié)構(gòu))或關(guān)閉(隱藏新創(chuàng)建的結(jié)構(gòu))之間切換。另外，為選擇以體積和或網(wǎng)絡(luò)/多邊形再現(xiàn)/重建來(lái)再現(xiàn)新創(chuàng)建的結(jié)構(gòu)提供選項(xiàng)。標(biāo)記區(qū)域-所開(kāi)發(fā)的算法和軟件工具為用戶(hù)提供接口來(lái)以二維或三維方式(例如，線(xiàn)、圓、臨床、球等)繪制任何幾何形狀或徒手繪制形狀。包括/封閉/捕獲在所述幾何形狀(二維或三維)內(nèi)的區(qū)域被定義為“標(biāo)記區(qū)域”。用戶(hù)隨后擁有定義和指派任何視覺(jué)特性和任何機(jī)械性質(zhì)給所述“標(biāo)記區(qū)域”的能力。視覺(jué)特性:顏色/透明度/明暗處理-利用魔術(shù)組織繪制、組織棒算法新創(chuàng)建的結(jié)構(gòu)或標(biāo)記區(qū)域可以可選自可用顏色庫(kù)的顏色和可在0至100的任何等級(jí)上選擇的透明度的任何所選擇視覺(jué)特性來(lái)呈現(xiàn)。此外，新創(chuàng)建的結(jié)構(gòu)的明暗處理和陰影效果的特性可通過(guò)調(diào)節(jié)虛擬光源的特性加以修改。虛擬光源特性包括:空間中的球形位置、光的顏色、光的強(qiáng)度、縱橫比、虛擬源的幾何形狀等。機(jī)械性質(zhì)-利用組織繪制、魔術(shù)組織棒算法新創(chuàng)建的結(jié)構(gòu)或標(biāo)記區(qū)域可被指派機(jī)械性質(zhì)特性。也就是說(shuō)，特定組織的機(jī)械模型可聯(lián)接到新創(chuàng)建的結(jié)構(gòu)，并且因此新創(chuàng)建的結(jié)構(gòu)將帶有這類(lèi)機(jī)械性質(zhì)并且將根據(jù)那些機(jī)械性質(zhì)動(dòng)態(tài)地且靜態(tài)地做出反應(yīng)。例如，如果“軟組織”機(jī)械性質(zhì)被指派給新創(chuàng)建的結(jié)構(gòu)，那么新創(chuàng)建的結(jié)構(gòu)將根據(jù)軟組織做出反應(yīng)。例如，當(dāng)新創(chuàng)建的結(jié)構(gòu)被虛擬外科手術(shù)儀器推擠時(shí)，它將根據(jù)所施加的力和組織機(jī)械模型擠壓和再成形。此外，新創(chuàng)建的結(jié)構(gòu)與其它新創(chuàng)建的結(jié)構(gòu)之間的交互作用、最初掃描的結(jié)構(gòu)與新創(chuàng)建的結(jié)構(gòu)之間的交互作用以及新創(chuàng)建的結(jié)構(gòu)與最初掃描的結(jié)構(gòu)之間的交互作用是無(wú)縫的。任何解剖結(jié)構(gòu)的機(jī)械性質(zhì)系數(shù)(剛度、彈性等)可由用戶(hù)調(diào)節(jié)以創(chuàng)建量身定做的機(jī)械行為。實(shí)時(shí)跟蹤和反饋-用于在外科手術(shù)期間跟蹤實(shí)際外科手術(shù)儀器的系統(tǒng)。跟蹤系統(tǒng)傳遞外科手術(shù)儀器相對(duì)于實(shí)際解剖結(jié)構(gòu)(例如，患者頭上的特定點(diǎn))的取向和位置的空間位置和坐標(biāo)。隨后將儀器的位置和取向發(fā)送到外科手術(shù)模擬系統(tǒng)?；诨颊咛囟M和儀器的位置和取向，向外科醫(yī)生提供反饋。這種反饋的一個(gè)實(shí)例可以是:系統(tǒng)向外科醫(yī)生生成針對(duì)他正在剖開(kāi)的組織類(lèi)型的反饋，并且萬(wàn)一他剖開(kāi)了健康的腦組織而不是腫瘤，則警告外科醫(yī)生。額外實(shí)例是在外科醫(yī)生將器具應(yīng)用于實(shí)際解剖結(jié)構(gòu)上(例如，應(yīng)用于實(shí)際患者身上的動(dòng)脈瘤上的動(dòng)脈瘤夾子)后，系統(tǒng)允許外科醫(yī)生旋轉(zhuǎn)模擬圖像/模型，所述模擬圖像/模型基于跟蹤按實(shí)際解剖結(jié)構(gòu)來(lái)精確取向，并且觀(guān)察和評(píng)估所放置植入物的位置和效力。實(shí)際儀器的這種跟蹤和反饋可以多種方式完成，如通過(guò)使用視頻系統(tǒng)來(lái)跟蹤儀器和患者特征的位置和移動(dòng)?；蛘?或除視頻跟蹤外)，可修改外科手術(shù)儀器以實(shí)現(xiàn)跟蹤，如通過(guò)使用GPS、加速度計(jì)、磁性檢測(cè)或其它位置和運(yùn)動(dòng)檢測(cè)裝置和方法。例如，這些修改后的儀器可使用WiFi、藍(lán)牙、MICS或其它通信方法與外科手術(shù)室通信。例如，圖7中的接口107可用于這個(gè)特征。本發(fā)明的許多其它示例實(shí)施方案可以通過(guò)上述特征的各種組合來(lái)提供。雖然已在上文中使用特定實(shí)施例和實(shí)施方案來(lái)描述本發(fā)明，但是本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)了解，可以使用各種替代方案，并且等同物可以替代本文所述的元件和/或步驟，而未必會(huì)背離本發(fā)明的意圖范圍。為使本發(fā)明適于特定情形或者適于特定需要，可能需要修改，而不會(huì)背離本發(fā)明的意圖范圍。本發(fā)明不意圖限制于本文所述的特定實(shí)現(xiàn)方式和實(shí)施方案，但是應(yīng)當(dāng)對(duì)權(quán)利要求書(shū)進(jìn)行最廣泛的合理解釋以涵蓋所有新穎的和不明顯的實(shí)施方案，無(wú)論是字面的還是等同的實(shí)施方案、公開(kāi)的還是未公開(kāi)的實(shí)施方案均被權(quán)利要求書(shū)涵蓋。