混合現(xiàn)實仿真方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總體上涉及混合現(xiàn)實仿真，更具體地涉及用于訓(xùn)練目的的混合現(xiàn)實仿真裝 置和系統(tǒng)，例如在醫(yī)療領(lǐng)域。
[0002] 相關(guān)申請的交叉引用
[0003] 本申請要求于2012年9月12日申請的美國臨時專利申請序列號US61/700, 222 的權(quán)益，其發(fā)明人是 Stefan Tuchschmid、Jonas SpillmanruMatthias Harders，發(fā)明名稱 是"具有被動觸覺反饋的混合現(xiàn)實仿真器、方法和系統(tǒng)"，在本文出于各種目的將其作為參 考全文引入。
[0004] 發(fā)明背景
[0005] 在傳統(tǒng)的虛擬現(xiàn)實應(yīng)用中，視覺仿真主要用于給終端用戶提供與虛擬環(huán)境交互的 視覺假象。在混合的現(xiàn)實場景中，用戶與在物理環(huán)境（真實環(huán)境）和相關(guān)的虛擬環(huán)境中的真 實對象共同相互影響，觸覺使得虛擬環(huán)境（VE)內(nèi)部的導(dǎo)航非常容易，盡管用戶仍然不能通 過明顯的固體表面，但是混合現(xiàn)實提高了浸入程度和技能獲取水平。通常物理觸摸用主動 觸覺反饋裝置模擬，例如兩個觸覺裝置，其設(shè)置有美國專利申請公開2010/0086905中描述 的關(guān)節(jié)鏡檢查模擬器中的移動部件。那種模擬器包括真實尺寸的關(guān)節(jié)或器官的人體解剖模 型和模仿真實醫(yī)療操作裝置的模擬醫(yī)療器械；模型還與傳感器和移動部件相配合以引導(dǎo)、 跟蹤和控制該醫(yī)療器械在解剖模型中的操作。然而，主動式觸覺反饋從商業(yè)和計算的角度 上看是昂貴的，特別是如果模擬剛性接觸。由于裝置的機(jī)械配置，該工具的可能的運(yùn)動程度 是有限的；它們還承受各種機(jī)械限制，例如摩擦和慣性，并且力和力矩的最大可用量通常不 夠。另外，當(dāng)今的裝置十分巨大且不能容易地集成到模擬器硬件中。當(dāng)必須支持不同的訓(xùn) 練場景時，例如在多目的培訓(xùn)教室中，對每種不同的訓(xùn)練模型需要不同的硬件設(shè)置。最后但 同樣重要的，從操作的角度來看，主動式觸覺反饋系統(tǒng)在操作之前需要特殊的設(shè)置和校準(zhǔn)； 并且在實踐中，隨著時間的流逝該設(shè)置不穩(wěn)定，因此需要定期的維護(hù)以避免誘發(fā)訓(xùn)練錯誤。
[0006] 被動式觸覺解決方案，也被稱為觸覺增強(qiáng)或者混合現(xiàn)實，對于主動式觸覺反饋來 說，提供了一種價格可取的替代場景。被動式觸覺技術(shù)包括將真實的物理對象加入到虛擬 環(huán)境模擬器中，引起了非常強(qiáng)烈的觸感。與主動式觸覺反饋相比，被動式觸覺引起非常真實 的觸感，特別是與硬環(huán)境結(jié)合。然而，虛擬環(huán)境的修改需要物理對應(yīng)事物的修改，因為虛擬 環(huán)境與相關(guān)聯(lián)的物理對象之間的映射通常是一對一以避免虛擬與觸覺信號之間的錯配。這 種與下層物理環(huán)境的一對一映射使得虛擬環(huán)境缺乏靈活性。在被動式觸覺手術(shù)模擬器的背 景中，這可能妨礙在模擬器中模擬不同的虛擬病人或者動態(tài)改變訓(xùn)練場景。
[0007] 參考圖1能更好地理解這種限制。圖1表示模擬真實世界A的用戶物理操作器 IOOa(Hp)與真實環(huán)境A中的物理對象IlOa(Ep)的交互的兩種不同的混合現(xiàn)實場景B和C。根 據(jù)兩個不同的場景B和C，用戶物理操作器100a (Hp)可以由操作器的具體化100b、100c (Hv) 表示，同時物理對象IlOa(Ep)可以由虛擬環(huán)境中的物理對象的具體化IlObUlOc(E v)來表 示。在場景B中，物理對象的具體化IlOb(Ev)大于真實的對象110a，同時操作器的具體化 100b (Hv)具有原始操作器IOOa相同的尺寸，這樣在虛擬環(huán)境B中默認(rèn)的用戶交互導(dǎo)致操作 器具體化IOOb和對象具體化IlOb在偏差接觸交互點120b碰撞和穿透。當(dāng)操作器具體化 的尖端觸碰對象具體化IlOb(Ev)的點120b時，在它被手感受到之前，該碰撞在屏幕上能被 看見。這樣，在這個點沒有接收到觸覺刺激，這擾亂了用戶，因為視覺和觸覺刺激感知不同 步的結(jié)果。相反地，在場景C中，物理對象具體化110c (Ev)小于真實的對象110a，這樣終端 用戶看不見在虛擬環(huán)境C中操作器100c (Hv)與對象具體化IlOc在差異接觸交互點120c碰 撞，然而因為在真實環(huán)境中真實的操作器IOOa在接觸點120a被阻擋，所以終端用戶感覺到 來自真實對象交互的碰撞，導(dǎo)致不逼真的混合的現(xiàn)實感受。
[0008] 為了克服這種局限，近來的產(chǎn)品提出了空間彎曲技術(shù)，其中通過允許虛擬和物理 對象之間的映射存在差異，虛擬空間被扭曲以致于多種虛擬環(huán)境能被映射到一個單獨的物 理環(huán)境上。為此，虛擬空間被彎曲，導(dǎo)致在真實和虛擬世界中的用戶導(dǎo)向工具的運(yùn)動之間的 差異，這可能不會被終端用戶注意到，只要在他的/她的感覺閾值之下。正如本領(lǐng)域技術(shù) 人員所知道的，彎曲可以通過在其表面上表現(xiàn)3D模型來實現(xiàn)，例如，多邊形表面表示，控制 該表示并且把該控制的表示轉(zhuǎn)換回改進(jìn)的3D模型，但是其他的彎曲技術(shù)也是可能的。圖 2示出了這樣的例子，其中用戶導(dǎo)向的裝置IOOa在真實環(huán)境A中的平面IlOa上以恒定速 度移動，并且該平面彎曲成虛擬環(huán)境B中的曲面110b。相應(yīng)地，在虛擬環(huán)境中相應(yīng)的用戶 導(dǎo)向裝置具體化IOOb的速度不是恒定的以維持運(yùn)動期間連貫的感覺。在"再定向的接觸： 彎曲空間以再測量被動式觸覺（Redirected touching :warping space to remap passive haptics)，公開在IEEE 3D用戶界面專題討論會，129-130頁，2010年"中，Kohli提出用空 間彎曲改進(jìn)虛擬現(xiàn)實訓(xùn)練系統(tǒng)以在給定的真實環(huán)境基礎(chǔ)上增加訓(xùn)練場景的數(shù)量。然而，特 別當(dāng)虛擬環(huán)境參數(shù)根據(jù)要被模擬的混合現(xiàn)實場景隨著時間和/或空間改變時，還不適應(yīng)。

【發(fā)明內(nèi)容】

[0009] 這里描述的混合現(xiàn)實仿真方法和系統(tǒng)一方面可以有效地和自動地適應(yīng)虛擬環(huán)境 中的仿真場景，另一方面可以跟蹤底層的物理環(huán)境，同時當(dāng)他/她與硬件模擬器的物理組 件交互時，提供逼真的被動觸感反饋作為一致的觸覺和視覺提示給終端用戶。
[0010] 注意到盡管這里描述的實施例用于被動式觸覺反饋場景，下面說明的系統(tǒng)和方法 在一些實施例中也可以應(yīng)用于主動式觸覺反饋場景。
[0011] 本發(fā)明提出了一種用于在顯示器上呈現(xiàn)與物理環(huán)境相適應(yīng)的虛擬環(huán)境的混合現(xiàn) 實場景的混合現(xiàn)實仿真方法，該方法包括 ：
[0012] 用傳感器獲取物理環(huán)境對象的位置；
[0013] 識別物理環(huán)境表面和虛擬環(huán)境表面之間的錯配，所述錯配取決于物理環(huán)境對象位 置和混合現(xiàn)實場景參數(shù)；以及
[0014] 基于識別的錯配計算虛擬環(huán)境表面的映射位移。
[0015] 本發(fā)明還提出了一種用于在顯示器上呈現(xiàn)與物理環(huán)境相適應(yīng)的虛擬環(huán)境的混合 現(xiàn)實場景的混合現(xiàn)實仿真器系統(tǒng)，該系統(tǒng)包括：
[0016] 物理對象；
[0017] 配置獲取該物理對象位置的傳感器；
[0018] 顯示器；
[0019] 配置存儲虛擬環(huán)境的存儲器；和
[0020] 處理器電路，配置為：
[0021] 從所述傳感器接收物理對象的位置；
[0022] 識別虛擬環(huán)境表面和物理環(huán)境表面之間的錯配，所述錯配取決于物理對象位置和 混合現(xiàn)實場景參數(shù)；以及
[0023] 基于識別的錯配計算虛擬環(huán)境表面的映射位移。
[0024] 當(dāng)虛擬環(huán)境的至少一個參數(shù)不匹配相應(yīng)的物理環(huán)境參數(shù)時，物理和虛擬環(huán)境之間 的錯配被確定?？梢砸鹨曈X和觸覺錯配的具體參數(shù)例子包括對象表面或者體積，但是其 他特征也可以引起錯配，例如對象紋理。
[0025] 一種用于跟蹤至少一個物理操作器與物理環(huán)境中至少一個物理對象的交互并且 呈現(xiàn)虛擬環(huán)境的混合現(xiàn)實仿真方法，包括提供至少一個虛擬操作器。虛擬環(huán)境可以與物理 環(huán)境分開和/或虛擬操作器可以與物理操作器分開，以這種方式終端用戶所感覺的視覺和 觸覺保持一致。
[0026] 在一些實施例中，仿真方法可以包括：識別虛擬環(huán)境和物理環(huán)境表面之間的至少 一個錯配；基于原始的和彎曲的表面幾何形狀之間的差異計算至少一個虛擬環(huán)境表面的映 射位移；推算虛擬環(huán)境中操作器具體化的映射位移；把推算到操作器具體化的映射位移加 到原始的具體化表面的至少一個差異接觸交互點以建模扭曲的具體化表面；以及在仿真顯 示器上呈現(xiàn)扭曲的操作器具體化和靜態(tài)空間彎曲虛擬環(huán)境對象給終端用戶。
[0027] 從原始到扭曲的虛擬現(xiàn)實具體化的映射可以通過自適應(yīng)的空間彎曲實現(xiàn)。最大扭 曲模型和物理復(fù)制模型之間的扭曲量進(jìn)一步可以由附加的參數(shù)控制，例如但不限于標(biāo)量參 數(shù)或者復(fù)合參數(shù)。
[0