本發(fā)明為一種基于虛擬現(xiàn)實(shí)技術(shù)的人機(jī)交互系統(tǒng)，尤其涉及到在虛擬場(chǎng)景中完整展示從內(nèi)到外的3D人體解剖數(shù)字模型，并且能夠進(jìn)行交互的人體解剖交互系統(tǒng)。

背景技術(shù)：

人機(jī)交互技術(shù)是目前用戶界面技術(shù)中發(fā)展迅速的領(lǐng)域之一，現(xiàn)已獲得大量研究成果，包括側(cè)重于多媒體技術(shù)的觸摸式顯示屏、可折疊電子書(shū)顯示屏、3D顯示器和視網(wǎng)膜成像顯示器等等。虛擬現(xiàn)實(shí)作為一門新興人機(jī)交互技術(shù)，具有更廣闊的應(yīng)用前景。虛擬現(xiàn)實(shí)(Virtual Reality，簡(jiǎn)稱VR)技術(shù)是80年代隨著計(jì)算機(jī)圖形仿真技術(shù)的深入研究而發(fā)展起來(lái)的一個(gè)新的研究領(lǐng)域，人們利用它在計(jì)算機(jī)系統(tǒng)上創(chuàng)建和體驗(yàn)虛擬世界。虛擬世界是全體虛擬環(huán)境(Virtual Environment簡(jiǎn)稱VE)或給定仿真對(duì)象的全體，而虛擬環(huán)境由計(jì)算機(jī)產(chǎn)生，通過(guò)視、聽(tīng)、觸覺(jué)等作用于用戶使之產(chǎn)生身臨其境感覺(jué)的交互式視覺(jué)仿真系統(tǒng)。通常虛擬現(xiàn)實(shí)系統(tǒng)由智能眼鏡、控制單元、人體動(dòng)作捕捉單元等組成，但在互動(dòng)性和視覺(jué)呈現(xiàn)上效果不佳。

現(xiàn)有的虛擬現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)領(lǐng)域中的應(yīng)用，主要是利用X射線計(jì)算機(jī)斷層成像(CT)、核磁共振(MRI)等醫(yī)學(xué)影像技術(shù)，對(duì)人體活體或尸體進(jìn)行全方位的掃描，從而獲取人體組織器官信息，再通過(guò)三維重建直接建立掃描的人體模型，應(yīng)用虛擬現(xiàn)實(shí)技術(shù)和設(shè)備將虛擬模型呈現(xiàn)在場(chǎng)景之中，使用戶在場(chǎng)景中看到一個(gè)三維還原的掃描人體結(jié)構(gòu)。但這樣的人體結(jié)構(gòu)在不同個(gè)體之間或活體與尸體之間都存在個(gè)體差異性，例如掃描的活體對(duì)象偏胖或偏瘦，組織器官存在病變，又如尸體在掃描時(shí)，存在和活體時(shí)的差異，加之經(jīng)過(guò)了物理和化學(xué)處理，松懈程度會(huì)增大，從而產(chǎn)生更大的形變。因此直接通過(guò)三維掃描重建出來(lái)的人體結(jié)構(gòu)對(duì)真正意義上的模型應(yīng)用效果有限，無(wú)法以點(diǎn)蓋面地作為標(biāo)準(zhǔn)人體結(jié)構(gòu)。

此外，雖然目前關(guān)于視覺(jué)合成的研究較多，但用于醫(yī)療醫(yī)學(xué)領(lǐng)域的產(chǎn)品相對(duì)較少，大多數(shù)的瓶頸都卡在人體模型的精細(xì)程度，以及力觸覺(jué)模擬技術(shù)上的不足。人體模型的精細(xì)度在虛擬顯示環(huán)境中具有突出的優(yōu)越性，它使得虛擬現(xiàn)實(shí)環(huán)境變得真實(shí)，更具有代入感，極大的增強(qiáng)了可視化呈現(xiàn)效果。另外，力反饋也是虛擬現(xiàn)實(shí)中不可缺少的一部分，它是使用戶可接收周圍環(huán)境輸入，同時(shí)可對(duì)周圍環(huán)境輸出的感知通道。但目前大多虛擬現(xiàn)實(shí)系統(tǒng)均只有單一的視覺(jué)立體或觸覺(jué)立體，無(wú)法實(shí)現(xiàn)視覺(jué)與觸覺(jué)的同步匹配，代入感不強(qiáng)。如果能實(shí)現(xiàn)二者的同步渲染與配合，同時(shí)結(jié)合醫(yī)學(xué)、醫(yī)療領(lǐng)域相關(guān)的標(biāo)準(zhǔn)化數(shù)據(jù)資源，無(wú)疑將大大增強(qiáng)用戶與虛擬模型和環(huán)境的交互，并使感受到與虛擬對(duì)象交互產(chǎn)生的接觸和力，形成對(duì)虛擬模型的完整認(rèn)知，如同操作真實(shí)物體一樣，使人機(jī)交互體驗(yàn)更真實(shí)、準(zhǔn)確。

再者，用戶在虛擬環(huán)境中可隨意快速地移動(dòng)，移動(dòng)過(guò)程中如畫(huà)面追蹤不到位可能會(huì)產(chǎn)生拖影或掉幀的現(xiàn)象，使用戶產(chǎn)生眩暈感甚至造成人體不適。

技術(shù)實(shí)現(xiàn)要素：

基于上述問(wèn)題，本發(fā)明的目的在于提供一種基于虛擬現(xiàn)實(shí)的人體解剖交互系統(tǒng)，通過(guò)VR建立全三維的虛擬環(huán)境，使用戶與人體模型進(jìn)行交互操作。該系統(tǒng)包括：

頭戴式顯示設(shè)備，佩戴于用戶頭部，使用戶通過(guò)所述頭戴式顯示設(shè)備中的顯示器觀看虛擬環(huán)境以及三維人體數(shù)字模型；

主機(jī)系統(tǒng)，用于為所述頭戴式顯示設(shè)備提供功能保證，所述頭戴式顯示設(shè)備根據(jù)自身智能化和自動(dòng)化程度利用主機(jī)系統(tǒng)；

追蹤系統(tǒng)，用于捕捉用戶的運(yùn)動(dòng)，并將信息返回給所述頭戴式顯示設(shè)備，從而創(chuàng)建一種沉浸式VR體驗(yàn)；

控制器，所述控制器為手持設(shè)備，用于追蹤用戶的動(dòng)作或手勢(shì)；

輔助可視系統(tǒng)，包括：可視化公告板和動(dòng)態(tài)可視效果發(fā)生器；

所述系統(tǒng)還包括：通過(guò)主機(jī)系統(tǒng)實(shí)時(shí)判斷傳感器所處的位置和虛擬場(chǎng)景中的某個(gè)人體結(jié)構(gòu)位置，如有接觸或碰撞，則根據(jù)接觸或碰撞對(duì)象的性質(zhì)進(jìn)行不同的力度回饋。

優(yōu)選地，所述追蹤系統(tǒng)包括內(nèi)置傳感器、陀螺儀和磁力計(jì)，所述傳感器與HMD設(shè)備分離，采用內(nèi)部攝像頭或LED燈。

優(yōu)選地，所述控制器還具備觸覺(jué)觸發(fā)模塊，提供觸覺(jué)體驗(yàn)，使用戶感覺(jué)到震動(dòng)。

優(yōu)選地，所述控制器包括：

左手柄，通過(guò)所述左手柄的控制臺(tái)對(duì)所述系統(tǒng)進(jìn)行控制；

右手柄，通過(guò)所述右手柄的功能按鈕對(duì)所述系統(tǒng)進(jìn)行控制。

優(yōu)選地，所述左手柄包括：

VR接收器、陀螺儀裝置和一塊實(shí)體板，實(shí)體板與VR接收器形成一體式結(jié)構(gòu)握于左手，通過(guò)陀螺儀裝置進(jìn)行水平和翻轉(zhuǎn)判斷，當(dāng)左手柄處于水平狀態(tài)時(shí)呼出虛擬場(chǎng)景中的控制臺(tái)，左手柄脫離水平狀態(tài)時(shí)關(guān)閉控制臺(tái)。

進(jìn)一步的，所述右手柄的功能按鈕包括：扳機(jī)、單按鈕、左方向按鈕、右方向按鈕。

優(yōu)選地，所述扳機(jī)包括：

扳機(jī)：扳機(jī)包括功能激活按鈕，可對(duì)左手柄的控制臺(tái)進(jìn)行操作，

其中，所述操作包括，對(duì)6組人體模型的任一模型接觸后進(jìn)行抓取工作，進(jìn)一步的：

按下扳機(jī)確定處于抓住狀態(tài)，處于抓住狀態(tài)下的模型可隨手柄的旋轉(zhuǎn)進(jìn)行旋轉(zhuǎn)；

松開(kāi)扳機(jī)取消抓取，模型停留在當(dāng)前坐標(biāo)點(diǎn)上。

優(yōu)選地，所述單按鈕具有對(duì)手柄所接觸的模型進(jìn)行單個(gè)還原功能。

優(yōu)選地，所述左右按鈕具有對(duì)處于光標(biāo)圈的模型組進(jìn)行左右旋轉(zhuǎn)功能，組內(nèi)所有模型沿場(chǎng)景Y坐標(biāo)開(kāi)始旋轉(zhuǎn)。

優(yōu)選地，左右手柄的特性包括：當(dāng)在虛擬場(chǎng)景中移動(dòng)坐標(biāo)時(shí)，實(shí)時(shí)檢測(cè)碰撞屬性。

優(yōu)選地，所述可視化公告板在任何模型處于抓取狀態(tài)時(shí)，在被抓取的模型世界坐標(biāo)的左上角出現(xiàn)透明式描述界面，界面中顯示當(dāng)前被抓取模型的中文、英文名稱，以及其他模型相關(guān)描述。

優(yōu)選地，所述動(dòng)態(tài)可視效果發(fā)生器在所有模型立于場(chǎng)景中原始坐標(biāo)點(diǎn)時(shí)，針對(duì)動(dòng)態(tài)模型渲染動(dòng)態(tài)效果。

優(yōu)選地，所述三維人體數(shù)字模型的構(gòu)建包括以下步驟：

1)獲取人體醫(yī)學(xué)圖像；

2)采用體繪制技術(shù)，建立人體數(shù)字模型的解剖學(xué)數(shù)據(jù)庫(kù)；

3)通過(guò)醫(yī)學(xué)專家指導(dǎo)，根據(jù)人體的個(gè)體差異和不足，調(diào)整人體數(shù)字模型的偏差，獲得準(zhǔn)確的人體數(shù)字模型；

4)通過(guò)手工繪制步驟3)獲得的人體數(shù)字模型，建立準(zhǔn)確的人體結(jié)構(gòu)模型。

優(yōu)選地，步驟2)建立數(shù)字模型為根據(jù)男女體型差異分別構(gòu)建。

優(yōu)選地，上述人體數(shù)字模型的構(gòu)建采用次世代3D數(shù)字建模方法。

所述系統(tǒng)還包括：為了降低VR環(huán)境中用戶的眩暈感，采用以下任一調(diào)整方式或其組合：

在用戶視野范圍內(nèi)加入靜態(tài)參照物；適當(dāng)減少用戶的視野范圍或避免視野的經(jīng)常轉(zhuǎn)換；增加顯示畫(huà)面的刷新幀率；提示用戶在VR環(huán)境中勻速活動(dòng)。

根據(jù)上述各方式，本發(fā)明可使用戶獲得更加精細(xì)準(zhǔn)確的交互體驗(yàn)。在虛擬場(chǎng)景中用戶將看到擁有和正常人同等體形體格的3D人體數(shù)據(jù)，如身高、胸圍、上下半身比例等；同時(shí)可通過(guò)控制器直接對(duì)對(duì)虛擬場(chǎng)景中任意的人體結(jié)構(gòu)進(jìn)行拆解拆分，而無(wú)需再借助額外的外部器械。并且，不同于現(xiàn)有虛擬現(xiàn)實(shí)系統(tǒng)單一的視覺(jué)立體或觸覺(jué)立體，或觸覺(jué)效果的簡(jiǎn)單模擬，本發(fā)明針對(duì)不同的組織進(jìn)行不同的力度反饋，使用戶同時(shí)感受到不同組織的觸感、結(jié)構(gòu)性質(zhì)、形態(tài)和柔韌度等等。

更進(jìn)一步地，本發(fā)明的模型資源打破傳統(tǒng)三維重建技術(shù)，通過(guò)兩次人體結(jié)構(gòu)繪制，對(duì)原始醫(yī)學(xué)數(shù)據(jù)進(jìn)行轉(zhuǎn)化，運(yùn)用次世代3D數(shù)字建模技術(shù)及PBR工作流程制作獲得準(zhǔn)確、標(biāo)準(zhǔn)化的人體模型結(jié)構(gòu)。

此外，本發(fā)明從用戶切身體驗(yàn)出發(fā)，考慮到用戶使用的持久性，采用了有效的調(diào)整措施，防止和降低用戶的眩暈感。

附圖說(shuō)明

圖1為本發(fā)明系統(tǒng)結(jié)構(gòu)示意圖。

圖2為右手柄的示意圖。

圖3為數(shù)字人體模型示意圖。

圖4和圖5為本發(fā)明系統(tǒng)中的力反饋描述示意圖。

圖6為人體眩暈感產(chǎn)生原因示意圖。

具體實(shí)施方式

以下，將參照附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例。

圖1為本發(fā)明系統(tǒng)結(jié)構(gòu)示意圖。

其中，主機(jī)系統(tǒng)包括智能手機(jī)、PC或視頻游戲機(jī)。本醫(yī)學(xué)解剖交互系統(tǒng)追蹤系統(tǒng)可創(chuàng)建一種沉浸式的VR體驗(yàn)，例如，如果用戶戴上HMD設(shè)備仰望天空，HMD屏幕也會(huì)向同樣的方向運(yùn)動(dòng)，以便讓用戶看到目標(biāo)。追蹤系統(tǒng)可被整合到HMD設(shè)備中，或作為HMD設(shè)備的外設(shè)。為了提高追蹤系統(tǒng)的準(zhǔn)確性，可將追蹤系統(tǒng)中傳感器與HMD設(shè)備分離，并采用內(nèi)部攝像頭或LED燈。

控制器包括左右手柄，其中左手柄包括：VR接收器和一塊實(shí)體板，實(shí)體板的尺寸是37cm*25cm。實(shí)體板要求輕便，重力較輕。

實(shí)體板與左手VR接收器形成一體式結(jié)構(gòu)握于左手，通過(guò)手柄的陀螺儀裝置進(jìn)行水平和翻轉(zhuǎn)判斷，當(dāng)手柄處于水平狀態(tài)時(shí)呼出虛擬場(chǎng)景中的控制臺(tái)，手柄脫離水平狀態(tài)時(shí)關(guān)閉控制臺(tái)。虛擬場(chǎng)景中顯示的控制臺(tái)為平板狀操作臺(tái)，控制臺(tái)上至少包括6個(gè)模型圖標(biāo)，分別是：骨骼模型、肌肉模型、內(nèi)臟模型、血液模型、神經(jīng)模型、淋巴模型，用戶可以通過(guò)右手柄與控制臺(tái)顯示的圖標(biāo)進(jìn)行交互，例如對(duì)控制臺(tái)顯示的圖標(biāo)進(jìn)行選擇、切換。此外，內(nèi)臟模型可平移復(fù)制出一個(gè)心臟模型，神經(jīng)模型旁放置單個(gè)眼球模型和全套腦部模型。同時(shí)，通過(guò)左手柄激活控制臺(tái)和關(guān)閉控制臺(tái)時(shí)具有動(dòng)態(tài)效果。

左手柄的控制臺(tái)還包括模型按鈕，模型按鈕具有：激活、未激活、懸停三種狀態(tài)，在激活按鈕的同時(shí)，調(diào)出對(duì)應(yīng)的模型結(jié)構(gòu)，反之，激活模型結(jié)構(gòu)則關(guān)閉。每個(gè)模型按鈕下?lián)碛幸粋€(gè)標(biāo)識(shí)按鈕(共6個(gè))，標(biāo)識(shí)按鈕代表選中此模型組。標(biāo)識(shí)按鈕跟隨用戶點(diǎn)擊，進(jìn)行判斷出現(xiàn)在哪個(gè)模型組下。通過(guò)激活標(biāo)識(shí)按鈕所顯示的標(biāo)識(shí)圈只能以一個(gè)單一的形式存在。同時(shí)程序?yàn)槊總€(gè)模型組套上一個(gè)box，利用右手手柄，在按下方向鍵的同時(shí)利用手柄釋放出的射線檢測(cè)到選中的哪組模型并進(jìn)行旋轉(zhuǎn)，起到標(biāo)識(shí)圈的功能。

同時(shí)，模型按鈕還包括1個(gè)全局的“整體復(fù)原”按鈕，可對(duì)處于標(biāo)識(shí)圈下的模型組進(jìn)行整體還原。模型按鈕還可以通過(guò)射線檢測(cè)模型組，撥動(dòng)其他功能鍵復(fù)位整體模型組。

圖2為右手柄的示意圖。

右手柄的功能激活控制包括：扳機(jī)、單按鈕、左方向按鈕、右方向按鈕。

其中，扳機(jī)包括一功能激活按鈕，可對(duì)左手柄的控制臺(tái)進(jìn)行操作。操作包括：對(duì)6組人體模型的任一模型接觸后進(jìn)行抓取工作，當(dāng)按下扳機(jī)并確定處于抓住狀態(tài)，處于抓住狀態(tài)下的模型可隨手柄的旋轉(zhuǎn)進(jìn)行旋轉(zhuǎn)，松開(kāi)扳機(jī)取消抓取，模型停留在當(dāng)前坐標(biāo)點(diǎn)上。

單按鈕，具有對(duì)手柄所接觸的模型進(jìn)行單個(gè)還原功能。

左右按鈕具有對(duì)處于光標(biāo)圈的模型組進(jìn)行左右旋轉(zhuǎn)功能，組內(nèi)所有模型沿場(chǎng)景Y坐標(biāo)開(kāi)始旋轉(zhuǎn)。

手柄采取真實(shí)手的形態(tài)，或者手套形態(tài)。在抓取動(dòng)作和點(diǎn)擊按鈕動(dòng)作中，右手柄的形態(tài)會(huì)在待機(jī)、抓取動(dòng)作、指選動(dòng)作中進(jìn)行切換。

左右手柄的特性包括：當(dāng)在虛擬場(chǎng)景中移動(dòng)坐標(biāo)時(shí)，實(shí)時(shí)檢測(cè)碰撞屬性。

當(dāng)接觸或碰撞到人體組織結(jié)構(gòu)將讀取對(duì)應(yīng)模型信息，根據(jù)模型信息判斷，并給出對(duì)應(yīng)模型類別對(duì)應(yīng)的力回饋拉扯力的對(duì)應(yīng)信息。力回饋傳遞給手部接收器，用戶根據(jù)接觸或碰撞對(duì)象的性質(zhì)得到不同的力回饋信息，達(dá)到真實(shí)世界的質(zhì)感和力度阻擋感覺(jué)。通過(guò)合理的、不同的力反饋技術(shù)的結(jié)合，實(shí)現(xiàn)對(duì)人體不同結(jié)構(gòu)進(jìn)行分析后回饋給用戶不同的力度抵觸體驗(yàn)。傳感器所處的位置和虛擬場(chǎng)景中的某個(gè)人體結(jié)構(gòu)位置通過(guò)計(jì)算機(jī)進(jìn)行實(shí)時(shí)判斷，如有碰撞，則根據(jù)碰撞對(duì)象的性質(zhì)進(jìn)行不同的力度回饋。如碰撞骨骼的阻礙力度和脂肪的阻礙力度不同，或接觸血液的粘稠感也不同。

輔助可視系統(tǒng)，輔助可視系統(tǒng)包括：可視化公告板和動(dòng)態(tài)可視效果發(fā)生器。

可視化公告板在任何模型處于抓取狀態(tài)時(shí)，在被抓取的模型世界坐標(biāo)的左上角出現(xiàn)透明式描述界面，界面中顯示當(dāng)前被抓取模型的中文、英文名稱，以及其他模型相關(guān)描述。

動(dòng)態(tài)可視效果發(fā)生器在所有模型立于場(chǎng)景中原始坐標(biāo)點(diǎn)時(shí)，針對(duì)動(dòng)態(tài)模型渲染動(dòng)態(tài)效果。人體中有很多處于運(yùn)動(dòng)狀態(tài)的器官，比如跳動(dòng)狀態(tài)的心臟，呼吸狀態(tài)中的肺葉，血管里有流動(dòng)中的血液，腸蠕動(dòng)及胃蠕動(dòng)等。為增加場(chǎng)景中的互動(dòng)感，當(dāng)某個(gè)模型脫離原始坐標(biāo)點(diǎn)時(shí)，脫離坐標(biāo)點(diǎn)的模型停止動(dòng)態(tài)效果。

圖3為3D數(shù)字人體模型中示意圖，3D數(shù)字人體模型通過(guò)以下步驟進(jìn)行構(gòu)建：

1)獲取放射科醫(yī)療圖像，如尸體標(biāo)本資源庫(kù)和豐富的人體CT\MRI掃描數(shù)據(jù)等；

2)利用3D成像系統(tǒng)，采用基于光線投射算法的體繪制技術(shù)，建立3D數(shù)字人體模型的解剖學(xué)數(shù)據(jù)庫(kù)，以完整全面、權(quán)威、精細(xì)的解剖學(xué)數(shù)據(jù)輸出男女兩套三維數(shù)字模型；

3)通過(guò)醫(yī)學(xué)專家指導(dǎo)，根據(jù)人體的個(gè)體差異和不足，調(diào)整人體數(shù)字模型的偏差，獲得準(zhǔn)確的人體數(shù)字模型；

4)經(jīng)過(guò)一定數(shù)量美術(shù)人員的手工繪制步驟3)獲得的模型，建立出男女各一套標(biāo)準(zhǔn)的人體結(jié)構(gòu)。

上述人體數(shù)字模型采用次世代3D數(shù)字建模技術(shù)，平均每個(gè)模型的創(chuàng)建面數(shù)在6000(Mesh)上，紋理貼圖使用的是4096(px)x 4096(px)的最高精度制作標(biāo)準(zhǔn)，以保證每個(gè)模型充分還原人體各系統(tǒng)精密細(xì)節(jié)，并且可以360度角度任意觀察。

通過(guò)雙重繪制的3D數(shù)字人體解剖結(jié)構(gòu)相比于僅通過(guò)掃描得到的人體結(jié)構(gòu)，更具有研究和教學(xué)性。掃描后直接重建并應(yīng)用于系統(tǒng)的三維模型具有個(gè)體化差異，這樣的人體結(jié)構(gòu)模型只能代表一個(gè)個(gè)體，無(wú)法以點(diǎn)蓋面。而手繪的人體數(shù)字模型是通過(guò)人體數(shù)據(jù)庫(kù)、數(shù)據(jù)掃描、三維重建、專家指導(dǎo)等多方面資源整合后得到，是醫(yī)學(xué)中最貼近理想化和醫(yī)學(xué)標(biāo)準(zhǔn)的數(shù)字人體結(jié)構(gòu)模型。

另外，在虛擬場(chǎng)景中，數(shù)字人體結(jié)構(gòu)模型可以使用戶更加精細(xì)準(zhǔn)確的進(jìn)行交互體驗(yàn)，在虛擬場(chǎng)景中用戶將看到擁有和正常人同等體形體格的3D人體數(shù)據(jù)，如身高、胸圍、上下半身比例等。同時(shí)可通過(guò)控制器直接對(duì)對(duì)虛擬場(chǎng)景中任意的人體結(jié)構(gòu)進(jìn)行拆解拆分，不用再借助額外的外部器械。

更進(jìn)一步地，本發(fā)明的模型資源打破傳統(tǒng)三維重建技術(shù)，通過(guò)CG制作技術(shù)，運(yùn)用于醫(yī)學(xué)教育領(lǐng)域。通過(guò)對(duì)原始醫(yī)學(xué)數(shù)據(jù)轉(zhuǎn)化，運(yùn)用次世代3D數(shù)字建模技術(shù)及PBR工作流程(基于物理過(guò)程的渲染)制作準(zhǔn)確性、標(biāo)準(zhǔn)化的人體模型結(jié)構(gòu)。

運(yùn)用原始醫(yī)學(xué)數(shù)據(jù)生成初級(jí)模型，通過(guò)建模軟件運(yùn)用次世代3D數(shù)字建模技術(shù)繪制高精度人體模型結(jié)構(gòu)，可對(duì)人體結(jié)構(gòu)進(jìn)行高精度還原而不受面數(shù)控制。在轉(zhuǎn)化過(guò)程中參考多方面專業(yè)醫(yī)學(xué)資料，多維度把控模型準(zhǔn)確性和標(biāo)準(zhǔn)化，建立出完美標(biāo)準(zhǔn)型的人體結(jié)構(gòu)。

運(yùn)用PBR工作流程，基于物理過(guò)程的渲染，模擬真實(shí)光照，制作4096(px)x 4096(px)的高精度貼圖。繪制出的器官結(jié)構(gòu)更加接近真實(shí)人體，同時(shí)避免了常規(guī)尸體標(biāo)本難以保存、結(jié)構(gòu)不清晰、與活體差異大等弊端。

次世代3D模型的原理是通過(guò)高模和低模匹配產(chǎn)生多張細(xì)節(jié)貼圖，所述貼圖中記錄了高模中所含的細(xì)節(jié)信息，并將高模烘焙的法線貼圖回貼到低模上，以減少面的浪費(fèi)，同時(shí)低模頁(yè)在引擎里可以及時(shí)顯示高模的視覺(jué)效果，從而讓模型表現(xiàn)更加真實(shí)，達(dá)到電影級(jí)精度，實(shí)現(xiàn)高細(xì)節(jié)、強(qiáng)質(zhì)感表現(xiàn)的效果。

上述模型可應(yīng)用于教學(xué)展示與解剖訓(xùn)練，可根據(jù)教學(xué)大綱要求的內(nèi)容，制作多個(gè)斷面模型，學(xué)生可以通過(guò)透明或隱藏操作，觀察模型內(nèi)部解剖結(jié)構(gòu)和形態(tài)特點(diǎn)，對(duì)重點(diǎn)、難點(diǎn)學(xué)習(xí)部位進(jìn)行模擬真實(shí)解剖的操作，幫助學(xué)生理解和掌握知識(shí)點(diǎn)，同時(shí)也提升了老師的教學(xué)質(zhì)量。

圖4和圖5為本發(fā)明系統(tǒng)中的力反饋描述示意圖。

如圖4和圖5所示，通過(guò)合理的、不同的力反饋技術(shù)的結(jié)合，實(shí)現(xiàn)對(duì)人體不同結(jié)構(gòu)進(jìn)行分析后回饋給用戶不同的力度抵觸體驗(yàn)。傳感器所處的位置和虛擬場(chǎng)景中的某個(gè)人體結(jié)構(gòu)位置通過(guò)計(jì)算機(jī)進(jìn)行實(shí)時(shí)判斷，如有碰撞，則根據(jù)碰撞對(duì)象的性質(zhì)進(jìn)行不同的力度回饋。如碰撞骨骼的阻礙力度和脂肪的阻礙力度不同，或接觸血液的粘稠感也不同。

其中，圖4示出了獲取力反饋的流程圖。

用戶通過(guò)移動(dòng)雙手觸碰到人體模型，在觸碰時(shí)，激活抓取功能，右手柄處于抓取狀態(tài)，當(dāng)用戶再一次移動(dòng)雙手時(shí)，便可根據(jù)用戶的動(dòng)作進(jìn)一步顯示抓取模型的運(yùn)動(dòng)軌跡，獲取人體中的對(duì)應(yīng)模型的信息或顯示抓取模型的狀態(tài)。

其中，在用戶雙手觸碰到人體模型時(shí)，進(jìn)行碰撞檢測(cè)，并將檢測(cè)信息發(fā)回給主機(jī)系統(tǒng)，以進(jìn)一步計(jì)算回饋力度，并將回饋的力度返回給觸覺(jué)觸發(fā)模塊，觸覺(jué)觸發(fā)模塊提供觸覺(jué)體驗(yàn)，使用戶感覺(jué)到震動(dòng)。

在用戶激活抓取功能并處于抓取狀態(tài)時(shí)，針對(duì)動(dòng)態(tài)的器官，如心臟、血管等，通過(guò)雙手坐標(biāo)以及速度，計(jì)算人體組織結(jié)構(gòu)對(duì)應(yīng)的力反饋信息，并將模型的力信息返回給觸覺(jué)觸發(fā)模塊，進(jìn)一步提供觸覺(jué)體驗(yàn)。

圖5進(jìn)一步示出了力反饋信號(hào)在所述系統(tǒng)中的輸入輸出關(guān)系。

虛擬場(chǎng)景模型顯示對(duì)象接收手部運(yùn)動(dòng)產(chǎn)生的運(yùn)動(dòng)軌跡坐標(biāo)并進(jìn)行手部動(dòng)態(tài)姿勢(shì)識(shí)別。力反饋信號(hào)通過(guò)力回饋信號(hào)處理之后提取對(duì)應(yīng)力回饋?zhàn)枇π畔⒉l(fā)送給虛擬場(chǎng)景模型顯示對(duì)象。同時(shí)頭部顯示信號(hào)通過(guò)頭部顯示信號(hào)處理流程獲取用戶的移動(dòng)指令，也將其發(fā)送給虛擬場(chǎng)景模型顯示對(duì)象。虛擬場(chǎng)景模型顯示對(duì)象進(jìn)一步計(jì)算對(duì)手部所在位置的力回饋信息，并將其返回給觸覺(jué)觸發(fā)模塊，進(jìn)一步提供觸覺(jué)體驗(yàn)。

VR影片里，在空間里有劇烈變化的影像容易引起使用者的眩暈感。同時(shí)，這些變化總會(huì)吸引使用者的注意力。參考圖6，用戶的視野中第一區(qū)域是最合適用戶觀察的，第二區(qū)域?qū)儆谝曇坝喙鈪^(qū)域，用戶會(huì)因?yàn)辄S色區(qū)域產(chǎn)生的變化而被吸引，從而改變視覺(jué)觀察位置。第三區(qū)域是視覺(jué)可忽略的部分，只在有畫(huà)面產(chǎn)生劇烈反映或大腦潛意識(shí)判斷是危險(xiǎn)信息時(shí)才會(huì)使人有所反映。而此時(shí)，邊緣處的圖像會(huì)被忽略，若縮小視野，對(duì)于用戶體驗(yàn)影響并不大。所以在場(chǎng)景畫(huà)面搭建和處理過(guò)程中可避免大幅度的畫(huà)面變化和潛意識(shí)的危險(xiǎn)信號(hào)源，使大腦認(rèn)為自己始終在一個(gè)安全且安靜的環(huán)境中。這樣的環(huán)境避免用戶會(huì)大幅度或快速移動(dòng)畫(huà)面，從而降低用戶產(chǎn)生暈眩效果的情況。因此，可通過(guò)適當(dāng)減少用戶視野(FOV)、適當(dāng)減少用戶的視野范圍或避免視野的經(jīng)常轉(zhuǎn)換等，減少用戶的眩暈感，增強(qiáng)用戶體驗(yàn)。

另外，VR設(shè)備幀間延遲跟不上人的運(yùn)動(dòng)，當(dāng)人已經(jīng)做到了相應(yīng)的動(dòng)作畫(huà)面還沒(méi)有刷新出來(lái)，會(huì)有微小的延遲感，即感官與幀率不同步會(huì)產(chǎn)生眩暈感。如果增加設(shè)備對(duì)畫(huà)面的刷新幀率，如達(dá)到較高的水平(60Hz等)，那么用戶在移動(dòng)頭部以及虛擬環(huán)境畫(huà)面自身移動(dòng)時(shí)，畫(huà)面的延遲會(huì)大幅降低，以至于用戶幾乎不會(huì)發(fā)現(xiàn)，有效減少眩暈感。本發(fā)明利用特殊的處理方式降低模型的面數(shù)的同時(shí)保證了模型的精度，從而增加虛擬場(chǎng)景中的刷新頻率。

還可以在用戶視野范圍內(nèi)增加自己的身體、一個(gè)無(wú)菌室頭盔或靜態(tài)參照物幀(如平視顯示器)作為參照物，可有效減少眩暈感，在某些情況下還能增加沉浸感。