專利名稱：用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備，并更具體地，涉及適應(yīng)各種工作環(huán)境并滿足各種以用戶為中心的需求的用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備，并提供基于虛擬現(xiàn)實的訓(xùn)練模擬器。
背景技術(shù)：
使用實際工具的現(xiàn)有訓(xùn)練方法可伴隨很多困難，諸如耗材的使用、有限的訓(xùn)練空間、與輔助器材的管理相關(guān)的問題、由于電壓、電流、熱輻射、和(火焰的)飛濺而傷害初學(xué)者的過失事故的風(fēng)險、以及被動應(yīng)付訓(xùn)練。也就是說，在工作場所中需要非常富有經(jīng)驗的專業(yè)人員，但是上面列舉的問題可擔(dān)當(dāng)對于有效訓(xùn)練的執(zhí)行的妨礙。為了解決這些問題，開發(fā)了基于虛擬現(xiàn)實的訓(xùn)練模擬器，其創(chuàng)建與實際工作環(huán)境相同的虛擬環(huán)境，并允許在使得由于上述問題而出現(xiàn)的困難最小化的同時，在所創(chuàng)建的虛擬環(huán)境中訓(xùn)練操作者。這樣的基于虛擬現(xiàn)實的訓(xùn)練模擬器是這樣的系統(tǒng)，其中使用基于實時模擬的數(shù)字內(nèi)容來實現(xiàn)工作場所中的教育和訓(xùn)練情景，并且其提供有用于允許用戶直接與該內(nèi)容交互的輸入/輸出接口裝置，使得可向用戶呈現(xiàn)該用戶將從實際工作環(huán)境中獲得的相同體驗。 當(dāng)利用該系統(tǒng)時，可能使用獲得高經(jīng)濟效果(諸如與訓(xùn)練相關(guān)的成本和過失事故的減少) 并改善訓(xùn)練效率的過程，來訓(xùn)練用戶。因此，已開發(fā)了與各種情景(諸如發(fā)生在太空、航空、 軍事、醫(yī)學(xué)、教育和工業(yè)領(lǐng)域)對應(yīng)的模擬系統(tǒng)。然而，傳統(tǒng)的基于虛擬現(xiàn)實的訓(xùn)練模擬器還沒有呈現(xiàn)可靈活應(yīng)付在工作場所中發(fā)生的所有情景的各種工作場景。因此，傳統(tǒng)的基于虛擬現(xiàn)實的訓(xùn)練模擬器的局限之處在于，它們不滿足期望能夠主動應(yīng)付各種工作場所和各種情景的基于虛擬訓(xùn)練的模擬器的客戶的技術(shù)需求。用于虛擬焊接訓(xùn)練的現(xiàn)有技術(shù)的示例包括123證明公司的“Virtual Simulator Method and System for Neuromuscular Training and Certification via a Communication Network” 以及三星重工業(yè)有限公司和 KAIST 的“Welding Simulator”。然而，這些技術(shù)的局限之處在于，它們不能滿足期望通過靈活應(yīng)付那些工作場所中的所有情景而實現(xiàn)各種工作場景的客戶的技術(shù)需求，如稍后當(dāng)呈現(xiàn)本發(fā)明的目的時將描述的那樣。

發(fā)明內(nèi)容
因此，已在注意到現(xiàn)有技術(shù)中出現(xiàn)的以上問題的情況下作出了本發(fā)明，并且本發(fā)明的目的是提供一種用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備，當(dāng)操作基于虛擬現(xiàn)實的訓(xùn)練模擬內(nèi)容時，該設(shè)備促進(jìn)基于虛擬現(xiàn)實的訓(xùn)練模擬內(nèi)容的可移動操作。本發(fā)明的另一目的是提供一種用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備，該設(shè)備使得要重新配置的裝置平臺能夠適應(yīng)各種工作環(huán)境并滿足用戶的各種工作場景需求。本發(fā)明的進(jìn)一步目的是提供一種平臺設(shè)備和方法，其補充本申請人所提交的在先專利(名為 “Reconfigurable Device Platform and Operating Method thereof for Virtual Reality-based Training Simulator” 的韓國專利申請第 10-2009-0125543 中所公開的)，并在全浸泡虛擬空間中再現(xiàn)其中用戶利用他或她手中的特定工具來體驗各種訓(xùn)練過程的情景，由此提供這樣的虛擬環(huán)境，其使得工作場所中從系統(tǒng)管理的觀點出發(fā)的空間管理的效率最大化，并允許用戶完全浸泡在虛擬環(huán)境中。本發(fā)明的另一目的是提供一種平臺設(shè)備和方法，其詳細(xì)地附加呈現(xiàn)作為本發(fā)明的實施例的虛擬焊接訓(xùn)練模擬器的情況，由此支持傳統(tǒng)技術(shù)所不能解決的用于焊接姿勢的各種場景，并允許用戶等同地體驗可在實際工作場所中感到的感覺(視覺、聽覺、觸覺和嗅覺
坐、
寸/ ο根據(jù)實現(xiàn)以上目的的本發(fā)明的一個方面，提供了一種用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備，包括圖像輸出單元，用于輸出為了用戶的工作訓(xùn)練而使用的混合現(xiàn)實內(nèi)容的立體圖像；用戶工作工具單元，用于當(dāng)利用實際工作工具工作時，對輸出的立體圖像生成與基于用戶的運動生成的感覺反饋對應(yīng)的虛擬感覺反饋；和跟蹤單元，用于向該圖像輸出單元和該用戶工作工具單元傳送通過感測用戶的運動的工作工具單元而獲得的感測信號。優(yōu)選地，該圖像輸出單元可包括立體顯示單元，用于將該混合現(xiàn)實內(nèi)容的立體圖像劃分為用于左眼和右眼的多條可視信息，并輸出得到的立體圖像；信息可視化單元，用于使得附加信息可視化，并將所述可視化后的附加信息輸出到從該立體顯示單元輸出的立體圖像；和可重配置平臺控制單元，用于基于用戶物理信息和當(dāng)前正輸出的混合現(xiàn)實內(nèi)容，來設(shè)置用于改變該立體顯示單元和該信息可視化單元的結(jié)構(gòu)所需的改變信息。優(yōu)選地，該信息可視化單元可包括基于混合現(xiàn)實的信息可視化單元，用于使得該附加信息可視化，并將所述可視化之后的附加信息輸出到從該立體顯示單元輸出的立體圖像；和基于分層多顯示(Layered Multiple Display, LMD)的信息可視化單元,用于使得該附加信息可視化，并將所述可視化之后的附加信息輸出到從該立體顯示單元輸出的立體圖像的外部，使得向相應(yīng)用戶提供對于多個用戶區(qū)分的多條附加信息。優(yōu)選地，該基于LMD的信息可視化單元可被實現(xiàn)為在增強(augmented)現(xiàn)實中使用的基于透視(see-through)類型LMD的顯示裝置。優(yōu)選地，該圖像輸出單元可包括傳感器單元，用于感測該用戶物理信息；和手動 /自動控制單元，用于基于從用戶接口單元輸入的信息、從可重配置平臺控制單元輸入的改變信息、和傳感器單元所感測的用戶物理信息中的至少一個，來改變該立體顯示單元和該信息可視化單元的結(jié)構(gòu)。優(yōu)選地，該可重配置平臺控制單元可基于該用戶物理信息和該混合現(xiàn)實內(nèi)容，來設(shè)置諸如該立體顯示單元的高度、旋轉(zhuǎn)和距離的改變信息。優(yōu)選地，該可重配置平臺控制單元可將該用戶的身高和地面壓力分布與參考值進(jìn)行比較，生成改變該圖像輸出單元的地點所需的改變引導(dǎo)信息，并將生成的改變引導(dǎo)信息傳送和輸出到用戶接口單元。優(yōu)選地，該可重配置平臺控制單元可將該用戶的身高和地面壓力分布與參考值進(jìn)行比較，并然后改變該圖像輸出單元的地點。優(yōu)選地，該立體顯示單元可包括液晶顯示器(IXD)扁平立體圖像面板和半透明 (translucent)鏡子,并進(jìn)一步包括在該IXD扁平立體圖像面板和該半透明鏡子之間的光學(xué)滯后器(retarder)。優(yōu)選地，該用戶工作工具單元可包括工作工具創(chuàng)建單元，用于創(chuàng)建為了多條混合現(xiàn)實內(nèi)容而使用的多個工作工具；和工作工具支持單元，用于形成在每一工作工具中，并支持取決于所述多條混合現(xiàn)實內(nèi)容的模擬的多種感覺的反饋。優(yōu)選地,該工作工具支持單元可包括視覺反饋支持單元,用于輸出模擬視覺感覺的信息，并傳遞與該工作工具相關(guān)的反饋信息；觸覺反饋支持單元，用于傳遞物理和認(rèn)知力的效果；聽覺反饋支持單元，用于使用聲音效果來代表輸入/輸出信息；嗅覺反饋支持單元，用于使用嗅覺器官來提供信息的輸入/輸出；和跟蹤支持單元，用于結(jié)合該跟蹤單元來交換該工作工具的地點信息和姿勢信息。優(yōu)選地，該跟蹤單元可包括基于傳感器的跟蹤信息生成單元，用于感測該用戶和該用戶工作工具單元中的每一個的地點、姿勢、壓力、加速度、和溫度中的至少一個，并然后跟蹤該用戶和該用戶工作工具單元；基于數(shù)據(jù)庫(DB)的跟蹤信息生成單元，用于按照規(guī)則時間間隔來模擬多條跟蹤數(shù)據(jù)，并生成作為傳感器當(dāng)前生成的值的輸入值；和基于虛擬傳感器的跟蹤信息生成單元，用于使用該基于DB的跟蹤信息生成單元所生成的輸入值來生成物理地感測的值。優(yōu)選地，該跟蹤單元可設(shè)置包括多個相機的安裝地點和捕獲方向的基于相機的穩(wěn)定跟蹤空間，以便跟蹤用戶的運動。優(yōu)選地，該可重配置平臺管理設(shè)備可進(jìn)一步包括用戶接口單元，該用戶接口單元包括圖形用戶接口(GUI)操縱單元，用于接收為了設(shè)置系統(tǒng)操作設(shè)立參數(shù)和與工作場景相關(guān)的參數(shù)所需的預(yù)置值，輸出預(yù)置值，并將該系統(tǒng)操作設(shè)立參數(shù)和該與工作場景相關(guān)的參數(shù)傳送到內(nèi)容操作單元；和模擬器管理控制單元，用于基于工作場景的條件將可重配置硬件平臺的姿勢改變和引導(dǎo)信息傳送到該圖像輸出單元，并生成為了控制該模擬器所需的控制信號。優(yōu)選地，該用戶接口單元可基于該用戶物理信息和該工作場景，來接收為了調(diào)整包括該圖像輸出單元的高度和旋轉(zhuǎn)角中的至少一個的參數(shù)所需的預(yù)置值。優(yōu)選地，該可重配置平臺管理設(shè)備可進(jìn)一步包括內(nèi)容操作單元，用于管理多條混合現(xiàn)實內(nèi)容，從所述多條混合現(xiàn)實內(nèi)容中檢測為了用戶的工作訓(xùn)練所要使用的幾條混合現(xiàn)實內(nèi)容，并向該圖像輸出單元提供所檢測的混合現(xiàn)實內(nèi)容。優(yōu)選地，該內(nèi)容操作單元可包括跟蹤數(shù)據(jù)處理單元，用于從該跟蹤單元接收跟蹤目標(biāo)實體所生成的跟蹤信息，并處理該跟蹤信息；實時工作模擬單元，用于基于利用該模擬器的工作場所場景來模擬與周圍對象的交互；實時結(jié)果渲染單元，用于渲染該實時工作模擬單元所執(zhí)行的模擬的結(jié)果，并將所渲染的結(jié)果傳送和輸出到該圖像輸出單元；以用戶為中心的可重配置平臺控制單元，用于彼此關(guān)聯(lián)地處理該混合現(xiàn)實內(nèi)容的情景信息和該模擬器的信息，設(shè)置用于該平臺的改變信息；用戶接口控制單元，用于將該以用戶為中心的可重配置平臺控制單元所設(shè)置的改變信息傳送到該用戶接口單元；基于網(wǎng)絡(luò)的訓(xùn)練DB，用于存儲與該內(nèi)容生成單元所生成的多個工作環(huán)境對應(yīng)的多條混合現(xiàn)實內(nèi)容；和多感覺反饋控制單元，用于基于該實時工作模擬單元所執(zhí)行的模擬的結(jié)果來生成多感覺反饋控制信號，并將所述多感覺反饋控制信號傳送到該用戶工作工具單元。優(yōu)選地，該可重配置平臺管理設(shè)備可進(jìn)一步包括系統(tǒng)管理單元，該系統(tǒng)管理單元包括外部觀察內(nèi)容輸出單元，用于向該模擬器的外部輸出模擬的進(jìn)度和模擬的結(jié)果；系統(tǒng)保護(hù)單元，用于執(zhí)行該系統(tǒng)的安裝和管理；系統(tǒng)拆卸和關(guān)聯(lián)裝配支持單元，用于提供該系統(tǒng)的移動和多個平臺的同時安裝；和基于服務(wù)器的系統(tǒng)遠(yuǎn)程管理單元，用于傳送或接收為了控制該遠(yuǎn)程控制裝置和該系統(tǒng)的啟動和終止、以及該用戶接口單元所處理的工作條件的設(shè)立中的至少一個所需要的控制信息。優(yōu)選地，該可重配置平臺管理設(shè)備可進(jìn)一步包括內(nèi)容生成單元，用于生成為了用戶的工作訓(xùn)練所使用的多條混合現(xiàn)實內(nèi)容。優(yōu)選地，該內(nèi)容生成單元可包括實際對象獲取單元，用于從該用戶工作工具單元接收虛擬對象模型，使用該混合現(xiàn)實內(nèi)容中包括的對象的建模和所存儲的對象的選擇中的任一個，并然后獲取實際對象；虛擬對象生成單元，用于使用輸入圖像或基于圖像的建模技術(shù)來生成與該實際對象獲取單元所獲取的實際對象對應(yīng)的虛擬對象；對象間交互場景生成單元，用于生成與該虛擬對象生成單元所生成的虛擬對象相關(guān)的場景；和混合現(xiàn)實內(nèi)容 DB，用于存儲該對象間交互場景生成單元所生成的場景。根據(jù)本發(fā)明，可預(yù)期以下優(yōu)點?？赏ㄟ^用虛擬現(xiàn)實數(shù)據(jù)替換對象，而降低用于構(gòu)造與實際工作環(huán)境相同的訓(xùn)練系統(tǒng)所需的成本、以及由訓(xùn)練的材料的消耗引起的消耗成本，由此獲得由于成本降低帶來的經(jīng)濟的優(yōu)點。具體地，在作為稍后將描述的本發(fā)明的實施例呈現(xiàn)的虛擬焊接訓(xùn)練模擬器的情況下，可更有效地利用與各種工作結(jié)構(gòu)對應(yīng)的元素(即，訓(xùn)練空間、工作準(zhǔn)備時間、和訓(xùn)練后的完成工作時間)，并可大大降低通過過失事故傷害初學(xué)者的風(fēng)險，由此使得能夠?qū)⒊鯇W(xué)者訓(xùn)練成為有經(jīng)驗的工作者。另外，本發(fā)明基于實時模擬使得需要教育和訓(xùn)練過程的任何工作場所可視化，并由此可在其中通過用戶的行為運行場景的所有領(lǐng)域中廣泛使用本發(fā)明。此外，本發(fā)明基于實時模擬在全浸泡虛擬空間中再現(xiàn)與實際情景對應(yīng)的訓(xùn)練場景和用戶動作，使得用戶能體驗與實際情景相同的教育和訓(xùn)練，由此使得在實際教育和訓(xùn)練過程中可能發(fā)生的過失事故的問題最小化。


通過結(jié)合附圖進(jìn)行的以下詳細(xì)描述，將更清楚地理解本發(fā)明的以上和其他目的、 特征和優(yōu)點，其中圖I是示出了根據(jù)本發(fā)明的實施例的用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備的圖；圖2到4是示出了圖I的圖像輸出單元的的概念圖；圖；圖26到33是示出了圖24的跟蹤單元的可重配置安裝框架(frame)結(jié)構(gòu)與系統(tǒng)管理單元的概念圖；圖34到36是示出了用于實現(xiàn)基于FMD的虛擬焊接訓(xùn)練模擬器的基于相機的跟蹤單元的圖；圖37是示出了基于上網(wǎng)機(web pad)的結(jié)果評估和圖24的系統(tǒng)遠(yuǎn)程管理單元的利用的示例的概念圖；和圖38是示出了根據(jù)本發(fā)明實施例的用于操作基于FMD的虛擬焊接訓(xùn)練模擬器的方法和該模擬器的安裝的示例的圖。
5和6是示出了圖I的用戶工作工具單元的7是示出了圖I的跟蹤單元的8是示出了圖I的接口單元的9是示出了圖I的內(nèi)容操作單元的10是示出了圖I的系統(tǒng)管理單元的11是示出了圖I的內(nèi)容生成單元的12是圖示了根據(jù)本發(fā)明實施例的工業(yè)虛擬焊接訓(xùn)練模擬器的構(gòu)造的13到16是示出了圖12的圖像輸出單元的17是示出了圖13的可重配置平臺控制單元的18和19是示出了圖12的用戶工作工具單元的20是示出了圖12的跟蹤單元的21是示出了圖12的內(nèi)容操作單元的22是示出了圖12的系統(tǒng)管理單元的23是示出了根據(jù)本發(fā)明實施例的用于教育機構(gòu)的虛擬焊接訓(xùn)練模擬器的實現(xiàn)
24是示出了根據(jù)本發(fā)明實施例的基于FMD的虛擬焊接訓(xùn)練模擬器的概念圖； 25是示出了圖24的圖像輸出單元和LMD支持FMD延伸版本的利用的示例的
具體實施例方式將參考附圖來詳細(xì)描述本發(fā)明的優(yōu)選實施例，以便詳細(xì)描述本發(fā)明達(dá)到本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員能容易地實現(xiàn)本發(fā)明的技術(shù)精神的程度?，F(xiàn)在將參考附圖，其中在不同的圖中始終使用相同的附圖標(biāo)記以指定相同或相似的組件。此外，如果在說明書中對于公知功能或配置的詳細(xì)描述可能不必要地使得本發(fā)明的要點模糊，則將省略這些詳細(xì)描述。其后，將參考附圖來詳細(xì)描述根據(jù)本發(fā)明實施例的用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備。圖I是示出了根據(jù)本發(fā)明的實施例的用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備的圖，圖2到4是示出了圖I的圖像輸出單元的圖，圖5 和6是示出了圖I的用戶工作工具單元的圖，圖7是示出了圖I的跟蹤單元的圖，圖8是示出了圖I的接口單元的圖，圖9是示出了圖I的內(nèi)容操作單元的圖，圖10是示出了圖I的系統(tǒng)管理單元的圖，而圖11是示出了圖I的內(nèi)容生成單元的圖。
如圖I中所示，用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備包括圖像輸出單元100、用戶工作工具單元200、跟蹤單元300、用戶接口單元400、內(nèi)容操作單元 500、系統(tǒng)管理單元600、和內(nèi)容生成單元700。在該情況下，所述用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備可被劃分為包括系統(tǒng)管理單元600和用戶10 (或訓(xùn)練工具)的上部A、包括圖像輸出單元100、用戶工作工具單元200、跟蹤單元300和用戶接口單元400的中部B、以及包括內(nèi)容操作單元300和內(nèi)容生成單元700的下部C。此外，可操作本發(fā)明的該設(shè)備，使得取決于客戶需求，不同地設(shè)置用于實現(xiàn)上部、中部和下部的技術(shù)的方法，通過其他類似技術(shù)來替換稍后將描述的用于實現(xiàn)每一組件的詳細(xì)構(gòu)造的方法，或者使用用于操作省略了一些組件的以上構(gòu)造的方法。圖像輸出單元100輸出用戶的工作訓(xùn)練所使用的混合現(xiàn)實內(nèi)容的三維(3D)圖像。 在該情況下，圖像輸出單元100提供使用全浸泡技術(shù)變換為適于用戶的物理條件和工作環(huán)境的格式的混合現(xiàn)實內(nèi)容(即，為了用戶的工作訓(xùn)練提供的訓(xùn)練內(nèi)容)的立體圖像。對于該操作，如圖2中所示,該圖像輸出單元100包括立體顯示單元110、信息可視化單元120、 和可重配置平臺控制單元130。立體顯示單元110將混合現(xiàn)實內(nèi)容的立體圖像劃分為用于左眼和右眼的可視圖像，并輸出得到的立體圖像。在該情況下，立體顯示單元110取決于混合現(xiàn)實內(nèi)容的訓(xùn)練場景的需求，來確定立體顯示的尺寸和排列結(jié)構(gòu)。這里，立體顯示單元110包括液晶顯示 (IXD)扁平立體圖像面板和半透明鏡子，并且在IXD扁平立體圖像面板和半透明鏡子之間安排光學(xué)相位延遲器(滯后器)。信息可視化單元120使得附加信息可視化，并向從立體顯示單元110輸出的立體圖像輸出該附加信息。這里，信息可視化單元120從內(nèi)容操作單元500接收該附加信息160 的渲染結(jié)果，并輸出渲染結(jié)果。信息可視化單元120向或從內(nèi)容操作單元500傳送或接收實現(xiàn)立體圖像和分層多顯示(LMD)圖像所需的控制信號。在該情況下，如圖3中所示，信息可視化單元120包括基于混合現(xiàn)實的信息可視化單元122，用于使得附加信息160可視化， 并向從立體顯示單元110輸出的立體圖像輸出該附加信息，還包括基于LMD的信息可視化單元124，用于使得附加信息160可視化，并向從立體顯示單元110輸出的立體圖像的外部輸出該附加信息160，從而將區(qū)分用于多個用戶的多條附加信息160提供到相應(yīng)用戶。這里，基于混合現(xiàn)實的信息可視化單元122基于頭上安裝的顯示器(HMD)來使得全浸泡虛擬環(huán)境可視化?；诨旌犀F(xiàn)實的信息可視化單元122基于混合現(xiàn)實技術(shù)而向從立體現(xiàn)實單元 110輸出的立體圖像的3D空間輸出附加信息160?；贚MD的信息可視化單元124向用于立體顯示的空間代表區(qū)域的邊緣區(qū)(例如，立體圖像顯示空間的外部)輸出圖像信息。當(dāng)多個用戶同時參與訓(xùn)練時，基于LMD的信息可視化單元124提供針對相應(yīng)用戶特別區(qū)分的多條信息。在該情況下，基于LMD的信息可視化單元124使用在增強現(xiàn)實中使用的透視技術(shù)來輸出附加信息160?？芍嘏渲闷脚_控制單元130基于用戶的物理信息和當(dāng)前輸出的混合現(xiàn)實內(nèi)容，來設(shè)置改變立體顯示單元110、基于混合現(xiàn)實的信息可視化單元122、和基于LMD的信息可視化單元124的結(jié)構(gòu)所需的改變信息。也就是說，當(dāng)立體顯示單元110和信息可視化單元120 中的每一個具有使得用戶不可能攜帶它的物理結(jié)構(gòu)(例如，尺寸和體重)時，可重配置平臺控制單元130在空間和時間元素方面設(shè)置改變那些組件的結(jié)構(gòu)所需的改變信息，使得這些結(jié)構(gòu)適于用戶和工作場景的需求。在該情況下，可重配置平臺控制單元130基于用戶的物理信息和混合現(xiàn)實內(nèi)容，來設(shè)置立體顯示單元100的包括高度、旋轉(zhuǎn)、距離等的改變信息。 可重配置平臺控制單元130將用戶的物理身高和地面壓力分布與參考值進(jìn)行比較，生成改變圖像輸出單元100的地點所需的改變引導(dǎo)信息，并將所生成的改變引導(dǎo)信息傳送和輸出到用戶接口單元400?？芍嘏渲闷脚_控制單元130將用戶的物理身高和地面壓力分布與參考值進(jìn)行比較，并然后改變圖像輸出單元100的地點。如圖4中所示，圖像輸出單元100可進(jìn)一步包括傳感器單元140和手動/自動控制單元150。傳感器單元140感測有關(guān)用戶的身體的物理信息(例如，諸如身高和體重的測量值、以及諸如血壓、肌電圖、和心電圖的生物統(tǒng)計信號監(jiān)視信息)，以便優(yōu)化用于用戶的物理特性的系統(tǒng)。手動/自動控制單元150從用戶接口單元400接收信息，并改變需要的形式(例如，立體顯示單元110的高度和旋轉(zhuǎn)角)。在該情況下，手動/自動控制單元150基于從用戶接口單元400輸入的信息、從可重配置平臺控制單元130輸入的改變信息、和傳感器單元140所感測的用戶的物理信息中的至少一個，來改變立體顯示單元110和信息可視化單元120的結(jié)構(gòu)。當(dāng)與實際工作工具220 —起工作時，用戶工作工具單元200對所輸出的立體圖像生成與基于用戶的運動生成的感覺反饋對應(yīng)的虛擬感覺反饋。并且用戶工作工具單元200 向用戶提供該虛擬感覺反饋。即，在借助于基于和在實際工作中使用的工具相同的工作工具220、與實際執(zhí)行工作的方法相同的交互方法、來利用該系統(tǒng)的同時，用戶工作工具單元 200向用戶傳遞在工作場所中感到的相同感覺(即，視覺、聽覺、觸覺和嗅覺感覺)。在該情況下，當(dāng)在混合現(xiàn)實內(nèi)容的模擬處理中、需要有關(guān)除了用戶在他手中持有和使用的工作工具220之外、訓(xùn)練操作所需要的周圍環(huán)境中的對象的虛擬對象數(shù)據(jù)時，用戶工作工具單元 200對實際對象進(jìn)行建模以生成虛擬對象，并支持內(nèi)容生成單元700，使得在內(nèi)容生成單元 700中通過設(shè)計交互場景和事件的過程來使用有關(guān)虛擬對象的數(shù)據(jù)。對于此操作，如圖5中所示，用戶工作工具單元200包括至少一個工作工具220、用于創(chuàng)建對于多條混合現(xiàn)實內(nèi)容所使用的多個工作工具220的工作工具創(chuàng)建單元240、和在每一工作工具220中形成的被配置為支持取決于混合現(xiàn)實內(nèi)容的模擬的多種感覺的反饋的工作工具支持單元260。工作工具220被實現(xiàn)為包括取決于訓(xùn)練場景的不同形狀和功能，并被配置為從內(nèi)容操作單元500接收控制信息，并實現(xiàn)多種感覺的反饋的效果。工作工具創(chuàng)建單元240取決于訓(xùn)練場景而生成工作工具220的硬件形狀。為此， 如圖6中所示，工作工具創(chuàng)建單元240包括工作工具建模單元242和輸入/輸出部分附加單元244。工作工具建模單元242通過獲取有關(guān)工作工具的3D形狀和表面材料的信息，而對于為了在工作場所中實現(xiàn)或通過模擬器實現(xiàn)所期望的、在虛擬工作場所中使用的實際工作工具220進(jìn)行數(shù)字化。輸入/輸出部分附加單元244被配置為向工作工具220的內(nèi)部添加相關(guān)場景所需的輸入傳感器和輸出元件。這里，工作工具建模單元242使用基于3D圖形建模的手動操作或使用諸如3D掃描儀的自動工具，來獲取有關(guān)工作工具220的3D形狀和表面材料的信息。工作工具支持單元260支持用于工作工具220的多個場景的反饋。為此，如圖6 中所示，工作工具支持單元260包括用于傳遞物理和認(rèn)知力效果的觸覺反饋支持單元263、 用于使用聲音效果來代表輸入/輸出信息的聽覺反饋支持單元265、用于使用嗅覺器官來提供信息的輸入/輸出的嗅覺反饋支持單元267、用于通過輸出模擬視覺感覺的信息來傳遞與工作工具220相關(guān)的反饋信息的視覺反饋支持單元261、和用于當(dāng)獲取該工作工具220 的地點和姿勢信息的部分或全部時、結(jié)合該跟蹤單元300交換信息的跟蹤支持單元269。跟蹤單元300通過實時跟蹤系統(tǒng)用戶和工作環(huán)境的狀態(tài)，來生成該系統(tǒng)的輸入信息。在該情況下，有關(guān)跟蹤單元300所跟蹤的目標(biāo)的信息被傳送到內(nèi)容操作單元500，并然后被用作用于代表和模擬虛擬對象的過程的輸入數(shù)據(jù)。這里，跟蹤單元300建立包括多個相機的安裝地點和捕獲方向的基于相機的穩(wěn)定跟蹤空間，以便跟蹤用戶的運動。為此，如圖 7中所示，跟蹤單元300包括基于傳感器的跟蹤信息生成單元320、基于虛擬傳感器的跟蹤信息生成單元340、和基于數(shù)據(jù)庫(DB)的跟蹤信息生成單元360?；趥鞲衅鞯母櫺畔⑸蓡卧?20感測用戶和用戶工作工具單元200中的每一個的地點、姿勢、壓力、加速度、和溫度中的至少一個，并然后跟蹤用戶和用戶工作工具單元200。基于虛擬傳感器的跟蹤信息生成單元340使用從基于DB的跟蹤信息生成單元360輸入的值，來生成物理感測的值?；贒B的跟蹤信息生成單元360按照規(guī)則的間隔模擬所存儲的多條跟蹤數(shù)據(jù)，并然后生成作為這些傳感器當(dāng)前生成的值的輸入值?；趥鞲衅鞯母櫺畔⑸蓡卧?20是這樣的裝置，其被配置為按照接觸或非接觸方式向特定對象附加傳感器，并提取該特定對象的諸如地點、姿勢、壓力、加速度、和溫度的物理數(shù)據(jù)，由此獲取有關(guān)特定對象的多條信息。基于虛擬傳感器的跟蹤信息生成單元340是通過軟件模擬的虛擬傳感器，并通過使用基于DB的跟蹤信息生成單元360的輸出值來生成物理傳感器值。在該情況下，基于虛擬傳感器的跟蹤信息生成單元340可使用用戶的輸入接口將那些傳感器值變換為第三裝置的值(例如，通過將鍵盤上的方向鍵的輸入數(shù)據(jù)值變換為3D位置傳感器的特定軸上的值，并呈現(xiàn)得到的值)，并然后生成物理傳感器值?；贒B的跟蹤信息生成單元360按照規(guī)則時間間隔來模擬在DB中記錄的跟蹤數(shù)據(jù)如同該跟蹤數(shù)據(jù)是當(dāng)前傳感器生成的一樣，并將所模擬的值傳遞到基于傳感器的跟蹤信息生成單元320和基于虛擬傳感器的跟蹤信息生成單元340兩者作為其輸入值。用戶接口單元400使用基于簡單設(shè)計圖形的用戶接口來控制該系統(tǒng)的操作。在該情況下，用戶接口單元400接收用于基于用戶的物理信息和工作場景來調(diào)整包括圖像輸出單元100的高度和旋轉(zhuǎn)角中的至少一個的參數(shù)所需的預(yù)置值。為此，如圖8中所示，用戶接口單元400包括圖形用戶接口(⑶I)操縱單元420和模擬器管理控制單元440。GUI操縱單元420基于圖形用戶接口(GUI)從用戶接收用于設(shè)置系統(tǒng)操作設(shè)立參數(shù)和與場景相關(guān)的參數(shù)所需的預(yù)置值。GUI操縱單元420將接收的預(yù)置值傳送到內(nèi)容操作單元500，并輸出當(dāng)前系統(tǒng)操作設(shè)立參數(shù)和與場景相關(guān)的參數(shù)。在這方面，Gn操縱單元420 被實現(xiàn)為如同觸摸屏的情況那樣提供輸入和輸出兩者的裝置。模擬器管理控制單元440基于工作場景的條件而將可重配置硬件平臺的姿勢改變和引導(dǎo)信息傳送到圖像輸出單元100，并生成用于控制模擬器所需的控制信號。S卩，模擬器管理控制單元440取決于工作場景的條件而與圖像輸出單元100交換可重配置硬件平臺的姿勢改變和引導(dǎo)信息，并生成用于生成該模擬器所需的控制信號。在這方面，模擬器管理控制單元440包括通過自動操作用于操作和管理其中集成了多個傳感器、驅(qū)動器、PC、顯示裝置和程序單元的整個模擬器以及(用于功率控制和網(wǎng)絡(luò)通信控制的)控制信號發(fā)生器的一連串運行處理、而獲得的軟件功能(使用批處理的連續(xù)程序的啟動和終止)。內(nèi)容操作單元500確定訓(xùn)練模擬器的內(nèi)容。即，內(nèi)容操作單元500管理多條混合現(xiàn)實內(nèi)容，從所述多條混合現(xiàn)實內(nèi)容中檢測用于用戶的工作訓(xùn)練所使用的幾條混合現(xiàn)實內(nèi)容，并將所檢測的混合現(xiàn)實內(nèi)容傳送到圖像輸出單元100。為此,如圖9中所示，內(nèi)容操作單元500包括跟蹤數(shù)據(jù)處理單元510、實時工作模擬單元520、實時結(jié)果渲染單元530、感覺反饋控制單元540、以用戶為中心的可重配置平臺控制單元550、用戶接口控制單元560、和基于網(wǎng)絡(luò)的訓(xùn)練DB 570。跟蹤數(shù)據(jù)處理單元510處理經(jīng)由跟蹤單元300由實際和虛擬跟蹤目標(biāo)實體所生成的跟蹤信息。即，跟蹤數(shù)據(jù)處理單元510從跟蹤單元300接收由跟蹤目標(biāo)實體所生成的跟蹤信息，并然后處理該跟蹤信息。實時工作模擬單元520基于使用該模擬器的工作場所場景，使用軟件(按照計算方式)來模擬與現(xiàn)實(例如，與周圍對象交互)相同的情景。為此，實時工作模擬單元520 基于從在實際工作場所中進(jìn)行的測量實驗所獲得的測量實驗DB 522來設(shè)計，以便考慮到構(gòu)成模擬器的計算機硬件系統(tǒng)和軟件算法的計算處理能力，來驅(qū)動優(yōu)化的實時虛擬模擬。實時工作模擬單元520支持基于網(wǎng)絡(luò)的協(xié)作工作環(huán)境，為其中存在各種工作條件和參與訓(xùn)練的多個用戶的情況作準(zhǔn)備。實時工作模擬單元520包括基于網(wǎng)絡(luò)的訓(xùn)練DB 570，以使用先前計算的與訓(xùn)練相關(guān)的信息或與之前進(jìn)行的訓(xùn)練相關(guān)的信息，來模擬工作場所場景。實時工作模擬單元520接收該內(nèi)容生成單元700先前產(chǎn)生的訓(xùn)練場景和有關(guān)與周圍對象的交互的信息作為輸入，并實時地模擬用戶和虛擬對象之間的交互關(guān)系。實時結(jié)果渲染單元530渲染由實時工作模擬單元520所執(zhí)行的模擬的結(jié)果，并將渲染的結(jié)果輸出到圖像輸出單元100。即，實時結(jié)果渲染單元530渲染由實時工作模擬單元 520所執(zhí)行的模擬的結(jié)果，并將渲染的結(jié)果傳送和輸出到圖像輸出單元100。感覺反饋控制單元540生成與實時工作模擬單元520所執(zhí)行的模擬的結(jié)果對應(yīng)的多感覺反饋控制信號，并將該多感覺反饋控制信號傳送到用戶工作工具單元200。S卩，感覺反饋控制單元540以事件的形式輸出模擬的結(jié)果，并將控制信息傳遞到用戶工作工具單元 200，以便取決于模擬器所使用的場景，將各條信息經(jīng)由工作接口和輸出顯示裝置傳遞到用戶。在該情況下，感覺反饋控制單元540基于實時工作模擬單元520進(jìn)行模擬的結(jié)果，而生成與實時結(jié)果渲染單元530同步的(用于與視覺、聽覺、觸覺和嗅覺感覺相關(guān)的顯示裝置和輸出機制的)多感覺反饋控制信號，并將該多感覺反饋控制信號輸出到用戶工作工具單元 200。以用戶為中心的可重配置平臺控制單元550處理彼此關(guān)聯(lián)的基于作為本發(fā)明所呈現(xiàn)的模擬器平臺的特性的用戶適應(yīng)性功能而收集的用戶的物理信息(例如，身體信息和生物統(tǒng)計信息)、有關(guān)正進(jìn)行的訓(xùn)練內(nèi)容的情景信息、和有關(guān)模擬器的硬件信息，并由此設(shè)置該平臺的改變信息。用戶接口控制單元560將以用戶為中心的可重配置平臺控制單元550所設(shè)置的改變信息傳送到用戶接口單元。即，用戶接口控制單元560基于該以用戶為中心的可重配置平臺控制單元550所設(shè)置的改變信息，經(jīng)由用戶接口單元400來處理相關(guān)信息的收集和改變信息的傳遞。
基于網(wǎng)絡(luò)的訓(xùn)練DB 570存儲與內(nèi)容生成單元700所生成的各種工作環(huán)境相關(guān)的信息。即，基于網(wǎng)絡(luò)的訓(xùn)練DB 570存儲與內(nèi)容生成單元700所生成的多個工作環(huán)境對應(yīng)的多條混合現(xiàn)實內(nèi)容。系統(tǒng)管理單元600管理并維護(hù)該模擬器。為此，如圖10中所示，系統(tǒng)管理單元 600包括外部觀察內(nèi)容輸出單元620、系統(tǒng)保護(hù)單元640、以及系統(tǒng)拆卸和關(guān)聯(lián)裝配支持單元660。外部觀察內(nèi)容輸出單元620將模擬的進(jìn)度和模擬的結(jié)果輸出到模擬器的外部，使得多個外部觀察者可在不受到模擬器的有限工作空間的妨礙的情況下監(jiān)視模擬內(nèi)容的進(jìn)度。 系統(tǒng)保護(hù)單元640執(zhí)行該系統(tǒng)的安裝和管理。系統(tǒng)拆卸和關(guān)聯(lián)裝配支持單元660促進(jìn)該系統(tǒng)的移動和多個平臺的同時安裝。在該情況下，系統(tǒng)管理單元600可進(jìn)一步包括基于服務(wù)器的系統(tǒng)遠(yuǎn)程管理單元680，用于傳送或接收為了控制該遠(yuǎn)程控制裝置和該系統(tǒng)的啟動和終止、以及該用戶接口單元400所處理的工作條件的設(shè)立中的至少一個所需要的控制信息。即，由于本發(fā)明闡明的模擬器可包括多個電磁控制的裝置和計算機系統(tǒng)，所以系統(tǒng)管理單元600包括基于服務(wù)器的系統(tǒng)遠(yuǎn)程管理單元680，用于處理用于發(fā)送命令和消息的過程， 使得可使用經(jīng)由有線/無線網(wǎng)絡(luò)向遠(yuǎn)程控制裝置傳遞諸如單個系統(tǒng)的啟動和終止、以及用戶接口單元400所處理的工作條件的設(shè)立的過程的方法，來交換和管理所述命令和狀態(tài)信息。在該情況下，基于服務(wù)器的系統(tǒng)遠(yuǎn)程管理單元680可被實現(xiàn)為構(gòu)成基于服務(wù)器-客戶機的軟件平臺的服務(wù)器(諸如萬維網(wǎng)服務(wù)器)。內(nèi)容生成單元700生成該系統(tǒng)所管理的混合現(xiàn)實內(nèi)容(即，為了用戶的工作訓(xùn)練而使用的混合現(xiàn)實內(nèi)容)。即，內(nèi)容生成單元700是當(dāng)存在對于進(jìn)行虛擬訓(xùn)練所需的使用虛擬對象的虛擬模型和實際對象的交互性的需求時、支持使用單獨創(chuàng)作工具軟件(SW)來執(zhí)行工作的部分。這里，內(nèi)容生成單元700支持該工作，使得通過使用為了準(zhǔn)備可在訓(xùn)練情景中出現(xiàn)的各種場景而先前提供的混合現(xiàn)實內(nèi)容DB 780，來促進(jìn)隨后的生成過程。內(nèi)容生成單元700可生成并添加為了進(jìn)行訓(xùn)練所需的附加信息(例如，補充信息)，或可根據(jù)訓(xùn)練情景對動態(tài)添加或刪除的實際輔助對象(例如，工作臺)立即進(jìn)行建模， 由此允許在與虛擬對象交互的處理(例如，沖突處理、阻塞處理等)中反映(reflect)該附加信息或?qū)嶋H輔助對象。在該情況下，內(nèi)容生成單元700使用通過使用包括使能六自由度空間跟蹤的圖像獲取相機的觸摸屏、以基于增強現(xiàn)實圖像的建模技術(shù)為基礎(chǔ)來生成3D虛擬對象的方法，或替換使用其中FMD用戶使用與六自由度跟蹤關(guān)聯(lián)的手接口來親自指向?qū)嶋H對象的角落部分并提取3D地點值的方法，來生成3D虛擬對象。為此，如圖11中所示，內(nèi)容生成單元700包括實際對象獲取單元720、虛擬對象生成單元740、對象間交互場景生成單元760、和混合現(xiàn)實內(nèi)容DB780。實際對象獲取單元720使用在混合現(xiàn)實內(nèi)容中包括的對象的建模和所存儲的對象的選擇中的一個，來從用戶工作工具單元接收虛擬對象模型，并然后獲取實際對象。即， 實際對象獲取單元720使用對在正佩戴全浸泡顯示器的用戶的工作環(huán)境中包括的對象進(jìn)行立即建模的方法、或使用從已存儲的現(xiàn)有數(shù)據(jù)中選擇實際對象的方法，來獲取實際對象。 在該情況下，實際對象獲取單元720經(jīng)由用戶工作工具單元200從管理器(或用戶)接收虛擬對象模型。虛擬對象生成單元740使用輸入圖像或基于圖像的建模技術(shù)，來生成與通過實際對象獲取單元所獲取的實際對象對應(yīng)的虛擬對象。即，虛擬對象生成單元740使用使能六自由度跟蹤的交互輸入接口裝置，基于從相機輸入的圖像或基于圖像的建模技術(shù)，而生成與從實際對象獲取單元720輸入的實際對象對應(yīng)的虛擬對象。對象間交互場景生成單元760生成用于該虛擬對象生成單元740所生成的虛擬對象的場景。在該情況下，對象間交互場景生成單元760生成以下場景，并且還生成根據(jù)輸入條件進(jìn)行的動畫(animation),所述場景包括當(dāng)與用戶的輸入交互時由虛擬對象生成單元 740生成的虛擬對象的行為、物理模擬向虛擬對象的應(yīng)用、虛擬對象之間的沖突的處理、以及為了將虛擬對象引導(dǎo)到安全工作空間的障礙物(obstruction)的可視化?；旌犀F(xiàn)實內(nèi)容DB 780存儲由對象間交互場景生成單元760所生成的場景。在該情況下，混合現(xiàn)實內(nèi)容DB 780與內(nèi)容操作單元500的DB互相交換數(shù)據(jù)。如上所述，在圖I到11中，已描述了與本發(fā)明所呈現(xiàn)的核心特性相關(guān)的總體模型的構(gòu)造和操作。根據(jù)具有以上構(gòu)造的本發(fā)明，可通過用虛擬現(xiàn)實數(shù)據(jù)替換對象，而降低用于構(gòu)造與實際工作環(huán)境相同的訓(xùn)練系統(tǒng)所需的成本、和由訓(xùn)練的材料的消耗引起的消耗成本，由此獲得由于成本降低帶來的經(jīng)濟的優(yōu)點。具體地，在作為稍后將描述的本發(fā)明的實施例呈現(xiàn)的虛擬焊接訓(xùn)練模擬器的情況下，可更有效地利用與各種工作結(jié)構(gòu)對應(yīng)的元素(即，訓(xùn)練空間、工作準(zhǔn)備時間、和訓(xùn)練后的完成工作時間)，并可大大降低通過過失事故傷害初學(xué)者的風(fēng)險，由此使得能夠?qū)⒊鯇W(xué)者訓(xùn)練成為有經(jīng)驗的工作者。另外，本發(fā)明基于實時模擬使得需要教育和訓(xùn)練過程的任何工作場所可視化，并由此可在其中通過用戶的行動運行場景的所有領(lǐng)域中廣泛使用本發(fā)明。此外，本發(fā)明基于實時模擬在全浸泡虛擬空間中再現(xiàn)與實際情景對應(yīng)的訓(xùn)練場景和用戶動作，使得用戶能體驗與實際情景相同的教育和訓(xùn)練，由此使得在實際教育和訓(xùn)練過程中可能發(fā)生的過失事故的問題最小化。其后，將描述本發(fā)明的實施例，以示出將本發(fā)明的一些功能應(yīng)用到工業(yè)虛擬焊接訓(xùn)練模擬器的詳細(xì)和有限情況的結(jié)果。圖12是圖示了根據(jù)本發(fā)明實施例的工業(yè)虛擬焊接訓(xùn)練模擬器的構(gòu)造的圖，圖13到16是示出了圖12的圖像輸出單元的圖，圖17是示出了圖 13的可重配置平臺控制單元的圖，圖18和19是示出了圖12的用戶工作工具單元的圖，圖 20是示出了圖12的跟蹤單元的圖，圖21是示出了圖12的內(nèi)容操作單元的圖，和圖22是示出了圖12的系統(tǒng)管理單元的圖。圖12中示出的工業(yè)虛擬焊接訓(xùn)練模擬器示出了通過將現(xiàn)有專利 “Reconfigurable device platform for a virtual reality-based training simulator and operating method thereof ”(在韓國專利申請第2009-0125543號中公開)的構(gòu)造延伸到基于頭戴式顯示器(HMD)的系統(tǒng)而獲得的示例。如圖中所示，當(dāng)使用佩戴類型的混合現(xiàn)實顯示器時，可以沒有改變地使用現(xiàn)有系統(tǒng)。盡管該工業(yè)虛擬焊接訓(xùn)練模擬器被描繪為能夠在模擬器中工作的一個用戶(或受訓(xùn)者)，但是如果使用LMD類型的混合現(xiàn)實立體顯示器，則兩個或多個用戶可參與訓(xùn)練。如圖12中所示，工業(yè)虛擬焊接訓(xùn)練模擬器包括圖像輸出單元100、用戶工作工具單元200、跟蹤單元300、用戶接口單元400、內(nèi)容操作單元500、和系統(tǒng)管理單元600。取決于用戶的物理信息和焊接訓(xùn)練場景，來重新配置圖像輸出單元100。用戶工作工具單元200被基本配置為具有與在工作場所中使用的工作工具220相同的外表和功能，并按照裝備有虛擬聲音效果和振動效果的焊槍的形狀形成。跟蹤單元300按照經(jīng)濟優(yōu)化的設(shè)計被應(yīng)用到虛擬焊接訓(xùn)練模擬器的環(huán)境。用戶接口單元400設(shè)立焊接模擬器的工作條件，控制機械部分中的改變，并控制工作結(jié)果分析程序。內(nèi)容操作單元500操作所有軟件程序，而系統(tǒng)管理單元600保護(hù)整個系統(tǒng)，并輸出外部觀察者目標(biāo)信息。本實施例指明了其中實現(xiàn)圖2中呈現(xiàn)的組件之中的、立體顯示單元110和可重配置平臺控制單元130的情況。如圖13中所示，圖像輸出單元100包括立體顯示單元110、用戶物理信息測量單元 140(即，傳感器單元140)、和用于呈現(xiàn)多個混合現(xiàn)實立體圖像的頭上安裝的顯示器(HMD)。立體顯示單元110包括扁平立體顯示器，用于將輸入圖像劃分為用于左眼和右眼兩者的可視圖像，并向用戶呈現(xiàn)所述圖像；還包括半透明反射鏡和濾光器單元(即，信息可視化單元120)，用于在用戶工作工具單元200的使用空間中使得立體圖像可視化。因此，立體顯示單元110促進(jìn)由于從扁平立體顯示器反射的圖像的漫反射和偏振效應(yīng)而導(dǎo)致的用于左眼和右眼的可視圖像的分開和單獨呈現(xiàn)。作為其實現(xiàn)的示例，附加具有70%透射率的反射鏡和四分之一波滯后器濾光器。即，在正常IXD扁平立體圖像面板和IXD快門眼鏡的情況下，當(dāng)從鏡子反射圖像時，發(fā)生反相，并由此不能觀看立體圖像。為了解決該問題，本發(fā)明被配置為使得在鏡子上安裝光學(xué)相位延遲器(滯后器)，使得可解決反相的問題，并由此可正常觀看從鏡子表面反射的立體圖像。可重配置平臺控制單元130、用戶物理信息測量單元、和立體顯示單元110的數(shù)值dpdy Θ i和Θ 2與可重配置平臺控制單元130的組件相關(guān) (參考圖14和15)。在該情況下，為了克服立體圖像單元的狹小空間的缺點(即，空間不是完全可視浸泡顯示裝置，必須延伸圖像呈現(xiàn)空間，使得能夠?qū)χ車摂M工作環(huán)境進(jìn)行可視化，并且不支持針對多方參與對私有信息和公共信息單獨進(jìn)行可視化的功能)，立體顯示單元110進(jìn)一步包括多混合現(xiàn)實立體圖像呈現(xiàn)HMD，其包括HMD主體、外部圖像透射率控制單元、和外部立體圖像單獨處理單元(即，立體圖像濾光器單元)(參考圖16)。當(dāng)多個用戶佩戴這樣的LMD類型HMD并觀看外部立體顯示單元110時，如果立體顯示裝置的刷新率提高并且左和右圖像按照時間復(fù)用方式被渲染到η個人，則兩個或多個用戶可在LMD環(huán)境中執(zhí)行混合現(xiàn)實協(xié)作訓(xùn)練場景，以便使得其中精確反映多人的視點的外部立體圖像可視化。用戶物理信息測量單元具有用于測量用戶的身高的傳感器。用戶接口單元400執(zhí)行以下過程，即，參考用戶的身高來設(shè)置根據(jù)工作場景確定的模擬器的高度值，并(通過用戶的手動操作或通過使用提供的馬達(dá)驅(qū)動單元自動移動到指定的地點，而改變顯示裝置的結(jié)構(gòu))調(diào)整模擬器的高度步長以進(jìn)行指定的工作訓(xùn)練。調(diào)整dpdy 01和θ2，以便確定立體顯示單元110的高度H和旋轉(zhuǎn)值π，并促使在指定的地點看見立體圖像結(jié)構(gòu)(例如，虛擬焊接材料塊)，使得立體顯示單元110適于用戶的物理信息和所選擇的工作姿勢。在工作DB中預(yù)先準(zhǔn)備用于相應(yīng)變量的最佳值，并且系統(tǒng)向用戶輸出引導(dǎo)消息，以便使用指定的值來重新配置立體顯示單元110。另外，在相應(yīng)單元中提供用于檢測相關(guān)值的傳感器(用于測量旋轉(zhuǎn)、高度和移動距離的傳感器)，并由此監(jiān)視用于重新配置該系統(tǒng)的結(jié)構(gòu)的過程?？芍嘏渲闷脚_控制單元130基于用戶物理信息測量單元所測量的數(shù)據(jù)，來控制立體顯示單元110的地點。在該情況下，可重配置平臺控制單元130預(yù)先具有與向上看操作、 向前看操作、和向下看操作相關(guān)的對于立體顯示單元110的變量設(shè)置的值，并且還具有用于考慮到用戶的物理條件而改變一些值的算法。在用戶物理信息測量單元中，在模擬器底部安裝的壓力分布測量傳感器取決于用戶的腳的地點和用戶的體重的分布來跟蹤壓力分散(dispersion)狀態(tài)，并將所跟蹤的信息用作引導(dǎo)工作姿勢和監(jiān)視用戶的訓(xùn)練狀態(tài)所需要的信息。如圖17中所示，可重配置平臺控制單元130按照能夠僅利用少量力來控制立體顯示裝置的旋轉(zhuǎn)地點(即，η)的配重的形式來配置，并利用能夠利用少量力來垂直移動立體顯示裝置以改變顯示裝置的高度H的配重和滑輪結(jié)構(gòu)134來實現(xiàn)。用戶工作工具單元200被配置為使得基于通過利用3D掃描過程掃描在實際工作場所中使用的焊接工具而產(chǎn)生的3D模型數(shù)據(jù)，提供內(nèi)部排列空間以容納多個輸出裝置，用于支持多感覺反饋效果，并且使用3D打印技術(shù)來創(chuàng)建作為工作工具220的焊槍20的物理形狀。如圖18中所示，在用戶工作工具單元200所創(chuàng)建的焊槍20中提供用于使能六自由度(地點和姿勢)跟蹤的多個傳感器21 (例如，紅外光發(fā)射傳感器和反射傳感器)。為了模擬3D音效，在焊槍20中包括多個微揚聲器22，以在作為當(dāng)進(jìn)行實際焊接時生成聲音的地點的焊槍20的端部形成多個聲音方向。作為選擇，在揚聲器的前面附加具有多個孔的球形反射板23，使得聲音沿著徑向傳播(spread)。因此，通過僅輸出單聲道聲音，用戶手中拿著的工作工具220正在移動，使得改變聲源的地點，并由此可支持3D空間聲音反饋。在焊槍20中提供激光瞄準(zhǔn)輸出單元24，以提供引導(dǎo)工作工具220的使用的可視反饋功能，由此使得能夠指示其中生成虛擬焊珠的地點。當(dāng)焊接材料與焊槍20的端部隔開適當(dāng)距離時，使用通過使用具有與適當(dāng)?shù)膶?dǎo)電嘴到工件的距離(CTWD)相等的焦距和用于投射的光學(xué)圖案的透鏡、促使所述用于投射的光學(xué)圖案清晰出現(xiàn)的方法，來傳遞工件距離的可視反饋。此外，在焊槍中提供小尺寸馬達(dá)25，以展示在特定焊接條件下出現(xiàn)的振動效果。在立體顯示單元110上附加安裝可解除形成的無源觸覺支持單元，使得物理對象和圖像在同一空間中共存，并由此可實現(xiàn)對基于混合現(xiàn)實的現(xiàn)實對象和虛擬圖像進(jìn)行組合和可視化的效果。即，由于在3D空間的對應(yīng)地點處存在與虛擬焊接材料塊的形狀具有相同形狀的實際模型(即，觸覺反饋支持單元263)，所以用戶可獲得歸因于焊槍20和焊接材料之間的物理接觸的觸覺反饋效果，并由此可以更現(xiàn)實地訓(xùn)練用戶。此外，在本發(fā)明的實施例中，在焊槍的部分中提供能夠執(zhí)行快速加熱和冷卻的加熱和冷卻單元26，以便代表來自在焊接期間發(fā)生的火焰的熱的感覺，并由此向用戶傳遞在焊接期間發(fā)生的熱感覺的效果。跟蹤單元300必須精確跟蹤用戶的頭的地點和姿勢(凝視、眼睛位置和方位)， 以便精確配置其中對虛擬焊接材料進(jìn)行可視化的立體顯示裝置的空間，并精確生成立體圖像。對于此操作，跟蹤單元300將基于相機的跟蹤傳感器附加到跟蹤目標(biāo)(S卩，用戶10和焊槍20)，并經(jīng)由基于3D圖形的初步模擬計算過程(參考圖20)將其中可使用利用最小數(shù)目相機實現(xiàn)的基于相機的傳感器跟蹤裝置331來穩(wěn)定跟蹤目標(biāo)的空間定義為基于多個相機的穩(wěn)定跟蹤空間(其后稱為“跟蹤空間”)800。即，在通過實現(xiàn)為三個相機的基于相機的傳感器跟蹤裝置進(jìn)行圖像獲取的情況下，通過相機的鏡頭輸入的有關(guān)空間的信息可被定義為圓錐形。在用于獲得2D圖像信息的相機的情況下，必須呈現(xiàn)與至少兩個相機對應(yīng)的圖像信息，以便恢復(fù)和計算目標(biāo)的3D地點。因此，模擬器系統(tǒng)被設(shè)計為，使得配置其中三個相機的跟蹤空間共同重置的空間以執(zhí)行穩(wěn)定跟蹤，并使得在空間中包括虛擬焊接材料、焊槍、和向用戶佩帶的立體眼鏡附加的標(biāo)記。此外，在本實施例中，跟蹤空間800被設(shè)計為使用最小數(shù)目相機并使得模擬器系統(tǒng)的尺寸最小化?；趫D形用戶接口(⑶I)在觸摸屏上實現(xiàn)用戶接口單元400，由此使得數(shù)據(jù)的輸入能夠方便。用戶接口單元400在其連接鏈接部分處具有接頭，以允許自由調(diào)整用戶接口單元400的高度，從而將接口單元400布置在用戶能夠容易地操縱它的地點處。在該情況下，用戶接口單元400可提供以下功能，即，設(shè)置工作訓(xùn)練條件，提供裝置中的改變的引導(dǎo)， 使得示例訓(xùn)練引導(dǎo)信息可視化，并運行工作結(jié)果分析程序。即，當(dāng)用戶通過操縱用戶接口單元400選擇特定工作場景時，從在模擬器內(nèi)部附加的傳感器輸出基于當(dāng)前狀態(tài)和目標(biāo)狀態(tài)之間的差別來引導(dǎo)硬件改變所需的信息，并且用戶將系統(tǒng)改變?yōu)槟繕?biāo)狀態(tài)(或使用馬達(dá)來操作自動饋送設(shè)備)。在該情況下，用戶可根據(jù)系統(tǒng)的引導(dǎo)來調(diào)整顯示器的高度h和旋轉(zhuǎn)值π、反射鏡部分的旋轉(zhuǎn)值Θ、和反射鏡部分的距離d。在已執(zhí)行調(diào)整之后，用戶接口單元400使得與工作引導(dǎo)相關(guān)的學(xué)習(xí)內(nèi)容可視化。 在已完成訓(xùn)練之后，通過運行工作結(jié)果分析工具來分析和評估訓(xùn)練結(jié)果，并且其后調(diào)查在期望地點處的被焊接部件的值和相關(guān)工作參數(shù)，同時使用觸摸屏上的交互使得焊接的結(jié)果 (即，珠子的3D形狀)可視化，并且方便地旋轉(zhuǎn)3D對象。此外，用戶接口單元400連接到內(nèi)容操作單元500所指明的基于網(wǎng)絡(luò)的訓(xùn)練DB 570，結(jié)果是可進(jìn)行訓(xùn)練內(nèi)容的查詢和更新。內(nèi)容操作單元500包括兩個PC。即，作為構(gòu)造實時虛擬焊接模擬器所需的初步操作，對于各類焊接條件形成用于實際工作場所的實驗環(huán)境，制造實驗樣品，并測量焊珠的部件的外部形狀和結(jié)構(gòu)，使得可構(gòu)造實驗性樣品DB。此外，從測量實驗DB 522的補充的角度出發(fā)，基于焊珠生成算法使用數(shù)值模型，來構(gòu)造虛擬實驗性樣品DB。優(yōu)化的實時虛擬模擬利用以下方法來實現(xiàn)，即，教導(dǎo)能夠使用構(gòu)造的實驗性樣品DB取決于各種輸入值來輸出變硬的焊珠的形狀的神經(jīng)網(wǎng)絡(luò)的方法?；谟脩舻倪\動工作工具單元200和用于這樣的訓(xùn)練操作的設(shè)置條件值的輸入， 實時工作模擬單元520確定焊珠的外形，并經(jīng)由實時結(jié)果渲染單元530使得外形可視化，同時在基于網(wǎng)絡(luò)的訓(xùn)練DB 570中存儲信息，或從該DB檢索在特定條件下的初步工作的結(jié)果以執(zhí)行渲染。當(dāng)在已執(zhí)行實時訓(xùn)練操作時滿足特定條件時(例如，當(dāng)滿足振動、聲音和視覺反饋事件的生成條件時)，多感覺反饋控制單元540將消息發(fā)送到用戶工作工具單元200， 并輸出與在工作場所中進(jìn)行的工作相同的物理效果(例如，聲音和振動)和工作引導(dǎo)信息。用戶接口控制單元560和以用戶為中心的可重配置平臺控制單元550執(zhí)行與用戶接口單元400關(guān)聯(lián)的功能。內(nèi)容生成單元700可使用用于生成附加信息的過程來添加執(zhí)行訓(xùn)練所需的附加信息(例如，圖20的附加信息160)，或者可根據(jù)訓(xùn)練情景來對動態(tài)添加或刪除的實際輔助對象(例如，工作臺)立即進(jìn)行建模，由此允許在與虛擬對象交互的處理 (例如，沖突處理、阻塞處理等)中反映附加信息或?qū)嶋H輔助對象。在該情況下，為了對工作臺建模，使用經(jīng)由包括使能六自由度空間跟蹤的圖像獲取相機的觸摸屏、以基于增強現(xiàn)實圖像的建模技術(shù)為基礎(chǔ)、來生成3D虛擬對象的方法，或替換使用其中FMD用戶使用與六自由度跟蹤關(guān)聯(lián)的手接口來親自指向?qū)嶋H對象的角落部分并提取3D地點值的方法，來生成 3D虛擬對象。系統(tǒng)管理單元600包括用于外部顯示目的的輸出端口，使得外部觀察者可以看見內(nèi)部立體顯示器的內(nèi)容和觸摸屏監(jiān)視器的內(nèi)容。多個焊接訓(xùn)練攤(booth)中的每一個被提供有鉸鏈類型連接部分，使得可連接、安裝和操作焊接訓(xùn)練攤。焊接訓(xùn)練攤可經(jīng)由監(jiān)視器共享器(KVM開關(guān))將內(nèi)部圖像選擇性地輸出到外部觀察監(jiān)視器。這里，外殼的整個表面由透明材料制成，使得看到外殼內(nèi)部。如圖21中所示，遠(yuǎn)程管理單元包括基于無線通信的移動系統(tǒng)管理裝置820，使得訓(xùn)練攤的外部用戶(例如，訓(xùn)練者)可容易地執(zhí)行包括諸如多個PC和電子傳感器的電子裝置的虛擬焊接訓(xùn)練模擬器的功率管理和系統(tǒng)控制。基于無線通信的移動系統(tǒng)管理裝置820 輸出諸如用于控制系統(tǒng)操作設(shè)立的菜單的GUI屏幕。在訓(xùn)練模擬器的PC部分中，安裝能夠處理因特網(wǎng)服務(wù)的服務(wù)器830，并且這結(jié)合基于無線通信的移動系統(tǒng)管理裝置820而操作， 使得可使用網(wǎng)頁瀏覽器來控制用戶接口單元400的內(nèi)容，由此允許基于無線通信的移動系統(tǒng)管理裝置820 (例如，智能電話、個人數(shù)字助理(PDA)等)方便地控制該系統(tǒng)。在該情況下，基于無線通信的移動系統(tǒng)管理裝置820經(jīng)由無線通信裝置840向或從服務(wù)器830傳送或接收數(shù)據(jù)。圖22是示出了根據(jù)本發(fā)明實施例的用于教育機構(gòu)的虛擬焊接訓(xùn)練模擬器的實現(xiàn)的概念圖。用于教育機構(gòu)的虛擬焊接訓(xùn)練模擬器具有這樣的結(jié)構(gòu)，其中減少可重配置圖像輸出單元100的一些功能，并且可在桌面環(huán)境下與其他幾件實驗儀器(例如，使用使能觸覺交互的幻象(phantom)裝置的力反饋接口的實現(xiàn))關(guān)聯(lián)地使用。此外，這樣的模擬器指明這樣的情況，其中減小整個模擬器的規(guī)模，并且以較低成本生產(chǎn)其系統(tǒng)，由此由于其可移動性和對于教學(xué)的可應(yīng)用性而能夠遍布教育機構(gòu)。即，本系統(tǒng)具有這樣的機構(gòu)，其能夠改變旋轉(zhuǎn)軸(θ，π)和半透明反射鏡之間的距離d，使得在上述虛擬焊接訓(xùn)練模擬器的功能之中，除了向上看操作之外的諸如向前(中間)看操作和向下看操作的一些操作是可能的。根據(jù)本實施例的用戶接口單元400包括外部圖像輸出顯示器620。圖23是示出了根據(jù)本發(fā)明另一實施例的通過捕獲用于教育機構(gòu)的虛擬焊接訓(xùn)練模擬器而獲得的畫面的圖。這示出了從立體顯示器上去除中央反射板、以便支持用戶以幾厘米的規(guī)則間隔接近觀察焊槍和熔池的部分的情況的結(jié)果。為了執(zhí)行向下看操作和向前看操作，提供用于輸出立體圖像的獨立顯示裝置。此外，本訓(xùn)練模擬器具有這樣的結(jié)構(gòu)，其中將跟蹤系統(tǒng)的排列從其先前地點改變到不干擾接近焊槍的用戶的工作姿勢的地點。圖中示出的各組件與上面描述的組件相同。其后，將描述本發(fā)明的實施例以示出向基于FMD的虛擬焊接訓(xùn)練模擬器的詳細(xì)和有限情況應(yīng)用本發(fā)明的一些功能的結(jié)果。圖24是示出了根據(jù)本發(fā)明實施例的基于FMD的虛擬焊接訓(xùn)練模擬器的概念圖。圖25是示出了圖24的圖像輸出單元和LMD支持FMD延伸版本的利用的示例的圖，圖26到33是示出了圖24的跟蹤單元的可重配置安裝框架結(jié)構(gòu)與系統(tǒng)管理單元的概念圖，圖34到36是示出了用于實現(xiàn)基于FMD的虛擬焊接訓(xùn)練模擬器的基于相機的跟蹤單元的圖，而圖37是示出了基于上網(wǎng)機的結(jié)果評估和圖24的系統(tǒng)遠(yuǎn)程管理單元的利用的示例的概念圖。如圖24中所示，由于諸如FMD 900的全浸泡顯示裝置，基于現(xiàn)場安裝顯示器(FMD) 的虛擬焊接訓(xùn)練模擬器允許用戶感覺如同他或她浸泡在工作場所中一樣。考慮到普遍性 (universality)來設(shè)計這樣的模擬器,使得能夠使用他或她的身體的部分或全部基于交互場景來訓(xùn)練用戶。整個系統(tǒng)配置與上述工業(yè)和教育機構(gòu)版本的配置相似，但是其特征在于，在應(yīng)用FMD 900的情況下，提供能夠支持包括上/下、左/右和前/后方向的所有方向的工作并能夠跟蹤用戶的任何操作姿勢的可重配置跟蹤單元300，并呈現(xiàn)用于輸出訓(xùn)練結(jié)果的評估表和用于控制遠(yuǎn)程系統(tǒng)的部件。如圖25中所示，當(dāng)使用用于呈現(xiàn)多混合顯示立體圖像的FMD 920時，可實現(xiàn)這樣的場景，其允許多個用戶彼此協(xié)作地工作，并同時觀看在用于呈現(xiàn)公共信息的外部立體圖像顯示器上呈現(xiàn)的信息以及使得浸泡環(huán)境可視化。在圖中，3D虛擬立體材料塊263是由所有用戶共同觀察的目標(biāo)，并且三個參與者使用它們自己的個人信息通過LMD類型FMD裝置和襯墊(pad)類型顯示器來訪問訓(xùn)練模擬器。當(dāng)學(xué)生IOa使用焊槍20對外部立體顯示器 930上呈現(xiàn)的工作目標(biāo)執(zhí)行實際焊接操作時，諸如執(zhí)行虛擬電弧焊接和火焰焊接的實際焊接操作在學(xué)生IOa所佩戴的FMD 920a上可視化。同時，工作引導(dǎo)專家IOb可選擇用于實時向?qū)W生IOa引導(dǎo)工作過程并幫助學(xué)生工作的信息引導(dǎo)方法，并向?qū)W生呈現(xiàn)該信息引導(dǎo)方法，或者可通過他或她的FMD 920b實時監(jiān)視學(xué)生工作的當(dāng)前情景。此外，教師IOc可執(zhí)行以下操作，即，在進(jìn)行訓(xùn)練操作時或已完成訓(xùn)練操作之后，在觀看了網(wǎng)頁瀏覽器上用無線方式接收的訓(xùn)練結(jié)果表之后，使用結(jié)果分析工具來添加評估建議。作為選擇，通過使用經(jīng)由襯墊型顯示裝置620虛擬剪切3D虛擬立體焊接材料塊263的方法檢查焊珠的截面(section) (數(shù)值測量)，來評估學(xué)生的訓(xùn)練的完成等級。在該情況下，在學(xué)生IOa的FMD 920a上，工作訓(xùn)練的情景被可視化并顯示。在專家IOb的FMD 920b上，實時操作分析和引導(dǎo)信息被可視化并顯示。在教師IOc的FMD 920c上，有關(guān)訓(xùn)練結(jié)果的分析和評估的信息被可視化并顯
/Jn ο基于FMD的虛擬焊接訓(xùn)練模擬器的外表特征在于將FMD類型的可移動佩戴型移動顯示器、系統(tǒng)操作單元和能夠跟蹤用戶的整個身體的運動的跟蹤單元集成在單一單元中， 使得訓(xùn)練模擬器被設(shè)計為可還原地重新配置或可延伸地安裝，由此促進(jìn)系統(tǒng)的移動和維護(hù)。其后，將參考圖26到30來詳細(xì)描述該系統(tǒng)的擴展過程。如圖26中所示，在用于移動和固定基于FMD的虛擬焊接訓(xùn)練模擬器1000的小腳輪(caster)單元1010已被固定之后，打開保護(hù)蓋1020以擴展(延伸)和安裝該系統(tǒng)。其后，如圖27中所示，相機框架1050的主支架(support) 1030延伸，提供穩(wěn)定性的副支架1040延伸，并且在按照傘的形狀折疊的相機框架1050展開的同時，使用重心砝碼 1060來調(diào)整相機框架1050的平衡。接下來，如圖28中所示，相機框架1050展開，并然后耦接(1070)到副支架1040。 在該情況下，多個相機1100經(jīng)由相機框架中心耦接器1080被扣緊到相機框架1050。接下來，如圖29和30中所示，在相機保護(hù)空間1090中插入的相機1100按照傘的形狀被部署和安裝。為了設(shè)置相機1100的安裝方向(角度)，使用將相機框架彎曲預(yù)置值的接合部分，而不需要附加精細(xì)調(diào)整相機角度的過程。在相機框架中心耦接器1080中提供用于執(zhí)行相機1100和系統(tǒng)主體之間的通信的控制盒。提供用于延伸用戶操作的跟蹤范圍的四個附加相機1100以按照翅膀1120的形式部署。在系統(tǒng)的主體中，提供有用于操作軟件的機架安裝服務(wù)器PC 1160、打印機1130和圖像顯示裝置1140，并且還提供用于工作接口裝置的接收部分1150。在這方面，圖31到33圖示了用于延伸相機框架支架1170的方法的實現(xiàn)的示例。即，這些圖示出了相機框架支架1040按照多級結(jié)構(gòu)配置，并然后能夠根據(jù)用戶的地點而延伸。
基于FMD的虛擬焊接訓(xùn)練模擬器可以被普遍使用，來實現(xiàn)虛擬現(xiàn)實系統(tǒng)。在圖34 到36中，呈現(xiàn)通過基于相機的跟蹤單元所預(yù)置的值作為示例，使得可使用它們用于其中支持用戶的整體操作的場景。當(dāng)使用相機作為跟蹤傳感器時，考慮到單一相機的裝置特性(例如，視角-視野、 焦距等)而需要獲得多個交叉區(qū)域的操作。本發(fā)明被設(shè)計來容易地執(zhí)行該操作。此外，每一相機可由具有預(yù)定感測(跟蹤)范圍的另一類型裝置替換，并然后可執(zhí)行本發(fā)明所期望的操作。例如，另一類型裝置可以是能夠獲得跟蹤目標(biāo)的3D地點和姿勢信息的裝置，例如， 超聲波和電磁跟蹤傳感器中的任一個。用于跟蹤用戶的操作范圍的傳感器(例如，相機) 的數(shù)目可以隨著相應(yīng)裝置的特性(例如，每一相機鏡頭的視野(FOV))而變化，并由此可通過提供一個或多個傳感器來限定跟蹤空間800。在該情況下，如圖34中所示，在用戶后面上方排列的三個相機框架上安裝的三個相機IlOOa基于用戶采取向上看操作的姿勢的情況來執(zhí)行跟蹤。如圖35中所示，在用戶前面上方排列的三個相機框架上安裝的三個相機 IlOOb基于用戶采取向前看操作的姿勢的情況來執(zhí)行跟蹤。如圖36中所示，在系統(tǒng)主體上安裝的四個相機IlOOc基于用戶采取向下看操作的姿勢的情況來執(zhí)行跟蹤。在該情況下， 提供改變每一相機的角度的功能，結(jié)果是可取決于用戶的工作姿勢來支持穩(wěn)定的跟蹤空間 (即，跟蹤空間800)。如圖37中所示，基于FMD的虛擬焊接訓(xùn)練模擬器被提供有外部觀察內(nèi)容輸出單元 620，能夠?qū)τ诙鄠€外部觀察者IOa分享每一個人用戶的顯示裝置的圖像信息(例如，F(xiàn)MD 上的圖像、系統(tǒng)監(jiān)視器上的圖像、教師的評估屏幕等)。在基于FMD的虛擬焊接訓(xùn)練模擬器中，集成了用于控制多個計算機I/O裝置的個別單元、跟蹤單元300、和接口裝置。因此，基于FMD的虛擬焊接訓(xùn)練模擬器向沒有得到專業(yè)操作教育的普通用戶提供基于GUI的系統(tǒng)操作接口。在該情況下，操作者IOb(例如，教師)可使用以下方法通過接通或關(guān)斷每一裝置或改變圖像I/O通道來遠(yuǎn)程地容易地操作該系統(tǒng)，在所述方法中，當(dāng)使用能運行網(wǎng)頁瀏覽器的移動終端裝置820基于系統(tǒng)控制菜單在概念(conceptual)級別選擇系統(tǒng)的主要功能時(例如，當(dāng)整個系統(tǒng)加電時，或者當(dāng)將控制數(shù)據(jù)輸入到用于控制遠(yuǎn)程儀器的操作的CTI和用于控制模擬器操作的GUI時)，按照無線方式將系統(tǒng)控制命令傳送到主體中包括的控制裝置(即，其中安裝有服務(wù)器的小尺寸PC 830)，并發(fā)布一連串批處理指令。作為選擇，用戶親自發(fā)布用于運行與系統(tǒng)主體相連的鍵盤和鼠標(biāo)的操作的命令，使得操作者可容易地從遠(yuǎn)程地點操作該系統(tǒng)。此外，訓(xùn)練結(jié)果分析工具支持無線打印功能，使得如果在教師已評估了訓(xùn)練結(jié)果之后按照無線方式傳送打印命令，則與服務(wù)器相連的打印機輸出評估表。圖38是示出了根據(jù)本發(fā)明實施例的用于操作基于FMD的虛擬焊接訓(xùn)練模擬器的方法和該模擬器的安裝的示例的圖。首先，在步驟SlOO安裝(移動)基于FMD的虛擬焊接訓(xùn)練模擬器。在該情況下， 對于模擬器的外部觀察者，安裝用于同時示出向立體顯示器輸出與的單色圖像和向觸摸屏監(jiān)視器輸出的圖像的顯示裝置。當(dāng)然，為了構(gòu)造與用于工業(yè)焊接訓(xùn)練的實踐室類似的虛擬焊接訓(xùn)練模擬器，系統(tǒng)可被配置為同時控制通過有線/無線網(wǎng)絡(luò)彼此相連的多個模擬器。用戶在步驟S200驅(qū)動基于FMD的虛擬焊接訓(xùn)練模擬器。即，用戶使用基于FMD的虛擬焊接訓(xùn)練模擬器的中央控制開關(guān)(加電開關(guān))或移動控制裝置，來激活整個系統(tǒng)和所有裝置。
基于FMD的虛擬焊接訓(xùn)練模擬器在步驟S300設(shè)立工作環(huán)境。即，基于FMD的虛擬焊接訓(xùn)練模擬器經(jīng)由用戶接口單元400輸出包括焊接方法、焊條、焊接材料、電壓、焊接姿勢等的工作環(huán)境設(shè)立屏幕。用戶通過選擇向?qū)崿F(xiàn)為觸摸板的用戶接口單元400輸出的信息，來設(shè)立期望工作環(huán)境。在該情況下，基于FMD的虛擬焊接訓(xùn)練模擬器可附加提取有關(guān)用戶的個人信息。即，包括用戶的身高、體重、身體的操作半徑等的用戶的個人信息被自動測量(或手動輸入)，并然后被施加到工作環(huán)境設(shè)置。基于FMD的虛擬焊接訓(xùn)練模擬器在步驟S400基于在工作環(huán)境設(shè)置中包括的用戶的工作姿勢來重新配置平臺。在該情況下，基于FMD的虛擬焊接訓(xùn)練模擬器通過垂直并旋轉(zhuǎn)移動圖像輸出單元100 (或立體顯示單元110)來改變圖像輸出單元100 (或立體顯示單元110)的地點，使得其適于用戶100所選擇的工作姿勢。在該情況下，可使用基于用戶的操縱的手動調(diào)整方法或基于馬達(dá)的驅(qū)動的自動調(diào)整方法，來執(zhí)行圖像輸出單元100(或立體顯示單元110)的地點的調(diào)整。當(dāng)然，可通過改變圖像輸出單元100是否將輸出圖像的確定，或通過基于用戶的身體操作的半徑調(diào)整交通空間(即，通過使用框架結(jié)構(gòu)的改變來改變相機的3D地點)，來重新配置平臺。在已完成平臺的重新配置之后，基于FMD的虛擬焊接訓(xùn)練模擬器在步驟S500向用戶接口單元400輸出用于所選擇的工作的初步示范信息(即，示例工作引導(dǎo)圖像)。即，將引導(dǎo)圖像輸出到工作用戶接口單元400。當(dāng)然，用戶可佩戴用于立體圖像的眼鏡，并且立體圖像輸出單元100可輸出引導(dǎo)圖像。其后，基于FMD的虛擬焊接訓(xùn)練模擬器在步驟S600取決于用戶所選擇的工作環(huán)境來執(zhí)行工作訓(xùn)練。在該情況下，用戶佩戴用于立體圖像的眼鏡以使用立體顯示器，并基于在 3D空間中投射的虛擬工作引導(dǎo)信息使用立體顯示裝置來執(zhí)行實際工作訓(xùn)練。在該情況下， 用戶取決于向前看姿勢(a)、向下看姿勢(b)和向上看姿勢(c)而進(jìn)行工作訓(xùn)練。在用戶已完成工作訓(xùn)練之后，基于FMD的虛擬焊接訓(xùn)練模擬器在步驟S700輸出用戶的工作訓(xùn)練的結(jié)果。即，基于FMD的虛擬焊接訓(xùn)練模擬器將用戶的工作訓(xùn)練的結(jié)果輸出到用戶接口單元400?；贔MD的虛擬焊接訓(xùn)練模擬器在步驟S800調(diào)查所顯示的用戶的工作訓(xùn)練的結(jié)果并輸出報告。其后，當(dāng)用戶期望進(jìn)行另一工作訓(xùn)練時(在步驟S900的“是”的情況下)， 基于FMD的虛擬焊接訓(xùn)練模擬器返回到上述工作環(huán)境設(shè)立步驟(即，S300)，以執(zhí)行用于另一工作的工作訓(xùn)練過程。如上所述，當(dāng)使用用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備時， 可通過用虛擬現(xiàn)實數(shù)據(jù)替換對象，來降低用于構(gòu)造與實際工作環(huán)境相同的訓(xùn)練系統(tǒng)所需的成本、和由訓(xùn)練材料的消耗引起的消耗成本，由此獲得由于成本降低導(dǎo)致的經(jīng)濟優(yōu)點。具體來說，在作為稍后將描述的本發(fā)明的實施例呈現(xiàn)的虛擬焊接訓(xùn)練模擬器的情況下，可更有效地利用與各種工作結(jié)構(gòu)對應(yīng)的元素(即，訓(xùn)練空間、工作準(zhǔn)備時間、和訓(xùn)練之后的完成工作時間)，并且可大大降低通過過失事故傷害初學(xué)者的風(fēng)險，由此使得能夠?qū)⒊鯇W(xué)者訓(xùn)練成為有經(jīng)驗的工作者。另外，本發(fā)明基于實時模擬使得需要教育和訓(xùn)練過程的任何工作場所可視化，并由此可在其中通過用戶的行動運行場景的所有領(lǐng)域中廣泛使用本發(fā)明。此外，本發(fā)明基于實時模擬在全浸泡虛擬空間中再現(xiàn)與實際情景對應(yīng)的訓(xùn)練場景和用戶動作，使得用戶能體驗與實際模擬相同的教育和訓(xùn)練，由此使得在實際教育和訓(xùn)練過程中可能發(fā)生的過失事故的問題最小化。如上所述，盡管已描述了本發(fā)明的實施例，但是本領(lǐng)域技術(shù)人員將預(yù)期，各種修改、添加和替代是可能的，而不脫離所附權(quán)利要求中公開的本發(fā)明的范圍和精神。
權(quán)利要求
1.一種用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備，包括圖像輸出單元，用于輸出為了用戶的工作訓(xùn)練而使用的混合現(xiàn)實內(nèi)容的立體圖像； 用戶工作工具單元，用于當(dāng)利用實際工作工具工作時，對輸出的立體圖像生成與基于用戶的運動生成的感覺反饋對應(yīng)的虛擬感覺反饋；和跟蹤單元，用于向該圖像輸出單元和該用戶工作工具單元傳送通過感測用戶的運動的工作工具單元而獲得的感測信號。
2.根據(jù)權(quán)利要求I的可重配置平臺管理設(shè)備，其中該圖像輸出單元包括立體顯示單元，用于將該混合現(xiàn)實內(nèi)容的立體圖像劃分為用于左眼和右眼的多條可視信息，并輸出得到的立體圖像；信息可視化單元，用于使得附加信息可視化，并將所述可視化之后的附加信息輸出到從該立體顯示單元輸出的立體圖像；和可重配置平臺控制單元，用于基于用戶物理信息和當(dāng)前正輸出的混合現(xiàn)實內(nèi)容，來設(shè)置用于改變該立體顯示單元和該信息可視化單元的結(jié)構(gòu)所需的改變信息。
3.根據(jù)權(quán)利要求2的可重配置平臺管理設(shè)備，其中該信息可視化單元包括基于混合現(xiàn)實的信息可視化單元，用于使得該附加信息可視化，并將所述可視化之后的附加信息輸出到從該立體顯示單元輸出的立體圖像；和基于分層多顯示(LMD)的信息可視化單元，用于使得該附加信息可視化，并將所述可視化之后的附加信息輸出到從該立體顯示單元輸出的立體圖像的外部，使得向相應(yīng)用戶提供對于多個用戶區(qū)分的多條附加信息。
4.根據(jù)權(quán)利要求3的可重配置平臺管理設(shè)備，其中該基于LMD的信息可視化單元被實現(xiàn)為在增強現(xiàn)實中使用的基于透視類型LMD的顯示裝置。
5.根據(jù)權(quán)利要求2的可重配置平臺管理設(shè)備，其中該圖像輸出單元包括傳感器單元，用于感測該用戶物理信息；和手動/自動控制單元，用于基于從用戶接口單元輸入的信息、從可重配置平臺控制單元輸入的改變信息、和傳感器單元所感測的用戶物理信息中的至少一個，來改變該立體顯示單元和該信息可視化單元的結(jié)構(gòu)。
6.根據(jù)權(quán)利要求2的可重配置平臺管理設(shè)備，其中該可重配置平臺控制單元基于該用戶物理信息和該混合現(xiàn)實內(nèi)容，來設(shè)置諸如該立體顯示單元的高度、旋轉(zhuǎn)和距離的改變信肩、O
7.根據(jù)權(quán)利要求2的可重配置平臺管理設(shè)備，其中該可重配置平臺控制單元將該用戶的身高和地面壓力分布與參考值進(jìn)行比較，生成改變該圖像輸出單元的地點所需的改變引導(dǎo)信息，并將生成的改變引導(dǎo)信息傳送和輸出到用戶接口單元。
8.根據(jù)權(quán)利要求2的可重配置平臺管理設(shè)備，其中該可重配置平臺控制單元將該用戶的身高和地面壓力分布與參考值進(jìn)行比較，并然后改變該圖像輸出單元的地點。
9.根據(jù)權(quán)利要求2的可重配置平臺管理設(shè)備，其中該立體顯示單元包括液晶顯示器 (IXD)扁平立體圖像面板和半透明鏡子，并進(jìn)一步包括在該IXD扁平立體圖像面板和該半透明鏡子之間的光學(xué)滯后器。
10.根據(jù)權(quán)利要求I的可重配置平臺管理設(shè)備，其中該用戶工作工具單元包括工作工具創(chuàng)建單元，用于創(chuàng)建為了多條混合現(xiàn)實內(nèi)容而使用的多個工作工具；和工作工具支持單元，用于形成在每一工作工具中，并支持取決于所述多條混合現(xiàn)實內(nèi)容的模擬的多種感覺的反饋。
11.根據(jù)權(quán)利要求10的可重配置平臺管理設(shè)備，其中該工作工具支持單元包括視覺反饋支持單元，用于輸出模擬視覺感覺的信息，并傳遞與該工作工具相關(guān)的反饋信息；觸覺反饋支持單元，用于傳遞物理和認(rèn)知力的效果；聽覺反饋支持單元，用于使用聲音效果來代表輸入/輸出信息；嗅覺反饋支持單元，用于使用嗅覺器官來提供信息的輸入/輸出；和跟蹤支持單元，用于結(jié)合該跟蹤單元來交換該工作工具的地點信息和姿勢信息。
12.根據(jù)權(quán)利要求I的可重配置平臺管理設(shè)備，其中該跟蹤單元包括基于傳感器的跟蹤信息生成單元，用于感測該用戶和該用戶工作工具單元中的每一個的地點、姿勢、壓力、加速度、和溫度中的至少一個，并然后跟蹤該用戶和該用戶工作工具單元;基于數(shù)據(jù)庫(DB)的跟蹤信息生成單元，用于按照規(guī)則時間間隔來模擬多條跟蹤數(shù)據(jù)， 并生成作為傳感器當(dāng)前生成的值的輸入值；和基于虛擬傳感器的跟蹤信息生成單元，用于使用該基于DB的跟蹤信息生成單元所生成的輸入值來生成物理感測的值。
13.根據(jù)權(quán)利要求12的可重配置平臺管理設(shè)備，其中該跟蹤單元設(shè)置包括多個相機的安裝地點和捕獲方向的基于相機的穩(wěn)定跟蹤空間，以便跟著用戶的運動。
14.根據(jù)權(quán)利要求I的可重配置平臺管理設(shè)備，其中進(jìn)一步包括用戶接口單元，該用戶接口單元包括圖形用戶接口(GUI)操縱單元，用于接收為了設(shè)置系統(tǒng)操作設(shè)立參數(shù)和與工作場景相關(guān)的參數(shù)所需的預(yù)置值，輸出所述預(yù)置值，并將該系統(tǒng)操作設(shè)立參數(shù)和該與工作場景相關(guān)的參數(shù)傳送到內(nèi)容操作單元；和模擬器管理控制單元，用于基于工作場景的條件將可重配置硬件平臺的姿勢改變和引導(dǎo)信息傳送到該圖像輸出單元，并生成為了控制該模擬器所需的控制信號。
15.根據(jù)權(quán)利要求14的可重配置平臺管理設(shè)備，其中該用戶接口單元基于該用戶物理信息和該工作場景，來接收為了調(diào)整包括該圖像輸出單元的高度和旋轉(zhuǎn)角中的至少一個的參數(shù)所需的預(yù)置值。
16.根據(jù)權(quán)利要求I的可重配置平臺管理設(shè)備，進(jìn)一步包括內(nèi)容操作單元，用于管理多條混合現(xiàn)實內(nèi)容，從所述多條混合現(xiàn)實內(nèi)容中檢測為了用戶的工作訓(xùn)練所要使用的幾條混合現(xiàn)實內(nèi)容，并向該圖像輸出單元提供所檢測的混合現(xiàn)實內(nèi)容。
17.根據(jù)權(quán)利要求16的可重配置平臺管理設(shè)備，其中該內(nèi)容操作單元包括跟蹤數(shù)據(jù)處理單元，用于從該跟蹤單元接收跟蹤目標(biāo)實體所生成的跟蹤信息，并處理該跟蹤信息；實時工作模擬單元，用于基于利用該模擬器的工作場所場景來模擬與周圍對象的交互；實時結(jié)果渲染單元，用于渲染該實時工作模擬單元所執(zhí)行的模擬的結(jié)果，并將所渲染的結(jié)果傳送和輸出到該圖像輸出單元；以用戶為中心的可重配置平臺控制單元，用于彼此關(guān)聯(lián)地處理該混合現(xiàn)實內(nèi)容的情景信息和該模擬器的信息，設(shè)置用于該平臺的改變信息；用戶接口控制單元，用于將該以用戶為中心的可重配置平臺控制單元所設(shè)置的改變信息傳送到該用戶接口單元；基于網(wǎng)絡(luò)的訓(xùn)練DB，用于存儲與該內(nèi)容生成單元所生成的多個工作環(huán)境對應(yīng)的多條混合現(xiàn)實內(nèi)容；和多感覺反饋控制單元，用于基于該實時工作模擬單元所執(zhí)行的模擬的結(jié)果來生成多感覺反饋控制信號，并將所述多感覺反饋控制信號傳送到該用戶工作工具單元。
18.根據(jù)權(quán)利要求I的可重配置平臺管理設(shè)備，進(jìn)一步包括系統(tǒng)管理單元，該系統(tǒng)管理單元包括外部觀察內(nèi)容輸出單元，用于向該模擬器的外部輸出模擬的進(jìn)度和模擬的結(jié)果； 系統(tǒng)保護(hù)單元，用于執(zhí)行該系統(tǒng)的安裝和管理；系統(tǒng)拆卸和關(guān)聯(lián)裝配支持單元，用于提供該系統(tǒng)的移動和多個平臺的同時安裝；和基于服務(wù)器的系統(tǒng)遠(yuǎn)程管理單元，用于傳送或接收為了控制該遠(yuǎn)程控制裝置和該系統(tǒng)的啟動和終止、以及該用戶接口單元所處理的工作條件的設(shè)立中的至少一個所需要的控制信息。
19.根據(jù)權(quán)利要求I的可重配置平臺管理設(shè)備，進(jìn)一步包括內(nèi)容生成單元，用于生成為了用戶的工作訓(xùn)練所使用的多條混合現(xiàn)實內(nèi)容。
20.根據(jù)權(quán)利要求19的可重配置平臺管理設(shè)備，其中該內(nèi)容生成單元包括實際對象獲取單元，用于從該用戶工作工具單元接收虛擬對象模型，使用該混合現(xiàn)實內(nèi)容中包括的對象的建模和所存儲的對象的選擇中的任一個，并然后獲取實際對象；虛擬對象生成單元，用于使用輸入圖像或基于圖像的建模技術(shù)來生成與該實際對象獲取單元所獲取的實際對象對應(yīng)的虛擬對象；對象間交互場景生成單元，用于生成與該虛擬對象生成單元所生成的虛擬對象相關(guān)的場景；和混合現(xiàn)實內(nèi)容DB，用于存儲該對象間交互場景生成單元所生成的場景。
全文摘要
這里公開了一種用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備，其使得要重新配置的裝置平臺能夠適應(yīng)各種工作環(huán)境并滿足用戶的各種工作場景需求。所述用于基于虛擬現(xiàn)實的訓(xùn)練模擬器的可重配置平臺管理設(shè)備包括圖像輸出單元，用于輸出為了用戶的工作訓(xùn)練而使用的混合現(xiàn)實內(nèi)容的立體圖像。當(dāng)利用實際工作工具工作時，用戶工作工具單元對輸出的立體圖像生成與基于用戶的行動生成的感覺反饋對應(yīng)的虛擬感覺反饋。跟蹤單元向該圖像輸出單元和該用戶工作工具單元傳送通過感測用戶的運動而獲得的感測信號。
文檔編號G09B9/00GK102592484SQ20111036270
公開日2012年7月18日 申請日期2011年11月16日 優(yōu)先權(quán)日2010年11月16日
發(fā)明者崔珍晟, 李鍵, 梁雄淵, 趙東植, 金容完, 金起弘 申請人:韓國電子通信研究院