專利名稱：對用于過程控制、環(huán)境控制和工業(yè)控制的實(shí)際和/或仿真設(shè)施進(jìn)行沉浸式交互的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字?jǐn)?shù)據(jù)處理，更具體地通過非限定示例涉及與實(shí)際環(huán)境和仿真環(huán)境 的沉浸式交互。本發(fā)明例如應(yīng)用在使用過程控制、環(huán)境控制或其他工業(yè)和/或非工業(yè)控制 的工廠和其他設(shè)施的操作、維護(hù)和緊急響應(yīng)培訓(xùn)中。
背景技術(shù)：
依賴于過程、環(huán)境、工業(yè)和其他控制技術(shù)的設(shè)施正在變得越來越復(fù)雜。這包括大面 積產(chǎn)品裝配工廠、制藥廠、煉油廠、發(fā)電廠和其他大工業(yè)操作。它也包括具有復(fù)雜的電力、溫 度控制、大眾運(yùn)輸工具和其他基礎(chǔ)結(jié)構(gòu)“工廠”的摩天大樓和其他綜合建筑。這些是依賴于 “控制”或“控制系統(tǒng)”來監(jiān)控它們的特性并且由此保證輸出、處理、質(zhì)量和/或效率隨著時(shí) 間推移而保持在期望的極限內(nèi)的設(shè)施。那些系統(tǒng)可以包括從現(xiàn)場裝置和控制器到工作站和其他更強(qiáng)大的數(shù)字?jǐn)?shù)據(jù)處理 設(shè)備的許多部件，它們的功能可能重疊?，F(xiàn)場裝置包括測量對象裝置、過程或系統(tǒng)的特性的 溫度、流量和其他傳感器。它們也包括閥門和其他致動器，該閥門和其他致動器以機(jī)械、電 子、磁性或其他方式影響期望的控制?？刂破骰趤碜詡鞲衅黝愋偷默F(xiàn)場裝置的測量來產(chǎn) 生控制裝置的設(shè)置?？刂破鞑僮魍ǔ；凇翱刂扑惴ā?，“控制算法”通過最小化由傳感器測 量的值和例如由操作員限定的設(shè)定點(diǎn)之間的差來將受控系統(tǒng)保持在期望的水平，或?qū)⑵潋?qū) 動到那個(gè)水平。工作站和控制站等通常用于整體地配置和監(jiān)控過程。它們也經(jīng)常用于執(zhí)行 較高級的過程控制，例如，協(xié)調(diào)控制器組并且響應(yīng)于在它們之內(nèi)發(fā)生的警報(bào)狀況。這些控制系統(tǒng)的一個(gè)或多個(gè)部件可以包括軟件和/或硬件邏輯，用于監(jiān)控它們控 制的設(shè)施的特性，并且用于自動地調(diào)整它們的操作參數(shù)以保證實(shí)現(xiàn)這些極限。其他控制系 統(tǒng)部件顯示警告或特性的其他標(biāo)記，將調(diào)整的責(zé)任留給工廠操作人員或其他人員。例如，在煉油廠中，在工廠區(qū)域上物理分布的數(shù)千個(gè)控制器可以監(jiān)控和驅(qū)動好幾 萬個(gè)的傳感器、致動器和其他現(xiàn)場裝置，以傳送輸入的原油來進(jìn)行處理?？刂破鬟M(jìn)而被工作 站或更大的數(shù)字?jǐn)?shù)據(jù)處理設(shè)備協(xié)調(diào)，以便以期望的速率向可用的鍋爐和精餾塔輸送期望數(shù) 量的原油。那些鍋爐和精餾塔之中或周圍的現(xiàn)場裝置監(jiān)控處理參數(shù)以最大化蒸餾產(chǎn)物，并 且移動到結(jié)果產(chǎn)生的汽油、柴油和其他副產(chǎn)品以進(jìn)行下游處理。工廠人員從中央控制室中 的工作站和戰(zhàn)略地分布的控制站來監(jiān)控和控制這些操作。他們也對精煉廠進(jìn)行連續(xù)巡視以進(jìn)行設(shè)備的現(xiàn)場檢驗(yàn)、調(diào)整和維護(hù)。在緊急情況下，緊急響應(yīng)人員執(zhí)行人為和機(jī)器超控，同 時(shí)維修受損的機(jī)器。不論是對于煉油廠、裝配廠還是對于其他設(shè)施，培訓(xùn)操作和維護(hù)任務(wù)的人員會很 昂貴，尤其是考慮到由基礎(chǔ)過程、環(huán)境、工業(yè)和其他控制技術(shù)引入和強(qiáng)加的復(fù)雜性的情況 下。當(dāng)要考慮培訓(xùn)緊急響應(yīng)者時(shí)，這些綜合花費(fèi)會增加，這些人中的一些不太熟悉設(shè)施或?qū)?設(shè)施不是每天都接觸。除了培訓(xùn)之外，還有相當(dāng)大的附加花費(fèi)，用于安排人員到場進(jìn)行用于 例行監(jiān)控和維護(hù)等的巡視。本發(fā)明的目的是提供用于數(shù)字?jǐn)?shù)據(jù)處理的改善的系統(tǒng)和方法。相關(guān)的目的是提供用于與實(shí)際環(huán)境和仿真環(huán)境進(jìn)行沉浸式交互的這樣的系統(tǒng)和 方法。另一個(gè)相關(guān)目的是提供用于操作、維護(hù)和緊急響應(yīng)的這樣的系統(tǒng)和方法。另一個(gè)這樣的相關(guān)目的是提供可以用于培訓(xùn)操作、維護(hù)和緊急響應(yīng)人員的這樣的 系統(tǒng)和方法。另一個(gè)相關(guān)目的是提供可以在使用過程控制、環(huán)境控制和其他工業(yè)和/或非工業(yè) 控制的設(shè)施中使用的這樣的系統(tǒng)和方法。另一個(gè)目的是提供降低與操作、維護(hù)和緊急響應(yīng)和/或其培訓(xùn)人員相關(guān)聯(lián)的成本 的這樣的系統(tǒng)和方法。

發(fā)明內(nèi)容
上面內(nèi)容是由本發(fā)明實(shí)現(xiàn)的一些目的，本發(fā)明在一些方面提供了用于與控制環(huán)境 交互的系統(tǒng)，該控制環(huán)境包括受控設(shè)備以及控制裝置，該控制裝置監(jiān)控和控制那個(gè)受控設(shè) 備。根據(jù)那些方面的一些，這樣的系統(tǒng)包括第一功能，其產(chǎn)生表示受控設(shè)備的操作狀態(tài)的 輸出；以及，第二功能，其產(chǎn)生表示一個(gè)或多個(gè)控制裝置的操作狀態(tài)的輸出。引擎協(xié)調(diào)第一 功能和第二功能以產(chǎn)生控制環(huán)境的操作狀態(tài)。虛擬現(xiàn)實(shí)環(huán)境根據(jù)操作狀態(tài)和控制環(huán)境的一個(gè)或多個(gè)物理方面來產(chǎn)生控制環(huán)境 的三維(“3D”)顯示。該虛擬現(xiàn)實(shí)環(huán)境響應(yīng)于與一個(gè)或多個(gè)輸入裝置的用戶交互來產(chǎn)生 該3D顯示，以便允許用戶以至少如由控制環(huán)境的3D顯示表示那樣和控制裝置和受控設(shè)備 的至少一個(gè)交互。該引擎向第一和第二功能的至少一個(gè)應(yīng)用那些交互的標(biāo)記，以辨別出對 控制環(huán)境的操作狀態(tài)產(chǎn)生的改變。它將那些改變的標(biāo)記應(yīng)用到虛擬現(xiàn)實(shí)環(huán)境，以對控制環(huán) 境的3D顯示產(chǎn)生對應(yīng)的變化——即用于指示對控制環(huán)境產(chǎn)生的改變的變化。根據(jù)本發(fā)明的方面的虛擬現(xiàn)實(shí)環(huán)境像參與者現(xiàn)實(shí)中看到那樣顯示控制環(huán)境，即， 就好像他/她真的在那一樣。結(jié)果，根據(jù)本發(fā)明的系統(tǒng)允許用戶經(jīng)由控制環(huán)境的3D顯示來 體驗(yàn)與實(shí)際的或仿真的控制環(huán)境的交互或通過(例如，“巡視”)控制環(huán)境。它們可以用于 監(jiān)控和控制環(huán)境的操作參數(shù)，并且支持工廠人員和諸如最小響應(yīng)者或其他安全人員的其他 人員的培訓(xùn)。本發(fā)明的另外的方面提供了例如如上所述的系統(tǒng)，其中，在控制環(huán)境的至少一部 分(即，受控設(shè)備和/或控制裝置的一個(gè)或多個(gè))的CAD/CAM數(shù)據(jù)庫和/或三維激光掃描 中反映了控制環(huán)境的物理方面。在本發(fā)明的相關(guān)方面中，可以在控制環(huán)境的至少一部分的 多個(gè)二維圖像中反映那些物理方面。這可以例如是包含工廠的成百上千張圖像的數(shù)據(jù)庫，
8該工廠包括受控設(shè)備和/或控制裝置，并且在本發(fā)明的一些方面，提供了用于從那些圖像 產(chǎn)生控制環(huán)境的三維表示的功能。本發(fā)明的其他方面提供了如上所述的系統(tǒng)，其中，虛擬現(xiàn)實(shí)環(huán)境通過下述方式來 增強(qiáng)控制環(huán)境的3D顯示(i)將圖形疊加在一個(gè)或多個(gè)受控設(shè)備和/或一個(gè)或多個(gè)控制裝 置的表示之上，并且/或者(ii)改變受控設(shè)備、控制裝置和/或其他對象的代表性顯示，以 給用戶“看”進(jìn)對象、“看”透對象和/或“觀看”對象周圍的印象?？梢园ɡ鐖D表、等式和其他視覺輔助部分的所疊加的圖形可以基于受控設(shè)備 和/或控制裝置的仿真和/或?qū)嶋H操作數(shù)據(jù)。疊加的圖形也可以包括由固定或移動照相機(jī) (以非限定性示例舉例，包括移動電話、個(gè)人數(shù)字助理或PDA和由在控制環(huán)境之中或周圍的 人員可能攜帶的其他這樣的裝置中包括的照相機(jī)或攝像機(jī))拍攝的靜止和/或視頻圖像。改變的代表性顯示同樣可以基于這樣的仿真和/或?qū)嶋H操作數(shù)據(jù)，該仿真和/或 實(shí)際操作數(shù)據(jù)例如表示控制裝置、受控裝置(和它們處理的材料)的內(nèi)部工作和/或“幕 后”操作。根據(jù)本發(fā)明的上述(和其他)方面的系統(tǒng)的益處是它們能夠產(chǎn)生控制環(huán)境的3D 顯示，該3D顯示不僅表示受控設(shè)備和/或控制裝置的行為，而且以與控制環(huán)境的實(shí)際或仿 真條件符合的方式來進(jìn)行表示。在其他方面，本發(fā)明提供了如上所述的系統(tǒng)，其中，第一和/或第二功能耦合到配 置和模型化數(shù)據(jù)庫(“配置”數(shù)據(jù)庫)、應(yīng)用數(shù)據(jù)庫和運(yùn)行數(shù)據(jù)庫的任何一個(gè)。這樣的配置 數(shù)據(jù)庫可以包括例如用于受控設(shè)備和/或控制裝置的一個(gè)或多個(gè)的一個(gè)或多個(gè)控制策略。 該應(yīng)用和/或運(yùn)行數(shù)據(jù)庫可以包括例如受控設(shè)備和/或控制裝置的仿真和/或?qū)嶋H當(dāng)前操 作數(shù)據(jù)。作為替代或補(bǔ)充，那些數(shù)據(jù)庫可以包括裝置和/或設(shè)備的仿真和/或?qū)嶋H歷史操 作數(shù)據(jù)。在其他方面，第一功能包括動態(tài)仿真軟件或其他功能，所述動態(tài)仿真軟件或其他 功能仿真一個(gè)或多個(gè)受控設(shè)備的操作。該仿真軟件可以例如是用于求解等式的數(shù)學(xué)系統(tǒng)的 解算機(jī)或其他系統(tǒng)。在本發(fā)明的相關(guān)方面，第二功能包括仿真一個(gè)或多個(gè)控制裝置的操作的軟件或其 他功能。本發(fā)明的其他方面提供了如上所述的系統(tǒng)，所述系統(tǒng)另外包括控制室工作站或其 他數(shù)字?jǐn)?shù)據(jù)處理器，所述控制室工作站或其他數(shù)字?jǐn)?shù)據(jù)處理器如在控制環(huán)境的3D顯示中 表示的那樣監(jiān)控和/或控制與受控設(shè)備和/或控制裝置的用戶交互。這樣的工作站可以例 如被管理者、培訓(xùn)指導(dǎo)者、共同被培訓(xùn)者或其他人使用。為此，控制室數(shù)字?jǐn)?shù)據(jù)處理器可以 被適配來使得它的用戶能夠如3D顯示所表示的那樣看到虛擬顯示環(huán)境的用戶和控制裝置 和受控設(shè)備的至少一個(gè)的交互效果。同樣，虛擬現(xiàn)實(shí)環(huán)境可以被適配來使得它的用戶能夠 例如由3D顯示表示的那樣看到由控制室數(shù)字?jǐn)?shù)據(jù)處理器的用戶對控制裝置和受控設(shè)備的 至少一個(gè)進(jìn)行的行為的效果。本發(fā)明的其他方面提供了用于操作和使用如上所述的系統(tǒng)的方法。本發(fā)明的這些和其他方面在附圖中和隨后的描述中顯而易見。


參考附圖可以更完全地理解本發(fā)明，在附圖中圖1描述了實(shí)施本發(fā)明的系統(tǒng)和方法的一類環(huán)境；圖2-3描述了根據(jù)本發(fā)明的用于與在圖1中所示類型的環(huán)境進(jìn)行沉浸式交互的系統(tǒng)；圖4A-4B描述了由根據(jù)本發(fā)明的系統(tǒng)產(chǎn)生的顯示類型，放大顯示了受控設(shè)備和/ 或控制裝置。
具體實(shí)施例方式圖1描述了實(shí)施本發(fā)明的系統(tǒng)和方法的一類環(huán)境5。所示環(huán)境的全部或部分可以 是實(shí)際的或仿真，所示環(huán)境包括控制系統(tǒng)10和由該系統(tǒng)10控制的設(shè)施。在此，由在制藥廠中使用的那類處理站20a-20d等來表示該設(shè)施，雖然在其他實(shí) 施例中該設(shè)施可以是裝配工廠、煉油廠、發(fā)電廠和其他工業(yè)或非工業(yè)操作(諸如，非限定性 的例子為綜合建筑)，該裝配工廠、煉油廠、發(fā)電廠和其他工業(yè)或非工業(yè)操作本身依賴于控 制以監(jiān)控受控設(shè)備、由其處理的材料或其他東西、進(jìn)行處理使用的過程和/或控制系統(tǒng)10 的元件，以保證輸出、處理、質(zhì)量和/或效率隨著時(shí)間推移保持在期望的極限內(nèi)。參見附圖，用于說明目的的制藥廠的用于說明的站20a包括混合室22、流體入口 對、26、流體出口 28、葉片30、冷卻器32和冷卻器入口 34?？梢杂谢驔]有的其他處理站可以 被類似地配置或以其他方式配置。所示出的系統(tǒng)10包括聯(lián)網(wǎng)的控制裝置，如上所述，該控制裝置本身監(jiān)控并控制設(shè) 備22-32、由它們處理的材料或其他東西、進(jìn)行處理所用的過程和/或控制系統(tǒng)10的元件。 所示出的系統(tǒng)10的控制裝置根據(jù)在本領(lǐng)域中已知類型的過程控制技術(shù)來執(zhí)行這些監(jiān)控和 控制。在其他實(shí)施例中，控制裝置可以作為取代或補(bǔ)充進(jìn)行環(huán)境控制或其他工業(yè)和/或非 工業(yè)控制技術(shù)。所示出的控制裝置包括致動器類型的現(xiàn)場裝置(“致動器”)，諸如被描述為控制 入口和出口 24- 和34的閥門。另一個(gè)致動器被示出用于控制葉片30。以根據(jù)在此的教 導(dǎo)來修改的傳統(tǒng)方式構(gòu)造和操作由控制系統(tǒng)使用的這些和其他致動器。所說明的實(shí)施例的 致動器在被標(biāo)注為CTL的相應(yīng)現(xiàn)場裝置控制器的控制下運(yùn)行，也以傳統(tǒng)方式來構(gòu)造和操作 相應(yīng)的現(xiàn)場裝置控制器，以提供初始化、信號調(diào)節(jié)和通信功能。替代使用獨(dú)立的控制器CTL，致動器也可以是智能式的，并且可以包括用于控制、 初始化、信號調(diào)節(jié)、通信和其他與控制相關(guān)的功能的集成微處理器或其他數(shù)字?jǐn)?shù)據(jù)處理設(shè) 備。為了方便，不管與控制相關(guān)的功能是否集成到致動器(例如，像在智能致動器的情況下 那樣)都使用標(biāo)簽CTL。所示出的控制裝置包括傳感器類型的現(xiàn)場裝置(“傳感器”)，諸如溫度傳感器29， 其監(jiān)控室22內(nèi)的流體的溫度、水平或其他特性。以根據(jù)在此的教導(dǎo)來修改的本領(lǐng)域公知的 傳統(tǒng)方式來構(gòu)造和操作傳感器四以及由系統(tǒng)使用的其他傳感器和感測設(shè)備。傳感器和感 測設(shè)備可以經(jīng)由發(fā)送器或其他接口裝置INT耦合到控制網(wǎng)絡(luò)，也以根據(jù)在此的教導(dǎo)來修改 的傳統(tǒng)方式來構(gòu)造和操作該發(fā)送器或其他接口裝置INT。接口裝置利于傳感器和控制系統(tǒng) 之間的初始化、信號調(diào)節(jié)和通信。如上，一個(gè)或多個(gè)傳感器可以是智能式，其包含用于初始 化、信號調(diào)節(jié)、通信和其他控制相關(guān)功能的集成微處理器或其他數(shù)字?jǐn)?shù)據(jù)處理能力。在此，也在控制相關(guān)的功能上也使用標(biāo)簽INT，而與用智能發(fā)送器等實(shí)現(xiàn)無關(guān)。聯(lián)網(wǎng)控制裝置包括一個(gè)或多個(gè)控制器36，一個(gè)或多個(gè)控制器36以根據(jù)在此的教 導(dǎo)進(jìn)行修改的傳統(tǒng)方式來監(jiān)控和控制假設(shè)的制藥廠的相應(yīng)方面?？刂破骺梢园軌驁?zhí)行 根據(jù)在此的教導(dǎo)來修改的這些監(jiān)控和控制功能的大型計(jì)算機(jī)、工作站、個(gè)人計(jì)算機(jī)、專用硬 件或其他數(shù)字?jǐn)?shù)據(jù)處理設(shè)備。以從根據(jù)在此的教導(dǎo)進(jìn)行修改的、可從本受讓方購得的CP控 制處理器的方式來構(gòu)造和操作優(yōu)選的控制器。控制系統(tǒng)10包括多個(gè)裝置，該多個(gè)裝置作為用戶界面，并且提供配置和/或控制 功能，這全部是以根據(jù)在此的教導(dǎo)修改的傳統(tǒng)方式。示出用于這些目的的工作站40、膝上型 計(jì)算機(jī)42和手持計(jì)算機(jī)44。就像在工作站40的情況下那樣，這些裝置可以直接地提供配 置和控制功能，或與服務(wù)器裝置合作使用，例如象在手持計(jì)算機(jī)44和服務(wù)器46的情況下那 樣。設(shè)備40-44可以例如通過總線或網(wǎng)絡(luò)連接直接與控制網(wǎng)絡(luò)耦合，或例如通過衛(wèi)星、無線 連接或調(diào)制解調(diào)器連接間接地與控制網(wǎng)絡(luò)耦合。說明性控制裝置36-46、CTL和INT經(jīng)由介質(zhì)耦合以進(jìn)行通信，該介質(zhì)允許裝置的 至少選擇的那些彼此進(jìn)行通信。為此，在所示實(shí)施例中，經(jīng)由一個(gè)或多個(gè)網(wǎng)絡(luò)48而耦合這 些裝置，優(yōu)選的是，該一個(gè)或多個(gè)網(wǎng)絡(luò)48是基于IP的，通過非限定示例舉例而言例如是以 太網(wǎng)(通過非限定示例舉例而言例如是局域網(wǎng)、廣域網(wǎng)和城域網(wǎng)等)。網(wǎng)絡(luò)可以如在附圖 中所示包括多個(gè)分段，諸如各種廣域網(wǎng)和局域網(wǎng)。它們也可以包括高帶寬和/或低帶寬部 件，諸如電話線；以及，低延遲和/或高延遲部件，諸如與地球同步的衛(wèi)星網(wǎng)絡(luò)?？刂蒲b置 36-46和/或網(wǎng)絡(luò)48的一個(gè)或多個(gè)還可以經(jīng)由因特網(wǎng)服務(wù)器47等耦接到因特網(wǎng)50或其他 網(wǎng)絡(luò)。包括示例性裝置36-48的控制系統(tǒng)10可以是本領(lǐng)域中公知的類型，并且通過 非限定示例舉例而言可從本受讓方購得。另外，通過非限定示例舉例而言，美國專利 No. 6，788，980描述了一種這樣的控制系統(tǒng)，該美國專利的教導(dǎo)通過引用被包含在此。根據(jù)本領(lǐng)域的慣例，一個(gè)或多個(gè)數(shù)據(jù)庫包含控制系統(tǒng)10和在由其控制的設(shè)施處 的設(shè)備的模型，并且更具體地，該模型例如是受控設(shè)備22-32、由它們處理的材料或其他東 西、進(jìn)行處理所用的過程和/或控制系統(tǒng)10的元件的模型，該控制系統(tǒng)10的元件包括例如 控制裝置36-46-其中包括由它們執(zhí)行的控制策略。因此，例如，這樣的模型列舉了現(xiàn)場裝 置、控制裝置、控制器和進(jìn)行控制的其他設(shè)備，指定它們的相互關(guān)系和在它們之間傳送的信 息，并且詳細(xì)描述它們用于控制目的而使用的計(jì)算和方法。這樣的模型可以用本領(lǐng)域公知類型的配置器(例如，如題目為“!Process Control Configuration System with Parameterized Objects” 的美國專利 7，096，465 中禾口題 目為“Methods and Apparatus for Control Using Control Devices That Provide a Virtual Machine Environment and That Communicate Via an IP Network，，的美國專 利6，788，980中公開的，兩者的教導(dǎo)通過引用被包含在此)或以其他方式產(chǎn)生。這些模型 可以被存儲在中央數(shù)據(jù)庫中并且/或者分布在控制裝置36-46中，例如，如在上述的、通過 引用包含的美國專利7，096，465和6，788，980中以及在題目為“Methods and Apparatus for Process, Factory-Floor, Environmental,Computer Aided Manufacturing-Based or Other Control System With Real-time Data Distribution''^ PCT ^itW003/89, 995 ψ 公開的，它們的教導(dǎo)也通過引用被包含在此。
11
除了配置或模型化數(shù)據(jù)庫之外，所述系統(tǒng)可包括例如上述通過引用包含的PCT申 請TO03/89，995中公開的類型的一個(gè)或多個(gè)應(yīng)用數(shù)據(jù)庫和/或運(yùn)行數(shù)據(jù)庫，以在其中保存 關(guān)于控制系統(tǒng)10和在由它控制的設(shè)施的設(shè)備處的當(dāng)前和/或歷史操作或其他信息，控制系 統(tǒng)10和在由它控制的設(shè)施的設(shè)備更具體地是受控設(shè)備22-32、由它們處理的材料或其他東 西、處理所用的過程和/或控制系統(tǒng)10的元件，該控制系統(tǒng)10的元件包括例如控制裝置 36-46 一其中包括由它們執(zhí)行的控制策略。僅為了說明性的目的，在附圖中以元件52a-5&來表示上述配置/模型化、應(yīng)用和 /或運(yùn)行數(shù)據(jù)庫。雖然在附圖中示出僅在控制裝置36-46的幾個(gè)上分布，實(shí)際上，這些可以 被合并在更少的這樣的裝置等或分布在更多的這樣的裝置中，這全部是以本領(lǐng)域中公知的 傳統(tǒng)方式。如上所述，在圖1中所示的環(huán)境的全部或部分可以是實(shí)際的或仿真的。因此，通過 非限定性示例舉例，處理站20a-20d、控制裝置36-46和配置/模型化數(shù)據(jù)庫可以是實(shí)際的， 它們的操作也可以是這樣。例如，在操作(或“建設(shè)好正在運(yùn)行”)的工廠或其他環(huán)境中是 這樣。在該情況下，諸如5^-5 的應(yīng)用和/或運(yùn)行數(shù)據(jù)庫包含實(shí)際的當(dāng)前和/或歷史操 作信息?？梢砸愿鶕?jù)在此的教導(dǎo)修改的、本領(lǐng)域中公知的方式來完成在圖1中說明性地描 述的這類實(shí)際環(huán)境的構(gòu)造和操作。通過另一個(gè)非限定性示例，處理站20a-20d、控制裝置36_46和配置/模型化數(shù)據(jù) 庫可以是實(shí)際的，但是它的操作可以是仿真的。例如在預(yù)操作工廠或其他環(huán)境中是這樣的。 在該情況下，諸如52a_52e的應(yīng)用和/或運(yùn)行數(shù)據(jù)庫包含至少一些仿真的當(dāng)前和/或歷史 操作信息?？梢砸愿鶕?jù)在此的教導(dǎo)修改的、在本領(lǐng)域中公知的方式來實(shí)現(xiàn)在圖1中說明性 地描述的這類實(shí)際環(huán)境的操作的仿真。可以使用在本領(lǐng)域中可獲得的軟件包來執(zhí)行例如基 于配置/模型化數(shù)據(jù)庫和/或處理站規(guī)范的這樣的操作的仿真，通過非限定性示例舉例，該 軟件包包括根據(jù)在此的教導(dǎo)修改的、基于從該受讓方可獲得的SIM4ME 仿真軟件的那些。通過另一個(gè)非限定性示例，處理站20a-20d、控制裝置36_46和配置/模型化數(shù)據(jù) 庫可以是仿真的，它們的操作也可以是這樣的。例如正在設(shè)計(jì)的工廠或其他環(huán)境中是這樣。 可以使用在本領(lǐng)域中公知的這類計(jì)算機(jī)輔助設(shè)計(jì)和制造包來執(zhí)行處理站和/或控制裝置 的仿真，同時(shí)可以使用全部根據(jù)在此的教導(dǎo)修改的、如上所述的類型的軟件包來執(zhí)行這樣 的站和裝置的操作的仿真。圖2描述了根據(jù)本發(fā)明的系統(tǒng)M，用于與如上所述的這類環(huán)境5進(jìn)行沉浸式交互。 更具體地，所示系統(tǒng)M用于與仿真的這種環(huán)境進(jìn)行沉浸式交互，但是根據(jù)在此的教導(dǎo)容易 理解這樣的系統(tǒng)如何可以被適配來用于與實(shí)際的這樣的環(huán)境進(jìn)行沉浸式交互。所示系統(tǒng)M包括具有操作員控制臺56A的控制室56、動態(tài)仿真軟件58和工作站 58A、控制裝置仿真軟件60、仿真引擎62、虛擬現(xiàn)實(shí)環(huán)境(包括虛擬現(xiàn)實(shí)引擎)64，它們經(jīng)由 一個(gè)或多個(gè)網(wǎng)絡(luò)66等耦接以進(jìn)行通信。其他實(shí)施例可以包括更少或更多的元件，并且可以 以在此所示者之外的方式進(jìn)行配置。所示控制室56表示結(jié)合過程控制和其他控制技術(shù)使用的那類傳統(tǒng)控制室。在所 示實(shí)施例中，這可以用于例如以與這樣的控制室監(jiān)控和控制實(shí)際環(huán)境5的操作參數(shù)相同的 方式來監(jiān)控和控制仿真環(huán)境5的操作參數(shù)。在這一點(diǎn)上，控制室56可以用于支持在虛擬現(xiàn) 實(shí)環(huán)境64中對人的培訓(xùn)，并且/或者，它本身(控制室)可以提供用于培訓(xùn)(例如，控制室人員的培訓(xùn))的環(huán)境。動態(tài)仿真軟件58產(chǎn)生輸出，該輸出表示工廠和/或其他環(huán)境的操作狀態(tài)，更具體 地，通過非限定性示例舉例，表示構(gòu)成工廠/環(huán)境的受控設(shè)備22-32的(一個(gè)或多個(gè))的操 作狀態(tài)。軟件58表示根據(jù)在此的教導(dǎo)適配的可以購得的類型的動態(tài)仿真軟件，雖然作為替 代或補(bǔ)充(再一次，根據(jù)在此的教導(dǎo)適配)，可以使用在本領(lǐng)域中已知的其他仿真包。除了 經(jīng)由管理工作站來支持培訓(xùn)指導(dǎo)者的行為(例如，在虛擬現(xiàn)實(shí)環(huán)境64中為被培訓(xùn)者設(shè)定培 訓(xùn)練習(xí))之外，仿真軟件58包括“解算機(jī)”和其他仿真支持工具，用于仿真實(shí)際工廠或其他 環(huán)境的操作。為此，仿真軟件58可以包括如上那類配置/模型化數(shù)據(jù)庫70或與其耦合，該 配置/模型化數(shù)據(jù)庫模型化例如模型化控制系統(tǒng)10和在由其控制的設(shè)施的設(shè)備以及由它 們處理的材料或其他東西。軟件58可以在上述管理工作站上和/或在市場上已知的類型 的其他適當(dāng)數(shù)字?jǐn)?shù)據(jù)處理設(shè)備(通過非限定性示例舉例，包括上述的控制室工作站)上執(zhí) 行。控制裝置仿真軟件60產(chǎn)生輸出，該輸出用于表示用于監(jiān)控和/或控制受控設(shè)備 (例如，22-32)的控制裝置(例如，36-46、CTL和INT)的操作狀態(tài)。那個(gè)軟件58仿真被仿 真的環(huán)境5的控制器和其他控制裝置的操作。軟件60表示根據(jù)在此的教導(dǎo)適配的、在市場 上可以商業(yè)方式獲得的類型的控制仿真軟件，雖然作為補(bǔ)充或替代(再一次，根據(jù)在此的 教導(dǎo)適配)，可以使用在本領(lǐng)域中已知的其他仿真包。仿真軟件60可以包括或耦合到如上 所述類型的配置/模型化數(shù)據(jù)庫(未示出)，該配置/模型化數(shù)據(jù)庫模型化例如由仿真的控 制裝置執(zhí)行的控制策略。軟件60可以在附圖中所示的類型的專用工作站上和/或在其他 適當(dāng)?shù)臄?shù)字?jǐn)?shù)據(jù)處理設(shè)備(通過非限定性示例舉例，包括上述的管理工作站和/或控制室 工作站)上執(zhí)行。仿真引擎62作用于并且協(xié)調(diào)仿真軟件58、60和控制室工作站的行為，以仿真如上 所述類型的環(huán)境5的操作，以包含到在虛擬現(xiàn)實(shí)環(huán)境64中的環(huán)境的沉浸式顯示(例如，環(huán) 境的物理布局的沉浸式顯示)內(nèi)。在所示實(shí)施例中，仿真引擎表示根據(jù)在此的教導(dǎo)適配的、 商標(biāo)名為SIM4ME的可從本受讓方購得的軟件包——雖然作為補(bǔ)充或替代(再一次，根據(jù)在 此的教導(dǎo)適配)，可以使用在市場中可獲得的其他仿真引擎。虛擬現(xiàn)實(shí)環(huán)境64提供環(huán)境5的三維或其他沉浸式顯示，該顯示不僅包括環(huán)境的物 理布局，而且包括控制系統(tǒng)10和在由它控制的設(shè)施的設(shè)備的操作的再現(xiàn)，并且更具體地， 包括受控設(shè)備22-32、由它們處理的材料或其他東西、處理所用的過程和/或控制系統(tǒng)10的 元件，該控制系統(tǒng)10的元件包括例如控制裝置36-46。簡而言之，在一些實(shí)施例中，虛擬現(xiàn) 實(shí)環(huán)境64提供了環(huán)境5的沉浸式顯示，該顯示允許被培訓(xùn)者和/或其他用戶(例如，維護(hù) 人員和緊急情況最先響應(yīng)者等)經(jīng)歷巡視和與環(huán)境的其他交互，就像他/她真在那里。顯示可以經(jīng)由用于虛擬現(xiàn)實(shí)顯示器的一類立體頭盔被傳送到參與者72，具體地說 例如是被培訓(xùn)者。作為替代或補(bǔ)充，可以經(jīng)由在虛擬現(xiàn)實(shí)“室”墻壁上的投影來顯示該顯示。 除了仿真環(huán)境5的顯示之外，虛擬現(xiàn)實(shí)環(huán)境64可以提供與環(huán)境相關(guān)聯(lián)的聲音和其他可聽隊(duì) 列。而且，它可以支持被培訓(xùn)者經(jīng)由觸覺裝置、游戲裝置(例如，Nintendo Wii 控制器)、 游戲棒、魔杖、鼠標(biāo)和鍵盤等來與仿真環(huán)境5的交互，這全部如附圖中的輸入和輸出元件74 所示。這樣的裝置可以促進(jìn)仿真環(huán)境的導(dǎo)航和/或交互操縱。虛擬現(xiàn)實(shí)環(huán)境64從仿真引擎62接受輸入，該輸入表示環(huán)境5的狀態(tài)，環(huán)境包括處
13理站20a-20d、受控設(shè)備22-32、由它們處理的材料或其他東西、進(jìn)行處理所用的過程和/或 控制系統(tǒng)10的元件的狀態(tài)，控制系統(tǒng)10的元件包括例如控制裝置36-46。該輸入可以反映 環(huán)境或其部分的所有方面的狀態(tài)，例如在虛擬現(xiàn)實(shí)環(huán)境64內(nèi)顯示的虛擬“世界”中的參與 者附近的設(shè)備、材料、控制裝置等的狀態(tài)。為了向參與者顯示環(huán)境5的物理布局，虛擬現(xiàn)實(shí)環(huán)境64包括一個(gè)或多個(gè)數(shù)據(jù)庫或 與該一個(gè)或多個(gè)數(shù)據(jù)庫耦合，該一個(gè)或多個(gè)數(shù)據(jù)庫可以包括例如(i)處理站20a-20d、受 控設(shè)備22-32和/或控制系統(tǒng)10的元件的CAD/CAM表示，該控制系統(tǒng)10的元件包括例如 控制裝置36-46(或上述部分的一個(gè)或多個(gè)的一部分/子集)，(ii)處理站20a-20d、受控 設(shè)備22-32和/或控制系統(tǒng)10的元件的3D激光掃描表示，該控制系統(tǒng)10的元件包括例如 控制裝置36-46(或上述部分的一個(gè)或多個(gè)的一部分/子集)，以及/或者(iii)實(shí)際或仿 真環(huán)境5的2D照片，該照片示出處理站20a-20d、受控設(shè)備22-32和/或控制系統(tǒng)10的元 件，該控制系統(tǒng)10的元件包括例如控制裝置36-46(或上述部分的一個(gè)或多個(gè)的一部分/ 子集)。虛擬現(xiàn)實(shí)環(huán)境64可以使用那些數(shù)據(jù)庫的一個(gè)或多個(gè)來構(gòu)造環(huán)境5的沉浸式顯示， 由此允許參與者導(dǎo)航通過環(huán)境5，并且例如與其中的受控設(shè)備和控制裝置交互。因此，例如， 虛擬現(xiàn)實(shí)環(huán)境64可以使用工廠的數(shù)千的實(shí)際(或仿真)照片的數(shù)據(jù)庫來足夠真實(shí)地顯示 工廠的3D“重建”，以使得參與者感到就像他/她真在那里。在市場上可獲得商標(biāo)為Mudio Max 的用于執(zhí)行這樣的重建的軟件，或更精確而言，用于從2D圖像產(chǎn)生3D虛擬現(xiàn)實(shí)顯示 的軟件，雖然作為替代或補(bǔ)充，可以使用提供這樣的能力的其他技術(shù)。與來自仿真引擎62的輸入耦合，這允許參與者不僅被動地“通過”環(huán)境，而且主動 地參與它。因此，由參與者在向他/她顯示的虛擬環(huán)境中進(jìn)行的行為(諸如，操作受控設(shè)備 和/或控制裝置)被仿真引擎62傳送到軟件58、60，以區(qū)別那些行為如何影響仿真環(huán)境5 中的改變(例如，容器內(nèi)水平的改變、顯示器上的變化等)，該改變繼而被仿真引擎62反饋 到虛擬現(xiàn)實(shí)環(huán)境，以產(chǎn)生在環(huán)境的虛擬現(xiàn)實(shí)顯示上的變化——因此，向參與者提供行為一 反應(yīng)反饋。通過非限定性示例舉例，然后，使用鼠標(biāo)或其他輸入裝置來仿真在由虛擬現(xiàn)實(shí)環(huán) 境64顯示的仿真環(huán)境中打開閥門的被培訓(xùn)者可以看到(并且，對于聲音效果而言，聽到) 該行為的結(jié)果，例如由在環(huán)境64中顯示的下游存儲容器上的計(jì)量器的虛擬現(xiàn)實(shí)仿真的顯 示器反映的結(jié)果。同樣，通過另一個(gè)非限定性示例舉例，未能正確地對虛擬現(xiàn)實(shí)環(huán)境中發(fā)送 的警報(bào)做出反應(yīng)的培訓(xùn)者和/或其他用戶(例如，維護(hù)人員和緊急最先響應(yīng)者等)可以在 虛擬現(xiàn)實(shí)環(huán)境的安全設(shè)備中見證一個(gè)設(shè)備仿真的破裂和結(jié)果產(chǎn)生的泛濫大火。在一些實(shí)施例中，虛擬現(xiàn)實(shí)環(huán)境64不僅如參與者實(shí)際看到的那樣(即，仿佛他/ 她真的在那里一樣)顯示仿真環(huán)境5，而且還增強(qiáng)該顯示。這可以包括在受控設(shè)備和/或控 制裝置上(例如，并且具體地說，例如，在由參與者行為影響的那些設(shè)備/裝置上)疊加圖 表、等式和其他視覺輔助。這也可以包括疊加由固定或移動攝像機(jī)同時(shí)(例如，“實(shí)時(shí)”)拍攝或在以前拍攝 的靜止和/或視頻圖像，通過非限定性示例舉例，該固定或移動攝像機(jī)包括在環(huán)境5之中或 周圍的已知位置安裝的照相機(jī)或攝像機(jī)90 (圖1)，和/或作為在環(huán)境5之中或周圍布置的、 由人員94(例如，維護(hù)人員和緊急響應(yīng)者等)攜帶的移動電話、PDA和其他這樣的裝置92的一部分的這樣的攝像機(jī)。在這后一點(diǎn)，可以使用由這樣的移動裝置產(chǎn)生的GPS或其他定位 信號來將靜止和視頻場景與由環(huán)境64產(chǎn)生的顯示相關(guān)，使得可以將靜止和/或視頻圖像放 在顯示中適當(dāng)?shù)奈恢?，如在對?yīng)的受控設(shè)備和/或控制裝置之上或附近。通過非限定性示例舉例，在圖4A中提供了示出如上所述類型的一種增強(qiáng)的顯示 的圖示，圖4A示出了由表示受控設(shè)備78(在此為閥門)和控制它的致動器80的虛擬現(xiàn)實(shí) 環(huán)境64產(chǎn)生的類型的顯示76。該附圖也描述了由虛擬現(xiàn)實(shí)環(huán)境64產(chǎn)生的圖形——在此為 圖形82A——以增強(qiáng)控制環(huán)境的顯示76，并且更具體地以說明在第一組仿真條件下閥門78 和/或致動器80的行為。使用火煙圖形83來進(jìn)一步增強(qiáng)顯示，以本例中，強(qiáng)調(diào)危險(xiǎn)的設(shè)備 /裝置設(shè)置的實(shí)際結(jié)果。通過非限定性示例舉例，由虛擬現(xiàn)實(shí)環(huán)境產(chǎn)生的增強(qiáng)的顯示也可以包括受控設(shè)備 和/或控制裝置(或環(huán)境5的其他方面)的改變的顯示，以允許參與者“看”到對象內(nèi)部、 “看”透對象和/或“觀看”對象周圍——這些是參與者實(shí)際上不能做的事。返回到在前的 示例，可以使用這種“增強(qiáng)”的現(xiàn)實(shí)來例如允許使用鼠標(biāo)或其他輸入裝置來仿真在仿真環(huán)境 中打開閥門的被培訓(xùn)者和/或其他用戶(例如，維護(hù)人員和緊急最先響應(yīng)者等)看透被填 充液體的下游存儲容器的壁。該增強(qiáng)——無論以疊加的圖形和/或看透(或其他改變的顯示)設(shè)備的形式—— 可以基于受控設(shè)備和/或控制裝置的仿真和/或?qū)嶋H操作數(shù)據(jù)(以及，如上所述，基于由在 環(huán)境5之中或周圍的攝像機(jī)同時(shí)和/或先前獲取的靜止和/或視頻圖像)。這產(chǎn)生不僅表 示受控設(shè)備和/或控制裝置的行為，而且以符合環(huán)境的實(shí)際或仿真條件的方式來進(jìn)行顯示 的被模擬環(huán)境的顯示。繼續(xù)上一個(gè)示例，由虛擬現(xiàn)實(shí)環(huán)境64產(chǎn)生的這樣的增強(qiáng)的現(xiàn)實(shí)顯示 允許被培訓(xùn)者和/或其他用戶(例如，維護(hù)人員和緊急最先響應(yīng)者等)例如看“透”存儲容 器的壁，以不僅看到在仿真環(huán)境中打開閥門如何使得下游的存儲容器被填充液體，而且看 到那個(gè)液體的流速和粘度如何被在上游和下游設(shè)備內(nèi)的溫度、壓力和/或其他實(shí)際(或仿 真)條件影響。例如，就圖4A中所示的圖形82而言，類似地，這也是成立的。在優(yōu)選實(shí)施例中，虛擬現(xiàn)實(shí)環(huán)境64中的參與者的這些體驗(yàn)可以與在控制室56中 的人的體驗(yàn)聯(lián)系起來。因此，例如，控制室中的人員采取的行為的效果可以被虛擬現(xiàn)實(shí)環(huán)境 64中的參與者見證，并且反之亦然。這可以用于改善所有涉及者的培訓(xùn)、認(rèn)知和/或合作。如上所述的系統(tǒng)和方法的另外的優(yōu)點(diǎn)是它們通過下述方式來提供改善的培訓(xùn)和/ 或認(rèn)知基于例如由軟件58-62提供的實(shí)時(shí)計(jì)算把由軟件58-62提供的仿真和例如由控制 室56提供的控制室仿真與例如由虛擬現(xiàn)實(shí)環(huán)境64提供的3D可視化合并，以支持參與者和 仿真環(huán)境之間的雙向反饋——或“行為/反應(yīng)”模式交互。這樣的系統(tǒng)和方法不僅可以用于支持培訓(xùn)工廠人員，而且支持培訓(xùn)緊急響應(yīng)者和 其他。另外，它們可以與環(huán)境5——特別是當(dāng)它是實(shí)際(而不是仿真)環(huán)境時(shí)——的維護(hù)和 /或資產(chǎn)管理功能連接。因此，例如，準(zhǔn)備好維護(hù)巡視工廠的人員可以首先在虛擬現(xiàn)實(shí)環(huán)境 64中進(jìn)行表示巡視的仿真，由此，使得他們更好地熟悉和準(zhǔn)備好就要進(jìn)行實(shí)際維護(hù)巡視。這 樣的仿真可以不僅包括要維護(hù)、更新和/或去除的設(shè)備的虛擬現(xiàn)實(shí)顯示，而且可以具有對 使用為環(huán)境64提供的鼠標(biāo)、游戲控制器或其他輸入裝置的那個(gè)設(shè)備的仿真操縱(例如，去 除)。在一些實(shí)施例中，通過下述方式來補(bǔ)充支持維護(hù)和/或資產(chǎn)管理的系統(tǒng)M的上述使用將仿真引擎62和/或虛擬現(xiàn)實(shí)環(huán)境64與“后勤辦公室”資產(chǎn)和維護(hù)數(shù)據(jù)庫70耦合。 引擎62和/或環(huán)境62可以使用來自這些數(shù)據(jù)庫的信息來突出顯示，用于要處理或以其他 方式采取動作的設(shè)備進(jìn)行仿真巡視的工廠人員。而且，系統(tǒng)M可以耦接到SIMNET和/或其他無線(或有線網(wǎng)絡(luò))以便利需要維護(hù) 和升級等的設(shè)備的識別。因此，例如，通過將仿真引擎62和/或虛擬現(xiàn)實(shí)環(huán)境64與SIMNET 產(chǎn)生的數(shù)據(jù)耦合，引擎62和/或環(huán)境62可以為工廠人員產(chǎn)生突出需要采取行動的設(shè)備的 虛擬現(xiàn)實(shí)顯示。而且，系統(tǒng)M還可以用于例如支持定期維護(hù)特征以及支持緊急過程的人員跟蹤。 因此，例如，通過將仿真引擎62和/或虛擬現(xiàn)實(shí)環(huán)境64與用于指示環(huán)境5(例如，實(shí)際工廠) 中人員位置的數(shù)據(jù)流耦合，引擎62和/或環(huán)境64可以產(chǎn)生虛擬現(xiàn)實(shí)顯示，用于突出需要采 取動作的人員設(shè)備的位置。通過非限定性示例舉例，可以基于GPS技術(shù)、無線技術(shù)、RFID技 術(shù)、步話機(jī)技術(shù)或本領(lǐng)域中已知的其他技術(shù)來產(chǎn)生這樣的數(shù)據(jù)流。系統(tǒng)M可以用于團(tuán)隊(duì)或個(gè)人培訓(xùn)。因此，如上所述，它可以用于協(xié)調(diào)虛擬現(xiàn)實(shí)培 訓(xùn)環(huán)境64和控制室56中的人員的行為和通信。它也可以用于協(xié)調(diào)虛擬現(xiàn)實(shí)培訓(xùn)環(huán)境64 中的多個(gè)人員的行為和通信。相反，它可以用于同時(shí)培訓(xùn)虛擬現(xiàn)實(shí)培訓(xùn)環(huán)境64中的多個(gè)這 種人員，并且其中人員的任何一個(gè)獨(dú)立行為影響向其他人顯示的虛擬現(xiàn)實(shí)仿真。i周挪/ 俯(_，-棚聳尙應(yīng)驚)如上所述，虛擬現(xiàn)實(shí)環(huán)境64可以例如通過下述方式來增強(qiáng)仿真環(huán)境5的顯示將 圖形(包括靜止和/或視頻圖像)疊加在受控設(shè)備和/或控制裝置的表示上，并且/或者， 改變那個(gè)設(shè)備和/或裝置的表示，以允許參與者“看”進(jìn)它們、“看”透它們和/或“觀看”它 們周圍。根據(jù)圖4A的討論，例如，增強(qiáng)的顯示可以允許受培訓(xùn)者和/或其他用戶查看他的 或她的行為如何例如根據(jù)在上游和下游設(shè)備內(nèi)的實(shí)際(或仿真)條件下影響仿真環(huán)境5的 行為。當(dāng)然，可以明白，這樣的增強(qiáng)的顯示可以用于其他目的，僅舉出幾個(gè)例子，例如用于環(huán) 境5的仿真或?qū)嶋H操作的調(diào)查和/或分析、用于維護(hù)和/或資產(chǎn)管理。顯示環(huán)境的比較操作以及更具體地顯示其中的受控設(shè)備和/或控制裝置的增強(qiáng) 顯示也可用于前述目的及其他目的。更具體地，通過非限定性示例舉例，允許用戶將環(huán)境5 的實(shí)際操作與環(huán)境5的仿真操作做比較(并且更具體地，通過非限定性示例舉例，比較受控 設(shè)備和/或控制裝置的一個(gè)或多個(gè)的實(shí)際和仿真操作)的增強(qiáng)的顯示可以便利環(huán)境操作的 調(diào)查和/或分析，以例如用于危機(jī)控制和其他目的。如上，可以將這樣的實(shí)際和/或仿真操 作與例如在應(yīng)用和/或運(yùn)行數(shù)據(jù)庫52a-52中和/或與配置數(shù)據(jù)庫52a-52e中和/或與在 環(huán)境5之中或周圍的攝像機(jī)中保持的操作數(shù)據(jù)相區(qū)別。在圖4B中提供了示出例如環(huán)境5的實(shí)際和仿真操作的比較操作的增強(qiáng)顯示的示 例。顯示76’示出與圖4A的顯示76相同的元件，雖然它除了用于圖示在第一組仿真條件 下的閥門78和/或致動器80的仿真行為的圖表(或其他圖形)82A之外，還包括圖示在第 二組條件下的閥門和/或致動器的行為的圖表(或其他圖形)82B。如上，使用火煙圖形83 來增加顯示，該火煙圖形83指示在描述的條件下的可能危險(xiǎn)。通過比較這些圖形82A、82B， 用戶(例如，工廠人員、緊急最先響應(yīng)者和/或他人)可以調(diào)查和/或分析設(shè)備/裝置操作 的可能故障(或改善或其他改變)。上面是舉例。如所述，比較操作也可以用于其他目的，諸如培訓(xùn)和計(jì)劃(例如，工CN 102124432 A
說明書
11/13 頁
廠設(shè)計(jì))等。而且，可以明白，可以以其他方式來示出比較操作，該其他方式例如是通過其 他疊加的圖形和通過看透(或其他改變顯示)設(shè)備/裝置等。因此，繼續(xù)圖4B的示例，并 且不受限制地，可以通過在顯示76’中看透閥門/致動器的(或其他改變的顯示)的顯示 來示出由環(huán)境5的兩個(gè)不同模型(來自配置數(shù)據(jù)庫52a-52d)進(jìn)行的閥門78和/或致動器 80的不同操作模式。示例通過參考下面的描述來更完全地明白系統(tǒng)M，其中，在本發(fā)明的一個(gè)實(shí)施例中實(shí) 施的系統(tǒng)M或被稱為“系統(tǒng)”。系統(tǒng)提供了適合于以操作員選擇的速度(例如，實(shí)時(shí)或更快)來運(yùn)行并且能夠?qū)?操作員進(jìn)行有關(guān)啟動、關(guān)斷、正常和/或故障操作的培訓(xùn)的高保真、單元專有的沉浸式培訓(xùn) 仿真器。系統(tǒng)包括具有包括過程和控制的參考工廠的一個(gè)完整模型、完全的一組指導(dǎo)者功 能以及虛擬工廠環(huán)境。系統(tǒng)由工廠仿真、控制仿真、虛擬工廠環(huán)境(又稱為虛擬現(xiàn)實(shí)環(huán)境、 仿真計(jì)算機(jī)硬件、被培訓(xùn)者硬件站和指導(dǎo)者站構(gòu)成，如下將更詳細(xì)描述。纖系統(tǒng)包括圖形用戶界面(⑶I)，該⑶I是操作和保持完全和充分運(yùn)作的沉浸式培 訓(xùn)仿真器而無需在建立新的模塊連接時(shí)重新編譯代碼所需的。具有對象形式的系統(tǒng)的3D 圖形模型的數(shù)學(xué)模型確定模仿現(xiàn)實(shí)的仿真行為，使得完整的控制室操作員和經(jīng)存檔的操作 員交互總是可能的。仿真的故障“在特性”上是真實(shí)的，表示限定的設(shè)備故障或其他具體限 定的起因的結(jié)果。系統(tǒng)能夠執(zhí)行下述行為 連續(xù)地復(fù)制啟動、吞吐量改變和關(guān)斷。可以以諸如實(shí)時(shí)或更快的操作員選擇的 速度來執(zhí)行這一點(diǎn)(雖然如果操作員期望，也可以以更慢的速度來執(zhí)行這一點(diǎn))。事實(shí)上， 在一些實(shí)施例中，系統(tǒng)可以以實(shí)時(shí)速度的三倍和更高的速度來復(fù)制操作員培訓(xùn)仿真。系統(tǒng) 模型化故障以及通過來自指導(dǎo)者站或來自現(xiàn)場操作員的行為啟動的系統(tǒng)改變； 對于系統(tǒng)包括的所有單元，對于從控制室和/或從現(xiàn)場運(yùn)行并且支持所有的培 訓(xùn)目的所需要的那些設(shè)備提供仿真和虛擬工廠交互。工廠仿真仿真器(即仿真引擎6 能夠再現(xiàn)參考工廠的所有模型化方面。數(shù)學(xué)模型基于第 一原理，并且產(chǎn)生輸出到外部裝置所需要的或由其他仿真系統(tǒng)所需要的全部數(shù)據(jù)和變量。 在仿真的范圍內(nèi)，仿真器在啟動、關(guān)斷或任何正常和異常操作和故障條件期間真實(shí)地響應(yīng) 于控制室操作員行為。虛擬工廠-虛擬現(xiàn)實(shí)引擎(即虛擬現(xiàn)實(shí)環(huán)境)虛擬現(xiàn)實(shí)引擎的目的是“運(yùn)行”逼真和詳細(xì)的環(huán)境，該環(huán)境具有真實(shí)的“外觀和感 覺”的物體和照明，但是與仿真引擎62同步地運(yùn)行，因此，例如，它可以以操作員選擇的速度 (例如，實(shí)時(shí)或更快地)來建立虛擬(或仿真)環(huán)境。實(shí)時(shí)程序提供了使得用戶在環(huán)境內(nèi)自 由地移動和交互的可能，而不受限于對于更傳統(tǒng)的非實(shí)時(shí)呈現(xiàn)的情況下發(fā)生的、預(yù)先固定 的路徑或動畫。采用圖形來產(chǎn)生和可視化3D實(shí)時(shí)內(nèi)容。這樣的技術(shù)允許每秒60次呈現(xiàn)環(huán) 境，而經(jīng)典的非實(shí)時(shí)呈現(xiàn)手段僅處理/呈現(xiàn)環(huán)境的一個(gè)單個(gè)幀可能就需要一個(gè)小時(shí)?？色@ 得沖突幾何形狀、交互行為/反應(yīng)、趨勢彈出或透明設(shè)備。
控制系統(tǒng)仿真控制系統(tǒng)仿真提供了在真實(shí)工廠中實(shí)現(xiàn)的分布式控制系統(tǒng)(DCS)配置、邏輯和圖 形的相同表示和功能。指導(dǎo)者站基于圖形的指導(dǎo)者站提供下面的控制和監(jiān)控特征 運(yùn)行/凍結(jié) 初始化 快照 返回 場景 故障啟動 外部參數(shù)和指導(dǎo)者控制的變量 遠(yuǎn)程功能 監(jiān)控的參數(shù) 趨勢 被培訓(xùn)者熟練程度查看 在虛擬工廠中的操作員位置跟蹤 跟蹤虛擬工廠中的操作員性能-穩(wěn)態(tài)保真仿真器的穩(wěn)態(tài)保真涉及在完全生產(chǎn)值和關(guān)斷條件下將模型預(yù)測的性能與參考工 廠數(shù)據(jù)匹配。對于訓(xùn)練仿真器，參考數(shù)據(jù)由使用用于關(guān)鍵參數(shù)的穩(wěn)態(tài)仿真器的工廠的穩(wěn)態(tài) 仿真構(gòu)成。當(dāng)不可從穩(wěn)態(tài)仿真獲得時(shí)使用用于非關(guān)鍵參數(shù)的工廠測量或設(shè)備設(shè)計(jì)數(shù)據(jù)。性能-瞬態(tài)保真系統(tǒng)精確地仿真指導(dǎo)者啟動的瞬態(tài)，使得操作員不能注意到在此限定的模型化范 圍內(nèi)與實(shí)時(shí)工廠的顯著差別。關(guān)鍵和非關(guān)鍵的計(jì)算值對應(yīng)于指示預(yù)期參數(shù)的實(shí)際工廠參 數(shù)，并且不違反物理自然法則。性能-系統(tǒng)精確度ITS模型響應(yīng)的動態(tài)精度和沉浸式“接觸”使得操作員和過程工程師獲得定量以及 定性的過程知識。系統(tǒng)向被培訓(xùn)者以這樣一種方式來提供實(shí)際處理單元的很真實(shí)的表示從而在對 系統(tǒng)或真實(shí)工廠的操作之間沒有顯著的差別。通常，可以25cm距離處“人眼視覺”的精度提供有關(guān)對象的細(xì)節(jié)。性能-故障系統(tǒng)支持作為標(biāo)準(zhǔn)的大量故障。故障可以影響控制室操作員、現(xiàn)場操作員或兩者。 通常，可以選擇大約最多5個(gè)定制故障來驗(yàn)證，因?yàn)閷τ趶?fù)雜過程而言，故障驗(yàn)證會高度耗 時(shí)。性能-工廠設(shè)計(jì)和操作極限在工廠設(shè)計(jì)和操作極限之外出現(xiàn)的事件對于系統(tǒng)是可能的。為了避免這樣的事件 期間的操作導(dǎo)致的“負(fù)”培訓(xùn)，提供了指示以在某些參數(shù)超出設(shè)計(jì)和操作極限之外時(shí)警告指導(dǎo)者。如上所述的系統(tǒng)和方法的優(yōu)點(diǎn)包括下面的部分1.提高生產(chǎn)量 由于更好地培訓(xùn)的操作員導(dǎo)致減少工廠停工時(shí)間；減少工廠關(guān)閘 減少由受訓(xùn)的工人進(jìn)行維護(hù)所需的預(yù)定工廠停工時(shí)間；人員知道在現(xiàn)場預(yù)期什 么，并且不需要受有關(guān)工作的培訓(xùn)。 來自現(xiàn)場操作員的關(guān)于設(shè)備狀態(tài)的實(shí)時(shí)反饋2.控制材料成本 如果這對于維護(hù)起作用，則你可以通過更好的計(jì)劃和培訓(xùn)任務(wù)來減少所需要的 建筑材料。 增強(qiáng)的現(xiàn)實(shí)通過下述方式來允許虛擬環(huán)境中的操作員看到處理數(shù)據(jù)將圖形疊 加在受控設(shè)備和/或控制裝置上，并且/或者，改變設(shè)備/裝置的顯示以給用戶“看”進(jìn)它 們、“看”透它們和/或“觀看”它們周圍的印象。所疊加的圖形(例如，靜止和/或視頻圖 像、圖表和等式等)和/或設(shè)備/裝置的改變的顯示可以基于仿真和/或?qū)嶋H操作數(shù)據(jù)和/ 或固定和/或移動攝像機(jī)，由此通過與來自仿真器(和/或?qū)嶋H工廠)的數(shù)據(jù)符合的動畫 來表示處理設(shè)備的行為。3.控制能量成本4.保持工廠安全和保安 通過較好培訓(xùn)的操作員、較好培訓(xùn)的承包商、較好培訓(xùn)的來自賣方的參觀者保 障所有安全方面 工廠中的所有人的位置跟蹤 對遠(yuǎn)程操作區(qū)域或很危險(xiǎn)/污染區(qū)域很有價(jià)值的緊急任務(wù)組培訓(xùn) 示出工廠操作員等如何積極地工作以減輕工廠操作和人員安全區(qū)域中的風(fēng)險(xiǎn)5.保證環(huán)境和規(guī)章責(zé)任· EHS只有在嚴(yán)重事故后才能學(xué)習(xí)和培訓(xùn)；VR允許你在安全環(huán)境中就能如此做； 就現(xiàn)實(shí)中不希望出現(xiàn)的情形進(jìn)行培訓(xùn)。這種技術(shù)正中客戶關(guān)心的多個(gè)關(guān)鍵方面的要害。6.降低的培訓(xùn)成本和啟動時(shí)間7.例如通過減少與向空氣中未經(jīng)計(jì)劃的排放和其他環(huán)境污染相關(guān)聯(lián)的風(fēng)險(xiǎn)，降低 使用實(shí)際或仿真環(huán)境造成的環(huán)境影響。如上所述的是滿足上述目的的系統(tǒng)和方法?？梢悦靼?，在此說明和描述的實(shí)施例 僅是本發(fā)明的示例，并且包含改變的其他實(shí)施例落在其范圍內(nèi)。因此，通過非限定性示例舉 例，可以明白，包括由固定和/或移動攝像機(jī)獲取的靜止和/或視頻圖像的增強(qiáng)顯示可以用 這樣的照相機(jī)或音頻獲取設(shè)備獲取的聲音補(bǔ)充或替換。鑒于此，本發(fā)明的權(quán)利要求如下。
權(quán)利要求
1.一種用于與控制環(huán)境交互的系統(tǒng)，所述控制環(huán)境包括受控設(shè)備和監(jiān)控和控制所述受 控設(shè)備的控制裝置，所述系統(tǒng)包括第一功能，其產(chǎn)生表示所述受控設(shè)備的一個(gè)或多個(gè)的操作狀態(tài)的輸出，第二功能，其產(chǎn)生表示所述控制裝置的一個(gè)或多個(gè)的操作狀態(tài)的輸出，引擎，其耦合到所述第一功能和所述第二功能，其產(chǎn)生所述控制環(huán)境的操作狀態(tài)，虛擬現(xiàn)實(shí)環(huán)境，其耦合到所述引擎和所述控制環(huán)境的一個(gè)或多個(gè)物理方面的一個(gè)或多 個(gè)表示，所述虛擬現(xiàn)實(shí)環(huán)境產(chǎn)生所述控制環(huán)境的三維(“3D”)顯示，所述虛擬現(xiàn)實(shí)環(huán)境響應(yīng)于用戶與一個(gè)或多個(gè)輸入裝置的交互，以產(chǎn)生所述控制環(huán)境的 3D顯示，以便允許用戶至少如由所述控制環(huán)境的3D顯示表示的那樣與所述控制裝置和所 述受控設(shè)備的至少一個(gè)交互，所述引擎向所述第一功能和第二功能的至少一個(gè)應(yīng)用用戶與所述控制裝置和所述受 控設(shè)備的至少一個(gè)交互的標(biāo)記，以辨別出所述控制環(huán)境的所述操作狀態(tài)所產(chǎn)生的改變，并 且所述控制引擎將這種改變的標(biāo)記應(yīng)用到所述虛擬現(xiàn)實(shí)環(huán)境，以對所述控制環(huán)境的3D顯 示產(chǎn)生對應(yīng)的改變。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述虛擬現(xiàn)實(shí)環(huán)境耦合到數(shù)據(jù)庫，所述數(shù)據(jù)庫包 括作為所述控制環(huán)境的一個(gè)或多個(gè)物理方面的一個(gè)或多個(gè)表示的所述控制環(huán)境的至少一 部分的三維激光掃描，所述控制環(huán)境包括(i) 一個(gè)或多個(gè)受控設(shè)備；(ii) 一個(gè)或多個(gè)控制直ο
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述虛擬現(xiàn)實(shí)環(huán)境耦合到數(shù)據(jù)庫，所述數(shù)據(jù)庫包 括作為所述控制環(huán)境的一個(gè)或多個(gè)物理方面的一個(gè)或多個(gè)表示的所述控制環(huán)境的至少一 部分的多個(gè)二維圖像，所述控制環(huán)境包括(i) 一個(gè)或多個(gè)受控設(shè)備；(ii) 一個(gè)或多個(gè)控制直ο
4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中，所述虛擬現(xiàn)實(shí)環(huán)境耦合到功能，所述功能從所述 多個(gè)二維圖像產(chǎn)生所述控制環(huán)境的三維表示。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述虛擬現(xiàn)實(shí)環(huán)境包括數(shù)據(jù)庫，所述數(shù)據(jù)庫包括 作為所述控制環(huán)境的一個(gè)或多個(gè)物理方面的一個(gè)或多個(gè)表示的所述控制環(huán)境的至少一部 分的計(jì)算機(jī)輔助設(shè)計(jì)/計(jì)算機(jī)輔助制造(CAD/CAM)表示，所述控制環(huán)境包括(i) 一個(gè)或多 個(gè)受控設(shè)備；(ii) 一個(gè)或多個(gè)控制裝置。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其被適配來允許用戶經(jīng)由所述控制環(huán)境的3D顯示來體 驗(yàn)與所述控制環(huán)境的交互和通過所述控制環(huán)境。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述虛擬現(xiàn)實(shí)環(huán)境通過下述方式的任何一項(xiàng)來 增強(qiáng)所述控制環(huán)境的3D顯示(i)將圖形疊加在一個(gè)或多個(gè)受控設(shè)備和/或一個(gè)或多個(gè)控 制裝置的代表性顯示上，以及(ii)改變一個(gè)或多個(gè)受控設(shè)備和/或一個(gè)或多個(gè)控制裝置的 表示，以給用戶“看”進(jìn)物體、“看”透物體和/或“觀看”物體周圍的印象。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述虛擬現(xiàn)實(shí)環(huán)境通過下述方式來增強(qiáng)所述控 制環(huán)境的3D顯示在一個(gè)或多個(gè)受控設(shè)備和/或一個(gè)或多個(gè)控制裝置的顯示上疊加包括圖 表、等式、靜止圖像、視頻圖像和其他視覺輔助部分中的任何一個(gè)的圖形。
9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述虛擬現(xiàn)實(shí)環(huán)境增強(qiáng)由所述用戶的行為影響 的一個(gè)或多個(gè)受控設(shè)備和/或一個(gè)或多個(gè)控制裝置的所述3D顯示。
10.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述虛擬現(xiàn)實(shí)環(huán)境基于下述一個(gè)或多個(gè)部分來 增強(qiáng)所述控制環(huán)境的3D顯示(i) 一個(gè)或多個(gè)所述受控設(shè)備和/或一個(gè)或多個(gè)所述控制裝 置的仿真和/或?qū)嶋H操作數(shù)據(jù)，( )從所述控制環(huán)境之中或周圍的任何一個(gè)獲取的靜止圖 像和/或視頻圖像。
11.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述控制裝置的一個(gè)或多個(gè)包括致動器類型的 現(xiàn)場裝置、傳感器類型的現(xiàn)場裝置、接口裝置和/或控制器。
12.一種用于與控制環(huán)境交互的系統(tǒng)，所述控制環(huán)境包括受控設(shè)備和監(jiān)控和控制所述 受控設(shè)備的控制裝置，所述系統(tǒng)包括第一功能，其產(chǎn)生表示工廠或其他環(huán)境的操作狀態(tài)的輸出，所述工廠或其他環(huán)境包括 一個(gè)或多個(gè)所述受控設(shè)備，第二功能，其產(chǎn)生表示一個(gè)或多個(gè)所述控制裝置的操作狀態(tài)的輸出，一個(gè)或多個(gè)數(shù)據(jù)庫，其耦合到所述第一功能和所述第二功能的任何一個(gè)，所述一個(gè)或 多個(gè)數(shù)據(jù)庫包括配置和模型化數(shù)據(jù)庫(“配置”數(shù)據(jù)庫)、應(yīng)用數(shù)據(jù)庫和運(yùn)行數(shù)據(jù)庫的任何 一個(gè)，耦合到所述第一功能和所述第二功能的引擎，其產(chǎn)生所述控制環(huán)境的操作狀態(tài)，虛擬現(xiàn)實(shí)環(huán)境，其耦合到所述引擎和所述控制環(huán)境的一個(gè)或多個(gè)物理方面的一個(gè)或 多個(gè)表示，所述虛擬現(xiàn)實(shí)環(huán)境產(chǎn)生所述控制環(huán)境的三維顯示，所述虛擬現(xiàn)實(shí)環(huán)境響應(yīng)于用 戶與一個(gè)或多個(gè)輸入裝置的交互，以產(chǎn)生所述控制環(huán)境的3D顯示，以便允許所述用戶至少 如由所述控制環(huán)境的3D顯示表示的那樣與所述控制裝置和所述受控設(shè)備的至少一個(gè)的交 互，所述引擎向所述第一功能和第二功能的至少一個(gè)應(yīng)用與所述控制裝置和所述受控設(shè) 備的至少一個(gè)的用戶交互的標(biāo)記，以辨別出所述控制環(huán)境的所述操作狀態(tài)的改變，并且所 述控制引擎將那些改變的標(biāo)記應(yīng)用到所述虛擬現(xiàn)實(shí)環(huán)境，以對所述控制環(huán)境的所述顯示進(jìn) 行改變。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述配置數(shù)據(jù)庫包含一個(gè)或多個(gè)所述受控設(shè) 備和/或一個(gè)或多個(gè)所述控制裝置的一個(gè)或多個(gè)控制策略。
14.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，一個(gè)或多個(gè)所述數(shù)據(jù)庫包括一個(gè)或多個(gè)所述 受控設(shè)備和/或一個(gè)或多個(gè)所述控制裝置的仿真的和/或?qū)嶋H的當(dāng)前操作數(shù)據(jù)。
15.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，一個(gè)或多個(gè)所述數(shù)據(jù)庫包括所述控制裝置和/ 或一個(gè)或多個(gè)所述受控設(shè)備的仿真的和/或?qū)嶋H的歷史操作數(shù)據(jù)。
16.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述控制環(huán)境的全部或部分可以是實(shí)際的或 仿真的任何一種。
17.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述第一功能包括動態(tài)仿真功能，用于仿真一 個(gè)或多個(gè)所述受控設(shè)備的操作。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中，所述動態(tài)仿真功能包括解算機(jī)或其他系統(tǒng)，用 于求解控制環(huán)境的等式的數(shù)學(xué)系統(tǒng)和/或其他仿真操作。
19.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述第二功能包括軟件或其他功能，所述軟件 或其他功能仿真一個(gè)或多個(gè)所述控制裝置的操作。
20.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述一個(gè)或多個(gè)控制裝置包括致動器類型的現(xiàn)場裝置、傳感器類型的現(xiàn)場裝置、接口裝置和/或控制器。
21.一種用于與控制環(huán)境交互的系統(tǒng)，所述控制環(huán)境包括受控設(shè)備和監(jiān)控和控制所述 受控設(shè)備的控制裝置，所述系統(tǒng)包括第一功能，其產(chǎn)生表示工廠或其他環(huán)境的操作狀態(tài)的輸出，所述工廠或其他環(huán)境包括 一個(gè)或多個(gè)所述受控設(shè)備，第二功能，其產(chǎn)生表示一個(gè)或多個(gè)所述控制裝置的操作狀態(tài)的輸出，一個(gè)或多個(gè)數(shù)據(jù)庫，其耦合到所述第一功能和所述第二功能的任何一個(gè)，所述一個(gè)或 多個(gè)數(shù)據(jù)庫包括配置和模型化數(shù)據(jù)庫(“配置”數(shù)據(jù)庫)、應(yīng)用數(shù)據(jù)庫和運(yùn)行數(shù)據(jù)庫的任何 一個(gè)，耦合到所述第一功能和所述第二功能的引擎，其產(chǎn)生所述控制環(huán)境的操作狀態(tài)，虛擬現(xiàn)實(shí)環(huán)境，其耦合到所述引擎和所述控制環(huán)境的一個(gè)或多個(gè)物理方面的一個(gè)或多 個(gè)表示，所述虛擬現(xiàn)實(shí)環(huán)境產(chǎn)生所述控制環(huán)境的三維顯示，所述虛擬現(xiàn)實(shí)環(huán)境響應(yīng)于用戶與一個(gè)或多個(gè)輸入裝置的交互，以產(chǎn)生所述控制環(huán)境的 3D顯示，以便允許所述用戶至少如由所述控制環(huán)境的3D顯示表示的那樣與所述控制裝置 和所述受控設(shè)備的至少一個(gè)的交互，所述引擎向所述第一功能和第二功能的至少一個(gè)應(yīng)用與所述控制裝置和所述受控設(shè) 備的至少一個(gè)的用戶交互的標(biāo)記，以辨別出所述控制環(huán)境的所述操作狀態(tài)的改變，并且所 述控制引擎將那些改變的標(biāo)記應(yīng)用到所述虛擬現(xiàn)實(shí)環(huán)境，以對所述控制環(huán)境的3D顯示進(jìn) 行改變，耦合到所述引擎和所述虛擬現(xiàn)實(shí)環(huán)境的任何一個(gè)的控制室數(shù)字?jǐn)?shù)據(jù)處理器，其監(jiān)控和 /或控制用戶至少如由所述控制環(huán)境的所述3D顯示表示的那樣與所述控制裝置和所述受 控設(shè)備的至少一個(gè)的交互。
22.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，所述控制室數(shù)字?jǐn)?shù)據(jù)處理器用來使其用戶能 夠至少如所述控制環(huán)境的3D顯示表示的那樣看到所述控制環(huán)境的用戶和所述控制裝置和 所述受控設(shè)備的至少一個(gè)的交互的效果。
23.根據(jù)權(quán)利要求22所述的系統(tǒng)，其中，所述虛擬現(xiàn)實(shí)環(huán)境用來使其用戶能夠看到由 所述控制室數(shù)字?jǐn)?shù)據(jù)處理器的用戶進(jìn)行的行為的效果。
24.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，一個(gè)或多個(gè)所述控制裝置的包括致動器類型 的現(xiàn)場裝置、傳感器類型的現(xiàn)場裝置、接口裝置和/或控制器。
25.—種與控制環(huán)境的交互的方法，所述控制環(huán)境包括受控設(shè)備和監(jiān)控和控制所述受 控設(shè)備的控制裝置，所述方法包括A.確定所述控制環(huán)境的實(shí)際或仿真操作狀態(tài)的任何一個(gè)，B.使用虛擬現(xiàn)實(shí)環(huán)境來從所述操作狀態(tài)和從所述控制環(huán)境的一個(gè)或多個(gè)物理方面的 一個(gè)或多個(gè)表示產(chǎn)生所述控制環(huán)境的三維(“3D”)顯示，C.允許所述用戶經(jīng)由一個(gè)或多個(gè)輸入裝置來至少如由所述控制環(huán)境的3D顯示表示的 那樣與所述控制裝置和所述受控設(shè)備的至少一個(gè)進(jìn)行交互，D.響應(yīng)于與一個(gè)或多個(gè)輸入裝置的用戶交互，辨別出所述控制環(huán)境的所述操作狀態(tài)的 改變，并且基于所述改變來對所述控制環(huán)境的3D顯示進(jìn)行改變。
26.根據(jù)權(quán)利要求25所述的方法，其中，步驟(A)包括使用一個(gè)或多個(gè)數(shù)據(jù)庫來確定一個(gè)或多個(gè)所述受控設(shè)備和/或一個(gè)或多個(gè)控制裝置的操作狀態(tài)的任何一個(gè)，所述數(shù)據(jù)庫 包括配置和模型化數(shù)據(jù)庫(“配置”數(shù)據(jù)庫)、應(yīng)用數(shù)據(jù)庫和運(yùn)行數(shù)據(jù)庫的任何一種。
27.根據(jù)權(quán)利要求沈所述的方法，包括下述行為的任何一個(gè)經(jīng)由控制室數(shù)字?jǐn)?shù)據(jù)處 理器來監(jiān)控和/或控制至少如由所述控制環(huán)境的3D顯示表示的那樣與所述控制裝置和所 述受控設(shè)備的至少一個(gè)的用戶交互。
28.根據(jù)權(quán)利要求27所述的方法，包括使得所述控制室數(shù)字?jǐn)?shù)據(jù)處理器的用戶能夠 至少如由所述控制環(huán)境的3D顯示表示的那樣看到所述虛擬現(xiàn)實(shí)環(huán)境的用戶和所述控制裝 置和所述受控設(shè)備的至少一個(gè)之間的交互的效果。
29.根據(jù)權(quán)利要求觀所述的方法，包括使得所述虛擬現(xiàn)實(shí)環(huán)境的用戶能夠至少如由 所述控制環(huán)境的3D顯示表示的那樣看到由所述控制室數(shù)字?jǐn)?shù)據(jù)處理器的用戶對所述控制 裝置和所述受控設(shè)備的至少一個(gè)進(jìn)行的行為的效果。
30.根據(jù)權(quán)利要求沈所述的方法，適用于培訓(xùn)工廠人員。
31.根據(jù)權(quán)利要求沈所述的方法，適用于培訓(xùn)緊急響應(yīng)者。
32.根據(jù)權(quán)利要求沈所述的方法，適用于進(jìn)行維護(hù)和/或資產(chǎn)管理。
33.根據(jù)權(quán)利要求32所述的方法，包括通過執(zhí)行步驟(A)-(D)來執(zhí)行仿真以使準(zhǔn)備 好維護(hù)所述控制環(huán)境的人員熟悉工作。
34.根據(jù)權(quán)利要求33所述的方法，其中，所述執(zhí)行仿真的步驟包括產(chǎn)生要進(jìn)行維護(hù)、 升級和/或去除的任何一種的受控設(shè)備和/或控制裝置的任何一個(gè)的3D顯示。
35.根據(jù)權(quán)利要求34所述的方法，其中，所述執(zhí)行所述仿真的步驟包括使用所述一個(gè) 或多個(gè)輸入裝置來仿真要進(jìn)行維護(hù)、升級和/或去除的任何一種的受控設(shè)備和/或控制裝 置的任何一個(gè)的操縱。
36.根據(jù)權(quán)利要求33所述的方法，其中，所述執(zhí)行所述仿真的步驟包括(i)使用資產(chǎn) 和維護(hù)數(shù)據(jù)庫來識別要進(jìn)行維護(hù)、升級和/或去除的任何一種的一個(gè)或多個(gè)受控設(shè)備和/ 或一個(gè)或多個(gè)控制裝置，以及(ii)在所述控制環(huán)境的所述3D顯示中突出顯示那個(gè)設(shè)備和 /或裝置°
37.根據(jù)權(quán)利要求33所述的方法，其中，所述執(zhí)行所述仿真的步驟包括(i)使用一個(gè) 或多個(gè)所述受控設(shè)備和/或一個(gè)或多個(gè)所述控制裝置所耦合到的SIMNET或其他網(wǎng)絡(luò)提供 的信息來識別要進(jìn)行維護(hù)、升級和/或去除的任何一種的那個(gè)受控設(shè)備和/或控制裝置，以 及(ii)在所述控制環(huán)境的所述3D顯示中突出顯示那個(gè)設(shè)備和/或裝置。
38.根據(jù)權(quán)利要求1所述的方法，其中，所述控制裝置的一個(gè)或多個(gè)包括致動器類型的 現(xiàn)場裝置、傳感器類型的現(xiàn)場裝置、接口裝置和/或控制器。
39.根據(jù)權(quán)利要求25所述的方法，包括跟蹤一個(gè)或多個(gè)人相對于至少如由所述控制環(huán)境的3D顯示表示的所述控制環(huán)境的位 置，并且其中所述產(chǎn)生步驟包括產(chǎn)生所述3D顯示，以指示那些人的一個(gè)或多個(gè)位置。
40.根據(jù)權(quán)利要求25所述的方法，其中，所述產(chǎn)生步驟包括通過下述行為的任何一個(gè) 來增強(qiáng)所述控制環(huán)境的3D顯示(i)將圖形疊加在一個(gè)或多個(gè)受控設(shè)備和/或一個(gè)或多個(gè) 控制裝置的代表性顯示上，以及(ii)改變所述表示以給所述用戶“看”進(jìn)物體、“看”透物體 和/或“觀看”物體周圍的印象。
41.根據(jù)權(quán)利要求40所述的方法，其中，所述產(chǎn)生步驟包括基于一個(gè)或多個(gè)所述受控 設(shè)備和/或一個(gè)或多個(gè)所述控制裝置的仿真和/或?qū)嶋H操作數(shù)據(jù)來增強(qiáng)所述3D顯示。
42.根據(jù)權(quán)利要求40所述的方法，其中，所述產(chǎn)生步驟包括使用在所述控制環(huán)境之中 或周圍的固定和/或移動位置獲取的靜止和/或視頻圖像的任何一個(gè)來增強(qiáng)所述3D顯示。
43.根據(jù)權(quán)利要求40所述的方法，其中，所述產(chǎn)生步驟包括使用在所述控制環(huán)境之中 或周圍的人員攜帶的移動電話或個(gè)人數(shù)字助理獲取的靜止和/或視頻圖像的任何一個(gè)來 增強(qiáng)所述3D顯示。
44.根據(jù)權(quán)利要求40所述的方法，其中，所述產(chǎn)生步驟包括增強(qiáng)所述3D顯示以描述 一個(gè)或多個(gè)所述受控設(shè)備和/或一個(gè)或多個(gè)所述控制裝置的任何一個(gè)的比較操作。
45.根據(jù)權(quán)利要求44所述的方法，其中，所述增強(qiáng)步驟包括下述的任何一個(gè)(i)將圖 形疊加在一個(gè)或多個(gè)受控設(shè)備和/或一個(gè)或多個(gè)控制裝置的代表性顯示上，以及(ii)改變 一個(gè)或多個(gè)所述受控設(shè)備和/或一個(gè)或多個(gè)所述控制裝置的表示，以便描述該受控設(shè)備和 /或控制裝置的仿真操作和該受控設(shè)備和/或控制裝置的實(shí)際操作。
46.根據(jù)權(quán)利要求44所述的方法，其中，所述增強(qiáng)步驟包括在所述3D顯示上疊加在 所述控制環(huán)境之中或周圍的固定和/或移動位置的任何一個(gè)獲取的靜止和/或視頻圖像的 任何一個(gè)。
47.根據(jù)權(quán)利要求40所述的方法，其中，所述增強(qiáng)步驟包括在所述3D顯示上疊加由 在所述控制環(huán)境之中或周圍的人員攜帶的移動電話或個(gè)人數(shù)字助理獲取的靜止和/或視 頻圖像的任何一個(gè)。
全文摘要
本發(fā)明在一些方面提供了用于與控制環(huán)境交互的系統(tǒng)，該控制環(huán)境包括受控設(shè)備以及控制裝置，該控制裝置監(jiān)控和控制受控設(shè)備。根據(jù)那些方面的一些，這樣的系統(tǒng)包括第一功能，其產(chǎn)生表示受控設(shè)備的操作狀態(tài)的輸出；以及，第二功能，其產(chǎn)生用于表示一個(gè)或多個(gè)受控裝置的操作狀態(tài)的輸出。引擎協(xié)調(diào)第一功能和第二功能以產(chǎn)生控制環(huán)境的操作狀態(tài)。虛擬現(xiàn)實(shí)環(huán)境根據(jù)操作狀態(tài)和控制環(huán)境的一個(gè)或多個(gè)物理方面來產(chǎn)生控制環(huán)境的三維(“3D”)顯示。該虛擬現(xiàn)實(shí)環(huán)境響應(yīng)于與一個(gè)或多個(gè)輸入裝置的用戶交互來產(chǎn)生該3D顯示，以便允許用戶至少如由控制環(huán)境的3D顯示表示的那樣與控制裝置和受控設(shè)備的至少一個(gè)交互。該引擎向第一和第二功能的至少一個(gè)應(yīng)用那些交互的標(biāo)記，以辨別出控制環(huán)境的操作狀態(tài)所產(chǎn)生的改變。它將那些改變的標(biāo)記應(yīng)用到虛擬現(xiàn)實(shí)環(huán)境，以對控制環(huán)境的3D顯示中產(chǎn)生對應(yīng)的變化——即指示對控制環(huán)境所產(chǎn)生的改變的變化。
文檔編號G06F3/048GK102124432SQ200980132148
公開日2011年7月13日 申請日期2009年6月19日 優(yōu)先權(quán)日2008年6月20日
發(fā)明者M·羅瓦格羅, T·塞勒 申請人:因文西斯系統(tǒng)公司