本發(fā)明涉及飛行訓練器虛擬顯示技術(shù)領(lǐng)域，特別是指一種采用增強現(xiàn)實技術(shù)的飛行訓練器虛擬平顯方法及系統(tǒng)。

背景技術(shù)：

增強現(xiàn)實(Augmented Reality，簡稱AR)，是一種實時地計算攝影機影像的位置及角度并加上相應(yīng)圖像的技術(shù)，這種技術(shù)的目標是在屏幕上把虛擬世界疊加在現(xiàn)實世界上并進行互動。增強現(xiàn)實只是實現(xiàn)對現(xiàn)實環(huán)境的輔助而不是完全替代現(xiàn)實環(huán)境，其目的是為了增強用戶對現(xiàn)實世界的感知能力和與現(xiàn)實世界的交互能力。利用這樣一種技術(shù)，可以模擬真實的現(xiàn)場景觀，它是以交互性和構(gòu)想為基本特征的計算機高級人機界面。使用者不僅能夠通過虛擬現(xiàn)實系統(tǒng)感受到在客觀物理世界中所經(jīng)歷的“身臨其境”的逼真性，而且能夠突破空間、時間以及其它客觀限制，感受到在真實世界中無法親身經(jīng)歷的體驗。嚴格說，增強現(xiàn)實有三個要素：1、結(jié)合虛擬與現(xiàn)實；2、即時互動；3、3D定位。增強現(xiàn)實技術(shù)能夠把虛擬信息(物體、圖片、視頻、聲音等等)融合在現(xiàn)實環(huán)境中，將現(xiàn)實世界豐富起來，構(gòu)建一個更加全面、更加美好的世界。其可以通過透明顯示屏、虛擬視網(wǎng)膜顯示技術(shù)、半透明分光式LCD投影、TOF攝像頭、單色玻璃投影來實現(xiàn)。

飛行訓練模擬器是訓練飛行員、航天員的基本地面訓練設(shè)備，是經(jīng)濟、高效并且安全的訓練方式。傳統(tǒng)飛行訓練器其目的單純是為了讓飛行員熟悉儀器操作，無法提供類似真實的高空飛行體驗，尤其是視景顯示部分。平顯是飛行訓練器的重要子系統(tǒng)，它實時為飛行員顯示各種參數(shù)與控制信息。而平顯顯示技術(shù)一直是飛行訓練器的一個技術(shù)難點，目前有幾種解決方案，但都不盡理想，不能實現(xiàn)平顯各種工作模式和工作狀態(tài)下的靜、動態(tài)畫面及操作響應(yīng)，且維護不方便。

技術(shù)實現(xiàn)要素：

本發(fā)明提出一種采用增強現(xiàn)實技術(shù)的飛行訓練器虛擬平顯方法及系統(tǒng)，解決了現(xiàn)有技術(shù)中飛行訓練模擬器不能實現(xiàn)平顯各種工作模式和工作狀態(tài)下的靜、動態(tài)畫面及操作響應(yīng)的問題。

本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

一種采用增強現(xiàn)實技術(shù)的飛行訓練器虛擬平顯方法，包括以下步驟：

S1、根據(jù)預(yù)先獲取的地圖數(shù)據(jù)構(gòu)建虛擬場景；

S2、通過數(shù)字圖像處理方法對所述虛擬場景的圖像進行處理，得到場景圖像的顯著性信息；

S3、通過模式識別算法，結(jié)合所述顯著性信息，構(gòu)建出增強現(xiàn)實模型，將所述增強現(xiàn)實模型疊加到所述虛擬場景中；

S4、將所述虛擬場景中的平顯畫面嵌入到已有視景系統(tǒng)中，在視頻場景中顯示出來。

本發(fā)明還涉及一種采用增強現(xiàn)實技術(shù)的飛行訓練器虛擬平顯系統(tǒng)，包括：仿真平臺，用于根據(jù)預(yù)先獲取的地圖數(shù)據(jù)構(gòu)建虛擬場景；仿真控制平臺，用于對所述仿真平臺進行初始化設(shè)置；數(shù)據(jù)處理平臺，用于先通過使用數(shù)字圖像處理方法對場景圖像進行處理，得到場景圖像的顯著性信息；再通過模式識別算法，結(jié)合所述顯著性信息，構(gòu)建出增強現(xiàn)實模型并將其疊加到所述虛擬場景中；將所述虛擬場景中的平顯畫面嵌入到已有視景系統(tǒng)中，在所述仿真平臺中的現(xiàn)實視頻場景中顯示；DDS數(shù)據(jù)分發(fā)模塊，用于發(fā)送和接收仿真平臺、人機交互系統(tǒng)、仿真控制平臺、數(shù)據(jù)處理平臺之間需要發(fā)送和接收的數(shù)據(jù)，實現(xiàn)相互之間的通信；人機交互系統(tǒng)，用于實現(xiàn)用戶對仿真平臺、仿真控制平臺、數(shù)據(jù)處理平臺、和DDS數(shù)據(jù)分發(fā)模塊的操作。

本發(fā)明的有益效果為：

本發(fā)明中采用增強現(xiàn)實技術(shù)的飛行訓練器虛擬平顯方法及系統(tǒng)，能夠逼真的展現(xiàn)飛行員在高空飛行時復(fù)雜的環(huán)境，最大限度的模擬實際飛行體驗。利用增強顯示技術(shù)，將地形圖反映在訓練機艙中，幫助訓練員體驗真實飛行；以飛行員的視角，將實際的飛行參數(shù)反饋到顯示屏上，幫助訓練員更好的掌握飛行狀態(tài)。應(yīng)用虛擬現(xiàn)實/增強現(xiàn)實技術(shù)不會在模擬器的研制和改造過程中出現(xiàn)大的反復(fù)和浪費，降低研發(fā)費用，且維護方便；同時可借助于網(wǎng)絡(luò)技術(shù)同時對多人進行訓練，在保證訓練人員的數(shù)量、訓練強度和效果的基礎(chǔ)上節(jié)省大量的訓練費用。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為實施例中采用增強現(xiàn)實技術(shù)的飛行訓練器虛擬平顯系統(tǒng)的結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

實施例中的采用增強現(xiàn)實技術(shù)的飛行訓練器虛擬平顯方法，包括以下步驟：

S1、根據(jù)預(yù)先獲取的地圖數(shù)據(jù)構(gòu)建虛擬場景；

S2、通過數(shù)字圖像處理方法對虛擬場景的圖像進行處理，得到場景圖像的顯著性信息；

S3、通過模式識別算法，結(jié)合顯著性信息，構(gòu)建出增強現(xiàn)實模型，將增強現(xiàn)實模型疊加到虛擬場景中；

S4、將虛擬場景中的平顯畫面嵌入到已有視景系統(tǒng)中，在視頻場景中顯示出來。

實施例中，通過使用但不限于AC(論文題目：Visual Attention Detection in Video Sequences Using Spatiotemporal Cues)、HC(論文題目：Global Contrast based salient region detection)、LC(論文題目：Salient Region Detection and Segmentation)、FT(論文題目：Frequency-tuned Salient Region Detection)等方法，得到場景圖像的顯著性信息。數(shù)字圖像處理方法和模式識別算法均為現(xiàn)有技術(shù)。

實施例中，對于已有的虛擬場景的數(shù)據(jù)，步驟S2還包括以下步驟：

S21、制作真實飛行員視角的視頻流，獲取盡可能多的飛行視頻；

S22、運用圖像處理軟件監(jiān)控視頻流中的圖像幀，捕捉視頻流中的特征點。

步驟S22中，幀數(shù)就是在1秒鐘時間里傳輸?shù)膱D片的量，也可以理解為圖形處理器每秒鐘能夠刷新幾次，通常用fps表示；通過SIFT、SURF、Harris Corner(計算機視覺領(lǐng)域經(jīng)典的特征點檢測算法)或其他跟蹤注冊算法捕捉特征點(二維碼標記或自然圖像特征標記)。

步驟S3還包括以下步驟：

S31、計算特征點所在平面和計算用于攝制飛行員視角視頻的攝像頭的姿態(tài)，在特征點所在平面上建立虛擬三維坐標；

步驟S31中，計算特征點所在平面和攝像頭的姿態(tài)，可采用現(xiàn)有技術(shù)，優(yōu)先采用Tsai相機標定法。

S32、通過計算攝像頭姿態(tài)變化，實時更新虛擬場景中虛擬目標定位所需的三維坐標，使虛擬目標與真實世界的三維空間中的變化一致。

步驟S32中，在虛擬的三維坐標上實現(xiàn)虛擬目標與真實世界的融合，隨著攝像頭姿態(tài)變化，攝像頭拍攝視角也發(fā)生變化，通過攝像頭姿態(tài)變化計算，將新的虛擬目標定位所需的三維坐標，疊加到虛擬場景上，使虛擬目標與真實世界的三維空間中的變化一致，而達到融合疊加的效果。

實施例中，將虛擬平顯畫面嵌入到已有視景系統(tǒng)(Synthesize View System，如EPX-50)構(gòu)成完整的虛擬平顯系統(tǒng)時，存在視場角與分辨率不匹配問題，導(dǎo)致虛擬平顯畫面無法在視景畫面中顯示，且在動態(tài)顯示時虛擬平顯原始畫面中的天地線(地面與天空交界處)和已有視景系統(tǒng)的天地線不能保持重合，需要調(diào)整虛擬平顯與視景系統(tǒng)的視場角與位置。

實施例中，步驟S4還包括：調(diào)整虛擬平顯畫面與視景系統(tǒng)的視場角，具體步驟如下：

a、為保持動態(tài)顯示時虛擬平顯原始畫面天地線和視景系統(tǒng)天地線不保持重合，需將虛擬平顯畫面放大，放大倍數(shù)公式如下：

N1＝Vhud/Vepx (1-1)

其中：Vhud為虛擬平顯畫面垂直視場角(初始化硬件參數(shù))，Vepx為視景系統(tǒng)垂直視場角(虛擬場景中攝像機的垂直視場角)，N1為垂直視場角放大倍數(shù)；

b、為虛擬平顯畫面背景分辨率和已有視景系統(tǒng)圖像的分辨率保持一致，需將虛擬平顯畫面放大，放大倍數(shù)公式如下：

N2＝PHepx/PHhud (1-2)

其中：PHepx為視景系統(tǒng)圖像水平分辨率；PHhud為虛擬平顯畫面背景水平分辨率；N2為圖像分辨率放大倍數(shù)；

c、綜合垂直視場角與圖像分辨率兩個方面的因素，虛擬平顯畫面放大倍數(shù)N，公式如下：

N＝N1*N2。 (1-3)

將虛擬平顯畫面放大N倍后，虛擬平顯畫面中心位置有所偏移，需重新計算虛擬平顯畫面在視景系統(tǒng)中央通道的位置，使虛擬平顯和視景系統(tǒng)中央通道畫面相匹配；位置計算方式如下：

Dh＝(PHhud*N-PHepx)/2； (1-4)

Dv＝(PVhud*N-PVepx)/2； (1-5)

其中：PVepx為視景系統(tǒng)圖像垂直分辨率；PVhud為虛擬平顯畫面背景垂直分辨率；Dh為虛擬平顯畫面中間位置和視景系統(tǒng)畫面中央位置的水平偏差；Dv為虛擬平顯畫面中間位置和視景系統(tǒng)畫面中央位置的垂直偏差；

根據(jù)Dh和Dv，最終確定虛擬平顯位置。

實施例中，模式識別算法在識別時需滿足以下條件：與相應(yīng)場景圖像中的所述顯著性信息相符合；與模式識別訓練的實時操作記錄相符；識別的模式必須匹配該模式對應(yīng)位置的場景圖像；識別的模式必須保證生成的增強現(xiàn)實模型與真實場景中特定形狀物體的位置匹配。

如圖1所示，為實施例中采用增強現(xiàn)實技術(shù)的飛行訓練器虛擬平顯方法及系統(tǒng)的結(jié)構(gòu)示意圖。

本發(fā)明還涉及基于上述方法的采用增強現(xiàn)實技術(shù)的飛行訓練器虛擬平顯系統(tǒng)，包括：

仿真平臺，用于根據(jù)預(yù)先獲取的地圖數(shù)據(jù)構(gòu)建虛擬場景；仿真平臺上分別搭載有X-Plane Flight飛行視景平臺(飛行視景平臺包括飛行仿真和視景仿真)和傳感器仿真處理模塊，飛行視景平臺為HUD符號生成軟件提供疊加顯示功能，傳感器仿真模塊為HUD引導(dǎo)算法提供算法數(shù)據(jù)源。

仿真控制平臺，用于對仿真平臺進行初始化設(shè)置；仿真控制平臺中包含仿真操縱裝置、仿真航電規(guī)劃、標準通信軟件、飛行參數(shù)模擬收集器(具有參數(shù)收集功能)以及其它的必要硬件設(shè)置，其各個模塊模擬真實的飛機控制系統(tǒng)，幫助訓練員獲得逼真操縱感的同時，并為仿真平臺和數(shù)據(jù)處理平臺生成必要的實時數(shù)據(jù)。

數(shù)據(jù)處理平臺，用于先通過使用數(shù)字圖像處理方法對場景圖像進行處理，得到場景圖像的顯著性信息；再通過模式識別算法，結(jié)合顯著性信息，構(gòu)建出增強現(xiàn)實模型并將其疊加到虛擬場景中；將虛擬場景中的平顯畫面嵌入到已有視景系統(tǒng)中，在仿真平臺中的現(xiàn)實視頻場景中顯示；HUD引導(dǎo)算法負責專門處理傳感器傳來的飛行數(shù)據(jù)，并將數(shù)據(jù)導(dǎo)入到HUD符號生成軟件中進行視鏡系統(tǒng)中輔助圖形的生成，最終將飛行輔助圖形疊加到仿真平臺中。

DDS數(shù)據(jù)分發(fā)模塊，用于發(fā)送和接收仿真平臺、人機交互系統(tǒng)、仿真控制平臺、數(shù)據(jù)處理平臺之間需要發(fā)送和接收的數(shù)據(jù)，實現(xiàn)相互之間的通信；

人機交互系統(tǒng)，用于實現(xiàn)用戶對仿真平臺、仿真控制平臺、數(shù)據(jù)處理平臺、和DDS數(shù)據(jù)分發(fā)模塊的操作，并以視景顯示的方式來將所有數(shù)據(jù)以圖形化的方法提供給訓練員。

實施例中，仿真平臺主要擔任整個仿真軟件的仿真計算任務(wù)，包含Simulink和X-Plane兩大仿真軟件。其中Simulink用于運行洛陽電光設(shè)備研究所開發(fā)的平顯導(dǎo)引數(shù)學模塑，實現(xiàn)平顯導(dǎo)引算法的功能輸出：X-Plane用于運行B737-800飛機數(shù)學模型(包括飛機六自由度非線性遠動模型、飛行控制系統(tǒng)模型、動力系統(tǒng)模型、執(zhí)行機構(gòu)模型以及機上傳感器模型)、自然及人文環(huán)境視景(包括機場環(huán)境、機場跑道、地面設(shè)施、建筑物模型、自然環(huán)境模型、自然氣候、路基助航傳感器模型等)以及由洛陽電光設(shè)備所開發(fā)的HUD符號顯示插件,以實現(xiàn)飛機數(shù)字模型(包括機上傳感器)的功能性能仿真，視景系統(tǒng)(包括路基助航傳感器)的顯示和數(shù)據(jù)仿真，HUD符號疊加顯示。人機交互系統(tǒng)為駕駛員提供人機交互界面供其對仿真軟件進行操作，以驅(qū)動仿真平臺進行仿真運算；人機交互系統(tǒng)中，用戶對增強現(xiàn)實模型中的交互按鈕進行操作，仿真控制平臺直接響應(yīng)操作效果。DDS數(shù)據(jù)分發(fā)的主要功能是在各平臺間傳遞消息，發(fā)送和接收各平臺之間的需要發(fā)送和接收的數(shù)據(jù)，從而實現(xiàn)其他仿真平臺、人機交互系統(tǒng)、仿真控制平臺、數(shù)據(jù)處理平臺之間的通信。

實施例中，仿真控制平臺包括攝像頭，用于拍攝飛行員視角的視頻；仿真控制平臺還用于對仿真過程進行控制。

實施例中，數(shù)據(jù)處理平臺，還用于采集并記錄仿真開始到結(jié)束的所有數(shù)據(jù)并進行數(shù)據(jù)分析，以及支持事后對仿真過程進行回放。

實施例中，數(shù)據(jù)處理平臺，包括：

特征點捕捉模塊，用于捕捉視頻中的特征點；

數(shù)據(jù)處理模塊，用于計算特征點所在平面和攝像頭的姿態(tài)，在特征點所在平面上建立虛擬的三維坐標；

更新模塊，通過攝像頭姿態(tài)變化計算，實時更新虛擬目標定位所需的三維坐標，使虛擬目標與真實世界的三維空間中的變化一致。

實施例中，將過去機械按鈕變?yōu)樘摂M現(xiàn)實的按鈕，大大節(jié)省了飛行訓練機的體積；依據(jù)飛行員所在的角度，將飛機操縱環(huán)境逼真地構(gòu)建出來，使得飛行員實時把控飛行的具體信息。

實施例中采用增強現(xiàn)實技術(shù)的飛行訓練器虛擬平顯方法及系統(tǒng)，根據(jù)我國虛擬現(xiàn)實技術(shù)和載人航天飛行訓練模擬器研制工作的技術(shù)基礎(chǔ)和技術(shù)水平，采用物理仿真和數(shù)學仿真相結(jié)合的混合仿真模式，在現(xiàn)有的技術(shù)水平基礎(chǔ)上，基于己經(jīng)完成的硬件設(shè)備和模擬座艙界面，首先利用仿真平臺實現(xiàn)舷窗外太空景象的數(shù)學仿真，建立太空景象及天體的三維立體模型，從而給航天員創(chuàng)造一個虛擬的外部太空景象，為航天飛行訓練打下基礎(chǔ)。在此基礎(chǔ)上，在人機交互系統(tǒng)中實現(xiàn)座艙儀表板及艙內(nèi)人一機界面的軟儀表化，充分利用高性能計算機、實時多任務(wù)操作系統(tǒng)和相應(yīng)工具軟件以及平板顯示器等技術(shù)領(lǐng)域的創(chuàng)新和突破，用軟件建立可編程并便于維護和升級的、顯示在平板顯示器上的虛擬的座艙儀表板系統(tǒng)。在這種技術(shù)支持下，可以方便地對座艙儀表板系統(tǒng)的顯示、操作界面進行更改。在此基礎(chǔ)上，再結(jié)合座艙視景系統(tǒng)顯示圖像的某些改變，可以方便地在同一硬件平臺上實現(xiàn)不同任務(wù)的模擬訓練。

實施例中采用增強現(xiàn)實技術(shù)的飛行訓練器虛擬平顯方法及系統(tǒng)，能夠逼真的展現(xiàn)飛行員在高空飛行時復(fù)雜的環(huán)境，最大限度的模擬實際飛行體驗。利用增強顯示技術(shù)，將地形圖反映在訓練機艙中，幫助訓練員體驗真實飛行；以飛行員的視角，將實際的飛行參數(shù)反饋到顯示屏上，幫助訓練員更好的掌握飛行狀態(tài)。同應(yīng)用傳統(tǒng)技術(shù)的模擬器相比，基于增強現(xiàn)實技術(shù)的飛行訓練模擬器有巨大的優(yōu)勢：首先，它可實現(xiàn)在一個訓練平臺上進行多任務(wù)模擬訓練，一機多能。通過軟件的升級和更新，它可以方便地從在軌機動任務(wù)模擬轉(zhuǎn)換為交會對接模擬訓練，從而可節(jié)省資源，提高利用效率；其次，應(yīng)用虛擬現(xiàn)實技術(shù)的訓練模擬器可以方便靈活地進行更改和升級。載人航天器的研制是非常復(fù)雜的系統(tǒng)工程，研制過程中出現(xiàn)部分更改和反復(fù)是難以避免的，而由于航天任務(wù)的特殊性，飛行訓練模擬器又必須同航天器的研制工作同步進行而稍微早一些投入運行才能保證對航天員的訓練工作。應(yīng)用虛擬現(xiàn)實/增強現(xiàn)實技術(shù)正好能夠滿足以上要求，既能模擬真實的環(huán)境，造價成本又相比大型飛行器要低很多，先通過模擬器來進行效果模擬，能夠及時得出反饋結(jié)果來協(xié)助航天器的設(shè)計開發(fā)，而不會在模擬器的研制和改造過程中出現(xiàn)大的反復(fù)和浪費，是保證工程進度的有效手段。另外，未來的載人航天飛行，科研任務(wù)將日趨復(fù)雜，所涉及的專業(yè)和學科越來越廣泛和深入，對航天員的訓練工作提出了更高的要求?；谔摂M現(xiàn)實/增強現(xiàn)實技術(shù)的訓練模擬器可借助于網(wǎng)絡(luò)技術(shù)同時對多人進行訓練，在保證訓練人員的數(shù)量、訓練強度和效果的基礎(chǔ)上節(jié)省大量的訓練費用?？梢哉f，基于虛擬現(xiàn)實技術(shù)的飛行訓練模擬器技術(shù)優(yōu)勢十分明顯，是飛行訓練模擬器的發(fā)展方向。另外，借助網(wǎng)絡(luò)技術(shù)，基于虛擬現(xiàn)實/增強現(xiàn)實技術(shù)的訓練模擬器可以實現(xiàn)多用戶同時訓練。隨著航天技術(shù)的發(fā)展，人類航天飛行活動越來越頻繁，飛行任務(wù)也日趨復(fù)雜。一方面需要對更多的航天員進行訓練，另一方面訓練課程的內(nèi)容也更加廣泛和深入。而有些航天飛行任務(wù)則更需要航天員和地面技術(shù)專家及支持人員密切協(xié)同才能完成，這些都大大增加了訓練任務(wù)的工作量。傳統(tǒng)的訓練模擬器往往規(guī)模龐大，運行費用昂貴，并要求很長的準備時間，根本難以滿足正迅速增長的訓練任務(wù)的需求。而基于虛擬現(xiàn)實/增強現(xiàn)實技術(shù)的訓練模擬器的技術(shù)特色之一就是網(wǎng)絡(luò)技術(shù)，為解決這個問題提供了非常完善的技術(shù)途徑，應(yīng)用前景非常光明。將原來單純的機械操作改為模擬真實飛行體驗，更讓飛行員更加有效的訓練，也能模擬出更多的緊急狀況，使其在最小的代價下完成更全面的訓練內(nèi)容，能夠極大的豐富我國的飛行訓練內(nèi)容，培養(yǎng)出更優(yōu)秀的飛行員。在現(xiàn)代飛機的航電系統(tǒng)和設(shè)備研發(fā)過程中，使用仿真技術(shù)對系統(tǒng)和設(shè)備的需求進行驗證是一種非常有效的驗證方法，并且也是適航當局認可并推薦的符合性方法，可以極大的提高系統(tǒng)研發(fā)效率和節(jié)約研發(fā)成本。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。