本發(fā)明涉及航空技術領域，特別涉及一種基于AR設備的信息同步方法及系統(tǒng)。

背景技術：

SVS系統(tǒng)通過對飛機外部的地形、障礙物以及跑道等環(huán)境的模擬，在低能見度環(huán)境下為飛行員提供情形認識與飛行輔助。

但是在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有的合成視景系統(tǒng)SVS至少存在如下問題：

合成視景系統(tǒng)SVS的呈現(xiàn)信息缺少飛行指引信息提示(例如：機場位置提示、剩余跑道距離提示、擦機尾提示、低能見度引導起飛，III類進近偏差)，沒有在降落過程中提供給飛行員,因此現(xiàn)階段合成視景系統(tǒng)SVS在提高飛行員態(tài)勢感知能力、輔助著陸方面發(fā)揮的作用并不大。實用效能的缺失，導致FAA和CAAC都尚未啟動針對合成視景系統(tǒng)SVS降低起飛和降落的最低天氣標準的特殊批準程序；同時在目前的民機系統(tǒng)中，合成視景系統(tǒng)SVS顯示輸出只能呈現(xiàn)在下視顯示器上，其顯示方式與位置忽視了人體觀察習慣，尤其忽視了在飛機進行高速貼地/近地運動時觀察重心轉換對于飛行員有效操作的影響。總結來說，顯示位置位于下視顯示器的合成視景系統(tǒng)SVS具有兩個主要問題：基于下視顯示器的布局位置，其無法在目視飛行狀態(tài)下為飛行員提供持續(xù)的飛行輔助，這無法滿足民航安全條例中關于著陸目視飛行條件的相關規(guī)定；同樣是由于下視顯示器的空間布局，使得其無法滿足合成視景系統(tǒng)SVS所追求的“所見即所得”標準，可能存在并難以糾正虛擬圖景與機外環(huán)境的“脫扣”情況，進而可能造成安全隱患。

平視導視系統(tǒng)HGS是在平視顯示器上進行飛行數(shù)據(jù)、指引信息、輔助信息的顯示，并且可以和外部視景疊加，增強飛行員情景意識，但是在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)平視導視系統(tǒng)HGS至少存在如下問題：平視導視系統(tǒng)不具備三維重構與實時地形視景的生成能力，當遭遇惡劣天氣時，難以為飛行員提供更好的情景意識。

以飛行頭盔形式存在的軍用增強現(xiàn)實設備利用其搭載的HMD為飛行員提供實時的全視角戰(zhàn)場環(huán)境告知與飛行輔助信息顯示，但是在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)至少存在如下問題：

由于功能差異，其系統(tǒng)重點在于與導航系統(tǒng)、雷達系統(tǒng)與火控系統(tǒng)的協(xié)調搭配，不會/幾乎不會存儲巨量的地面場景、障礙物和跑道等信息，同時其功能上并不具有合成視景系統(tǒng)SVS的三維重構與圖像合成能力，僅能作為技術手段參考項

因此，在技術和經濟性可達的情況下，應為飛行員提供全視場的合成視景信息與飛行指引信息，以實現(xiàn)在低可見度環(huán)境下的目視參考飛行。

技術實現(xiàn)要素：

本發(fā)明實施例的目的是提供一種基于AR設備的信息同步方法及系統(tǒng)，綜合SVS系統(tǒng)和頭戴式AR設備的各自優(yōu)勢，同時參考HGS中關于飛行指引的相關功能，將主飛行數(shù)據(jù)、導航數(shù)據(jù)、飛行指引數(shù)據(jù)、起飛降落輔助決策數(shù)據(jù)通過符合設計和畫面布局形成指引畫面與三維地形模擬、障礙物模擬、跑道模擬生成的仿真畫面重合疊加，結合AR眼鏡使得飛行員得以以任意觀察角度獲取全方位的機外場景信息與飛行指引信息；在低能見度情況下，以大幅度增強飛行員情景意識和態(tài)勢感知能力。

根據(jù)本發(fā)明實施例的一個方面，本發(fā)明的實施例提供了一種基于AR設備的信息同步方法，應用于機載計算機系統(tǒng)，包括：

實時對平視導視系統(tǒng)HGS的飛行指引圖像和合成視景系統(tǒng)SVS的艙外三維視景進行畫面重合疊加以合成全角度視景虛擬模型畫面；

基于預定定位方式，確定AR設備在T_n-1時間點時在駕駛艙中的相對位姿；

基于所述T_n-1時間點的上一時間點T_n-2對應的視景虛擬模型畫面在AR設備上的顯示時間點T_d，獲取傳輸延時T_d-T_n-2；

基于所述傳輸延時T_d-T_n-2、AR設備在時間點T_k至時間點T_n-1這一時間段T_kT_n-1相對于飛行設備的相對加速度和相對角速度及AR設備在T_n-1時間點時在駕駛艙中的相對位姿，構建基于AR設備相對位姿的卡爾曼濾波預測模型，以預測AR設備在T_n時間點時在駕駛艙中的相對位姿；

基于AR設備在T_n時間點時在駕駛艙中的相對位姿，確定AR設備在T_n時間點時的視角方向；

基于AR設備在T_n時間點時的視角方向，從T_n時間點時的全角度視景虛擬模型畫面中獲取與AR設備在該時間點的視角方向上對應的預測視景虛擬模型畫面；

將所述預測視景虛擬模型畫面同步至AR設備以顯示。

優(yōu)選地,在所述構建基于卡爾曼濾波的AR設備位姿預測模型，以預測AR設備在T_n時間點時在駕駛艙中的相對位姿的步驟之前，所述方法還包括：

獲取AR設備在時間段T_kT_n-1的加速度信息和角速度信息，和飛行設備在時間段T_kT_n-1的加速度信息和角速度信息；

基于獲取的AR設備在時間段T_kT_n-1的加速度信息和角速度信息，和飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備在時間段T_kT_n-1，相對于飛行設備的相對加速度信息和相對角速度信息。

優(yōu)選地,所述基于預定定位方式，確定AR設備在T_n-1時間點時，在駕駛艙中的相對位姿的步驟包括：

確定AR設備在駕駛艙中的初始位姿；

獲取所述AR設備在初始位姿下采集的初始圖像；

獲取AR設備在采樣時間點C_n時采集的樣本圖像；

判斷是否存在一個采樣時間點C_n與T_n-1時間點重合；

若存在，則基于所述初始圖像和圖像匹配定位算法，獲取所述T_n-1時間點的樣本圖像相對于所述初始圖像的位姿信息；

基于AR設備在駕駛艙中的初始位姿和T_n-1時間點的樣本圖像相對于所述初始圖像的位姿信息，確定AR設備在T_n-1時間點時在駕駛艙中的相對位姿。

優(yōu)選地,所述方法還包括：

若不存在一個采樣時間點C_n與T_n-1時間點重合，則基于飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，和AR設備在時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備在時間段T_kT_n-1的相對加速度和相對角速度；

基于AR設備在時間段T_kT_n-1的相對加速度和相對角速度、AR設備在駕駛艙中的初始位姿、以及T₀時間點至T_n-1時間點的時間間隔，利用慣性導航方法計算AR設備在T_n-1時間點時在駕駛艙中的相對位姿，其中，T₀時間點為所述初始位姿對應的初始時間點，T₀＜T_k＜T_n-1。

優(yōu)選地,所述方法還包括：

若不存在一個采樣時間點C_n與T_n-1時間點重合，則獲取圖像采集模塊在T_n-1時間點之前的采樣時間點C_n采集的樣本圖像；

基于所述初始圖像和圖像匹配定位算法，獲取所述采樣時間點C_n的樣本圖像相對于所述初始圖像的位姿信息；

基于AR設備在駕駛艙中的初始位姿和采樣時間點C_n的樣本圖像相對于所述初始圖像的位姿信息，確定在采樣時間點C_n時AR設備在駕駛艙中的相對位姿；

基于飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，和AR設備在時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備在時間段T_kT_n-1的相對加速度和相對角速度；

基于AR設備在時間段T_kT_n-1的相對加速度和相對角速度、所述AR設備在該采樣時間點C_n時在駕駛艙中的相對位姿，以及該采樣時間點C_n至T_n-1時間點的時間間隔，利用慣性導航定位計算AR設備在T_n-1時間點時在駕駛艙中的相對位姿。

優(yōu)選地,所述獲取與AR設備在該時間點的視角方向上對應的預測視景虛擬模型畫面包括:

基于與駕駛艙相對應的駕駛艙三維模型、T_n時間點時的全角度視景虛擬模型畫面及投影定理，獲取T_n時間點時的全角度視景虛擬模型畫面投射在駕駛艙舷窗和駕駛艙舷窗支架上的部分視景虛擬模型畫面以形成預測視景虛擬模型畫面。

優(yōu)選地,所述確定AR設備在駕駛艙中的初始位姿的方法包括：

獲取預估初始位姿下AR設備采集的預估圖像；

獲取AR設備采集的實際的初始圖像；

基于所述預估圖像和圖像匹配定位算法，獲取所述初始圖像相對于所述預估圖像的位姿信息；

基于AR設備在駕駛艙中的預估初始位姿和所述初始圖像相對于所述預估圖像的位姿信息，確定AR設備在駕駛艙中實際的初始位姿。

根據(jù)本發(fā)明實施例的另一個方面，本發(fā)明的實施例提供了一種機載計算機系統(tǒng)，包括：

圖像生成模塊，用于實時對平視導視系統(tǒng)HGS的飛行指引圖像和合成視景系統(tǒng)SVS的艙外三維視景進行畫面重合疊加以合成全角度視景虛擬模型畫面；

定位模塊，用于基于預定定位方式，確定AR設備在Tn-1時間點時在駕駛艙中的相對位姿；和，

用于基于所述T_n-1時間點的上一時間點T_n-2對應的視景虛擬模型畫面在AR設備上的顯示時間點T_d，獲取傳輸延時T_d-T_n-2；和，

用于基于所述傳輸延時T_d-T_n-2、AR設備在時間點T_k至時間點T_n-1這一時間段T_kT_n-1相對于飛行設備的相對加速度和相對角速度及AR設備在T_n-1時間點時在駕駛艙中的相對位姿，構建基于卡爾曼濾波的AR設備位姿預測模型，以預測AR設備在T_n時間點時在駕駛艙中的相對位姿；

所述圖像生成模塊，還用于基于AR設備在T_n時間點時在駕駛艙中的相對位姿，確定AR設備在T_n時間點時的視角方向；和，

用于基于AR設備在T_n時間點時的視角方向，從T_n時間點時的全角度視景虛擬模型畫面中獲取與AR設備在該時間點的視角方向上對應的預測視景虛擬模型畫面；和，

用于將所述預測視景虛擬模型畫面同步至AR設備以顯示。

優(yōu)選地，

所述定位模塊，還用于在所述構建基于AR設備相對位姿的卡爾曼濾波預測模型，以預測AR設備在T_n時間點時在駕駛艙中的相對位姿之前，獲取AR設備時間段T_kT_n-1的加速度信息和角速度信息，和飛行設備在時間段T_kT_n-1的加速度信息和角速度信息；和,

用于基于獲取的AR設備在時間段T_kT_n-1的加速度信息和角速度信息，和飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備在時間段T_kT_n-1，相對于飛行設備的相對加速度信息和相對角速度信息。

優(yōu)選地，

所述定位模塊，還用于確定AR設備在駕駛艙中的初始位姿；和，

用于獲取所述AR設備在初始位姿下采集的初始圖像；和，

用于獲取AR設備在采樣時間點C_n時采集的樣本圖像；和，

用于判斷是否存在一個采樣時間點C_n與T_n-1時間點重合；

若存在，則基于所述初始圖像和圖像匹配定位算法，獲取所述T_n-1時間點的樣本圖像相對于所述初始圖像的位姿信息；和，

用于基于AR設備在駕駛艙中的初始位姿和T_n-1時間點的樣本圖像相對于所述初始圖像的位姿信息，確定AR設備在T_n-1時間點時在駕駛艙中的相對位姿。

優(yōu)選地，

所述定位模塊，還用于在不存在一個采樣時間點C_n與T_n-1時間點重合時，基于飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，和AR設備在時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備在時間段T_kT_n-1的相對加速度和相對角速度；和，

用于基于AR設備在時間段T_kT_n-1的相對加速度和相對角速度、AR設備在駕駛艙中的初始位姿、以及T₀時間點至T_n-1時間點的時間間隔，利用慣性導航方法計算AR設備在T_n-1時間點時在駕駛艙中的相對位姿，其中，T₀時間點為所述初始位姿對應的初始時間點，T₀＜T_k＜T_n-1。

優(yōu)選地，

所述定位模塊，還用于在不存在一個采樣時間點C_n與T_n-1時間點重合時，獲取圖像采集模塊在T_n-1時間點之前的采樣時間點C_n采集的樣本圖像；和，

用于基于所述初始圖像和圖像匹配定位算法，獲取所述采樣時間點C_n的樣本圖像相對于所述初始圖像的位姿信息；和，

用于基于AR設備在駕駛艙中的初始位姿和采樣時間點C_n的樣本圖像相對于所述初始圖像的位姿信息，確定在采樣時間點C_n時AR設備在駕駛艙中的相對位姿；和，

用于基于飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，和AR設備在時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備在時間段T_kT_n-1的相對加速度和相對角速度；和，

用于基于AR設備在時間段T_kT_n-1的相對加速度和相對角速度、所述AR設備在該采樣時間點C_n時在駕駛艙中的相對位姿，以及該采樣時間點C_n至T_n-1時間點的時間間隔，利用慣性導航定位計算AR設備在T_n-1時間點時在駕駛艙中的相對位姿。

優(yōu)選地，

所述系統(tǒng)還包括：

視景虛擬模型畫面處理模塊，用于基于與駕駛艙相對應的駕駛艙三維模型、T_n時間點時的全角度視景虛擬模型畫面及投影定理，獲取T_n時間點時的全角度視景虛擬模型畫面投射在駕駛艙舷窗和駕駛艙舷窗支架上的部分視景虛擬模型畫面以形成預測視景虛擬模型畫面。

優(yōu)選地，

所述定位模塊，還用于獲取預估初始位姿下AR設備采集的預估圖像；和，

用于獲取AR設備采集的實際的初始圖像；和，

用于基于所述預估圖像和圖像匹配定位算法，獲取所述初始圖像相對于所述預估圖像的位姿信息；和，

用于基于AR設備在駕駛艙中的預估初始位姿和所述初始圖像相對于所述預估圖像的位姿信息，確定AR設備在駕駛艙中實際的初始位姿。

根據(jù)本發(fā)明實施例的另一個方面，本發(fā)明的實施例提供了一種機載終端，所述機載終端中設有包括以上所述的機載計算機系統(tǒng)。

本發(fā)明實施例提供的基于AR設備的信息同步方法及系統(tǒng)，綜合SVS系統(tǒng)和頭戴式AR設備的各自優(yōu)勢，同時參考了HGS中關于飛行指引的相關功能，將主飛行數(shù)據(jù)、導航數(shù)據(jù)、飛行指引數(shù)據(jù)、起飛降落輔助決策數(shù)據(jù)通過符合設計和畫面布局形成指引畫面與三維地形模擬、障礙物模擬、跑道模擬生成的仿真畫面重合疊加，結合AR眼鏡使得飛行員得以以任意觀察角度獲取全方位的機外場景信息與飛行指引信息；在低能見度情況下，能大幅度增強飛行員情景意識和態(tài)勢感知能力，并通過提前預測位姿實現(xiàn)“所見即所得”的技術效果。

附圖說明

圖1是本發(fā)明實施例提供的基于AR設備的信息同步方法的流程圖；

圖2是本發(fā)明實施例提供的基于AR設備的信息同步方法的框架圖；

圖3是本發(fā)明實施例提供的基于AR設備的信息同步系統(tǒng)的模塊關系示意圖。

附圖標記說明：1-圖像生成模塊；2-定位模塊；3-合成視景模塊SVS；4-平視導視模塊HGS；5-畫面處理模塊；6-下視顯示模塊。

具體實施方式

為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明了，下面結合具體實施方式并參照附圖，對本發(fā)明進一步詳細說明。應該理解，這些描述只是示例性的，而并非要限制本發(fā)明的范圍。此外，在以下說明中，省略了對公知結構和技術的描述，以避免不必要地混淆本發(fā)明的概念。

如圖1所示，本發(fā)明的實施例提供了一種基于AR設備的信息同步方法，應用于機載計算機系統(tǒng)，包括：

實時對平視導視系統(tǒng)HGS的飛行指引圖像和合成視景系統(tǒng)SVS的艙外三維視景進行畫面重合疊加以合成全角度視景虛擬模型畫面；其中，需要說明的是，飛行指引信息包括：主飛行數(shù)據(jù)，導航數(shù)據(jù)、飛行指引數(shù)據(jù)、起飛降落輔助決策數(shù)據(jù)(例如：機場位置提示、剩余跑道距離提示、擦機尾提示、低能見度引導起飛，III類進近偏差)，飛行指引信息是從飛行設備的機載計算機系統(tǒng)上的平視導視模塊(子系統(tǒng))HGS中獲取的；其中，AR設備優(yōu)選為AR眼鏡；

基于預定定位方式，確定AR設備在Tn-1時間點時在駕駛艙中的相對位姿；其中，預定定位方式包括圖像識別匹配定位和慣性導航定位，其中，圖片識別匹配定位，利用物理尺寸與圖像特征已知的標識塊或圖片確定特征點，利用PNP技術進行標識塊定位后，依據(jù)已知的相對位置關系定位設備，準確性高，但是由于圖片識別匹配定位需依賴于圖片的實時采集，而圖片的采集的頻率相對較低，導致在采集的兩張圖片之間的時刻，會出現(xiàn)空白圖片，導致無法定位，因此，在圖片定位的基礎上，本發(fā)明還結合慣性導航定位方式，因為慣性導航定位是實時的數(shù)據(jù)采集，其數(shù)據(jù)采集頻率很高，能夠很好地彌補上述圖片識別匹配定位的不足，結合這兩種定位方式，能夠準確快速的對AR設備進行相對位姿的定位。

基于所述T_n-1時間點的上一時間點T_n-2對應的視景虛擬模型畫面在AR設備上的顯示時間點T_d，獲取傳輸延時T_d-T_n-2；其中，需要說明的是，此處時間點T_n-2對應的視景虛擬模型畫面在AR設備上的顯示時間點T_d是指未經卡爾曼濾波預測時的時間點T_n-2的實際視景虛擬模型畫面在考慮到網(wǎng)絡延遲等因素在AR設備上顯示的實際時間，此處的實際視景虛擬模型畫面是是相對于經卡爾曼濾波預測模型預測得到的預測視景虛擬模型畫面而言的。也即，在理想狀態(tài)下，AR設備在T_n-2時間點采集了一組與該時間點對應的樣本圖像和加速度信息和角速度信息之后，會上傳到機載計算機系統(tǒng)，并將短暫處理后(定位)得到的AR設備在T_n-2時間點是的相對位姿用于確定該時刻的視景虛擬模型畫面，最終，在時間點T_d時，該視景虛擬模型畫面被同步到AR設備以顯示，也即，在AR設備上顯示的視景虛擬模型畫面落后于真實場景(即T_n-1時間點時，駕駛艙外的真實的視景)T_d-T_n-2時長，為了避免時間延遲帶來的用戶體驗感降低，因此，在計算AR設備的相對位姿時，需要利用上一傳輸周期得到的延時T_d-T_n-2構建基于卡爾曼濾波的AR設備位姿預測器以提前預測AR設備的位姿進而來彌補傳輸延時。

基于所述傳輸延時T_d-T_n-2、AR設備在時間點T_k至時間點T_n-1這一時間段T_kT_n-1相對于飛行設備的相對加速度和相對角速度及AR設備在T_n-1時間點時在駕駛艙中的相對位姿，構建基于卡爾曼濾波的AR設備位姿預測模型，以預測AR設備在T_n時間點時在駕駛艙中的相對位姿；其中，需要說明的是，T_n-T_n-1＝T_d-T_n-2,也即，在當前時刻T_n-1時即預測T_n時間點時AR設備的相對位姿以使得在經過T_d-T_n-2時長的傳輸延時后到達T_n時間點時，AR設備剛好能夠顯示當前時間點(T_n時間點)的畫面，從而實現(xiàn)“所見即所得”。其中，基于卡爾曼濾波構建預測模型基于現(xiàn)有技術手段能夠實現(xiàn)，在此不再做進一步說明。

基于AR設備在T_n時間點時在駕駛艙中的相對位姿，確定AR設備在T_n時間點時的視角方向；其中，需要說明的是，AR設備在駕駛艙中的相對位姿確定了，那么AR設備的視角方向也即確定了。

基于AR設備在T_n時間點時的視角方向，從T_n時間點時的全角度視景虛擬模型畫面中獲取與AR設備在該時間點的視角方向上對應的預測視景虛擬模型畫面；

將所述預測視景虛擬模型畫面同步至AR設備以顯示。

如圖2所示，下面結圖2進行進一步說明，圖2中，飛機外部場景(障礙物、天氣情況及跑道信息等)即是指駕駛艙外部場景為外部的真實環(huán)境，機載計算機系統(tǒng)中的視景合成模塊(系統(tǒng))SVS，實時對駕駛艙外部場景進行三維場景重構形成艙外三維視景，其具體的艙外三維視景隨著飛行設備的位姿變換而變化的；機載計算機系統(tǒng)中的視導視模塊(系統(tǒng))HGS會根據(jù)飛行設備當前的位姿信息及飛行指引數(shù)據(jù)生成飛行指引信息圖像，其中，艙外三維視景是帶有深度信息的三維畫面，飛行指引信息圖像是不包含深度信息的二維畫面，兩種圖像疊加時，飛行指引信息圖像疊加在艙外三維視景之上以形成全角度視景虛擬模型畫面，即圖2中展示的機外場景與合成指引信息生成，然后再根據(jù)AR眼鏡的位姿信息確定視角方向以從全角度視景虛擬模型獲取與AR設備在該視角方向上對應的視景虛擬模型畫面，最后再根據(jù)駕駛艙布局信息也即駕駛艙對該視角方向上的視景虛擬模型畫面進行駕駛艙遮擋計算(即獲取預測視景虛擬模型畫面投射在駕駛艙舷窗和駕駛艙舷窗支架上的部分視景虛擬模型畫面)。

在合成全角度視景虛擬模型畫面的步驟之前，還包括：

實時對駕駛艙外部場景進行三維重構，以形成與駕駛艙外部場景相對應的艙外三維視景；其中，需要說明的是，實時對駕駛艙外部場景進行三維重構是基于機載計算機系統(tǒng)中的視景合成模塊(系統(tǒng))SVS實現(xiàn)的，SVS以飛行設備的位置和姿態(tài)為基準，將存儲的飛行數(shù)據(jù)庫中的(或實時獲取的)三維地形-高程數(shù)據(jù)、障礙物數(shù)據(jù)，飛機跑道信息等通過三維場景可視化重構技術進行投影形成三維視景，并發(fā)送至圖像生成模塊；再由圖像生成模塊將獲取的三維視景與飛行指引信息進行合成匹配即形成了全角度視景虛擬模型畫面，同時，圖像生成模塊還會將全角度視景虛擬模型畫面發(fā)送到飛行儀表顯示屏(下視顯示器HDD)上進行顯示。

實時獲取飛行設備的飛行指引數(shù)據(jù)以形成飛行指引信息圖像，其中飛行指引信息的形成是基于機載計算機系統(tǒng)中的平視導視模塊(系統(tǒng))HGS實現(xiàn)的，在此不再進一步說明。

在所述構建基于AR設備相對位姿的卡爾曼濾波預測模型，以預測AR設備在T_n時間點時在駕駛艙中的相對位姿的步驟之前，所述方法還包括：

獲取AR設備在時間段T_kT_n-1的加速度信息和角速度信息，和飛行設備在時間段T_kT_n-1的加速度信息和角速度信息；同時，需要說明的是，在獲取到AR設備的加速度信息和角速度信息及飛行設備的加速度信息和角速度信息后，會通過卡爾曼濾波進行濾波處理。

基于獲取的AR設備在時間段T_kT_n-1的加速度信息和角速度信息，和飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備在時間段T_kT_n-1，相對于飛行設備的相對加速度信息和相對角速度信息。

所述基于預設的駕駛艙和預定定位方式，確定AR設備在T_n-1時間點時，在駕駛艙中的相對位姿的步驟包括：

確定AR設備在駕駛艙中的初始位姿；

獲取所述AR設備在初始位姿下采集的初始圖像；

獲取AR設備在采樣時間點C_n時采集的樣本圖像；

判斷是否存在一個采樣時間點C_n與T_n-1時間點重合；

若存在，則基于所述初始圖像和圖像匹配定位算法，獲取所述T_n-1時間點的樣本圖像相對于所述初始圖像的位姿信息；其中,需要說明的是,AR設備采集的各個圖像均為與各自本身相對應的位姿下的駕駛艙照片,故可通過圖片匹配定位技術來實現(xiàn)AR設備定位。

基于AR設備在駕駛艙中的初始位姿和T_n-1時間點的樣本圖像相對于所述初始圖像的位姿信息，確定AR設備在T_n-1時間點時在駕駛艙中的相對位姿。

若不存在一個采樣時間點C_n與T_n-1時間點重合，則基于飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，和AR設備在時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備在時間段T_kT_n-1的相對加速度和相對角速度；

基于AR設備在時間段T_kT_n-1的相對加速度和相對角速度、AR設備在駕駛艙中的初始位姿、以及T₀時間點至T_n-1時間點的時間間隔，利用慣性導航方法計算AR設備在T_n-1時間點時在駕駛艙中的相對位姿，其中，T₀時間點為所述初始位姿對應的初始時間點，T₀＜T_k＜T_n，T_k的具體取值可根據(jù)實際計算需要進行取值。

或，若不存在一個采樣時間點C_n與T_n-1時間點重合，則獲取圖像采集模塊在T_n-1時間點之前的采樣時間點C_n采集的樣本圖像；

基于所述初始圖像和圖像匹配定位算法，獲取所述采樣時間點C_n的樣本圖像相對于所述初始圖像的位姿信息；

基于AR設備在駕駛艙中的初始位姿和采樣時間點C_n的樣本圖像相對于所述初始圖像的位姿信息，確定在采樣時間點C_n時AR設備在駕駛艙中的相對位姿；

基于飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，和AR設備在時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備在時間段T_kT_n-1時的相對加速度和相對角速度；

基于AR設備在時間段T_kT_n-1的相對加速度和相對角速度、所述AR設備在該采樣時間點C_n時在駕駛艙中的相對位姿，以及該采樣時間點C_n至T_n-1時間點的時間間隔，利用慣性導航定位計算AR設備在T_n-1時間點時在駕駛艙中的相對位姿。

其中，需要說明的是，在通過圖像匹配定位算法進行定位之前，會對各個圖像進行防抖處理以提高定位精度。

所述獲取與AR設備在該時間點的視角方向上對應的預測視景虛擬模型畫面包括:

基于與駕駛艙相對應的駕駛艙三維模型、T_n時間點時的全角度視景虛擬模型畫面及投影定理，獲取T_n時間點時的全角度視景虛擬模型畫面投射在駕駛艙舷窗和駕駛艙舷窗支架上的部分視景虛擬模型畫面以形成預測視景虛擬模型畫面。其中，需要說明的是，在飛行員頭部可隨意運動的情況下，透過AR眼鏡，飛行員理論上可以看到在飛行員視角方向上(也即AR設備的視角方向上)的虛擬模型畫面，但是為了避免虛擬模型畫面影響駕駛員對駕駛艙內部儀表板的觀察，再將所述預測視景虛擬模型畫面同步至AR設備之前，需要結合投影定理將遮擋駕駛艙內部儀表板的部分畫面抹去，使得AR設備僅僅顯示預測視景虛擬模型畫面投射在駕駛艙舷窗和駕駛艙舷窗支架上的部分視景虛擬模型畫面。

在所述確定AR設備在T_n-1時間點時，在駕駛艙中的相對位姿的步驟之后,還包括:

獲取AR設備的指北模塊在T_n-1時間點采集的指北針信息；

基于T_n-1時間點采集的指北針信息,判斷所述AR設備在T_n-1時間點時的相對位姿是否與指北針信息相對應；

若不對應,則發(fā)出告警信號以提示AR設備在T_n-1時間點時的相對位姿有誤。

所述確定AR設備在駕駛艙中的初始位姿的方法包括：

獲取預估初始位姿下AR設備采集的預估圖像；其中，需要說明的是，預估初始位姿時基于飛行員的身高數(shù)據(jù)，飛行員的座位位置，以及駕駛艙布局等信息估算的一個位姿。

獲取AR設備采集的實際的初始圖像；

基于所述預估圖像和圖像匹配定位算法，獲取所述初始圖像相對于所述預估圖像的位姿信息；

基于AR設備在駕駛艙中的預估初始位姿和所述初始圖像相對于所述預估圖像的位姿信息，確定AR設備在駕駛艙中實際的初始位姿。

如圖3所示，本發(fā)明的實施例還提供了一種機載計算機系統(tǒng)，包括：

圖像生成模塊1，用于將獲取的飛行指引信息和艙外三維視景進行實時畫面重合疊加，以合成全角度視景虛擬模型畫面；

所述系統(tǒng)還包括：下視顯示模塊7，用于顯示合成的全角度視景虛擬模型畫面；

定位模塊2，用于基于預定定位方式，確定AR設備在Tn-1時間點時在駕駛艙中的相對位姿；和，

用于基于所述T_n-1時間點的上一時間點T_n-2對應的視景虛擬模型畫面在AR設備6上的顯示時間點T_d，獲取傳輸延時T_d-T_n-2；和，

用于基于所述傳輸延時T_d-T_n-2、AR設備6在時間點T_k至時間點T_n-1這一時間段T_kT_n-1相對于飛行設備的相對加速度和相對角速度及AR設備6在T_n-1時間點時在駕駛艙中的相對位姿，構建基于AR設備相對位姿的卡爾曼濾波預測模型，以預測AR設備6在T_n時間點時在駕駛艙中的相對位姿；

所述圖像生成模塊1，還用于基于AR設備6在T_n時間點時在駕駛艙中的相對位姿，確定AR設備6在T_n時間點時的視角方向；和，

用于基于AR設備6在T_n時間點時的視角方向，從T_n時間點時的全角度視景虛擬模型畫面中獲取與AR設備6在該時間點的視角方向上對應的預測視景虛擬模型畫面；和，

用于將所述預測視景虛擬模型畫面同步至AR設備6以顯示。

所述系統(tǒng)，還包括：

合成視景模塊SVS3，用于在所述圖像生成模塊1將獲取的飛行指引信息和艙外三維視景進行實時畫面重合疊加，以合成全角度視景虛擬模型畫面之前，實時對駕駛艙外部場景進行三維重構，以形成與駕駛艙外部場景相對應的艙外三維視景；

平視導視模塊HGS4，用于在所述圖像生成模塊1將獲取的飛行指引信息和艙外三維視景進行實時畫面重合疊加，以合成全角度視景虛擬模型畫面之前，實時獲取飛行設備的飛行數(shù)據(jù)以形成飛行指引信息。

所述定位模塊2，還用于在所述構建基于卡爾曼濾波的AR設備6位姿預測模型，以預測AR設備6在T_n時間點時在駕駛艙中的相對位姿之前，獲取AR設備6在時間段T_kT_n-1的加速度信息和角速度信息，和飛行設備在時間段T_kT_n-1的加速度信息和角速度信息；和基于獲取的AR設備6在時間段T_kT_n-1的加速度信息和角速度信息，和飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備6在時間段T_kT_n-1，相對于飛行設備的相對加速度信息和相對角速度信息。

所述定位模塊2，還用于確定AR設備6在駕駛艙中的初始位姿；和，

用于獲取所述AR設備6在初始位姿下采集的初始圖像；和，

用于獲取AR設備6在采樣時間點C_n時采集的樣本圖像；和，

用于判斷是否存在一個采樣時間點C_n與T_n-1時間點重合；

若存在，則基于所述初始圖像和圖像匹配定位算法，獲取所述T_n-1時間點的樣本圖像相對于所述初始圖像的位姿信息；和，

用于基于AR設備6在駕駛艙中的初始位姿和T_n-1時間點的樣本圖像相對于所述初始圖像的位姿信息，確定AR設備6在T_n-1時間點時在駕駛艙中的相對位姿。

所述定位模塊2，還用于在不存在一個采樣時間點C_n與T_n-1時間點重合時，基于飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，和AR設備6在時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備6在時間段T_kT_n-1的相對加速度和相對角速度；和，

用于基于AR設備6在時間段T_kT_n-1的相對加速度和相對角速度、AR設備6在駕駛艙中的初始位姿、以及T₀時間點至T_n-1時間點的時間間隔，利用慣性導航方法計算AR設備6在T_n-1時間點時在駕駛艙中的相對位姿，其中，T₀時間點為所述初始位姿對應的初始時間點，T₀＜T_k＜T_n。

所述定位模塊2，還用于在不存在一個采樣時間點C_n與T_n-1時間點重合時，獲取圖像采集模塊在T_n-1時間點之前的采樣時間點C_n采集的樣本圖像；和，

用于基于所述初始圖像和圖像匹配定位算法，獲取所述采樣時間點C_n的樣本圖像相對于所述初始圖像的位姿信息；和，

用于基于AR設備6在駕駛艙中的初始位姿和采樣時間點C_n的樣本圖像相對于所述初始圖像的位姿信息，確定在采樣時間點C_n時AR設備6在駕駛艙中的相對位姿；和，

用于基于飛行設備在時間段T_kT_n-1的加速度信息和角速度信息，和AR設備6在T時間段T_kT_n-1的加速度信息和角速度信息，計算AR設備6在時間段T_kT_n-1的相對加速度和相對角速度；和，

用于基于AR設備6在時間段T_kT_n-1的相對加速度和相對角速度、所述AR設備6在該采樣時間點C_n時在駕駛艙中的相對位姿，以及該采樣時間點C_n至T_n-1時間點的時間間隔，利用慣性導航定位計算AR設備6在T_n-1時間點時在駕駛艙中的相對位姿。

所述系統(tǒng)還包括：

視景虛擬模型畫面處理模塊5(即圖2中所示畫面處理模塊5)，用于基于與駕駛艙相對應的駕駛艙三維模型、T_n時間點時的全角度視景虛擬模型畫面及投影定理，獲取T_n時間點時的全角度視景虛擬模型畫面投射在駕駛艙舷窗和駕駛艙舷窗支架上的部分視景虛擬模型畫面以形成預測視景虛擬模型畫面。

所述系統(tǒng)還包括：

告警校驗模塊，用于在所述確定AR設備6在T_n-1時間點時，在駕駛艙中的相對位姿之后,獲取AR設備6的指北模塊在T_n-1時間點采集的指北針信息；和，

用于基于T_n-1時間點采集的指北針信息,判斷所述AR設備6在T_n-1時間點時的相對位姿是否與指北針信息相對應；

若不對應,則發(fā)出告警信號以提示AR設備6在T_n-1時間點時的相對位姿有誤。

所述定位模塊2，還用于獲取預估初始位姿下AR設備6采集的預估圖像；和，

用于獲取AR設備6采集的實際的初始圖像；和，

用于基于所述預估圖像和圖像匹配定位算法，獲取所述初始圖像相對于所述預估圖像的位姿信息；和，

用于基于AR設備6在駕駛艙中的預估初始位姿和所述初始圖像相對于所述預估圖像的位姿信息，確定AR設備6在駕駛艙中實際的初始位姿。

為了更好地實現(xiàn)上述技術方案，本發(fā)明的實施例還提供了一種機載終端，所述機載終端中設有包括以上所述的機載計算機系統(tǒng)。

本發(fā)明實施例提供的基于AR設備的信息同步方法及系統(tǒng)，綜合SVS系統(tǒng)和頭戴式AR設備的各自優(yōu)勢，同時參考了HGS中關于飛行指引的相關功能，將主飛行數(shù)據(jù)、導航數(shù)據(jù)、飛行指引數(shù)據(jù)、起飛降落輔助決策數(shù)據(jù)通過符合設計和畫面布局形成指引畫面與三維地形模擬、障礙物模擬、跑道模擬生成的仿真畫面重合疊加，結合AR眼鏡使得飛行員得以以任意觀察角度獲取全方位的機外場景信息與飛行指引信息；在低能見度情況下，能大幅度增強飛行員情景意識和態(tài)勢感知能力，同時實現(xiàn)了“所見即所得”，即解決了畫面顯示延時的問題，提高了用戶體驗。

應當理解的是，本發(fā)明的上述具體實施方式僅僅用于示例性說明或解釋本發(fā)明的原理，而不構成對本發(fā)明的限制。因此，在不偏離本發(fā)明的精神和范圍的情況下所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。此外，本發(fā)明所附權利要求旨在涵蓋落入所附權利要求范圍和邊界、或者這種范圍和邊界的等同形式內的全部變化和修改例。