本文描述的主題的實(shí)施例總體上涉及提供用于飛行前和/或飛行檢查的計(jì)算機(jī)化輔助。更具體地，主題的實(shí)施例涉及提供與駕駛艙儀表裝置設(shè)置相關(guān)聯(lián)的視覺(jué)覆蓋信息。

背景技術(shù)：

飛行檢查表或座艙檢查表被用作供飛行員配置飛行器中的復(fù)雜系統(tǒng)以確保安全飛行的記憶指南。飛行檢查表的第一種形式是紙張格式。紙張檢查表是非常簡(jiǎn)單的設(shè)備；它們由寫在紙張卡片上的項(xiàng)目的列表構(gòu)成。在大多數(shù)情況下，將卡片保持在飛行員的手中，或夾到軛，或粘合到儀表板。滾動(dòng)檢查表由窄紙條構(gòu)成，該窄紙條在兩個(gè)卷軸之間垂直滾動(dòng)。機(jī)械檢查表由小面板構(gòu)成，該小面板包含若干塑料滑道，其在檢查表項(xiàng)目的列表上移動(dòng)。隨著完成項(xiàng)目，滑道被移動(dòng)以覆蓋項(xiàng)目的名稱。電子飛行檢查表的開(kāi)發(fā)提供了一種系統(tǒng)，其使用標(biāo)準(zhǔn)化的正常和非正常檢查表以用于執(zhí)行飛行前檢查和飛行檢查以及與警告條件相關(guān)聯(lián)的檢查。

電子飛行檢查表可以用于針對(duì)飛行而準(zhǔn)備飛行器，或者確保滿足某些條件以供飛行器在特定飛行階段（例如，飛行前、滑行、起飛、爬升、巡航、降落、進(jìn)場(chǎng)和著陸和停機(jī)）期間安全地操作。為了針對(duì)特定飛行階段準(zhǔn)備飛行器，飛行機(jī)組人員可以遵循一個(gè)或多個(gè)標(biāo)準(zhǔn)操作程序。通常，這些程序是以要完成的行動(dòng)項(xiàng)目的飛行前和/或飛行檢查表的形式記入文檔的。電子飛行檢查表可以包括安全外部檢查、駕駛艙檢查等。外部檢查可以涉及：飛行機(jī)組成員在飛行器周圍行走并驗(yàn)證與飛行器的外面相關(guān)聯(lián)的某些準(zhǔn)則被滿足。駕駛艙檢查可以包括一個(gè)或多個(gè)頭頂（overhead）面板、遮光板、駕駛艙儀表和/或基座的視覺(jué)掃描。在執(zhí)行頭頂、遮光板和/或駕駛艙儀表掃描時(shí)，飛行機(jī)組人員必須確保大量的開(kāi)關(guān)被適當(dāng)?shù)嘏渲?。如果不是所有開(kāi)關(guān)都在所需位置中，則災(zāi)難性狀況可能發(fā)生。

因此，期望確保飛行檢查（例如，與飛行檢查表相關(guān)聯(lián)的行動(dòng)）在沒(méi)有錯(cuò)誤的情況下完成。此外，從結(jié)合附圖以及前述技術(shù)領(lǐng)域和背景技術(shù)作出的隨后的具體實(shí)施方式和所附權(quán)利要求中，其它期望的特征和特性將變得顯而易見(jiàn)。

技術(shù)實(shí)現(xiàn)要素：

本公開(kāi)的一些實(shí)施例提供了一種用于向飛行器上的飛行機(jī)組人員提供視覺(jué)覆蓋輔助的方法。該方法經(jīng)由視覺(jué)覆蓋設(shè)備顯示來(lái)呈現(xiàn)針對(duì)位于飛行器上的駕駛艙中的多個(gè)駕駛艙儀表的所需設(shè)置，其中所需設(shè)置被呈現(xiàn)為疊加在所述多個(gè)駕駛艙儀表中的每一個(gè)上的圖形元素。

一些實(shí)施例提供了一種用于向飛行器上的飛行機(jī)組人員提供視覺(jué)覆蓋輔助的系統(tǒng)。該系統(tǒng)包括：系統(tǒng)存儲(chǔ)器，被配置為存儲(chǔ)包括與多個(gè)駕駛艙儀表相關(guān)聯(lián)的所需設(shè)置的一個(gè)或多個(gè)數(shù)據(jù)庫(kù)；至少一個(gè)處理器，通信地耦合到所述系統(tǒng)存儲(chǔ)器和近眼（NTE）顯示器，所述至少一個(gè)處理器被配置為：識(shí)別針對(duì)所述多個(gè)駕駛艙儀表的所需設(shè)置；并將所需設(shè)置傳輸?shù)絅TE顯示器；以及NTE顯示器，被配置為在視野中將所需設(shè)置呈現(xiàn)為疊加在所述多個(gè)駕駛艙儀表上的圖形元素。

一種在其上包含指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述指令在由處理器執(zhí)行時(shí)執(zhí)行一種方法，所述方法包括：捕獲飛行器上的駕駛艙的圖像，其中所述圖像描繪包括開(kāi)關(guān)和儀表裝置（instrumentation）的座艙元件；基于所捕獲的圖像識(shí)別與所述座艙元件相關(guān)聯(lián)的多個(gè)開(kāi)關(guān)位置和讀出值；基于所述多個(gè)開(kāi)關(guān)位置和讀出值來(lái)確定所述座艙元件中的一個(gè)需要調(diào)整；以及經(jīng)由近眼（NTE）顯示器呈現(xiàn)疊加在所述座艙元件中需要調(diào)整的一個(gè)上的通知。

提供了本發(fā)明內(nèi)容以便以簡(jiǎn)化形式介紹以下在具體實(shí)施方式中進(jìn)一步描述的一系列構(gòu)思。本發(fā)明內(nèi)容不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，其也不旨在被用作確定所要求保護(hù)的主題的范圍時(shí)的幫助。

附圖說(shuō)明

當(dāng)結(jié)合以下附圖而考慮時(shí)，可以通過(guò)參考具體實(shí)施方式和權(quán)利要求來(lái)得出對(duì)主題的更完整的理解，其中遍及以下附圖，相似的附圖標(biāo)記指代類似的元件。

圖1是根據(jù)所公開(kāi)的實(shí)施例的駕駛艙輔助系統(tǒng)的示意性框圖表示；

圖2A是包括使用駕駛艙輔助系統(tǒng)而查看的特定儀表的示例性實(shí)施例的駕駛艙的圖解表示；

圖2B是使用駕駛艙輔助系統(tǒng)而查看的特定儀表的示例性實(shí)施例的放大視圖；

圖3是使用駕駛艙輔助系統(tǒng)而查看的駕駛艙儀表板的圖解表示；

圖4是圖示了用于向飛行器上的飛行機(jī)組人員提供視覺(jué)覆蓋輔助的過(guò)程的實(shí)施例的流程圖；

圖5是圖示了用于確定駕駛艙儀表需要調(diào)整的過(guò)程的實(shí)施例的流程圖；和

圖6是圖示了用于基于用戶輸入調(diào)整來(lái)變更視覺(jué)覆蓋顯示的過(guò)程的實(shí)施例的流程圖。

具體實(shí)施方式

以下具體實(shí)施方式本質(zhì)上僅是說(shuō)明性的，而不旨在限制主題的實(shí)施例或這種實(shí)施例的應(yīng)用和使用。如本文所使用的，詞語(yǔ)“示例性”意味著“用作示例、實(shí)例或說(shuō)明”。本文中作為示例性而描述的任何實(shí)現(xiàn)方式不一定要被理解為相比于其它實(shí)現(xiàn)方式優(yōu)選或有利。此外，并不意圖受在前述技術(shù)領(lǐng)域、背景技術(shù)、發(fā)明內(nèi)容或以下具體實(shí)施方式中呈現(xiàn)的任何明示或暗示的理論約束。

本文所呈現(xiàn)的主題涉及用于經(jīng)由視覺(jué)覆蓋顯示器呈現(xiàn)疊加在駕駛艙儀表上的圖形元素的方法和裝置。圖形元素被設(shè)計(jì)成將飛行機(jī)組成員的注意力帶到特定駕駛艙儀表，并指示針對(duì)該駕駛艙儀表的所需設(shè)置。在某些實(shí)施例中，針對(duì)其而顯示視覺(jué)覆蓋特征的駕駛艙儀表與用戶選擇的電子飛行檢查表相關(guān)聯(lián)，并且在一些實(shí)施例中，針對(duì)需要調(diào)整的駕駛艙儀表而顯示圖形元素。

關(guān)于本公開(kāi)的各種實(shí)施例使用某些術(shù)語(yǔ)。駕駛艙指代飛行器的座艙，一個(gè)或多個(gè)飛行機(jī)組成員從該座艙控制飛行器。駕駛艙在至少一個(gè)儀表板上包含駕駛艙儀表，該駕駛艙儀表可以包括開(kāi)關(guān)、量表、顯示器、和使飛行機(jī)組人員能夠操作飛行器的各種控制裝置。出于本公開(kāi)的目的，將視覺(jué)覆蓋呈現(xiàn)為其元素由計(jì)算機(jī)生成的圖形元素補(bǔ)充的物理現(xiàn)實(shí)世界環(huán)境（例如，飛行器的駕駛艙的里面）的實(shí)況直接視圖（live direct view），該計(jì)算機(jī)生成的圖形元素為用戶提供附加數(shù)據(jù)。在這種情況下，圖形元素疊加在相關(guān)聯(lián)的駕駛艙儀表上，以便喚起用戶對(duì)適用于特定駕駛艙儀表的設(shè)置數(shù)據(jù)的注意。視覺(jué)覆蓋顯示器可以包括諸如可穿戴顯示設(shè)備（例如，護(hù)目鏡、眼鏡等）之類的近眼（NTE）顯示器或諸如智能電話之類的手持NTE顯示器。

現(xiàn)在轉(zhuǎn)到附圖，圖1是根據(jù)所公開(kāi)的實(shí)施例的駕駛艙輔助系統(tǒng)100的示意性框圖表示。駕駛艙輔助系統(tǒng)100可以包括而不限于：至少一個(gè)處理器102；系統(tǒng)存儲(chǔ)器104；用戶接口106；無(wú)線通信設(shè)備108；圖像捕獲系統(tǒng)110；圖像處理模塊112；分析模塊114；和近眼（NTE）顯示器116。駕駛艙輔助系統(tǒng)100的這些元件和特征可以彼此在操作上相關(guān)聯(lián)，彼此耦合，或者以其它方式被配置為根據(jù)需要彼此協(xié)作以支持期望功能性——特別地，向飛行機(jī)組人員提供視覺(jué)覆蓋輔助，從而完成飛行器上的電子檢查表，如本文所述。為了易于說(shuō)明以及為了清楚，針對(duì)這些元件和特征的各種物理、電氣和邏輯耦合和互連未被描繪在圖1中。此外，應(yīng)當(dāng)領(lǐng)會(huì)，駕駛艙輔助系統(tǒng)100的實(shí)施例將包括協(xié)作以支持期望功能性的其它元件、模塊和特征。為了簡(jiǎn)明起見(jiàn)，圖1僅描繪了與下面更詳細(xì)描述的電子檢查表輔助技術(shù)相關(guān)的某些元件。

至少一個(gè)處理器102可以用下述各項(xiàng)實(shí)現(xiàn)或執(zhí)行：一個(gè)或多個(gè)通用處理器、內(nèi)容可尋址存儲(chǔ)器、數(shù)字信號(hào)處理器、專用集成電路、現(xiàn)場(chǎng)可編程門陣列、任何合適的可編程邏輯設(shè)備、分立門或晶體管邏輯、分立硬件部件或被設(shè)計(jì)成執(zhí)行這里所描述的功能的任何組合。特別地，至少一個(gè)處理器102可以被實(shí)現(xiàn)為一個(gè)或多個(gè)微處理器、控制器、微控制器或狀態(tài)機(jī)。此外，至少一個(gè)處理器102可以被實(shí)現(xiàn)為計(jì)算設(shè)備的組合，例如數(shù)字信號(hào)處理器和微處理器的組合、多個(gè)微處理器、結(jié)合數(shù)字信號(hào)處理器核的一個(gè)或多個(gè)微處理器、或任何其它這種配置。

如對(duì)實(shí)施例而言適當(dāng)?shù)哪菢?，可以使用任何?shù)量的設(shè)備、部件或模塊來(lái)實(shí)現(xiàn)系統(tǒng)存儲(chǔ)器104。此外，如對(duì)特定實(shí)施例而言適當(dāng)?shù)哪菢?，至少一個(gè)處理器102可以包括集成在其中的系統(tǒng)存儲(chǔ)器104和/或操作地耦合到其的系統(tǒng)存儲(chǔ)器104。在實(shí)踐中，系統(tǒng)存儲(chǔ)器104可以被實(shí)現(xiàn)為RAM存儲(chǔ)器、閃存、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤、可移除盤或本領(lǐng)域中已知的任何其它形式的存儲(chǔ)介質(zhì)。在某些實(shí)施例中，系統(tǒng)存儲(chǔ)器104包括硬盤，該硬盤也可以用于支持駕駛艙輔助系統(tǒng)100的功能。系統(tǒng)存儲(chǔ)器104可以耦合到至少一個(gè)處理器102，使得至少一個(gè)處理器102可以從系統(tǒng)存儲(chǔ)器104讀取信息并將信息寫入到系統(tǒng)存儲(chǔ)器104。在可替換方案中，系統(tǒng)存儲(chǔ)器104可以集成到至少一個(gè)處理器102。作為示例，至少一個(gè)處理器102和系統(tǒng)存儲(chǔ)器104可以駐留在合適地設(shè)計(jì)的專用集成電路（ASIC）中。

系統(tǒng)存儲(chǔ)器104被配置為存儲(chǔ)包括電子飛行檢查表數(shù)據(jù)的一個(gè)或多個(gè)數(shù)據(jù)庫(kù)，該電子飛行檢查表數(shù)據(jù)包括針對(duì)飛行器的駕駛艙中的儀表裝置的所需設(shè)置、開(kāi)關(guān)位置、讀出值和其它配置參數(shù)。每個(gè)飛行檢查表包括供飛行機(jī)組成員在飛行之前和/或在飛行期間完成以確保在飛行期間飛行器上的系統(tǒng)的安全操作的一組行動(dòng)項(xiàng)目。存儲(chǔ)在系統(tǒng)存儲(chǔ)器104中的飛行檢查表可以包括作為行業(yè)中的標(biāo)準(zhǔn)的航空檢查表和/或用戶已經(jīng)配置的定制檢查表。

在某些實(shí)施例中，飛行檢查表可以與下述兩種類型中的一種相關(guān)聯(lián)：正常飛行檢查表或非正常飛行檢查表。正常飛行檢查表與飛行階段（例如，飛行前、滑行、起飛、爬升、巡航、降落、進(jìn)場(chǎng)和著陸和停機(jī)）相關(guān)聯(lián)。在每個(gè)飛行階段之前，需要飛行機(jī)組人員配置飛行器以用于安全飛行操作，并且飛行機(jī)組人員使用預(yù)定的正常飛行檢查表來(lái)輔助該配置。非正常飛行檢查表由響應(yīng)于與飛行器上的裝備和/或系統(tǒng)相關(guān)聯(lián)的難題或問(wèn)題而生成的警告或公告消息（例如，引擎指示和機(jī)組人員報(bào)警系統(tǒng)（EICAS）消息）驅(qū)動(dòng)。非正常飛行檢查表提供使飛行器固定和/或安全地從警告場(chǎng)景帶走飛行器的指令。

用戶接口106可以包括各種特征或與各種特征協(xié)作以允許用戶與駕駛艙輔助系統(tǒng)100交互。因此，用戶接口106可以包括各種人機(jī)接口，例如鍵區(qū)、按鍵、鍵盤、按鈕、開(kāi)關(guān)、旋鈕、觸摸板、操縱桿、定點(diǎn)設(shè)備、虛擬手寫板、觸摸屏、麥克風(fēng)、或者使用戶能夠選擇選項(xiàng)、輸入信息或以其它方式控制駕駛艙輔助系統(tǒng)100的操作的任何設(shè)備、部件或功能。例如，用戶接口106可以由操作者操縱以選擇并完成適用于飛行前和飛行安全程序的電子飛行檢查表，如本文所述。

無(wú)線通信設(shè)備108被合適地配置為提供本地?zé)o線網(wǎng)絡(luò)，以用于在駕駛艙輔助系統(tǒng)100的無(wú)線傳輸范圍內(nèi)的一個(gè)或多個(gè)設(shè)備之間傳輸信號(hào)。例如，無(wú)線通信設(shè)備108生成本地?zé)o線通信網(wǎng)絡(luò)，其用于在駕駛艙輔助系統(tǒng)100和任何所連接的外圍無(wú)線設(shè)備之間傳送數(shù)據(jù)。例如，與圖像捕獲系統(tǒng)110或無(wú)線近眼（NTE）顯示器116相關(guān)聯(lián)的一個(gè)或多個(gè)無(wú)線相機(jī)可以經(jīng)由由無(wú)線通信設(shè)備108生成的無(wú)線網(wǎng)絡(luò)來(lái)與駕駛艙輔助系統(tǒng)100的其它元件通信。在一些實(shí)施例中，無(wú)線通信設(shè)備108生成與IEEE 802.11標(biāo)準(zhǔn)兼容的WLAN網(wǎng)絡(luò)，并且在其它實(shí)施例中，無(wú)線通信設(shè)備108可以生成自組織（ad-hoc）網(wǎng)絡(luò)、藍(lán)牙網(wǎng)絡(luò)、個(gè)域網(wǎng)（PAN）等。

出于獲得駕駛艙儀表裝置的圖像的目的，圖像捕獲系統(tǒng)110包括位于飛行器的駕駛艙中的一個(gè)或多個(gè)相機(jī)。與圖像捕獲系統(tǒng)110相關(guān)聯(lián)的每個(gè)相機(jī)可以具有捕獲駕駛艙的內(nèi)部的靜止幀和/或視頻圖像的能力?？梢栽隈{駛艙中在任何方向上定位相機(jī)，以便捕獲包括任何駕駛艙儀表裝置的圖像。圖像捕獲系統(tǒng)110可以被配置為以定時(shí)間隔或響應(yīng)于用戶行動(dòng)（例如，電子檢查表的用戶選擇、特定駕駛艙儀表的用戶選擇等）獲得圖像。圖像捕獲系統(tǒng)110經(jīng)由有線或無(wú)線連接來(lái)與駕駛艙輔助系統(tǒng)100的各種元件通信，且被配置為傳輸所捕獲的圖像以用于處理和分析。

圖像處理模塊112被配置為使用本領(lǐng)域中通常已知的圖像處理和對(duì)象辨別技術(shù)來(lái)掃描和辨別經(jīng)由圖像捕獲系統(tǒng)110獲得的一個(gè)或多個(gè)圖像中的駕駛艙儀表。在某些實(shí)施例中，圖像處理模塊112使用數(shù)字圖像處理技術(shù)，其包括圖像分析和分段技術(shù)。圖像分析涉及從圖像進(jìn)行定量測(cè)量以產(chǎn)生其描述。以最簡(jiǎn)單的形式，該任務(wù)可以是讀取開(kāi)關(guān)位置或讀出值。分段技術(shù)用于將期望對(duì)象與圖像隔離，使得可以提取位置或讀出值。將該信息與預(yù)期的開(kāi)關(guān)位置和讀出值的預(yù)加載數(shù)據(jù)庫(kù)（存儲(chǔ)在系統(tǒng)存儲(chǔ)器104中）進(jìn)行比較。駕駛艙輔助系統(tǒng)100然后將需要校正的座艙元件的經(jīng)校正位置和讀出值的反饋發(fā)送到駕駛艙輔助系統(tǒng)100。然后，駕駛艙輔助系統(tǒng)100將覆蓋文本和/或（一個(gè)或多個(gè)）符號(hào)疊加在座艙元件上以用于校正。

分析模塊114被配置為識(shí)別與駕駛艙儀表相關(guān)聯(lián)的適當(dāng)設(shè)置數(shù)據(jù)，并將設(shè)置數(shù)據(jù)提供給近眼（NTE）顯示器116。在某些實(shí)施例中，分析模塊114使用由圖像處理模塊112提供的數(shù)據(jù)以識(shí)別駕駛艙儀表裝置的當(dāng)前狀態(tài)，訪問(wèn)存儲(chǔ)在系統(tǒng)存儲(chǔ)器104中的駕駛艙儀表裝置的所需狀態(tài)，以及確定為了符合飛行前和/或飛行檢查要求所必需的調(diào)整。在某些實(shí)施例中，分析模塊114可以識(shí)別與存儲(chǔ)在數(shù)據(jù)庫(kù)中的特定檢查表相關(guān)聯(lián)的一組駕駛艙儀表，并確定針對(duì)該組駕駛艙儀表的必要設(shè)置和/或調(diào)整。

近眼（NTE）顯示器116是光學(xué)顯示設(shè)備，該光學(xué)顯示設(shè)備包括內(nèi)部電路和硬件，其被配置為允許用戶查看他的周圍環(huán)境并在周圍環(huán)境上呈現(xiàn)適用的圖形元素的覆蓋。出于本公開(kāi)的目的，現(xiàn)實(shí)世界周圍環(huán)境的視圖和圖形元素的覆蓋的組合被稱為增強(qiáng)視覺(jué)顯示。這里，分析模塊114經(jīng)由有線或無(wú)線連接來(lái)與NTE顯示器116通信，以提供增強(qiáng)視覺(jué)顯示以用于呈現(xiàn)給用戶。NTE顯示器116利用本領(lǐng)域普通技術(shù)人員公知的技術(shù)，且在這里將不被不必要描述。在示例性實(shí)施例中，NTE顯示器116可以被實(shí)現(xiàn)為一對(duì)眼鏡、護(hù)目鏡、頭戴式顯示器（HMD）、面甲（visor）、面罩、或者下述類似光學(xué)顯示設(shè)備：其被佩戴在眼睛前面且被配置為將增強(qiáng)視覺(jué)顯示呈現(xiàn)給用戶以用于在飛行器的駕駛艙內(nèi)部時(shí)查看。在其它實(shí)施例中，NTE顯示器116可以使用移動(dòng)計(jì)算顯示器而實(shí)現(xiàn)，該移動(dòng)計(jì)算顯示器諸如是智能電話、平板計(jì)算機(jī)、或者可在面部前面保持以提供增強(qiáng)視覺(jué)顯示的其它手持個(gè)人計(jì)算設(shè)備。

在實(shí)踐中，圖像處理模塊112和/或分析模塊114可以與至少一個(gè)處理器102一起實(shí)現(xiàn)（或與其協(xié)作），以執(zhí)行本文更詳細(xì)描述的功能和操作中的至少一些。在這點(diǎn)上，圖像處理模塊112和/或分析模塊114可以被實(shí)現(xiàn)為合適地編寫的處理邏輯、應(yīng)用程序代碼等。

圖2A是駕駛艙202的圖解表示，包括使用駕駛艙輔助系統(tǒng)而查看的特定儀表的示例性實(shí)施例。如所示出的那樣，駕駛艙202在至少一個(gè)儀表板上包括駕駛艙儀表，該駕駛艙儀表可以包括開(kāi)關(guān)、量表、顯示器、和使飛行機(jī)組人員能夠操作飛行器的各種控制裝置。在該特定示例中包括的駕駛艙儀表中的一個(gè)是速度制動(dòng)器206。圖2B從視覺(jué)覆蓋顯示系統(tǒng)的角度圖示了來(lái)自駕駛艙202的速度制動(dòng)器206的放大視圖204。視覺(jué)覆蓋顯示系統(tǒng)已經(jīng)在駕駛艙中速度制動(dòng)器所位于的區(qū)域上疊加了圖形元素208。在該特定實(shí)施例中，圖形元素208包括為針對(duì)速度制動(dòng)器206的所需設(shè)置提供指令的文本。然而，在一些實(shí)施例中，視覺(jué)覆蓋顯示系統(tǒng)可以呈現(xiàn)一個(gè)或多個(gè)符號(hào)或者一個(gè)或多個(gè)符號(hào)和文本的組合，以指示變更速度制動(dòng)器206的狀態(tài)以符合電子飛行檢查表要求所必需的步驟。

在該示例中，圖形元素208指示速度制動(dòng)器206應(yīng)當(dāng)處于“已裝備”位置中。在某些實(shí)施例中，視覺(jué)覆蓋顯示系統(tǒng)可以呈現(xiàn)該圖形元素208以指示這是所需設(shè)置，而不管速度制動(dòng)器的狀態(tài)如何。然而，在其它實(shí)施例中，視覺(jué)覆蓋顯示系統(tǒng)可以確定速度制動(dòng)器206的當(dāng)前狀態(tài)，且當(dāng)所需設(shè)置不匹配于當(dāng)前狀態(tài)時(shí)呈現(xiàn)圖形元素208。因此，當(dāng)需要干預(yù)時(shí)，向飛行機(jī)組人員提供指令。

圖3是使用駕駛艙輔助系統(tǒng)而查看的駕駛艙儀表板300的圖解表示。應(yīng)當(dāng)注意，駕駛艙儀表板300可以被實(shí)現(xiàn)為圖2A中描繪的駕駛艙202的一部分。在這點(diǎn)上，駕駛艙儀表板300更詳細(xì)地示出駕駛艙202的某些元件和部件。

在該特定實(shí)施例中，視覺(jué)覆蓋顯示系統(tǒng)呈現(xiàn)疊加在需要調(diào)整的每個(gè)駕駛艙儀表上的由文本表示的圖形元素302。由圖形元素302呈現(xiàn)的文本服務(wù)于：（1）喚起飛行機(jī)組人員對(duì)需要調(diào)整的特定駕駛艙儀表的注意；和（2）提供針對(duì)改變每個(gè)駕駛艙儀表的狀態(tài)所需的行動(dòng)項(xiàng)目的指令。這里，在控制自動(dòng)駕駛儀功能性的駕駛艙儀表（即“A/P嚙合（A/P ENGAGE）”）上呈現(xiàn)圖形元素302。該圖形元素302使用文本“AP..OFF”來(lái)指示飛行機(jī)組人員關(guān)閉自動(dòng)駕駛儀儀表。為飛行指揮儀儀表（“F/D..ON”）、機(jī)組人員警告系統(tǒng)（“CWS..ON”）和襟翼控制儀表（“FLAPS..UP”）提供類似的指令。這些圖形元素302中的每一個(gè)提供與特定駕駛艙儀表相關(guān)聯(lián)的具體指令，且疊加在儀表板上的特定駕駛艙儀表的區(qū)域上。

如所示出的那樣，為需要調(diào)整的駕駛艙儀表的子集提供圖形元素302。在其它實(shí)施例中，可以為與特定飛行檢查檢查表相關(guān)聯(lián)的駕駛艙儀表的子集提供圖形元素302，并且一些實(shí)施例可以呈現(xiàn)所需的設(shè)置，而不管每個(gè)駕駛艙儀表的當(dāng)前狀態(tài)如何。

圖4是圖示了用于向飛行器上的飛行機(jī)組人員提供視覺(jué)覆蓋輔助的過(guò)程的實(shí)施例的流程圖。結(jié)合過(guò)程400執(zhí)行的各種任務(wù)可以由軟件、硬件、固件或其任何組合來(lái)執(zhí)行。出于說(shuō)明性目的，過(guò)程400的以下描述可以指代以上結(jié)合圖1-3提到的元件。在實(shí)踐中，過(guò)程400的部分可以由所描述的系統(tǒng)的不同元件來(lái)執(zhí)行。應(yīng)當(dāng)領(lǐng)會(huì)，過(guò)程400可以包括任何數(shù)量的附加或可替換任務(wù)，不必以所圖示的順序執(zhí)行圖4中所示的任務(wù)，并且過(guò)程400可以被并入到具有本文未詳細(xì)描述的附加功能性的更全面的程序或過(guò)程中。此外，可以從過(guò)程400的實(shí)施例中省略圖4中所示的任務(wù)中的一個(gè)或多個(gè)，只要預(yù)期的總體功能性保持完整無(wú)缺即可。

首先，過(guò)程400檢測(cè)已經(jīng)訪問(wèn)與飛行檢查相關(guān)聯(lián)的行動(dòng)項(xiàng)目的電子檢查表（步驟402）。電子檢查表一般存儲(chǔ)在飛行器的機(jī)載計(jì)算機(jī)系統(tǒng)的一個(gè)或多個(gè)數(shù)據(jù)庫(kù)中，且可以根據(jù)需要而被訪問(wèn)。電子檢查表可以包括符合行業(yè)標(biāo)準(zhǔn)的“官方”檢查表、用戶配置的檢查表或這些檢查表的組合。每個(gè)電子檢查表包括飛行器操作所需的駕駛艙儀表設(shè)置的列表，并且電子檢查表的完成可以是飛行前或飛行期間檢查的強(qiáng)制部分。

在某些實(shí)施例中，飛行檢查表可以與下述兩種類型中的一種相關(guān)聯(lián)：正常飛行檢查表或非正常飛行檢查表。正常飛行檢查表與飛行階段（例如，飛行前、滑行、起飛、爬升、巡航、降落、進(jìn)場(chǎng)和著陸和停機(jī)）相關(guān)聯(lián)。在每個(gè)飛行階段之前，需要飛行機(jī)組人員配置飛行器以用于安全飛行操作，并且飛行機(jī)組人員使用預(yù)定的正常飛行檢查表來(lái)輔助該配置。非正常飛行檢查表由響應(yīng)于與飛行器上的裝備和/或系統(tǒng)相關(guān)聯(lián)的難題或問(wèn)題而生成的警告或公告消息（例如，引擎指示和機(jī)組人員報(bào)警系統(tǒng)（EICAS）消息）驅(qū)動(dòng)。非正常飛行檢查表提供使飛行器固定和/或安全地從警告場(chǎng)景帶走飛行器的指令。

接著，過(guò)程400辨別與行動(dòng)項(xiàng)目相關(guān)聯(lián)的多個(gè)駕駛艙儀表（步驟404）。這里，過(guò)程400訪問(wèn)所存儲(chǔ)的、電子檢查表數(shù)據(jù)的數(shù)據(jù)庫(kù)，其包括詳述用于完成電子檢查表行動(dòng)項(xiàng)目的一個(gè)或多個(gè)駕駛艙儀表的信息。然后，過(guò)程400經(jīng)由視覺(jué)覆蓋設(shè)備顯示將針對(duì)該多個(gè)駕駛艙儀表的所需設(shè)置呈現(xiàn)為疊加在該多個(gè)駕駛艙儀表中的每一個(gè)上的圖形元素（步驟406）。

使用圖3中描述的示例，駕駛艙儀表的子集可以與完成第一檢查表（例如，“檢查表1”）相關(guān)。過(guò)程400訪問(wèn)檢查表1，并辨別自動(dòng)駕駛儀儀表、飛行指揮儀儀表、機(jī)組人員警告系統(tǒng)儀表和襟翼控制儀表被使用以完成檢查表1。駕駛艙儀表的該子集不包括面板上的儀表的整體或駕駛艙中的儀表的整體。子集僅表示與檢查表1的完成相關(guān)的駕駛艙儀表。其它駕駛艙儀表可以與其它電子檢查表相關(guān)。過(guò)程400將從檢查表1獲得的針對(duì)駕駛艙儀表的子集中的每一個(gè)的所需設(shè)置呈現(xiàn)為視覺(jué)覆蓋顯示中的文本和/或符號(hào)。文本和/或符號(hào)可以疊加在每個(gè)適用的駕駛艙儀表上，或疊加在總體上處于適用的駕駛艙儀表附近的面板上。作為檢查表1的一部分，文本可以包括供飛行機(jī)組成員完成的具體指令。文本或符號(hào)可以被格式化以喚起對(duì)適用的駕駛艙儀表的注意。

在某些實(shí)施例中，通過(guò)視覺(jué)覆蓋設(shè)備顯示而呈現(xiàn)的所需設(shè)置包括對(duì)相關(guān)聯(lián)的駕駛艙儀表的所需調(diào)整。在這種情況下，駕駛艙輔助系統(tǒng)首先確定特定駕駛艙儀表需要調(diào)整，且然后將所需調(diào)整的指示呈現(xiàn)為疊加在相關(guān)聯(lián)的駕駛艙儀表上的圖形元素。圖5是圖示了用于確定駕駛艙儀表需要調(diào)整的該過(guò)程500的實(shí)施例的流程圖。

首先，過(guò)程500捕獲包括多個(gè)駕駛艙儀表的駕駛艙的圖像（步驟502）。過(guò)程500可以根據(jù)定時(shí)調(diào)度或響應(yīng)于用戶訪問(wèn)飛行器上的電子檢查表來(lái)啟動(dòng)圖像捕獲。圖像可以存儲(chǔ)在機(jī)載計(jì)算機(jī)系統(tǒng)中以用于進(jìn)一步處理和分析。過(guò)程500可以捕獲包括駕駛艙儀表的任何子集的單個(gè)圖像，直到且潛在地包括駕駛艙儀表的整體。在其它實(shí)施例中，過(guò)程500可以捕獲來(lái)自多個(gè)相機(jī)的多個(gè)圖像。作為示例，過(guò)程500可以根據(jù)定時(shí)間隔調(diào)度來(lái)捕獲駕駛艙的各種區(qū)域或角度的圖像，并存儲(chǔ)圖像以用于在需要時(shí)進(jìn)一步處理。在一些實(shí)施例中，過(guò)程500可以捕獲與所訪問(wèn)的電子檢查表相關(guān)的一個(gè)或多個(gè)圖像（使用一個(gè)或多個(gè)相機(jī)）。例如，用戶可以訪問(wèn)與特定儀表板相關(guān)的特定檢查表。過(guò)程500然后可以捕獲特定儀表板的當(dāng)前圖像或多于一個(gè)特定儀表板的當(dāng)前圖像，以用于進(jìn)一步分析。

接著，過(guò)程500處理圖像以識(shí)別針對(duì)該多個(gè)駕駛艙儀表的當(dāng)前設(shè)置（步驟504）。當(dāng)前設(shè)置可以包括駕駛艙儀表的配置的當(dāng)前開(kāi)關(guān)位置、讀出值和其它視覺(jué)指示。

在某些實(shí)施例中，過(guò)程500使用數(shù)字圖像處理技術(shù)，其包括圖像分析和分段技術(shù)。圖像分析涉及從圖像進(jìn)行定量測(cè)量以產(chǎn)生其描述。以最簡(jiǎn)單的形式，該任務(wù)可以是讀取開(kāi)關(guān)位置或讀出值。分段技術(shù)用于將期望對(duì)象與圖像隔離，使得可以提取位置或讀出值?？梢詫⒃撔畔⑴c預(yù)期的開(kāi)關(guān)位置和讀出值的預(yù)加載數(shù)據(jù)庫(kù)進(jìn)行比較。

過(guò)程500然后訪問(wèn)與特定駕駛艙儀表相關(guān)聯(lián)的所需設(shè)置的數(shù)據(jù)庫(kù)（步驟506）。針對(duì)駕駛艙儀表的所需設(shè)置（例如，開(kāi)關(guān)位置、讀出值等）可以在飛行的不同時(shí)間和/或階段處改變。換句話說(shuō)，駕駛艙儀表可能需要在飛行前期間的特定設(shè)置，需要在起飛期間對(duì)設(shè)置的改變，以及潛在地需要在飛行的其它階段期間對(duì)設(shè)置的其它改變。所需設(shè)置（例如，開(kāi)關(guān)位置和讀出值）中的這些變化存儲(chǔ)在機(jī)載數(shù)據(jù)庫(kù)中。過(guò)程500將當(dāng)前設(shè)置與所需設(shè)置進(jìn)行比較（步驟508）以識(shí)別差異。當(dāng)所需設(shè)置和檢測(cè)到的當(dāng)前設(shè)置不匹配時(shí)，存在差異。

在當(dāng)前設(shè)置與所需設(shè)置相同（510的“是”分支）時(shí)，過(guò)程500辨別出不存在差異，并且過(guò)程500結(jié)束（步驟516）。然而，在當(dāng)前設(shè)置不同于所需設(shè)置（510的“否”分支）時(shí)，過(guò)程500確定在當(dāng)前設(shè)置和所需設(shè)置之間存在差異，并且相關(guān)聯(lián)的駕駛艙儀表需要調(diào)整（步驟512）。這里，因?yàn)樗柙O(shè)置對(duì)于在操作飛行器時(shí)的安全性而言是必要的，所以過(guò)程500確定必須改變當(dāng)前設(shè)置以匹配于所需設(shè)置。

過(guò)程500然后經(jīng)由視覺(jué)覆蓋設(shè)備顯示器來(lái)呈現(xiàn)疊加在該多個(gè)駕駛艙儀表中的每一個(gè)上的通知，其中該通知提供針對(duì)調(diào)整的指令（步驟514）。這些指令可以被呈現(xiàn)為文本、符號(hào)或文本和符號(hào)二者的組合。每個(gè)指令可以被放置在駕駛艙中相關(guān)聯(lián)的駕駛艙儀表的位置上方、上面或總體上該位置附近。

圖6是圖示了用于基于用戶輸入配置來(lái)變更視覺(jué)覆蓋顯示的過(guò)程600的實(shí)施例的流程圖。過(guò)程600可以在已經(jīng)呈現(xiàn)視覺(jué)覆蓋顯示之后被啟動(dòng)，如以上關(guān)于圖4和5所描述。首先，過(guò)程600檢測(cè)多個(gè)駕駛艙儀表中的一個(gè)的用戶配置的執(zhí)行（步驟602）。用戶配置包括啟動(dòng)和/或改變?cè)O(shè)置，諸如針對(duì)駕駛艙儀表的開(kāi)關(guān)位置或讀出值。過(guò)程600然后將用戶配置與針對(duì)特定駕駛艙儀表的所需設(shè)置進(jìn)行比較（步驟604）。如以上關(guān)于圖5所描述，過(guò)程600訪問(wèn)飛行器上的數(shù)據(jù)庫(kù)處的所需設(shè)置。

當(dāng)檢測(cè)到的用戶配置不對(duì)應(yīng)于所需設(shè)置（606的“否”分支）時(shí)，過(guò)程600結(jié)束。這里，過(guò)程600確定用戶尚未完成來(lái)自電子檢查表的行動(dòng)項(xiàng)目以努力將特定駕駛艙儀表的設(shè)置與所需設(shè)置調(diào)準(zhǔn)，并且過(guò)程600未對(duì)視覺(jué)覆蓋顯示進(jìn)行任何改變，該視覺(jué)覆蓋顯示提供指示和/或喚起對(duì)駕駛艙儀表的所需設(shè)置的注意。然而，當(dāng)檢測(cè)到的用戶配置對(duì)應(yīng)于所需設(shè)置（606的“是”分支）時(shí)，那么過(guò)程600移除由視覺(jué)覆蓋顯示設(shè)備呈現(xiàn)的與所需設(shè)置中的一個(gè)相關(guān)聯(lián)的圖形元素。這里，過(guò)程600確定用戶已經(jīng)完成經(jīng)由視覺(jué)覆蓋顯示而呈現(xiàn)的來(lái)自電子檢查表的行動(dòng)項(xiàng)目，并從視覺(jué)覆蓋顯示移除指令。在某些實(shí)施例中，過(guò)程600請(qǐng)求來(lái)自用戶的關(guān)于電子檢查表行動(dòng)項(xiàng)目完成的確認(rèn)，且一旦已經(jīng)接收到確認(rèn)就移除相關(guān)聯(lián)的通知。

在一些實(shí)施例中，由視覺(jué)覆蓋顯示呈現(xiàn)的所需設(shè)置可以包括對(duì)駕駛艙儀表的所需調(diào)整的通知，并且用戶輸入配置可以包括對(duì)現(xiàn)有設(shè)置的修改。這里，當(dāng)視覺(jué)覆蓋顯示已經(jīng)如圖5所描述的那樣提供針對(duì)調(diào)整的指令時(shí)，過(guò)程600將修改與針對(duì)調(diào)整的指令進(jìn)行比較，并且當(dāng)修改對(duì)應(yīng)于針對(duì)調(diào)整的指令時(shí)，過(guò)程600移除由視覺(jué)覆蓋顯示設(shè)備呈現(xiàn)的通知中與調(diào)整中的一個(gè)相關(guān)聯(lián)的一個(gè)通知。這里，過(guò)程600確定用戶已經(jīng)完成所需調(diào)整中經(jīng)由視覺(jué)覆蓋顯示而呈現(xiàn)的一個(gè)調(diào)整，并從視覺(jué)覆蓋顯示移除指令。

在本文中可以在功能和/或邏輯塊部件方面且參考可由各種計(jì)算部件或設(shè)備執(zhí)行的操作、處理任務(wù)和功能的符號(hào)表示來(lái)描述技術(shù)和工藝。這種操作、任務(wù)和功能有時(shí)被稱為是計(jì)算機(jī)執(zhí)行的、計(jì)算機(jī)化的、軟件實(shí)現(xiàn)的或計(jì)算機(jī)實(shí)現(xiàn)的。在實(shí)踐中，一個(gè)或多個(gè)處理器設(shè)備可以通過(guò)操縱表示系統(tǒng)存儲(chǔ)器中的存儲(chǔ)器位置處的數(shù)據(jù)位的電信號(hào)以及其它信號(hào)處理來(lái)實(shí)施所描述的操作、任務(wù)和功能。其中數(shù)據(jù)位被維持的存儲(chǔ)器位置是具有對(duì)應(yīng)于數(shù)據(jù)位的特定電、磁、光學(xué)或有機(jī)屬性的物理位置。應(yīng)當(dāng)領(lǐng)會(huì)，附圖中示出的各種塊部件可以由被配置為執(zhí)行指定功能的任何數(shù)量的硬件、軟件和/或固件部件來(lái)實(shí)現(xiàn)。例如，系統(tǒng)或部件的實(shí)施例可以采用可在一個(gè)或多個(gè)微處理器或者其它控制設(shè)備的控制下實(shí)施多種功能的各種集成電路部件，例如存儲(chǔ)器元件、數(shù)字信號(hào)處理元件、邏輯元件、查找表等。

當(dāng)以軟件或固件實(shí)現(xiàn)時(shí)，本文所描述的系統(tǒng)的各種元件基本上是執(zhí)行各種任務(wù)的代碼段或指令。程序或代碼段可以存儲(chǔ)在處理器可讀介質(zhì)中或通過(guò)以載波體現(xiàn)的計(jì)算機(jī)數(shù)據(jù)信號(hào)在傳輸介質(zhì)或通信路徑上傳輸?！坝?jì)算機(jī)可讀介質(zhì)”、“處理器可讀介質(zhì)”或“機(jī)器可讀介質(zhì)”可以包括可存儲(chǔ)或傳遞信息的任何介質(zhì)。處理器可讀介質(zhì)的示例包括電子電路、半導(dǎo)體存儲(chǔ)器設(shè)備、ROM、閃存、可擦除ROM（EROM）、軟盤、CD-ROM、光盤、硬盤、光纖介質(zhì)、射頻（RF）鏈路等。計(jì)算機(jī)數(shù)據(jù)信號(hào)可以包括可在傳輸介質(zhì)（諸如，電子網(wǎng)絡(luò)信道、光纖、空氣、電磁路徑或RF鏈路）上傳播的任何信號(hào)。代碼段可以經(jīng)由諸如因特網(wǎng)、內(nèi)聯(lián)網(wǎng)、LAN等之類的計(jì)算機(jī)網(wǎng)絡(luò)而下載。

為了簡(jiǎn)潔起見(jiàn)，本文可能未詳細(xì)描述與系統(tǒng)（以及系統(tǒng)的個(gè)體操作部件）的信號(hào)處理、數(shù)據(jù)傳輸、信令、網(wǎng)絡(luò)控制和其它功能方面相關(guān)的常規(guī)技術(shù)。此外，本文包含的各種附圖中所示出的連接線旨在表示各種元件之間的示例性功能關(guān)系和/或物理耦合。應(yīng)當(dāng)注意，在主題的實(shí)施例中可以存在許多可替換或附加的功能關(guān)系或物理連接。

在本說(shuō)明書(shū)中描述的一些功能單元已經(jīng)被稱為“模塊”，以便更特別地強(qiáng)調(diào)它們的實(shí)現(xiàn)獨(dú)立性。例如，本文中稱為模塊的功能性可以被完全或部分實(shí)現(xiàn)為包括定制VLSI電路或門陣列的硬件電路、現(xiàn)成半導(dǎo)體（諸如邏輯芯片、晶體管）或其它分立部件。模塊還可以在諸如現(xiàn)場(chǎng)可編程門陣列、可編程陣列邏輯、可編程邏輯設(shè)備等之類的可編程硬件設(shè)備中實(shí)現(xiàn)。模塊還可以以軟件實(shí)現(xiàn)以供各種類型的處理器執(zhí)行?？蓤?zhí)行代碼的所標(biāo)識(shí)的模塊可以例如包括可例如被組織為對(duì)象、程序或功能的計(jì)算機(jī)指令的一個(gè)或多個(gè)物理或邏輯模塊。然而，所標(biāo)識(shí)的模塊的可執(zhí)行文件不必被物理地定位在一起，而是可以包括存儲(chǔ)在不同位置中的異類指令，其在被邏輯地連結(jié)在一起時(shí)包括模塊并實(shí)現(xiàn)針對(duì)模塊的所聲明的目的。的確，可執(zhí)行代碼的模塊可以是單個(gè)指令或許多指令，且甚至可以分布在若干不同代碼段上、分布在不同程序之間以及跨若干存儲(chǔ)器設(shè)備而分布。類似地，操作數(shù)據(jù)可以以任何合適形式體現(xiàn)且被組織在任何合適類型的數(shù)據(jù)結(jié)構(gòu)內(nèi)。操作數(shù)據(jù)可以作為單個(gè)數(shù)據(jù)集而被收集，或者可以分布在不同位置上（包括分布在不同存儲(chǔ)設(shè)備上），并且可以至少部分地僅作為電子信號(hào)存在于系統(tǒng)或網(wǎng)絡(luò)上。

雖然在前述具體實(shí)施方式中已經(jīng)呈現(xiàn)了至少一個(gè)示例性實(shí)施例，但是應(yīng)當(dāng)領(lǐng)會(huì)，存在大量的變型。還應(yīng)當(dāng)領(lǐng)會(huì)，本文所描述的一個(gè)或多個(gè)示例性實(shí)施例不旨在以任何方式限制所要求保護(hù)的主題的范圍、適用性或配置。相反，前述具體實(shí)施方式將給本領(lǐng)域技術(shù)人員提供用于實(shí)現(xiàn)所描述的一個(gè)或多個(gè)實(shí)施例的方便的路線圖。應(yīng)當(dāng)理解，在不脫離由權(quán)利要求限定的范圍的情況下，可以在元件的功能和布置中進(jìn)行各種改變，由權(quán)利要求限定的范圍包括在提交本專利申請(qǐng)時(shí)已知的等同物和可預(yù)見(jiàn)的等同物。