本發(fā)明涉及檢查正在開發(fā)中的、或在飛行著陸后處在維護(hù)中的、或處在程序化維護(hù)中的飛機(jī)發(fā)動機(jī)，尤其涉及到一種用于在檢查飛機(jī)發(fā)動機(jī)狀態(tài)時為遠(yuǎn)程診斷提供輔助的裝置和方法，其中操作員在現(xiàn)場使用內(nèi)窺鏡或相機(jī)來拍攝所述發(fā)動機(jī)的圖像并進(jìn)行測量，所述測量的結(jié)果與文件和參考圖像一起被發(fā)送到至少一個遠(yuǎn)程終端上，由至少一個遠(yuǎn)程專家使用所述遠(yuǎn)程終端以對所述圖像和測量結(jié)果進(jìn)行協(xié)同性分析，所述裝置還包含便攜式外殼，所述便攜式外殼可連接到監(jiān)視器并附帶有與內(nèi)窺鏡進(jìn)行無線通信的工具以及允許操作員手動和/或自動地通過語音和/或視頻和/或文本注釋來豐富所拍攝的圖像和測量結(jié)果的工具。

本發(fā)明還涉及到一種在使用內(nèi)窺鏡檢查飛機(jī)發(fā)動機(jī)期間為遠(yuǎn)程診斷提供輔助的方法。

本發(fā)明還涉及到存儲在存儲介質(zhì)上的、包含用于執(zhí)行所述方法中的步驟的指令的計算機(jī)程序。

背景技術(shù)：

在飛行著陸后檢驗(yàn)飛機(jī)發(fā)動機(jī)的狀態(tài)期間，在程序化維護(hù)期間或在開發(fā)飛機(jī)發(fā)動機(jī)的推進(jìn)組件或部件的測試期間，發(fā)動機(jī)部件由操作員在飛機(jī)機(jī)翼根部現(xiàn)場進(jìn)行檢驗(yàn)和測試或者在研發(fā)、測試或維修安裝中進(jìn)行檢驗(yàn)和測試。這些發(fā)動機(jī)在某些情況下要由技術(shù)專家們進(jìn)行專業(yè)鑒定，這些技術(shù)專家們不可能總是在檢查和測試現(xiàn)場，但是又必須來到現(xiàn)場以查看組件的狀態(tài)并向操作員給出他們的技術(shù)意見和建議。尤其是，專家們需要分析在使用內(nèi)窺鏡期間觀察到的缺陷，為此，他們需要可以使用的信息來確定缺陷或損傷的性質(zhì)。因此，這些專家需要與內(nèi)窺鏡操作員進(jìn)行交流來收集所有對他的分析必要的數(shù)據(jù)以做出可靠的診斷并提出有關(guān)解決這個問題要采取的行動的相關(guān)建議。

此外，必須迅速且明確地作出決策來確定損傷的等級，以使飛機(jī)能夠快速恢復(fù)使用或者使測試行動得以完成。

當(dāng)前，涉及多個地點(diǎn)和遠(yuǎn)程人員的技術(shù)決策在若干次電話討論或包含視頻或相片的郵件之后做出。

當(dāng)在進(jìn)行測試的操作員和分析測試結(jié)果或?qū)＜乙庖姷姆治鰡T之間存在誤會時，該流程會涉及重復(fù)迭代。這迫使操作員拍攝非常多的照片來確保他們沒有錯過被檢查的發(fā)動機(jī)的關(guān)鍵區(qū)域。因?yàn)榘踩颍娇疹I(lǐng)域的技術(shù)信息必須被毫無歧義地分享。為此，遠(yuǎn)程專家必須擁有從特定視角下獲取的測量結(jié)果、圖像和視頻。

所以，在安裝現(xiàn)場附近作業(yè)的操作員需要能夠靈活的移動以接觸到待檢查的不同區(qū)域。這對于現(xiàn)有的飛機(jī)而言并不總是可行的，因?yàn)橛稍S多電纜連接的許多工具的使用占據(jù)的空間會阻礙操作員在待測試飛機(jī)上的作業(yè)，而且操作員在位于機(jī)翼下方的狹窄空間(只有幾厘米的間隙)內(nèi)通常需要雙手作業(yè)。

此外，如果通信條件不是最佳的(存在干擾，網(wǎng)絡(luò)覆蓋不足，電磁干擾等)，圖像的質(zhì)量和測得的測量結(jié)果可能對專家來說并不足以做出可靠的診斷。

本發(fā)明的一個目的是使得操作員在檢查和測量時能夠無障礙地到達(dá)被檢測的發(fā)動機(jī)的全部區(qū)域并且能夠來回移動以及實(shí)時地與遠(yuǎn)程的專家分享信息。

本發(fā)明的另一個目的在于給專家提供精確的信息，尤其是在關(guān)鍵區(qū)域測得的測量結(jié)果和拍攝的圖像以使專家們不論天氣條件、不論測試位置的布局結(jié)構(gòu)，都能夠做出診斷。

技術(shù)實(shí)現(xiàn)要素：

上述目的通過使用一種小巧緊湊的裝置實(shí)現(xiàn)，其適用于所有類型的內(nèi)窺鏡設(shè)備和模擬相機(jī)，以及適用于對推進(jìn)組件或部件(放置在翼下的部件等)的內(nèi)窺鏡檢查或視頻的所有上下文，以使在檢查和測試現(xiàn)場的操作員能夠不受限制的接觸到被測推進(jìn)組件的不同區(qū)域，所述裝置還適用于快速識別和顯示任意缺陷并實(shí)時傳達(dá)拍攝的圖像和測量的結(jié)果。

所述裝置包括至少一個配有相機(jī)的內(nèi)窺鏡，所述內(nèi)窺鏡由至少一個操作員在現(xiàn)場使用以拍攝所述發(fā)動機(jī)的圖像和進(jìn)行測量，所述圖像和測量結(jié)果被發(fā)送給至少一個遠(yuǎn)程終端，該遠(yuǎn)程終端由做好準(zhǔn)備的至少一個遠(yuǎn)程專家用來對所述圖像和所述測量結(jié)果進(jìn)行協(xié)同性分析。

根據(jù)本發(fā)明所述的裝置還包括一個便攜式外殼，所述外殼由位于檢查和測試現(xiàn)場的操作員控制，所述外殼附帶有與內(nèi)窺鏡進(jìn)行無線通信的工具以及供所述操作員手動或自動地通過語音和/或視頻和/或測試注釋來豐富拍攝圖像和測得的測量結(jié)果的工具。

所述外殼還包括軟件模塊，其用于根據(jù)gps提供的定位數(shù)據(jù)、內(nèi)窺鏡位置的天氣數(shù)據(jù)和通信網(wǎng)絡(luò)上的數(shù)據(jù)以及內(nèi)窺鏡檢查進(jìn)展的描述性數(shù)據(jù)生成操作上下文。天氣數(shù)據(jù)包括表征內(nèi)窺鏡檢查時的大氣環(huán)境的溫度、壓力和空氣濕度信息。關(guān)于內(nèi)窺鏡檢查進(jìn)展的描述性數(shù)據(jù)可以被保存在(例如內(nèi)窺鏡或便攜式外殼自動生成的)事件日志中，所述描述性數(shù)據(jù)會涉及到內(nèi)窺鏡檢查過程中的異常情況，如測量模塊的錯誤。

遠(yuǎn)程專家可以參考額外的語音和/或視頻和/或文本注釋，來在測試期間指導(dǎo)位于檢驗(yàn)和測試現(xiàn)場的操作員。專家可以在很短的時間內(nèi)幫助做出決策和設(shè)計出糾正措施。

所述便攜式外殼還包括無線通信界面，位于檢查與測試現(xiàn)場的操作員可以使用所述界面與專家實(shí)時地相互交流通過語音和/或視頻和/或文本注釋豐富的拍攝的圖像、文檔和測量結(jié)果。

因此，當(dāng)遠(yuǎn)程專家接收到發(fā)現(xiàn)可能異常處的內(nèi)窺鏡頭部的坐標(biāo)時，在對操作員發(fā)送的圖像上的所述可能異常進(jìn)行檢查后，他們可以向操作員發(fā)送指令以指導(dǎo)操作員對發(fā)動機(jī)的其他部件和其他位置進(jìn)行測量和/或拍攝圖像。

在本發(fā)明一個優(yōu)選實(shí)施例中，所述便攜式外殼包括編碼器，其用于根據(jù)網(wǎng)絡(luò)特性來調(diào)整與遠(yuǎn)程終端交換信息的速率，以便保持最大的圖像質(zhì)量和最短延遲。注意，所述便攜式外殼可以被配置為在通信網(wǎng)絡(luò)受到干擾的情況下將精簡過的信息發(fā)送到遠(yuǎn)程終端。所述精簡過的信息包括內(nèi)窺鏡頭部的坐標(biāo)，每秒一幅圖像或僅一幅代表異常的相關(guān)圖像并且在自動檢測到代表異常的特定圖案后發(fā)送至少一張圖像到遠(yuǎn)程終端。

遠(yuǎn)程終端包括所述發(fā)動機(jī)的三維(3d)虛擬表示，遠(yuǎn)程專家們可以用該虛擬表示來搜尋發(fā)動機(jī)中的異常，利用內(nèi)窺鏡頭部的坐標(biāo)定位異常。所述遠(yuǎn)程終端還包括軟件故障搜尋模塊，配置為比較內(nèi)窺鏡拍攝的圖像與預(yù)先存儲在第一數(shù)據(jù)庫中的至少一個異常模型或圖案。

所述虛擬表示是所述發(fā)動機(jī)的虛擬三維(3d)模型。

所述遠(yuǎn)程終端接收對應(yīng)于可能異常的內(nèi)窺鏡頭部坐標(biāo)，軟件故障搜尋模塊使用這些坐標(biāo)來定位其在3d模型上指示的位置。遠(yuǎn)程專家之后可以檢查操作員發(fā)送的圖像上的可能異常，并可以向操作員發(fā)送指令，以指導(dǎo)操作員對發(fā)動機(jī)的其他部件和其他位置進(jìn)行測量和/或拍攝圖像。

注意，軟件故障搜尋模塊同樣可以在遠(yuǎn)程服務(wù)器上實(shí)現(xiàn)，所述遠(yuǎn)程服務(wù)器包括數(shù)據(jù)庫和統(tǒng)計分析模型。

所述外殼還包括與語音頭盔、平板電腦和/或筆記本電腦的連接裝置、用于存儲獲取信息和拍攝圖像以及交流的測量結(jié)果的存儲器以及用于將以內(nèi)窺鏡專用數(shù)據(jù)格式保存的拍攝圖像轉(zhuǎn)換為遠(yuǎn)程終端可以使用的數(shù)據(jù)格式的轉(zhuǎn)換模塊。

根據(jù)本發(fā)明的遠(yuǎn)程診斷輔助方法包括以下步驟：

將所述圖像和所述測量結(jié)果從內(nèi)窺鏡發(fā)送至便攜式外殼，所述便攜式外殼能夠與監(jiān)視器相連并由操作員監(jiān)控；

通過語音和/或視頻和/或文本注釋手動和/或自動地豐富所述圖像和所述測量結(jié)果；

通過無線連接在所述便攜式外殼與專家使用的所述遠(yuǎn)程終端之間實(shí)時地相互交流圖像、測量結(jié)果、文檔和參考圖像，以分析所述圖像和所述測量記過并協(xié)同地做出診斷。

所述方法還包括根據(jù)gps提供的定位數(shù)據(jù)、在內(nèi)窺鏡位置的天氣數(shù)據(jù)和通信網(wǎng)絡(luò)上的數(shù)據(jù)生成操作上下文的初始步驟。

所述方法還包括連接性測試和帶寬計算，以檢查便攜式外殼和遠(yuǎn)程終端之間的網(wǎng)絡(luò)通信是否可靠，所述方法還包括根據(jù)網(wǎng)絡(luò)特性調(diào)整便攜式外殼和遠(yuǎn)程終端之間交流信息的速率以保持最佳圖像質(zhì)量和最短延遲的步驟。

在另一個變型實(shí)施例中，根據(jù)本發(fā)明的方法還包括在通信網(wǎng)絡(luò)存在干擾的情況下發(fā)送精簡過的信息到遠(yuǎn)程終端的步驟。

根據(jù)本發(fā)明的方法通過使用存儲在存儲介質(zhì)中的計算機(jī)程序來實(shí)現(xiàn)，所述計算機(jī)程序包含當(dāng)在計算機(jī)或平板電腦上運(yùn)行用于執(zhí)行所述方法中的步驟的指令。

附圖說明

參照附圖，結(jié)合以下用作非限制性示例的描述可以更加清楚本發(fā)明的其他特征和優(yōu)點(diǎn)，其中：

圖1以圖示出了根據(jù)本發(fā)明的裝置；

圖2以圖示出了根據(jù)本發(fā)明的方法中的步驟。

具體實(shí)施方式

圖1圖示出了在檢查飛機(jī)發(fā)動機(jī)期間為遠(yuǎn)程診斷提供輔助的裝置，例如內(nèi)窺鏡，由操作員20在飛機(jī)機(jī)翼根部現(xiàn)場操作或在研發(fā)、測試或維修安裝期間操作來拍攝尤其是飛機(jī)發(fā)動機(jī)內(nèi)部的圖像，并進(jìn)行測量，所述圖像和測量結(jié)果會被發(fā)送到多個遠(yuǎn)程終端設(shè)備，所述遠(yuǎn)程終端設(shè)備由做好準(zhǔn)備的多個的專家用來對所述圖像和所述測量結(jié)果做協(xié)同分析使用。使用通過無線鏈路與便攜式外殼30通訊的內(nèi)窺鏡26或相機(jī)28獲得所述圖像和測量結(jié)果。

在一個優(yōu)選實(shí)施例中，平板電腦與便攜式外殼物理關(guān)聯(lián)以形成緊湊的組件。

在本說明書的其余部分中，將便攜式外殼30指定為所述緊湊組件。

在另一個可行實(shí)施例中，所述便攜式外殼獨(dú)立于通過無線鏈路與其通信的平板電腦或便攜式電腦或任何其他人機(jī)界面。

在一個優(yōu)選實(shí)施例中，內(nèi)窺鏡的操作上下文由集成在便攜式外殼30中的軟件模塊根據(jù)由gps提供的定位數(shù)據(jù)、內(nèi)窺鏡位置處的天氣數(shù)據(jù)和通信網(wǎng)絡(luò)上的數(shù)據(jù)生成。因此，在圖像和測量結(jié)果發(fā)布之初以及整個內(nèi)窺鏡檢查期間，所述軟件模塊利用若干信息來源提取上下文：

gps或其他定位系統(tǒng)；

與內(nèi)窺鏡位置相關(guān)的天氣數(shù)據(jù)，例如使用應(yīng)用程序接口(applicationprogramminginterface，api)；

與所做的測量結(jié)果和拍攝的圖像的發(fā)布相關(guān)的時間戳信息；

與內(nèi)窺鏡位置有關(guān)的數(shù)據(jù)、機(jī)場數(shù)據(jù)(例如高度等)；

網(wǎng)絡(luò)數(shù)據(jù)：網(wǎng)絡(luò)類型、吞吐率、抖動、延遲等；

信息被記錄以作為內(nèi)窺鏡檢查的最終報告來提供。

了解操作上下文可以始終隨時確定用于圖像和測量結(jié)果的發(fā)布的理想編碼參數(shù)。

所述外殼30還包含操作員20用來通過語音和/或視頻和/或文本注釋豐富拍攝的圖像和測量結(jié)果的軟件。這些注釋可以通過虛擬鍵盤和/或聲控人工輸入和/或使用與內(nèi)窺鏡26相關(guān)聯(lián)的近場通信(nearfieldcommunication，nfc)閱讀器或慣性單元自動輸入。這些注釋中可以包含與內(nèi)窺鏡檢查進(jìn)展有關(guān)的信息。

此外，外殼30配置有無線通信接口，其通過位于設(shè)施所在地的天線32提供到互聯(lián)網(wǎng)的連接。所述外殼30還包含連接性測試模塊和帶寬計算模塊，用于檢查網(wǎng)絡(luò)是否能夠承載操作員20與專家24之間的可靠通信以及估計外殼30和遠(yuǎn)程終端22之間的最大可能比特率。

為了維持最佳圖像質(zhì)量和最短延遲，所述外殼30還包含編碼器，其用于根據(jù)由集成在外殼30中的采集板確定的網(wǎng)絡(luò)特性和編碼信息調(diào)整發(fā)送的信息和數(shù)據(jù)速率。編碼參數(shù)包括例如分辨率(例如1024×768)、每秒的幀數(shù)(例如24fps)和編碼器類型(例如h264、vp8)。所述編碼器根據(jù)所選網(wǎng)絡(luò)使用這些參數(shù)來調(diào)整視頻圖像的編碼。因此，當(dāng)網(wǎng)絡(luò)帶寬太低以至于無法通過視頻流時，編碼器可以發(fā)送精簡過的信息，例如內(nèi)窺鏡頭部的坐標(biāo)，可以每秒發(fā)送一幅圖像或可能發(fā)送一幅由操作員選擇的圖像，并且可以發(fā)送所做的測量結(jié)果。專家使用的遠(yuǎn)程終端可以包含所述發(fā)動機(jī)的三維虛擬模型。專家可以通過發(fā)動機(jī)部件和內(nèi)窺鏡頭部的定位信息以及視角和圖像來定位并顯示發(fā)動機(jī)中的目標(biāo)部件，并因此要求操作員拍攝其他照片以分析故障。

在另一實(shí)施例中，可以在自動檢測到顯示有損傷的特定圖案后將圖像發(fā)送給專家。

操作員和遠(yuǎn)程專家相互交換通過語音和/或視頻和/或文本注釋豐富的拍攝的圖像、在內(nèi)窺鏡檢查操作環(huán)境下所做測量的結(jié)果、文檔和參考圖像，以及關(guān)于相機(jī)和測量探頭位置的信息。遠(yuǎn)程專家分析接收到的信息并在必要情況下指導(dǎo)操作員精確定位測量點(diǎn)和照相位置。

圖2示出了在使用根據(jù)本發(fā)明中的裝置進(jìn)行的測試和協(xié)同性分析會話中的步驟。

在內(nèi)窺鏡檢查進(jìn)行之前，在步驟40中，操作員20開始對可用網(wǎng)絡(luò)進(jìn)行連接性和搜尋測試。在這一步驟中，連接性測試模塊計算帶寬，以及在步驟42中，挑選最合適的數(shù)據(jù)速率來進(jìn)行外殼30與遠(yuǎn)程終端22之間的可靠交換。

在步驟44中，操作員20在待測試發(fā)動機(jī)的區(qū)域進(jìn)行測量并拍攝視頻圖像。

在步驟46中，編碼器將視頻數(shù)據(jù)包封裝在傳輸協(xié)議(例如rtp、rtmp)中來通過互聯(lián)網(wǎng)將視頻流發(fā)布到視頻和/或圖像和/或聲音共享服務(wù)器，遠(yuǎn)程專家24可以(例如使用wifi連接)連接到所述服務(wù)器來重獲已發(fā)布的信息。專家也可以直接在他們的每臺終端上接收到所述信息。

注意，上下文生成器在測量結(jié)果和視頻流發(fā)布之初和整個內(nèi)窺鏡檢查期間(步驟48)提取描述內(nèi)窺鏡檢查的上下文。然后，所述信息被記錄以用于隨后以內(nèi)窺鏡檢查的最終報告被提供。遠(yuǎn)程專家24使用上下文數(shù)據(jù)來在內(nèi)窺鏡檢查期間對被檢測到的現(xiàn)象做詳細(xì)分析并對損壞的原因做出精確診斷。

內(nèi)窺鏡的視頻拍攝系統(tǒng)從每秒24幅圖像中提取1幅圖像(步驟50)(24fps)。然后，所述圖像由安裝在外殼30內(nèi)的、專門用于檢測異常或識別qr碼或任何其他發(fā)動機(jī)零件標(biāo)記系統(tǒng)的故障搜尋軟件模塊進(jìn)行處理。所述軟件故障搜尋模塊將與所做的測量結(jié)果和拍攝的圖像的發(fā)布有關(guān)的時間歷史(時間戳)信息存儲在外殼30的存儲器中。在另一實(shí)施例中，圖像處理可以由遠(yuǎn)程服務(wù)器完成。

在步驟52中，軟件故障搜尋模塊將所提取的圖像或該圖像的一部分與之前存儲在第一數(shù)據(jù)庫54中的異常模型或圖案進(jìn)行比較。所述數(shù)據(jù)庫可以被存儲在遠(yuǎn)程專家24可訪問的遠(yuǎn)程服務(wù)器中。如果檢測異常或者達(dá)到了不確定性的閾值，所述故障搜尋軟件會生成通知，該通知在與外殼30相關(guān)聯(lián)的平板電腦的屏幕上和在遠(yuǎn)程終端22的屏幕上顯示。操作員22豐富這些被實(shí)時發(fā)送給遠(yuǎn)程專家24的語音通知和/或視頻注釋通知。其他信息被從與內(nèi)窺鏡26相關(guān)的近場通信(nearfieldcommunication，nfc)閱讀器和/或慣性單元自動添加到拍攝圖像上。nfc閱讀器收集的信息是表征其上放置nfc芯片的發(fā)動機(jī)部件的數(shù)據(jù)。例如，nfc閱讀器幫助識別部件并找出其在代表發(fā)動機(jī)的三維虛擬模型上的位置。專家們可以利用該部件在虛擬模型上的位置通過精確指明要識別的位置來交互地指導(dǎo)操作員20。專家們使用其他信息例如部件投入使用的日期和部件的特性以及來源來進(jìn)行他們的內(nèi)窺鏡分析。

在步驟58中，故障搜尋模塊讀取該部件的or碼或任何其他視覺標(biāo)記系統(tǒng)，并參考第二數(shù)據(jù)庫60，該數(shù)據(jù)庫包含關(guān)于所有發(fā)動機(jī)部件及其位置和它們在推進(jìn)組件中對應(yīng)功能的信息。

優(yōu)選的，部件在推進(jìn)組件中的位置利用了三種潛在的信息來源：

慣性單元，板載內(nèi)窺鏡相機(jī)，提供位移信息并使用存儲在第三數(shù)據(jù)庫61中的發(fā)動機(jī)圖形信息來估計相機(jī)的位置。該信息被自動添加到拍攝的圖像中。

步驟58中根據(jù)視覺標(biāo)記如qr碼的識別提供的定位信息；

通過安裝在相機(jī)頭部的閱讀器讀取rfc標(biāo)記(或類似物)獲取的信息。

在步驟62中，在之前步驟中得到的部件或異常的定位數(shù)據(jù)、檢測/識別數(shù)據(jù)被自動實(shí)時地添加到視頻流中，以用于傳輸給專家24。然后在步驟64中顯示這些數(shù)據(jù)。

定位數(shù)據(jù)用于通過由視頻流傳輸?shù)膱D像三維紋理化所述模型。然后必須使定位數(shù)據(jù)對應(yīng)于所述三維模型，必要時使用位置校準(zhǔn)。例如，如果位置信息發(fā)生偏移，可以通過根據(jù)內(nèi)窺鏡頭部之前的位置和內(nèi)窺鏡頭部的當(dāng)前位置在三維模型上的投影來對內(nèi)窺鏡頭部的當(dāng)前位置進(jìn)行內(nèi)插，來使用三維模型校正該位置信息。在另一替代實(shí)施例中，校準(zhǔn)數(shù)據(jù)可以被傳輸?shù)綉T性單元來校正它的定位數(shù)據(jù)。

有利地，關(guān)聯(lián)圖像流和三維模型可以讓專家沉浸在內(nèi)窺鏡檢查的上下文中。

在步驟66中，將會話期間產(chǎn)生的數(shù)據(jù)在時間線上組合，使得可以重播視頻，或通過所有內(nèi)窺鏡觀察數(shù)據(jù)找到文檔或參考圖像。

如果專家認(rèn)為他們已經(jīng)地接收足夠做出診斷的實(shí)時信息，他們要么口頭要么通過短信服務(wù)直接發(fā)送他們的診斷給操作員20。在檢查結(jié)束時，共享會話中斷并且將會話期間交換的數(shù)據(jù)(視頻照片測量、對話等等)被存儲(步驟70)在存儲器72中。

根據(jù)本發(fā)明所述的裝置提供了基于標(biāo)準(zhǔn)接口的硬件和軟件解決方案，并且可以適用于所有類型的內(nèi)窺鏡設(shè)備與相機(jī)(而不是單一品牌或單一型號)以及適用于推進(jìn)組件或部件的所有內(nèi)窺鏡檢查和視頻上下文。