本發(fā)明涉及船舶故障診斷領域，尤其涉及一種基于混合現(xiàn)實眼鏡的船舶遠程故障診斷及維修保養(yǎng)輔助系統(tǒng)。

背景技術：

混合現(xiàn)實眼鏡是采用混合現(xiàn)實技術，借助計算機圖形繪制和三維顯示技術在人眼中顯示出真實環(huán)境中不存在的虛擬對象，并通過傳感技術將虛擬對象準確“放置”在真實環(huán)境中，借助顯示設備將虛擬對象與真實環(huán)境融為一體，并呈現(xiàn)給使用者一個感官效果真實的新環(huán)境。因此混合現(xiàn)實系統(tǒng)具有虛實結合、實時交互、三維可視化的新特點。

目前在海上發(fā)生設備故障多采取通過電話聯(lián)絡的方式獲取故障信息并指導船員進行維修，然而船員并非專業(yè)維修人員，這種指導方式存在信息描述不準確的弊端，會誤導岸端對設備故障的判斷以及船員進行不準確的維修操作指導。目前還沒有一個切實有效的解決方案。因此如何利用混合現(xiàn)實眼鏡把實時的場景和維修輔助信息結合，實現(xiàn)一種專家和船員在同一場景下信息同步顯示的混合現(xiàn)實系統(tǒng)是我們追求的目的。

技術實現(xiàn)要素：

根據(jù)現(xiàn)有技術存在的問題，本發(fā)明公開了一種基于混合現(xiàn)實眼鏡的船舶遠程故障診斷及維修保養(yǎng)輔助系統(tǒng)，包括:立體拍攝模塊,所述立體拍攝模塊安裝在船端操作人員頭部位置獲取故障設備到到攝像頭的三維場景深度信息，根據(jù)三維場景深度信息調(diào)整三維攝像頭的立體拍攝參數(shù)；

融合壓縮模塊，接收所述立體拍攝模塊傳送的三維場景數(shù)據(jù)信息并將接收到的信息進行融合壓縮處理，將其轉(zhuǎn)換成用于傳送的數(shù)據(jù)格式；

通訊模塊，所述通訊模塊采用海事通訊衛(wèi)星將融合壓縮模塊傳送的數(shù)據(jù)信息傳回到岸端；

該系統(tǒng)還包括岸端的接收所述通訊模塊傳送的數(shù)據(jù)信息的混合現(xiàn)實顯示模塊，所述混合現(xiàn)實顯示模塊將接收到的立體場景信息進行實時顯示，以人眼所在位置為視點，以立體拍攝模塊測量的三維場景深度作為混合現(xiàn)實顯示模塊的立體場景顯示深度，顯示出故障船舶的三維立體場景，實現(xiàn)船岸三維立體場景的同步，并在此三維立體場景中進行故障船舶的故障判斷；

接收所述混合現(xiàn)實顯示模塊傳送的數(shù)據(jù)信息的輔助信息添加模塊，所述輔助信息添加模塊在岸上顯示的三維立體場景中使用三維交互工具對故障點進行標注，同時從配件模型庫中調(diào)取配件模型，把船舶故障設備的維修裝配方法展示出來；所述輔助信息添加模塊將裝配方法信息通過通信模塊傳送至故障船舶上；

故障船舶的圖形渲染模塊接收所述輔助信息添加模塊傳送的數(shù)據(jù)信息、把專家維修操作信息和模型庫配件信息進行三維圖形渲染處理，根據(jù)混合現(xiàn)實眼鏡對應的視場角和與場景相匹配的三維場景深度，渲染成維修輔助增強信息；

接收所述圖形渲染模塊傳送的數(shù)據(jù)信息把船載終端渲染后的維修輔助增強信息傳送給船員佩戴的混合現(xiàn)實眼鏡模塊，疊加顯示在故障設備上，指導船員進行故障維修操作。

所述混合現(xiàn)實顯示模塊包括人機交互裝置，所述人機交互裝置至少包括三維鼠標、數(shù)據(jù)手套、位置跟蹤器和與船舶零部件設備配套設置的配件模型庫；

工作狀態(tài)下：在混合現(xiàn)實顯示模塊的人機交互裝置中調(diào)用配件模型庫中的配件模型，模型庫中的配件模型采用三維建模工具創(chuàng)建三維模型，通過數(shù)據(jù)手套移動配件模型進行裝配展示，使用三維鼠標進行故障點標注，數(shù)據(jù)手套和位置跟蹤器配合實時檢測工作時的手形和手部各關節(jié)的彎曲角度,把手的位置和運動狀態(tài)信息輸入到混合現(xiàn)實顯示模塊、對配件模型進行抓取、旋轉(zhuǎn)、移動操作。

所述立體拍攝模塊獲取故障船舶到其自身的三維場景深度信息時依據(jù)人眼立體視覺特征、雙攝像頭間距設為人眼間距、雙攝像頭視角根據(jù)拍攝設備深度信息進行實時調(diào)整。

所述融合壓縮模塊對接收到的信息進行處理時采用融合壓縮算法：對圖像進行特征提取識別處理，比較前后兩幀圖像、記錄兩幀信息有變化的部分，沒變化的信息不進行傳輸，只傳輸變化部分，與上一幀沒變化的信息合成新一幀圖像。

一種基于混合現(xiàn)實眼鏡的船舶遠程故障診斷及維修保養(yǎng)輔助方法,包括以下步驟:

a、采集故障設備到到攝像頭的三維場景深度信息，根據(jù)三維場景深度信息調(diào)整三維攝像頭的立體拍攝參數(shù)；

b、對步驟a中的立體拍攝信息進行融合壓縮處理，變成海事通訊衛(wèi)星傳送的數(shù)據(jù)格式并將壓縮處理的信息傳送至岸上；

c、把傳回岸上的立體場景通過混合現(xiàn)實顯示模塊顯示出來，以人眼所在位置為視點，以立體拍攝模塊測量的三維場景深度作為混合現(xiàn)實顯示模塊的立體場景顯示深度，顯示出船上的三維立體場景，實現(xiàn)船岸三維立體場景同步；在岸上顯示的三維立體場景中進行設備故障判斷，并使用三維交互工具對故障點進行標注，同時從配件模型庫中調(diào)取配件模型，把裝配方法展示出來并將處理后的維修信息傳送至故障設備端；

d、將維修輔助操作信息和模型庫配件信息進行三維處理，變成混合現(xiàn)實眼鏡對應的視場角和與場景相匹配的三維場景深度，形成維修輔助增強信息；

e、船載終端把渲染后的維修輔助增強信息傳送給船員佩戴的混合現(xiàn)實眼鏡，疊加顯示在故障設備上，進行故障維修操作的輔助指導。

由于采用了上述技術方案，本發(fā)明提供的一種基于混合現(xiàn)實眼鏡的船舶遠程故障診斷及維修保養(yǎng)輔助系統(tǒng)，解決船舶離岸條件下遠程故障診斷及維修保養(yǎng)問題。岸端和船端所見相同，在同一個場景下同步操作。故障設備實景和維修輔助信息在船和岸之間雙向同步顯示互動，實現(xiàn)岸上專家信息增強條件下的船舶故障診斷及維修保養(yǎng)。

附圖說明

為了更清楚地說明本申請實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明系統(tǒng)的結構示意圖；

圖2為本發(fā)明系統(tǒng)的工作流程圖；

圖3為本發(fā)明系統(tǒng)的實施例的示意圖；

圖4為本發(fā)明系統(tǒng)的混合現(xiàn)實信息生成示意圖

具體實施方式

為使本發(fā)明的技術方案和優(yōu)點更加清楚，下面結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚完整的描述：

如圖1所示的一種基于混合現(xiàn)實眼鏡的船舶遠程故障診斷及維修保養(yǎng)輔助系統(tǒng)，包括立體拍攝模塊、融合壓縮模塊、通訊模塊、混合現(xiàn)實顯示模塊、輔助信息添加模塊、圖形渲染模塊和混合現(xiàn)實眼鏡模塊。

立體拍攝模塊：對故障船舶進行三維拍攝，將其安裝在船端操作人員頭部位置獲取船舶故障設備到其自身的三維場景深度信息，根據(jù)三維場景深度信息調(diào)整三維攝像頭的立體拍攝參數(shù)；

融合壓縮模塊，在融合壓縮模塊對立體拍攝信息進行融合壓縮處理，變成海事通訊衛(wèi)星可以傳送的數(shù)據(jù)格式。

通訊模塊，所述通訊模塊采用海事通訊衛(wèi)星將融合壓縮模塊傳送的數(shù)據(jù)信息傳回到岸端；

混合現(xiàn)實顯示模塊，把傳回岸端的立體場景通過混合現(xiàn)實顯示模塊顯示出來，以立體拍攝模塊測量的三維場景深度作為混合現(xiàn)實顯示模塊的立體場景顯示深度，顯示出船上的三維立體場景，實現(xiàn)船岸三維立體場景同步，并三維立體場景進行故障船舶的故障判斷。

輔助信息添加模塊，在岸上顯示的三維立體場景中使用三維交互工具對故障點進行標注，同時從配件模型庫中調(diào)取配件模型，把故障船舶的維修的裝配方法展示出來；所述輔助信息添加模塊將裝配方法信息通過通信模塊傳送至故障船舶上；

三維圖形渲染處理，船載終端的三維圖形渲染模塊把維修操作信息，模型庫配件信息進行三維渲染處理，變成混合現(xiàn)實眼鏡對應的視場角和與場景相匹配的三維場景深度，形成維修輔助增強信息。具體實現(xiàn)方法：首先在圖形渲染模塊中進行視點設置和視場角的設定(水平視場角45度,垂直視場角28度)，視點和視場角的參數(shù)使用船載終端立體拍攝模塊進行立體拍攝時使用的立體拍攝參數(shù)，比如：水平視場角45度,垂直視場角28度。然后把維修輔助操作信息，模型庫配件信息讀取進來，記錄所在的位置參數(shù)，形成維修輔助增強信息。

接收所述圖形渲染模塊傳送的數(shù)據(jù)信息把船載終端渲染后的維修輔助增強信息傳送給船員佩戴的混合現(xiàn)實眼鏡模塊，疊加顯示在故障設備上，指導船員進行故障維修操作。具體方式是：在船載終端讀取維修輔助增強信息，使用拍攝時測量到的三維場景深度信息設置混合現(xiàn)實眼鏡的視見體深度，對配件模型進行移動操作(平移坐標(x,y,z))，對配件模型進行旋轉(zhuǎn)操作(旋轉(zhuǎn)角度)。對維修輔助信息進行三維透視投影變換處理，處理后的信息通過混合現(xiàn)實眼鏡模塊顯示出來，和透過混合現(xiàn)實眼鏡看到的現(xiàn)實信息進行混合疊加。

進一步的，混合現(xiàn)實顯示模塊包括人機交互裝置，所述人機交互裝置至少包括三維鼠標、數(shù)據(jù)手套、位置跟蹤器和與船舶零部件設備配套設置的配件模型庫，工作狀態(tài)下：在混合現(xiàn)實顯示模塊的人機交互裝置中調(diào)用配件模型庫中的配件模型，模型庫中的配件模型采用三維建模工具創(chuàng)建三維模型，通過數(shù)據(jù)手套移動配件模型進行裝配展示，使用三維鼠標進行故障點標注，數(shù)據(jù)手套和位置跟蹤器配合實時檢測工作時的手形和手部各關節(jié)的彎曲角度,把手的位置和運動狀態(tài)信息輸入到混合現(xiàn)實顯示模塊、對配件模型進行抓取、旋轉(zhuǎn)、移動操作。

進一步的，所述立體拍攝模塊獲取故障船舶到其自身的三維場景深度信息時依據(jù)人眼立體視覺特征、雙攝像頭間距設為人眼間距、雙攝像頭視角根據(jù)拍攝設備深度信息進行實時調(diào)整。

進一步的，所述融合壓縮模塊對接收到的信息進行處理時采用融合壓縮算法：對圖像進行特征提取識別處理，比較前后兩幀圖像、記錄兩幀信息有變化的部分，沒變化的信息不進行傳輸，只傳輸變化部分，與上一幀沒變化的信息合成新一幀圖像。

圖形渲染模塊把專家維修操作信息，模型庫配件信息進行三維處理，變成混合現(xiàn)實眼鏡對應的視場角和與場景相匹配的三維場景深度，形成維修輔助增強信息。

本發(fā)明中的被維修設備包括船舶駕駛室內(nèi)的儀器設備(Radar、Loran、GPS、AIS、LRIT、陀螺羅經(jīng)、測深儀、計程儀、磁羅經(jīng)、船舶黑匣子、氣象儀、電子海圖、自動舵、車鐘、操舵設備等)，機艙設備(主機、輔機、滑油設備、冷卻設備、排煙設備、空氣設備、通風設備、電力控制設備)，甲板設備(錨、纜繩、桅上設備、燈設備).

一種基于混合現(xiàn)實眼鏡的船舶遠程故障診斷及維修保養(yǎng)輔助方法,包括以下步驟:

a、采集故障設備到到攝像頭的三維場景深度信息，根據(jù)三維場景深度信息調(diào)整三維攝像頭的立體拍攝參數(shù)；

b、對步驟a中的立體拍攝信息進行融合壓縮處理，變成海事通訊衛(wèi)星傳送的數(shù)據(jù)格式并將壓縮處理的信息傳送至岸上；

c、把傳回岸上的立體場景通過混合現(xiàn)實顯示模塊顯示出來，以人眼所在位置為視點，以立體拍攝模塊測量的三維場景深度作為混合現(xiàn)實顯示模塊的立體場景顯示深度，顯示出船上的三維立體場景，實現(xiàn)船岸三維立體場景同步；在岸上顯示的三維立體場景中進行設備故障判斷，并使用三維交互工具對故障點進行標注，同時從配件模型庫中調(diào)取配件模型，把裝配方法展示出來并將處理后的維修信息傳送至故障設備端；

d、將維修輔助操作信息和模型庫配件信息進行三維處理，變成混合現(xiàn)實眼鏡對應的視場角和與場景相匹配的三維場景深度，形成維修輔助增強信息；

e、船載終端把渲染后的維修輔助增強信息傳送給船員佩戴的混合現(xiàn)實眼鏡，疊加顯示在故障設備上，進行故障維修操作的輔助指導。

以上所述，僅為本發(fā)明較佳的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內(nèi)，根據(jù)本發(fā)明的技術方案及其發(fā)明構思加以等同替換或改變，都應涵蓋在本發(fā)明的保護范圍之內(nèi)。