1.一種基于混合現(xiàn)實(shí)眼鏡的船舶遠(yuǎn)程故障診斷及維修保養(yǎng)輔助系統(tǒng),其特征在于包括:立體拍攝模塊,所述立體拍攝模塊安裝在船端操作人員頭部位置獲取故障設(shè)備到攝像頭的三維場景深度信息,根據(jù)三維場景深度信息調(diào)整三維攝像頭的立體拍攝參數(shù);
融合壓縮模塊,接收所述立體拍攝模塊傳送的三維場景數(shù)據(jù)信息并將接收到的信息進(jìn)行融合壓縮處理,將其轉(zhuǎn)換成用于傳送的數(shù)據(jù)格式;
通訊模塊,所述通訊模塊采用海事通訊衛(wèi)星將融合壓縮模塊傳送的數(shù)據(jù)信息傳回到岸端;
該系統(tǒng)還包括岸端的接收所述通訊模塊傳送的數(shù)據(jù)信息的混合現(xiàn)實(shí)顯示模塊,所述混合現(xiàn)實(shí)顯示模塊將接收到的立體場景信息進(jìn)行實(shí)時(shí)顯示,以人眼所在位置為視點(diǎn),以立體拍攝模塊測量的三維場景深度作為混合現(xiàn)實(shí)顯示模塊的立體場景顯示深度,顯示出故障船舶的三維立體場景,實(shí)現(xiàn)船岸三維立體場景的同步,并在此三維立體場景中進(jìn)行故障船舶的故障判斷;
接收所述混合現(xiàn)實(shí)顯示模塊傳送的數(shù)據(jù)信息的輔助信息添加模塊,所述輔助信息添加模塊在岸上顯示的三維立體場景中使用三維交互工具對(duì)故障點(diǎn)進(jìn)行標(biāo)注,同時(shí)從配件模型庫中調(diào)取配件模型,把船舶故障設(shè)備的維修裝配方法展示出來;所述輔助信息添加模塊將裝配方法信息通過通信模塊傳送至故障船舶上;
故障船舶的圖形渲染模塊接收所述輔助信息添加模塊傳送的數(shù)據(jù)信息、把專家維修操作信息和模型庫配件信息進(jìn)行三維圖形渲染處理,根據(jù)混合現(xiàn)實(shí)眼鏡對(duì)應(yīng)的視場角和與場景相匹配的三維場景深度,渲染成維修輔助增強(qiáng)信息;
接收所述圖形渲染模塊傳送的數(shù)據(jù)信息把船載終端渲染后的維修輔助增強(qiáng)信息傳送給船員佩戴的混合現(xiàn)實(shí)眼鏡模塊,疊加顯示在故障設(shè)備上,指導(dǎo)船員進(jìn)行故障維修操作。
2.根據(jù)權(quán)利要求1所述的基于混合現(xiàn)實(shí)眼鏡的船舶遠(yuǎn)程故障診斷及維修保養(yǎng)輔助系統(tǒng),其特征還在于:所述混合現(xiàn)實(shí)顯示模塊包括人機(jī)交互裝置,所述人機(jī)交互裝置至少包括三維鼠標(biāo)、數(shù)據(jù)手套、位置跟蹤器和與船舶零部件設(shè)備配套設(shè)置的配件模型庫;
工作狀態(tài)下:在混合現(xiàn)實(shí)顯示模塊的人機(jī)交互裝置中調(diào)用配件模型庫中的配件模型,模型庫中的配件模型采用三維建模工具創(chuàng)建三維模型,通過數(shù)據(jù)手套移動(dòng)配件模型進(jìn)行裝配展示,使用三維鼠標(biāo)進(jìn)行故障點(diǎn)標(biāo)注,數(shù)據(jù)手套和位置跟蹤器配合實(shí)時(shí)檢測工作時(shí)的手形和手部各關(guān)節(jié)的彎曲角度,把手的位置和運(yùn)動(dòng)狀態(tài)信息輸入到混合現(xiàn)實(shí)顯示模塊、對(duì)配件模型進(jìn)行抓取、旋轉(zhuǎn)、移動(dòng)操作。
3.根據(jù)權(quán)利要求1所述的基于混合現(xiàn)實(shí)眼鏡的船舶遠(yuǎn)程故障診斷及維修保養(yǎng)輔助系統(tǒng),其特征還在于:所述立體拍攝模塊獲取故障船舶到其自身的三維場景深度信息時(shí)依據(jù)人眼立體視覺特征、雙攝像頭間距設(shè)為人眼間距、雙攝像頭視角根據(jù)拍攝設(shè)備深度信息進(jìn)行實(shí)時(shí)調(diào)整。
4.根據(jù)權(quán)利要求1所述的基于混合現(xiàn)實(shí)眼鏡的船舶遠(yuǎn)程故障診斷及維修保養(yǎng)輔助系統(tǒng),其特征還在于:所述融合壓縮模塊對(duì)接收到的信息進(jìn)行處理時(shí)采用融合壓縮算法:對(duì)圖像進(jìn)行特征提取識(shí)別處理,比較前后兩幀圖像、記錄兩幀信息有變化的部分,沒變化的信息不進(jìn)行傳輸,只傳輸變化部分,與上一幀沒變化的信息合成新一幀圖像。
5.一種基于混合現(xiàn)實(shí)眼鏡的船舶遠(yuǎn)程故障診斷及維修保養(yǎng)輔助方法,其特征在于:包括以下步驟:
a、采集故障設(shè)備到到攝像頭的三維場景深度信息,根據(jù)三維場景深度信息調(diào)整三維攝像頭的立體拍攝參數(shù);
b、對(duì)步驟a中的立體拍攝信息進(jìn)行融合壓縮處理,變成海事通訊衛(wèi)星傳送的數(shù)據(jù)格式并將壓縮處理的信息傳送至岸上;
c、把傳回岸上的立體場景通過混合現(xiàn)實(shí)顯示模塊顯示出來,以人眼所在位置為視點(diǎn),以立體拍攝模塊測量的三維場景深度作為混合現(xiàn)實(shí)顯示模塊的立體場景顯示深度,顯示出船上的三維立體場景,實(shí)現(xiàn)船岸三維立體場景同步;在岸上顯示的三維立體場景中進(jìn)行設(shè)備故障判斷,并使用三維交互工具對(duì)故障點(diǎn)進(jìn)行標(biāo)注,同時(shí)從配件模型庫中調(diào)取配件模型,把裝配方法展示出來并將處理后的維修信息傳送至故障設(shè)備端;
d、將維修輔助操作信息和模型庫配件信息進(jìn)行三維處理,變成混合現(xiàn)實(shí)眼鏡對(duì)應(yīng)的視場角和與場景相匹配的三維場景深度,形成維修輔助增強(qiáng)信息;
e、船載終端把渲染后的維修輔助增強(qiáng)信息傳送給船員佩戴的混合現(xiàn)實(shí)眼鏡,疊加顯示在故障設(shè)備上,進(jìn)行故障維修操作的輔助指導(dǎo)。