本發(fā)明涉及ar眼鏡，具體而言，涉及一種雙向視頻融合互動(dòng)的檢修ar眼鏡系統(tǒng)及檢修方法。

背景技術(shù)：

1、當(dāng)前，對(duì)于變電站內(nèi)繼電保護(hù)檢修，可以使檢修人員通過(guò)ar（augmented?reality，即增強(qiáng)現(xiàn)實(shí)）眼鏡實(shí)現(xiàn)檢修。

2、相關(guān)技術(shù)中，通過(guò)提前對(duì)檢修現(xiàn)場(chǎng)建模，可以構(gòu)建多種標(biāo)準(zhǔn)化作業(yè)的流程信息并上傳到服務(wù)器，然后客戶端向服務(wù)器請(qǐng)求下載與當(dāng)前的檢修作業(yè)對(duì)應(yīng)的標(biāo)準(zhǔn)化作業(yè)的流程信息，并由客戶端或ar眼鏡的揚(yáng)聲器播放該標(biāo)準(zhǔn)化作業(yè)的流程信息，且ar眼鏡的顯示屏顯示流程的當(dāng)前步驟，如此，檢修人員可以通過(guò)播放的流程信息以及顯示屏顯示的當(dāng)前步驟進(jìn)行檢修。

3、然而，上述檢修方案需要提前對(duì)現(xiàn)場(chǎng)建模，而模型建立和維護(hù)的工作量大，一旦現(xiàn)場(chǎng)發(fā)生變動(dòng)，需要對(duì)模型進(jìn)行修改。并且，當(dāng)前的ar眼鏡工作模式無(wú)法實(shí)現(xiàn)前后臺(tái)實(shí)時(shí)互動(dòng)，無(wú)法滿足現(xiàn)場(chǎng)復(fù)雜的互動(dòng)需求，用戶體驗(yàn)較差。此外，當(dāng)前ar眼鏡的指導(dǎo)是依據(jù)單向視頻的，檢修人員和后臺(tái)通過(guò)語(yǔ)音互動(dòng)，而繼電保護(hù)作業(yè)要求比較精確，對(duì)壓板、端子排等方面的操作需要厘米級(jí)精度的指導(dǎo)，單純依靠當(dāng)前的語(yǔ)音、指導(dǎo)模式無(wú)法完成工作。

4、針對(duì)上述的問(wèn)題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種雙向視頻融合互動(dòng)的檢修ar眼鏡系統(tǒng)及檢修方法，以至少解決相關(guān)技術(shù)中的ar眼鏡互動(dòng)性較差，無(wú)法滿足精確的檢修需求的技術(shù)問(wèn)題。

2、根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種雙向視頻融合互動(dòng)的檢修ar眼鏡系統(tǒng)，所述檢修ar眼鏡系統(tǒng)包括：增強(qiáng)現(xiàn)實(shí)眼鏡，用于采集現(xiàn)場(chǎng)圖像數(shù)據(jù)，并將所述現(xiàn)場(chǎng)圖像數(shù)據(jù)傳輸至邊緣計(jì)算服務(wù)器；目標(biāo)作業(yè)終端，用于獲取勾畫(huà)信息以及手勢(shì)圖像數(shù)據(jù)，并將所述勾畫(huà)信息以及所述手勢(shì)圖像數(shù)據(jù)傳輸至所述邊緣計(jì)算服務(wù)器；所述邊緣計(jì)算服務(wù)器，用于對(duì)所述現(xiàn)場(chǎng)圖像數(shù)據(jù)、所述勾畫(huà)信息以及所述手勢(shì)圖像數(shù)據(jù)進(jìn)行融合，生成融合互動(dòng)視頻，并將所述融合互動(dòng)視頻發(fā)送至所述增強(qiáng)現(xiàn)實(shí)眼鏡以及所述目標(biāo)作業(yè)終端進(jìn)行展示，其中，所述融合互動(dòng)視頻用于指導(dǎo)佩戴所述增強(qiáng)現(xiàn)實(shí)眼鏡的檢修對(duì)象執(zhí)行檢修操作。

3、進(jìn)一步地，所述增強(qiáng)現(xiàn)實(shí)眼鏡包括：攝像頭模塊，用于采集所述現(xiàn)場(chǎng)圖像數(shù)據(jù)；數(shù)據(jù)傳輸模塊，用于向所述邊緣計(jì)算服務(wù)器以及所述目標(biāo)作業(yè)終端傳輸所述現(xiàn)場(chǎng)圖像數(shù)據(jù)；顯示模塊，用于顯示所述邊緣計(jì)算服務(wù)器傳輸?shù)乃鋈诤匣?dòng)視頻。

4、進(jìn)一步地，所述目標(biāo)作業(yè)終端包括：觸摸屏，用于顯示所述現(xiàn)場(chǎng)圖像數(shù)據(jù)，并接收所述勾畫(huà)信息，其中，所述現(xiàn)場(chǎng)圖像數(shù)據(jù)包括：多張現(xiàn)場(chǎng)圖像，所述勾畫(huà)信息是在所述觸摸屏展示的現(xiàn)場(chǎng)圖像上進(jìn)行勾畫(huà)得到的信息；動(dòng)作捕捉模塊，用于捕捉對(duì)所述現(xiàn)場(chǎng)圖像進(jìn)行指導(dǎo)的所述手勢(shì)圖像數(shù)據(jù)。

5、進(jìn)一步地，所述邊緣計(jì)算服務(wù)器包括：數(shù)據(jù)處理模塊，用于對(duì)接收到的所述現(xiàn)場(chǎng)圖像數(shù)據(jù)進(jìn)行預(yù)處理，得到目標(biāo)圖像數(shù)據(jù)，并從所述手勢(shì)圖像數(shù)據(jù)中提取指導(dǎo)動(dòng)作圖像；雙向視頻融合模塊，用于將所述指導(dǎo)動(dòng)作圖像、所述勾畫(huà)信息與所述現(xiàn)場(chǎng)圖像數(shù)據(jù)中的現(xiàn)場(chǎng)圖像進(jìn)行融合，生成所述融合互動(dòng)視頻，其中，每張所述指導(dǎo)動(dòng)作圖像與一張所述現(xiàn)場(chǎng)圖像對(duì)應(yīng)，所述勾畫(huà)信息與一張所述現(xiàn)場(chǎng)圖像對(duì)應(yīng)。

6、進(jìn)一步地，對(duì)接收到的所述現(xiàn)場(chǎng)圖像數(shù)據(jù)進(jìn)行預(yù)處理，得到目標(biāo)圖像數(shù)據(jù)的步驟，包括：對(duì)所述現(xiàn)場(chǎng)圖像數(shù)據(jù)中的每張所述現(xiàn)場(chǎng)圖像進(jìn)行去模糊化處理，得到第一圖像；對(duì)每張所述第一圖像進(jìn)行強(qiáng)化處理，得到第二圖像；對(duì)每張所述第二圖像進(jìn)行去噪處理，得到第三圖像；對(duì)每張所述第三圖像進(jìn)行誤差處理，得到所述目標(biāo)圖像數(shù)據(jù)。

7、進(jìn)一步地，將所述指導(dǎo)動(dòng)作圖像、所述勾畫(huà)信息與所述現(xiàn)場(chǎng)圖像數(shù)據(jù)中的現(xiàn)場(chǎng)圖像進(jìn)行融合的步驟，包括：確定在勾畫(huà)所述勾畫(huà)信息時(shí)的觸碰區(qū)域，將所述觸碰區(qū)域與所述勾畫(huà)信息對(duì)應(yīng)的所述現(xiàn)場(chǎng)圖像上的圖像區(qū)域進(jìn)行匹配；在所述觸碰區(qū)域的區(qū)域位置與目標(biāo)圖像區(qū)域的目標(biāo)區(qū)域位置一致的情況下，將所述勾畫(huà)信息標(biāo)記在所述現(xiàn)場(chǎng)圖像上的目標(biāo)圖像區(qū)域上；確定所述指導(dǎo)動(dòng)作圖像指示的圖像區(qū)域范圍，并在所述現(xiàn)場(chǎng)圖像上的圖像區(qū)域范圍內(nèi)覆蓋所述指導(dǎo)動(dòng)作圖像。

8、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種應(yīng)用上述雙向視頻融合互動(dòng)的檢修ar眼鏡系統(tǒng)的檢修方法，包括：采集現(xiàn)場(chǎng)圖像數(shù)據(jù)，并獲取與所述現(xiàn)場(chǎng)圖像數(shù)據(jù)的每張現(xiàn)場(chǎng)圖像對(duì)應(yīng)的勾畫(huà)信息以及手勢(shì)圖像數(shù)據(jù)；對(duì)所述現(xiàn)場(chǎng)圖像數(shù)據(jù)進(jìn)行預(yù)處理，得到目標(biāo)圖像數(shù)據(jù)，并從所述手勢(shì)圖像數(shù)據(jù)中提取指導(dǎo)動(dòng)作圖像；將所述指導(dǎo)動(dòng)作圖像、所述勾畫(huà)信息與所述目標(biāo)圖像數(shù)據(jù)中的目標(biāo)現(xiàn)場(chǎng)圖像進(jìn)行融合，生成融合互動(dòng)視頻，其中，所述融合互動(dòng)視頻用于指導(dǎo)佩戴所述增強(qiáng)現(xiàn)實(shí)眼鏡的檢修對(duì)象進(jìn)行檢修操作。

9、進(jìn)一步地，在獲取所述手勢(shì)圖像數(shù)據(jù)之前，確定動(dòng)作捕捉模塊的捕捉背景區(qū)域，并在所述捕捉背景區(qū)域上覆蓋預(yù)設(shè)顏色的目標(biāo)物體。

10、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的計(jì)算機(jī)程序，其中，在所述計(jì)算機(jī)程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行上述任意一項(xiàng)檢修方法。

11、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種電子設(shè)備，包括一個(gè)或多個(gè)處理器和存儲(chǔ)器，所述存儲(chǔ)器用于存儲(chǔ)一個(gè)或多個(gè)程序，其中，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)上述任意一項(xiàng)檢修方法。

12、在本發(fā)明中，檢修ar眼鏡系統(tǒng)包括：增強(qiáng)現(xiàn)實(shí)眼鏡，用于采集現(xiàn)場(chǎng)圖像數(shù)據(jù)，并將現(xiàn)場(chǎng)圖像數(shù)據(jù)傳輸至邊緣計(jì)算服務(wù)器；目標(biāo)作業(yè)終端，用于獲取勾畫(huà)信息以及手勢(shì)圖像數(shù)據(jù)，并將勾畫(huà)信息以及手勢(shì)圖像數(shù)據(jù)傳輸至邊緣計(jì)算服務(wù)器；邊緣計(jì)算服務(wù)器，用于對(duì)現(xiàn)場(chǎng)圖像數(shù)據(jù)、勾畫(huà)信息以及手勢(shì)圖像數(shù)據(jù)進(jìn)行融合，生成融合互動(dòng)視頻，并將融合互動(dòng)視頻發(fā)送至增強(qiáng)現(xiàn)實(shí)眼鏡以及目標(biāo)作業(yè)終端進(jìn)行展示。

13、在本發(fā)明中，通過(guò)檢修ar眼鏡系統(tǒng)，能夠?qū)⒃鰪?qiáng)現(xiàn)實(shí)眼鏡采集的現(xiàn)場(chǎng)圖像數(shù)據(jù)以及目標(biāo)作業(yè)終端根據(jù)現(xiàn)場(chǎng)圖像數(shù)據(jù)生成的勾畫(huà)信息以及手勢(shì)圖像數(shù)據(jù)傳輸至邊緣計(jì)算服務(wù)器進(jìn)行處理，以生成融合互動(dòng)視頻，并將該融合互動(dòng)視頻增強(qiáng)現(xiàn)實(shí)眼鏡以及目標(biāo)作業(yè)終端進(jìn)行展示，能夠提高前后端之前的互動(dòng)性，實(shí)現(xiàn)現(xiàn)場(chǎng)的精確檢修，進(jìn)而解決了相關(guān)技術(shù)中的ar眼鏡互動(dòng)性較差，無(wú)法滿足精確的檢修需求的技術(shù)問(wèn)題。

技術(shù)特征：

1.一種雙向視頻融合互動(dòng)的檢修ar眼鏡系統(tǒng)，其特征在于，所述檢修ar眼鏡系統(tǒng)包括：

2.根據(jù)權(quán)利要求1所述的檢修ar眼鏡系統(tǒng)，其特征在于，所述增強(qiáng)現(xiàn)實(shí)眼鏡包括：

3.根據(jù)權(quán)利要求1所述的檢修ar眼鏡系統(tǒng)，其特征在于，所述目標(biāo)作業(yè)終端包括：

4.根據(jù)權(quán)利要求1所述的檢修ar眼鏡系統(tǒng)，其特征在于，所述邊緣計(jì)算服務(wù)器包括：

5.根據(jù)權(quán)利要求4所述的檢修ar眼鏡系統(tǒng)，其特征在于，對(duì)接收到的所述現(xiàn)場(chǎng)圖像數(shù)據(jù)進(jìn)行預(yù)處理，得到目標(biāo)圖像數(shù)據(jù)的步驟，包括：

6.根據(jù)權(quán)利要求4所述的檢修ar眼鏡系統(tǒng)，其特征在于，將所述指導(dǎo)動(dòng)作圖像、所述勾畫(huà)信息與所述現(xiàn)場(chǎng)圖像數(shù)據(jù)中的現(xiàn)場(chǎng)圖像進(jìn)行融合的步驟，包括：

7.一種應(yīng)用權(quán)利要求1中所述的雙向視頻融合互動(dòng)的檢修ar眼鏡系統(tǒng)的檢修方法，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的檢修方法，其特征在于，在獲取所述手勢(shì)圖像數(shù)據(jù)之前，確定動(dòng)作捕捉模塊的捕捉背景區(qū)域，并在所述捕捉背景區(qū)域上覆蓋預(yù)設(shè)顏色的目標(biāo)物體。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的計(jì)算機(jī)程序，其中，在所述計(jì)算機(jī)程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行權(quán)利要求7至8中任意一項(xiàng)所述的檢修方法。

10.一種電子設(shè)備，其特征在于，包括一個(gè)或多個(gè)處理器和存儲(chǔ)器，所述存儲(chǔ)器用于存儲(chǔ)一個(gè)或多個(gè)程序，其中，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)權(quán)利要求7至8中任意一項(xiàng)所述的檢修方法。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種雙向視頻融合互動(dòng)的檢修AR眼鏡系統(tǒng)及檢修方法，涉及AR眼鏡技術(shù)領(lǐng)域，其中，該檢修AR眼鏡系統(tǒng)包括：增強(qiáng)現(xiàn)實(shí)眼鏡，用于采集現(xiàn)場(chǎng)圖像數(shù)據(jù)，并將現(xiàn)場(chǎng)圖像數(shù)據(jù)傳輸至邊緣計(jì)算服務(wù)器；目標(biāo)作業(yè)終端，用于獲取勾畫(huà)信息以及手勢(shì)圖像數(shù)據(jù)，并將勾畫(huà)信息以及手勢(shì)圖像數(shù)據(jù)傳輸至邊緣計(jì)算服務(wù)器；邊緣計(jì)算服務(wù)器，用于對(duì)現(xiàn)場(chǎng)圖像數(shù)據(jù)、勾畫(huà)信息以及手勢(shì)圖像數(shù)據(jù)進(jìn)行融合，生成融合互動(dòng)視頻，并將融合互動(dòng)視頻發(fā)送至增強(qiáng)現(xiàn)實(shí)眼鏡以及目標(biāo)作業(yè)終端進(jìn)行展示。本發(fā)明解決了相關(guān)技術(shù)中的AR眼鏡互動(dòng)性較差，無(wú)法滿足精確的檢修需求的技術(shù)問(wèn)題。

技術(shù)研發(fā)人員：張勇志,肖帥,張永挺,謝幸生,周桂,蔡永智,朱浩,李垂有,湯曉暉,吳乾江,蔣炯鋒,王啟東,張勇,洪有源,林永昌,郭佳慶,謝紹敏,代博祉,周海育,陽(yáng)雙婷,陳年蔚,陳星竹,韓彥微,周偉昆,王華佑
受保護(hù)的技術(shù)使用者：廣東電網(wǎng)有限責(zé)任公司中山供電局
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19