本發(fā)明涉及水下伴隨機(jī)器人的，更具體的，涉及一種目標(biāo)跟蹤方法及裝置、水下伴隨機(jī)器人和存儲介質(zhì)。

背景技術(shù)：

1、在水下環(huán)境中，目標(biāo)跟蹤技術(shù)面臨著許多挑戰(zhàn)。水下環(huán)境的特殊性，例如光線的衰減和水中雜質(zhì)的干擾，導(dǎo)致圖像的質(zhì)量通常較差，出現(xiàn)色彩失真、模糊和對比度低等問題。這使得傳統(tǒng)的目標(biāo)檢測和跟蹤方法難以有效識別和追蹤水下目標(biāo)。此外，水下環(huán)境中的目標(biāo)通常具有類似的外觀，如潛水員的著裝相似性，進(jìn)一步增加了目標(biāo)識別和跟蹤的復(fù)雜性。因此，現(xiàn)有技術(shù)在這種環(huán)境下的目標(biāo)跟蹤能力存在明顯不足。

2、目前，盡管有多種目標(biāo)檢測算法如yolo(you?only?look?once)和ssd(singleshot?multibox?detector)可以在正常光照條件下提供較好的目標(biāo)識別能力，但在水下環(huán)境中，其效果大打折扣。這些算法依賴于清晰的圖像特征，但在水下，圖像通常受限于光線傳播和水中雜質(zhì)，這影響了目標(biāo)的清晰度和特征提取的準(zhǔn)確性。同時(shí)，目標(biāo)跟蹤算法需要在連續(xù)圖像序列中維持目標(biāo)的跟蹤，但在水下，由于圖像質(zhì)量的限制，傳統(tǒng)的跟蹤算法可能難以有效工作，特別是當(dāng)目標(biāo)在圖像中模糊不清或被其他物體遮擋時(shí)。

3、為了解決這些問題，當(dāng)前的技術(shù)方案通常依賴于先進(jìn)的圖像處理和深度學(xué)習(xí)技術(shù)，但仍然無法充分解決水下目標(biāo)跟蹤中的所有挑戰(zhàn)?，F(xiàn)有技術(shù)在水下環(huán)境下的目標(biāo)跟蹤仍存在準(zhǔn)確性不足、算法復(fù)雜度高、計(jì)算資源需求大等問題。因此，迫切需要一種改進(jìn)的技術(shù)方案，以提高在水下環(huán)境中目標(biāo)跟蹤的準(zhǔn)確性和魯棒性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為解決在水下環(huán)境中精準(zhǔn)跟蹤模糊目標(biāo)的技術(shù)問題，而提供一種目標(biāo)跟蹤方法及裝置、水下伴隨機(jī)器人和存儲介質(zhì)。

2、為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：

3、一種目標(biāo)跟蹤方法，在被跟蹤目標(biāo)上放置可發(fā)射調(diào)制光信號的發(fā)光裝置，所述方法包括以下步驟：

4、采用雙目相機(jī)獲取包含連續(xù)幀的視頻序列，并對該視頻序列進(jìn)行圖像預(yù)處理，所述圖像預(yù)處理包括銳化處理、去霧處理和去噪處理，得到預(yù)處理后的圖像序列；

5、在預(yù)處理后的圖像序列上同時(shí)啟動三個(gè)處理線程，第一處理線程采用雙目匹配算法生成景深圖；第二處理線程使用目標(biāo)檢測算法及目標(biāo)跟蹤算法識別并跟蹤目標(biāo)，生成包含被跟蹤目標(biāo)id的包圍盒信息；第三處理線程利用調(diào)制光檢測算法得到發(fā)光裝置的中心位置；

6、將三個(gè)處理線程生成的景深圖、包含被跟蹤目標(biāo)id的包圍盒信息、發(fā)光裝置的中心位置進(jìn)行信息融合，將發(fā)光裝置的中心位置與目標(biāo)的包圍盒位置標(biāo)記在景深圖上，計(jì)算融合信息中被跟蹤目標(biāo)的空間位置及其速度，以實(shí)現(xiàn)對目標(biāo)的跟蹤。

7、進(jìn)一步，獲取包含連續(xù)幀的視頻序列的步驟包括：

8、在系統(tǒng)出廠階段，對雙目相機(jī)進(jìn)行校準(zhǔn)，使兩個(gè)攝像頭的視角一致，并校正相機(jī)的內(nèi)參數(shù)和外參數(shù)；

9、其中，相機(jī)的內(nèi)參數(shù)包括焦距、主點(diǎn)和畸變系數(shù)，相機(jī)的外參數(shù)包括旋轉(zhuǎn)矩陣和平移向量；所述旋轉(zhuǎn)矩陣為一個(gè)3x3的矩陣，用于描述相機(jī)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)；所述平移向量為一個(gè)3x1的向量，用于描述相機(jī)坐標(biāo)系相對于世界坐標(biāo)系的平移；

10、使用校準(zhǔn)好的雙目相機(jī)捕獲包含連續(xù)幀的視頻序列，其中每對幀由左攝像頭和右攝像頭同時(shí)拍攝，以便進(jìn)行后續(xù)的雙目匹配處理。

11、進(jìn)一步，對視頻序列進(jìn)行圖像預(yù)處理的步驟包括：

12、對獲取的視頻序列中的每一幀進(jìn)行預(yù)處理，應(yīng)用銳化濾波器來增強(qiáng)圖像中的邊緣細(xì)節(jié)，以提高目標(biāo)的清晰度；增強(qiáng)圖像邊緣的公式為：

13、

14、其中，isharp(x,y)是銳化后的圖像，iraw(x,y)是原始圖像，α是銳化系數(shù)，是拉普拉斯算子；x表示圖像中的水平坐標(biāo)，y表示圖像中的垂直坐標(biāo)；

15、通過估計(jì)圖像的暗通道和大氣光來去除圖像中的霧霾效應(yīng)，以提高圖像的對比度和可見度，具體公式為：

16、

17、其中，id(x,y)是去霧后的圖像，iraw(x,y)是原始圖像，a是大氣光估計(jì)值，t(x,y)是透射率；x表示圖像中的水平坐標(biāo)，y表示圖像中的垂直坐標(biāo)；

18、利用高斯濾波器平滑圖像，降低圖像中的噪聲，以減少對后續(xù)處理的干擾。

19、具體公式為：

20、

21、其中，idenoised(x,y)為去噪處理后的圖像在位置(x,y)的像素值；iraw(x′,y′)為原始圖像在位置(x′,y′)的像素值；σ為高斯濾波器的標(biāo)準(zhǔn)差，用于控制濾波器的平滑程度；x和y為去噪后圖像的像素坐標(biāo)；x′和y′為原始圖像的像素坐標(biāo)。

22、進(jìn)一步，所述第一處理線程通過雙目匹配算法生成景深圖的具體步驟包括：

23、捕獲一對經(jīng)過標(biāo)定的雙目相機(jī)拍攝的圖像；

24、對所述圖像進(jìn)行立體校正，得到校正后的左圖像il(x,y)和右圖像ir(x,y)；

25、其中，x表示圖像中的水平坐標(biāo)，y表示圖像中的垂直坐標(biāo)；

26、計(jì)算視差圖d(x,y)，公式為：

27、d(x，y)＝xl-xr

28、其中，xl和xr分別表示左圖像和右圖像中同一點(diǎn)的水平坐標(biāo)；

29、根據(jù)視差圖d(x,y)計(jì)算景深圖z(x，y)，公式為：

30、

31、其中，f是相機(jī)的焦距，b是相機(jī)基線距離；

32、輸出生成的景深圖z(x，y)；

33、所述第二處理線程使用目標(biāo)檢測算法及目標(biāo)跟蹤算法識別并跟蹤目標(biāo)，生成包含被跟蹤目標(biāo)id的包圍盒信息的具體步驟包括：

34、使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測，公式為：

35、p(x，y，c)＝softmax(fcnn(i(x，y)))

36、其中，p(x，y，c)是位置(x，y)處目標(biāo)類別c的置信度，fcnn是卷積神經(jīng)網(wǎng)絡(luò)模型；

37、根據(jù)目標(biāo)檢測結(jié)果生成目標(biāo)的初始包圍盒信息[xmin，ymin，xmax，ymax]；

38、其中，xmin為包圍盒左上角的水平坐標(biāo)；ymin為包圍盒左上角的垂直坐標(biāo)；xmax為包圍盒右下角的水平坐標(biāo)；ymax為包圍盒右下角的垂直坐標(biāo)；

39、使用卡爾曼濾波算法進(jìn)行目標(biāo)跟蹤，更新目標(biāo)的包圍盒位置，公式為：

40、

41、

42、其中，是目標(biāo)的預(yù)測狀態(tài)，f是狀態(tài)轉(zhuǎn)移矩陣，b是控制矩陣，uk是控制向量，wk是過程噪聲，h是觀測矩陣，vk是觀測噪聲；

43、輸出包含被跟蹤目標(biāo)id的包圍盒信息；

44、所述第三處理線程利用調(diào)制光檢測算法得到發(fā)光裝置的中心位置的具體步驟包括：

45、采集包含發(fā)光裝置的圖像i(x，y)；

46、應(yīng)用調(diào)制光檢測算法，進(jìn)行頻域分析以提取發(fā)光裝置的調(diào)制頻率，公式為：

47、

48、其中，表示傅里葉變換，是圖像i(x，y)的頻域表示；

49、在頻域圖像中，找到與發(fā)光裝置頻率相對應(yīng)的峰值位置，計(jì)算其對應(yīng)的空間域位置，公式為：

50、

51、根據(jù)峰值位置轉(zhuǎn)換到空間域中，確定發(fā)光裝置的中心位置(xc，yc)；

52、輸出發(fā)光裝置的中心位置(xc，yc)。

53、進(jìn)一步，所述信息融合的步驟包括：

54、從第一處理線程生成的景深圖z(x，y)中提取景深信息；

55、從第二處理線程獲得的目標(biāo)包圍盒信息[xmin，ymin，xmax，ymax]中提取目標(biāo)的邊界框位置；

56、從第三處理線程獲取的發(fā)光裝置中心位置(xc，yc)中提取發(fā)光裝置的坐標(biāo)；

57、將發(fā)光裝置的中心位置標(biāo)記在景深圖上，使用顏色標(biāo)記或符號標(biāo)記發(fā)光裝置的坐標(biāo)(xc，yc)；

58、在景深圖上標(biāo)記目標(biāo)的包圍盒位置，形成一個(gè)矩形框，框的頂點(diǎn)為(xmin，ymin)和(xmax，ymax)；

59、計(jì)算被跟蹤目標(biāo)的空間位置的步驟為：

60、通過目標(biāo)包圍盒的四個(gè)邊界坐標(biāo)計(jì)算目標(biāo)的中心位置(xt，yt)，公式為：

61、

62、

63、根據(jù)目標(biāo)的包圍盒在景深圖中的位置和景深值，計(jì)算目標(biāo)的空間坐標(biāo)(xt，yt，zt)，公式為：

64、

65、

66、zt＝z(xt，yt)

67、其中，(x0，y0)是圖像的光心坐標(biāo)，f是相機(jī)的焦距，z(xt，yt)是目標(biāo)位置的景深值；

68、計(jì)算被跟蹤目標(biāo)的速度的步驟為：

69、記錄連續(xù)幀中的目標(biāo)中心位置和空間坐標(biāo)其中k表示第k幀；

70、計(jì)算目標(biāo)在連續(xù)幀之間的速度vt：

71、

72、其中，δt是兩幀之間的時(shí)間間隔。

73、一種目標(biāo)跟蹤裝置，包括：

74、視頻序列獲取模塊，用于獲取包含連續(xù)幀的視頻序列；

75、圖像預(yù)處理模塊，用于對視頻序列進(jìn)行圖像預(yù)處理，所述圖像預(yù)處理包括銳化處理、去霧處理和去噪處理，得到預(yù)處理后的圖像序列；

76、雙目匹配模塊，用于執(zhí)行第一處理線程，在預(yù)處理后的圖像序列的基礎(chǔ)上采用雙目匹配算法生成景深圖；

77、目標(biāo)檢測跟蹤模塊，用于執(zhí)行第二處理線程，在預(yù)處理后的圖像序列的基礎(chǔ)上使用目標(biāo)檢測算法及目標(biāo)跟蹤算法識別并跟蹤目標(biāo)，生成包含被跟蹤目標(biāo)id的包圍盒信息；

78、調(diào)制光檢測模塊，用于執(zhí)行第三處理線程，在預(yù)處理后的圖像序列的基礎(chǔ)上利用調(diào)制光檢測算法得到發(fā)光裝置的中心位置；

79、信息融合模塊，用于將三個(gè)處理線程生成的景深圖、包含被跟蹤目標(biāo)id的包圍盒信息、發(fā)光裝置的中心位置進(jìn)行信息融合，將發(fā)光裝置的中心位置與目標(biāo)的包圍盒位置標(biāo)記在景深圖上；

80、計(jì)算模塊，用于計(jì)算融合信息中被跟蹤目標(biāo)的空間位置及其速度，以實(shí)現(xiàn)對目標(biāo)的跟蹤。

81、進(jìn)一步，所述視頻序列獲取模塊采用雙目立體視覺相機(jī)，所述雙目立體視覺相機(jī)用于以固定的幀率采集包含連續(xù)幀的視頻序列。

82、進(jìn)一步，所述圖像預(yù)處理模塊包括銳化處理子模塊、去霧處理子模塊和去噪處理子模塊；所述銳化處理子模塊用于對圖像進(jìn)行銳化處理，以增強(qiáng)圖像細(xì)節(jié)；所述去霧處理子模塊用于去除圖像中的霧霾效果，以提高圖像清晰度；所述去噪處理子模塊用于降低圖像中的噪聲，使圖像更平滑；

83、所述雙目匹配模塊包括視差計(jì)算子模塊和景深圖生成子模塊；所述視差計(jì)算子模塊用于根據(jù)預(yù)處理后的圖像序列計(jì)算視差圖；所述景深圖生成子模塊用于從視差圖中生成景深圖；

84、所述目標(biāo)檢測跟蹤模塊包括目標(biāo)檢測子模塊和目標(biāo)跟蹤子模塊；所述目標(biāo)檢測子模塊用于使用目標(biāo)檢測算法識別視頻中的目標(biāo)；所述目標(biāo)跟蹤子模塊用于跟蹤目標(biāo)的運(yùn)動軌跡，生成目標(biāo)的包圍盒信息，并標(biāo)記目標(biāo)id；

85、所述調(diào)制光檢測模塊包括光斑檢測子模塊和光斑中心定位子模塊；所述光斑檢測子模塊用于檢測發(fā)光裝置發(fā)出的調(diào)制光信號，確定光斑的位置；所述光斑中心定位子模塊用于確定光斑的中心位置；

86、所述信息融合模塊包括信息合成子模塊和標(biāo)記子模塊；所述信息合成子模塊用于將景深圖、包圍盒信息和光斑中心位置進(jìn)行合成；所述標(biāo)記子模塊用于在景深圖上標(biāo)記目標(biāo)的包圍盒和光斑中心位置；

87、所述計(jì)算模塊包括空間位置計(jì)算子模塊和速度計(jì)算子模塊；所述空間位置計(jì)算子模塊用于根據(jù)融合信息計(jì)算目標(biāo)在三維空間中的位置；所述速度計(jì)算子模塊用于計(jì)算目標(biāo)在不同時(shí)間點(diǎn)的速度。

88、一種水下伴隨機(jī)器人，所述水下伴隨機(jī)器人包括存儲器、處理器以及存儲在所述存儲器并可在所述處理器上運(yùn)行的目標(biāo)跟蹤程序，所述目標(biāo)跟蹤程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如前述的目標(biāo)跟蹤方法的各個(gè)步驟。

89、一種存儲介質(zhì)，所述存儲介質(zhì)存儲有目標(biāo)跟蹤程序，所述目標(biāo)跟蹤程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前述的目標(biāo)跟蹤方法的各個(gè)步驟。

90、與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：

91、本發(fā)明提供了一種目標(biāo)跟蹤方法及裝置、水下伴隨機(jī)器人和存儲介質(zhì)，通過雙目立體視覺和調(diào)制光信號的結(jié)合，顯著提高了在水下環(huán)境中對目標(biāo)的檢測和跟蹤精度，解決了傳統(tǒng)方法在水下環(huán)境中識別模糊目標(biāo)的難題；通過預(yù)處理技術(shù)和主動標(biāo)志點(diǎn)檢測，提高了系統(tǒng)在復(fù)雜水下環(huán)境中的魯棒性，有效應(yīng)對了光線衰減和水中雜質(zhì)的干擾；通過優(yōu)化算法流程和信息融合技術(shù)，減少了計(jì)算開銷，提高了系統(tǒng)的實(shí)時(shí)性和處理效率；調(diào)制光信號裝置輔助識別，解決了潛水員著裝相似帶來的目標(biāo)識別難題，確保了目標(biāo)跟蹤的唯一性和準(zhǔn)確性；該方法可以廣泛應(yīng)用于各種水下操作場景，提高了水下機(jī)器人在實(shí)際應(yīng)用中的效能和安全性。