本技術屬于雷達航跡，更具體地，涉及一種無人機視頻與海上目標雷達航跡的關聯(lián)方法及裝置。

背景技術：

1、在多種探測手段中，雷達能夠遠距離發(fā)現(xiàn)和跟蹤目標，掌握其位置和運動信息，但無法掌握目標的身份信息；成像傳感器能夠直接獲取目標的圖像或視頻，準確掌握其身份信息，但對于大范圍的目標搜索和跟蹤效率較低。因此，可以針對雷達發(fā)現(xiàn)的目標，使用無人機前往拍攝視頻，并將視頻和雷達航跡自動關聯(lián)，快速實現(xiàn)目標的身份判別。

2、當前在多模態(tài)數(shù)據(jù)融合領域，圖像視頻類數(shù)據(jù)與序列數(shù)據(jù)的關聯(lián)主要集中在圖像視頻與文本或語音的關聯(lián)，與目標時空位置序列的場景差異較大。若先從視頻中提取目標的真實三維位置，再與雷達航跡進行關聯(lián)，則需要依賴雙目攝像頭或深度攝像頭等額外手段才能達到一定的準確度和可靠性，此方式成本較高。綜上所述，現(xiàn)有技術難以實現(xiàn)視頻和雷達航跡的關聯(lián)，進而造成目標身份識別的準確度和可靠性不足。

技術實現(xiàn)思路

1、針對現(xiàn)有技術的缺陷，本技術的目的在于提供一種無人機視頻與海上目標雷達航跡的關聯(lián)方法及裝置，旨在解決利用現(xiàn)有技術中難以實現(xiàn)視頻和雷達航跡的關聯(lián)而導致對目標身份識別的準確度和可靠性不足的問題。

2、第一方面，本技術提供一種無人機視頻與海上目標雷達航跡的關聯(lián)方法，包括：

3、獲取無人機視頻和海上目標待關聯(lián)的雷達航跡，識別所述無人機視頻中待檢測的視頻目標；

4、截取視頻目標與雷達航跡同時存在的時間段，生成所述時間段內(nèi)的視頻信息序列和雷達航跡序列；

5、獲取雷達航跡點位置和無人機相機位置的相對位置信息，根據(jù)所述相對位置信息判斷所述海上目標是否在相機視場范圍內(nèi)；

6、結(jié)合待關聯(lián)的雷達航跡點和無人機相機的相對距離估計視頻深度以及雷達航跡點在視頻平面的投影位置，根據(jù)所述視頻深度解算視頻目標像素坐標的空間位置；

7、根據(jù)誤差系數(shù)計算投影位置和空間位置的關聯(lián)相似度，根據(jù)所述關聯(lián)相似度和關聯(lián)閾值確定雷達航跡點的關聯(lián)結(jié)果；

8、根據(jù)所有雷達航跡點的關聯(lián)結(jié)果確定所述視頻信息序列和雷達航跡序列的關聯(lián)成功率，并根據(jù)關聯(lián)成功率和關聯(lián)成功的雷達航跡點的關聯(lián)相似度確定視頻目標與雷達航跡的關聯(lián)信息。

9、可選地，截取視頻目標與待關聯(lián)的雷達航跡同時存在的時間段，生成所述時間段內(nèi)的視頻信息序列和雷達航跡序列，包括：

10、截取視頻目標與待關聯(lián)的雷達航跡同時存在的時間段，判斷所述時間段是否大于時間閾值；

11、在所述時間段大于時間閾值的情況下，按照目標周期抽取無人機視頻中的關鍵幀，確定每個關鍵幀的當前時刻、視頻目標像素位置以及與關鍵幀時間最接近的相機位置和姿態(tài)信息，得到所述視頻信息序列；

12、對于所述視頻序列中的每個關鍵幀的當前時刻，利用插值法計算當前時刻對應的雷達航跡點位置，根據(jù)各雷達航跡點位置組成所述雷達航跡序列。

13、本技術實施例通過截取視頻目標與雷達航跡同時存在的時間段，可以確保所關聯(lián)的數(shù)據(jù)在時間上是同步的，減少因時間不匹配導致的關聯(lián)錯誤。

14、從無人機視頻中提取關鍵幀，能夠聚焦于重要時刻的信息，減少冗余數(shù)據(jù)，提高后續(xù)視頻和軌跡關聯(lián)的效率和準確性。

15、可選地，獲取雷達航跡點位置和無人機相機位置的相對位置信息，根據(jù)所述相對位置信息進行視頻信息序列和雷達航跡序列的關聯(lián)性判斷，包括：

16、計算所述雷達航跡點位置對應時刻的相機位置的水平距離、方位角以及仰角；所述方位角以正北方向為參考點順時針測量，仰角以水平方向為參考點，向下測量；

17、根據(jù)所述水平距離、方位角以及仰角獲取雷達航跡點位置和無人機相機位置的相對位置信息；

18、獲取雷達航跡點位置對應時刻的相機水平朝向和相機俯仰角度，結(jié)合所述相對位置信息和相機視場角，判斷所述海上目標是否在無人機相機的視場范圍內(nèi)，得到所述視頻信息序列和雷達航跡序列的關聯(lián)性初判結(jié)果。

19、本技術計算雷達航跡點與相機位置的水平距離、方位角和仰角，有助于準確了解目標在三維空間中的相對位置，通過確定雷達航跡點與相機位置的相對位置信息，有效地將雷達數(shù)據(jù)與視頻數(shù)據(jù)進行關聯(lián)，強化多源數(shù)據(jù)融合，通過判斷海上目標是否在視場范圍內(nèi)，可以有效過濾掉不在監(jiān)控范圍內(nèi)的目標，減少后續(xù)處理數(shù)據(jù)的冗余，進而提高目標識別的準確性。

20、可選地，結(jié)合待關聯(lián)的雷達航跡點和無人機相機的相對距離估計視頻深度以及雷達航跡點在視頻平面的投影位置，根據(jù)所述視頻深度解算視頻目標像素坐標的空間位置，包括：

21、根據(jù)所述水平距離、相機水平朝向以及方位角獲取雷達航跡的視頻水平深度以及雷達航跡點在視頻平面的x坐標投影；

22、將所述視頻水平深度結(jié)合相機位置和相機俯仰角度獲取視頻深度以及雷達航跡點在視頻平面的y坐標投影；

23、根據(jù)x坐標投影和y坐標投影確定所述投影位置；

24、確定視頻目標的像素坐標，根據(jù)所述視頻深度、像素坐標以及相機內(nèi)參計算視頻目標的空間位置。

25、可選地，還包括：

26、獲取無人機相機的內(nèi)參信息和傳感器尺寸；所述內(nèi)參信息包括焦距、主點坐標以及像素尺寸，所述傳感器尺寸包括感器寬度和傳感器高度；

27、基于所述內(nèi)參信息和傳感器尺寸確定無人機相機的像素焦距和視場角。

28、可選地，根據(jù)關聯(lián)成功的雷達航跡點的關聯(lián)相似度確定視頻目標與雷達航跡的關聯(lián)信息，包括：

29、根據(jù)每個關聯(lián)成功的雷達航跡點的關聯(lián)相似度確定平均關聯(lián)相似度；

30、確定關聯(lián)成功率大于成功率閾值的雷達航跡的個數(shù)；

31、若個數(shù)為0個，判定不存在與當前視頻目標關聯(lián)成功的雷達航跡；

32、若個數(shù)為1個，判定當前雷達航跡與當前視頻目標關聯(lián)成功；

33、若個數(shù)大于1個，判定平均關聯(lián)相似度最大的雷達航跡與當前視頻目標關聯(lián)成功。

34、可選地，還包括：

35、若無人機視頻中僅存在一個視頻目標，則遍歷全部待關聯(lián)的雷達航跡與所述視頻目標進行關聯(lián)；

36、若無人機視頻中存在至少兩個視頻目標，對每個所述視頻目標分別進行雷達航跡關聯(lián)。

37、第二方面，本技術還提供一種無人機視頻與海上目標雷達航跡的關聯(lián)裝置，包括：

38、識別模塊，用于獲取無人機視頻和海上目標待關聯(lián)的雷達航跡，識別所述無人機視頻中待檢測的視頻目標；

39、序列生成模塊，用于截取視頻目標與雷達航跡同時存在的時間段，生成所述時間段內(nèi)的視頻信息序列和雷達航跡序列；

40、初步判斷模塊，用于獲取雷達航跡點位置和無人機相機位置的相對位置信息，根據(jù)所述相對位置信息判斷所述海上目標是否在相機視場范圍內(nèi)；

41、位置解算模塊，用于結(jié)合待關聯(lián)的雷達航跡點和無人機相機的相對距離估計視頻深度以及雷達航跡點在視頻平面的投影位置，根據(jù)所述視頻深度解算視頻目標像素坐標的空間位置；

42、相似度模塊，用于根據(jù)誤差系數(shù)計算投影位置和空間位置的關聯(lián)相似度，根據(jù)所述關聯(lián)相似度和關聯(lián)閾值確定雷達航跡點的關聯(lián)結(jié)果；

43、關聯(lián)決策模塊，用于根據(jù)所有雷達航跡點的關聯(lián)結(jié)果確定所述視頻信息序列和雷達航跡序列的關聯(lián)成功率，并根據(jù)關聯(lián)成功率和關聯(lián)成功的雷達航跡點的關聯(lián)相似度確定視頻目標與雷達航跡的關聯(lián)信息。

44、第三方面，本技術提供一種電子設備，包括：至少一個存儲器，用于存儲程序；至少一個處理器，用于執(zhí)行存儲器存儲的程序，當存儲器存儲的程序被執(zhí)行時，處理器用于執(zhí)行第一方面或第一方面的任一種可能的實現(xiàn)方式所描述的方法。

45、第四方面，本技術提供一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有計算機程序，當計算機程序在處理器上運行時，使得處理器執(zhí)行第一方面或第一方面的任一種可能的實現(xiàn)方式所描述的方法。

46、第五方面，本技術提供一種計算機程序產(chǎn)品，當計算機程序產(chǎn)品在處理器上運行時，使得處理器執(zhí)行第一方面或第一方面的任一種可能的實現(xiàn)方式所描述的方法。

47、可以理解的是，上述第二方面至第五方面的有益效果可以參見上述第一方面中的相關描述，在此不再贅述。

48、總體而言，通過本技術所構(gòu)思的以上技術方案與現(xiàn)有技術相比，具有以下有益效果：

49、(1)本技術通過結(jié)合無人機視頻和雷達數(shù)據(jù)，利用空間位置、深度信息和誤差補償?shù)燃夹g手段實現(xiàn)視頻信息序列和雷達航跡序列的關聯(lián)，進而高效實現(xiàn)目標的身份判別，提高目標檢測判別的準確性和可靠性。

50、(2)本技術通過截取視頻目標與雷達航跡同時存在的時間段，可以確保分析的是同一目標，減少因時間差異帶來的誤差。通過獲取雷達航跡點位置和無人機相機位置的相對位置信息，可以判斷目標是否在相機視場范圍內(nèi)，通過空間信息融合能有效提高目標識別的準確性。

51、(3)根據(jù)雷達航跡點和無人機相機的相對距離，估算視頻深度，并解算目標的空間位置，不需要依賴雙目攝像頭或深度攝像頭等額外手段，因而能夠降低成本，并且根據(jù)目標的投影位置、空間位置和誤差系數(shù)計算關聯(lián)相似度，通過精細化的計算可以提高目標檢測和跟蹤的準確性。