本發(fā)明涉及船舶安全監(jiān)管，具體涉及一種基于無人機(jī)機(jī)載多傳感器數(shù)據(jù)的船舶目標(biāo)識(shí)別方法及系統(tǒng)。

背景技術(shù)：

1、無人機(jī)憑借其高空視角、攜帶方便、操作簡(jiǎn)單、靈活機(jī)動(dòng)等優(yōu)勢(shì)，已在海事監(jiān)管領(lǐng)域得到廣泛應(yīng)用。當(dāng)前無人機(jī)常用的單傳感器存在探測(cè)維度有限、感知精度低等問題，難以獲取水面目標(biāo)完整的特征信息。例如，僅通過船舶視覺數(shù)據(jù)無法獲知船舶身份和運(yùn)動(dòng)信息；船舶自動(dòng)識(shí)別系統(tǒng)（ais）可發(fā)送船舶靜態(tài)信息（mmsi碼、船舶類型、船名等）和動(dòng)態(tài)信息（經(jīng)緯度、航速、航向等），但僅通過ais數(shù)據(jù)無法直觀獲取船舶視覺信息。依靠現(xiàn)有的感知手段難以滿足無人機(jī)平臺(tái)對(duì)水上交通安全監(jiān)管態(tài)勢(shì)感知日益增長(zhǎng)的需求，而利用船舶視覺和ais數(shù)據(jù)融合可以同時(shí)獲得船舶的視覺、身份和運(yùn)動(dòng)信息，為海事監(jiān)控任務(wù)提供更高效更全面的感知數(shù)據(jù)。因此，有必要研究海事感知設(shè)備和無人機(jī)智能感知新技術(shù)，這也是提高海事智慧監(jiān)管效率的重要發(fā)展方向。

2、現(xiàn)有的船舶目標(biāo)識(shí)別方法主要面臨以下兩個(gè)問題：機(jī)載多傳感器數(shù)據(jù)存在空域不同維的問題；僅考慮船舶單一屬性難以實(shí)現(xiàn)準(zhǔn)確的融合效果，從而導(dǎo)致船舶目標(biāo)識(shí)別精度低。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，有必要提供一種基于無人機(jī)機(jī)載多傳感器數(shù)據(jù)的船舶目標(biāo)識(shí)別方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中存在的機(jī)載多傳感器數(shù)據(jù)存在空域不同維、僅考慮船舶單一屬性難以實(shí)現(xiàn)準(zhǔn)確的融合效果，從而導(dǎo)致船舶目標(biāo)識(shí)別精度低的技術(shù)問題。

2、一方面，為了解決上述技術(shù)問題，本發(fā)明提供了一種基于無人機(jī)機(jī)載多傳感器數(shù)據(jù)的船舶目標(biāo)識(shí)別方法，包括：

3、獲取無人機(jī)機(jī)載多傳感器數(shù)據(jù)，所述無人機(jī)機(jī)載多傳感器數(shù)據(jù)包括ais數(shù)據(jù)、船舶視覺數(shù)據(jù)以及imu/gnss數(shù)據(jù)；

4、基于所述imu/gnss數(shù)據(jù)建立船舶視覺數(shù)據(jù)所在坐標(biāo)系和ais數(shù)據(jù)所在坐標(biāo)系之間的坐標(biāo)轉(zhuǎn)換關(guān)系，并基于所述坐標(biāo)轉(zhuǎn)換關(guān)系將所述ais數(shù)據(jù)進(jìn)行坐標(biāo)系轉(zhuǎn)換，獲得ais轉(zhuǎn)換數(shù)據(jù)；

5、基于船舶位置約束、船舶航向約束和相機(jī)視野約束確定所述船舶視覺數(shù)據(jù)和所述ais轉(zhuǎn)換數(shù)據(jù)的關(guān)聯(lián)結(jié)果，并基于所述關(guān)聯(lián)結(jié)果對(duì)所述船舶視覺數(shù)據(jù)和所述ais轉(zhuǎn)換數(shù)據(jù)進(jìn)行融合，獲得船舶目標(biāo)識(shí)別結(jié)果。

6、在一種可能的實(shí)現(xiàn)方式中，所述船舶視覺數(shù)據(jù)所在坐標(biāo)系為像素坐標(biāo)系，所述ais數(shù)據(jù)所在坐標(biāo)系為wgs84坐標(biāo)系，所述ais數(shù)據(jù)包括船舶經(jīng)度、船舶緯度、航速、航向和船名，所述gnss數(shù)據(jù)包括無人機(jī)經(jīng)度、無人機(jī)緯度、無人機(jī)高度，imu數(shù)據(jù)包括機(jī)載相機(jī)的方位角和俯仰角；則所述基于所述imu/gnss數(shù)據(jù)建立船舶視覺數(shù)據(jù)所在坐標(biāo)系和ais數(shù)據(jù)所在坐標(biāo)系之間的坐標(biāo)轉(zhuǎn)換關(guān)系，包括：

7、基于所述船舶經(jīng)度、船舶緯度、無人機(jī)經(jīng)度和無人機(jī)緯度確定所述wgs84坐標(biāo)系與世界坐標(biāo)系的第一轉(zhuǎn)換關(guān)系；

8、確定所述世界坐標(biāo)系與機(jī)身坐標(biāo)系的第二轉(zhuǎn)換關(guān)系、相機(jī)坐標(biāo)系與機(jī)身坐標(biāo)系的第三轉(zhuǎn)換關(guān)系、所述相機(jī)坐標(biāo)系與圖像坐標(biāo)系的第四轉(zhuǎn)換關(guān)系以及所述圖像坐標(biāo)系和所述像素坐標(biāo)系的第五轉(zhuǎn)換關(guān)系；

9、基于所述第一轉(zhuǎn)換關(guān)系、所述第二轉(zhuǎn)換關(guān)系、所述第三轉(zhuǎn)換關(guān)系、所述第四轉(zhuǎn)換關(guān)系和所述第五轉(zhuǎn)換關(guān)系確定所述坐標(biāo)轉(zhuǎn)換關(guān)系。

10、在一種可能的實(shí)現(xiàn)方式中，所述基于所述第一轉(zhuǎn)換關(guān)系、所述第二轉(zhuǎn)換關(guān)系、所述第三轉(zhuǎn)換關(guān)系、所述第四轉(zhuǎn)換關(guān)系和所述第五轉(zhuǎn)換關(guān)系確定所述坐標(biāo)轉(zhuǎn)換關(guān)系，包括：

11、基于所述第一轉(zhuǎn)換關(guān)系、所述第二轉(zhuǎn)換關(guān)系、所述第三轉(zhuǎn)換關(guān)系、所述第四轉(zhuǎn)換關(guān)系和所述第五轉(zhuǎn)換關(guān)系確定初始坐標(biāo)轉(zhuǎn)換關(guān)系；

12、獲取相機(jī)畸變參數(shù)，并基于所述相機(jī)畸變參數(shù)對(duì)所述初始坐標(biāo)轉(zhuǎn)換關(guān)系進(jìn)行校準(zhǔn)，獲得所述坐標(biāo)轉(zhuǎn)換關(guān)系。

13、在一種可能的實(shí)現(xiàn)方式中，所述船舶位置約束為：

14、

15、

16、所述船舶航向約束為：

17、

18、所述相機(jī)視野約束為：濾除處于相機(jī)視野范圍外的ais轉(zhuǎn)換數(shù)據(jù)；

19、式中，為第i個(gè)ais轉(zhuǎn)換數(shù)據(jù)中的船舶位置；為第j個(gè)船舶視覺數(shù)據(jù)中的旋轉(zhuǎn)框中心點(diǎn)坐標(biāo)；為第i個(gè)ais數(shù)據(jù)和第j個(gè)船舶視覺數(shù)據(jù)中同一船舶位置坐標(biāo)的歐氏距離；為距離閾值；為第i個(gè)ais轉(zhuǎn)換數(shù)據(jù)中的船舶航向；為第j個(gè)船舶視覺數(shù)據(jù)中的船舶航向；為角度閾值。

20、在一種可能的實(shí)現(xiàn)方式中，所述基于船舶位置約束、船舶航向約束和相機(jī)視野約束確定所述船舶視覺數(shù)據(jù)和所述ais轉(zhuǎn)換數(shù)據(jù)的關(guān)聯(lián)結(jié)果，包括：

21、基于所述相機(jī)視野約束對(duì)所述ais轉(zhuǎn)換數(shù)據(jù)進(jìn)行篩選，獲得目標(biāo)ais轉(zhuǎn)換數(shù)據(jù)；

22、基于所述船舶位置約束確定所述船舶視覺數(shù)據(jù)以及所述目標(biāo)ais轉(zhuǎn)換數(shù)據(jù)之間的船舶位置約束矩陣；

23、基于所述船舶航向約束確定所述船舶視覺數(shù)據(jù)以及所述目標(biāo)ais轉(zhuǎn)換數(shù)據(jù)之間的船舶航向約束矩陣；

24、基于所述船舶位置約束矩陣和所述船舶航向約束矩陣確定綜合約束矩陣，并基于所述綜合約束矩陣確定所述船舶視覺數(shù)據(jù)和所述ais轉(zhuǎn)換數(shù)據(jù)的關(guān)聯(lián)結(jié)果。

25、在一種可能的實(shí)現(xiàn)方式中，所述綜合約束矩陣的行數(shù)為所述目標(biāo)ais轉(zhuǎn)換數(shù)據(jù)的總個(gè)數(shù)，所述綜合約束矩陣的列數(shù)為所述船舶視覺數(shù)據(jù)的總個(gè)數(shù)；所述基于所述綜合約束矩陣確定所述船舶視覺數(shù)據(jù)和所述ais轉(zhuǎn)換數(shù)據(jù)的關(guān)聯(lián)結(jié)果，包括：

26、確定所述綜合約束矩陣每行中不為零的最小值；

27、基于所述最小值對(duì)應(yīng)的行號(hào)和列號(hào)確定關(guān)聯(lián)成功的目標(biāo)船舶視覺數(shù)據(jù)和目標(biāo)ais轉(zhuǎn)換數(shù)據(jù)。

28、在一種可能的實(shí)現(xiàn)方式中，所述基于無人機(jī)機(jī)載多傳感器數(shù)據(jù)的船舶目標(biāo)識(shí)別方法還包括：

29、基于所述關(guān)聯(lián)結(jié)果確定所述ais數(shù)據(jù)中與所述船舶視覺數(shù)據(jù)關(guān)聯(lián)成功的匹配ais數(shù)據(jù)；

30、將所述船舶視覺數(shù)據(jù)進(jìn)行顯示，并將所述匹配ais數(shù)據(jù)疊加顯示在所述船舶視覺數(shù)據(jù)中。

31、在一種可能的實(shí)現(xiàn)方式中，在所述獲取無人機(jī)機(jī)載多傳感器數(shù)據(jù)之后，還包括：

32、將所述無人機(jī)機(jī)載多傳感器數(shù)據(jù)進(jìn)行硬件時(shí)間同步和軟件時(shí)間同步。

33、在一種可能的實(shí)現(xiàn)方式中，在所述無人機(jī)機(jī)載多傳感器數(shù)據(jù)之后，還包括：

34、將所述ais數(shù)據(jù)進(jìn)行數(shù)據(jù)解碼和數(shù)據(jù)清洗。

35、另一方面，本發(fā)明還提供了一種基于無人機(jī)機(jī)載多傳感器數(shù)據(jù)的船舶目標(biāo)識(shí)別系統(tǒng)，包括：

36、多傳感器數(shù)據(jù)獲取單元，用于獲取無人機(jī)機(jī)載多傳感器數(shù)據(jù)，所述無人機(jī)機(jī)載多傳感器數(shù)據(jù)包括ais數(shù)據(jù)、船舶視覺數(shù)據(jù)以及imu/gnss數(shù)據(jù)；

37、多傳感器數(shù)據(jù)轉(zhuǎn)換單元，用于基于所述imu/gnss數(shù)據(jù)建立船舶視覺數(shù)據(jù)所在坐標(biāo)系和ais數(shù)據(jù)所在坐標(biāo)系之間的坐標(biāo)轉(zhuǎn)換關(guān)系，并基于所述坐標(biāo)轉(zhuǎn)換關(guān)系將所述ais數(shù)據(jù)進(jìn)行坐標(biāo)系轉(zhuǎn)換，獲得ais轉(zhuǎn)換數(shù)據(jù)；

38、多傳感器數(shù)據(jù)關(guān)聯(lián)匹配單元，用于基于船舶位置約束、船舶航向約束和相機(jī)視野約束確定所述船舶視覺數(shù)據(jù)和所述ais轉(zhuǎn)換數(shù)據(jù)的關(guān)聯(lián)結(jié)果，并基于所述關(guān)聯(lián)結(jié)果對(duì)所述船舶視覺數(shù)據(jù)和所述ais轉(zhuǎn)換數(shù)據(jù)進(jìn)行融合，獲得船舶目標(biāo)識(shí)別結(jié)果。

39、本發(fā)明的有益效果是：本發(fā)明提供的基于無人機(jī)機(jī)載多傳感器數(shù)據(jù)的船舶目標(biāo)識(shí)別方法，獲取無人機(jī)機(jī)載多傳感器數(shù)據(jù)，相較于現(xiàn)有技術(shù)中通過船端和岸端進(jìn)行船舶目標(biāo)識(shí)別的技術(shù)，實(shí)現(xiàn)了無人機(jī)在海事場(chǎng)景的應(yīng)用，具有高空視角、攜帶方便、操作簡(jiǎn)單、靈活機(jī)動(dòng)等特異性和新穎性。進(jìn)一步地，通過設(shè)置在對(duì)無人機(jī)機(jī)載多傳感器數(shù)據(jù)進(jìn)行關(guān)聯(lián)前，先基于建立的坐標(biāo)轉(zhuǎn)換關(guān)系將ais數(shù)據(jù)進(jìn)行坐標(biāo)系轉(zhuǎn)換，獲得ais轉(zhuǎn)換數(shù)據(jù)，將ais數(shù)據(jù)和船舶視覺數(shù)據(jù)統(tǒng)一至同一坐標(biāo)空間下，實(shí)現(xiàn)ais數(shù)據(jù)和船舶視覺數(shù)據(jù)的空域同維。并且，本發(fā)明在將船舶視覺數(shù)據(jù)和ais轉(zhuǎn)換數(shù)據(jù)進(jìn)行關(guān)聯(lián)時(shí)，考慮了船舶位置約束、船舶航向約束和相機(jī)視野約束這三個(gè)約束條件，使關(guān)聯(lián)結(jié)果更加準(zhǔn)確，進(jìn)而提高了船舶目標(biāo)識(shí)別結(jié)果的準(zhǔn)確性和精度。