本技術(shù)涉及遠(yuǎn)程控制機(jī)械，尤其涉及一種基于視覺(jué)識(shí)別的工程機(jī)械載具定位方法及相關(guān)設(shè)備。

背景技術(shù)：

1、在工程作業(yè)現(xiàn)場(chǎng)，遠(yuǎn)程控制工程機(jī)械的定位技術(shù)在現(xiàn)場(chǎng)作業(yè)中發(fā)揮著極大作用。目前，廣泛采用的定位技術(shù)主要依賴(lài)于gps或北斗衛(wèi)星導(dǎo)航系統(tǒng)，衛(wèi)星定位系統(tǒng)通過(guò)接收來(lái)自太空中的衛(wèi)星信號(hào)，為地面設(shè)備提供準(zhǔn)確的位置信息，從而實(shí)現(xiàn)對(duì)工程機(jī)械的遠(yuǎn)程監(jiān)控和操作。

2、但在精度要求較高的應(yīng)用場(chǎng)景中，傳統(tǒng)的衛(wèi)星定位技術(shù)往往難以滿(mǎn)足需求，為了解決這個(gè)問(wèn)題，實(shí)時(shí)動(dòng)態(tài)差分定位技術(shù)(rtk)應(yīng)運(yùn)而生，rtk技術(shù)通過(guò)在地面設(shè)立基準(zhǔn)站，實(shí)時(shí)接收衛(wèi)星信號(hào)并進(jìn)行差分處理，然后將差分信息發(fā)送給需要定位的移動(dòng)站，從而實(shí)現(xiàn)對(duì)移動(dòng)站位置的高精度測(cè)量。

3、盡管rtk技術(shù)在一定程度上提高了定位精度，但在復(fù)雜的作業(yè)現(xiàn)場(chǎng)環(huán)境中，其應(yīng)用仍然受到諸多限制，特別是在地形條件復(fù)雜、gps信號(hào)易受遮擋的區(qū)域，如城市高樓密集區(qū)、深山峽谷、隧道等，衛(wèi)星定位技術(shù)的性能會(huì)大幅下降，甚至出現(xiàn)較大的定位偏差，這種偏差不僅會(huì)影響工程機(jī)械的遠(yuǎn)程控制精度，還可能對(duì)作業(yè)安全造成嚴(yán)重影響。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問(wèn)題，本技術(shù)提供了一種基于視覺(jué)識(shí)別的工程機(jī)械載具定位方法及相關(guān)設(shè)備。

2、下面對(duì)本技術(shù)中提供的技術(shù)方案進(jìn)行描述：

3、本技術(shù)第一方面提供了一種基于視覺(jué)識(shí)別的工程機(jī)械載具定位方法，所述定位方法包括：

4、獲取無(wú)人機(jī)拍攝的圖像合集，所述圖像合集中包括至少一張工程作業(yè)現(xiàn)場(chǎng)的圖像；

5、使用卷積神經(jīng)網(wǎng)絡(luò)模型判斷所述圖像合集中的圖像是否包含目標(biāo)對(duì)象，所述目標(biāo)對(duì)象為所述工程作業(yè)現(xiàn)場(chǎng)中的工程機(jī)械載具；

6、若是，則在所述圖像的目標(biāo)對(duì)象處生成邊界框；

7、根據(jù)所述邊界框提取所述目標(biāo)對(duì)象的像素坐標(biāo)；

8、根據(jù)所述像素坐標(biāo)、所述無(wú)人機(jī)的位置和所述無(wú)人機(jī)上相機(jī)的參數(shù)，計(jì)算所述無(wú)人機(jī)上相機(jī)與所述目標(biāo)對(duì)象的距離以及所述無(wú)人機(jī)上相機(jī)與到目標(biāo)對(duì)象的視線(xiàn)角度；

9、根據(jù)所述無(wú)人機(jī)上相機(jī)與所述目標(biāo)對(duì)象的距離以及所述無(wú)人機(jī)上相機(jī)與到目標(biāo)對(duì)象的視線(xiàn)角度將所述像素坐標(biāo)轉(zhuǎn)換為地面坐標(biāo)；

10、根據(jù)所述地面坐標(biāo)計(jì)算所述目標(biāo)對(duì)象在wgs84坐標(biāo)系中的坐標(biāo)；

11、根據(jù)所述目標(biāo)對(duì)象在wgs84坐標(biāo)系中的坐標(biāo)實(shí)現(xiàn)對(duì)所述工程作業(yè)現(xiàn)場(chǎng)中的工程機(jī)械載具的定位。

12、可選的，使用卷積神經(jīng)網(wǎng)絡(luò)模型檢測(cè)所述圖像合集中的圖像是否包含目標(biāo)對(duì)象，所述目標(biāo)對(duì)象為所述工程作業(yè)現(xiàn)場(chǎng)中的工程機(jī)械載具，包括：

13、提取所述圖像合集中的所有圖像，并對(duì)包含有工程作業(yè)現(xiàn)場(chǎng)場(chǎng)景的圖像進(jìn)行標(biāo)注；

14、對(duì)標(biāo)注后的圖像進(jìn)行預(yù)處理，以獲取預(yù)處理圖像；

15、將所述預(yù)處理圖像輸入所述卷積神經(jīng)網(wǎng)絡(luò)模型中，以使得所述卷積神經(jīng)網(wǎng)絡(luò)模型提取所述預(yù)處理圖像中的特征信息，并根據(jù)所述特征信息判斷所述圖像是否包含目標(biāo)對(duì)象，所述目標(biāo)對(duì)象為所述工程作業(yè)現(xiàn)場(chǎng)中的工程機(jī)械載具。

16、可選的，在所述圖像的目標(biāo)對(duì)象處生成邊界框，包括：

17、確定所述目標(biāo)對(duì)象在所述圖像中左上角、右上角、右下角和左下角的四個(gè)像素坐標(biāo)點(diǎn)；

18、根據(jù)所述四個(gè)像素坐標(biāo)點(diǎn)在所述目標(biāo)對(duì)象處生成邊界框。

19、可選的，根據(jù)所述邊界框提取所述目標(biāo)對(duì)象的像素坐標(biāo)，包括：

20、確定所述邊界框的底部中心點(diǎn)坐標(biāo)；

21、將所述中心點(diǎn)坐標(biāo)作為參考點(diǎn)，并獲取所述參考點(diǎn)的像素坐標(biāo)。

22、可選的，根據(jù)所述無(wú)人機(jī)的位置和無(wú)人機(jī)上相機(jī)的參數(shù)，計(jì)算所述無(wú)人機(jī)上相機(jī)與所述目標(biāo)對(duì)象的距離以及所述無(wú)人機(jī)上相機(jī)與到目標(biāo)對(duì)象的視線(xiàn)角度，包括：

23、獲取所述無(wú)人機(jī)的位置參數(shù)，所述位置參數(shù)包括gps坐標(biāo)，無(wú)人機(jī)相對(duì)于地面的高度；

24、獲取所述無(wú)人機(jī)上相機(jī)的參數(shù)，所述無(wú)人機(jī)上相機(jī)的參數(shù)包括焦距、視場(chǎng)角、圖像分辨率、俯仰角和偏航角；

25、根據(jù)所述無(wú)人機(jī)上相機(jī)的焦距和視場(chǎng)角計(jì)算所述圖像像素的地面采樣距離gsd；

26、通過(guò)所述邊界框、所述像素坐標(biāo)和所述地面采樣距離計(jì)算所述目標(biāo)對(duì)象在地面的實(shí)際尺寸；

27、根據(jù)所述無(wú)人機(jī)相對(duì)于地面的高度和所述目標(biāo)對(duì)象在地面的實(shí)際尺寸獲取所述無(wú)人機(jī)與所述目標(biāo)對(duì)象的實(shí)際距離；

28、根據(jù)所述俯仰角和偏航角確定所述無(wú)人機(jī)上相機(jī)相對(duì)于所述無(wú)人機(jī)的目標(biāo)方向；

29、根據(jù)所述無(wú)人機(jī)的姿態(tài)和所述目標(biāo)方向確定相機(jī)光軸的第一方向向量；

30、通過(guò)所述像素坐標(biāo)計(jì)算相機(jī)光軸指向目標(biāo)對(duì)象的第二方向向量；

31、根據(jù)所述第一方向向量和所述第二方向向量獲取所述無(wú)人機(jī)上相機(jī)與到目標(biāo)對(duì)象的視線(xiàn)角度。

32、可選的，將所述像素坐標(biāo)轉(zhuǎn)換為地面坐標(biāo)，包括：

33、根據(jù)所述圖像像素的地面采樣距離gsd、所述無(wú)人機(jī)的位置參數(shù)、所述無(wú)人機(jī)上相機(jī)的參數(shù)、所述無(wú)人機(jī)上相機(jī)與所述目標(biāo)對(duì)象的距離和所述無(wú)人機(jī)上相機(jī)與到目標(biāo)對(duì)象的視線(xiàn)角度構(gòu)建坐標(biāo)轉(zhuǎn)換模型，所述坐標(biāo)轉(zhuǎn)換模型用于將圖像像素坐標(biāo)轉(zhuǎn)換為地面坐標(biāo)；

34、根據(jù)所述坐標(biāo)轉(zhuǎn)換模型將所述像素坐標(biāo)轉(zhuǎn)換為所述地面坐標(biāo)。

35、可選的，在使用卷積神經(jīng)網(wǎng)絡(luò)模型判斷所述圖像合集中的圖像是否包含目標(biāo)對(duì)象之后，所述方法還包括：

36、若否，則重新檢測(cè)所述圖像合集，直至檢測(cè)到所述圖像合集中的圖像包含所述目標(biāo)對(duì)象為止。

37、本技術(shù)第二方面提供了一種基于視覺(jué)識(shí)別的工程機(jī)械載具定位系統(tǒng)，所述定位系統(tǒng)包括：

38、獲取單元，用于獲取無(wú)人機(jī)拍攝的圖像合集，所述圖像合集中包括至少一張工程作業(yè)現(xiàn)場(chǎng)的圖像；

39、判斷單元，用于使用卷積神經(jīng)網(wǎng)絡(luò)模型檢測(cè)所述圖像合集中的圖像是否包含目標(biāo)對(duì)象，所述目標(biāo)對(duì)象為所述工程作業(yè)現(xiàn)場(chǎng)中的工程機(jī)械載具；

40、生成單元，用于當(dāng)所述判斷單元確定圖像合集中的圖像包含目標(biāo)對(duì)象時(shí)，在所述圖像的目標(biāo)對(duì)象處生成邊界框；

41、提取單元，用于根據(jù)所述邊界框提取所述目標(biāo)對(duì)象的像素坐標(biāo)；

42、第一計(jì)算單元，用于根據(jù)所述像素坐標(biāo)、所述無(wú)人機(jī)的位置和所述無(wú)人機(jī)上相機(jī)的參數(shù)，計(jì)算所述無(wú)人機(jī)上相機(jī)與所述目標(biāo)對(duì)象的距離以及所述無(wú)人機(jī)上相機(jī)與到目標(biāo)對(duì)象的視線(xiàn)角度；

43、轉(zhuǎn)換單元，用于根據(jù)所述無(wú)人機(jī)上相機(jī)與所述目標(biāo)對(duì)象的距離以及所述無(wú)人機(jī)上相機(jī)與到目標(biāo)對(duì)象的視線(xiàn)角度將所述像素坐標(biāo)轉(zhuǎn)換為地面坐標(biāo)；

44、第二計(jì)算單元，用于根據(jù)所述地面坐標(biāo)計(jì)算所述目標(biāo)對(duì)象在wgs84坐標(biāo)系中的坐標(biāo)；

45、定位單元，用于根據(jù)所述目標(biāo)對(duì)象在wgs84坐標(biāo)系中的坐標(biāo)實(shí)現(xiàn)對(duì)所述工程作業(yè)現(xiàn)場(chǎng)中的工程機(jī)械載具的定位。

46、本技術(shù)第三方面提供了一種基于視覺(jué)識(shí)別的工程機(jī)械載具定位裝置，所述裝置包括：

47、處理器、存儲(chǔ)器、輸入輸出單元以及總線(xiàn)；

48、所述處理器與所述存儲(chǔ)器、所述輸入輸出單元以及所述總線(xiàn)相連；

49、所述存儲(chǔ)器保存有程序，所述處理器調(diào)用所述程序以執(zhí)行如第一方面及第一方面中任一項(xiàng)所述的方法。

50、本技術(shù)第四方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上保存有程序，所述程序在計(jì)算機(jī)上執(zhí)行時(shí)執(zhí)行如第一方面及第一方面中任一項(xiàng)所述的方法。

51、從以上技術(shù)方案可以看出，本技術(shù)具有以下優(yōu)點(diǎn)：

52、本技術(shù)通過(guò)無(wú)人機(jī)在空中精準(zhǔn)的定位信息及圖像采集，建立準(zhǔn)確的地面數(shù)字化設(shè)備設(shè)施和地理信息坐標(biāo)，精準(zhǔn)進(jìn)行設(shè)備設(shè)施的推導(dǎo)定位，可很好地解決遠(yuǎn)程控制工程機(jī)械的定位精度問(wèn)題，能夠?qū)崿F(xiàn)對(duì)工程機(jī)械載具的高精度定位，避免對(duì)作業(yè)安全造成影響。