本發(fā)明屬于機器視覺及圖像處理，特別是一種基于多視角觀測的蓮蓬采摘點定位方法。

背景技術：

1、長期以來，蓮蓬采摘主要依靠人工，該方式效率低且面臨勞動力短缺問題。近年來，果蔬自動采摘技術發(fā)展迅速，研究快速有效的果實或果梗采摘點定位方法則是實現(xiàn)自動采摘的關鍵。現(xiàn)有采摘點定位方法主要包括基于傳統(tǒng)圖像處理和基于深度學習兩種方式。相比于傳統(tǒng)圖像處理方法，基于深度學習的采摘點定位方法可以實現(xiàn)對果實、果梗目標的端對端檢測，并能夠利用目標檢測框及掩膜結果為采摘點定位計算提供可靠支撐。

2、目前，有關蓮蓬采摘點定位技術的相關報道較少。傳統(tǒng)的果蔬自動采摘多采用單視角觀測，通常通過單視角即可完成果實目標的識別與采摘點定位。但蓮蓬姿態(tài)多變、朝向各異。在單一視角下，荷梗采摘段易被蓮蓬自身或者其他物體遮擋，導致難以被完整、有效地觀測，進而無法計算采摘點位置及荷梗采摘段向量信息。最終導致采摘機器人難以執(zhí)行采摘作業(yè)，影響自動采摘的經濟性與連續(xù)性。

技術實現(xiàn)思路

1、為解決上述技術問題，本發(fā)明提供一種基于多視角觀測的蓮蓬采摘點定位方法，其綜合利用多視角觀測、深度視覺和深度學習等手段，可實現(xiàn)對不同姿態(tài)朝向蓮蓬的荷梗采摘段采摘點坐標、采摘向量的有效計算。

2、為實現(xiàn)上述目的，本發(fā)明提供以下技術方案：一種基于多視角觀測的蓮蓬采摘點定位方法，包括以下步驟：

3、步驟1，采用若干臺深度相機，建立多視角觀測體系，通過標定確定各視角對應的相機坐標系間的位置關系；在所述多視角觀測體系中設立一主坐標系；

4、步驟2，從多個視角采集蓮蓬的rgb圖像和深度數據信息；

5、步驟3，利用目標檢測模型對所述rgb圖像進行檢測，獲得各視角下蓮蓬和荷梗采摘段的檢測邊界框及掩膜數據；基于所述檢測邊界框及掩膜數據設立蓮蓬位置特征點、荷梗姿態(tài)特征點，分別表征rgb圖像中的蓮蓬位置和荷梗采摘段的位置及姿態(tài)；計算蓮蓬位置特征點和荷梗姿態(tài)特征點的像素坐標；

6、步驟4，結合蓮蓬位置特征點和荷梗姿態(tài)特征點的像素坐標和步驟2所述深度數據信息，獲取各特征點在相機坐標系中的三維坐標；

7、步驟5，進行各單視角中的蓮蓬位置特征點和荷梗姿態(tài)特征點的從屬配對，完成各單個視角中的采摘信息計算，所述采摘信息包括荷梗采摘點坐標和采摘向量；

8、步驟6，將各單視角下采摘信息數據轉換至主坐標系中表達；在主坐標系中完成各蓮蓬目標與對應的各單視角下的采摘信息的從屬匹配；進行多視角采摘信息的數據合成，形成最終采摘信息，完成定位。

9、進一步的，上述基于多視角觀測的蓮蓬采摘點定位方法中，所述步驟3中蓮蓬位置特征點為蓮蓬掩膜區(qū)域的質心點和蓮蓬檢測邊界框中心點中的一種；所述荷梗采摘段為緊鄰蓮蓬的短小荷梗段。

10、進一步的，上述基于多視角觀測的蓮蓬采摘點定位方法中，所述步驟3中荷梗姿態(tài)特征點的像素坐標的計算步驟包括：

11、步驟a1，提取荷梗采摘段檢測邊界框內的像素數據；沿與檢測邊界框短邊相垂直的方向步進提取屬于荷梗采摘段掩膜中的像素點，具體地，所述步進提取過程是以水平方向為逐列提取、豎直方向為逐行提取為規(guī)則；

12、步驟a2，計算步進提取過程各次提取的屬于荷梗采摘段掩膜中的像素點的質心點；

13、步驟a3，使用線性回歸方法將所述各質心點擬合為直線；

14、步驟a4，計算擬合直線與荷梗采摘段檢測邊界框的交點，確定兩交點所連成線段的中點o2和兩個四分位點o1，o3；將所述中點和兩個四分位點作為荷梗姿態(tài)特征點。

15、進一步的，上述基于多視角觀測的蓮蓬采摘點定位方法中，所述步驟3中目標檢測模型為實例分割模型。

16、進一步的，上述基于多視角觀測的蓮蓬采摘點定位方法中，所述步驟5中進行各單視角中的蓮蓬位置特征點和荷梗姿態(tài)特征點的從屬配對的步驟包括：

17、步驟b1，將各蓮蓬位置特征點記為ki（i?=?1，2…），將各荷梗姿態(tài)特征點記為o1j，o2j，o3j（j?=?1，2…）；

18、步驟b2，任意選定一組荷梗姿態(tài)特征點o1j，o2j，o3j，分別計算選定的荷梗姿態(tài)特征點與所有蓮蓬位置特征點ki之間的歐氏距離d1ij，d2ij，d3ij；

19、步驟b3，執(zhí)行第一次配對，當一組歐氏距離d1ij，d2ij，d3ij均小于預設距離閾值時，對應的蓮蓬位置特征點ki與所選定的荷梗姿態(tài)特征點o1j，o2j，o3j被認為屬于同一蓮蓬；

20、步驟b4，連續(xù)執(zhí)行步驟b2與步驟b3，直至所有的蓮蓬位置特征點或荷梗姿態(tài)特征點全部完成配對。

21、進一步的，上述基于多視角觀測的蓮蓬采摘點定位方法中，所述步驟5中單視角下荷梗采摘點坐標和采摘向量的計算步驟包括：

22、步驟c1，提取形成配對的蓮蓬位置特征點與荷梗姿態(tài)特征點，提取所述各特征點的三維坐標；將荷梗姿態(tài)特征點中的中點o2視為采摘點；

23、步驟c2，分別計算o1，o3與蓮蓬位置特征點k之間的歐式距離d1，d3；

24、步驟c3，以d1，d3中數值較大者對應的荷梗姿態(tài)特征點為向量起點，以數值較小者對應的荷梗姿態(tài)特征點為向量終點，計算出采摘向量。

25、進一步的，上述基于多視角觀測的蓮蓬采摘點定位方法中，所述步驟6中各蓮蓬目標與對應的各單視角下的采摘信息的從屬匹配步驟包括：

26、步驟d1，選擇任意采摘點，以該點為球心構造一個判斷球；

27、步驟d2，依次判斷其余采摘點是否位于判斷球內，若位于判斷球內且相互之間的距離均小于等于判斷球的半徑，則認為這些采摘點屬于同株蓮蓬，并且與其對應的采摘向量也屬于該蓮蓬；

28、步驟d3，對未匹配的采摘點再次執(zhí)行步驟d1與步驟d2，直至所有采摘點匹配完成。

29、進一步的，上述基于多視角觀測的蓮蓬采摘點定位方法中，所述步驟6中進行多視角采摘信息的數據合成的方法為：

30、當目標蓮蓬在n（n?>?1）個視角下獲得采摘信息時，計算目標蓮蓬匹配到的各采摘點之間的質心點，并將該點作為最終采摘點；對與各采摘點對應的各采摘向量求坐標均值，并將該坐標均值對應的向量作為最終采摘向量；當目標蓮蓬僅在1個視角下獲得采摘信息時，則以該視角下得出的采摘點坐標和采摘向量作為最終采摘信息。

31、進一步的，上述基于多視角觀測的蓮蓬采摘點定位方法中，所述預設距離閾值為100?mm。

32、進一步的，上述基于多視角觀測的蓮蓬采摘點定位方法中，所述判斷球的半徑為20?mm。

33、與現(xiàn)有技術相比，本發(fā)明的有益效果是：

34、（1）本發(fā)明通過建立多視角觀測體系實現(xiàn)同時對目標蓮蓬的多角度觀測，及多個視角下rgb圖像與深度數據信息的獲取，有效提升了對任意姿態(tài)蓮蓬、受遮擋蓮蓬表面測量點觀測的全面性。

35、（2）本發(fā)明通過實例分割模型獲得蓮蓬和荷梗采摘段的檢測邊界框及掩膜數據，完成單視角中的蓮蓬采摘信息的有效計算；在實現(xiàn)各視角相機坐標系標定的基礎上，完成各單視角下的采摘信息的從屬匹配，并實現(xiàn)多視角采摘信息的數據合成，最終可有效獲得蓮蓬目標的采摘信息。

36、（3）本發(fā)明能夠對任意姿態(tài)蓮蓬、受遮擋蓮蓬的荷梗采摘段進行有效觀測，可為蓮蓬采摘機器人執(zhí)行采摘動作提供準確的采摘點定位以及采摘段定向信息。