本發(fā)明屬于圖像處理，具體涉及一種基于圖像視覺(jué)的植被生長(zhǎng)狀態(tài)監(jiān)測(cè)識(shí)別方法及裝置。

背景技術(shù)：

1、隨著城市化進(jìn)程的加速，城市園林綠化作為提升城市生態(tài)環(huán)境、美化城市景觀的重要手段，其重要性日益凸顯。然而，傳統(tǒng)的植被養(yǎng)護(hù)管理方式高度依賴人工巡查，這種模式不僅效率低下、成本高昂，而且受限于人為因素，難以保證監(jiān)測(cè)的全面性和及時(shí)性。人工巡查往往只能覆蓋部分區(qū)域，且難以在第一時(shí)間發(fā)現(xiàn)植被生長(zhǎng)過(guò)程中的細(xì)微變化，如病蟲(chóng)害初期癥狀、營(yíng)養(yǎng)缺乏跡象或枯枝落葉等，這些問(wèn)題若得不到及時(shí)處理，將嚴(yán)重影響植被的健康生長(zhǎng)和整體景觀效果。

2、為了解決傳統(tǒng)植被養(yǎng)護(hù)管理方式中存在的效率低下、成本高昂以及監(jiān)測(cè)全面性和及時(shí)性不足的問(wèn)題，現(xiàn)有技術(shù)開(kāi)始通過(guò)圖像采集設(shè)備來(lái)采集圖像，通過(guò)圖像處理技術(shù)對(duì)采集的圖像進(jìn)行深度分析，識(shí)別植被的生長(zhǎng)狀態(tài)，包括病蟲(chóng)害檢測(cè)、營(yíng)養(yǎng)狀況評(píng)估等。然而，盡管這種技術(shù)具有顯著的優(yōu)勢(shì)，但是在實(shí)際應(yīng)用中采集的圖像往往受到外界的干擾，采集到的圖像質(zhì)量往往低下，尤其是在受到病蟲(chóng)害時(shí)，難以及時(shí)發(fā)現(xiàn)植被生長(zhǎng)過(guò)程中受到病蟲(chóng)害的細(xì)微變化，導(dǎo)致植被健康檢測(cè)的準(zhǔn)確性和可靠性差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就在于解決采集到的圖像質(zhì)量往往低下，尤其是在受到病蟲(chóng)害時(shí)，難以及時(shí)發(fā)現(xiàn)植被生長(zhǎng)過(guò)程中受到病蟲(chóng)害的細(xì)微變化，導(dǎo)致植被健康檢測(cè)的準(zhǔn)確性和可靠性差問(wèn)題，而提出一種基于圖像視覺(jué)的植被生長(zhǎng)狀態(tài)監(jiān)測(cè)識(shí)別方法及裝置。

2、在本發(fā)明實(shí)施的第一方面，首先提出一種基于圖像視覺(jué)的植被生長(zhǎng)狀態(tài)監(jiān)測(cè)識(shí)別方法，所述方法包括:

3、獲取目標(biāo)植被的初始rgb圖像和初始熱紅外圖像，分別對(duì)所述初始rgb圖像和所述初始熱紅外圖像進(jìn)行預(yù)處理得到目標(biāo)rgb圖像和目標(biāo)熱紅外圖像；

4、識(shí)別所述目標(biāo)rgb圖像中的目標(biāo)區(qū)間，根據(jù)所述目標(biāo)區(qū)間對(duì)所述目標(biāo)rgb圖像和所述目標(biāo)熱紅外圖像進(jìn)行切割得到第一圖像和第二圖像；所述目標(biāo)區(qū)間為所述目標(biāo)rgb圖像中葉子所在的圖像區(qū)域；

5、對(duì)所述第一圖像和所述第二圖像進(jìn)行融合特征提取得到第一特征圖像，對(duì)所述第一特征圖像進(jìn)行特征增強(qiáng)得到第二特征圖像；

6、通過(guò)解碼器將所述第二特征圖像轉(zhuǎn)化為目標(biāo)圖像，對(duì)所述目標(biāo)圖像進(jìn)行特征提取得到目標(biāo)特征，根據(jù)所述目標(biāo)特征查找預(yù)設(shè)數(shù)據(jù)庫(kù)中對(duì)應(yīng)植被的狀態(tài)信息，根據(jù)該狀態(tài)信息確定評(píng)估結(jié)果。

7、可選的，識(shí)別所述目標(biāo)rgb圖像中的目標(biāo)區(qū)間包括：

8、針對(duì)所述目標(biāo)rgb圖像中的每一像素，根據(jù)該像素對(duì)應(yīng)的rgb值得到該像素對(duì)應(yīng)的指數(shù)參數(shù)，根據(jù)該指數(shù)參數(shù)對(duì)該像素進(jìn)行目標(biāo)指數(shù)值歸類，根據(jù)所有像素歸類的結(jié)果得到目標(biāo)指數(shù)圖像；

9、根據(jù)所述目標(biāo)指數(shù)圖像中所有目標(biāo)指數(shù)值得到目標(biāo)指數(shù)均值，根據(jù)所述目標(biāo)指數(shù)圖像中的最大目標(biāo)指數(shù)值和所述目標(biāo)指數(shù)均值得到目標(biāo)閾值；

10、針對(duì)所述目標(biāo)指數(shù)圖像中每個(gè)像素，若該像素的目標(biāo)指數(shù)值大于或等于所述目標(biāo)閾值則將該像素標(biāo)記為植被像素，若該像素的目標(biāo)指數(shù)值小于所述目標(biāo)閾值則將該像素標(biāo)記為背景像素；

11、獲取所有植被像素形成目標(biāo)區(qū)間。

12、可選的，對(duì)所述第一圖像和所述第二圖像進(jìn)行融合特征提取得到第一特征圖像包括：

13、步驟1：對(duì)所述第一圖像和所述第二圖像在通道維度上進(jìn)行拼接得到第一拼接圖像集，根據(jù)所述第一拼接圖像集確定第一激活圖像；所述通道圖像集內(nèi)通道圖像個(gè)數(shù)由最多通道的圖像確定；

14、步驟2：對(duì)所述第一圖像和所述第一激活圖像在通道維度上進(jìn)行拼接得到第二拼接圖像集，根據(jù)所述第二拼接圖像集確定第一準(zhǔn)備激活圖像；

15、步驟3：對(duì)所述第二圖像和所述第一激活圖像在通道維度上進(jìn)行拼接得到第三拼接圖像集，根據(jù)所述第三拼接圖像集確定第二準(zhǔn)備激活圖像；

16、步驟4：對(duì)所述第一準(zhǔn)備激活圖像和所述第二準(zhǔn)備激活圖像進(jìn)行融合得到第二激活圖像；

17、步驟5：將所述第二激活圖像記為第一激活圖像，重復(fù)上述步驟2、步驟3和步驟4，直到滿足預(yù)設(shè)條件得到第一特征圖像。

18、可選的，對(duì)a圖像和b圖像在通道維度上進(jìn)行拼接得到c圖像集；當(dāng)所述a圖像為第一圖像，所述b圖像為第二圖像時(shí)，所述c圖像集為第一拼接圖像集；當(dāng)所述a圖像為第一圖像，所述b圖像為第一激活圖像時(shí)，所述c圖像集為第二拼接圖像集；當(dāng)所述a圖像為第二圖像，所述b圖像為第一激活圖像時(shí)，所述c圖像集為第三拼接圖像集；當(dāng)所述a圖像為第一準(zhǔn)備激活圖像，所述b圖像為第二準(zhǔn)備激活圖像時(shí)，所述c圖像集為第二激活圖像集；包括：

19、對(duì)所述a圖像和所述b圖像進(jìn)行通道對(duì)齊，得到通道圖像集；

20、針對(duì)所述通道圖像集中每一通道圖像，對(duì)該通道圖像進(jìn)行多核并行卷積得到初始卷積圖像集；對(duì)所述初始卷積圖像集內(nèi)的所有初始卷積圖像進(jìn)行歸一化處理得到卷積圖像集；

21、針對(duì)所述卷積圖像集中的每一卷積圖像，通過(guò)激活函數(shù)對(duì)該卷積圖像進(jìn)行激活后進(jìn)行池化操作得到池化圖；

22、計(jì)算每個(gè)池化圖的l2范數(shù)，根據(jù)每個(gè)池化圖的l2范數(shù)從高到低對(duì)所有池化圖進(jìn)行排序得到池化圖順序集，根據(jù)預(yù)設(shè)條件獲取所述池化圖順序集中的有效池化圖，對(duì)所有有效池化圖進(jìn)行加權(quán)求和得到c圖像；

23、獲取所有通道圖像對(duì)應(yīng)的c圖像得到c圖像集。

24、可選的，所述第一特征圖像進(jìn)行特征增強(qiáng)得到第二特征圖像包括：

25、將所述第一特征圖像代入3×3卷積層得到三個(gè)相同特征圖記為第一相同特征圖、第二相同特征圖和第三相同特征圖；

26、通過(guò)最大特征值乘以所述第一相同特征圖得到第一增強(qiáng)特征圖；

27、通過(guò)sigmoid函數(shù)分別對(duì)所述第二相同特征圖和所述第三相同特征圖進(jìn)行處理得到第二增強(qiáng)特征圖和第三增強(qiáng)特征圖；

28、對(duì)所述第一增強(qiáng)特征圖、所述第二增強(qiáng)特征圖和所述第三增強(qiáng)特征圖進(jìn)行拼接得到初始增強(qiáng)特征圖，將所述初始增強(qiáng)特征圖代入1×1卷積層得到第二特征圖像。

29、在本發(fā)明實(shí)施的第二方面，提出一種基于圖像視覺(jué)的植被生長(zhǎng)狀態(tài)監(jiān)測(cè)識(shí)別裝置，包括：

30、圖像預(yù)處理模塊，用于獲取目標(biāo)植被的初始rgb圖像和初始熱紅外圖像，分別對(duì)所述初始rgb圖像和所述初始熱紅外圖像進(jìn)行預(yù)處理得到目標(biāo)rgb圖像和目標(biāo)熱紅外圖像；

31、圖像切割模塊，用于識(shí)別所述目標(biāo)rgb圖像中的目標(biāo)區(qū)間，根據(jù)所述目標(biāo)區(qū)間對(duì)所述目標(biāo)rgb圖像和所述目標(biāo)熱紅外圖像進(jìn)行切割得到第一圖像和第二圖像；所述目標(biāo)區(qū)間為所述目標(biāo)rgb圖像中葉子所在的圖像區(qū)域；

32、特征增強(qiáng)模塊，用于對(duì)所述第一圖像和所述第二圖像進(jìn)行融合特征提取得到第一特征圖像，對(duì)所述第一特征圖像進(jìn)行特征增強(qiáng)得到第二特征圖像；

33、狀態(tài)信息確定模塊，用于通過(guò)解碼器將所述第二特征圖像轉(zhuǎn)化為目標(biāo)圖像，對(duì)所述目標(biāo)圖像進(jìn)行特征提取得到目標(biāo)特征，根據(jù)所述目標(biāo)特征查找預(yù)設(shè)數(shù)據(jù)庫(kù)中對(duì)應(yīng)植被的狀態(tài)信息，根據(jù)該狀態(tài)信息確定評(píng)估結(jié)果。

34、可選的，所述圖像切割模塊包括：

35、目標(biāo)指數(shù)圖像生成模塊，用于針對(duì)所述目標(biāo)rgb圖像中的每一像素，根據(jù)該像素對(duì)應(yīng)的rgb值得到該像素對(duì)應(yīng)的指數(shù)參數(shù)，根據(jù)該指數(shù)參數(shù)對(duì)該像素進(jìn)行目標(biāo)指數(shù)值歸類，根據(jù)所有像素歸類的結(jié)果得到目標(biāo)指數(shù)圖像；

36、目標(biāo)閾值生成模塊，用于根據(jù)所述目標(biāo)指數(shù)圖像中所有目標(biāo)指數(shù)值得到目標(biāo)指數(shù)均值，根據(jù)所述目標(biāo)指數(shù)圖像中的最大目標(biāo)指數(shù)值和所述目標(biāo)指數(shù)均值得到目標(biāo)閾值；

37、像素分類模塊，用于針對(duì)所述目標(biāo)指數(shù)圖像中每個(gè)像素，若該像素的目標(biāo)指數(shù)值大于或等于所述目標(biāo)閾值則將該像素標(biāo)記為植被像素，若該像素的目標(biāo)指數(shù)值小于所述目標(biāo)閾值則將該像素標(biāo)記為背景像素；

38、目標(biāo)區(qū)間生成模塊，用于獲取所有植被像素形成目標(biāo)區(qū)間。

39、可選的，所述特征增強(qiáng)模塊包括：

40、第一激活圖像生成模塊，用于對(duì)所述第一圖像和所述第二圖像在通道維度上進(jìn)行拼接得到第一拼接圖像集，根據(jù)所述第一拼接圖像集確定第一激活圖像；所述通道圖像集內(nèi)通道圖像個(gè)數(shù)由最多通道的圖像確定；

41、第一準(zhǔn)備激活圖像生成模塊，用于對(duì)所述第一圖像和所述第一激活圖像在通道維度上進(jìn)行拼接得到第二拼接圖像集，根據(jù)所述第二拼接圖像集確定第一準(zhǔn)備激活圖像；

42、第二準(zhǔn)備激活圖像生成模塊，用于對(duì)所述第二圖像和所述第一激活圖像在通道維度上進(jìn)行拼接得到第三拼接圖像集，根據(jù)所述第三拼接圖像集確定第二準(zhǔn)備激活圖像；

43、第二激活圖像生成模塊，用于對(duì)所述第一準(zhǔn)備激活圖像和所述第二準(zhǔn)備激活圖像進(jìn)行融合得到第二激活圖像；

44、循環(huán)終止模塊，用于將所述第二激活圖像記為第一激活圖像，重返所述第一準(zhǔn)備激活圖像生成模塊、所述第二準(zhǔn)備激活圖像生成模塊和所述第二激活圖像生成模塊，直到滿足預(yù)設(shè)條件得到第一特征圖像。

45、可選的，目標(biāo)模塊包括：當(dāng)所述目標(biāo)模塊為所述第一激活圖像生成模塊時(shí)，a圖像為第一圖像，b圖像為第二圖像，c圖像集為第一拼接圖像集；當(dāng)所述目標(biāo)模塊為所述第一準(zhǔn)備激活圖像生成模塊時(shí)，a圖像為第一圖像，所述b圖像為第一激活圖像時(shí)，所述c圖像為第二拼接圖像集；當(dāng)所述目標(biāo)模塊為所述第二準(zhǔn)備激活圖像生成模塊時(shí)，a圖像為第二圖像，所述b圖像為第一激活圖像時(shí)，所述c圖像為第三拼接圖像集；當(dāng)所述目標(biāo)模塊為所述第二激活圖像生成模塊時(shí)，a圖像為第一準(zhǔn)備激活圖像，所述b圖像為第二準(zhǔn)備激活圖像時(shí)，所述c圖像為第二激活圖像集；

46、通道對(duì)齊模塊，用于對(duì)所述a圖像和所述b圖像進(jìn)行通道對(duì)齊，得到通道圖像集；

47、通道圖像處理模塊，用于針對(duì)所述通道圖像集中每一通道圖像，對(duì)該通道圖像進(jìn)行多核并行卷積得到初始卷積圖像集；對(duì)所述初始卷積圖像集內(nèi)的所有初始卷積圖像進(jìn)行歸一化處理得到卷積圖像集；

48、卷積圖像處理模塊，用于針對(duì)所述卷積圖像集中的每一卷積圖像，通過(guò)激活函數(shù)對(duì)該卷積圖像進(jìn)行激活后進(jìn)行池化操作得到池化圖；

49、c圖像生成模塊，用于計(jì)算每個(gè)池化圖的l2范數(shù)，根據(jù)每個(gè)池化圖的l2范數(shù)從高到低對(duì)所有池化圖進(jìn)行排序得到池化圖順序集，根據(jù)預(yù)設(shè)條件獲取所述池化圖順序集中的有效池化圖，對(duì)所有有效池化圖進(jìn)行加權(quán)求和得到c圖像；

50、c圖像集確定模塊，用于獲取所有通道圖像對(duì)應(yīng)的c圖像得到c圖像集。

51、可選的，所述特征增強(qiáng)模塊還包括：

52、相同特征圖生成模塊，用于將所述第一特征圖像代入3×3卷積層得到三個(gè)相同特征圖記為第一相同特征圖、第二相同特征圖和第三相同特征圖；

53、第一增強(qiáng)模塊，用于通過(guò)最大特征值乘以所述第一相同特征圖得到第一增強(qiáng)特征圖；

54、第二增強(qiáng)模塊，用于通過(guò)sigmoid函數(shù)分別對(duì)所述第二相同特征圖和所述第三相同特征圖進(jìn)行處理得到第二增強(qiáng)特征圖和第三增強(qiáng)特征圖；

55、第二特征圖像生成模塊，用于對(duì)所述第一增強(qiáng)特征圖、所述第二增強(qiáng)特征圖和所述第三增強(qiáng)特征圖進(jìn)行拼接得到初始增強(qiáng)特征圖，將所述初始增強(qiáng)特征圖代入1×1卷積層得到第二特征圖像。

56、本發(fā)明的有益效果：

57、本發(fā)明提出了一種基于圖像視覺(jué)的植被生長(zhǎng)狀態(tài)監(jiān)測(cè)識(shí)別方法，通過(guò)獲取目標(biāo)植被的初始rgb圖像和初始熱紅外圖像，分別對(duì)初始rgb圖像和初始熱紅外圖像進(jìn)行預(yù)處理得到目標(biāo)rgb圖像和目標(biāo)熱紅外圖像；識(shí)別目標(biāo)rgb圖像中的目標(biāo)區(qū)間，根據(jù)目標(biāo)區(qū)間對(duì)目標(biāo)rgb圖像和目標(biāo)熱紅外圖像進(jìn)行切割得到第一圖像和第二圖像；對(duì)第一圖像和第二圖像進(jìn)行融合特征提取得到第一特征圖像，對(duì)第一特征圖像進(jìn)行特征增強(qiáng)得到第二特征圖像；通過(guò)解碼器將第二特征圖像轉(zhuǎn)化為目標(biāo)圖像，對(duì)目標(biāo)圖像進(jìn)行特征提取得到目標(biāo)特征，根據(jù)目標(biāo)特征查找預(yù)設(shè)數(shù)據(jù)庫(kù)中對(duì)應(yīng)植被的狀態(tài)信息，根據(jù)該狀態(tài)信息確定評(píng)估結(jié)果。通過(guò)目標(biāo)區(qū)間對(duì)目標(biāo)rgb圖像和目標(biāo)熱紅外圖像進(jìn)行切割，保留了葉子所在的區(qū)域，提高了圖像質(zhì)量，減少了噪聲干擾，有助于提高后續(xù)圖像處理的效率和準(zhǔn)確性，結(jié)合rgb圖像和熱紅外圖像進(jìn)行特征提取，充分利用兩種圖像的互補(bǔ)信息，提升了植被健康狀況檢測(cè)的準(zhǔn)確性，再通過(guò)對(duì)特征融合后的圖像進(jìn)行特征提取，最大的保留了細(xì)節(jié)特征，根據(jù)目標(biāo)特征查找預(yù)設(shè)數(shù)據(jù)庫(kù)中植被的狀態(tài)信息，進(jìn)一步提高了植被健康狀況檢測(cè)的準(zhǔn)確性，提高了植被健康檢測(cè)的準(zhǔn)確性和可靠性。