本技術涉及圖像，尤其涉及文本引導的偽裝實例分割方法、裝置、設備及存儲介質。

背景技術：

1、偽裝實例分割是一項專注于檢測和分割與周圍環(huán)境融為一體的物體的任務。這項技術在野生動物保護、醫(yī)學圖像分割和工業(yè)缺陷檢測等多個領域具有重要價值。隨著深度學習尤其是變換器架構的發(fā)展，偽裝實例分割在全監(jiān)督學習方法下取得了顯著進展。然而，這些全監(jiān)督學習方法存在一些顯著的缺陷。首先，它們需要大量的精確標注數據，這不僅成本高昂，而且在偽裝物體與背景高度相似的情況下，進行精確標注非常困難。其次，現有技術在處理高度偽裝的物體時，尤其是在精確度和泛化能力方面，仍然面臨挑戰(zhàn)。此外，現有方法往往缺乏足夠的靈活性和適應性，難以應對新場景或新對象的分割任務，這限制了它們在更廣泛環(huán)境中的應用。

技術實現思路

1、本技術的主要目的在于提供一種文本引導的偽裝實例分割方法、裝置、設備及存儲介質，旨在解決現有技術中偽裝實例分割方法需依賴大量精確標注數據的同時，精確度和泛化能力較差的技術問題。

2、為實現上述目的，本技術提出一種文本引導的偽裝實例分割方法，所述文本引導的偽裝實例分割方法包括：

3、根據各樣本偽裝實例的前景文本提示和各樣本偽裝實例的偽裝區(qū)域，生成各樣本偽裝實例的偽標簽，并通過各樣本偽裝實例的偽標簽得到多個樣本訓練圖像，所述樣本偽裝實例位于樣本偽裝圖像中；

4、根據偽裝度量器評估各樣本訓練圖像的偽裝程度；

5、根據偽裝調度器和各樣本訓練圖像的偽裝程度對各樣本訓練圖像進行劃分，得到多個訓練批次及各訓練批次的訓練信息；

6、根據各訓練批次的訓練信息和訓練批次對實例分割模型進行訓練，得到目標分割模型；

7、將待分割的目標偽裝圖像輸入至所述目標分割模型，得到所述目標偽裝圖像中存在的偽裝實例分割結果。

8、在一實施例中，所述根據各樣本偽裝實例的前景文本提示和各樣本偽裝實例的偽裝區(qū)域，生成各樣本偽裝實例的偽標簽的步驟之前，還包括：

9、將各樣本偽裝圖像輸入至目標對象檢測模型進行區(qū)域識別，得到各樣本偽裝實例的偽裝區(qū)域；

10、根據生成式預訓練模型生成多個偽裝類別提示；

11、將各樣本偽裝實例的偽裝區(qū)域和各偽裝類別提示進行匹配，得到各樣本偽裝實例的前景文本提示。

12、在一實施例中，所述將各樣本偽裝實例的偽裝區(qū)域和各偽裝類別提示進行匹配，得到各樣本偽裝實例的前景文本提示的步驟包括：

13、通過圖文匹配模型確定各樣本偽裝實例的偽裝區(qū)域的圖像特征向量和各偽裝類別提示的文本特征向量；

14、計算各樣本偽裝實例的偽裝區(qū)域的圖像特征向量和各文本特征向量之間的余弦相似度；

15、根據余弦相似度計算結果在多個偽裝類別提示中確定各樣本偽裝實例的前景文本提示。

16、在一實施例中，所述根據各樣本偽裝實例的前景文本提示和各樣本偽裝實例的偽裝區(qū)域，生成各樣本偽裝實例的偽標簽的步驟包括：

17、根據語義掩膜生成器、各樣本偽裝實例的前景文本提示以及各樣本偽裝實例的偽裝區(qū)域，生成各樣本偽裝實例的語義掩膜，所述語義掩膜生成器是基于梯度類激活映射構建的；

18、根據空間掩膜生成器和各樣本偽裝實例的偽裝區(qū)域，生成各樣本偽裝實例的空間掩膜；

19、根據迭代掩膜融合器對各樣本偽裝實例的空間掩膜和各樣本偽裝實例的語義掩膜進行迭代細化，生成各樣本偽裝實例的偽標簽。

20、在一實施例中，所述根據空間掩膜生成器和各樣本偽裝實例的偽裝區(qū)域，生成各樣本偽裝實例的空間掩膜的步驟包括：

21、根據目標對象檢測模型生成各樣本偽裝實例的偽裝區(qū)域對應的多個補丁及各補丁的關鍵特征；

22、根據各偽裝區(qū)域的各補丁的關鍵特征計算各偽裝區(qū)域的各補丁之間的補丁親和性；

23、根據各偽裝區(qū)域的各補丁之間的補丁親和性和歸一化切割算法生成各樣本偽裝實例的空間掩膜。

24、在一實施例中，所述根據迭代掩膜融合器對各樣本偽裝實例的空間掩膜和各樣本偽裝實例的語義掩膜進行迭代細化，生成各樣本偽裝實例的偽標簽的步驟包括：

25、根據圖文匹配模型和各樣本偽裝實例的語義掩膜，計算各樣本偽裝實例的相似度分數比率；

26、根據各樣本偽裝實例的空間掩膜計算各樣本偽裝實例的角度能量分布比率和徑向能量分布比率；

27、根據各樣本偽裝實例的相似度分數比率、角度能量分布比率、徑向能量分布比率以及迭代掩膜融合器進行迭代細化，生成各樣本偽裝實例的偽標簽。

28、在一實施例中，所述根據偽裝調度器和各樣本訓練圖像的偽裝程度對各樣本訓練圖像進行劃分，得到多個訓練批次及各訓練批次的訓練信息的包括：

29、對各樣本訓練圖像的偽裝程度進行排序，得到排序結果；

30、根據所述排序結果和偽裝調度器對各樣本訓練圖像進行劃分，得到多個訓練批次、各訓練批次的訓練順序以及各訓練批次的訓練梯度；

31、根據各訓練批次的訓練順序和各訓練批次的訓練梯度得到各訓練批次的訓練信息。

32、此外，為實現上述目的，本技術還提出一種文本引導的偽裝實例分割裝置，所述文本引導的偽裝實例分割裝置包括：

33、生成模塊，用于根據各樣本偽裝實例的前景文本提示和各樣本偽裝實例的偽裝區(qū)域，生成各樣本偽裝實例的偽標簽，并通過各樣本偽裝實例的偽標簽得到多個樣本訓練圖像，所述樣本偽裝實例位于樣本偽裝圖像中；

34、評估模塊，用于根據偽裝度量器評估各樣本訓練圖像的偽裝程度；

35、劃分模塊，用于根據偽裝調度器和各樣本訓練圖像的偽裝程度對各樣本訓練圖像進行劃分，得到多個訓練批次及各訓練批次的訓練信息；

36、訓練模塊，用于根據各訓練批次的訓練信息和訓練批次對實例分割模型進行訓練，得到目標分割模型；

37、分割模塊，用于將待分割的目標偽裝圖像輸入至所述目標分割模型，得到所述目標偽裝圖像中存在的偽裝實例分割結果。

38、此外，為實現上述目的，本技術還提出一種文本引導的偽裝實例分割設備，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現如上文所述的文本引導的偽裝實例分割方法的步驟。

39、此外，為實現上述目的，本技術還提出一種存儲介質，所述存儲介質為計算機可讀存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現如上文所述的文本引導的偽裝實例分割方法的步驟。

40、此外，為實現上述目的，本技術還提供一種計算機程序產品，所述計算機程序產品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現如上文所述的文本引導的偽裝實例分割方法的步驟。

41、本技術通過根據各樣本偽裝實例的前景文本提示和各樣本偽裝實例的偽裝區(qū)域，生成各樣本偽裝實例的偽標簽，并通過各樣本偽裝實例的偽標簽得到多個樣本訓練圖像，所述樣本偽裝實例位于樣本偽裝圖像中；根據偽裝度量器評估各樣本訓練圖像的偽裝程度；根據偽裝調度器和各樣本訓練圖像的偽裝程度對各樣本訓練圖像進行劃分，得到多個訓練批次及各訓練批次的訓練信息；根據各訓練批次的訓練信息和訓練批次對實例分割模型進行訓練，得到目標分割模型；將待分割的目標偽裝圖像輸入至所述目標分割模型，得到所述目標偽裝圖像中存在的偽裝實例分割結果。通過上述方式，基于弱監(jiān)督學習，顯著提高了模型在處理偽裝實例分割任務時的準確性和魯棒性，能夠適用于各種復雜場景，具有足夠的靈活性和泛化性，同時保持了對訓練數據的低要求，減少了對精確標注數據依賴。