本發(fā)明涉及目標檢測，尤其涉及一種鐵路異物短語定位模型的訓練方法、裝置、設備及介質。

背景技術：

1、目標檢測指的是檢測圖像中的單一對象或單詞級目標，主要用于識別和定位單一物體，如石頭和樹枝。短語定位是目標檢測的擴展，需要從圖像中定位符合復雜描述的對象，如當短語描述為“鐵軌上的石頭”時，需要檢測圖像中位于鐵軌上的石頭這一對象。短語定位不僅要識別目標對象，還需要理解目標與其修飾詞或環(huán)境信息的關系。例如，“鐵軌上的石頭”相對于“鐵軌外的石頭”，通過短語定位可以準確識別并區(qū)分。

2、鐵軌異物檢測是鐵路安全管理的重要組成部分，旨在實時監(jiān)控鐵軌及其周圍環(huán)境，識別可能威脅列車安全的異物，比如鐵軌上的石頭和鐵軌外的石頭。鐵路環(huán)境復雜多變，同類異物在不同位置可能具有不同影響。檢測系統(tǒng)對于可以根據(jù)短語在圖像中定位出相應的鐵路異物，對于鐵路運行安全具有重要意義。

3、但是，相關技術無法有效實現(xiàn)對鐵路異物的短語定位。

技術實現(xiàn)思路

1、本發(fā)明提供一種鐵路異物短語定位模型的訓練方法、裝置、設備及介質，用以解決相關技術中有效實現(xiàn)對鐵路異物的短語定位的缺陷，訓練好的鐵路異物短語定位模型即可以有效執(zhí)行和完成鐵路異物短語定位任務，有效實現(xiàn)對鐵路異物的短語定位。

2、第一方面，本發(fā)明提供鐵路異物短語定位模型的訓練方法，所述鐵路異物短語定位模型中包括識別模塊、編碼模塊、特征增強模塊和檢測模塊；所述方法包括：

3、獲取鐵路異物短語文本的文本特征向量和鐵路異物圖像的圖像特征向量；

4、將所述鐵路異物短語文本的文本特征向量輸入至所述識別模塊中，以使所述識別模塊根據(jù)設定的多個預設短語結構類別對所述文本特征向量進行命名實體識別，得到所述鐵路異物短語文本中的多個結構文本和每個所述結構文本對應的結構類別概率分布；

5、根據(jù)每個所述結構文本和對應的所述結構類別概率分布，確定短語結構類別損失；

6、基于所述編碼模塊和所述結構類別概率分布，生成每個所述預設短語結構類別對應的結構文本特征向量；

7、基于所述特征增強模塊和所述結構文本特征向量，對所述圖像特征向量和所述文本特征向量進行交叉特征對齊，以得到所述圖像特征向量對應的對齊后圖像特征向量和所述文本特征向量對應的對齊后文本特征向量；

8、將所述對齊后圖像特征向量和所述對齊后文本特征向量輸入至所述檢測模塊中進行目標檢測，得到對應的檢測結果，并根據(jù)所述檢測結果確定檢測結果損失；

9、基于所述檢測結果損失和所述短語結構類別損失更新所述鐵路異物短語定位模型，以得到訓練好的目標鐵路異物短語定位模型。

10、可選的，所述多個預設短語結構類別中包括修飾詞、對象詞和關系詞，每個所述結構文本對應的結構類別概率分布中包括所述結構文本對應的短語結構類別分別為所述修飾詞、所述對象詞和所述關系詞的概率。

11、可選的，所述根據(jù)每個所述結構文本和對應的所述結構類別概率分布，確定短語結構類別損失，包括：

12、對于任一所述結構文本，根據(jù)交叉熵損失計算方式和所述結構文本對應的所述結構類別概率分布，計算所述結構文本對應的交叉熵損失；

13、對所有所述結構文本對應的交叉熵損失進行平均值運算，得到相應的平均值并作為所述短語結構類別損失。

14、可選的，所述基于所述編碼模塊和所述結構類別概率分布，生成每個所述預設短語結構類別對應的結構文本特征向量，包括：

15、對于任一所述結構文本，在所述結構文本對應的所述結構類別概率分布中確定最大概率，將所述最大概率對應的所述預設短語結構類別，確定為所述結構文本對應的目標短語結構類別；

16、當所述結構文本對應的目標短語結構類別為所述修飾詞時，通過所述編碼模塊對所述結構文本進行編碼，得到對應的修飾詞特征向量；

17、當所述結構文本對應的目標短語結構類別為所述對象詞時，通過所述編碼模塊對所述結構文本進行編碼，得到對應的對象詞特征向量；

18、當所述結構文本對應的目標短語結構類別為所述關系詞時，通過所述編碼模塊在所述文本特征向量中提取出關系詞特征向量。

19、可選的，所述特征增強模塊中包括修飾詞特征增強模塊、對象詞特征增強模塊和整體圖文特征增強模塊；所述鐵路異物短語定位模型中還包括自注意力機制模塊；

20、所述基于所述特征增強模塊和所述結構文本特征向量，對所述圖像特征向量和所述文本特征向量進行交叉特征對齊，以得到所述圖像特征向量對應的對齊后圖像特征向量和所述文本特征向量對應的對齊后文本特征向量，包括：

21、將所述圖像特征向量和所述修飾詞特征向量輸入至所述修飾詞特征增強模塊中進行交叉特征對齊，以得到第一對齊后圖像特征向量；

22、將所述第一對齊后圖像特征向量和所述對象詞特征向量輸入至所述對象詞特征增強模塊中進行交叉特征對齊，以得到第二對齊后圖像特征向量；

23、將所述關系詞特征向量與所述第二對齊后圖像特征向量進行融合以得到融合后特征向量，并通過所述自注意力機制模塊對所述融合后特征向量進行融合優(yōu)化，得到優(yōu)化后特征向量；

24、將所述優(yōu)化后特征向量和所述文本特征向量輸入至所述整體圖文特征增強模塊中進行交叉特征對齊，以得到所述對齊后圖像特征向量和所述對齊后文本特征向量。

25、可選的，所述檢測結果中包括相對應的對象類別標識和邊界框信息；

26、所述根據(jù)所述檢測結果確定檢測結果損失，包括：

27、根據(jù)所述對象類別標識和真實類別標識之間的差異，確定類別識別損失；

28、根據(jù)所述邊界框信息和真實邊界框信息之間的差異，確定邊界框定位損失；

29、將所述類別識別損失和所述邊界框定位損失整體作為所述檢測結果損失。

30、可選的，所述基于所述檢測結果損失和所述短語結構類別損失更新所述鐵路異物短語定位模型，以得到訓練好的目標鐵路異物短語定位模型，包括：

31、將所述檢測結果損失中的所述類別識別損失、所述邊界框定位損失和所述短語結構類別損失進行求和，得到總損失；

32、確定所述總損失不小于設定損失，則更新所述鐵路異物短語定位模型中的所述識別模塊、所述特征增強模塊和/或所述檢測模塊，得到更新后鐵路異物短語定位模型，并基于新鐵路異物短語文本的文本特征向量和新鐵路異物圖像的圖像特征向量，繼續(xù)訓練更新后鐵路異物短語定位模型，直至得到訓練好的目標短語定位模型。

33、第二方面，本發(fā)明提供一種鐵路異物短語定位模型的訓練裝置，所述鐵路異物短語定位模型中包括識別模塊、編碼模塊、特征增強模塊和檢測模塊；所述裝置包括：

34、獲取單元，用于獲取鐵路異物短語文本的文本特征向量和鐵路異物圖像的圖像特征向量；

35、第一輸入單元，用于將所述鐵路異物短語文本的文本特征向量輸入至所述識別模塊中，以使所述識別模塊根據(jù)設定的多個預設短語結構類別對所述文本特征向量進行命名實體識別，得到所述鐵路異物短語文本中的多個結構文本和每個所述結構文本對應的結構類別概率分布；

36、第一確定單元，用于根據(jù)每個所述結構文本和對應的所述結構類別概率分布，確定短語結構類別損失；

37、生成單元，用于基于所述編碼模塊和所述結構類別概率分布，生成每個所述預設短語結構類別對應的結構文本特征向量；

38、對齊單元，用于基于所述特征增強模塊和所述結構文本特征向量，對所述圖像特征向量和所述文本特征向量進行交叉特征對齊，以得到所述圖像特征向量對應的對齊后圖像特征向量和所述文本特征向量對應的對齊后文本特征向量；

39、第二輸入單元，用于將所述對齊后圖像特征向量和所述對齊后文本特征向量輸入至所述檢測模塊中進行目標檢測，得到對應的檢測結果；

40、第二確定單元，用于根據(jù)所述檢測結果確定檢測結果損失；

41、更新單元，用于基于所述檢測結果損失和所述短語結構類別損失更新所述鐵路異物短語定位模型，以得到訓練好的目標鐵路異物短語定位模型。

42、第三方面，本發(fā)明提供了一種計算機設備，包括：存儲器和處理器，存儲器和處理器之間互相通信連接，存儲器中存儲有計算機指令，處理器通過執(zhí)行計算機指令，從而執(zhí)行上述第一方面或其對應的任一實施方式的鐵路異物短語定位模型的訓練方法。

43、第四方面，本發(fā)明提供了一種計算機可讀存儲介質，該計算機可讀存儲介質上存儲有計算機指令，計算機指令用于使計算機執(zhí)行上述第一方面或其對應的任一實施方式的鐵路異物短語定位模型的訓練方法。

44、本發(fā)明提供的鐵路異物短語定位模型的訓練方法、裝置、設備及介質，可以對圖像特征向量和文本特征向量進行交叉對齊，得到對齊后圖像特征向量和對齊后文本特征向量，使用對齊后圖像特征向量和對齊后文本特征向量對進行訓練，使得模型能夠精確將文本描述的異物與圖像中的目標區(qū)域對應，確保在復雜場景下的短語定位精確無誤，適用于鐵路異物檢測中的細粒度場景描述，訓練好的鐵路異物短語定位模型即可以有效執(zhí)行和完成鐵路異物短語定位任務，有效實現(xiàn)對鐵路異物的短語定位。