本發(fā)明涉及圖像處理，具體涉及一種天氣特征目標(biāo)檢驗(yàn)方法、裝置、設(shè)備、介質(zhì)。

背景技術(shù)：

1、隨著計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，圖像分類在許多領(lǐng)域中得到了廣泛應(yīng)用。特別是在天氣識(shí)別方面，通過分析圖像數(shù)據(jù)來判斷天氣情況已經(jīng)成為研究的熱點(diǎn)。傳統(tǒng)的天氣識(shí)別方法主要依賴于氣象傳感器和氣象模型，這些方法雖然準(zhǔn)確，但成本高且對(duì)環(huán)境條件要求較高。

2、近年來，深度學(xué)習(xí)技術(shù)，尤其是卷積神經(jīng)網(wǎng)絡(luò)（cnn），在圖像分類任務(wù)中表現(xiàn)出了卓越的性能。利用cnn進(jìn)行圖像分類已經(jīng)在諸如物體識(shí)別、人臉識(shí)別等領(lǐng)域取得了顯著成果。然而，將這種技術(shù)應(yīng)用于天氣識(shí)別仍然面臨一些挑戰(zhàn)，例如，如何有效處理各種光照、天氣條件變化對(duì)圖像質(zhì)量的影響，如何處理圖像中天氣特征的多樣性等。

3、在相關(guān)技術(shù)中，天氣識(shí)別方法主要依賴于多模態(tài)數(shù)據(jù)融合和復(fù)雜的特征提取技術(shù)，這些方法在實(shí)現(xiàn)上較為復(fù)雜，且對(duì)計(jì)算資源的需求較高。因此，相關(guān)技術(shù)中對(duì)于計(jì)算資源需求較低且能準(zhǔn)確實(shí)現(xiàn)天氣預(yù)測(cè)的識(shí)別存在相應(yīng)需求。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種天氣特征目標(biāo)檢驗(yàn)方法、裝置、設(shè)備、介質(zhì)，以解決相關(guān)技術(shù)中對(duì)于計(jì)算資源需求高的技術(shù)問題。

2、第一方面，本發(fā)明提供了一種天氣特征目標(biāo)檢驗(yàn)方法，方法包括：獲取連續(xù)采集的歷史圖像數(shù)據(jù)，并基于歷史圖像數(shù)據(jù)確定對(duì)應(yīng)的第一光流圖；基于歷史圖像數(shù)據(jù)以及第一光流圖，確定目標(biāo)檢測(cè)數(shù)據(jù)集；基于目標(biāo)檢測(cè)數(shù)據(jù)集對(duì)目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練，得到完成訓(xùn)練的天氣特征檢測(cè)模型；獲取連續(xù)采集的待檢圖像數(shù)據(jù)，并基于待檢圖像數(shù)據(jù)確定對(duì)應(yīng)的第二光流圖；基于待檢圖像數(shù)據(jù)以及第二光流圖，利用天氣特征檢測(cè)模型進(jìn)行特征融合，確定天氣特征目標(biāo)結(jié)果。

3、結(jié)合第一方面，在第一方面的一種可能的實(shí)現(xiàn)方式中，基于歷史圖像數(shù)據(jù)以及第一光流圖，確定目標(biāo)檢測(cè)數(shù)據(jù)集，包括：將歷史圖像數(shù)據(jù)輸入預(yù)訓(xùn)練的多模態(tài)模型，確定初始目標(biāo)檢測(cè)數(shù)據(jù)集；基于第一光流圖，確定天氣動(dòng)態(tài)要素的位置；基于初始目標(biāo)檢測(cè)數(shù)據(jù)集與天氣動(dòng)態(tài)要素的位置，確定目標(biāo)檢測(cè)數(shù)據(jù)集。

4、結(jié)合第一方面，在第一方面的一種可能的實(shí)現(xiàn)方式中，將歷史圖像數(shù)據(jù)輸入預(yù)訓(xùn)練的多模態(tài)模型，確定初始目標(biāo)檢測(cè)數(shù)據(jù)集，包括：將歷史圖像數(shù)據(jù)輸入預(yù)訓(xùn)練的多模態(tài)模型，得到特征熱力圖與圖像預(yù)測(cè)分類結(jié)果；基于特征熱力圖，利用第一目標(biāo)框標(biāo)注對(duì)應(yīng)高熱力區(qū)域位置，并對(duì)高熱力區(qū)域進(jìn)行標(biāo)注，形成第一標(biāo)簽；基于第一目標(biāo)框與第一標(biāo)簽，生成初始目標(biāo)檢測(cè)數(shù)據(jù)集。

5、結(jié)合第一方面，在第一方面的一種可能的實(shí)現(xiàn)方式中，基于第一光流圖，確定天氣動(dòng)態(tài)要素的位置，包括：基于第一光流圖，利用第二目標(biāo)框標(biāo)注天氣動(dòng)態(tài)要素；基于第二目標(biāo)框，確定天氣動(dòng)態(tài)要素的位置，并以天氣動(dòng)態(tài)要素對(duì)應(yīng)的天氣類型作為第二目標(biāo)框的第二標(biāo)簽。

6、結(jié)合第一方面，在第一方面的一種可能的實(shí)現(xiàn)方式中，基于待檢圖像數(shù)據(jù)以及第二光流圖，利用天氣特征檢測(cè)模型進(jìn)行特征融合，確定天氣特征目標(biāo)結(jié)果，包括：基于待檢圖像數(shù)據(jù)以及第二光流圖，利用天氣特征檢測(cè)模型進(jìn)行特征融合，確定天氣特征預(yù)測(cè)結(jié)果以及與天氣特征預(yù)測(cè)結(jié)果對(duì)應(yīng)的置信度；基于預(yù)設(shè)置信度閾值與置信度，篩選天氣特征預(yù)測(cè)結(jié)果，確定天氣特征目標(biāo)結(jié)果。

7、結(jié)合第一方面，在第一方面的一種可能的實(shí)現(xiàn)方式中，天氣特征檢測(cè)模型，包括：第一圖像特征編碼器、第二圖像特征編碼器、第三圖像特征編碼器、特征融合編碼器、特征解碼器，

8、基于待檢圖像數(shù)據(jù)以及第二光流圖，利用天氣特征檢測(cè)模型進(jìn)行特征融合，確定天氣特征預(yù)測(cè)結(jié)果以及與天氣特征預(yù)測(cè)結(jié)果對(duì)應(yīng)的置信度，包括：將第一時(shí)刻的待檢圖像數(shù)據(jù)輸入第一圖像特征編碼器，確定第一圖像特征；將第二時(shí)刻的待檢圖像數(shù)據(jù)輸入第二圖像特征編碼器，確定第二圖像特征；將第二光流圖輸入第三圖像特征編碼器，確定第三圖像特征；將第一圖像特征、第二圖像特征、第三圖像特征輸入特征融合編碼器，確定融合特征；基于特征解碼器，對(duì)融合特征進(jìn)行解碼，確定天氣特征預(yù)測(cè)結(jié)果以及與天氣特征預(yù)測(cè)結(jié)果對(duì)應(yīng)的置信度。

9、結(jié)合第一方面，在第一方面的一種可能的實(shí)現(xiàn)方式中，基于歷史圖像數(shù)據(jù)確定對(duì)應(yīng)的第一光流圖，包括：基于第一時(shí)刻的歷史圖像數(shù)據(jù)與第二時(shí)刻的歷史圖像數(shù)據(jù)，利用光流法，確定對(duì)應(yīng)的第一光流圖。

10、第二方面，本發(fā)明提供了一種天氣特征目標(biāo)檢驗(yàn)裝置，裝置包括：歷史圖像獲取模塊，用于獲取連續(xù)采集的歷史圖像數(shù)據(jù)，并基于歷史圖像數(shù)據(jù)確定對(duì)應(yīng)的第一光流圖；數(shù)據(jù)集確定模塊，用于基于歷史圖像數(shù)據(jù)以及第一光流圖，確定目標(biāo)檢測(cè)數(shù)據(jù)集；模型訓(xùn)練模塊，用于基于目標(biāo)檢測(cè)數(shù)據(jù)集對(duì)目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練，得到完成訓(xùn)練的天氣特征檢測(cè)模型；待檢圖像獲取模塊，用于獲取連續(xù)采集的待檢圖像數(shù)據(jù)，并基于待檢圖像數(shù)據(jù)確定對(duì)應(yīng)的第二光流圖；結(jié)果確定模塊，用于基于待檢圖像數(shù)據(jù)以及第二光流圖，利用天氣特征檢測(cè)模型進(jìn)行特征融合，確定天氣特征目標(biāo)結(jié)果。

11、第三方面，本發(fā)明提供了一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器和處理器，存儲(chǔ)器和處理器之間互相通信連接，存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)指令，處理器通過執(zhí)行計(jì)算機(jī)指令，從而執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的天氣特征目標(biāo)檢驗(yàn)方法。

12、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的天氣特征目標(biāo)檢驗(yàn)方法。

13、本發(fā)明技術(shù)方案，具有如下優(yōu)點(diǎn)：

14、本發(fā)明提供的一種天氣特征目標(biāo)檢驗(yàn)方法、裝置、設(shè)備、介質(zhì)，該方法通過歷史圖像數(shù)據(jù)與第一光流圖，確定目標(biāo)檢測(cè)數(shù)據(jù)集，利用目標(biāo)檢測(cè)數(shù)據(jù)集完成目標(biāo)檢測(cè)模型的訓(xùn)練，從而將獲取的圖像數(shù)據(jù)與光流圖輸入完成訓(xùn)練的天氣特征檢測(cè)模型，利用特征融合，確定天氣特征目標(biāo)結(jié)果。這一過程中，通過歷史圖像數(shù)據(jù)與第一光流圖，確定目標(biāo)檢測(cè)數(shù)據(jù)集，使得目標(biāo)檢測(cè)數(shù)據(jù)集中的數(shù)據(jù)相較于原始數(shù)據(jù)更具有顯性的天氣因素特征，忽略其他區(qū)域，從而減少數(shù)據(jù)計(jì)算量，并在此基礎(chǔ)上以目標(biāo)檢測(cè)數(shù)據(jù)集作為模型的訓(xùn)練數(shù)據(jù)，使得模型通過訓(xùn)練學(xué)習(xí)，掌握相應(yīng)的天氣因素特征，從而使天氣特征檢測(cè)模型更關(guān)注顯性特征區(qū)域，從而在圖像數(shù)據(jù)與光流圖作為輸入，輸入天氣特征檢測(cè)模型時(shí)，模型僅需關(guān)注具有顯性特征的區(qū)域，并且由于這些區(qū)域所具有的顯性特征與天氣因素相關(guān)，使得在降低計(jì)算資源需求的同時(shí)，可以保證天氣特征目標(biāo)結(jié)果的準(zhǔn)確性。

技術(shù)特征：

1.一種天氣特征目標(biāo)檢驗(yàn)方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述歷史圖像數(shù)據(jù)以及所述第一光流圖，確定目標(biāo)檢測(cè)數(shù)據(jù)集，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述歷史圖像數(shù)據(jù)輸入預(yù)訓(xùn)練的多模態(tài)模型，確定初始目標(biāo)檢測(cè)數(shù)據(jù)集，包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述第一光流圖，確定天氣動(dòng)態(tài)要素的位置，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述待檢圖像數(shù)據(jù)以及所述第二光流圖，利用所述天氣特征檢測(cè)模型進(jìn)行特征融合，確定天氣特征目標(biāo)結(jié)果，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，天氣特征檢測(cè)模型，包括：第一圖像特征編碼器、第二圖像特征編碼器、第三圖像特征編碼器、特征融合編碼器、特征解碼器，

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述歷史圖像數(shù)據(jù)確定對(duì)應(yīng)的第一光流圖，包括：

8.一種天氣特征目標(biāo)檢驗(yàn)裝置，其特征在于，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行權(quán)利要求1至7中任一項(xiàng)所述的天氣特征目標(biāo)檢驗(yàn)方法。

技術(shù)總結(jié)
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，公開了一種天氣特征目標(biāo)檢驗(yàn)方法、裝置、設(shè)備、介質(zhì)，該方法包括：獲取連續(xù)采集的歷史圖像數(shù)據(jù)，并基于歷史圖像數(shù)據(jù)確定對(duì)應(yīng)的第一光流圖；基于歷史圖像數(shù)據(jù)以及第一光流圖，確定目標(biāo)檢測(cè)數(shù)據(jù)集；基于目標(biāo)檢測(cè)數(shù)據(jù)集對(duì)目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練，得到完成訓(xùn)練的天氣特征檢測(cè)模型；獲取連續(xù)采集的待檢圖像數(shù)據(jù)，并基于待檢圖像數(shù)據(jù)確定對(duì)應(yīng)的第二光流圖；基于待檢圖像數(shù)據(jù)以及第二光流圖，利用天氣特征檢測(cè)模型進(jìn)行特征融合，確定天氣特征目標(biāo)結(jié)果。本發(fā)明的方案通過圖像數(shù)據(jù)與光流圖確定的目標(biāo)檢測(cè)數(shù)據(jù)集作為模型訓(xùn)練數(shù)據(jù)，使得模型關(guān)注具有顯著天氣特征的區(qū)域在降低計(jì)算資源需求的同時(shí)，保證天氣特征目標(biāo)結(jié)果的準(zhǔn)確性。

技術(shù)研發(fā)人員：康曉,王金波,郭振華
受保護(hù)的技術(shù)使用者：天翼交通科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19