本發(fā)明涉及圖像檢測(cè)，尤其涉及一種圖像變化檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、圖像變化檢測(cè)是基于不同時(shí)間拍攝的兩個(gè)圖像(即參考圖像和測(cè)試圖像)，通過(guò)對(duì)比來(lái)識(shí)別兩個(gè)圖像中同一個(gè)區(qū)域的變化，由此，通過(guò)與正常情況下的參考圖像相比，可以檢測(cè)和發(fā)現(xiàn)圖像中的異常，其可以用于檢測(cè)運(yùn)動(dòng)物體。

2、在此基礎(chǔ)上，現(xiàn)有技術(shù)中的圖像變化檢測(cè)方法主要基于圖像差分和逐像素比較，并且結(jié)合特征點(diǎn)提取和圖像配準(zhǔn)等改進(jìn)方案完成圖像變化檢測(cè)，但這種方法需要收集大量圖像數(shù)據(jù)集，以及進(jìn)行標(biāo)注等工作，同時(shí)在進(jìn)行對(duì)比檢測(cè)時(shí)，計(jì)算量大，能耗高。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種圖像變化檢測(cè)方法及系統(tǒng)，其可以融合目標(biāo)檢測(cè)和孿生網(wǎng)絡(luò)分割的優(yōu)點(diǎn)，大量減少數(shù)據(jù)集收集和標(biāo)注工作，減少計(jì)算量。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一方面，提供了一種圖像變化檢測(cè)方法，其包括如下步驟：

4、對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)集和目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行數(shù)據(jù)采樣，并且對(duì)采樣獲得的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理；

5、提取經(jīng)過(guò)數(shù)據(jù)預(yù)處理的孿生網(wǎng)絡(luò)數(shù)據(jù)特征以及目標(biāo)檢測(cè)數(shù)據(jù)特征，并對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)特征以及目標(biāo)檢測(cè)數(shù)據(jù)特征分別進(jìn)行特征融合；

6、對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)融合特征、目標(biāo)檢測(cè)數(shù)據(jù)融合特征分別進(jìn)行處理，并輸出對(duì)應(yīng)的處理結(jié)果；

7、重復(fù)上述步驟，以進(jìn)行模型訓(xùn)練，并輸出圖像變化檢測(cè)模型；

8、通過(guò)圖像變化檢測(cè)模型對(duì)圖像變化進(jìn)行檢測(cè)，并輸出圖像變化結(jié)果。

9、優(yōu)選的，對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)集和目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行數(shù)據(jù)采樣，包括如下步驟：

10、分別讀取孿生網(wǎng)絡(luò)數(shù)據(jù)集和目標(biāo)檢測(cè)數(shù)據(jù)集；

11、隨機(jī)對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)集進(jìn)行數(shù)據(jù)采樣，以及隨機(jī)對(duì)目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行數(shù)據(jù)采樣；

12、將采樣獲得的孿生網(wǎng)絡(luò)數(shù)據(jù)、目標(biāo)檢測(cè)數(shù)據(jù)打包成至少一個(gè)批次，且每一批次中，孿生網(wǎng)絡(luò)數(shù)據(jù)、目標(biāo)檢測(cè)數(shù)據(jù)的數(shù)量比例滿足預(yù)設(shè)條件。

13、優(yōu)選的，提取經(jīng)過(guò)數(shù)據(jù)預(yù)處理的孿生網(wǎng)絡(luò)數(shù)據(jù)特征以及目標(biāo)檢測(cè)數(shù)據(jù)特征，包括如下步驟：

14、通過(guò)孿生網(wǎng)絡(luò)的主干特征提取網(wǎng)絡(luò)提取經(jīng)過(guò)數(shù)據(jù)預(yù)處理的孿生網(wǎng)絡(luò)數(shù)據(jù)特征，以及通過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)的主干特征提取網(wǎng)絡(luò)提取經(jīng)過(guò)數(shù)據(jù)預(yù)處理的目標(biāo)檢測(cè)數(shù)據(jù)特征。

15、優(yōu)選的，對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)融合特征、目標(biāo)檢測(cè)數(shù)據(jù)融合特征分別進(jìn)行處理，并輸出對(duì)應(yīng)的處理結(jié)果，包括如下步驟：

16、對(duì)經(jīng)特征融合獲得的孿生網(wǎng)絡(luò)數(shù)據(jù)融合特征進(jìn)行分割處理，以獲取孿生網(wǎng)絡(luò)輸出結(jié)果，以及，對(duì)經(jīng)特征融合獲得的目標(biāo)檢測(cè)數(shù)據(jù)融合特征進(jìn)行目標(biāo)檢測(cè)，以獲取目標(biāo)檢測(cè)輸出結(jié)果。

17、優(yōu)選的，對(duì)經(jīng)特征融合獲得的孿生網(wǎng)絡(luò)數(shù)據(jù)融合特征進(jìn)行分割處理，以獲取孿生網(wǎng)絡(luò)輸出結(jié)果，包括如下步驟：

18、采用孿生網(wǎng)絡(luò)分割頭mhead對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)融合特征進(jìn)行分割處理，并對(duì)像素進(jìn)行二值分類，以生成作為孿生網(wǎng)絡(luò)輸出結(jié)果的二值化mask圖像。

19、優(yōu)選的，對(duì)經(jīng)特征融合獲得的目標(biāo)檢測(cè)數(shù)據(jù)融合特征進(jìn)行目標(biāo)檢測(cè)，以獲取目標(biāo)檢測(cè)輸出結(jié)果，包括如下步驟：

20、采用目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)頭dhead對(duì)目標(biāo)檢測(cè)數(shù)據(jù)融合特征進(jìn)行目標(biāo)檢測(cè)，并輸出目標(biāo)檢測(cè)輸出結(jié)果。

21、優(yōu)選的，所述圖像變化檢測(cè)方法還包括：構(gòu)建總損失函數(shù)ltotal，且ltotal＝α*lmask+β*lreg+λ*lcls，并通過(guò)所述總損失函數(shù)對(duì)訓(xùn)練進(jìn)行監(jiān)督，其中，lmask為孿生網(wǎng)絡(luò)的損失函數(shù)；lreg為回歸損失函數(shù)；lcls為分類損失函數(shù)；α、β、λ均為調(diào)節(jié)系數(shù)。

22、優(yōu)選的，通過(guò)圖像變化檢測(cè)模型對(duì)圖像變化進(jìn)行檢測(cè)，并輸出圖像變化結(jié)果，包括如下步驟：

23、向圖像變化檢測(cè)模型輸入基準(zhǔn)圖像和待測(cè)圖像，并對(duì)所述基準(zhǔn)圖像以及待測(cè)圖像分別進(jìn)行圖像預(yù)處理；

24、通過(guò)主干特征提取網(wǎng)絡(luò)分別提取經(jīng)過(guò)圖像預(yù)處理的基準(zhǔn)圖像特征以及經(jīng)過(guò)圖像預(yù)處理的待測(cè)圖像特征；

25、通過(guò)圖像變化檢測(cè)模型的孿生網(wǎng)絡(luò)對(duì)基準(zhǔn)圖像特征、待測(cè)圖像特征分別進(jìn)行特征融合，以獲得第一圖像融合特征；

26、對(duì)第一圖像融合特征進(jìn)行分割處理，以獲取第一圖像變化輸出結(jié)果。

27、優(yōu)選的，通過(guò)圖像變化檢測(cè)模型對(duì)圖像變化進(jìn)行檢測(cè)，并輸出圖像變化結(jié)果，還包括如下步驟：

28、通過(guò)圖像變化檢測(cè)模型的目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)基準(zhǔn)圖像特征、待測(cè)圖像特征進(jìn)行特征融合，以獲得第二圖像融合特征；

29、對(duì)第二圖像融合特征進(jìn)行目標(biāo)檢測(cè)，以獲取第二圖像變化輸出結(jié)果。

30、另一方面，還提供一種圖像變化檢測(cè)系統(tǒng)，其包括：

31、數(shù)據(jù)處理單元，其用于對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)集和目標(biāo)檢測(cè)數(shù)據(jù)集分別進(jìn)行數(shù)據(jù)采樣，以及對(duì)采樣獲得的孿生網(wǎng)絡(luò)數(shù)據(jù)、目標(biāo)檢測(cè)數(shù)據(jù)均進(jìn)行數(shù)據(jù)預(yù)處理；

32、特征提取單元，其用于提取經(jīng)過(guò)數(shù)據(jù)預(yù)處理的孿生網(wǎng)絡(luò)數(shù)據(jù)特征，以及提取經(jīng)過(guò)數(shù)據(jù)預(yù)處理的目標(biāo)檢測(cè)數(shù)據(jù)特征；

33、特征融合單元，其用于將所有提取的孿生網(wǎng)絡(luò)數(shù)據(jù)特征以及所有提取的目標(biāo)檢測(cè)數(shù)據(jù)特征分別進(jìn)行特征融合，以對(duì)應(yīng)獲得孿生網(wǎng)絡(luò)數(shù)據(jù)融合特征、目標(biāo)檢測(cè)數(shù)據(jù)融合特征；

34、融合特征處理單元，其用于對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)融合特征進(jìn)行分割處理，以獲取孿生網(wǎng)絡(luò)輸出結(jié)果，以及對(duì)目標(biāo)檢測(cè)數(shù)據(jù)融合特征進(jìn)行目標(biāo)檢測(cè)，以獲取目標(biāo)檢測(cè)輸出結(jié)果；

35、檢測(cè)單元，其用于根據(jù)訓(xùn)練完成后輸出的圖像變化檢測(cè)模型對(duì)圖像變化進(jìn)行檢測(cè)，并輸出圖像變化檢測(cè)結(jié)果。

36、綜上所述，本發(fā)明與現(xiàn)有技術(shù)相比具有以下有益效果：

37、本發(fā)明融合目標(biāo)檢測(cè)和孿生網(wǎng)絡(luò)分割的優(yōu)點(diǎn)，可大量減少數(shù)據(jù)集收集和標(biāo)注工作，同時(shí)，在進(jìn)行圖像變化檢測(cè)時(shí)，基準(zhǔn)圖像特征以及待測(cè)圖像特征可以同時(shí)作為目標(biāo)檢測(cè)和孿生網(wǎng)絡(luò)分割的基礎(chǔ)特征，進(jìn)一步減少了計(jì)算量，且擴(kuò)大了應(yīng)用場(chǎng)景。

技術(shù)特征：

1.一種圖像變化檢測(cè)方法，其特征在于，包括如下步驟：

2.如權(quán)利要求1所述的圖像變化檢測(cè)方法，其特征在于，對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)集和目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行數(shù)據(jù)采樣，包括如下步驟：

3.如權(quán)利要求1所述的圖像變化檢測(cè)方法，其特征在于，提取經(jīng)過(guò)數(shù)據(jù)預(yù)處理的孿生網(wǎng)絡(luò)數(shù)據(jù)特征以及目標(biāo)檢測(cè)數(shù)據(jù)特征，包括如下步驟：

4.如權(quán)利要求1所述的圖像變化檢測(cè)方法，其特征在于，對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)融合特征、目標(biāo)檢測(cè)數(shù)據(jù)融合特征分別進(jìn)行處理，并輸出對(duì)應(yīng)的處理結(jié)果，包括如下步驟：

5.如權(quán)利要求4所述的圖像變化檢測(cè)方法，其特征在于，對(duì)經(jīng)特征融合獲得的孿生網(wǎng)絡(luò)數(shù)據(jù)融合特征進(jìn)行分割處理，以獲取孿生網(wǎng)絡(luò)輸出結(jié)果，包括如下步驟：

6.如權(quán)利要求4所述的圖像變化檢測(cè)方法，其特征在于，對(duì)經(jīng)特征融合獲得的目標(biāo)檢測(cè)數(shù)據(jù)融合特征進(jìn)行目標(biāo)檢測(cè)，以獲取目標(biāo)檢測(cè)輸出結(jié)果，包括如下步驟：

7.如權(quán)利要求1所述的圖像變化檢測(cè)方法，其特征在于，所述圖像變化檢測(cè)方法還包括：構(gòu)建總損失函數(shù)ltotal，且ltotal＝α*lmask+β*lreg+λ*lcls，并通過(guò)所述總損失函數(shù)對(duì)訓(xùn)練進(jìn)行監(jiān)督，其中，lmask為孿生網(wǎng)絡(luò)的損失函數(shù)；lreg為回歸損失函數(shù)；lcls為分類損失函數(shù)；α、β、λ均為調(diào)節(jié)系數(shù)。

8.如權(quán)利要求1所述的圖像變化檢測(cè)方法，其特征在于，通過(guò)圖像變化檢測(cè)模型對(duì)圖像變化進(jìn)行檢測(cè)，并輸出圖像變化結(jié)果，包括如下步驟：

9.如權(quán)利要求8所述的圖像變化檢測(cè)方法，其特征在于，通過(guò)圖像變化檢測(cè)模型對(duì)圖像變化進(jìn)行檢測(cè)，并輸出圖像變化結(jié)果，還包括如下步驟：

10.一種圖像變化檢測(cè)系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明涉及一種圖像變化檢測(cè)方法及系統(tǒng)，其包括如下步驟：對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)集和目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行數(shù)據(jù)采樣，并且對(duì)采樣獲得的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理；提取經(jīng)過(guò)數(shù)據(jù)預(yù)處理的孿生網(wǎng)絡(luò)數(shù)據(jù)特征以及目標(biāo)檢測(cè)數(shù)據(jù)特征，并對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)特征以及目標(biāo)檢測(cè)數(shù)據(jù)特征分別進(jìn)行特征融合；對(duì)孿生網(wǎng)絡(luò)數(shù)據(jù)融合特征、目標(biāo)檢測(cè)數(shù)據(jù)融合特征分別進(jìn)行處理，并輸出對(duì)應(yīng)的處理結(jié)果；重復(fù)上述步驟，以進(jìn)行模型訓(xùn)練，并輸出圖像變化檢測(cè)模型；通過(guò)圖像變化檢測(cè)模型對(duì)圖像變化進(jìn)行檢測(cè)，并輸出圖像變化結(jié)果。本發(fā)明可以融合目標(biāo)檢測(cè)和孿生網(wǎng)絡(luò)分割的優(yōu)點(diǎn)，大量減少數(shù)據(jù)集收集和標(biāo)注工作，減少計(jì)算量。

技術(shù)研發(fā)人員：黃晟,陳搏,熊肖一,李夢(mèng)
受保護(hù)的技術(shù)使用者：武漢高德智感科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19