本技術(shù)涉及機器學(xué)習(xí)領(lǐng)域,尤其是涉及一種原型加權(quán)對比學(xué)習(xí)的圖像識別方法、系統(tǒng)、設(shè)備及介質(zhì)。
背景技術(shù):
1、在圖像識別領(lǐng)域,準確地分類和識別圖像是許多應(yīng)用的核心,例如自動駕駛、安防監(jiān)控和醫(yī)療影像分析。傳統(tǒng)的圖像識別方法依賴于大量人工標注的數(shù)據(jù)集,這種方法不僅成本高昂,還需要耗費大量時間。自監(jiān)督學(xué)習(xí)由于不需要人工標注的標簽而成為了解決許多現(xiàn)實世界問題的強大工具,特別是在數(shù)據(jù)量龐大且標注成本高昂的情況下。自監(jiān)督學(xué)習(xí)是一種能夠?qū)崿F(xiàn)在數(shù)據(jù)量龐大的情況下,不需要人工標注標簽的工具。自監(jiān)督學(xué)習(xí)的常見方法包括生成式方法、預(yù)測式方法和對比學(xué)習(xí)。生成式方法通過重構(gòu)原始數(shù)據(jù)來學(xué)習(xí),如生成對抗網(wǎng)絡(luò)。預(yù)測式方法通過讓模型預(yù)測數(shù)據(jù)的一部分來進行學(xué)習(xí),如預(yù)測圖像變換等。而對比學(xué)習(xí)通過比較不同樣本之間的差異來進行學(xué)習(xí)。具體來說,對比學(xué)習(xí)將同一圖像的增強樣本視為正樣本,將其他所有樣本都視為負樣本。通過減小正樣本對的距離,同時增大負樣本對的距離,來學(xué)習(xí)數(shù)據(jù)的特征分布。
2、現(xiàn)有的圖像識別方法在處理負樣本時存在局限性,具體來說,對比學(xué)習(xí)的圖像識別方法中負樣本的定義與下游任務(wù)中負樣本的定義存在差異。以小狗樣本為例,除了錨點樣本對應(yīng)的小狗,數(shù)據(jù)空間中的其他所有樣本都會被視為錨點樣本的負樣本,即,這種圖像識別方法將每一個樣本視為一個類。然而在下游任務(wù)中,負樣本應(yīng)該是不同品種的小狗的樣本。因此,這些在對比學(xué)習(xí)中被視為負樣本的小狗樣本,被稱為圖像識別的假負樣本,將假負樣本推離錯誤地推離錨點樣本,會導(dǎo)致對比學(xué)習(xí)和下游任務(wù)中的語義信息產(chǎn)生偏差,從而使下游任務(wù)中的分類結(jié)果產(chǎn)生錯誤,進而使得圖像識別不準確。
3、為了解決對比學(xué)習(xí)的圖像識別中假負樣本造成的語義丟失問題,一些對比學(xué)習(xí)方法的圖像識別使用聚類技術(shù)。在訓(xùn)練期間,對樣本對應(yīng)的特征向量進行聚類,并把聚類標簽作為樣本的偽標簽,用來指導(dǎo)對比學(xué)習(xí)。即,對比學(xué)習(xí)的正樣本是那些具有相同偽標簽的樣本,而負樣本是那些具有不同偽標簽的樣本。然而將這種聚類方式運用在圖像識別當中,需要使用整個訓(xùn)練集作為輸入,需要額外的訓(xùn)練時間和空間。由上可知,采用聚類對比學(xué)習(xí)方法對圖像識別的對比學(xué)習(xí)進行訓(xùn)練,雖然能夠一定程度上提升圖像識別的準確性,但是需要耗費更多資源和時間,且僅針對假負樣本進行對比學(xué)習(xí),得到的結(jié)果依然難以區(qū)分相似樣本,導(dǎo)致圖像識別的識別準度不足,上述問題有待解決。
技術(shù)實現(xiàn)思路
1、為了準確區(qū)分相似樣本,減少學(xué)習(xí)時資源和時間的使用,提升圖像識別的準確性,本技術(shù)提供一種原型加權(quán)對比學(xué)習(xí)的圖像識別方法、系統(tǒng)、設(shè)備及介質(zhì),采用如下技術(shù)方案:
2、第一方面,本技術(shù)提供一種原型加權(quán)對比學(xué)習(xí)的圖像識別方法,包括:
3、獲取樣本特征信息,對樣本特征信息進行聚類,得到第一聚類信息;
4、根據(jù)兩個樣本特征信息的第一聚類信息構(gòu)建聚類一致性損失函數(shù),得到聚類結(jié)果;
5、對聚類一致性損失函數(shù)進行優(yōu)化,在聚類結(jié)果判斷變?yōu)榭尚诺那闆r下,獲取負樣本特征信息,對負樣本特征信息進行聚類,得到第二聚類信息;
6、根據(jù)第一聚類信息和第二聚類信息構(gòu)建加權(quán)對比學(xué)習(xí)損失函數(shù),得到對比結(jié)果;
7、根據(jù)聚類結(jié)果和對比結(jié)果構(gòu)建總損失函數(shù),得到用于梯度反向傳播進行更新模型參數(shù)的總損失信息。
8、優(yōu)選的,所述對樣本特征信息進行聚類,得到第一聚類信息的具體步驟包括:
9、所述樣本特征信息包括若干個樣本特征向量,對若干個樣本特征向量聚類為預(yù)設(shè)定數(shù)量的類別,得到包含有預(yù)設(shè)定數(shù)量的聚類原型信息。
10、優(yōu)選的,所述對樣本特征信息進行聚類,得到第一聚類信息的具體步驟還包括:
11、對每個樣本特征向量進行概率分析,構(gòu)建得到樣本特征向量所屬類別的概率函數(shù),得到概率信息。
12、優(yōu)選的,還包括:
13、構(gòu)建聚類一致性損失函數(shù)的兩個樣本特征信息來自同一原始數(shù)據(jù),兩個樣本特征信息均進行概率分析,根據(jù)兩個樣本特征信息對應(yīng)的概率函數(shù),構(gòu)建得到聚類一致性損失函數(shù)。
14、優(yōu)選的,所述對聚類一致性損失函數(shù)進行優(yōu)化的具體步驟為:
15、根據(jù)聚類原型信息構(gòu)建第一聚類標簽,對第一聚類標簽進行最大化處理;
16、獲取神經(jīng)網(wǎng)絡(luò)輸出概率相似度信息,根據(jù)最大化的第一聚類標簽和神經(jīng)網(wǎng)絡(luò)輸出概率相似度信息,構(gòu)建用于優(yōu)化聚類一致性損失函數(shù)的最優(yōu)聚類標簽。
17、優(yōu)選的,還包括:
18、對聚類一致性損失函數(shù)構(gòu)建等分約束函數(shù),等分約束函數(shù)用于使樣本特征信息等分至若干個聚類簇中。
19、優(yōu)選的,所述獲取樣本特征信息的具體步驟為:
20、獲取樣本信息,對樣本信息進行增強處理,得到增強樣本信息;
21、對增強樣本信息進行正則化處理,得到樣本特征信息。
22、優(yōu)選的,所述根據(jù)第一聚類信息和第二聚類信息構(gòu)建加權(quán)對比學(xué)習(xí)損失函數(shù)的具體步驟為:
23、分析第一聚類標簽和第二聚類標簽的相似度,得到相似度信息,并根據(jù)相似度信息分析得到用于強調(diào)難負樣本的權(quán)重系數(shù);
24、根據(jù)樣本特征向量、負樣本特征向量、第一聚類標簽、第二聚類標簽和權(quán)重系數(shù)構(gòu)建得到加權(quán)對比學(xué)習(xí)損失函數(shù)。
25、優(yōu)選的,還包括:
26、判斷第一聚類標簽和第二聚類標簽是否相同,在第一聚類標簽和第二聚類標簽不同的情況下,根據(jù)第一聚類信息和第二聚類信息構(gòu)建加權(quán)對比學(xué)習(xí)損失函數(shù)。
27、第二方面,本技術(shù)提供一種原型加權(quán)對比學(xué)習(xí)的圖像識別系統(tǒng),包括:
28、第一獲取模塊,用于獲取樣本特征信息,對樣本特征信息進行聚類,得到第一聚類信息;
29、聚類模塊,用于根據(jù)兩個樣本特征信息的第一聚類信息構(gòu)建聚類一致性損失函數(shù),得到聚類結(jié)果;
30、第二獲取模塊,用于對聚類一致性損失函數(shù)進行優(yōu)化,在聚類結(jié)果判斷變?yōu)榭尚诺那闆r下,獲取負樣本特征信息,對負樣本特征信息進行聚類,得到第二聚類信息;
31、對比模塊,用于根據(jù)第一聚類信息和第二聚類信息構(gòu)建加權(quán)對比學(xué)習(xí)損失函數(shù),得到對比結(jié)果;
32、總處理模塊,用于根據(jù)聚類結(jié)果和對比結(jié)果構(gòu)建總損失函數(shù),得到用于梯度反向傳播進行更新模型參數(shù)的總損失信息。
33、優(yōu)選的,所述第一獲取模塊用于對樣本特征信息進行聚類,得到第一聚類信息的具體步驟包括:
34、所述樣本特征信息包括若干個樣本特征向量,對若干個樣本特征向量聚類為預(yù)設(shè)定數(shù)量的類別,得到包含有預(yù)設(shè)定數(shù)量的聚類原型信息。
35、優(yōu)選的,所述第一獲取模塊用于對樣本特征信息進行聚類,得到第一聚類信息的具體步驟還包括:
36、對每個樣本特征向量進行概率分析,構(gòu)建得到樣本特征向量所屬類別的概率函數(shù),得到概率信息。
37、優(yōu)選的,還包括:
38、所述聚類模塊用于構(gòu)建聚類一致性損失函數(shù)的兩個樣本特征信息來自同一原始數(shù)據(jù),兩個樣本特征信息均進行概率分析,根據(jù)兩個樣本特征信息對應(yīng)的概率函數(shù),構(gòu)建得到聚類一致性損失函數(shù)。
39、優(yōu)選的,所述第二獲取模塊用于對聚類一致性損失函數(shù)進行優(yōu)化的具體步驟為:
40、根據(jù)聚類原型信息構(gòu)建第一聚類標簽,對第一聚類標簽進行最大化處理;
41、獲取神經(jīng)網(wǎng)絡(luò)輸出概率相似度信息,根據(jù)最大化的第一聚類標簽和神經(jīng)網(wǎng)絡(luò)輸出概率相似度信息,構(gòu)建用于優(yōu)化聚類一致性損失函數(shù)的最優(yōu)聚類標簽。
42、優(yōu)選的,還包括:
43、聚類模塊用于對聚類一致性損失函數(shù)構(gòu)建等分約束函數(shù),等分約束函數(shù)用于使樣本特征信息等分至若干個聚類簇中。
44、優(yōu)選的,所述第一獲取模塊用于獲取樣本特征信息的具體步驟為:
45、獲取樣本信息,對樣本信息進行增強處理,得到增強樣本信息;
46、對增強樣本信息進行正則化處理,得到樣本特征信息。
47、優(yōu)選的,所述對比模塊用于根據(jù)第一聚類信息和第二聚類信息構(gòu)建加權(quán)對比學(xué)習(xí)損失函數(shù)的具體步驟為:
48、分析第一聚類標簽和第二聚類標簽的相似度,得到相似度信息,并根據(jù)相似度信息分析得到用于強調(diào)難負樣本的權(quán)重系數(shù);
49、根據(jù)樣本特征向量、負樣本特征向量、第一聚類標簽、第二聚類標簽和權(quán)重系數(shù)構(gòu)建得到加權(quán)對比學(xué)習(xí)損失函數(shù)。
50、優(yōu)選的,還包括:
51、所述對比模塊用于判斷第一聚類標簽和第二聚類標簽是否相同,在第一聚類標簽和第二聚類標簽不同的情況下,根據(jù)第一聚類信息和第二聚類信息構(gòu)建加權(quán)對比學(xué)習(xí)損失函數(shù)。
52、第三方面,本技術(shù)提供一種原型加權(quán)對比學(xué)習(xí)的圖像識別設(shè)備,包括存儲器和處理器,所述存儲器存儲計算機程序,所述處理器被設(shè)置為運行所述計算機程序以執(zhí)行如前所述的原型加權(quán)對比學(xué)習(xí)的圖像識別方法。
53、第四方面,本技術(shù)提供一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)中存儲有計算機程序,其中,所述計算機程序被設(shè)置為運行時執(zhí)行如前所述的原型加權(quán)對比學(xué)習(xí)的圖像識別方法。
54、綜上所述,與現(xiàn)有技術(shù)相比,本技術(shù)提供的技術(shù)方案帶來的有益效果至少包括:
55、本技術(shù)通過獲取樣本特征信息,對樣本特征信息進行在線聚類,得到用于構(gòu)建損失函數(shù)的第一聚類信息,再根據(jù)兩個來自同一原始數(shù)據(jù)的樣本特征信息構(gòu)建得到聚類一致性損失函數(shù),從而得到聚類結(jié)果,消除假負樣本帶來的不利影響,并對聚類一致性損失函數(shù)進行優(yōu)化,在聚類結(jié)果判斷變?yōu)榭尚诺那闆r下,獲取負樣本特征信息進行聚類,得到第二聚類信息,通過第一聚類信息和第二聚類信息構(gòu)建加權(quán)對比學(xué)習(xí)損失函數(shù),根據(jù)負樣本與錨點對應(yīng)的聚類原型的距離確定難負樣本,并為更難的負樣本分配更大的權(quán)重,得到對比結(jié)果,有效排除了假負樣本,從而準確區(qū)分相似樣本,減少學(xué)習(xí)時資源和時間的使用,提升圖像識別的準確性。