本發(fā)明涉及圖片識別,尤其涉及一種汽車配件圖片識別方法、裝置以及設(shè)備。
背景技術(shù):
1、在汽車配件管理系統(tǒng)(erp)中經(jīng)常會有需要對汽車配件圖片進行識別的場景。比如當客戶需要購買某個配件商品,或需要對某個配件商品進行報價時,客戶經(jīng)常會在手機應用或小程序上傳一張汽車配件的圖片,如果汽車配件管理系統(tǒng)可以識別用戶輸入的汽車配件圖片,那么就可以實現(xiàn)配件商品的自動報價。其次,在倉庫管理系統(tǒng)(wms)中,我們可以通過對汽車配件圖片的識別來幫助庫存商品的管理。另外,在汽車配件管理系統(tǒng)的配件商品詳情頁面,我們可以使用汽車配件圖片識別來對用戶上傳的圖片進行分類。
2、要實現(xiàn)對汽車配件圖片的識別就需要訓練圖像識別模型,因此也就需要準備訓練模型所需要的訓練數(shù)據(jù)。雖然一個汽車配件管理系統(tǒng)中通常會包含大量的配件圖片,但是并沒有對這些圖片很準確的標注數(shù)據(jù),并且存在很多干擾數(shù)據(jù)。比如,汽車配件商品中包含各種套裝商品,比如兩件套,三件套等等。一個兩件套是由兩個不同的配件組成,一個兩件套的圖片一般是由這兩個配件放在一起拍照而成。沒有準確的標注數(shù)據(jù)以及存在大量的干擾數(shù)據(jù)是對汽車配件圖片識別的一個挑戰(zhàn)。
技術(shù)實現(xiàn)思路
1、有鑒于此,本發(fā)明的目的在于提出一種汽車配件圖片識別方法、裝置以及設(shè)備,旨在解決現(xiàn)有技術(shù)的汽車配件圖片識別精度低以及識別機制不夠靈活等問題。
2、為實現(xiàn)上述目的,本發(fā)明提供一種汽車配件圖片識別方法,所述方法包括:
3、獲取汽車配件圖片,對所述汽車配件圖片進行包括圖片去重、去除分布外圖片以及去除套裝商品與非商品圖片的數(shù)據(jù)清洗處理,得到多個圖片子集;
4、對多個所述圖片子集進行包括數(shù)據(jù)集合并、數(shù)據(jù)集標注的數(shù)據(jù)標注處理,得到包括商品類訓練子集以及非商品類訓練子集的圖片訓練數(shù)據(jù);
5、將所述圖片訓練數(shù)據(jù)輸入基于resnet網(wǎng)絡(luò)所構(gòu)建的模型進行訓練,得到配件圖片識別模型;
6、通過預設(shè)的全局特征提取模型對所述圖片訓練數(shù)據(jù)中的每一圖片進行全局特征提取,得到包括所有圖片的全局特征向量集合;
7、獲取待識別圖片,通過所述配件圖片識別模型對所述待識別圖片進行預測,得到識別結(jié)果;
8、判斷所述識別結(jié)果為商品類圖片時,則將所識別到的配件商品圖片作為返回結(jié)果,否則,通過計算所述待識別圖片對應的全局特征向量與所述全局特征向量集合中每一向量的歐氏距離,根據(jù)所述歐氏距離確定圖像檢索結(jié)果并返回給用戶。
9、優(yōu)選的,所述對所述汽車配件圖片進行包括圖片去重、去除分布外圖片以及去除套裝商品與非商品圖片的數(shù)據(jù)清洗處理,得到多個圖片子集,包括:
10、利用圖像哈希算法對所述汽車配件圖片進行圖片去重,得到第一圖片;
11、對所述第一圖片進行特征提取,得到對應每一圖片的特征向量,并利用主成分分析算法對所述特征向量進行降維,得到第二圖片;
12、根據(jù)同一商品對所述第二圖片進行劃分,得到對應每一商品的圖片集合,利用k-means聚類算法對每一所述圖片集合中對應圖片的特征向量進行聚類,得到多個第一圖片子集;
13、計算每一所述第一圖片子集中每一圖片到所述第一圖片子集中心的第一距離,并計算所述第一距離的方差,得到子集方差;
14、判斷所述子集方差是否大于第一閾值,若是,將所述第一圖片子集移至預設(shè)圖片列表,若否,判斷所述第一距離是否超過第二閾值,若是,將對應的圖片作為分布外圖片,并將所述分布外圖片從所述第一圖片子集移至所述預設(shè)圖片列表中,得到第二圖片子集;
15、利用預設(shè)的目標檢測模型對每一所述第二圖片子集中的每一第二圖片進行檢測,得到檢測結(jié)果,判斷所述檢測結(jié)果中的商品為套裝商品時,將所述第二圖片移至所述預設(shè)圖片列表中,得到第三圖片子集;
16、識別所述第三圖片子集中的非商品圖片并移至所述預設(shè)圖片列表中,得到所述圖片子集。
17、優(yōu)選的,從所述預設(shè)圖片列表中獲取部分圖片進行標注后作為所述非商品類訓練子集。
18、優(yōu)選的,從所述圖像哈希算法為差異值哈希算法;所述主成分分析算法為使用sklearn包里面的decomposition.pca類。
19、優(yōu)選的,所述對多個所述圖片子集進行包括數(shù)據(jù)集合并、數(shù)據(jù)集標注的數(shù)據(jù)標注處理,得到包括商品類訓練子集以及非商品類訓練子集的圖片訓練數(shù)據(jù),包括:
20、通過預設(shè)的分類模型對多個所述圖片子集中的任意兩個所述圖片子集進行預測,得到預測結(jié)果;
21、判斷所述預測結(jié)果中兩個所述圖片子集對應的標簽屬于同一標簽的概率大于閾值時,則將兩個所述圖片子集進行合并,得到合并圖片子集;
22、利用不同的標簽對每一所述合并圖片子集進行標注,得到對應不同商品的多個所述商品類訓練子集。
23、優(yōu)選的,所述分類模型基于tensorflow中的resnet101v2模型進行微調(diào)得到。
24、優(yōu)選的,所述通過計算所述待識別圖片對應的全局特征向量與所述全局特征向量集合中每一向量的歐氏距離,根據(jù)所述歐氏距離確定圖像檢索結(jié)果,包括:
25、通過計算所述待識別圖片對應的全局特征向量與所述全局特征向量集合中每一向量的歐氏距離,得到對應所述待識別圖片的全局特征向量的多個最近鄰;
26、根據(jù)所述待識別圖片的全局特征向量的每一所述最近鄰對應的標簽進行投票,將所述最近鄰所對應的標簽的票數(shù)最多作為目標標簽,并將所述目標標簽對應的配件商品圖片作為所述圖像檢索結(jié)果。
27、為實現(xiàn)上述目的,本發(fā)明還提供一種汽車配件圖片識別裝置,所述裝置包括:
28、第一處理單元,用于獲取汽車配件圖片,對所述汽車配件圖片進行包括圖片去重、去除分布外圖片以及去除套裝商品與非商品圖片的數(shù)據(jù)清洗處理,得到多個圖片子集;
29、第二處理單元,用于對多個所述圖片子集進行包括數(shù)據(jù)集合并、數(shù)據(jù)集標注的數(shù)據(jù)標注處理,得到包括商品類訓練子集以及非商品類訓練子集的圖片訓練數(shù)據(jù);
30、模型訓練單元,用于將所述圖片訓練數(shù)據(jù)輸入基于resnet網(wǎng)絡(luò)所構(gòu)建的模型進行訓練,得到配件圖片識別模型;
31、特征提取單元,用于通過預設(shè)的全局特征提取模型對所述圖片訓練數(shù)據(jù)中的每一圖片進行全局特征提取,得到包括所有圖片的全局特征向量集合;
32、識別單元,用于獲取待識別圖片,通過所述配件圖片識別模型對所述待識別圖片進行預測,得到識別結(jié)果;
33、檢索單元,用于判斷所述識別結(jié)果為商品類圖片時,則將所識別到的配件商品圖片作為返回結(jié)果,否則,通過計算所述待識別圖片對應的全局特征向量與所述全局特征向量集合中每一向量的歐氏距離,根據(jù)所述歐氏距離確定圖像檢索結(jié)果并返回給用戶。
34、為了實現(xiàn)上述目的,本發(fā)明還提出一種汽車配件圖片識別設(shè)備,包括處理器、存儲器以及存儲在所述存儲器內(nèi)的計算機程序,所述計算機程序被所述處理器執(zhí)行以實現(xiàn)如上述實施例所述的一種汽車配件圖片識別方法的步驟。
35、為了實現(xiàn)上述目的,本發(fā)明還提出一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)上存儲有計算機程序,所述計算機程序被處理器執(zhí)行以實現(xiàn)如上述實施例所述的一種汽車配件圖片識別方法的步驟。
36、為了實現(xiàn)上述目的,本發(fā)明還提出一種計算機程序產(chǎn)品,包括計算機程序/指令,所述計算機程序/指令被處理器執(zhí)行時實現(xiàn)如上述實施例所述的一種汽車配件圖片識別方法的步驟。
37、有益效果:
38、以上方案,通過從數(shù)據(jù)清洗、標注到模型訓練、特征提取和識別預測,優(yōu)化數(shù)據(jù)處理流程、實現(xiàn)了高度的智能化和自動化,減少了人工干預,提高了工作效率以及汽車配件圖片的識別精度;并且,本案還提供靈活的識別機制,對于配件圖片識別模型無法準確分類的圖片可通過另一解決方案對其進行圖像檢索,使得對于汽車配件圖片的識別更加靈活和全面。該方案基于成熟的深度學習框架(如tensorflow)和算法(如resnet、pca、k-means等),具有良好的可擴展性和可維護性,便于后續(xù)根據(jù)實際需求進行改進和優(yōu)化。
39、以上方案,通過一系列數(shù)據(jù)清洗處理(包括圖片去重、去除分布外圖片、去除套裝商品與非商品圖片),有效減少了訓練數(shù)據(jù)中的噪聲和干擾項,使得后續(xù)的圖片識別模型能夠基于更為純凈和相關(guān)的數(shù)據(jù)集進行訓練,從而顯著提升了汽車配件圖片的識別精度和效率;利用resnet網(wǎng)絡(luò)構(gòu)建配件圖片識別模型,并結(jié)合數(shù)據(jù)標注處理(數(shù)據(jù)集合并、數(shù)據(jù)集標注),不僅增強了模型對商品類圖片的識別能力,還通過引入非商品類訓練子集,使模型能夠更好地區(qū)分商品與非商品圖片,提高了模型的泛化能力和魯棒性。
40、以上方案,在識別結(jié)果為非商品類圖片時,通過計算待識別圖片的全局特征向量與全局特征向量集合中每一向量的歐氏距離,實現(xiàn)了基于特征的圖像檢索。這種機制不僅為用戶提供了額外的識別途徑,還能夠在無法直接識別配件時,通過檢索相似圖片來輔助用戶找到所需配件,提供靈活的檢索機制,增強了系統(tǒng)的實用性和用戶體驗。
41、以上方案,通過利用圖像哈希算法去重、主成分分析算法降維、k-means聚類算法聚類等,優(yōu)化了數(shù)據(jù)清洗和標注的流程,提高了處理效率和準確性;同時,從預設(shè)圖片列表中獲取部分圖片進行標注后作為非商品類訓練子集,進一步豐富了訓練數(shù)據(jù)的多樣性。