本發(fā)明涉及智能識別術(shù)領(lǐng)域，具體涉及一種配件識別方法及裝置。

背景技術(shù)：

現(xiàn)有的配件檢測技術(shù)分為兩個階段，第一階段：搜尋圖像中目標(biāo)前景物件(例如衣服)，并通過使用不同大小的搜尋框來找尋并篩選前景物件；第二階段：利用一個分類器(模型)對篩選過后的前景物件進(jìn)行辨識，確定該前景物件是屬于何種目標(biāo)對象(例如是上衣或是褲子等)。此技術(shù)的核心概念在于將對象檢測與對象辨識分成兩個階段來實現(xiàn)，該技術(shù)的結(jié)構(gòu)存在的問題是當(dāng)?shù)谝浑A段的對象檢測在前景物件檢測錯誤后，亦無法再由第二階段中拯救回來。此外，第一階段的檢測與第階段的辨識是分開的步驟但結(jié)果卻有極高程度的相關(guān)性，但目前還無法提供有效率的方式來同時優(yōu)化兩個不同階段的模型參數(shù)。

技術(shù)實現(xiàn)要素：

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供了配件識別方法及裝置，結(jié)合配件檢測和配件識別兩個階段的模型訓(xùn)練為一個模型的訓(xùn)練與優(yōu)化，提高了配件識別的測試速度和精準(zhǔn)。

第一方面，本發(fā)明提供的一種配件識別方法，包括：輸入測試圖像；利用預(yù)先訓(xùn)練得到的深度學(xué)習(xí)模型的特征提取層，提取所述測試圖像的特征，生成所述測試圖像對應(yīng)的特征圖；利用所述深度學(xué)習(xí)模型的配件位置生成層，遍歷所述特征圖，生成所有可能的配件位置以及各個配件位置的評分，將各個配件位置的評分與預(yù)設(shè)的評分閾值比較，篩選出配件位置；利用所述深度學(xué)習(xí)模型的配件分類層，得到篩選出的配件位置對應(yīng)的配件類別。

優(yōu)選地，利用所述深度模型的配件分類層，得到篩選出的配件位置對應(yīng)的配件類別，包括：利用所述深度模型的配件分類層，分別得到篩選出的配件位置對應(yīng)的至少一個配件類別，以及每個配件類別對應(yīng)的概率；利用softmax函數(shù)將各個所述配件位置對應(yīng)的所有配件類別的概率對應(yīng)到0至1之間，并讓各個所述配件位置對應(yīng)的所有配件類別的概率總和為1；針對每個配件位置，將概率最大的配件類別確定為所述配件位置的配件類別。

優(yōu)選地，所述深度模型的訓(xùn)練步驟包括：輸入訓(xùn)練圖像，所述訓(xùn)練圖像預(yù)先標(biāo)注配件位置、每個配件位置對應(yīng)的配件類別；利用深度學(xué)習(xí)模型，識別所述訓(xùn)練圖像中的配件位置，根據(jù)識別的配件位置與預(yù)先標(biāo)注的配件位置的差異更新所述深度學(xué)習(xí)模型的參數(shù)；利用更新后的深度學(xué)習(xí)模型，識別所述訓(xùn)練圖像中的配件位置對應(yīng)的配件類別，根據(jù)識別的配件類別與預(yù)先標(biāo)注的配件類別的差異更新所述深度學(xué)習(xí)模型的參數(shù)；繼續(xù)訓(xùn)練所述深度學(xué)習(xí)模型，直至通過所述深度學(xué)習(xí)模型輸出的配件位置及配件位置對應(yīng)的配件類別達(dá)到要求。

優(yōu)選地，所述深度學(xué)習(xí)模型包括：特征提取層、配件位置生成層、配件分類層；利用深度學(xué)習(xí)模型，識別所述訓(xùn)練圖像中的配件位置及配件位置對應(yīng)的配件類別，包括：利用所述特征提取層，提取所述訓(xùn)練圖像的特征，生成所述訓(xùn)練圖像對應(yīng)的特征圖；利用所述配件位置生成層，遍歷所述特征圖，生成所有可能的配件位置以及各個配件位置的評分，將各個配件位置的評分與預(yù)設(shè)的評分閾值比較，篩選出配件位置；利用所述深度學(xué)習(xí)模型的配件分類層，得到篩選出的配件位置對應(yīng)的配件類別。

本發(fā)明提供的配件識別方法，將識別配件的位置和配件分類兩個任務(wù)作結(jié)合一同訊練與測試，在執(zhí)行時間上比傳統(tǒng)的架構(gòu)來的有效率，得到的結(jié)果更準(zhǔn)確；另外，使用深度學(xué)習(xí)模型可以自動學(xué)習(xí)高層次的特征表現(xiàn)，這樣的特征表現(xiàn)對于檢測與分類相較于一般人工設(shè)計的低階特征表現(xiàn)的濾波器在配件識別分類中具有更佳的效能表現(xiàn)。

第二方面，本發(fā)明提供的一種配件識別裝置，包括：圖像輸入模塊，用于輸入測試圖像；特征提取模塊，用于利用預(yù)先訓(xùn)練得到的深度學(xué)習(xí)模型的特征提取層，提取所述測試圖像的特征，生成所述測試圖像對應(yīng)的特征圖；配件位置生成模塊，用于利用所述深度學(xué)習(xí)模型的配件位置生成層，遍歷所述特征圖，生成所有可能的配件位置以及各個配件位置的評分，將各個配件位置的評分與預(yù)設(shè)的評分閾值比較，篩選出配件位置；配件類別識別模塊，用于利用所述深度學(xué)習(xí)模型的配件分類層，得到篩選出的配件位置對應(yīng)的配件類別。

優(yōu)選地，所述配件類別識別模塊具體用于：利用所述深度模型的配件分類層，分別得到篩選出的配件位置對應(yīng)的至少一個配件類別，以及每個配件類別對應(yīng)的概率；利用softmax函數(shù)將各個所述配件位置對應(yīng)的所有配件類別的概率對應(yīng)到0至1之間，并讓各個所述配件位置對應(yīng)的所有配件類別的概率總和為1；針對每個配件位置，將概率最大的配件類別確定為所述配件位置的配件類別。

優(yōu)選地，所述深度模型的訓(xùn)練步驟包括：輸入訓(xùn)練圖像，所述訓(xùn)練圖像預(yù)先標(biāo)注配件位置、每個配件位置對應(yīng)的配件類別；利用深度學(xué)習(xí)模型，識別所述訓(xùn)練圖像中的配件位置，根據(jù)識別的配件位置與預(yù)先標(biāo)注的配件位置的差異更新所述深度學(xué)習(xí)模型的參數(shù)；利用更新后的深度學(xué)習(xí)模型，識別所述訓(xùn)練圖像中的配件位置對應(yīng)的配件類別，根據(jù)識別的配件類別與預(yù)先標(biāo)注的配件類別的差異更新所述深度學(xué)習(xí)模型的參數(shù)；繼續(xù)訓(xùn)練所述深度學(xué)習(xí)模型，直至通過所述深度學(xué)習(xí)模型輸出的配件位置及配件位置對應(yīng)的配件類別達(dá)到要求。

優(yōu)選地，所述深度模型包括：特征提取層、配件位置生成層、配件分類層；利用深度學(xué)習(xí)模型，識別所述訓(xùn)練圖像中的配件位置及配件位置對應(yīng)的配件類別，包括：利用所述特征提取層，提取所述訓(xùn)練圖像的特征，生成所述訓(xùn)練圖像對應(yīng)的特征圖；利用所述配件位置生成層，遍歷所述特征圖，生成所有可能的配件位置以及各個配件位置的評分，將各個配件位置的評分與預(yù)設(shè)的評分閾值比較，篩選出配件位置；利用所述深度學(xué)習(xí)模型的配件分類層，得到篩選出的配件位置對應(yīng)的配件類別。

本發(fā)明提供的配件識別裝置，將識別配件的位置和配件分類兩個任務(wù)作結(jié)合一同訊練與測試，在執(zhí)行時間上比傳統(tǒng)的架構(gòu)來的有效率，得到的結(jié)果更準(zhǔn)確；另外，使用深度學(xué)習(xí)模型可以自動學(xué)習(xí)高層次的特征表現(xiàn)，這樣的特征表現(xiàn)對于檢測與分類相較于一般人工設(shè)計的低階特征表現(xiàn)的濾波器在配件識別分類中具有更佳的效能表現(xiàn)。

附圖說明

圖1示出了本發(fā)明實施例所提供的一種配件識別方法的流程圖；

圖2示出了本發(fā)明實施例所提供的一配件識別裝置的結(jié)構(gòu)框圖。

具體實施方式

下面將結(jié)合附圖對本發(fā)明技術(shù)方案的實施例進(jìn)行詳細(xì)的描述。以下實施例僅用于更加清楚地說明本發(fā)明的技術(shù)方案，因此只是作為示例，而不能以此來限制本發(fā)明的保護范圍。

需要注意的是，除非另有說明，本申請使用的技術(shù)術(shù)語或者科學(xué)術(shù)語應(yīng)當(dāng)為本發(fā)明所屬領(lǐng)域技術(shù)人員所理解的通常意義。

如圖1所示，本發(fā)明實施例提供的一種配件識別方法，包括：

步驟s1，輸入測試圖像。

步驟s2，利用預(yù)先訓(xùn)練得到的深度學(xué)習(xí)模型的特征提取層，提取測試圖像的特征，生成測試圖像對應(yīng)的特征圖。

步驟s3，利用深度學(xué)習(xí)模型的配件位置生成層，遍歷特征圖，生成所有可能的配件位置以及各個配件位置的評分，將各個配件位置的評分與預(yù)設(shè)的評分閾值比較，篩選出配件位置。

其中，配件位置包含四個坐標(biāo)點，根據(jù)配件位置的四個坐標(biāo)點就可以得到裁切后的配件圖。在這些配件圖中存在一些偽配件圖，偽配件圖中包含的是測試圖像的背景，不包含配件。因此，為了濾除眾多屬于背景的偽配件圖，深度學(xué)習(xí)訓(xùn)練模型會給所有的配件圖進(jìn)行打分，獲得的評分越高，表明根據(jù)配件位置裁切后的配件圖中包含的背景信息越少、配件信息越多。一旦評分達(dá)到預(yù)設(shè)的評分閾值，就認(rèn)為根據(jù)該配件位置得到的配件圖中包含配件，否則即為偽配件圖。

步驟s4，利用深度學(xué)習(xí)模型的配件分類層，得到篩選出的配件位置對應(yīng)的配件類別。

本發(fā)明實施例提供的配件識別方法，結(jié)合配件檢測和配件識別兩個階段的模型訓(xùn)練為一個模型的訓(xùn)練與優(yōu)化，提高了配件識別的測試速度和精準(zhǔn)。

其中，步驟s4的實現(xiàn)方式有多種，本發(fā)明實施例提供了一種步驟s4的優(yōu)選實現(xiàn)方式，包括：利用深度模型的配件分類層，分別得到篩選出的配件位置對應(yīng)的至少一個配件類別，以及每個配件類別對應(yīng)的概率；利用softmax函數(shù)將各個配件位置對應(yīng)的所有配件類別的概率對應(yīng)到0至1之間，并讓各個配件位置對應(yīng)的所有配件類別的概率總和為1；針對每個配件位置，將概率最大的配件類別確定為配件位置的配件類別。

其中，述深度模型的訓(xùn)練步驟包括：輸入訓(xùn)練圖像，訓(xùn)練圖像預(yù)先標(biāo)注配件位置、每個配件位置對應(yīng)的配件類別；利用深度學(xué)習(xí)模型，識別訓(xùn)練圖像中的配件位置，根據(jù)識別的配件位置與預(yù)先標(biāo)注的配件位置的差異更新深度學(xué)習(xí)模型的參數(shù)；利用更新后的深度學(xué)習(xí)模型，識別訓(xùn)練圖像中的配件位置對應(yīng)的配件類別，根據(jù)識別的配件類別與預(yù)先標(biāo)注的配件類別的差異更新深度學(xué)習(xí)模型的參數(shù)；繼續(xù)訓(xùn)練深度學(xué)習(xí)模型，直至通過深度學(xué)習(xí)模型輸出的配件位置及配件位置對應(yīng)的配件類別達(dá)到要求。其中，根據(jù)識別的配件位置與預(yù)先標(biāo)注的配件位置的差異更新深度學(xué)習(xí)模型，能夠提高深度學(xué)習(xí)模型在配件位置的偵測上具有一定的能力；根據(jù)識別的配件類別與預(yù)先標(biāo)注的配件類別的差異更新深度學(xué)習(xí)模型模型的參數(shù)，能夠提高深度學(xué)習(xí)模型對配件的辨別度。隨后對深度學(xué)習(xí)模型的迭代更新，直至通過深度學(xué)習(xí)模型輸出的配件位置和配件類別與輸入的訓(xùn)練圖像的預(yù)先標(biāo)注配件位置、配件類別相同。

其中，深度學(xué)習(xí)模型包括：特征提取層、配件位置生成層、配件分類層；利用深度學(xué)習(xí)模型，識別訓(xùn)練圖像中的配件位置及配件位置對應(yīng)的配件類別，包括：利用特征提取層，提取訓(xùn)練圖像的特征，生成訓(xùn)練圖像對應(yīng)的特征圖；利用配件位置生成層，遍歷特征圖，生成所有可能的配件位置以及各個配件位置的評分，將各個配件位置的評分與預(yù)設(shè)的評分閾值比較，篩選出配件位置；利用深度學(xué)習(xí)模型的配件分類層，得到篩選出的配件位置對應(yīng)的配件類別。

在本發(fā)明實施例中，基于深度學(xué)習(xí)的配件識別方法采用fasterr-cnn的架構(gòu)實現(xiàn)。通過fasterr-cnn中的rpn(regionproposalnetwork)，即配件位置生成層，學(xué)習(xí)如何準(zhǔn)確地標(biāo)注配件的位置(即訓(xùn)練模型學(xué)習(xí)人標(biāo)注配件的方式來標(biāo)注測試圖像中配件的位置)，并利用配件分類層(classificationnetwork)來學(xué)習(xí)人如何標(biāo)注配件的類別，配件分類層利用softmax函數(shù)將每個配件類別的概率對應(yīng)到0至1之間并讓所有配件類別的概率總和相加為1。在配件識別中，通過配件類別的概率最大值來判斷識別的配件屬于何種類別,此架構(gòu)同時解決識別配件位置與配件分類的任務(wù)。另外，fasterr-cnn架構(gòu)采用全圖輸入，并通過vgg深度學(xué)習(xí)網(wǎng)絡(luò)來訓(xùn)練圖像特征的提取，以學(xué)習(xí)到高層次的特征表示，使得fasterr-cnn的rpn層與配件分類層可以從高層次的特征中更容易區(qū)別出配件與非配件的物件與相對應(yīng)的配件類別。

本發(fā)明為許多應(yīng)用場景的基礎(chǔ)與重要的技術(shù)。如在作同款式配件的搜尋中，使用者可以通過上傳影像，并針對配件準(zhǔn)確的搜尋與分類?？稍诰W(wǎng)絡(luò)上對于店家公開的配件作匹配，找尋最相似或便宜的同款式配件?；蛘哚槍r尚穿搭的建議，也需要能夠準(zhǔn)確偵測/識別使用者身上的配件，進(jìn)而分析配件的特性與款式，并通過專業(yè)的時尚穿搭分析給出穿搭的建議。

本發(fā)明實施例提供的配件識別方法中，配件檢測與識別共享一個相同的解答模型以達(dá)成此架構(gòu)可以同時解決此兩個任務(wù)的需求，在執(zhí)行時間上比傳統(tǒng)的架構(gòu)來的有效率，得到的結(jié)果更準(zhǔn)確；另外，使用深度學(xué)習(xí)模型可以自動學(xué)習(xí)高層次的特征表現(xiàn)，這樣的特征表現(xiàn)對于檢測與分類相較于一般人工設(shè)計的低階特征表現(xiàn)的濾波器在配件識別分類中具有更佳的效能表現(xiàn)，因此學(xué)習(xí)到的特征具高階可辨識性,進(jìn)而提升配件裁切的正確性與配件類別的辨識度。

基于與上述配件識別方法相同的構(gòu)思，本發(fā)明實施例提供了一種配件識別裝置，如圖2所示，包括：圖像輸入模塊101，用于輸入測試圖像；特征提取模塊102，用于利用預(yù)先訓(xùn)練得到的深度學(xué)習(xí)模型的特征提取層，提取測試圖像的特征，生成測試圖像對應(yīng)的特征圖；配件位置生成模塊103，用于利用深度學(xué)習(xí)模型的配件位置生成層，遍歷特征圖，生成所有可能的配件位置以及各個配件位置的評分，將各個配件位置的評分與預(yù)設(shè)的評分閾值比較，篩選出配件位置；配件類別識別模塊104，用于利用深度學(xué)習(xí)模型的配件分類層，得到篩選出的配件位置對應(yīng)的配件類別。

本發(fā)明實施例提供的配件識別裝置，結(jié)合配件檢測和配件識別兩個階段的模型訓(xùn)練為一個模型的訓(xùn)練與優(yōu)化，提高了配件識別的測試速度和精準(zhǔn)。

其中，配件位置包含四個坐標(biāo)點，根據(jù)配件位置的四個坐標(biāo)點就可以得到裁切后的配件圖。在這些配件圖中存在一些偽配件圖，位配件圖中包含的是測試圖像的背景，不包含配件。因此，為了濾除眾多屬于背景的偽配件圖，深度學(xué)習(xí)訓(xùn)練模型會給所有的配件圖進(jìn)行打分，獲得的評分越高，表明根據(jù)配件位置裁切后的配件圖中包含的背景信息越少、配件信息越多。一旦評分達(dá)到預(yù)設(shè)的評分閾值，就認(rèn)為根據(jù)該配件位置得到的配件圖中包含配件，否則即為偽配件圖。

其中，配件類別識別模塊104具體用于：利用深度模型的配件分類層，分別得到篩選出的配件位置對應(yīng)的至少一個配件類別，以及每個配件類別對應(yīng)的概率；利用softmax函數(shù)將各個配件位置對應(yīng)的所有配件類別的概率對應(yīng)到0至1之間，并讓各個配件位置對應(yīng)的所有配件類別的概率總和為1；針對每個配件位置，將概率最大的配件類別確定為配件位置的配件類別。

其中，深度模型的訓(xùn)練步驟包括：輸入訓(xùn)練圖像，訓(xùn)練圖像預(yù)先標(biāo)注配件位置、每個配件位置對應(yīng)的配件類別；利用深度學(xué)習(xí)模型，識別訓(xùn)練圖像中的配件位置及配件位置對應(yīng)的配件類別；根據(jù)識別的配件位置與預(yù)先標(biāo)注的配件位置的差異更新深度學(xué)習(xí)模型使模型的參數(shù)；根據(jù)識別的配件類別與預(yù)先標(biāo)注的配件類別的差異更新深度學(xué)習(xí)模型模型的參數(shù)；繼續(xù)訓(xùn)練深度學(xué)習(xí)模型，直至通過深度學(xué)習(xí)模型輸出的配件位置及配件位置對應(yīng)的配件類別達(dá)到要求。其中，根據(jù)識別的配件位置與預(yù)先標(biāo)注的配件位置的差異更新深度學(xué)習(xí)模型，能夠提高深度學(xué)習(xí)模型在配件位置的偵測上具有一定的能力；根據(jù)識別的配件類別與預(yù)先標(biāo)注的配件類別的差異更新深度學(xué)習(xí)模型模型的參數(shù)，能夠提高深度學(xué)習(xí)模型對配件的辨別度。隨后對深度學(xué)習(xí)模型的迭代更新，直至通過深度學(xué)習(xí)模型輸出的配件位置和配件類別與輸入的訓(xùn)練圖像的預(yù)先標(biāo)注配件位置、配件類別相同。

其中，深度模型包括：特征提取層、配件位置生成層、配件分類層；利用深度學(xué)習(xí)模型，識別訓(xùn)練圖像中的配件位置及配件位置對應(yīng)的配件類別，包括：利用特征提取層，提取訓(xùn)練圖像的特征，生成訓(xùn)練圖像對應(yīng)的特征圖；利用配件位置生成層，遍歷特征圖，生成所有可能的配件位置以及各個配件位置的評分，將各個配件位置的評分與預(yù)設(shè)的評分閾值比較，篩選出配件位置；利用深度學(xué)習(xí)模型的配件分類層，得到篩選出的配件位置對應(yīng)的配件類別。

通過本發(fā)明實施例提供的配件識別裝置，配件檢測與識別共享一個相同的解答模型以達(dá)成此架構(gòu)可以同時解決此兩個任務(wù)的需求，在執(zhí)行時間上比傳統(tǒng)的架構(gòu)來的有效率，得到的結(jié)果更準(zhǔn)確；另外，使用深度學(xué)習(xí)模型可以自動學(xué)習(xí)高層次的特征表現(xiàn)，這樣的特征表現(xiàn)對于檢測與分類相較于一般人工設(shè)計的低階特征表現(xiàn)的濾波器在配件識別分類中具有更佳的效能表現(xiàn)，因此學(xué)習(xí)到的特征具高階可辨識性,進(jìn)而提升配件裁切的正確性與配件類別的辨識度。

最后應(yīng)說明的是：以上各實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述各實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求和說明書的范圍當(dāng)中。