本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)，尤其是一種物體識(shí)別方法和裝置、數(shù)據(jù)處理裝置和終端設(shè)備。

背景技術(shù)：

服飾識(shí)別是圖像檢索領(lǐng)域最重要也是最有挑戰(zhàn)性的問(wèn)題之一。在當(dāng)今互聯(lián)網(wǎng)上，80％的用戶搜索與網(wǎng)上購(gòu)物內(nèi)容與服飾相關(guān)。因此，服飾識(shí)別是解決同款檢索、風(fēng)格識(shí)別以及穿搭推薦需求中的關(guān)鍵問(wèn)題。然而，服飾識(shí)別具有很高的難度，一是由于服飾的形變非常大，衣服本身是柔性很大的物體，用戶的姿勢(shì)不同時(shí)，其身上的服飾將呈現(xiàn)不同的狀態(tài)；二是在不同條件、角度下拍出的服飾圖片差距也非常大，例如模特的擺拍照和消費(fèi)者的自拍照差別就很明顯。

現(xiàn)有技術(shù)中，通過(guò)將服飾檢測(cè)模塊、屬性預(yù)測(cè)模塊等不同的技術(shù)模塊級(jí)聯(lián)起來(lái)，在全圖或者標(biāo)注框?qū)用鎸W(xué)習(xí)服飾特征，來(lái)進(jìn)行服飾識(shí)別。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種物體識(shí)別技術(shù)方案。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供的一種物體識(shí)別方法，包括：

接收?qǐng)D像；

對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲得所述物體的多個(gè)關(guān)鍵點(diǎn)，并獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息，所述位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)；

從圖像中提取所述物體的全局特征，并分別從各關(guān)鍵點(diǎn)的位置處提取所述物體的局部特征；

結(jié)合所述物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別，獲得所述物體的識(shí)別結(jié)果。

根據(jù)本發(fā)明實(shí)施例的另一個(gè)方面，提供的一種物體識(shí)別裝置，包括：

定位子網(wǎng)絡(luò)單元，用于接收?qǐng)D像；以及對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲得所述物體的多個(gè)關(guān)鍵點(diǎn)，并獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息，所述位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)；

全局特征提取子網(wǎng)絡(luò)單元，用于從圖像中提取所述物體的全局特征；

局部特征提取子網(wǎng)絡(luò)單元，用于分別從各關(guān)鍵點(diǎn)的位置處提取所述物體的局部特征；

識(shí)別子網(wǎng)絡(luò)單元，用于結(jié)合所述物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別，獲得所述物體的識(shí)別結(jié)果。

根據(jù)本發(fā)明實(shí)施例的又一個(gè)方面，提供的一種數(shù)據(jù)處理裝置，包括：

上述任一實(shí)施例所述的物體識(shí)別裝置；和

檢索單元，用于根據(jù)物體的識(shí)別結(jié)果，檢索與所述物體的款式相同的物體相關(guān)信息。

根據(jù)本發(fā)明實(shí)施例的再一個(gè)方面，提供的一種終端設(shè)備，設(shè)置有上述任一實(shí)施例所述的數(shù)據(jù)處理裝置。

根據(jù)本發(fā)明實(shí)施例的再一個(gè)方面，提供的一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)可讀取的指令，所述指令包括：接收?qǐng)D像的指令；對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲得所述物體的多個(gè)關(guān)鍵點(diǎn)，并獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息的指令，所述位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)；從圖像中提取所述物體的全局特征，并分別從各關(guān)鍵點(diǎn)的位置處提取所述物體的局部特征的指令；結(jié)合所述物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別，獲得所述物體的識(shí)別結(jié)果的指令。

根據(jù)本發(fā)明實(shí)施例的再一個(gè)方面，提供一種計(jì)算機(jī)設(shè)備，包括：

存儲(chǔ)器，存儲(chǔ)可執(zhí)行指令；

一個(gè)或多個(gè)處理器，與存儲(chǔ)器通信以執(zhí)行可執(zhí)行指令從而完成本發(fā)明上述任一實(shí)施例的物體識(shí)別方法對(duì)應(yīng)的操作。

基于本發(fā)明上述實(shí)施例提供的物體識(shí)別方法和裝置、數(shù)據(jù)處理裝置和終端設(shè)備，對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息，包括位置坐標(biāo)和可見(jiàn)性狀態(tài)；從圖像中提取物體的全局特征，并分別從各關(guān)鍵點(diǎn)的位置處提取物體的局部特征；結(jié)合物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別。本發(fā)明實(shí)施例從物體關(guān)鍵點(diǎn)的角度，有針對(duì)性地提取局部特征，再結(jié)合物體的全局特征，由于綜合考慮了物體的各種特征信息，對(duì)于物體的細(xì)粒度特征(也即反應(yīng)細(xì)節(jié)屬性的特征)有較強(qiáng)的分辨能力，使物體的識(shí)別、搜索的結(jié)果更準(zhǔn)確。本發(fā)明實(shí)施例可以適用于各種物體識(shí)別，尤其在物體為服飾時(shí)，相對(duì)于現(xiàn)有技術(shù)識(shí)別準(zhǔn)確性的提升效果更明顯。

下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

附圖說(shuō)明

構(gòu)成說(shuō)明書(shū)的一部分的附圖描述了本發(fā)明的實(shí)施例，并且連同描述一起用于解釋本發(fā)明的原理。

參照附圖，根據(jù)下面的詳細(xì)描述，可以更加清楚地理解本發(fā)明，其中：

圖1為本發(fā)明物體識(shí)別方法一個(gè)實(shí)施例的流程圖。

圖2為本發(fā)明物體識(shí)別方法另一個(gè)實(shí)施例的流程圖。

圖3為本發(fā)明實(shí)施例中對(duì)物體特征提取模型進(jìn)行訓(xùn)練的一個(gè)實(shí)施例的流程圖。

圖4為本發(fā)明物體識(shí)別裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

圖5為本發(fā)明物體識(shí)別裝置另一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

圖6為本發(fā)明數(shù)據(jù)處理裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

具體實(shí)施方式

現(xiàn)在將參照附圖來(lái)詳細(xì)描述本發(fā)明的各種示例性實(shí)施例。應(yīng)注意到：除非另外具體說(shuō)明，否則在這些實(shí)施例中闡述的部件和步驟的相對(duì)布置、數(shù)字表達(dá)式和數(shù)值不限制本發(fā)明的范圍。

同時(shí)，應(yīng)當(dāng)明白，為了便于描述，附圖中所示出的各個(gè)部分的尺寸并不是按照實(shí)際的比例關(guān)系繪制的。

以下對(duì)至少一個(gè)示例性實(shí)施例的描述實(shí)際上僅僅是說(shuō)明性的，決不作為對(duì)本發(fā)明及其應(yīng)用或使用的任何限制。

對(duì)于相關(guān)領(lǐng)域普通技術(shù)人員已知的技術(shù)、方法和設(shè)備可能不作詳細(xì)討論，但在適當(dāng)情況下，所述技術(shù)、方法和設(shè)備應(yīng)當(dāng)被視為說(shuō)明書(shū)的一部分。

應(yīng)注意到：相似的標(biāo)號(hào)和字母在下面的附圖中表示類(lèi)似項(xiàng)，因此，一旦某一項(xiàng)在一個(gè)附圖中被定義，則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步討論。

本發(fā)明實(shí)施例可以應(yīng)用于計(jì)算機(jī)系統(tǒng)/服務(wù)器，其可與眾多其它通用或?qū)Ｓ糜?jì)算系統(tǒng)環(huán)境或配置一起操作。適于與計(jì)算機(jī)系統(tǒng)/服務(wù)器一起使用的眾所周知的計(jì)算系統(tǒng)、環(huán)境和/或配置的例子包括但不限于：個(gè)人計(jì)算機(jī)系統(tǒng)、服務(wù)器計(jì)算機(jī)系統(tǒng)、瘦客戶機(jī)、厚客戶機(jī)、手持或膝上設(shè)備、基于微處理器的系統(tǒng)、機(jī)頂盒、可編程消費(fèi)電子產(chǎn)品、網(wǎng)絡(luò)個(gè)人電腦、小型計(jì)算機(jī)系統(tǒng)、大型計(jì)算機(jī)系統(tǒng)和包括上述任何系統(tǒng)的分布式云計(jì)算技術(shù)環(huán)境，等等。

計(jì)算機(jī)系統(tǒng)/服務(wù)器可以在由計(jì)算機(jī)系統(tǒng)執(zhí)行的計(jì)算機(jī)系統(tǒng)可執(zhí)行指令(諸如程序模塊)的一般語(yǔ)境下描述。通常，程序模塊可以包括例程、程序、目標(biāo)程序、組件、邏輯、數(shù)據(jù)結(jié)構(gòu)等等，它們執(zhí)行特定的任務(wù)或者實(shí)現(xiàn)特定的抽象數(shù)據(jù)類(lèi)型。計(jì)算機(jī)系統(tǒng)/服務(wù)器可以在分布式云計(jì)算環(huán)境中實(shí)施，分布式云計(jì)算環(huán)境中，任務(wù)是由通過(guò)通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備執(zhí)行的。在分布式云計(jì)算環(huán)境中，程序模塊可以位于包括存儲(chǔ)設(shè)備的本地或遠(yuǎn)程計(jì)算系統(tǒng)存儲(chǔ)介質(zhì)上。

圖1為本發(fā)明物體識(shí)別方法一個(gè)實(shí)施例的流程圖。如圖1所示，該實(shí)施例的物體識(shí)別方法包括：

102，接收?qǐng)D像。

104，對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲得物體的多個(gè)關(guān)鍵點(diǎn)，并獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息。

其中的位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)，可見(jiàn)性狀態(tài)例如可以是可見(jiàn)、遮擋或截?cái)嗟取?/p>

本發(fā)明實(shí)施例中，物體的關(guān)鍵點(diǎn)為物體所屬物體類(lèi)別中多數(shù)物體具有的、在功能和結(jié)構(gòu)上可用于區(qū)分物體類(lèi)別中不同款式物體的局部位置。

本發(fā)明各實(shí)施例的一個(gè)具體示例中，物體類(lèi)別具體可以為服飾，或其他形狀易變、或不同擺放方式和拍攝視角變化會(huì)影響識(shí)別效果的物體，例如棉被、紙畫(huà)、油畫(huà)、充氣玩具等。則服飾的關(guān)鍵點(diǎn)可以包括領(lǐng)口、袖口和下擺等。

106，從圖像中提取物體的全局特征，并分別從各關(guān)鍵點(diǎn)的位置處提取物體的局部特征。

108，結(jié)合物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別，獲得物體的識(shí)別結(jié)果，例如可以包括：物體的分類(lèi)和細(xì)節(jié)屬性。

其中，分類(lèi)例如上裝、和服、西裝、衛(wèi)衣、毛衣等，細(xì)節(jié)屬性例如各種花式、紋理、領(lǐng)口類(lèi)型、袖口類(lèi)型等，細(xì)節(jié)屬性的特征例如荷花邊袖口、V型領(lǐng)等。

然而，在實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)明人發(fā)現(xiàn)，上述現(xiàn)有技術(shù)至少存在以下問(wèn)題：由于服飾本身存在很多的形變，且用戶的姿態(tài)和拍攝視角變化較大，服飾識(shí)別效果較差；并且，由服飾檢測(cè)模塊、屬性預(yù)測(cè)模塊等技術(shù)模塊級(jí)聯(lián)得到的級(jí)聯(lián)系統(tǒng)中，無(wú)法聯(lián)合調(diào)試各個(gè)模板的性能，且預(yù)測(cè)誤差會(huì)被逐級(jí)累積，限制了服飾識(shí)別的準(zhǔn)確性。

基于本發(fā)明上述實(shí)施例提供的物體識(shí)別方法，對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息，包括位置坐標(biāo)和可見(jiàn)性狀態(tài)；從圖像中提取物體的全局特征，并分別從各關(guān)鍵點(diǎn)的位置處提取物體的局部特征；結(jié)合物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別。本發(fā)明實(shí)施例從物體關(guān)鍵點(diǎn)的角度，有針對(duì)性地提取局部特征，再結(jié)合物體的全局特征，由于綜合考慮了物體的各種特征信息，對(duì)于物體的細(xì)粒度特征有較強(qiáng)的分辨能力，使物體的識(shí)別、搜索的結(jié)果更準(zhǔn)確。本發(fā)明實(shí)施例可以適用于各種物體識(shí)別，尤其在物體為服飾，或其他形狀易變、或不同擺放方式和拍攝視角變化會(huì)影響識(shí)別效果的物體，例如棉被、紙畫(huà)、油畫(huà)、充氣玩具等時(shí)，相對(duì)于現(xiàn)有技術(shù)識(shí)別準(zhǔn)確性的提升效果更明顯。

圖2為本發(fā)明物體識(shí)別方法另一個(gè)實(shí)施例的流程圖。如圖2所示，該實(shí)施例的物體識(shí)別方法包括：

202，接收?qǐng)D像。

204，對(duì)圖像中的物體進(jìn)行定位。

206，對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲得物體的多個(gè)關(guān)鍵點(diǎn)，并獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息。

其中的位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)，可見(jiàn)性狀態(tài)例如可以是可見(jiàn)、遮擋或截?cái)嗟取?/p>

本發(fā)明實(shí)施例中，物體的關(guān)鍵點(diǎn)為物體所屬物體類(lèi)別中多數(shù)物體具有的、用于區(qū)分物體類(lèi)別中不同款式物體的局部位置。

本發(fā)明各實(shí)施例的一個(gè)具體示例中，物體類(lèi)別具體為服飾。則服飾的關(guān)鍵點(diǎn)可以包括領(lǐng)口、袖口和下擺等。

208，從圖像中提取物體的全局特征，并分別從各關(guān)鍵點(diǎn)的位置處提取物體的局部特征。

210，結(jié)合物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別，獲得物體的識(shí)別結(jié)果，例如可以包括：物體的分類(lèi)和細(xì)節(jié)屬性。

212，根據(jù)物體的識(shí)別結(jié)果，檢索與物體的款式相同的物體相關(guān)信息。

例如，在本發(fā)明實(shí)施例的一個(gè)應(yīng)用中，根據(jù)一個(gè)物體的圖像(圖片)，從網(wǎng)絡(luò)檢索包含相應(yīng)圖片的網(wǎng)頁(yè)信息，例如電商網(wǎng)站上包括該物體的圖片的價(jià)格、廠家等各種信息。

本發(fā)明各實(shí)施例的物體識(shí)別方法，具體可以以卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為物體特征提取模型來(lái)執(zhí)行。則在本發(fā)明物體識(shí)別方法的又一個(gè)實(shí)施例中，在上述各實(shí)施例的流程之前，還可以包括如下操作：預(yù)設(shè)初始物體特征提取模型，并對(duì)初始物體特征提取模型進(jìn)行訓(xùn)練，獲得最終的物體特征提取模型。

示例性地，對(duì)初始物體特征提取模型進(jìn)行訓(xùn)練可以通過(guò)如下方式實(shí)現(xiàn)：

針對(duì)包括物體的圖像執(zhí)行圖1至圖2所述任一實(shí)施例的流程，并基于物體的識(shí)別結(jié)果和物體的標(biāo)準(zhǔn)識(shí)別結(jié)果信息對(duì)初始物體特征提取模型進(jìn)行訓(xùn)練；以及

分別針對(duì)包括物體的圖像、包括與物體的款式相同的同款物體的圖像、以及包括與物體的款式不同的非同款物體的圖像，執(zhí)行圖1至圖2所述任一實(shí)施例的流程，并根據(jù)物體的識(shí)別結(jié)果、同款物體的識(shí)別結(jié)果與非同款物體的識(shí)別結(jié)果，比較物體與上述同款物體是否為同款物體、以及物體與上述非同款物體是否為同款物體，輸出比較結(jié)果，該比較結(jié)果中包括物體是否為同款信息的三重態(tài)，另外還可以選擇性地包括關(guān)鍵點(diǎn)信息；基于該比較結(jié)果，對(duì)初始物體特征提取模型進(jìn)行訓(xùn)練。

在本發(fā)明各物體識(shí)別方法實(shí)施例中，對(duì)初始物體特征提取模型進(jìn)行訓(xùn)練，例如可以是，通過(guò)比較多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果與預(yù)設(shè)標(biāo)準(zhǔn)結(jié)果之間的關(guān)系，調(diào)整初始服飾特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)。

圖3為本發(fā)明實(shí)施例中對(duì)物體特征提取模型進(jìn)行訓(xùn)練的一個(gè)實(shí)施例的流程圖。如圖3所示，該實(shí)施例對(duì)物體特征提取模型進(jìn)行訓(xùn)練包括：

302，比較多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果與預(yù)設(shè)標(biāo)準(zhǔn)結(jié)果之間的關(guān)系。

304，分別比較多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果與預(yù)設(shè)標(biāo)準(zhǔn)結(jié)果之間的關(guān)系，統(tǒng)計(jì)多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果的準(zhǔn)確率。

306，比較統(tǒng)計(jì)的準(zhǔn)確率是否達(dá)到預(yù)設(shè)閾值。

若達(dá)到預(yù)設(shè)閾值，確認(rèn)物體特征提取模型為最終的物體特征提取模型，不執(zhí)行本實(shí)施例的后續(xù)流程。否則，否則，若未達(dá)到預(yù)設(shè)閾值，執(zhí)行操作308。

308，利用誤差反向傳播算法調(diào)整服飾特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)，并以調(diào)整CNN網(wǎng)絡(luò)參數(shù)后的物體特征提取模型作為初始物體特征提取模型，再次執(zhí)行對(duì)初始物體特征提取模型進(jìn)行訓(xùn)練的操作。

本發(fā)明實(shí)施例提出一個(gè)可以進(jìn)行端到端學(xué)習(xí)的深度學(xué)習(xí)物體特征提取模型，可以自適應(yīng)地同時(shí)定位物體關(guān)鍵點(diǎn)和預(yù)測(cè)服飾的分類(lèi)和細(xì)節(jié)屬性，可以聯(lián)合優(yōu)化物體特征提取模型中各個(gè)模塊的性能，并且能顯著提升整個(gè)物體特征提取模型在各個(gè)識(shí)別任務(wù)上的結(jié)果。

在本發(fā)明各物體識(shí)別方法實(shí)施例的一個(gè)具體示例中，作為物體特征提取模型的CNN包括多個(gè)子網(wǎng)絡(luò)，該多個(gè)子網(wǎng)絡(luò)包括定位子網(wǎng)絡(luò)、局部特征提取子網(wǎng)絡(luò)、全局特征提取子網(wǎng)絡(luò)和識(shí)別子網(wǎng)絡(luò)。其中，定位子網(wǎng)絡(luò)用于對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，局部特征提取子網(wǎng)絡(luò)用于提取物體的局部特征，全局特征提取子網(wǎng)絡(luò)用于提取物體的全局特征，識(shí)別子網(wǎng)絡(luò)用于進(jìn)行物體識(shí)別、以及同款物體和非同款物體比較。

則在上述操作306中，利用誤差反向傳播算法調(diào)整物體特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)具體可以是：采用每對(duì)初始物體特征提取模型進(jìn)行一次訓(xùn)練，更新多個(gè)子網(wǎng)絡(luò)中一個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的方式，輪流對(duì)多個(gè)子網(wǎng)絡(luò)的參數(shù)進(jìn)行更新。

進(jìn)一步地，在本發(fā)明物體識(shí)別方法的再一個(gè)實(shí)施例中，還可以預(yù)先在信息數(shù)據(jù)庫(kù)中設(shè)置物體的標(biāo)注信息，以便預(yù)設(shè)初始物體特征提取模型或?qū)Τ跏嘉矬w特征提取模型進(jìn)行訓(xùn)練。其中，物體的標(biāo)注信息包括物體的分類(lèi)、細(xì)節(jié)屬性、關(guān)鍵點(diǎn)和同一物體的不同拍攝版本信息；關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)信息包括關(guān)鍵點(diǎn)的名稱(chēng)和位置信息。

服飾分類(lèi)具有很高的難度：一是它的形變非常大，衣服本身是柔性很大的物體，人擺出千奇百怪的姿勢(shì)時(shí)同一件衣服的樣子會(huì)非常不同；二是在不同條件下拍出的衣服圖片差距也非常大，例如模特的擺拍照和消費(fèi)者的自拍照差別就很明顯；此外，衣服的設(shè)計(jì)中包含了大量的細(xì)節(jié)屬性，例如領(lǐng)型、版型、衣長(zhǎng)、裝飾等等，想要算法區(qū)分出它們難度很大，需要有足夠的訓(xùn)練數(shù)據(jù)做支撐。

本發(fā)明實(shí)施例預(yù)先對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行了大量收集和整理。例如，在搜索引擎和電商網(wǎng)站上搜索數(shù)據(jù)。在獲取圖片的同時(shí)，在電商網(wǎng)站和搜索引擎中搜索其文本信息甚至結(jié)構(gòu)化的文本信息，從中提取了服飾的分類(lèi)、細(xì)節(jié)屬性信息。同時(shí)，從電商網(wǎng)站也獲得了許多用戶上傳的圖片，獲取同一服飾的不同拍照版本信息；另外，在圖片標(biāo)注了服裝的關(guān)鍵點(diǎn)，使得物體特征提取模型可以學(xué)習(xí)服裝的姿態(tài)。從而構(gòu)建了一個(gè)具有非常豐富信息的服裝信息數(shù)據(jù)庫(kù)，同時(shí)具有服裝的細(xì)節(jié)屬性、服裝的關(guān)鍵點(diǎn)、同一件服裝的不同拍攝版本等多種標(biāo)注信息。

基于上述信息數(shù)據(jù)庫(kù)中的信息，用帶有成百上千的細(xì)節(jié)標(biāo)簽的圖片來(lái)訓(xùn)練物體特征提取模型，使其學(xué)到能夠區(qū)分分類(lèi)、細(xì)節(jié)屬性、關(guān)鍵點(diǎn)的特征；使用同一件服裝多個(gè)拍攝者提供的圖片作訓(xùn)練，增加物體特征提取模型對(duì)此的魯棒性；對(duì)服裝的姿態(tài)進(jìn)行估計(jì)，在若干關(guān)鍵點(diǎn)處提取局部特征，以抵消嚴(yán)重形變帶來(lái)的影響。

由此，盡管衣服的形態(tài)可能千變?nèi)f化，基于本發(fā)明實(shí)施例，可以對(duì)服飾在領(lǐng)口、袖口、下擺等一些特定區(qū)域進(jìn)行比較、識(shí)別，便可以有效識(shí)別一款服飾。

本領(lǐng)域普通技術(shù)人員可以理解：實(shí)現(xiàn)上述方法實(shí)施例的全部或部分步驟可以通過(guò)程序指令相關(guān)的硬件來(lái)完成，前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，執(zhí)行包括上述方法實(shí)施例的步驟；而前述的存儲(chǔ)介質(zhì)包括：ROM、RAM、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。

圖4為本發(fā)明物體識(shí)別裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。該實(shí)施例的物體識(shí)別裝置可用于實(shí)現(xiàn)本發(fā)明上述各實(shí)施例的物體識(shí)別方法。本發(fā)明各實(shí)施例的物體識(shí)別裝置具體可以示例性但不被限制地是由CNN構(gòu)成物體特征提取模型。如圖4所示，該實(shí)施例的物體識(shí)別裝置包括：定位子網(wǎng)絡(luò)單元，全局特征提取子網(wǎng)絡(luò)單元，局部特征提取子網(wǎng)絡(luò)單元和識(shí)別子網(wǎng)絡(luò)單元。其中：

定位子網(wǎng)絡(luò)單元，用于接收?qǐng)D像；以及對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲得物體的多個(gè)關(guān)鍵點(diǎn)，并獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息，位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)。

其中的位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)，可見(jiàn)性狀態(tài)例如可以是可見(jiàn)、遮擋或截?cái)嗟取?/p>

本發(fā)明實(shí)施例中，物體的關(guān)鍵點(diǎn)為物體所屬物體類(lèi)別中多數(shù)物體具有的、用于區(qū)分物體類(lèi)別中不同款式物體的局部位置。

本發(fā)明各實(shí)施例的一個(gè)具體示例中，物體類(lèi)別具體為服飾。則服飾的關(guān)鍵點(diǎn)可以包括領(lǐng)口、袖口和下擺等。

另外，可選地，定位子網(wǎng)絡(luò)單元還可用于在對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位之前，對(duì)圖像中的物體進(jìn)行定位。

全局特征提取子網(wǎng)絡(luò)單元，用于從圖像中提取物體的全局特征。

局部特征提取子網(wǎng)絡(luò)單元，用于分別從各關(guān)鍵點(diǎn)的位置處提取物體的局部特征。

識(shí)別子網(wǎng)絡(luò)單元，用于結(jié)合物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別，獲得物體的識(shí)別結(jié)果，例如可以包括：物體的分類(lèi)和細(xì)節(jié)屬性。

基于本發(fā)明上述實(shí)施例提供的物體識(shí)別裝置，對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息，包括位置坐標(biāo)和可見(jiàn)性狀態(tài)；從圖像中提取物體的全局特征，并分別從各關(guān)鍵點(diǎn)的位置處提取物體的局部特征；結(jié)合物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別。本發(fā)明實(shí)施例從物體關(guān)鍵點(diǎn)的角度，有針對(duì)性地提取局部特征，再結(jié)合物體的全局特征，由于綜合考慮了物體的各種特征信息，使物體的識(shí)別、搜索的結(jié)果更準(zhǔn)確。本發(fā)明實(shí)施例可以適用于各種物體識(shí)別，尤其在物體為服飾時(shí)，相對(duì)于現(xiàn)有技術(shù)識(shí)別準(zhǔn)確性的提升效果更明顯。

圖5為本發(fā)明物體識(shí)別裝置另一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。如圖5所示，與圖4所示的實(shí)施例相比，該實(shí)施例的物體識(shí)別裝置還包括網(wǎng)絡(luò)訓(xùn)練單元，用于存儲(chǔ)預(yù)設(shè)的初始物體特征提取模型，并對(duì)初始物體特征提取模型進(jìn)行訓(xùn)練，獲得最終的物體特征提取模型。

具體地，網(wǎng)絡(luò)訓(xùn)練單元用于：

針對(duì)包括物體的圖像開(kāi)始執(zhí)行接收?qǐng)D像的操作，并基于物體的識(shí)別結(jié)果和物體的標(biāo)準(zhǔn)識(shí)別結(jié)果信息對(duì)初始物體特征提取模型進(jìn)行訓(xùn)練；以及

分別針對(duì)包括物體的圖像、包括與物體的款式相同的同款物體的圖像、以及包括與物體的款式不同的非同款物體的圖像，開(kāi)始執(zhí)行接收?qǐng)D像的操作，并根據(jù)物體的識(shí)別結(jié)果、同款物體的識(shí)別結(jié)果與非同款物體的識(shí)別結(jié)果，比較物體與同款物體是否為同款物體、以及物體與非同款物體是否為同款物體，輸出比較結(jié)果，該比較結(jié)果中包括物體是否為同款信息的三重態(tài)，另外還可以選擇性地包括關(guān)鍵點(diǎn)信息；基于比較結(jié)果，對(duì)初始物體特征提取模型進(jìn)行訓(xùn)練。

在本發(fā)明物體識(shí)別裝置實(shí)施例的一個(gè)具體示例中，網(wǎng)絡(luò)訓(xùn)練單元對(duì)初始服飾特征提取模型進(jìn)行訓(xùn)練時(shí)，具體用于通過(guò)比較多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果與預(yù)設(shè)標(biāo)準(zhǔn)結(jié)果之間的關(guān)系，調(diào)整初始服飾特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)。

在本發(fā)明物體識(shí)別裝置實(shí)施例的另一個(gè)具體示例中，網(wǎng)絡(luò)訓(xùn)練單元調(diào)整初始物體特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)時(shí)，具體用于：

分別比較多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果與預(yù)設(shè)標(biāo)準(zhǔn)結(jié)果之間的關(guān)系，統(tǒng)計(jì)多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果的準(zhǔn)確率是否達(dá)到預(yù)設(shè)閾值；

若達(dá)到預(yù)設(shè)閾值，確認(rèn)物體特征提取模型為最終的物體特征提取模型；

否則，若未達(dá)到預(yù)設(shè)閾值，利用誤差反向傳播算法調(diào)整服飾特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)，并以調(diào)整CNN網(wǎng)絡(luò)參數(shù)后的物體特征提取模型作為初始物體特征提取模型，再次執(zhí)行對(duì)初始物體特征提取模型進(jìn)行訓(xùn)練的操作。

在本發(fā)明物體識(shí)別裝置實(shí)施例的又一個(gè)具體示例中，作為物體特征提取模型的CNN具體可以包括多個(gè)子網(wǎng)絡(luò)，多個(gè)子網(wǎng)絡(luò)包括定位子網(wǎng)絡(luò)、局部特征提取子網(wǎng)絡(luò)、全局特征提取子網(wǎng)絡(luò)和識(shí)別子網(wǎng)絡(luò)。其中，定位子網(wǎng)絡(luò)用于對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，局部特征提取子網(wǎng)絡(luò)用于提取物體的局部特征，全局特征提取子網(wǎng)絡(luò)用于提取物體的全局特征，識(shí)別子網(wǎng)絡(luò)用于進(jìn)行物體識(shí)別、以及同款物體和非同款物體比較。

相應(yīng)地，該實(shí)施例中，網(wǎng)絡(luò)訓(xùn)練單元利用誤差反向傳播算法調(diào)整物體特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)時(shí)，具體用于采用每對(duì)初始物體特征提取模型進(jìn)行一次訓(xùn)練，更新多個(gè)子網(wǎng)絡(luò)中一個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的方式，輪流對(duì)多個(gè)子網(wǎng)絡(luò)的參數(shù)進(jìn)行更新。

進(jìn)一步地，再參見(jiàn)圖5，在本發(fā)明物體識(shí)別裝置的又一個(gè)實(shí)施例中，還包括信息數(shù)據(jù)庫(kù)，用于存儲(chǔ)預(yù)先設(shè)置的物體的標(biāo)注信息，以便預(yù)設(shè)初始物體特征提取模型或?qū)Τ跏嘉矬w特征提取模型進(jìn)行訓(xùn)練。

其中，物體的標(biāo)注信息包括物體的分類(lèi)、細(xì)節(jié)屬性、關(guān)鍵點(diǎn)和同一物體的不同拍攝版本信息；關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)信息包括關(guān)鍵點(diǎn)的名稱(chēng)和位置信息。

圖6為本發(fā)明數(shù)據(jù)處理裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。如圖6所示，該實(shí)施例的數(shù)據(jù)處理裝置包括檢索單元和上述任一實(shí)施例的物體識(shí)別裝置。其中，檢索單元用于根據(jù)物體識(shí)別裝置輸出的物體的識(shí)別結(jié)果，檢索與該物體的款式相同的物體相關(guān)信息。

基于本發(fā)明上述實(shí)施例提供的數(shù)據(jù)處理裝置，設(shè)置有上述實(shí)施例的物體識(shí)別裝置，從物體關(guān)鍵點(diǎn)的角度，有針對(duì)性地提取局部特征，再結(jié)合物體的全局特征，由于綜合考慮了物體的各種特征信息，使物體的識(shí)別、搜索的結(jié)果更準(zhǔn)確。本發(fā)明實(shí)施例可以適用于各種物體識(shí)別，尤其在物體為服飾時(shí)，相對(duì)于現(xiàn)有技術(shù)識(shí)別準(zhǔn)確性的提升效果更明顯。

具體地，本發(fā)明實(shí)施例的數(shù)據(jù)處理裝置可以是任意具有數(shù)據(jù)處理功能的裝置，例如可以包括但不限于：進(jìn)階精簡(jiǎn)指令集機(jī)器(ARM)、中央處理單元(CPU)或圖形處理單元(GPU)等。

另外，本發(fā)明實(shí)施例還提供了一種終端裝置，例如可以是移動(dòng)終端、個(gè)人計(jì)算機(jī)(PC)、平板電腦、服務(wù)器等，該終端設(shè)備設(shè)置有本發(fā)明任一實(shí)施例的數(shù)據(jù)處理裝置。

基于本發(fā)明上述實(shí)施例提供的終端設(shè)備，設(shè)置有上述實(shí)施例的數(shù)據(jù)處理裝置，從物體關(guān)鍵點(diǎn)的角度，有針對(duì)性地提取局部特征，再結(jié)合物體的全局特征，由于綜合考慮了物體的各種特征信息，使物體的識(shí)別、搜索的結(jié)果更準(zhǔn)確。本發(fā)明實(shí)施例可以適用于各種物體識(shí)別，尤其在物體為服飾時(shí)，相對(duì)于現(xiàn)有技術(shù)識(shí)別準(zhǔn)確性的提升效果更明顯。

在一個(gè)具體示例中，用于實(shí)現(xiàn)本發(fā)明實(shí)施例的終端設(shè)備或服務(wù)器的計(jì)算機(jī)系統(tǒng)包括中央處理單元(CPU)，其可以根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(ROM)中的可執(zhí)行指令或者從存儲(chǔ)部分加載到隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)中的可執(zhí)行指令而執(zhí)行各種適當(dāng)?shù)膭?dòng)作和處理。中央處理單元可與只讀存儲(chǔ)器和/或隨機(jī)訪問(wèn)存儲(chǔ)器中通信以執(zhí)行可執(zhí)行指令從而完成本申請(qǐng)實(shí)施例提供的任一項(xiàng)物體識(shí)別方法對(duì)應(yīng)的操作，例如：接收?qǐng)D像；對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲得所述物體的多個(gè)關(guān)鍵點(diǎn)，并獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息，所述位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)；從圖像中提取所述物體的全局特征，并分別從各關(guān)鍵點(diǎn)的位置處提取所述物體的局部特征；結(jié)合所述物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別，獲得所述物體的識(shí)別結(jié)果。

此外，在RAM中，還可存儲(chǔ)有系統(tǒng)操作所需的各種程序和數(shù)據(jù)。CPU、ROM以及RAM通過(guò)總線彼此相連。輸入/輸出(I/O)接口也連接至總線。

以下部件連接至I/O接口：包括鍵盤(pán)、鼠標(biāo)等的輸入部分；包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚(yáng)聲器等的輸出部分；包括硬盤(pán)等的存儲(chǔ)部分；以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分。通信部分經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動(dòng)器也根據(jù)需要連接至I/O接口。可拆卸介質(zhì)，諸如磁盤(pán)、光盤(pán)、磁光盤(pán)、半導(dǎo)體存儲(chǔ)器等等，根據(jù)需要安裝在驅(qū)動(dòng)器上，以便于從其上讀出的計(jì)算機(jī)程序根據(jù)需要被安裝入存儲(chǔ)部分。

特別地，根據(jù)本公開(kāi)的實(shí)施例，上文參考流程圖描述的過(guò)程可以被實(shí)現(xiàn)為計(jì)算機(jī)軟件程序。例如，本公開(kāi)的實(shí)施例包括一種計(jì)算機(jī)程序產(chǎn)品，其包括有形地包含在機(jī)器可讀介質(zhì)上的計(jì)算機(jī)程序，計(jì)算機(jī)程序包含用于執(zhí)行流程圖所示的方法的程序代碼，所述程序代碼可包括對(duì)應(yīng)執(zhí)行本申請(qǐng)實(shí)施例提供的任一項(xiàng)物體識(shí)別方法步驟對(duì)應(yīng)的指令，例如，接收?qǐng)D像；對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲得所述物體的多個(gè)關(guān)鍵點(diǎn)，并獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息，所述位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)；從圖像中提取所述物體的全局特征，并分別從各關(guān)鍵點(diǎn)的位置處提取所述物體的局部特征；結(jié)合所述物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別，獲得所述物體的識(shí)別結(jié)果。在這樣的實(shí)施例中，該計(jì)算機(jī)程序可以通過(guò)通信部分從網(wǎng)絡(luò)上被下載和安裝，和/或從可拆卸介質(zhì)被安裝。在該計(jì)算機(jī)程序被中央處理單元(CPU)執(zhí)行時(shí)，執(zhí)行本申請(qǐng)的方法中限定的上述功能。

本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)可讀取的指令，所述指令包括：接收?qǐng)D像的指令；對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲得所述物體的多個(gè)關(guān)鍵點(diǎn)，并獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息，所述位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)；從圖像中提取所述物體的全局特征，并分別從各關(guān)鍵點(diǎn)的位置處提取所述物體的局部特征的指令；結(jié)合所述物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別，獲得所述物體的識(shí)別結(jié)果的指令。

另外，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，包括：

存儲(chǔ)器，存儲(chǔ)可執(zhí)行指令；

一個(gè)或多個(gè)處理器，與存儲(chǔ)器通信以執(zhí)行可執(zhí)行指令從而完成本發(fā)明上述任一實(shí)施例的物體識(shí)別方法對(duì)應(yīng)的操作。

本說(shuō)明書(shū)中各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其它實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同或相似的部分相互參見(jiàn)即可。對(duì)于系統(tǒng)實(shí)施例而言，由于其與方法實(shí)施例基本對(duì)應(yīng)，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。

可能以許多方式來(lái)實(shí)現(xiàn)本發(fā)明的方法和裝置、設(shè)備。例如，可通過(guò)軟件、硬件、固件或者軟件、硬件、固件的任何組合來(lái)實(shí)現(xiàn)本發(fā)明的方法和裝置、設(shè)備。用于所述方法的步驟的上述順序僅是為了進(jìn)行說(shuō)明，本發(fā)明的方法的步驟不限于以上具體描述的順序，除非以其它方式特別說(shuō)明。此外，在一些實(shí)施例中，還可將本發(fā)明實(shí)施為記錄在記錄介質(zhì)中的程序，這些程序包括用于實(shí)現(xiàn)根據(jù)本發(fā)明的方法的機(jī)器可讀指令。因而，本發(fā)明還覆蓋存儲(chǔ)用于執(zhí)行根據(jù)本發(fā)明的方法的程序的記錄介質(zhì)。

本發(fā)明實(shí)施例提供了以下技術(shù)方案：

1、一種物體識(shí)別方法，包括：

接收?qǐng)D像；

對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲得所述物體的多個(gè)關(guān)鍵點(diǎn)，并獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息，所述位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)；

從圖像中提取所述物體的全局特征，并分別從各關(guān)鍵點(diǎn)的位置處提取所述物體的局部特征；

結(jié)合所述物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別，獲得所述物體的識(shí)別結(jié)果。

2、根據(jù)1所述的方法，所述關(guān)鍵點(diǎn)為所述物體所屬物體類(lèi)別中多數(shù)物體具有的、用于區(qū)分所述物體類(lèi)別中不同款式物體的局部位置。

3、根據(jù)1或2所述的方法，所述物體類(lèi)別具體為服飾。

4、根據(jù)1至3任意一項(xiàng)所述的方法，所述關(guān)鍵點(diǎn)包括以下任意一項(xiàng)或多項(xiàng)：領(lǐng)口、袖口和下擺；

所述可見(jiàn)性狀態(tài)包括可見(jiàn)、遮擋或截?cái)唷?/p>

5、根據(jù)1至4任意一項(xiàng)所述的方法，所述物體的識(shí)別結(jié)果包括：所述物體的分類(lèi)和細(xì)節(jié)屬性。

6、根據(jù)1至5任意一項(xiàng)所述的方法，所述對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位之前，還包括：

對(duì)圖像中的物體進(jìn)行定位。

7、根據(jù)1至6任意一項(xiàng)所述的方法，還包括：

根據(jù)所述物體的識(shí)別結(jié)果，檢索與所述物體的款式相同的物體相關(guān)信息。

8、根據(jù)1至7任意一項(xiàng)所述的方法，具體以卷積神經(jīng)網(wǎng)絡(luò)CNN作為物體特征提取模型，開(kāi)始執(zhí)行所述接收?qǐng)D像的操作。

9、根據(jù)1至8任意一項(xiàng)所述的方法，還包括：

預(yù)設(shè)初始物體特征提取模型，并對(duì)所述初始物體特征提取模型進(jìn)行訓(xùn)練，獲得最終的物體特征提取模型。

10、根據(jù)9所述的方法，對(duì)所述初始物體特征提取模型進(jìn)行訓(xùn)練包括：

針對(duì)包括所述物體的圖像開(kāi)始執(zhí)行所述接收?qǐng)D像的操作，并基于所述物體的識(shí)別結(jié)果和所述物體的標(biāo)準(zhǔn)識(shí)別結(jié)果信息對(duì)所述初始物體特征提取模型進(jìn)行訓(xùn)練；以及

分別針對(duì)包括所述物體的圖像、包括與所述物體的款式相同的同款物體的圖像、以及包括與所述物體的款式不同的非同款物體的圖像，開(kāi)始執(zhí)行所述接收?qǐng)D像的操作，并根據(jù)所述物體的識(shí)別結(jié)果、所述同款物體的識(shí)別結(jié)果與所述非同款物體的識(shí)別結(jié)果，比較所述物體與所述同款物體是否為同款物體、以及所述物體與所述非同款物體是否為同款物體，輸出比較結(jié)果；基于所述比較結(jié)果，對(duì)所述初始物體特征提取模型進(jìn)行訓(xùn)練。

11、根據(jù)10所述的方法，所述比較結(jié)果包括所述三重態(tài)，所述三重態(tài)包括是否同款信息。

12、根據(jù)9至11任意一項(xiàng)所述的方法，對(duì)所述初始服飾特征提取模型進(jìn)行訓(xùn)練包括：

通過(guò)比較多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果與預(yù)設(shè)標(biāo)準(zhǔn)結(jié)果之間的關(guān)系，調(diào)整所述初始服飾特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)。

13、根據(jù)12所述的方法，調(diào)整所述初始物體特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)包括：

分別比較多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果與預(yù)設(shè)標(biāo)準(zhǔn)結(jié)果之間的關(guān)系，統(tǒng)計(jì)所述多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果的準(zhǔn)確率是否達(dá)到預(yù)設(shè)閾值；

若達(dá)到預(yù)設(shè)閾值，確認(rèn)所述物體特征提取模型為最終的物體特征提取模型；

否則，若未達(dá)到預(yù)設(shè)閾值，利用誤差反向傳播算法調(diào)整所述服飾特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)，并以調(diào)整CNN網(wǎng)絡(luò)參數(shù)后的物體特征提取模型作為初始物體特征提取模型，再次執(zhí)行對(duì)所述初始物體特征提取模型進(jìn)行訓(xùn)練的操作。

14、根據(jù)13所述的方法，作為物體特征提取模型的CNN包括多個(gè)子網(wǎng)絡(luò)，所述多個(gè)子網(wǎng)絡(luò)包括定位子網(wǎng)絡(luò)、局部特征提取子網(wǎng)絡(luò)、全局特征提取子網(wǎng)絡(luò)和識(shí)別子網(wǎng)絡(luò)；其中，所述定位子網(wǎng)絡(luò)用于對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，所述局部特征提取子網(wǎng)絡(luò)用于提取物體的局部特征，所述全局特征提取子網(wǎng)絡(luò)用于提取物體的全局特征，所述識(shí)別子網(wǎng)絡(luò)用于進(jìn)行物體識(shí)別、以及同款物體和非同款物體比較；

利用誤差反向傳播算法調(diào)整所述物體特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)包括：

采用每對(duì)所述初始物體特征提取模型進(jìn)行一次訓(xùn)練，更新所述多個(gè)子網(wǎng)絡(luò)中一個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的方式，輪流對(duì)所述多個(gè)子網(wǎng)絡(luò)的參數(shù)進(jìn)行更新。

15、根據(jù)9至14任意一項(xiàng)所述的方法，還包括：

預(yù)先在信息數(shù)據(jù)庫(kù)中設(shè)置物體的標(biāo)注信息，以便預(yù)設(shè)初始物體特征提取模型或?qū)Τ跏嘉矬w特征提取模型進(jìn)行訓(xùn)練；

其中，所述物體的標(biāo)注信息包括以下任意一項(xiàng)或多項(xiàng)：物體的分類(lèi)、細(xì)節(jié)屬性、關(guān)鍵點(diǎn)和同一物體的不同拍攝版本信息；所述關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)信息包括關(guān)鍵點(diǎn)的名稱(chēng)和位置信息。

16、一種物體識(shí)別裝置，包括：

定位子網(wǎng)絡(luò)單元，用于接收?qǐng)D像；以及對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，獲得所述物體的多個(gè)關(guān)鍵點(diǎn)，并獲取多個(gè)關(guān)鍵點(diǎn)中各關(guān)鍵點(diǎn)的位置信息，所述位置信息包括位置坐標(biāo)和可見(jiàn)性狀態(tài)；

全局特征提取子網(wǎng)絡(luò)單元，用于從圖像中提取所述物體的全局特征；

局部特征提取子網(wǎng)絡(luò)單元，用于分別從各關(guān)鍵點(diǎn)的位置處提取所述物體的局部特征；

識(shí)別子網(wǎng)絡(luò)單元，用于結(jié)合所述物體的全局特征與從各關(guān)鍵點(diǎn)的位置處提取的局部特征進(jìn)行物體識(shí)別，獲得所述物體的識(shí)別結(jié)果。

17、根據(jù)16所述的裝置，所述關(guān)鍵點(diǎn)為所述物體所屬物體類(lèi)別中多數(shù)物體具有的、用于區(qū)分所述物體類(lèi)別中不同款式物體的局部位置。

18、根據(jù)16或17所述的裝置，所述物體類(lèi)別具體為服飾。

19、根據(jù)16至18任意一項(xiàng)所述的裝置，所述關(guān)鍵點(diǎn)包括領(lǐng)口、袖口和下擺；

所述可見(jiàn)性狀態(tài)包括可見(jiàn)、遮擋或截?cái)唷?/p>

20、根據(jù)16至19任意一項(xiàng)所述的裝置，所述物體的識(shí)別結(jié)果包括：所述物體的分類(lèi)和細(xì)節(jié)屬性。

21、根據(jù)16至20任意一項(xiàng)所述的裝置，所述定位子網(wǎng)絡(luò)單元，還用于在所述對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位之前，對(duì)圖像中的物體進(jìn)行定位。

22、根據(jù)16至21任意一項(xiàng)所述的裝置，所述物體識(shí)別裝置具體為由卷積神經(jīng)網(wǎng)絡(luò)CNN構(gòu)成物體特征提取模型。

23、根據(jù)22所述的裝置，還包括：

網(wǎng)絡(luò)訓(xùn)練單元，用于存儲(chǔ)預(yù)設(shè)的初始物體特征提取模型，并對(duì)所述初始物體特征提取模型進(jìn)行訓(xùn)練，獲得最終的物體特征提取模型。

24、根據(jù)23所述的裝置，所述網(wǎng)絡(luò)訓(xùn)練單元，具體用于：

針對(duì)包括所述物體的圖像開(kāi)始執(zhí)行所述接收?qǐng)D像的操作，并基于所述物體的識(shí)別結(jié)果和所述物體的標(biāo)準(zhǔn)識(shí)別結(jié)果信息對(duì)所述初始物體特征提取模型進(jìn)行訓(xùn)練；以及

分別針對(duì)包括所述物體的圖像、包括與所述物體的款式相同的同款物體的圖像、以及包括與所述物體的款式不同的非同款物體的圖像，開(kāi)始執(zhí)行所述接收?qǐng)D像的操作，并根據(jù)所述物體的識(shí)別結(jié)果、所述同款物體的識(shí)別結(jié)果與所述非同款物體的識(shí)別結(jié)果，比較所述物體與所述同款物體是否為同款物體、以及所述物體與所述非同款物體是否為同款物體，輸出比較結(jié)果；基于所述比較結(jié)果，對(duì)所述初始物體特征提取模型進(jìn)行訓(xùn)練。

25、根據(jù)24所述的裝置，所述比較結(jié)果包括所述三重態(tài)，所述三重態(tài)包括是否同款信息。

26、根據(jù)25所述的裝置，所述網(wǎng)絡(luò)訓(xùn)練單元，對(duì)所述初始服飾特征提取模型進(jìn)行訓(xùn)練時(shí)，具體用于通過(guò)比較多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果與預(yù)設(shè)標(biāo)準(zhǔn)結(jié)果之間的關(guān)系，調(diào)整所述初始服飾特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)。

27、根據(jù)24至26任意一項(xiàng)所述的裝置，所述網(wǎng)絡(luò)訓(xùn)練單元，調(diào)整所述初始物體特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)時(shí)，具體用于：

分別比較多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果與預(yù)設(shè)標(biāo)準(zhǔn)結(jié)果之間的關(guān)系，統(tǒng)計(jì)所述多個(gè)預(yù)設(shè)圖像的識(shí)別結(jié)果和/或比較結(jié)果的準(zhǔn)確率是否達(dá)到預(yù)設(shè)閾值；

若達(dá)到預(yù)設(shè)閾值，確認(rèn)所述物體特征提取模型為最終的物體特征提取模型；

否則，若未達(dá)到預(yù)設(shè)閾值，利用誤差反向傳播算法調(diào)整所述服飾特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)，并以調(diào)整CNN網(wǎng)絡(luò)參數(shù)后的物體特征提取模型作為初始物體特征提取模型，再次執(zhí)行對(duì)所述初始物體特征提取模型進(jìn)行訓(xùn)練的操作。

28、根據(jù)27所述的裝置，作為物體特征提取模型的CNN包括多個(gè)子網(wǎng)絡(luò)，所述多個(gè)子網(wǎng)絡(luò)包括定位子網(wǎng)絡(luò)、局部特征提取子網(wǎng)絡(luò)、全局特征提取子網(wǎng)絡(luò)和識(shí)別子網(wǎng)絡(luò)；其中，所述定位子網(wǎng)絡(luò)用于對(duì)圖像中物體進(jìn)行關(guān)鍵點(diǎn)定位，所述局部特征提取子網(wǎng)絡(luò)用于提取物體的局部特征，所述全局特征提取子網(wǎng)絡(luò)用于提取物體的全局特征，所述識(shí)別子網(wǎng)絡(luò)用于進(jìn)行物體識(shí)別、以及同款物體和非同款物體比較；

所述網(wǎng)絡(luò)訓(xùn)練單元，利用誤差反向傳播算法調(diào)整所述物體特征提取模型中的CNN網(wǎng)絡(luò)參數(shù)時(shí)，具體用于采用每對(duì)所述初始物體特征提取模型進(jìn)行一次訓(xùn)練，更新所述多個(gè)子網(wǎng)絡(luò)中一個(gè)子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的方式，輪流對(duì)所述多個(gè)子網(wǎng)絡(luò)的參數(shù)進(jìn)行更新。

29、根據(jù)24至28任意一項(xiàng)所述的裝置，還包括：

信息數(shù)據(jù)庫(kù)，用于存儲(chǔ)預(yù)先設(shè)置的物體的標(biāo)注信息，以便預(yù)設(shè)初始物體特征提取模型或?qū)Τ跏嘉矬w特征提取模型進(jìn)行訓(xùn)練；

其中，所述物體的標(biāo)注信息包括物體的分類(lèi)、細(xì)節(jié)屬性、關(guān)鍵點(diǎn)和同一物體的不同拍攝版本信息；所述關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)信息包括關(guān)鍵點(diǎn)的名稱(chēng)和位置信息。

30、一種數(shù)據(jù)處理裝置，包括：

16至29任意一項(xiàng)所述的物體識(shí)別裝置；和

檢索單元，用于根據(jù)物體的識(shí)別結(jié)果，檢索與所述物體的款式相同的物體相關(guān)信息。

31、根據(jù)30所述的裝置，所述數(shù)據(jù)處理裝置包括進(jìn)階精簡(jiǎn)指令集機(jī)器ARM、中央處理單元CPU或圖形處理單元GPU。

32、一種終端設(shè)備，設(shè)置有30或31所述的數(shù)據(jù)處理裝置。

本發(fā)明的描述是為了示例和描述起見(jiàn)而給出的，而并不是無(wú)遺漏的或者將本發(fā)明限于所公開(kāi)的形式。很多修改和變化對(duì)于本領(lǐng)域的普通技術(shù)人員而言是顯然的。選擇和描述實(shí)施例是為了更好說(shuō)明本發(fā)明的原理和實(shí)際應(yīng)用，并且使本領(lǐng)域的普通技術(shù)人員能夠理解本發(fā)明從而設(shè)計(jì)適于特定用途的帶有各種修改的各種實(shí)施例。