本發(fā)明涉及數(shù)據(jù)檢索技術(shù)領(lǐng)域，特別是涉及一種視頻中同款商品的檢索方法和系統(tǒng)。

背景技術(shù)：

隨著互聯(lián)網(wǎng)的發(fā)展，電子商務(wù)網(wǎng)站與視頻網(wǎng)站不斷崛起，傳統(tǒng)的基于文本檢索技術(shù)已經(jīng)難以滿足人們的需求，圖片作為人們對(duì)周圍世界的感知媒介，以圖片為基本輸入，從海量數(shù)據(jù)庫(kù)中檢索所需的信息已具有了強(qiáng)大的研究?jī)r(jià)值。

人們希望通過(guò)圖片的方式在視頻中找到與圖片中的商品相同款的商品，但是由于視頻的視頻幀數(shù)目巨大，如果通過(guò)人工查找的方式，則很難查找到相同的商品，其中的工作量也巨大。

為此，相關(guān)技術(shù)中會(huì)采用傳統(tǒng)的圖像檢索算法來(lái)在視頻中查找同款商品，但是，該方法大多利用圖像的顏色、紋理、形狀、邊緣或者特征點(diǎn)特征進(jìn)行特征匹配。例如，尺度不變特征變換(scale-invariantfeaturetransform，sift)方法，但是這類檢索算法存在著特征點(diǎn)較多，特征存儲(chǔ)量較大的問(wèn)題，并且當(dāng)視頻中包含的同款商品的幀圖存在姿態(tài)、角度、對(duì)比度、光照等巨大變化時(shí)，該算法的識(shí)別準(zhǔn)確率將大大降低。

為此，相關(guān)技術(shù)還提出了利用深度特征進(jìn)行圖像檢索的方法，該方法相比于上述傳統(tǒng)檢索方法的準(zhǔn)確度有了一定的提高，但是由于待查找的視頻中同一個(gè)商品的大小、姿態(tài)、角度等變化很大，并且背景也比較復(fù)雜，從而造成該方法仍然不能從視頻中查找到待檢索的商品的同款商品，準(zhǔn)確度較低。

由此可見(jiàn)，相關(guān)技術(shù)中的圖像檢索方法尚無(wú)法實(shí)現(xiàn)從視頻中查找同款商品，查找的準(zhǔn)確度較低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種視頻中同款商品的檢索方法和系統(tǒng)，以解決相關(guān)技術(shù)中的圖像檢索方法無(wú)法實(shí)現(xiàn)從視頻中查找同款商品，查找的準(zhǔn)確度較低的問(wèn)題。

為了解決上述問(wèn)題，根據(jù)本發(fā)明的一個(gè)方面，本發(fā)明公開了一種視頻中同款商品的檢索方法，包括：

獲取待檢索圖像，所述待檢索圖像包含待檢索商品；

提取所述待檢索圖像中所述待檢索商品的第一分類特征和第一同款特征；

針對(duì)所述視頻的每一視頻幀包含的每一商品，獲取所述每一商品的第二分類特征和第二同款特征；

計(jì)算所述待檢索商品的第一分類特征和第一同款特征與所述每一商品的第二分類特征和第二同款特征之間的目標(biāo)相似度；

將所述目標(biāo)相似度大于預(yù)設(shè)閾值的商品所對(duì)應(yīng)的視頻幀確定為包含所述待檢索商品的同款商品的視頻幀；

其中，分類特征表示針對(duì)不同種類的商品進(jìn)行分類的特征，同款特征表示同一個(gè)商品在不同外觀特征下的相似特征。

可選地，所述計(jì)算所述待檢索商品的第一分類特征和第一同款特征與所述每一商品的第二分類特征和第二同款特征之間的目標(biāo)相似度，包括：

將所述第一分類特征和所述第一同款特征連接，得到第一分類同款特征；

將所述第二分類特征和所述第二同款特征連接，得到第二分類同款特征；

計(jì)算所述第一分類同款特征和所述第二分類同款特征的相似度，得到目標(biāo)相似度。

可選地，所述計(jì)算所述待檢索商品的第一分類特征和第一同款特征與所述每一商品的第二分類特征和第二同款特征之間的目標(biāo)相似度，包括：

計(jì)算所述待檢索商品的第一分類特征與所述每一商品的第二分類特征之間的第一相似度，以及計(jì)算所述待檢索商品的第一同款特征與所述每一商品的第二同款特征之間的第二相似度；

采用預(yù)先設(shè)置的權(quán)重參數(shù)對(duì)所述第一相似度和所述第二相似度作加權(quán)平均運(yùn)算，得到目標(biāo)相似度。

可選地，所述提取所述待檢索圖像中所述待檢索商品的第一分類特征和第一同款特征的步驟，包括：

將所述待檢索圖像輸入至預(yù)先經(jīng)過(guò)訓(xùn)練的分類模型和同款模型；

采用所述分類模型和所述同款模型分別對(duì)所述待檢索圖像進(jìn)行特征提取，得到所述第一分類特征和所述第一同款特征；

其中，所述分類模型為采用分類數(shù)據(jù)集訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)cnn模型；

所述同款模型為采用預(yù)先構(gòu)造的同款數(shù)據(jù)集訓(xùn)練得到的cnn模型；

其中，所述預(yù)先構(gòu)造的同款數(shù)據(jù)集包括多類圖像，每類圖像包含針對(duì)同一個(gè)商品的不同外觀特征的多個(gè)圖片。

可選地，所述針對(duì)所述視頻的每一視頻幀包含的每一商品，獲取所述每一商品的第二分類特征和第二同款特征的步驟，包括：

針對(duì)所述視頻的每一視頻幀包含的每一商品，從所述每一視頻幀中提取所述每一商品的第二分類特征和第二同款特征；或，

針對(duì)所述視頻的每一視頻幀包含的每一商品，從第一數(shù)據(jù)庫(kù)中獲取所述視頻的每一視頻幀包含的每一商品的第二分類特征和第二同款特征，其中，所述第一數(shù)據(jù)庫(kù)中存儲(chǔ)有預(yù)先從所述視頻的每一視頻幀中提取的每一商品的第二分類特征和第二同款特征。

可選地，所述獲取待檢索圖像，所述待檢索圖像包含待檢索商品之前，該方法還包括：

獲取所述視頻的每一視頻幀，并存儲(chǔ)至第二數(shù)據(jù)庫(kù)；

對(duì)所述第二數(shù)據(jù)庫(kù)中存儲(chǔ)的每一視頻幀，提取所述每一視頻幀所包含的每一商品的第二分類特征和第二同款特征，并存儲(chǔ)至所述第一數(shù)據(jù)庫(kù)。

根據(jù)本發(fā)明的另一方面，本發(fā)明還公開了一種視頻中同款商品的檢索系統(tǒng)，包括：

圖像獲取模塊，用于獲取待檢索圖像，所述待檢索圖像包含待檢索商品；

第一提取模塊，用于提取所述待檢索圖像中所述待檢索商品的第一分類特征和第一同款特征；

特征獲取模塊，用于針對(duì)所述視頻的每一視頻幀包含的每一商品，獲取所述每一商品的第二分類特征和第二同款特征；

計(jì)算模塊，用于計(jì)算所述待檢索商品的第一分類特征和第一同款特征與所述每一商品的第二分類特征和第二同款特征之間的目標(biāo)相似度；

確定模塊，用于將所述目標(biāo)相似度大于預(yù)設(shè)閾值的商品所對(duì)應(yīng)的視頻幀確定為包含所述待檢索商品的同款商品的視頻幀；

其中，分類特征表示針對(duì)不同種類的商品進(jìn)行分類的特征，同款特征表示同一個(gè)商品在不同外觀特征下的相似特征。

可選地，所述計(jì)算模塊包括：

第一連接子模塊，用于將所述第一分類特征和所述第一同款特征連接，得到第一分類同款特征；

第二接子模塊，用于將所述第二分類特征和所述第二同款特征連接，得到第二分類同款特征；

第一計(jì)算子模塊，用于計(jì)算所述第一分類同款特征和所述第二分類同款特征的相似度，得到目標(biāo)相似度。

可選地，所述計(jì)算模塊還包括：

第二計(jì)算子模塊，用于計(jì)算所述待檢索商品的第一分類特征與所述每一商品的第二分類特征之間的第一相似度；

第三計(jì)算子模塊，用于計(jì)算所述待檢索商品的第一同款特征與所述每一商品的第二同款特征之間的第二相似度；

第四計(jì)算子模塊，用于采用預(yù)先設(shè)置的權(quán)重參數(shù)對(duì)所述第一相似度和所述第二相似度作加權(quán)平均運(yùn)算，得到目標(biāo)相似度。

可選地，所述第一提取模塊包括：

輸入子模塊，用于將所述待檢索圖像輸入至預(yù)先經(jīng)過(guò)訓(xùn)練的分類模型和同款模型；

第一提取子模塊，用于采用所述分類模型和所述同款模型分別對(duì)所述待檢索圖像進(jìn)行特征提取，得到所述第一分類特征和所述第一同款特征；

其中，所述分類模型為采用分類數(shù)據(jù)集訓(xùn)練得到的cnn模型；

所述同款模型為采用預(yù)先構(gòu)造的同款數(shù)據(jù)集訓(xùn)練得到的cnn模型；

其中，所述預(yù)先構(gòu)造的同款數(shù)據(jù)集包括多類圖像，每類圖像包含針對(duì)同一個(gè)商品的不同外觀特征的多個(gè)圖片。

可選地，所述特征獲取模塊包括：

第二提取子模塊，用于針對(duì)所述視頻的每一視頻幀包含的每一商品，從所述每一視頻幀中提取所述每一商品的第二分類特征和第二同款特征；或，

獲取子模塊，用于針對(duì)所述視頻的每一視頻幀包含的每一商品，從第一數(shù)據(jù)庫(kù)中獲取所述視頻的每一視頻幀包含的每一商品的第二分類特征和第二同款特征，其中，所述第一數(shù)據(jù)庫(kù)中存儲(chǔ)有預(yù)先從所述視頻的每一視頻幀中提取的每一商品的第二分類特征和第二同款特征。

可選地，該系統(tǒng)還包括：

獲取模塊，用于獲取所述視頻的每一視頻幀，并存儲(chǔ)至第二數(shù)據(jù)庫(kù)；

第二提取模塊，用于對(duì)所述第二數(shù)據(jù)庫(kù)中存儲(chǔ)的每一視頻幀，提取所述每一視頻幀所包含的每一商品的第二分類特征和第二同款特征，并存儲(chǔ)至所述第一數(shù)據(jù)庫(kù)。

與現(xiàn)有技術(shù)相比，本發(fā)明包括以下優(yōu)點(diǎn)：

本發(fā)明通過(guò)獲取待檢索圖像中的待檢索商品的分類特征與同款特征以及視頻中每個(gè)視頻幀所包含的每個(gè)商品的分類特征和同款特征，并計(jì)算待檢索圖像中的待檢索商品的特征與視頻中每一商品的特征之間的目標(biāo)相似度，這里的特征涉及分類特征和同款特征，從而在視頻中查找到將目標(biāo)相似度大于預(yù)設(shè)閾值的商品所對(duì)應(yīng)的視頻幀，實(shí)現(xiàn)了在視頻中查找同款商品，并提升了查找準(zhǔn)確度。

此外，本發(fā)明通過(guò)先將商品的分類特征與同款特征作連接處理，然后，再對(duì)對(duì)比商品各自連接處理后的兩個(gè)特征進(jìn)行相似度的比較計(jì)算，得到目標(biāo)相似度?？梢栽谶M(jìn)行相似度比較時(shí)，結(jié)合分類特征和同款特征，能夠使相似度的所比較的數(shù)據(jù)更加全面。

另外，本發(fā)明通過(guò)先對(duì)對(duì)比商品的不同類型的特征按照特征的類型分別進(jìn)行相似度計(jì)算，然后，再對(duì)計(jì)算得到的關(guān)于同款特征的相似度、關(guān)于分類特征的相似度作加權(quán)平均運(yùn)算，從而得到目標(biāo)相似度。由于對(duì)不同類型的特征單獨(dú)進(jìn)行比較，因此，同款商品的檢索的準(zhǔn)確率更高。

附圖說(shuō)明

圖1是本發(fā)明的一種視頻中同款商品的檢索方法實(shí)施例的步驟流程圖；

圖2是本發(fā)明的一種視頻中同款商品的檢索系統(tǒng)實(shí)施例的框圖；

圖3是本發(fā)明的另一種視頻中同款商品的檢索系統(tǒng)實(shí)施例的結(jié)構(gòu)框圖。

具體實(shí)施方式

為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。

參照?qǐng)D1，示出了本發(fā)明的一種視頻中同款商品的檢索方法實(shí)施例的步驟流程圖，具體可以包括如下步驟：

步驟101，獲取待檢索圖像，所述待檢索圖像包含待檢索商品；

其中，可以獲取待檢索圖像(即一個(gè)圖片)，該圖片中包含待檢索商品(例如某款帽子)，即需要在某個(gè)視頻中查找與圖片中的帽子同款的視頻幀。

步驟102，提取所述待檢索圖像中所述待檢索商品的第一分類特征和第一同款特征；

其中，可以提取該圖片中的某款帽子的分類特征和同款特征。

步驟103，針對(duì)所述視頻的每一視頻幀包含的每一商品，獲取所述每一商品的第二分類特征和第二同款特征；

同樣的，還需要對(duì)待查詢的視頻的每一視頻幀所包含的每一商品，獲取每一商品的分類特征和同款特征。

其中，分類特征表示針對(duì)不同種類的商品進(jìn)行分類的特征，即，分類特征可以辨別該商品屬于哪種類別，而同款特征表示同一個(gè)商品在不同外觀特征下的相似特征，即針對(duì)同一個(gè)商品的多個(gè)圖片，而各個(gè)圖片中由于商品的姿態(tài)、角度、對(duì)比度、光照等不同而導(dǎo)致商品的外在特征并不完全相同，但是針對(duì)同一個(gè)商品在不同外觀特征下還是存在相似特征的，因此為了找到同款商品，需要獲取視頻幀的幀圖中某一種商品的相似特征以及提取圖片中待檢索商品的相似特征。

步驟104，計(jì)算所述待檢索商品的第一分類特征和第一同款特征與所述每一商品的第二分類特征和第二同款特征之間的目標(biāo)相似度；

其中，可以計(jì)算待檢索商品的一組特征(包括第一分類特征與第一同款特征)與所述每一商品的一組特征(包括第二分類特征與第二同款特征)之間的目標(biāo)相似度。

步驟105，將目標(biāo)相似度大于預(yù)設(shè)閾值的商品對(duì)應(yīng)的視頻幀確定為包含所述待檢索商品的同款商品的視頻幀。

最后，將目標(biāo)相似度大于預(yù)設(shè)閾值的商品對(duì)應(yīng)的視頻幀確定為包含待檢索商品的同款商品的視頻幀。

借助于本發(fā)明上述實(shí)施例的技術(shù)方案，本發(fā)明通過(guò)獲取待檢索圖像中的待檢索商品的分類特征與同款特征以及視頻中每個(gè)視頻幀所包含的每個(gè)商品的分類特征和同款特征，并計(jì)算待檢索圖像中的待檢索商品的特征與視頻中每一商品的特征之間的目標(biāo)相似度，這里的特征涉及分類特征和同款特征，從而在視頻中查找到將目標(biāo)相似度大于預(yù)設(shè)閾值的商品所對(duì)應(yīng)的視頻幀，實(shí)現(xiàn)了在視頻中查找同款商品，并提升了查找準(zhǔn)確度。

可選地，在一個(gè)實(shí)施例中，在執(zhí)行步驟102時(shí)，可以采用如下方案來(lái)實(shí)現(xiàn)：將所述待檢索圖像輸入至預(yù)先經(jīng)過(guò)訓(xùn)練的分類模型和同款模型；采用所述分類模型和所述同款模型分別對(duì)所述待檢索圖像進(jìn)行特征提取，得到所述第一分類特征和所述第一同款特征。

其中，所述分類模型為采用分類數(shù)據(jù)集訓(xùn)練得到的cnn(卷積神經(jīng)網(wǎng)絡(luò))模型；所述同款模型為采用預(yù)先構(gòu)造的同款數(shù)據(jù)集訓(xùn)練得到的cnn模型；其中，在利用分類數(shù)據(jù)集訓(xùn)練cnn模型時(shí)，可以利用常用的網(wǎng)絡(luò)結(jié)構(gòu)，例如vgg，googlenet，resnet等。本發(fā)明實(shí)施例采用的是inception21k模型。而在利用同款數(shù)據(jù)集訓(xùn)練cnn模型時(shí)也可以利用vgg，googlenet，resnet等。本發(fā)明實(shí)施例使用的是googlenet模型。

其中，經(jīng)過(guò)發(fā)明人的多次實(shí)驗(yàn)發(fā)現(xiàn)，分類cnn分類模型和cnn同款模型采用不同的網(wǎng)絡(luò)結(jié)構(gòu)相比于采用相同的網(wǎng)絡(luò)結(jié)構(gòu)提取的特征的準(zhǔn)確度更高。

其中，分類數(shù)據(jù)集包括多類圖像，每類圖像描述的都是同一類型的事物(例如鳥類，飛機(jī)類，貓類等，其中，鳥類圖像包含多個(gè)品種的鳥的圖像)，著重事物的類別特征。其中，分類數(shù)據(jù)集可以利用公開的數(shù)據(jù)集，例如imagenet數(shù)據(jù)集(包含1000個(gè)類別的圖像)。

同樣的，同款數(shù)據(jù)集也包括多類圖像，但是其每類圖像包含的都是針對(duì)同一個(gè)商品(例如某款帽子，項(xiàng)鏈，服飾等)的不同外觀特征的多個(gè)圖片，其中，同款數(shù)據(jù)集中針對(duì)每個(gè)商品的圖片的表現(xiàn)特征、外觀特征變化大，這樣可以確保同款特征的特征刻畫能力精確。其中，同款數(shù)據(jù)集是由發(fā)明人根據(jù)同款特征的刻畫需求自行構(gòu)造的。

可選地，在一個(gè)實(shí)施例中，在執(zhí)行步驟103時(shí)，可以通過(guò)以下任意一種方式來(lái)實(shí)現(xiàn)：

方式a：針對(duì)所述視頻的每一視頻幀包含的每一商品，從所述每一視頻幀中提取所述每一商品的第二分類特征和第二同款特征；

其中，針對(duì)視頻中的每一視頻幀所包含的每一商品的特征提取同樣可以采用上述實(shí)施例中的cnn分類模型和cnn同款模型。

其中，方式一的特征提取方式能夠保證所獲取到的特征是狀態(tài)最新的。

或，方式b：針對(duì)所述視頻的每一視頻幀包含的每一商品，從第一數(shù)據(jù)庫(kù)中獲取所述視頻的每一視頻幀包含的每一商品的第二分類特征和第二同款特征，其中，所述第一數(shù)據(jù)庫(kù)中存儲(chǔ)有預(yù)先從所述視頻的每一視頻幀中提取的每一商品的第二分類特征和第二同款特征。

即方式b采用的是預(yù)先提取的過(guò)程，預(yù)先提取各個(gè)特征后存儲(chǔ)至相應(yīng)的第一數(shù)據(jù)庫(kù)(即特征庫(kù))，方式b的特征提取方式能夠減少同款商品的檢索時(shí)間，提升檢索效率。

可選地，在一個(gè)實(shí)施例中，在執(zhí)行步驟101之前，根據(jù)本發(fā)明實(shí)施例的方法還可以包括：獲取所述視頻的每一視頻幀，并存儲(chǔ)至第二數(shù)據(jù)庫(kù)；對(duì)所述第二數(shù)據(jù)庫(kù)中存儲(chǔ)的每一視頻幀，提取所述每一視頻幀所包含的每一商品的第二分類特征和第二同款特征，并存儲(chǔ)至所述第一數(shù)據(jù)庫(kù)。

也即，本發(fā)明實(shí)施例可以預(yù)先獲取視頻中的每一視頻幀(即幀圖像)，并將視頻中的每一視頻幀都保存至第二數(shù)據(jù)庫(kù)(構(gòu)成圖像庫(kù))；再針對(duì)圖像庫(kù)中每個(gè)視頻幀(即幀圖像)中所包含的每個(gè)商品都提取相應(yīng)的同款特征(這里叫作第二同款特征)和分類特征(這里叫作第二分類特征)來(lái)存儲(chǔ)至上述第一數(shù)據(jù)庫(kù)(從而構(gòu)成特征庫(kù))。

這樣，本發(fā)明實(shí)施例能夠預(yù)先創(chuàng)建視頻的圖像庫(kù)(第二數(shù)據(jù)庫(kù))，以及與圖像庫(kù)中包含的每個(gè)商品對(duì)應(yīng)的特征庫(kù)(第一數(shù)據(jù)庫(kù))，這樣，可以利用數(shù)據(jù)庫(kù)實(shí)現(xiàn)視頻的每個(gè)視頻幀中所包含的每個(gè)商品的同款特征、分類特征的提前提取，提升圖像檢索效率。

另外，在一個(gè)實(shí)施例中，在執(zhí)行步驟104時(shí)，可以采用以下可選的方式一來(lái)實(shí)現(xiàn)兩個(gè)商品之間的目標(biāo)相似度計(jì)算：將所述第一分類特征和所述第一同款特征連接，得到第一分類同款特征；將所述第二分類特征和所述第二同款特征連接，得到第二分類同款特征；計(jì)算所述第一分類同款特征和所述第二分類同款特征的相似度，得到目標(biāo)相似度。

此外，在另一個(gè)實(shí)施例中，執(zhí)行步驟104時(shí)，還可以采用以下可選的方式二來(lái)實(shí)現(xiàn)兩個(gè)商品之間的目標(biāo)相似度計(jì)算：計(jì)算所述待檢索商品的第一分類特征與所述每一商品的第二分類特征之間的第一相似度，以及計(jì)算所述待檢索商品的第一同款特征與所述每一商品的第二同款特征之間的第二相似度；采用預(yù)先設(shè)置的權(quán)重參數(shù)對(duì)所述第一相似度和所述第二相似度作加權(quán)平均運(yùn)算，得到目標(biāo)相似度。

其中，在方式一中，可以先將商品的分類特征與同款特征作連接處理(即特征向量之間的連接處理)，然后，再對(duì)對(duì)比商品各自連接處理后的兩個(gè)特征進(jìn)行相似度比較計(jì)算，得到目標(biāo)相似度。

在方式二中，則先對(duì)對(duì)比商品的不同類型的特征按照特征的類型分別進(jìn)行相似度計(jì)算(即，商品a和商品b的分類特征計(jì)算相似度，商品a和商品b的同款特征計(jì)算相似度)，然后，再對(duì)計(jì)算得到的關(guān)于同款特征的相似度、關(guān)于分類特征的相似度作加權(quán)平均運(yùn)算，從而得到目標(biāo)相似度。其中，本發(fā)明實(shí)施例可以預(yù)先設(shè)置分類特征的相似度的權(quán)重值、同款特征之間的相似度的權(quán)重值。

這樣，本發(fā)明實(shí)施例可以根據(jù)同款商品的檢索準(zhǔn)確度要求，采用不同方式的目標(biāo)相似度計(jì)算方案(即，上述方式一或方式二)，其中，方式二相較于方式一，由于是對(duì)不同類型的特征單獨(dú)進(jìn)行比較，因此，檢索的準(zhǔn)確率更高；而方式一相較于方式二，可以適用于檢索準(zhǔn)確度較低的場(chǎng)景中，具體可以根據(jù)實(shí)際場(chǎng)景進(jìn)行靈活調(diào)整和選擇。

此外，在上述將數(shù)據(jù)存儲(chǔ)至第一數(shù)據(jù)庫(kù)和第二數(shù)據(jù)庫(kù)的實(shí)施例中，如果當(dāng)前場(chǎng)景需要進(jìn)行上述方式一的計(jì)算方式，則在向數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)時(shí)，可以將視頻中每個(gè)視頻幀所包含的每個(gè)商品所提取的同款特征和分類特征，作特征連接處理，并將連接處理后的同款分類特征存儲(chǔ)至第一數(shù)據(jù)庫(kù)(即特征庫(kù))。這樣，可以提前將同款分類特征存儲(chǔ)至數(shù)據(jù)庫(kù)中，提升檢索效率。

而如果當(dāng)前場(chǎng)景需要進(jìn)行上述方式二的計(jì)算方式，則在向數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)時(shí)，可以將視頻中每個(gè)視頻幀所包含的每個(gè)商品所提取的同款特征和分類特征分別存儲(chǔ)至兩個(gè)第一數(shù)據(jù)庫(kù)(即一個(gè)同款特征數(shù)據(jù)庫(kù)、一個(gè)分類特征數(shù)據(jù)庫(kù))。這樣，便于兩類特征的獨(dú)立獲取，從而實(shí)現(xiàn)第一分類特征與第二分類特征進(jìn)行相似度計(jì)算時(shí)，也可以并行進(jìn)行第一同款特征與第二同款特征的相似度計(jì)算，提升檢索效率。

下面結(jié)合圖2所示的檢索系統(tǒng)對(duì)上述方法作簡(jiǎn)要說(shuō)明。

首先，輸入查詢圖像模塊21獲取待查詢的圖像i，并輸入至分類特征提取模塊22和同款特征提取模塊23；

然后，分類特征提取模塊22利用cnn分類模型提取圖像i的分類特征fc并輸入至檢索模塊24，這里該分類特征fc的維數(shù)為1024維；同款特征提取模塊23利用cnn同款模型提取圖像i的同款特征fs并輸入至檢索模塊24，這里該分類特征fs的維數(shù)為1024維；

然后，檢索模塊24對(duì)圖像i的分類特征fc和同款特征fs分別作歸一化處理，得到歸一化的分類特征fnc和歸一化的同款特征fns；

接著，檢索模塊24會(huì)根據(jù)特征庫(kù)27中特征的構(gòu)成方式不同而采用不同的檢索方式，具體而言：

一方面，如果特征庫(kù)27中存儲(chǔ)的為上述實(shí)施例中的將圖像庫(kù)26中的每個(gè)圖像中的每個(gè)商品的同款特征和分類特征進(jìn)行連接，而得到的分類同款特征(其中，在連接之前也經(jīng)過(guò)了上述的歸一化處理)，那么將采用檢索方式一：

檢索模塊24將歸一化的分類特征fnc和歸一化的同款特征fns串接(即連接)到一起，得到歸一化的同款分類特征fcon＝(fnc,fns)，fcon的維數(shù)為2048維；

然后，檢索模塊24將歸一化的同款分類特征fcon與特征庫(kù)27中的每個(gè)視頻幀的每個(gè)商品的每個(gè)串接后的同款分類特征進(jìn)行目標(biāo)相似度計(jì)算，確定所述目標(biāo)相似度大于預(yù)設(shè)閾值的目標(biāo)幀圖像；或者，按照目標(biāo)相似度從大到小的順序?qū)z索到的每個(gè)視頻幀中每個(gè)商品的同款分類特征進(jìn)行排序，最后，在與特征庫(kù)27對(duì)應(yīng)的圖像庫(kù)26中找到預(yù)定數(shù)量的目標(biāo)相似度較大的多個(gè)目標(biāo)幀圖像；

接著，再根據(jù)目標(biāo)幀圖像的時(shí)間點(diǎn)在視頻中查找到對(duì)應(yīng)的視頻時(shí)間點(diǎn)的視頻幀發(fā)送至結(jié)果輸出模塊25；

最后，結(jié)果輸出模塊25將包含與待查詢的圖像i中的商品同款的商品的視頻幀輸出。

其中，在上述計(jì)算特征之間的相似度(不論是相似度、還是第一相似度、第二相似度)時(shí)，可以通過(guò)計(jì)算特征之間的歐氏距離、余弦距離、相關(guān)系數(shù)等方式來(lái)確定兩個(gè)特征之間的相似程度。

其中，所計(jì)算得到歐氏距離越小，表示兩個(gè)特征之間相似程度越大；所計(jì)算得到余弦距離越小，表示兩個(gè)特征之間相似程度越大；所計(jì)算得到相關(guān)系數(shù)越大，表示兩個(gè)特征之間相似程度越大。

其中，本發(fā)明實(shí)施例以計(jì)算相關(guān)系數(shù)為例進(jìn)行相似度計(jì)算的說(shuō)明，而對(duì)于歐式距離、余弦距離的計(jì)算方法均為現(xiàn)有技術(shù)，本領(lǐng)域的技術(shù)人員可以參照進(jìn)行相似度的計(jì)算。

另外，需要注意的是，所采用的相似度的計(jì)算方式不同時(shí)，相應(yīng)的預(yù)設(shè)閾值的大小也不同，即，該預(yù)設(shè)閾值的大小可以根據(jù)當(dāng)前所采用的相似度的計(jì)算方式進(jìn)行靈活調(diào)整，使之與相應(yīng)的計(jì)算方式相匹配。

另一方面，如果系統(tǒng)中包括兩個(gè)特征庫(kù)，分別存儲(chǔ)了上述實(shí)施例中將圖像庫(kù)26中的每個(gè)圖像中的每個(gè)商品的同款特征以及分類特征，即特征庫(kù)1存儲(chǔ)著視頻中每個(gè)視頻幀所包含的每個(gè)商品的分類特征，而特征庫(kù)2則存儲(chǔ)著該視頻中每個(gè)視頻幀所包含的每個(gè)商品的同款特征(其中，在存儲(chǔ)之前也經(jīng)過(guò)了上述的歸一化處理)，那么將采用檢索方式二：

檢索模塊24將圖像i的歸一化的分類特征fnc和歸一化的同款特征fns分別與兩個(gè)特征庫(kù)中的每個(gè)歸一化的分類特征和歸一化的同款特征進(jìn)行相似度計(jì)算(其中，圖像i的分類特征與特征庫(kù)中的分類特征作計(jì)算，圖像i的同款特征與特征庫(kù)中的同款特征作計(jì)算)，得到分類特征相似度dc和同款特征相似度ds；然后，采用預(yù)設(shè)的分類權(quán)重ω1和預(yù)設(shè)的同款權(quán)重ω2對(duì)分類特征相似度dc和同款特征相似度ds加權(quán)平均(如公式1所示)，得到統(tǒng)一相似度dw；

dw＝(ω1*dc+ω2*ds)/(ω1+ω2)公式(1)

其中，上述分類特征相似度的權(quán)重ω1(例如0.3)和同款特征相似度的權(quán)重ω2(例如，0.7)的具體數(shù)值是經(jīng)過(guò)發(fā)明人多次實(shí)驗(yàn)而確定的檢索同款商品的準(zhǔn)確度最高的數(shù)值。其中，ω1和ω2之和為1，根據(jù)實(shí)際場(chǎng)景的不同，也可以對(duì)兩個(gè)權(quán)重進(jìn)行調(diào)整，但需要保證它們的和為1。

然后，檢索模塊24將得到的針對(duì)每個(gè)商品的統(tǒng)一相似度dw按照從大到小的順序排序；在與兩個(gè)特征庫(kù)對(duì)應(yīng)的一個(gè)圖像庫(kù)26中找到預(yù)定數(shù)量的相似度最大的目標(biāo)幀圖像(即目標(biāo)幀圖像的分類特征和同款特征分別存儲(chǔ)在上述數(shù)據(jù)庫(kù)1和數(shù)據(jù)庫(kù)2中)；或者檢索模塊24在圖像庫(kù)26中確定所述相似度大于預(yù)設(shè)閾值的目標(biāo)幀圖像；

接著，再根據(jù)目標(biāo)幀圖像的時(shí)間點(diǎn)在視頻中查找到對(duì)應(yīng)的視頻時(shí)間點(diǎn)的視頻幀發(fā)送至結(jié)果輸出模塊25；

最后，結(jié)果輸出模塊25將包含與待查詢的圖像i中的商品同款的商品的視頻幀輸出。

所計(jì)算得到歐氏距離越小，表示兩個(gè)特征之間相似程度越大；所計(jì)算得到余弦距離越小，表示兩個(gè)特征之間相似程度越大；所計(jì)算得到相關(guān)系數(shù)越大，表示兩個(gè)特征之間相似程度越大。

其中，本發(fā)明實(shí)施例以計(jì)算相關(guān)系數(shù)為例進(jìn)行相似度計(jì)算的說(shuō)明，而對(duì)于歐式距離、余弦距離的計(jì)算方法均為現(xiàn)有技術(shù)，本領(lǐng)域的技術(shù)人員可以參照進(jìn)行相似度的計(jì)算。

另外，需要注意的是，所采用的相似度的計(jì)算方式不同時(shí)，相應(yīng)的預(yù)設(shè)閾值的大小也不同，即，該預(yù)設(shè)閾值的大小可以根據(jù)當(dāng)前所采用的相似度的計(jì)算方式進(jìn)行靈活調(diào)整，使之與相應(yīng)的計(jì)算方式相匹配。

例如，如果采用的是歐式距離或余弦距離的計(jì)算方法，則按照計(jì)算得到的距離進(jìn)行從小到達(dá)的排序，取距離最小的預(yù)定數(shù)量的目標(biāo)幀圖像。

綜上，本發(fā)明實(shí)施例利用深度學(xué)習(xí)算法訓(xùn)練了cnn同款模型和cnn分類模型，并將兩種模型提取到的特征作融合，并根據(jù)相似性度量準(zhǔn)則對(duì)檢索結(jié)果進(jìn)行排序，找到匹配的商品，大大提高了檢索的準(zhǔn)確率。并且，由于同款特征是一種更加精細(xì)化，更加能夠描述圖像相似性的一種特征。因此將同款特征與分類特征相融合，將融合后的特征作為檢索的依據(jù)，從而在視頻中同一商品的大小、姿態(tài)、角度等變化很大，以及背景也比較復(fù)雜的情況下，也能夠準(zhǔn)確的在視頻中檢索到同款商品，提升了同款商品的準(zhǔn)確度。

需要說(shuō)明的是，對(duì)于方法實(shí)施例，為了簡(jiǎn)單描述，故將其都表述為一系列的動(dòng)作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明實(shí)施例并不受所描述的動(dòng)作順序的限制，因?yàn)橐罁?jù)本發(fā)明實(shí)施例，某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說(shuō)明書中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例，所涉及的動(dòng)作并不一定是本發(fā)明實(shí)施例所必須的。

與上述本發(fā)明實(shí)施例所提供的方法相對(duì)應(yīng)，參照?qǐng)D3，示出了本發(fā)明一種視頻中同款商品的檢索系統(tǒng)實(shí)施例的結(jié)構(gòu)框圖，具體可以包括如下模塊：

圖像獲取模塊31，用于獲取待檢索圖像，所述待檢索圖像包含待檢索商品；

第一提取模塊32，用于提取所述待檢索圖像中所述待檢索商品的第一分類特征和第一同款特征；

特征獲取模塊33，用于針對(duì)所述視頻的每一視頻幀包含的每一商品，獲取所述每一商品的第二分類特征和第二同款特征；

計(jì)算模塊34，用于計(jì)算所述待檢索商品的第一分類特征和第一同款特征與所述每一商品的第二分類特征和第二同款特征之間的目標(biāo)相似度；

確定模塊35，用于將所述目標(biāo)相似度大于預(yù)設(shè)閾值的商品所對(duì)應(yīng)的視頻幀確定為包含所述待檢索商品的同款商品的視頻幀；

其中，分類特征表示針對(duì)不同種類的商品進(jìn)行分類的特征，同款特征表示同一個(gè)商品在不同外觀特征下的相似特征。

可選地，所述計(jì)算模塊34包括：

第一連接子模塊，用于將所述第一分類特征和所述第一同款特征連接，得到第一分類同款特征；

第二接子模塊，用于將所述第二分類特征和所述第二同款特征連接，得到第二分類同款特征；

第一計(jì)算子模塊，用于計(jì)算所述第一分類同款特征和所述第二分類同款特征的相似度，得到目標(biāo)相似度。

可選地，所述計(jì)算模塊34還包括：

第二計(jì)算子模塊，用于計(jì)算所述待檢索商品的第一分類特征與所述每一商品的第二分類特征之間的第一相似度；

第三計(jì)算子模塊，用于計(jì)算所述待檢索商品的第一同款特征與所述每一商品的第二同款特征之間的第二相似度；

第四計(jì)算子模塊，用于采用預(yù)先設(shè)置的權(quán)重參數(shù)對(duì)所述第一相似度和所述第二相似度作加權(quán)平均運(yùn)算，得到目標(biāo)相似度。

可選地，所述第一提取模塊32包括：

輸入子模塊，用于將所述待檢索圖像輸入至預(yù)先經(jīng)過(guò)訓(xùn)練的分類模型和同款模型；

第一提取子模塊，用于采用所述分類模型和所述同款模型分別對(duì)所述待檢索圖像進(jìn)行特征提取，得到所述第一分類特征和所述第一同款特征；

其中，所述分類模型為采用分類數(shù)據(jù)集訓(xùn)練得到的cnn模型；

所述同款模型為采用預(yù)先構(gòu)造的同款數(shù)據(jù)集訓(xùn)練得到的cnn模型；

其中，所述預(yù)先構(gòu)造的同款數(shù)據(jù)集包括多類圖像，每類圖像包含針對(duì)同一個(gè)商品的不同外觀特征的多個(gè)圖片。

可選地，所述特征獲取模塊33包括：

第二提取子模塊，用于針對(duì)所述視頻的每一視頻幀包含的每一商品，從所述每一視頻幀中提取所述每一商品的第二分類特征和第二同款特征；或，

獲取子模塊，用于針對(duì)所述視頻的每一視頻幀包含的每一商品，從第一數(shù)據(jù)庫(kù)中獲取所述視頻的每一視頻幀包含的每一商品的第二分類特征和第二同款特征，其中，所述第一數(shù)據(jù)庫(kù)中存儲(chǔ)有預(yù)先從所述視頻的每一視頻幀中提取的每一商品的第二分類特征和第二同款特征。

可選地，所述系統(tǒng)還包括：

獲取模塊，用于獲取所述視頻的每一視頻幀，并存儲(chǔ)至第二數(shù)據(jù)庫(kù)；

第二提取模塊，用于對(duì)所述第二數(shù)據(jù)庫(kù)中存儲(chǔ)的每一視頻幀，提取所述每一視頻幀所包含的每一商品的第二分類特征和第二同款特征，并存儲(chǔ)至所述第一數(shù)據(jù)庫(kù)。

對(duì)于系統(tǒng)實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。

本說(shuō)明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明實(shí)施例的實(shí)施例可提供為方法、裝置、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明實(shí)施例可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明實(shí)施例可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、cd-rom、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明實(shí)施例是參照根據(jù)本發(fā)明實(shí)施例的方法、終端設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備上，使得在計(jì)算機(jī)或其他可編程終端設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程終端設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

盡管已描述了本發(fā)明實(shí)施例的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例做出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明實(shí)施例范圍的所有變更和修改。

最后，還需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者終端設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者終端設(shè)備所固有的c要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者終端設(shè)備中還存在另外的相同要素。

以上對(duì)本發(fā)明所提供的一種視頻中同款商品的檢索方法和一種視頻中同款商品的檢索系統(tǒng)，進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。