本發(fā)明涉及機(jī)器視覺與視頻圖像處理技術(shù)領(lǐng)域，更具體地說(shuō)，涉及一種基于深度學(xué)習(xí)的工業(yè)產(chǎn)品清點(diǎn)方法。

背景技術(shù)：

工業(yè)產(chǎn)品在打包裝箱的過(guò)程中有可能會(huì)出現(xiàn)油瓶漏裝、產(chǎn)品缺失等缺陷，因此有必要對(duì)裝箱的結(jié)果進(jìn)行檢測(cè)。人工檢測(cè)需要每條生產(chǎn)線一個(gè)質(zhì)檢員，全天候地對(duì)流水線上經(jīng)過(guò)的裝箱進(jìn)行檢查，容易視覺疲勞，質(zhì)量得不到有效的保證，而且需要投入巨大的人力物力。

傳統(tǒng)的基于圖像特征的機(jī)器視覺技術(shù)可以從流水線上方拍攝裝箱內(nèi)的圖片，然后基于圖像的輪廓特征進(jìn)行判斷是否有缺陷，這在一定程度上減輕了人的工作量。然而由于現(xiàn)場(chǎng)環(huán)境復(fù)雜多變，光照環(huán)境的變化、產(chǎn)品上的遮擋物、產(chǎn)品色彩的變化、產(chǎn)品拍攝不完整、產(chǎn)品相連等都會(huì)極大地影響這種方法的準(zhǔn)確率，造成過(guò)多的漏判和誤判，仍然需要人工進(jìn)行二次檢測(cè)。

隨著深度學(xué)習(xí)理論的不斷發(fā)展，其在實(shí)際工業(yè)生產(chǎn)中的應(yīng)用也越來(lái)越可靠。從機(jī)器學(xué)習(xí)的角度考慮工業(yè)產(chǎn)品清點(diǎn)問(wèn)題，可視為一個(gè)目標(biāo)檢測(cè)問(wèn)題。在深度學(xué)習(xí)領(lǐng)域，rossgirshick等曾提出了基于caffe框架的深度學(xué)習(xí)網(wǎng)絡(luò)用于目標(biāo)檢測(cè)，該網(wǎng)絡(luò)極大地提高了目標(biāo)檢測(cè)算法的魯棒性，對(duì)光照和色彩變化都具有較強(qiáng)的適應(yīng)能力，檢測(cè)準(zhǔn)確率得到很大的提高，該方法還具有參數(shù)少、更新方便的優(yōu)點(diǎn)，遇到新的情況重新訓(xùn)練，替換訓(xùn)練模型即可。近來(lái)也有相關(guān)學(xué)者對(duì)其進(jìn)一步改進(jìn)以應(yīng)用于不同的場(chǎng)景。但是對(duì)于存在遮擋的情況，由于目標(biāo)不完整，相應(yīng)的特征缺失，經(jīng)過(guò)前向傳輸后得分偏低，該網(wǎng)絡(luò)容易漏檢，傳統(tǒng)的方法也無(wú)法檢測(cè)。

經(jīng)檢索，中國(guó)專利申請(qǐng)?zhí)?01610024953.0，申請(qǐng)日為2016年1月13日，發(fā)明創(chuàng)造名稱為：基于局部特征學(xué)習(xí)的目標(biāo)跟蹤方法；該申請(qǐng)案將目標(biāo)物體和背景分解成大量的具有尺度和形狀不變性的局部單元，將其作為目標(biāo)和背景分類模型的訓(xùn)練樣本，采用深度學(xué)習(xí)的方式，從訓(xùn)練樣本中學(xué)習(xí)出目標(biāo)物體以及背景的局部表達(dá)。再判斷出圖像中每個(gè)特定區(qū)域?qū)儆谀繕?biāo)物體的置信度，實(shí)現(xiàn)目標(biāo)物體的準(zhǔn)確定位。因由大量樣本學(xué)習(xí)得出的局部表達(dá)具有高度的目標(biāo)識(shí)別能力，該方法對(duì)目標(biāo)形變、目標(biāo)遮擋等情況具有較高的適應(yīng)能力。但該申請(qǐng)案算法較復(fù)雜，且普遍適用性不強(qiáng)，并不能很好的應(yīng)用到流水線上產(chǎn)品裝箱檢測(cè)。

技術(shù)實(shí)現(xiàn)要素：

1.發(fā)明要解決的技術(shù)問(wèn)題

本發(fā)明要解決的問(wèn)題是：現(xiàn)有通過(guò)機(jī)器視覺進(jìn)行工業(yè)產(chǎn)品清點(diǎn)的方法易受現(xiàn)場(chǎng)環(huán)境變化的影響，容易造成過(guò)檢和漏檢，檢測(cè)精度很低。而基于深度學(xué)習(xí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)不能檢測(cè)被遮擋和拍攝不完整的產(chǎn)品，提供了一種基于深度學(xué)習(xí)的工業(yè)產(chǎn)品清點(diǎn)方法，本發(fā)明創(chuàng)新地提出采用碎片化訓(xùn)練的方法得到目標(biāo)的局部特征，然后在檢測(cè)階段通過(guò)聚類得到目標(biāo)的完整候選框，不受環(huán)境變化的影響，不需要對(duì)圖片進(jìn)行預(yù)處理，具有非常高的檢測(cè)精度。

2.技術(shù)方案

為達(dá)到上述目的，本發(fā)明提供的技術(shù)方案為：

本發(fā)明的一種基于深度學(xué)習(xí)的工業(yè)產(chǎn)品清點(diǎn)方法，包括碎片化訓(xùn)練、產(chǎn)品檢測(cè)和子候選框融合三個(gè)步驟：碎片化訓(xùn)練階段將標(biāo)注的產(chǎn)品平均分成若干相同的子候選框；在產(chǎn)品檢測(cè)階段設(shè)定一個(gè)得分閾值，得分大于該閾值的候選框被認(rèn)為是產(chǎn)品的一個(gè)子候選框；在子候選框融合階段，通過(guò)對(duì)子候選框質(zhì)心水平投影和垂直投影并聚類得到產(chǎn)品的質(zhì)心，根據(jù)子候選框的質(zhì)心和產(chǎn)品質(zhì)心的歐氏距離來(lái)融合所有的子候選框，得到產(chǎn)品的個(gè)數(shù)。

更進(jìn)一步地，本發(fā)明的一種基于深度學(xué)習(xí)的工業(yè)產(chǎn)品清點(diǎn)方法，其步驟為：

步驟一、碎片化訓(xùn)練：對(duì)訓(xùn)練集圖片中的產(chǎn)品進(jìn)行人工標(biāo)注，圖片上一個(gè)產(chǎn)品對(duì)應(yīng)一個(gè)候選框，將一個(gè)候選框平均分成若干個(gè)相同的子候選框，每個(gè)子候選框都代表產(chǎn)品的一個(gè)部分的特征，將標(biāo)注好的訓(xùn)練圖片集送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

步驟二、產(chǎn)品檢測(cè)：將待清點(diǎn)的產(chǎn)品圖片輸入網(wǎng)絡(luò)中進(jìn)行前向傳輸，識(shí)別出當(dāng)前圖像中的所有子候選框，并獲得每個(gè)候選框的得分，保留大于所設(shè)得分閾值的子候選框；

步驟三、子候選框融合：對(duì)所有步驟二保留的子候選框的質(zhì)心進(jìn)行水平投影和垂直投影，根據(jù)質(zhì)心在x軸和y軸上的投影結(jié)果進(jìn)行聚類，得到產(chǎn)品質(zhì)心的大致坐標(biāo)；再通過(guò)計(jì)算子候選框和產(chǎn)品質(zhì)心的歐氏距離，確定子候選框?qū)儆诘漠a(chǎn)品。

更進(jìn)一步地，步驟一中碎片化訓(xùn)練獲取子候選框的過(guò)程為：在準(zhǔn)備訓(xùn)練集時(shí)，將原來(lái)人工標(biāo)注的候選框平均分成4個(gè)子候選框，子候選框生成方法為：

上式中，矩陣的每個(gè)元素代表得到的新的候選框左上角和右下角的坐標(biāo)，即(x1,y1)為原候選框左上角坐標(biāo)，(x2,y2)為原候選框右下角坐標(biāo)，矩陣中為從大候選框得到的四個(gè)子候選框的左上角和右下角坐標(biāo)。

更進(jìn)一步地，步驟二中根據(jù)softmax分類器的分類結(jié)果返回子候選框的得分。

更進(jìn)一步地，步驟二中設(shè)定得分閾值為0.8。

更進(jìn)一步地，步驟三中子候選框融合時(shí)將子候選框的質(zhì)心進(jìn)行水平投影和垂直投影，根據(jù)質(zhì)心在x軸和y軸上的投影結(jié)果進(jìn)行聚類，聚類后得到兩個(gè)x軸坐標(biāo)和兩個(gè)y軸坐標(biāo)，通過(guò)排列組合得到四個(gè)產(chǎn)品的質(zhì)心坐標(biāo)，通過(guò)計(jì)算子候選框質(zhì)心和產(chǎn)品質(zhì)心的歐氏距離，確定子候選框?qū)儆谀膫€(gè)產(chǎn)品。

更進(jìn)一步地，步驟三中采用歐氏距離計(jì)算聚類中心時(shí)，算法終止條件的目標(biāo)函數(shù)為最小化對(duì)象到其簇質(zhì)心的距離的平方和：

式中，k為待聚類的點(diǎn)的個(gè)數(shù)，ci為待聚類的點(diǎn)集；

通過(guò)計(jì)算子候選框質(zhì)心和產(chǎn)品質(zhì)心的歐氏距離，得到每個(gè)子候選框?qū)儆谀膫€(gè)產(chǎn)品；最小歐氏距離計(jì)算方法為：

3.有益效果

采用本發(fā)明提供的技術(shù)方案，與已有的公知技術(shù)相比，具有如下顯著效果：

本發(fā)明的一種基于深度學(xué)習(xí)的工業(yè)產(chǎn)品清點(diǎn)方法，在檢測(cè)得到子候選框的基礎(chǔ)上，針對(duì)屬于同一產(chǎn)品的子候選框離產(chǎn)品的質(zhì)心近的特點(diǎn)，采用水平投影和垂直投影并聚類的方法對(duì)子候選框進(jìn)行融合，克服了網(wǎng)絡(luò)不能檢測(cè)被遮擋產(chǎn)品的缺陷，實(shí)現(xiàn)將網(wǎng)絡(luò)應(yīng)用到工業(yè)產(chǎn)品清點(diǎn)。得益于碎片化的訓(xùn)練方法，在檢測(cè)時(shí)能夠?qū)a(chǎn)品以部分的形式檢測(cè)出來(lái)，經(jīng)過(guò)融合從而得到完整的產(chǎn)品，檢測(cè)準(zhǔn)確率高達(dá)100％。其創(chuàng)新主要在于：1)針對(duì)一般網(wǎng)絡(luò)訓(xùn)練完整產(chǎn)品不能檢測(cè)不完整產(chǎn)品的缺點(diǎn)，提出一種碎片化的訓(xùn)練方法，使得不完整的產(chǎn)品可以檢測(cè)出來(lái)，不受環(huán)境變化的影響，不需要對(duì)圖片進(jìn)行預(yù)處理，具有非常高的檢測(cè)精度。2)提出使子候選框融合的方法來(lái)清點(diǎn)裝箱的產(chǎn)品數(shù)，使用聚類的方法確定產(chǎn)品的大致質(zhì)心。

附圖說(shuō)明

圖1為本發(fā)明基于深度學(xué)習(xí)進(jìn)行工業(yè)產(chǎn)品清點(diǎn)的流程框圖；

圖2中的(a)～(d)為本發(fā)明實(shí)施例1中待清點(diǎn)產(chǎn)品圖像；

圖3中的(a)～(d)為本發(fā)明實(shí)施例1中子候選框檢測(cè)結(jié)果圖；

圖4中的(a)和(b)為本發(fā)明實(shí)施例1子候選框質(zhì)心聚類原理圖；

圖5中的(a)～(d)為本發(fā)明實(shí)施例1工業(yè)產(chǎn)品清點(diǎn)結(jié)果圖。

具體實(shí)施方式

為進(jìn)一步了解本發(fā)明的內(nèi)容，結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作詳細(xì)描述。

實(shí)施例1

結(jié)合圖1，本實(shí)施例的一種基于深度學(xué)習(xí)的工業(yè)產(chǎn)品清點(diǎn)方法，采用碎片化訓(xùn)練的網(wǎng)絡(luò)，包括碎片化訓(xùn)練、產(chǎn)品檢測(cè)和子候選框融合三個(gè)步驟。碎片化訓(xùn)練階段將標(biāo)簽的產(chǎn)品平均分成若干相同的子候選框；在產(chǎn)品檢測(cè)階段設(shè)定一個(gè)得分閾值，得分大于該得分閾值的候選框被認(rèn)為是產(chǎn)品的一個(gè)子候選框；在子候選框融合階段，通過(guò)對(duì)子候選框質(zhì)心水平投影和垂直投影并聚類得到產(chǎn)品的質(zhì)心，根據(jù)子候選框的質(zhì)心和產(chǎn)品質(zhì)心的歐氏距離來(lái)融合所有的子候選框，得到產(chǎn)品的個(gè)數(shù)。

本實(shí)施例的具體實(shí)施過(guò)程如下：

1、碎片化訓(xùn)練階段

網(wǎng)絡(luò)訓(xùn)練之前需要準(zhǔn)備訓(xùn)練集，具體為待訓(xùn)練的圖片和圖片上產(chǎn)品的候選框。一般的訓(xùn)練集中包括的是目標(biāo)的完整候選框。這樣訓(xùn)練出來(lái)的網(wǎng)絡(luò)不能檢測(cè)不完整的產(chǎn)品。本實(shí)施例提出基于faster-rcnn的碎片化的訓(xùn)練方法，參看圖2，本實(shí)施例在準(zhǔn)備訓(xùn)練集時(shí)，對(duì)訓(xùn)練集圖片中的產(chǎn)品進(jìn)行人工標(biāo)注，圖片上一個(gè)產(chǎn)品對(duì)應(yīng)一個(gè)候選框。并將一個(gè)產(chǎn)品的候選框平均分成4個(gè)相同大小的子候選框，每個(gè)子候選框保留了產(chǎn)品的一部分特征。子候選框生成方法為：

上式中，矩陣的每個(gè)元素代表得到的新的候選框左上角和右下角的坐標(biāo)，即(x1,y1)為原候選框左上角坐標(biāo)，(x2,y2)為原候選框右下角坐標(biāo)，矩陣中為從大候選框得到的四個(gè)子候選框。

本實(shí)施例一張圖片中每個(gè)候選框可以生成4個(gè)子候選框，整張圖片可以得到16個(gè)待訓(xùn)練的樣本，使得訓(xùn)練集的樣本數(shù)量是原來(lái)的4倍。通過(guò)這種方式不但能夠檢測(cè)不完整的產(chǎn)品，而且對(duì)于光線原因不容易區(qū)分出來(lái)的目標(biāo)至少有一個(gè)子候選框能被檢測(cè)出來(lái)，所以對(duì)于光線較弱的場(chǎng)景本算法也能檢測(cè)，從而提高檢測(cè)精度。

2、產(chǎn)品檢測(cè)階段

將標(biāo)注好的訓(xùn)練圖片集送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再將拍到的待檢測(cè)產(chǎn)品圖片送入訓(xùn)練好的網(wǎng)絡(luò)中進(jìn)行前向傳輸，根據(jù)softmax分類器的分類結(jié)果返回子候選框的得分；根據(jù)具體的使用場(chǎng)景設(shè)定得分閾值(本實(shí)施例設(shè)定得分閾值為0.8)，將得分大于得分閾值的子候選框保留。得到初步的檢測(cè)結(jié)果，每個(gè)產(chǎn)品由若干個(gè)子候選框組成，子候選框之間會(huì)有相互重疊。

3、子候選框融合階段

檢測(cè)得到的子候選框?yàn)楫a(chǎn)品各個(gè)部分的候選框，需要將子候選框進(jìn)行融合得到完整的產(chǎn)品。本實(shí)施例通過(guò)將子候選框的質(zhì)心進(jìn)行水平投影和垂直投影(參看圖4)。根據(jù)質(zhì)心在x軸和y軸上的投影結(jié)果進(jìn)行聚類，聚類后得到兩個(gè)x軸坐標(biāo)和兩個(gè)y軸坐標(biāo)，通過(guò)排列組合得到四個(gè)產(chǎn)品的質(zhì)心坐標(biāo)。通過(guò)計(jì)算子候選框和產(chǎn)品質(zhì)心的歐氏距離，確定子候選框?qū)儆诘漠a(chǎn)品。具體過(guò)程為：

采用歐氏距離計(jì)算聚類中心時(shí)，算法終止條件的目標(biāo)函數(shù)為最小化對(duì)象到其簇質(zhì)心的距離的平方和：

式中，k為待聚類的點(diǎn)的個(gè)數(shù)，ci為待聚類的點(diǎn)集。

通過(guò)計(jì)算子候選框質(zhì)心和產(chǎn)品質(zhì)心的歐氏距離，可以得到每個(gè)子候選框?qū)儆谀膫€(gè)產(chǎn)品。最小歐氏距離計(jì)算方法為：

通過(guò)將子候選框融合可以得到待檢測(cè)的產(chǎn)品數(shù)。

圖2、3、4、5為本實(shí)施例實(shí)施效果圖，其中得分閾值為0.8。圖3中的(a)、(b)、(c)、(d)為檢測(cè)出來(lái)的子候選框，圖4中的(a)和(b)為子候選框質(zhì)心投影和聚類的原理圖，圖5為子候選框融合后的檢測(cè)結(jié)果圖。從圖中可以看出，本本實(shí)施例方法所采用的碎片化訓(xùn)練能夠很好地檢測(cè)出不完整的產(chǎn)品且不受環(huán)境干擾的影響。

以上示意性的對(duì)本發(fā)明及其實(shí)施方式進(jìn)行了描述，該描述沒有限制性，附圖中所示的也只是本發(fā)明的實(shí)施方式之一，實(shí)際并不局限于此。所以，如果本領(lǐng)域的普通技術(shù)人員受其啟示，在不脫離本發(fā)明創(chuàng)造宗旨的情況下，不經(jīng)創(chuàng)造性的設(shè)計(jì)出與該技術(shù)方案相似的方式及實(shí)施例，均應(yīng)屬于本發(fā)明的保護(hù)范圍。