專利名稱：多視覺空瓶質(zhì)量檢測方法及多視覺空瓶檢測機(jī)器人的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于生產(chǎn)線自動檢測技術(shù)領(lǐng)域，具體涉及一種適用于高速自動化生產(chǎn)流水線上的多種透明或半透明空瓶進(jìn)行質(zhì)量和清潔度檢測的方法及設(shè)備。
背景技術(shù)：
工業(yè)自動化、智能化是人類社會從工業(yè)時代跨入信息時代的一大技術(shù)突破和生產(chǎn)革新。機(jī)器視覺技術(shù)作為當(dāng)今高新技術(shù)的研究熱點(diǎn)，在工業(yè)實(shí)現(xiàn)全面自動化的進(jìn)程中，勢必發(fā)揮其重大作用。所謂機(jī)器視覺技術(shù)就是用機(jī)器眼、機(jī)器腦以及機(jī)器手代替人眼、人腦和人手來進(jìn)行檢測、測量、分析、判斷和決策控制，它能快速的獲取大量信息進(jìn)行自動處理，也能與設(shè)計(jì)信息、控制信息相集成，在一些不適合于人工作的危險環(huán)境或人的視覺精度難以滿足要求的場合，用機(jī)器視覺代替人工視覺完成工作。
目前，醫(yī)藥生產(chǎn)線上不透明或半透明口服液、安瓿及輸液瓶等產(chǎn)品的質(zhì)量遠(yuǎn)遠(yuǎn)達(dá)不到人們所期望的目標(biāo)，容器可能出現(xiàn)以下幾種問題1、容器壁密度分布不均；2、出現(xiàn)氣泡、結(jié)石或夾砂；3、生產(chǎn)傳輸過程中可能出現(xiàn)的損壞，導(dǎo)致容器產(chǎn)生裂痕、劃傷或缺損。飲料行業(yè)中，可重復(fù)使用飲料容器的質(zhì)量和清潔度檢測，該檢測包括的方面有1、瓶口破損；2、瓶身、瓶底破損；3、瓶內(nèi)存在固體異物，如玻璃碎片、細(xì)發(fā)、昆蟲等；4、瓶內(nèi)存在殘留液體。以上這些檢測問題，當(dāng)前大都是由人工來完成的，檢測的標(biāo)準(zhǔn)主觀、模糊，檢測的精度低、速度慢，且由于工作的重復(fù)性高，容易導(dǎo)致檢測人員疲勞，漏檢率更會隨之上升。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)中存在的人工檢測效率低、速度慢、精度低、漏檢率高、檢測人員容易疲勞等問題，提供一種適用于高速自動化生產(chǎn)流水線上的多種透明或半透明空瓶進(jìn)行質(zhì)量和清潔度檢測的方法以及使用該方法的多視覺空瓶檢測機(jī)器人。
解決本發(fā)明技術(shù)問題所采用的技術(shù)方案是一種多視覺空瓶質(zhì)量檢測方法，其特征在于該方法是通過安裝在生產(chǎn)流水線上空瓶的正上方和側(cè)面的工業(yè)級高清晰度攝像系統(tǒng)，獲取空瓶的瓶口和瓶身的圖像數(shù)據(jù)，傳送至主控計(jì)算機(jī)，主控計(jì)算機(jī)通過智能處理、分析和決策法，對圖像進(jìn)行綜合處理，根據(jù)處理結(jié)果，判斷產(chǎn)品是否合格；所述的智能處理、分析和決策法包括瓶口檢測法和瓶身檢測法，瓶口檢測法是首先采用圓心逼近法確定圖像中瓶口的中心點(diǎn)的坐標(biāo)，完成對瓶口的定位并確定待檢測區(qū)域，然后采用兩層神經(jīng)網(wǎng)絡(luò)在瓶口圖像的徑向投影上進(jìn)行檢測，判斷產(chǎn)品合格與否；瓶身檢測法是首先采用基于直方圖滑動窗口法，尋找瓶身中軸線的橫坐標(biāo)，完成瓶身的定位并確定待檢測區(qū)域，然后根據(jù)缺陷點(diǎn)與鄰近像素灰度的梯度值不同，對圖像進(jìn)行從左至右從上至下的掃描，判斷產(chǎn)品合格與否。
一種多視覺空瓶檢測機(jī)器人，其特征在于主要包括箱體、貫穿于箱體內(nèi)的產(chǎn)品傳送帶、光電傳感器、工業(yè)級高清晰度攝像系統(tǒng)、主控計(jì)算機(jī)和次品剔出裝置，箱體的一側(cè)為產(chǎn)品輸入口，另一側(cè)為產(chǎn)品輸出口，產(chǎn)品輸入口和產(chǎn)品輸出口分別與生產(chǎn)流水線的傳送帶連接，所述工業(yè)級高清晰度攝像系統(tǒng)安裝于箱體內(nèi)的頂部和側(cè)面，工業(yè)級高清晰度攝像系統(tǒng)通過圖像采集卡與主控計(jì)算機(jī)連接，主控計(jì)算機(jī)通過I/O接口與次品剔出裝置連接并控制其動作，次品剔出裝置位于產(chǎn)品輸出口同側(cè)。
本發(fā)明所產(chǎn)生的有益效果是該檢測方法和設(shè)備檢測速度快、精度高，大大提高了生產(chǎn)率，降低了生產(chǎn)成本。


圖1為本發(fā)明俯拍攝像機(jī)所拍攝到的瓶口的圖像(照片)；圖2為圖1中瓶口的圖像在拍攝過程當(dāng)中的位置變化效果圖(照片)；圖3為本發(fā)明瓶口檢測法中搜索瓶口圓心步驟圖；圖4為兩層神經(jīng)網(wǎng)絡(luò)示意圖；圖5為底層神經(jīng)網(wǎng)絡(luò)示意圖；圖6為瓶身邊緣點(diǎn)的直方圖；圖7為瓶身檢測中圖像的干擾和缺陷示意圖；圖8為本發(fā)明多視覺空瓶檢測機(jī)器人外觀圖；圖9為本發(fā)明多視覺空瓶檢測機(jī)器人主視圖；圖10為本發(fā)明多視覺空瓶檢測機(jī)器人俯視圖；圖11為本發(fā)明多視覺空瓶檢測機(jī)器人俯視結(jié)構(gòu)示意圖；圖12為本發(fā)明多視覺空瓶檢測機(jī)器人控制系統(tǒng)框圖；圖13為本發(fā)明多視覺空瓶檢測機(jī)器人的擊出器原理框圖；圖14為本發(fā)明多視覺空瓶檢測機(jī)器人機(jī)器臂結(jié)構(gòu)示意圖。
圖中1、箱體 2、產(chǎn)品傳送帶 3、光電傳感器4、次品剔出裝置 5、俯拍攝像機(jī) 6、側(cè)拍攝像機(jī)7、產(chǎn)品輸入口 8、產(chǎn)品輸出口 9、顯示器10、指示燈11、機(jī)器臂 12、擊出器13、次品回收處14、機(jī)電開關(guān)15、專用LED光源16、主控計(jì)算機(jī)17、圖像采集卡 18、黑白攝像機(jī)19、彩色攝像機(jī)20、步進(jìn)電機(jī)21、底座
22、肩部 23、肘部 24、手腕傾斜25、手腕旋轉(zhuǎn) 26、編碼器27、異物28、干擾 29、現(xiàn)場數(shù)據(jù)采集卡30、運(yùn)動控制卡具體實(shí)施方式
以下結(jié)合附圖對本發(fā)明做進(jìn)一步的詳細(xì)描述。
本發(fā)明的檢測方法是采用2臺攝像機(jī)(俯拍和側(cè)拍)分別對每個經(jīng)過流水生產(chǎn)線的產(chǎn)品(以檢測啤酒瓶為例)的瓶口和瓶側(cè)進(jìn)行拍照，獲取現(xiàn)場圖像，然后將圖像信號給主控計(jì)算機(jī)，主控計(jì)算機(jī)運(yùn)用智能處理、分析和決策法對所采集的圖像進(jìn)行綜合處理，并對被檢測的產(chǎn)品是否符合生產(chǎn)要求做出最終的判斷，發(fā)現(xiàn)有問題的產(chǎn)品，由主控計(jì)算機(jī)發(fā)出指令將次品剔除。
其具體檢測過程如下1、瓶口檢測法(1)判斷檢測區(qū)域在實(shí)際應(yīng)用中，瓶口檢測需要達(dá)到10瓶/秒，在某些高速流水線上甚至需要達(dá)到20瓶/秒。如此高的速度要求意味著檢測算法必須在不到100毫秒內(nèi)給出結(jié)果。如果對整個高分辨率的瓶口圖像進(jìn)行處理，顯然是一件費(fèi)時的過程，因此，減少待處理的區(qū)域是非常必要的。
如圖1所示，對于普通的瓶口，關(guān)鍵的部分僅限定在一個環(huán)狀區(qū)域內(nèi)，同時，由于瓶口的變化范圍僅在一個我們可以接受的范圍內(nèi)，所以外徑(R2)和內(nèi)徑(R1)可以預(yù)先決定，于是安裝一個光電傳感器在檢測位置，用于觸發(fā)圖像采集卡，但是，這個觸發(fā)系統(tǒng)容易造成采集圖像間明顯的誤差，而且，瓶子在高速傳送帶上的搖晃也容易造成較大的誤差(如圖2)。因此必須首先確定瓶口的圓心，這實(shí)際上是一個對圓進(jìn)行定位的問題。首先，我們的目的是找出圓心，參數(shù)空間的峰值即是我們要找的圓心。
該步有兩個參數(shù)(圓心的X和Y坐標(biāo))需要確定，針對這里只有一個瓶口，而且非常清晰，我們采用的方法是圓心逼近法從圓心附近的一個點(diǎn)出發(fā)，逐漸逼近圓心，最后到達(dá)圓心。我們只需要計(jì)算參數(shù)空間中很少數(shù)量的點(diǎn)，就能實(shí)現(xiàn)高速準(zhǔn)確的搜索，其詳細(xì)步驟請參閱圖3。
首先，通過大步長的掃描確定一個大致的中心(請參閱圖3a)。顯然，這個中心與瓶口的實(shí)際中心是很接近的。在第二步，一個圓形模板被采用。該圓的中心處在圖像主體的中心，它的半徑被初始化為一個很小的值，圓形模板將一步一步被增大，直到它的半徑到達(dá)瓶口的內(nèi)徑，如圖3b和圖3e。每個點(diǎn)(從P1到Pn)和模板的中心構(gòu)成一個向量，這些向量的總合 可由方程(1)計(jì)算出
S→=(Σi=1nXPi-nt·Xcenter,Σi=1nYPi-nt·Ycenter)---(1)]]>其中XPi和YPi是點(diǎn)Pi的坐標(biāo)，Xcenter和Ycenter是圓形模板的圓心坐標(biāo)；nt是到達(dá)瓶口內(nèi)徑邊緣的點(diǎn)的數(shù)目，圓形模板將順著 的方向接近瓶口中心。新的半徑和圓形模板的圓心坐標(biāo)可分別由(2)(3)(4)獲得Rnew＝R+STEP (2)Xnew＝X+cosβ·STEP (3)Ynew＝Y(jié)+sinβ·STEP (4)其中STEP=u·||S→||R·nt---(5)]]>R是當(dāng)前圓形模板的半徑；X和Y是當(dāng)前圓形模板圓心的坐標(biāo)；β是向量 和X軸的夾角；u是用于調(diào)整搜索速度和精確度的系數(shù)，u被設(shè)為1.1。更大的u將加快搜索速度，但同時會降低搜索的精確度。我們增大圓形模板的半徑，并一步步調(diào)整它的位置。當(dāng)圓形模板上占有足夠百分比(70％以上)的點(diǎn)與瓶口內(nèi)徑相匹配時，就認(rèn)為此時圓形模板的圓心是實(shí)際瓶口的中心。
(2)采用兩層神經(jīng)網(wǎng)絡(luò)方法的檢測在實(shí)際檢測應(yīng)用中，結(jié)合神經(jīng)網(wǎng)絡(luò)方法讓檢測系統(tǒng)自己設(shè)計(jì)和調(diào)整檢測規(guī)則，如圖4，采用兩層神經(jīng)網(wǎng)絡(luò)分別實(shí)現(xiàn)底層的檢測和高層的判斷。
首先，底層神經(jīng)網(wǎng)絡(luò)將對瓶口的連續(xù)部分進(jìn)行檢測，這些部分在一定范圍內(nèi)有重疊。這意味著，對于瓶口圖像中的相同點(diǎn)，底層神經(jīng)網(wǎng)絡(luò)可能在幾個不同的輸入模式中對其進(jìn)行重復(fù)檢測。在輸入高層神經(jīng)網(wǎng)絡(luò)之前，底層神經(jīng)網(wǎng)絡(luò)的輸出將通過一個閾值被轉(zhuǎn)化為二進(jìn)制數(shù)值，以減少輸入高層神經(jīng)網(wǎng)絡(luò)的輸入模式數(shù)量。在這種情況下，即使由于底層神經(jīng)網(wǎng)絡(luò)對輸入模式過分敏感而產(chǎn)生了錯誤輸出，高層神經(jīng)網(wǎng)絡(luò)也可以通過最終評判消除誤差，使算法具有較好的可靠性和魯棒性。底層神經(jīng)網(wǎng)絡(luò)擁有10個輸入結(jié)點(diǎn)，8個隱藏結(jié)點(diǎn)和1個輸出結(jié)點(diǎn)，高層神經(jīng)網(wǎng)絡(luò)則擁有10個輸入結(jié)點(diǎn)，6個隱藏結(jié)點(diǎn)和1個輸出結(jié)點(diǎn)，所述兩層神經(jīng)網(wǎng)絡(luò)均采用反向傳播學(xué)習(xí)算法(BP學(xué)習(xí)算法)。
在底層神經(jīng)網(wǎng)絡(luò)中，如圖5，輸入結(jié)點(diǎn)1到結(jié)點(diǎn)9表示瓶口圖像徑向投影的差分特性，由方程(6)計(jì)算；輸入結(jié)點(diǎn)10表示檢測區(qū)域的灰度，由方程(7)計(jì)算。
Inputi=Σr=R1R2G(X(i+1,r),Y(i+1,r))-Σr=R1R2G(X(i,r),Y(i,r)),(i=1to9)---(6)]]>
Input10=Σi=19Σr=R1R2G(X(i,r),Y(i,r))---(7)]]>其中X(i，r)＝Xcenter+r·cos(β+i·STEP)(8)Y(i，r)＝Y(jié)center+r·sin(β+i·STEP)(9)G(X，Y)是圖像上點(diǎn)(X，Y)的灰度值；R1和R2分別為人工標(biāo)定的檢測區(qū)域的內(nèi)徑和外徑；Xcenter和Ycenter代表前面獲得的瓶口中心的坐標(biāo)，STEP是采樣的步長，β是向量 和X軸的夾角。
采樣從β開始，范圍是R1到R2，連續(xù)采樣9步。神經(jīng)網(wǎng)絡(luò)的輸出用“1”表示合格瓶口，用“0”表示不合格瓶口，高層神經(jīng)網(wǎng)絡(luò)的輸入定義如方程(10)IHNN=0.8ifOutputLNN>T10.2otherwise---(10)]]>其中OutputLNN表示底層神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出，T1是一個預(yù)先給定的閾值，如果底層神經(jīng)網(wǎng)絡(luò)的輸出大于T2，就認(rèn)定為不合格，應(yīng)該被剔出。在我們的應(yīng)用中，STEP＝0.018，T1＝0.3，T2＝0.5。因?yàn)樯窠?jīng)網(wǎng)絡(luò)完成了所有復(fù)雜的分析，所以整個檢測過程是很簡單的，檢測工作者需要做的只是正確的訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
兩層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是分開進(jìn)行的，首先訓(xùn)練底層神經(jīng)網(wǎng)絡(luò)，建立一個圖像數(shù)據(jù)庫用于存儲所有樣本圖像。
接下來，神經(jīng)網(wǎng)絡(luò)將被應(yīng)用于實(shí)際檢測，進(jìn)行在線學(xué)習(xí)。
當(dāng)錯誤出現(xiàn)時，檢測人員將決定是否有必要將錯誤的檢測案例輸入樣本圖像數(shù)據(jù)庫。如果新輸入到數(shù)據(jù)庫的樣本數(shù)量達(dá)到一個閾值，我們接著用新樣本庫中的樣本對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。采用這種方法，錯誤案例的出現(xiàn)將會越來越少，最終使得檢測結(jié)果達(dá)到我們的要求。當(dāng)?shù)讓由窠?jīng)網(wǎng)絡(luò)達(dá)到要求后，再對高層神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，由于輸入模式數(shù)量的減少，高層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練相對容易。在整個訓(xùn)練過程中，檢測工作者只需以正確的方式將樣本添加進(jìn)數(shù)據(jù)庫。當(dāng)檢測系統(tǒng)被用在其它環(huán)境下時，如較小瓶口的檢測，我們只需輸入足夠的樣本讓系統(tǒng)進(jìn)行自調(diào)整。這種彈性設(shè)計(jì)對于機(jī)器視覺系統(tǒng)往往是非常重要的。
2、瓶身檢測算法(1)判斷檢測區(qū)域考慮到在線檢測的圖像中包含許多不確定因素，有時甚至?xí)霈F(xiàn)大范圍的干擾，所以瓶身檢測的區(qū)域確定必須具有很好的魯棒性。傳統(tǒng)的高斯算法速度過慢不適用于這種高速檢測的應(yīng)用，采用的是一種基于直方圖滑動窗口的方法對檢測區(qū)域進(jìn)行定位。
首先，將瓶身圖像分為左右兩部分，建立數(shù)學(xué)模型，分別用方程(1)和(2)計(jì)算圖像的差分變化；f(i，j)＝2f(i，j)-f(i+1，j)-f(i，j+1) (1)f(i，j)＝2f(i，j)-f(i-1，j)-f(i，j+1) (2)第二步，通過恰當(dāng)?shù)倪x擇閾值可獲得從瓶頸到瓶嘴的邊緣點(diǎn)，由方程(3)計(jì)算瓶身中軸線橫坐標(biāo)的參考值。
Xri=Li+Ri2,(i=1,2,3...n)---(3)]]>第三步，在圖像的每行只需兩個邊緣點(diǎn)(Li，Ri)，其中一個在左半部，一個在右半部，瓶身垂軸的參考坐標(biāo)由方程(3)計(jì)算，通過對Xr的統(tǒng)計(jì)可以獲得Xr的直方圖(如圖6)。
第四步，假定一個寬為T的窗口在直方圖上滑動，根據(jù)方程(4)計(jì)算出當(dāng)前窗口內(nèi)直方圖總和S(X)，當(dāng)滑動窗口從C1移到Cm時，可得到一個最大的S(X)，進(jìn)而可由(5)式最終確定瓶身中軸線的橫坐標(biāo)。
S(X)=ΣXr=XX+TH(Xr)---(4)Xd=ΣXr=XX+T[Xr·H(Xr)]ΣXr=XX+TH(Xr)---(5)]]>其中X滿足S(X)=maxX∈[C1,Cm]S(X).]]>這種算法運(yùn)用統(tǒng)計(jì)方法去除了分布干擾。
(2)瓶身檢測如圖7所示，在缺陷的邊沿圖像強(qiáng)度的變化比其它部分要大得多，換句話說，邊緣出現(xiàn)在缺陷周圍。因此，似乎邊緣檢測算子可以用于尋找缺陷。但瓶身玻璃的不均衡性，使得大量的干擾比缺陷具有更明顯的邊沿特性。在這種情況下，傳統(tǒng)的邊沿檢測算法是不適用的。
在實(shí)際檢測中，缺陷還具有另一個重要特征它的亮度比鄰近像素點(diǎn)暗些。因此，如果我們對圖像進(jìn)行從左至右從上到下的掃描，在缺陷處，我們首先遇到下降沿然后是上升沿。采用下面的算法我們可以獲得理想的結(jié)果第一步從左至右掃描圖像的每一行，使用式(6)計(jì)算每一點(diǎn)的梯度值GH。如果GH大于閾值TH，就將該點(diǎn)作為下降邊沿的候選點(diǎn)，其梯度GH存于GHS中。
GH(i，j)＝2f(i，j)-f(i+1，j)-f(i+1，j+1) (6)GV(i，j)＝2f(i，j)-f(i，j+1)-f(i-1，j+1) (7)其中f(i，j)是點(diǎn)(i，j)的灰度值；第二步繼續(xù)掃描圖像并計(jì)算梯度GH。如果GH＞GHS，則用當(dāng)前點(diǎn)替換先前找到的點(diǎn)作為下降沿的候選點(diǎn)，其梯度GH存于GHS中。如果GH＜-TH，則先前找到的點(diǎn)可以確認(rèn)為異物的下降邊緣點(diǎn)。而當(dāng)前點(diǎn)被作為上升邊緣點(diǎn)的一個候選點(diǎn)，其梯度GH存于GHS中。
第三步繼續(xù)掃描圖像計(jì)算梯度GH。如果GH＜GHS，則用當(dāng)前點(diǎn)替換先前找到的點(diǎn)作為上升沿的候選點(diǎn)，其梯度GH存于GHS中。如果GH≤0，或當(dāng)前一行圖像掃描結(jié)束，則先前找到的點(diǎn)可以確認(rèn)為異物的上升邊緣點(diǎn)。
第四步如果找到的下降邊緣點(diǎn)與上升邊緣點(diǎn)的距離小于閾值Tw，則兩點(diǎn)之間的所有點(diǎn)被確認(rèn)為屬于異物的像素點(diǎn)。
第五步用同樣的方式，從上到下掃描圖像的每一列，但使用式(7)計(jì)算每一點(diǎn)的梯度。
第六步使用式(8)和閾值Ta來搜尋圖像上非常暗的點(diǎn)。如果f(i，j)＜(Ia-Ta)，則該點(diǎn)也被認(rèn)為屬于缺陷點(diǎn)。
Ia(i，j)＝{f(i+4，j)+f(i-4，j)+f(i，j+4)+f(i，j-4)+f(i，j+8)+f(i，j-8)}/6 (8)第七步計(jì)算連接在一起的缺陷點(diǎn)的個數(shù)Nc，即計(jì)算異物的面積，如果Nc大于閾值Tsize，則該異物被最終確認(rèn)。
采用上面的算法，除了能獲得缺陷的位置外，我們同樣可以得到缺陷的大小，這對于瓶身質(zhì)量的評價是相當(dāng)重要的。
綜上所述，對于瓶口檢測和瓶身檢測，只要有一處不合格者則被認(rèn)定為次品，此時，主控計(jì)算機(jī)發(fā)出信號給分離裝置剔出次品。合格空瓶保留在流水線上進(jìn)入下一道工序。
根據(jù)以上方法，由此設(shè)計(jì)出一種多視覺空瓶檢測機(jī)器人，其具體實(shí)施方式
如下所述如圖8、9、10、11、12所示，該多視覺空瓶檢測機(jī)器人主要包括箱體1、貫穿于箱體內(nèi)的產(chǎn)品傳送帶2、光電傳感器3、工業(yè)級高清晰度攝像系統(tǒng)所包括的俯拍攝像機(jī)5、側(cè)拍攝像機(jī)6和專用LED光源15、主控計(jì)算機(jī)16和次品剔出裝置4所包括的機(jī)械手11和擊出器12，箱體1的一側(cè)為產(chǎn)品輸入口7，另一側(cè)為產(chǎn)品輸出口8，產(chǎn)品輸入口7和產(chǎn)品輸出口8分別與生產(chǎn)流水線的傳送帶連接，工業(yè)級高清晰度攝像系統(tǒng)所包括的俯拍攝像機(jī)5和側(cè)拍攝像機(jī)6安裝于箱體內(nèi)部的傳送帶旁的支架上，工業(yè)級高清晰度攝像系統(tǒng)通過圖像采集卡17與主控計(jì)算機(jī)16的I/O接口連接，主控計(jì)算機(jī)16和次品剔出裝置4連接并控制其動作，次品剔出裝置4位于產(chǎn)品輸出口8同側(cè)。
次品剔出裝置4包括一個機(jī)器臂11和一個擊出器12，機(jī)器臂11和擊出器12分別設(shè)置于產(chǎn)品輸出口8處的產(chǎn)品傳送帶兩側(cè)，如圖11所示。
如圖12，本發(fā)明多視覺空瓶檢測機(jī)器人控制系統(tǒng)框圖，多視覺空瓶檢測機(jī)器人通過圖像采集卡17和現(xiàn)場數(shù)據(jù)采集卡29連接到主控計(jì)算機(jī)16，由環(huán)型低角度專用LED光源15、彩色攝像機(jī)19、產(chǎn)品位置傳感器3組成產(chǎn)品頂部檢測模塊；由平面透射型專用LED光源15、黑白攝像機(jī)18、產(chǎn)品位置傳感器3組成的產(chǎn)品側(cè)面檢測模塊。
主控計(jì)算機(jī)內(nèi)安裝有運(yùn)動控制卡30，并與步進(jìn)電機(jī)20相連，步進(jìn)電機(jī)20上裝有旋轉(zhuǎn)編碼器26，主控計(jì)算機(jī)16通過運(yùn)動控制卡對步進(jìn)電機(jī)20的轉(zhuǎn)速和步數(shù)進(jìn)行控制，且存有通過旋轉(zhuǎn)編碼器26計(jì)算得的兩個檢測模塊距離次品剔出裝置的距離。
次品剔出裝置4中的機(jī)器臂11能夠按照給定的控制指令將次品一個個挑出，擊出器12也能按照給定的控制指令，通過擊出面與物品發(fā)生碰撞，從而將傳送帶上位于擊出面正前方的被傳送的物品從傳送帶上迅速、準(zhǔn)確、可靠地?fù)舫鰜恚腿肓硗獾膫魉途€或送入一個特定的次品回收處13。
如圖13，為擊出器原理框圖，其中控制器通過通信接口接收控制指令，并負(fù)責(zé)完成對驅(qū)動部件的運(yùn)動控制。使用氣缸作為驅(qū)動部件，氣源通過氣壓調(diào)節(jié)設(shè)備提供一定壓力的氣體，控制器通過控制電磁閥的開關(guān)來控制氣流的導(dǎo)通方向，從而驅(qū)動氣缸的往復(fù)運(yùn)動，完成擊出動作。通過氣壓調(diào)節(jié)設(shè)備調(diào)節(jié)氣壓以及通過控制器改變電磁閥的開通與關(guān)閉的時間間隙，可以改變氣動式驅(qū)動部件的運(yùn)動速度，以適應(yīng)不同生產(chǎn)要求。
如圖14，次品剔出裝置4中的機(jī)器臂11是一種專門用于流水線上物品抓取的安全可靠的5軸機(jī)器臂系統(tǒng)。該系統(tǒng)動作連貫、迅速、準(zhǔn)確，實(shí)時性好，高性能的處理器使得系統(tǒng)能夠進(jìn)行多任務(wù)處理。
性能上該機(jī)器臂有11個控制軸、16個輸入端口、16個輸出端口，同時，還支持多個外圍設(shè)備與之配合工作。其性能指標(biāo)如下機(jī)器結(jié)構(gòu)包括底座21、肩部22、肘部23、手腕傾斜24、手腕旋轉(zhuǎn)25、屬于垂直關(guān)節(jié)、開放式結(jié)構(gòu)。
自由度5轉(zhuǎn)動軸+抓物鉗有效載荷1公斤軸的活動范圍軸1基座旋轉(zhuǎn) 310°軸2肩部旋轉(zhuǎn) 130°/-35°軸3肘部旋轉(zhuǎn) 130°軸4手腕傾斜 130°軸5手腕旋轉(zhuǎn) 無限制(機(jī)械)；±570°(電氣)。
權(quán)利要求
1.一種多視覺空瓶質(zhì)量檢測方法，其特征在于該方法是通過安裝在生產(chǎn)流水線上空瓶的正上方和側(cè)面的工業(yè)級高清晰度攝像系統(tǒng)，獲取空瓶的瓶口和瓶身的圖像數(shù)據(jù)，傳送至主控計(jì)算機(jī)，主控計(jì)算機(jī)通過智能處理、分析和決策法，對圖像進(jìn)行綜合處理，根據(jù)處理結(jié)果，判斷產(chǎn)品是否合格所述的智能處理、分析和決策法包括瓶口檢測法和瓶身檢測法，瓶口檢測法是首先采用圓心逼近法確定圖像中瓶口的中心點(diǎn)的坐標(biāo)，完成對瓶口的定位并確定待檢測區(qū)域，然后采用兩層神經(jīng)網(wǎng)絡(luò)在瓶口圖像的徑向投影上進(jìn)行檢測，判斷產(chǎn)品合格與否；瓶身檢測法是首先采用基于直方圖滑動窗口法，尋找瓶身中軸線的橫坐標(biāo)，完成瓶身的定位并確定待檢測區(qū)域，然后根據(jù)缺陷點(diǎn)與鄰近像素灰度的梯度值不同，對圖像進(jìn)行從左至右從上至下的掃描，判斷產(chǎn)品合格與否。
2.根據(jù)權(quán)利要求1所述的多視覺空瓶質(zhì)量檢測方法，其特征在于所述的圓心逼近法包括如下步驟第一步通過大步長掃描確定一個大致的瓶口圓心，初始化半徑為一個很小的值，建立一個圓形模板第二步逐步增大圖形摸板的半徑，直到它的半徑到達(dá)瓶口的內(nèi)徑，與瓶口內(nèi)徑重疊的每個點(diǎn)和模板的中心構(gòu)成一個向量，這些向量的總合 可由方程(1)計(jì)算出S→=(Σi=1NXPi-nt·Xcenter,Σi=1nYPi-nt·Ycenter)---(1)]]>其中XPi和YPi是點(diǎn)Pi的坐標(biāo)，Xcenter和Ycenter是圓形模板的圓心坐標(biāo)，nt是到達(dá)瓶口內(nèi)徑邊緣的點(diǎn)的數(shù)目；第三步圓形模板將順著 的方向接近瓶口中心，新的半徑和圓形模板的圓心坐標(biāo)可分別由(2)(3)(4)(5)獲得Rnew＝R+STEP (2)Xnew＝X+cosβ·STEP(3)Ynew＝Y(jié)+sinβ·STEP(4)STEP=u·||S→||R·nt----(5)]]>其中R是當(dāng)前圓形模板的半徑，X和Y是當(dāng)前圓形模板圓心的坐標(biāo)，β是向量 和X軸的夾角，u是用于調(diào)整搜索速度和精確度的系數(shù)，設(shè)為1.1；第四步逐步調(diào)整圖形摸板圓心位置，當(dāng)圖形摸板上占有70％以上的點(diǎn)與瓶口內(nèi)徑相匹配時，該圖形模板的中心即為瓶口的實(shí)際圓心。
3.根據(jù)權(quán)利要求1所述的多視覺空瓶質(zhì)量檢測方法，其特征在于所述的兩層神經(jīng)網(wǎng)絡(luò)分為底層神經(jīng)網(wǎng)絡(luò)和高層神經(jīng)網(wǎng)絡(luò)，底層神經(jīng)網(wǎng)絡(luò)擁有10個輸入結(jié)點(diǎn)，8個隱藏結(jié)點(diǎn)和1個輸出結(jié)點(diǎn)，高層神經(jīng)網(wǎng)絡(luò)擁有10個輸入結(jié)點(diǎn)，6個隱藏結(jié)點(diǎn)和1個輸出結(jié)點(diǎn)，所述的兩層神經(jīng)網(wǎng)絡(luò)均采用反向傳播學(xué)習(xí)算法。
4.根據(jù)權(quán)利要求3所述的多視覺空瓶質(zhì)量檢測方法，其特征在于所述的底層神經(jīng)網(wǎng)絡(luò)中輸入結(jié)點(diǎn)1到結(jié)點(diǎn)9代表了瓶口圖像徑向投影的差分特征，由以下公式計(jì)算Inputi=Σr=R1R2G(X(i+1,r),Y(i+1,r))-Σr=R1R2G(X(i,r),Y(i,r))(i=1to9)]]>輸入結(jié)點(diǎn)10代表了檢測區(qū)域的灰度特征，由以下公式計(jì)算Input10=Σi=19Σr=R1R2G(X(i,r),Y(i,r))]]>其中X(i，r)＝Xcenter+r·cos(β+i·STEP)Y(i，r)＝Y(jié)center+r·sin(β+i·STEP)G(X，Y)為圖像上點(diǎn)(X，Y)的灰度值，R1和R2分別是人工標(biāo)定的檢測區(qū)域的內(nèi)徑和外徑，Xcenter和Ycenter代表前面獲得的瓶口中心的坐標(biāo)，STEP是采樣的步長，β是向量 和X軸的夾角，采樣從β開始，連續(xù)采樣9步，神經(jīng)網(wǎng)絡(luò)的輸出用“1”表示合格瓶口，用“0”表示不合格瓶口。
5.根據(jù)權(quán)利要求3所述的多視覺空瓶質(zhì)量檢測方法，其特征在于所述的高層神經(jīng)網(wǎng)絡(luò)輸入定義方程為IHNN=0.8ifOutputLNN>T10.2otherwise]]>OutputLNN表示底層神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出，T1是一個預(yù)先給定的閾值，如果底層神經(jīng)網(wǎng)絡(luò)的輸出大于T2，就認(rèn)定為不合格，應(yīng)該被剔出，在應(yīng)用中，STEP＝0.018，T1＝0.3，T2＝0.5。
6.根據(jù)權(quán)利要求1、2、3、4、5中任意一項(xiàng)所述的多視覺空瓶質(zhì)量檢測方法，其特征在于所述的基于直方圖滑動窗口的方法如下第一步將瓶身圖像分為左右兩部分，建立數(shù)學(xué)模型，分別用方程(1)和(2)計(jì)算圖像的差分變化；f(i，j)＝2f(i，j)-f(i+1，j)-f(i，j+1) (1)f(i，j)＝2f(i，j)-f(i-1，j)-f(i，j+1) (2)第二步通過選擇閥值獲得從瓶頸到瓶嘴部分的邊緣點(diǎn)，由方程(3)計(jì)算瓶身中軸線橫坐標(biāo)的參考值；Xri=Li+Ri2(i=1,2,3...n)----(3)]]>第三步通過對Xr的統(tǒng)計(jì)獲得Xr的直方圖；第四步假定一個寬為T的窗口在直方圖上滑動，根據(jù)方程(4)計(jì)算出當(dāng)前窗口內(nèi)直方圖總和S(X)，當(dāng)滑動窗口從C1移到Cm時，可得到一個最大的S(X)，進(jìn)而可由(5)式最終確定瓶身中軸線的橫坐標(biāo)，S(X)=ΣXr=XX+TH(Xr)----(4)]]>Xd=ΣXr=XX+T[Xr·H(Xr)]ΣXr=XX+TH(Xr)----(5)]]>其中X滿足S(X)=maxX∈[C1,Cm]S(X).]]>
7.根據(jù)權(quán)利要求6所述的多視覺空瓶質(zhì)量檢測方法，其特征在于所述的對圖像進(jìn)行從左至右從上至下的掃描包括如下步驟第一步從左至右掃描圖像的每一行，使用式(6)計(jì)算每一點(diǎn)的梯度值GH，如果GH大于閾值TH，就將該點(diǎn)作為下降邊沿的候選點(diǎn)，其梯度GH存于GHS中，GH(i，j)＝2f(i，j)-f(i+1，j)-f(i+1，j+1) (6)GV(i，j)＝2f(i，j)-f(i，j+1)-f(i-1，j+1) (7)其中f(i，j)是點(diǎn)(i，j)的灰度值；第二步繼續(xù)掃描圖像并計(jì)算梯度GH，如果GH＞GHS，則用當(dāng)前點(diǎn)替換先前找到的點(diǎn)作為下降沿的候選點(diǎn)，其梯度GH存于GHS中，如果GH＜-TH，則先前找到的點(diǎn)可以確認(rèn)為異物的下降邊緣點(diǎn)，而當(dāng)前點(diǎn)被作為上升邊緣點(diǎn)的一個候選點(diǎn)，其梯度GH存于GHS中；第三步繼續(xù)掃描圖像計(jì)算梯度GH，如果GH＜GHS，則用當(dāng)前點(diǎn)替換先前找到的點(diǎn)作為上升沿的候選點(diǎn)，其梯度GH存于GHS中，如果GH≤0，或當(dāng)前一行圖像掃描結(jié)束，則先前找到的點(diǎn)可以確認(rèn)為異物的上升邊緣點(diǎn)；第四步如果找到的下降邊緣點(diǎn)與上升邊緣點(diǎn)的距離小于閾值Tw，則兩點(diǎn)之間的所有點(diǎn)被確認(rèn)為屬于異物的像素點(diǎn)；第五步用同樣的方式，從上到下掃描圖像的每一列，但使用式(7)計(jì)算每一點(diǎn)的梯度；第六步使用式(8)和閾值Ta來搜尋圖像上非常暗的點(diǎn)，如果f(i，j)＜(Ia-Ta)，則該點(diǎn)也被認(rèn)為屬于缺陷點(diǎn)；Ia(i，j)＝{f(i+4，j)+f(i-4，j)+f(i，j+4)+f(i，j-4)+f(i，j+8)+f(i，j-8)}/6 (8)第七步計(jì)算連接在一起的缺陷點(diǎn)的個數(shù)Nc，即計(jì)算異物的面積，如果Nc大于閾值Tsize，則該異物被最終確認(rèn)。
8.一種根據(jù)權(quán)利要求1所述檢測方法而設(shè)計(jì)的多視覺空瓶檢測機(jī)器人，其特征在于主要包括箱體、貫穿于箱體內(nèi)的產(chǎn)品傳送帶、光電傳感器、工業(yè)級高清晰度攝像系統(tǒng)、主控計(jì)算機(jī)和次品剔出裝置，箱體的一側(cè)為產(chǎn)品輸入口，另一側(cè)為產(chǎn)品輸出口，產(chǎn)品輸入口和產(chǎn)品輸出口分別與生產(chǎn)流水線的傳送帶連接，所述工業(yè)級高清晰度攝像系統(tǒng)安裝于箱體內(nèi)的頂部和側(cè)面，工業(yè)級高清晰度攝像系統(tǒng)通過圖像采集卡與主控計(jì)算機(jī)連接，主控計(jì)算機(jī)通過I/O接口與次品剔出裝置連接并控制其動作，次品剔出裝置位于產(chǎn)品輸出口同側(cè)。
9.根據(jù)權(quán)利要求8所述的多視覺空瓶檢測機(jī)器人，其特征在于所述的工業(yè)級高清晰度攝像系統(tǒng)為CCD攝像機(jī)及其配套的專用LED光源，其包括俯拍攝像機(jī)和側(cè)拍攝像機(jī)，所述俯拍攝像機(jī)和側(cè)拍攝像機(jī)安裝于箱體內(nèi)部的傳送帶旁的支架上。
10.根據(jù)權(quán)利要求8或9所述的多視覺空瓶檢測機(jī)器人，其特征在于所述的次品剔出裝置包括一個機(jī)械手和一個擊出器，所述機(jī)械手和擊出器分別設(shè)置于產(chǎn)品輸出口處的產(chǎn)品傳送帶兩側(cè)。
全文摘要
本發(fā)明公開了一種適用于高速自動化生產(chǎn)流水線上的多種透明或半透明空瓶進(jìn)行質(zhì)量和清潔度檢測的方法及根據(jù)此方法所設(shè)計(jì)的多視覺空瓶檢測機(jī)器人，該檢測方法是一種基于數(shù)字圖像處理和兩層神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)智能處理、分析和決策法，根據(jù)瓶口和瓶身的圖像特性，判斷瓶子合格與否；根據(jù)此方法制造的一種多視覺空瓶檢測機(jī)器人，主要包括箱體、貫穿于箱體內(nèi)的產(chǎn)品傳送帶、光電傳感器、工業(yè)級高清晰度攝像系統(tǒng)、主控計(jì)算機(jī)和次品剔出裝置，其主要是在箱體內(nèi)的頂部和側(cè)面都設(shè)置有光電傳感器和工業(yè)級高清晰度攝像系統(tǒng)，采集到瓶口和瓶身的圖像給主控計(jì)算機(jī)進(jìn)行處理、判斷產(chǎn)品是否合格，該檢測方法和設(shè)備檢測速度快、精度高，大大提高了生產(chǎn)率，降低了生產(chǎn)成本。
文檔編號B07C5/34GK1719236SQ200510031958
公開日2006年1月11日 申請日期2005年8月2日 優(yōu)先權(quán)日2005年8月2日
發(fā)明者王耀南, 段峰, 劉煥軍, 李楊果, 王威, 劉良江 申請人:湖南大學(xué)