基于視頻的生產(chǎn)線物品部件運(yùn)動檢測與跟蹤方法
【專利摘要】本發(fā)明涉及自動化生產(chǎn)線領(lǐng)域內(nèi)的一種基于視頻的生產(chǎn)線物品部件運(yùn)動檢測與跟蹤方法，采用了單個數(shù)字?jǐn)z像機(jī)采集生產(chǎn)線物品的運(yùn)送圖像，采用背景差分和物體特征建模，實(shí)現(xiàn)對運(yùn)動物體和生產(chǎn)線背景的圖像分割。在生產(chǎn)線正常運(yùn)行過程中，通過背景差分，確定生產(chǎn)線的背景區(qū)域和運(yùn)動物品部件區(qū)域，并對產(chǎn)品進(jìn)行表面特征和輪廓特征進(jìn)行建模。在生產(chǎn)線的裝配過程中，背景圖像的高斯模型將不斷更新，以更好地對生產(chǎn)線上的物體部件進(jìn)行分割而不受到外界環(huán)境干擾的影響。同時在多幅圖像中對其各自運(yùn)動軌跡的進(jìn)行匹配，從而實(shí)現(xiàn)對多個物體連續(xù)跟蹤。本發(fā)明能夠提高連續(xù)運(yùn)動中的產(chǎn)品部件位置計算的可靠性，可準(zhǔn)確跟蹤物品，可滿足產(chǎn)品裝配自動化的需要。
【專利說明】基于視頻的生產(chǎn)線物品部件運(yùn)動檢測與跟蹤方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種自動生產(chǎn)線，特別涉及利用圖像對運(yùn)動物品進(jìn)行檢測與定位的方法。

【背景技術(shù)】
[0002]機(jī)器視覺伴隨計算機(jī)技術(shù)、現(xiàn)場總線技術(shù)的發(fā)展而日益成熟，已是現(xiàn)代工業(yè)自動化生產(chǎn)中不可或缺的組成部分，廣泛應(yīng)用于汽車、食品、醫(yī)藥、化工、機(jī)械加工、電子器件等行業(yè)。隨著計算機(jī)硬件價格的降低，裝備視覺系統(tǒng)的生產(chǎn)線可以有效替代多個人工操作者。同時，新型生產(chǎn)線能夠靈活的進(jìn)行各種不同的任務(wù)。對于不同的應(yīng)用，只需要對視覺系統(tǒng)的軟件加以更新或升級以適應(yīng)新需求即可。由于疲勞的原因，傳統(tǒng)生產(chǎn)線的人工操作者難以保證持續(xù)性的準(zhǔn)確操作。裝配了視覺系統(tǒng)，生產(chǎn)線可以極大的減少操作誤差，有效保證生產(chǎn)質(zhì)量。
[0003]當(dāng)前很多生產(chǎn)線上使用了大量的工業(yè)機(jī)器人完成產(chǎn)品裝配過程中的物品抓取和放置工作。與人工操作相比，機(jī)器人的引入大大提高了生產(chǎn)效率，但是由于多數(shù)工業(yè)機(jī)器人需要提前預(yù)設(shè)系統(tǒng)參數(shù)，并且要求物品以極高的精度出現(xiàn)在固定的位置。當(dāng)意外情況出現(xiàn)時，機(jī)器人可能無法抓取物品，從而造成裝配過程的中斷。這極大的限制了生產(chǎn)的靈活性。如果這種工業(yè)機(jī)器人配備了視覺系統(tǒng)，可以實(shí)時感知外界環(huán)境，在產(chǎn)品裝配過程中就擁有了自適應(yīng)和自我調(diào)節(jié)能力。
[0004]基于機(jī)器視覺的生產(chǎn)線，在產(chǎn)品的自動裝配過程中，需要計算機(jī)對于攝像機(jī)采集到的數(shù)據(jù)進(jìn)行分析。這包括對每一幀圖像中產(chǎn)品部件的位置進(jìn)行自動檢測，并在運(yùn)動狀態(tài)下可以準(zhǔn)確跟蹤該部件的位置圖像坐標(biāo)。
[0005]目前常用的運(yùn)動物體的檢測與跟蹤方法首先建立背景環(huán)境模型，通過攝像頭按照不同幀采集得到的圖像會與背景模型進(jìn)行對比，當(dāng)畫面有變化時，如有物體出現(xiàn)，計算比較結(jié)果得出的數(shù)字會超過閾值并指示系統(tǒng)能自動作出相應(yīng)的處理。然而，由于背景圖像的動態(tài)變化，如光照、影子及混亂干擾等的影響，使得運(yùn)動檢測成為一項相當(dāng)困難的工作。已有的視覺跟蹤技術(shù)采用背景差分法，是通過對給定的視頻序列圖像進(jìn)行學(xué)習(xí)，使用特定的數(shù)學(xué)模型來對圖像中場景的背景進(jìn)行建模并存儲起來，然后用當(dāng)前的視頻序列圖像與存儲的背景模型做差分并通過選定適當(dāng)?shù)拈撝祦矶祷?，最終就得到相應(yīng)的運(yùn)動區(qū)域。該法在場景比較簡單時，使用簡單的背景模型可得到很好的檢測效果，但在復(fù)雜多變的場景，就會出現(xiàn)過多的漏檢現(xiàn)象。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是提供一種基于視頻的生產(chǎn)線物品部件運(yùn)動檢測與跟蹤方法，使其能夠在復(fù)雜生產(chǎn)裝配環(huán)境下，可以從圖像中準(zhǔn)確檢測與跟蹤運(yùn)動物體的位置坐標(biāo)。
[0007]本發(fā)明的目的是這樣實(shí)現(xiàn)的:一種基于視頻的生產(chǎn)線物品部件運(yùn)動檢測與跟蹤方法，包括如下步驟: 1)圖像獲取:通過單個數(shù)字?jǐn)z像機(jī)獲取空載運(yùn)行的生產(chǎn)線圖像和實(shí)際運(yùn)行的生產(chǎn)線圖像；
2)背景生成:對獲取的幾秒鐘的空載運(yùn)行圖像進(jìn)行高斯濾波，以減小背景中的噪聲；然后進(jìn)行統(tǒng)計，建立背景圖像的高斯模型；
3)背景差分:將獲取的生產(chǎn)線實(shí)際運(yùn)行圖像與步驟2)中的背景模型的像素平均值進(jìn)行絕對值減法運(yùn)算，當(dāng)該像素的絕對值小于背景模型方差的3倍，將該像素點(diǎn)劃分為背景；
4)前景分割:將獲取的生產(chǎn)線實(shí)際運(yùn)行圖像與步驟2)中的背景模型的像素平均值進(jìn)行絕對值減法運(yùn)算，當(dāng)該像素的絕對值超過背景模型方差的3倍，將其劃分為前景；
5)物體標(biāo)識:對于步驟4)所獲得的前景像素進(jìn)行連通區(qū)域標(biāo)記，再計算每個區(qū)域的面積；用預(yù)先設(shè)定的面積閾值剔除掉部分面積很小的區(qū)域；獲取物品的顏色直方圖和二維輪廓模型，如果物品的顏色直方圖和二維輪廓模型相吻合，則進(jìn)入步驟6)，如果物品的顏色直方圖和二維輪廓模型不一致，則跳轉(zhuǎn)到步驟8)建立新的模型；
6)粒子濾波:計算步驟5)中的區(qū)域圖像中心坐標(biāo)；使用粒子濾波方法來追蹤當(dāng)前坐標(biāo)在連續(xù)圖像中的運(yùn)動軌跡，為后續(xù)的自動控制提供物品的位置信息；
7)背景模型更新:使用前景區(qū)域之外的每個像素來對更新高斯背景模型；提取實(shí)時背景圖像，進(jìn)行背景建模后，對高斯背景模型進(jìn)行更新；
8)物體特征模型更新:一旦每個區(qū)域的中心點(diǎn)能夠在連續(xù)的幾幅圖像中被跟蹤，則提取區(qū)域的顏色直方圖和輪廓形狀；將多幅圖像中跟蹤的區(qū)域的顏色直方圖與輪廓模型進(jìn)行平均來建立物品的表面和輪廓模型，并對前景進(jìn)行更新。
[0008]本發(fā)明由單個數(shù)字?jǐn)z像機(jī)采集生產(chǎn)線視頻，通過將生產(chǎn)線圖像進(jìn)行圖像預(yù)處理和統(tǒng)計背景以獲得噪聲小的穩(wěn)定背景圖像，通過背景差分和粒子濾波對圖像進(jìn)行處理和分析，獲得生產(chǎn)線的背景區(qū)域以及多個物品部件在傳送帶上的區(qū)域，以對多個物品部件進(jìn)行快速的特征提取和匹配跟蹤與運(yùn)動檢測。本發(fā)明的突出特點(diǎn)是采用價格低廉的單個攝像頭與工控機(jī)簡單相連，通過計算快速得出物品在生產(chǎn)線傳送帶上的位置坐標(biāo)；本發(fā)明的另外突出特點(diǎn)是可以克服例如光線變化，物體遮擋造成圖像陰影等外部環(huán)境干擾。本發(fā)明改進(jìn)背景建模，充分利用了圖像中每個像素點(diǎn)和相鄰像素點(diǎn)之間的相似特性。同時采用了隨機(jī)采樣的原理增加系統(tǒng)的魯棒性，可以讓背景模型隨著時間的推移，外界光線變化已經(jīng)現(xiàn)場環(huán)境發(fā)生變化時作出及時更新，從而保證了準(zhǔn)確的檢測到運(yùn)動物品，降低漏檢率。在生產(chǎn)線的裝配過程中，背景圖像的高斯模型將不斷更新，以更好地對生產(chǎn)線上的物體部件進(jìn)行分割而不受到外界環(huán)境干擾的影響。同時在多幅圖像中對其各自運(yùn)動軌跡的進(jìn)行匹配，從而實(shí)現(xiàn)對多個物體連續(xù)跟蹤。本發(fā)明能夠提高連續(xù)運(yùn)動中的產(chǎn)品部件位置計算的可靠性，可準(zhǔn)確跟蹤物品,可滿足產(chǎn)品裝配自動化的需要。
[0009]本發(fā)明的運(yùn)動檢測與跟蹤方法由包括如下軟件模塊:圖像采集、高斯濾波、分割前景、物品標(biāo)識、粒子濾波、物品特征提取與模型更新、背景圖像的提取與背景模型的更新、輸出物體圖像位置。圖像采集所用的攝像頭與工控機(jī)之間通過1394數(shù)字采集卡聯(lián)接。攝像頭安裝在生產(chǎn)線上方，與生產(chǎn)線的軸向方向呈30°?90°的俯視角。

【專利附圖】

【附圖說明】
[0010]圖1為本發(fā)明工作流程圖。

【具體實(shí)施方式】
[0011]如圖所示，為一種基于視頻的生產(chǎn)線物品部件運(yùn)動檢測與跟蹤方法，該方法由如下軟件模塊來實(shí)現(xiàn)的:圖像采集、高斯濾波、分割前景、物品標(biāo)識、粒子濾波、物品特征提取與模型更新、背景圖像的提取與背景模型的更新、輸出物體圖像位置。
[0012]進(jìn)行檢測與跟蹤時，按如下步驟:
1)圖像獲取:通過單個數(shù)字?jǐn)z像機(jī)獲取空載運(yùn)行的生產(chǎn)線圖像和實(shí)際運(yùn)行的生產(chǎn)線圖像；圖像采集所用的攝像頭與工控機(jī)之間通過1394數(shù)字采集卡聯(lián)接，攝像頭安裝在生產(chǎn)線上方，與生產(chǎn)線的軸向方向呈30°?90°的俯視角；
2)背景生成:對獲取的幾秒鐘的空載運(yùn)行圖像進(jìn)行高斯濾波，以減小背景中的噪聲；然后進(jìn)行統(tǒng)計，建立背景圖像的高斯模型；
3)背景差分:將獲取的生產(chǎn)線實(shí)際運(yùn)行圖像與步驟2)中的背景模型的像素平均值進(jìn)行絕對值減法運(yùn)算，當(dāng)該像素的絕對值小于背景模型方差的3倍，將該像素點(diǎn)劃分為背景；
4)前景分割:將獲取的生產(chǎn)線實(shí)際運(yùn)行圖像與步驟2)中的背景模型的像素平均值進(jìn)行絕對值減法運(yùn)算，當(dāng)該像素的絕對值超過背景模型方差的3倍，將其劃分為前景；
5)物體標(biāo)識:對于步驟4)所獲得的前景像素進(jìn)行連通區(qū)域標(biāo)記，再計算每個區(qū)域的面積；用預(yù)先設(shè)定的面積閾值剔除掉部分面積很小的區(qū)域；獲取物品的顏色直方圖和二維輪廓模型，如果物品的顏色直方圖和二維輪廓模型相吻合，則進(jìn)入步驟6)，如果物品的顏色直方圖和二維輪廓模型不一致，則跳轉(zhuǎn)到步驟8)建立新的模型；
6)粒子濾波:計算步驟5)中的區(qū)域圖像中心坐標(biāo)；使用粒子濾波方法來追蹤當(dāng)前坐標(biāo)在連續(xù)圖像中的運(yùn)動軌跡，為后續(xù)的自動控制提供物品的位置信息；
7)背景模型更新:使用前景區(qū)域之外的每個像素來對更新高斯背景模型；提取實(shí)時背景圖像，進(jìn)行背景建模后，對高斯背景模型進(jìn)行更新；
8)物體特征模型更新:一旦每個區(qū)域的中心點(diǎn)能夠在連續(xù)的幾幅圖像中被跟蹤，則提取區(qū)域的顏色直方圖和輪廓形狀；將多幅圖像中跟蹤的區(qū)域的顏色直方圖與輪廓模型進(jìn)行平均來建立物品的表面和輪廓模型，并對前景進(jìn)行更新。
[0013]附圖1中，模塊I中的彩色圖像由單個CXD攝像頭采集。
[0014]為了除去圖像噪音，在模塊2中本發(fā)明使用了圖像處理中非常有效的高斯濾波器。使用二維高斯核來平滑每一個像素。
[0015]模塊3的主要功能是利用統(tǒng)計得到的背景模型，對當(dāng)前圖像中的運(yùn)動物體進(jìn)行分害I]。對于每個像素，背景模型由一維高斯分布來表達(dá)。對于當(dāng)前圖像中的任何一個像素，將像素值與背景模型中的對應(yīng)均值進(jìn)行對比。如表示位于圖像坐標(biāo)的像素值，表示位于圖像坐標(biāo)的高斯模型的均值和標(biāo)準(zhǔn)方差。如果，將被標(biāo)記為背景像素，否則將被標(biāo)記為前景像素。但是，這些標(biāo)記的前景像素由于噪聲和物品的陰影會包含錯誤地分類。
[0016]本發(fā)明在模塊4中進(jìn)行物品的標(biāo)識。這涵蓋了兩個方面。首先，模塊4對模塊3中所獲得的前景像素進(jìn)行連通區(qū)域標(biāo)記。并計算每個區(qū)域的面積。并篩選掉面積過小的前景備選區(qū)域，同時將沒有篩選掉的區(qū)域進(jìn)行標(biāo)號。其次，物品的外觀特征，例如顏色直方圖，和輪廓形狀可以用來區(qū)別物品和圖像中移動陰影區(qū)域。經(jīng)過初始化階段，物品的外觀模型可以通過模塊9和10得到。對于當(dāng)前每個區(qū)域，提取顏色直方圖和區(qū)域輪廓。與模塊10得出的外觀模型進(jìn)行數(shù)值對比。如果這種變化超過預(yù)設(shè)的經(jīng)驗(yàn)值，將該區(qū)域標(biāo)記為背景區(qū)域。經(jīng)過這兩個方面的操作，模塊3中的前景備選區(qū)域的數(shù)量大大減少，從而減少了不必要的計算和避免受到錯誤干擾。
[0017]本發(fā)明在模塊5中引入了粒子濾波，將連續(xù)多幀的前景區(qū)域進(jìn)行匹配。對于模塊4中得到的每個區(qū)域，計算出該區(qū)域的圖像中心坐標(biāo)。從二維高斯分布中獲取樣本。計算樣本的顏色直方圖并將其與前一幀圖像中的對應(yīng)的顏色直方圖進(jìn)行對比。統(tǒng)計分布會選擇相似分?jǐn)?shù)較高的進(jìn)一步繁衍。匹配值由直方圖距離決定。這個模塊可以幫助整個系統(tǒng)在圖像中出現(xiàn)多個物品部件時，可以辨別出每個部件的運(yùn)動軌跡，從而可以進(jìn)行連續(xù)的部件位置估計。
[0018]在模塊5完成連續(xù)的物品位置鎖定后，模塊7選中沒有被標(biāo)定為前景區(qū)域的其它像素，并提取其像素值和圖像坐標(biāo)。模塊8輸入收集到的實(shí)時背景像素，對已經(jīng)存在的背景模型進(jìn)行參數(shù)更新。如表示位于圖像坐標(biāo)的像素值，表示位于圖像坐標(biāo)的高斯模型的均值和標(biāo)準(zhǔn)方差。如果，將被標(biāo)記為背景像素，否則將被標(biāo)記為前景像素。.如果沒有被模塊7標(biāo)記為前景像素，將其加入到背景高斯模型中，模型的平均值更新為，模型的標(biāo)準(zhǔn)方差更新為。通過實(shí)驗(yàn)可以靈活設(shè)定參數(shù)。
[0019]模塊4中需要物品的外觀模型。本發(fā)明在模塊9中對已經(jīng)檢測到的物品進(jìn)行特征值提取。模塊10將新近提取到的物品特征值加入到已有的外觀模型中進(jìn)行參數(shù)更新。一旦每個區(qū)域的中心點(diǎn)能夠在連續(xù)的幾幅圖像中被跟蹤，則提取區(qū)域的顏色直方圖和輪廓形狀。將多幅圖像中跟蹤的區(qū)域的顏色直方圖與輪廓模型進(jìn)行平均來建立物品的外觀特征和輪廓模型。
[0020]模塊7和8的使用引入了運(yùn)動物體模型的自適應(yīng)機(jī)制。模塊9和10的使用引入了背景模型的自適應(yīng)機(jī)制。從而提高了整個運(yùn)動檢測和跟蹤系統(tǒng)的及時調(diào)整能力。
[0021]本發(fā)明計算機(jī)復(fù)雜度低，能夠?qū)崿F(xiàn)正確檢測于物品部件的連續(xù)不間斷跟蹤，可以滿足生產(chǎn)線上的自動物品裝配要求。
[0022]本發(fā)明并不局限于上述實(shí)施例，在本發(fā)明公開的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域的技術(shù)人員根據(jù)所公開的技術(shù)內(nèi)容，不需要創(chuàng)造性的勞動就可以對其中的一些技術(shù)特征作出一些替換和變形，這些替換和變形均在本發(fā)明的保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.一種基于視頻的生產(chǎn)線物品部件運(yùn)動檢測與跟蹤方法，其特征在于包括如下步驟:1)圖像獲取:通過單個數(shù)字?jǐn)z像機(jī)獲取空載運(yùn)行的生產(chǎn)線圖像和實(shí)際運(yùn)行的生產(chǎn)線圖像； 2)背景生成:對獲取的幾秒鐘的空載運(yùn)行圖像進(jìn)行高斯濾波，以減小背景中的噪聲；然后進(jìn)行統(tǒng)計，建立背景圖像的高斯模型；3)背景差分:將獲取的生產(chǎn)線實(shí)際運(yùn)行圖像與步驟2)中的背景模型的像素平均值進(jìn)行絕對值減法運(yùn)算，當(dāng)該像素的絕對值小于背景模型方差的3倍，將該像素點(diǎn)劃分為背景； 4)前景分割:將獲取的生產(chǎn)線實(shí)際運(yùn)行圖像與步驟2)中的背景模型的像素平均值進(jìn)行絕對值減法運(yùn)算，當(dāng)該像素的絕對值超過背景模型方差的3倍，將其劃分為前景； 5)物體標(biāo)識:對于步驟4)所獲得的前景像素進(jìn)行連通區(qū)域標(biāo)記，再計算每個區(qū)域的面積；用預(yù)先設(shè)定的面積閾值剔除掉部分面積很小的區(qū)域；獲取物品的顏色直方圖和二維輪廓模型，如果物品的顏色直方圖和二維輪廓模型相吻合，則進(jìn)入步驟6)，如果物品的顏色直方圖和二維輪廓模型不一致，則跳轉(zhuǎn)到步驟8)建立新的模型； 6)粒子濾波:計算步驟5)中的區(qū)域圖像中心坐標(biāo)；使用粒子濾波方法來追蹤當(dāng)前坐標(biāo)在連續(xù)圖像中的運(yùn)動軌跡，為后續(xù)的自動控制提供物品的位置信息； 7)背景模型更新:使用前景區(qū)域之外的每個像素來對更新高斯背景模型；提取實(shí)時背景圖像，進(jìn)行背景建模后，對高斯背景模型進(jìn)行更新； 8)物體特征模型更新:一旦每個區(qū)域的中心點(diǎn)能夠在連續(xù)的幾幅圖像中被跟蹤，則提取區(qū)域的顏色直方圖和輪廓形狀；將多幅圖像中跟蹤的區(qū)域的顏色直方圖與輪廓模型進(jìn)行平均來建立物品的表面和輪廓模型，并對前景進(jìn)行更新。
2.如權(quán)利I所述的基于視頻的生產(chǎn)線物品部件運(yùn)動檢測與跟蹤方法，其特征在于包括如下軟件模塊:圖像采集、高斯濾波、分割前景、物品標(biāo)識、粒子濾波、物品特征提取與模型更新、背景圖像的提取與背景模型的更新、輸出物體圖像位置。
3.如權(quán)利I所述的基于視頻的生產(chǎn)線物品部件運(yùn)動檢測與跟蹤方法，其特征在于:圖像采集所用的攝像頭與工控機(jī)之間通過1394數(shù)字采集卡聯(lián)接。
4.如權(quán)利3所述所述的基于視頻的生產(chǎn)線物品部件運(yùn)動檢測與跟蹤方法，其特征在于:攝像頭安裝在生產(chǎn)線上方，與生產(chǎn)線的軸向方向呈30°?90°的俯視角。
【文檔編號】G06T7/20GK104299246SQ201410540457
【公開日】2015年1月21日 申請日期:2014年10月14日 優(yōu)先權(quán)日:2014年10月14日
【發(fā)明者】董遠(yuǎn)強(qiáng), 朱文俊 申請人:江蘇湃銳自動化科技有限公司