本發(fā)明涉及智能制造技術領域，具體涉及一種基于Delta機器人下的目標跟蹤的方法及系統。

背景技術：

DELTA機器人是并聯機器人的一種，DELTA機器人通過外轉動副驅動3條平行四邊形支鏈，再加上中間一根旋轉驅動軸，可實現其末端執(zhí)行器的空間四維運動，配置視覺系統后，在電子、輕工、食品及醫(yī)藥等領域的分揀包裝中廣泛應用。

目前現有的各個廠家DELTA機器人的控制系統是采用其自身的專用機器人控制器來構建的機器人控制系統，這種采用專用控制器的控制系統系統通用性不好。一般的DELTA機器人控制系統是由控制器、伺服系統、視覺跟蹤系統和輸送帶跟蹤系統組成，但是其控制系統的各部件的拓撲連接方式千差萬別，其內部核心控制算法和跟蹤算法也是不一樣的，因此通用性不高。

現有大工廠作業(yè)目前對人員控制作業(yè)需求比較少，如何避免控制人員意外介入及保障作業(yè)安全跟蹤，變得尤為重要。

技術實現要素：

本發(fā)明提供了一種基于Delta機器人下的目標跟蹤的方法及系統，該通過紅外感應器實現人物進入判斷，啟動攝像頭實現對目標定位，保障工業(yè)化控制過程中的目標跟蹤的效果，實現對人物的精準了解和優(yōu)化做準備。

本發(fā)明提供了一種基于Delta機器人下的目標跟蹤的方法，包括如下步驟：

基于Delta機器人上的紅外感應器判斷目標區(qū)域內是否存有人進入；

在判斷有人進入時，啟動Delta機器人上的攝像頭搜索定位人體目標對象；

Delta機器人上的攝像頭采用顏色直方圖、紋理特征建立高斯混合背景模型；

采用基于區(qū)域的方法檢測目標區(qū)域內的人體目標對象；

獲取所述人體目標對象所在區(qū)域的圖像信息；

根據所述圖像信息獲取人體目標對象信息；

開啟視覺跟蹤，基于共面P4P的單目視覺定位原理對人體目標對象進行定位；

在完成人體目標對象的定位之后，基于結構相似度的視頻跟蹤方法對人體目標對象進行視頻跟蹤；

將所述視頻跟蹤的視頻實時傳輸至控制室，并在視頻顯示中警示所示人體目標對象狀態(tài)。

所述采用基于區(qū)域的方法檢測目標區(qū)域內的人體目標對象包括：

獲取目標區(qū)域內初始狀態(tài)視頻背景；

獲取目標區(qū)域下視頻的動態(tài)圖像幀；

基于初始狀態(tài)視頻背景采用減除法分離出當前人體目標對象。

所述基于結構相似度的視頻跟蹤方法對人體目標對象進行視頻跟蹤包括：

采用卡爾曼濾波器預測人體目標對象在本幀圖像中的大致位置；

利用候選目標和模板目標的結構相似度進行迭代搜索，確定人體目標對象在本幀圖像中的位置；

利用候選目標和模板目標的相似度量值，自適應的調制卡爾曼濾波器參數。

所述共面P4P的單目視覺定位原理對人體目標對象進行定位包括：

基于平行四邊形成像消隱點進行人體目標對象定位；

通過牛頓迭代法進行優(yōu)化獲得人體目標對象在攝像機坐標系下的精確位姿。

所述將所述視頻跟蹤的視頻實時傳輸至控制室包括：

通過EtherCAT總線串聯的方式將將所述視覺跟蹤的視頻實時傳輸至控制室。

相應的，本發(fā)明還提供了一種基于Delta機器人下的目標跟蹤的系統，包括：

紅外感應模塊，用于基于Delta機器人上的紅外感應器判斷目標區(qū)域內是否存有人進入；

啟動模塊，用于在判斷有人進入時，啟動Delta機器人上的攝像頭搜索定位人體目標對象；

高斯背景模塊，用于基于Delta機器人上的攝像頭采用顏色直方圖、紋理特征建立高斯混合背景模型；

檢測模塊，用于采用基于區(qū)域的方法檢測目標區(qū)域內的人體目標對象；

獲取模塊，用于獲取所述人體目標對象所在區(qū)域的圖像信息，以及根據所述圖像信息獲取人體目標對象信息；

定位模塊，用于開啟視覺跟蹤，基于共面P4P的單目視覺定位原理對人體目標對象進行定位；

視覺跟蹤模塊，用于在完成人體目標對象的定位之后，基于結構相似度的視頻跟蹤方法對人體目標對象進行視頻跟蹤；

傳輸模塊，用于將所述視頻跟蹤的視頻實時傳輸至控制室；

顯示模塊，用于在視頻顯示中警示所示人體目標對象狀態(tài)。

所述檢測模塊包括：

背景檢測單元，用于獲取目標區(qū)域內初始狀態(tài)視頻背景；

動態(tài)檢測單元，用于獲取目標區(qū)域下視頻的動態(tài)圖像幀；

分離單元，用于基于初始狀態(tài)視頻背景采用減除法分離出當前人體目標對象。

所述視覺跟蹤模塊包括：

預測單元，用于采用卡爾曼濾波器預測人體目標對象在本幀圖像中的大致位置；

迭代單元，用于利用候選目標和模板目標的結構相似度進行迭代搜索，確定人體目標對象在本幀圖像中的位置；

度量單元，用于利用候選目標和模板目標的相似度量值，自適應的調制卡爾曼濾波器參數。

所述定位模塊包括：

第一定位單元，用于基于平行四邊形成像消隱點進行人體目標對象定位；

第二定位單元，用于通過牛頓迭代法進行優(yōu)化獲得人體目標對象在攝像機坐標系下的精確位姿。

所述傳輸模塊通過EtherCAT總線串聯的方式將將所述視覺跟蹤的視頻實時傳輸至控制室。

在本發(fā)明中，通過紅外感應器感應目標區(qū)域內是否有人進入，從而啟動整個目標跟蹤，實現實時視頻監(jiān)控。采用顏色直方圖、紋理特征等建立高斯混合背景模型，利用基于區(qū)域的方法來檢測運動目標，較好的實現了人體目標對象的識別過程。通過共面P4P的單目視覺定位原理可以消除人體目標對象中的消除位置誤差的影響，實現對人體目標對象的精準位姿的定位?；诮Y構相似度的視頻跟蹤方法，可以縮短對人體目標對象在算法執(zhí)行過程中的執(zhí)行時間，也降低了跟蹤誤差。整個視頻跟蹤可以在控制室中實時播放，為整個大工廠模式提供了一種視頻監(jiān)控或者優(yōu)化作業(yè)的模式手段。

附圖說明

為了更清楚地說明本發(fā)明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據這些附圖獲得其它的附圖。

圖1是本發(fā)明實施例中的基于Delta機器人下的目標跟蹤的方法流程圖；

圖2是本發(fā)明實施例中的基于Delta機器人下的目標跟蹤的系統結構示意圖；

圖3是本發(fā)明實施例中的檢測模塊結構示意圖；

圖4是本發(fā)明實施例中的視覺跟蹤模塊結構示意圖；

圖5是本發(fā)明實施例中的定位模塊結構示意圖。

具體實施方式

下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。

相應的，圖1示出了本發(fā)明實施例中的基于Delta機器人下的目標跟蹤的方法流程圖，具體包括如下步驟：

開始；

S101、基于Delta機器人上的紅外感應器判斷目標區(qū)域內是否存有人進入，如果有人進入則進入S102，否則繼續(xù)該步驟；

S102、在判斷有人進入時，啟動Delta機器人上的攝像頭搜索定位人體目標對象；

S103、Delta機器人上的攝像頭采用顏色直方圖、紋理特征建立高斯混合背景模型；

顏色直方圖是在許多圖像檢索系統中被廣泛采用的顏色特征。它所描述的是不同色彩在整幅圖像中所占的比例，而并不關心每種色彩所處的空間位置，即無法描述圖像中的對象或物體。顏色直方圖特別適于描述那些難以進行自動分割的圖像。

混合高斯模型使用K(基本為3到5個)個高斯模型來表征圖像中各個像素點的特征，在新一幀圖像獲得后更新混合高斯模型，用當前圖像中的每個像素點與混合高斯模型匹配，如果成功則判定該點為背景點，否則為前景點。通觀整個高斯模型，他主要是由方差和均值兩個參數決定，對均值和方差的學習,采取不同的學習機制，將直接影響到模型的穩(wěn)定性、精確性和收斂性。

S104、采用基于區(qū)域的方法檢測目標區(qū)域內的人體目標對象；

具體實施過程中，其采用獲取目標區(qū)域內初始狀態(tài)視頻背景；獲取目標區(qū)域下視頻的動態(tài)圖像幀；基于初始狀態(tài)視頻背景采用減除法分離出當前人體目標對象。通過該步驟實施過程，可以實現背景與后續(xù)插入的動態(tài)幀之間的分離，由于初始狀態(tài)一般是設置在Detlta機器人控制系統中，在目標區(qū)域內有其他物體存在時，可以實現目標對象的分離過程，為后續(xù)目標對象的識別過程作精準匹配。

S105、獲取所述人體目標對象所在區(qū)域的圖像信息；

S106、根據所述圖像信息獲取人體目標對象信息；

S107、開啟視覺跟蹤，基于共面P4P的單目視覺定位原理對人體目標對象進行定位；

具體實施過程中，基于平行四邊形成像消隱點進行人體目標對象定位；通過牛頓迭代法進行優(yōu)化獲得人體目標對象在攝像機坐標系下的精確位姿。

機器人在運動學標定過程中，通過視覺測量手段完成誤差測量的關鍵在于視覺定位方法，基于4個空間點共面且所在平面與攝像機光軸不平行時，則對應的共面P4P問題有唯一解，因此通過4個共面點實現人體目標對象定位具有很強的實用價值，當4個空間共面點組成平行四邊形時，該P4P問題的解可以通過平行四邊形的兩個消隱點很方便的求解。考慮到測量噪聲以及四個特征點位置誤差的影響，以消隱點計算出的結果作為初始值通過牛頓迭代法進行優(yōu)化可以得到人體目標對象在攝像機坐標系下的精確位姿態(tài)，本發(fā)明實施例中的這種定位方法首選需要對攝像機參數進行標定。

S108、在完成人體目標對象的定位之后，基于結構相似度的視頻跟蹤方法對人體目標對象進行視頻跟蹤；

具體實施過程中，采用卡爾曼濾波器預測人體目標對象在本幀圖像中的大致位置；利用候選目標和模板目標的結構相似度進行迭代搜索，確定人體目標對象在本幀圖像中的位置；利用候選目標和模板目標的相似度量值，自適應的調制卡爾曼濾波器參數。

具體實施過程中，其通過構造人體目標對象的運動系統模型，基于卡爾曼濾波器進一步預測得到本幀中目標的預測位置，以及根據本幀跟蹤結果進行卡爾曼濾波器觀測更新；以及在整個人體目標對象運動過程中計算移動方向，計算最優(yōu)的移動步長；計算最終的候選目標和模板目標的結構相似度值，計算卡爾曼濾波器噪聲矩陣的協方差，從而完成整個視覺跟蹤。

S109、將所述視頻跟蹤的視頻實時傳輸至控制室，并在視頻顯示中警示所示人體目標對象狀態(tài)。

具體實施過程中，通過EtherCAT總線串聯的方式將將所述視覺跟蹤的視頻實時傳輸至控制室。

由此可見，通過紅外感應器感應目標區(qū)域內是否有人進入，從而啟動整個目標跟蹤，實現實時視頻監(jiān)控。采用顏色直方圖、紋理特征等建立高斯混合背景模型，利用基于區(qū)域的方法來檢測運動目標，較好的實現了人體目標對象的識別過程。通過共面P4P的單目視覺定位原理可以消除人體目標對象中的消除位置誤差的影響，實現對人體目標對象的精準位姿的定位?；诮Y構相似度的視頻跟蹤方法，可以縮短對人體目標對象在算法執(zhí)行過程中的執(zhí)行時間，也降低了跟蹤誤差。整個視頻跟蹤可以在控制室中實時播放，為整個大工廠模式提供了一種視頻監(jiān)控或者優(yōu)化作業(yè)的模式手段。

相應的，圖2示出了本發(fā)明實施例中的基于Delta機器人下的目標跟蹤的系統結構示意圖，該系統包括：

紅外感應模塊，用于基于Delta機器人上的紅外感應器判斷目標區(qū)域內是否存有人進入；

啟動模塊，用于在判斷有人進入時，啟動Delta機器人上的攝像頭搜索定位人體目標對象；

高斯背景模塊，用于基于Delta機器人上的攝像頭采用顏色直方圖、紋理特征建立高斯混合背景模型；

檢測模塊，用于采用基于區(qū)域的方法檢測目標區(qū)域內的人體目標對象；

獲取模塊，用于獲取所述人體目標對象所在區(qū)域的圖像信息，以及根據所述圖像信息獲取人體目標對象信息；

定位模塊，用于開啟視覺跟蹤，基于共面P4P的單目視覺定位原理對人體目標對象進行定位；

視覺跟蹤模塊，用于在完成人體目標對象的定位之后，基于結構相似度的視頻跟蹤方法對人體目標對象進行視頻跟蹤；

傳輸模塊，用于將所述視頻跟蹤的視頻實時傳輸至控制室；

顯示模塊，用于在視頻顯示中警示所示人體目標對象狀態(tài)。

具體的，圖3示出了本發(fā)明實施例中的檢測模塊結構示意圖，該檢測模塊包括：

背景檢測單元，用于獲取目標區(qū)域內初始狀態(tài)視頻背景；

動態(tài)檢測單元，用于獲取目標區(qū)域下視頻的動態(tài)圖像幀；

分離單元，用于基于初始狀態(tài)視頻背景采用減除法分離出當前人體目標對象。

具體的，圖4示出了本發(fā)明實施例中的視覺跟蹤模塊結構示意圖，該視覺跟蹤模塊包括：

預測單元，用于采用卡爾曼濾波器預測人體目標對象在本幀圖像中的大致位置；

迭代單元，用于利用候選目標和模板目標的結構相似度進行迭代搜索，確定人體目標對象在本幀圖像中的位置；

度量單元，用于利用候選目標和模板目標的相似度量值，自適應的調制卡爾曼濾波器參數。

具體的，圖5示出了本發(fā)明實施例中的定位模塊結構示意圖，該定位模塊包括：

第一定位單元，用于基于平行四邊形成像消隱點進行人體目標對象定位；

第二定位單元，用于通過牛頓迭代法進行優(yōu)化獲得人體目標對象在攝像機坐標系下的精確位姿。

機器人在運動學標定過程中，通過視覺測量手段完成誤差測量的關鍵在于視覺定位方法，基于4個空間點共面且所在平面與攝像機光軸不平行時，則對應的共面P4P問題有唯一解，因此通過4個共面點實現人物特征定位具有很強的實用價值，當4個空間共面點組成平行四邊形時，該P4P問題的解可以通過平行四邊形的兩個消隱點很方便的求解?？紤]到測量噪聲以及四個特征點位置誤差的影響，以消隱點計算出的結果作為初始值通過牛頓迭代法進行優(yōu)化可以得到人物特征在攝像機坐標系下的精確位姿態(tài)，本發(fā)明實施例中的這種定位方法首選需要對攝像機參數進行標定

具體實施過程中，該傳輸模塊通過EtherCAT總線串聯的方式將將所述視覺跟蹤的視頻實時傳輸至控制室。

綜上，通過紅外感應器感應目標區(qū)域內是否有人進入，從而啟動整個目標跟蹤，實現實時視頻監(jiān)控。采用顏色直方圖、紋理特征等建立高斯混合背景模型，利用基于區(qū)域的方法來檢測運動目標，較好的實現了人體目標對象的識別過程。通過共面P4P的單目視覺定位原理可以消除人體目標對象中的消除位置誤差的影響，實現對人體目標對象的精準位姿的定位?；诮Y構相似度的視頻跟蹤方法，可以縮短對人體目標對象在算法執(zhí)行過程中的執(zhí)行時間，也降低了跟蹤誤差。整個視頻跟蹤可以在控制室中實時播放，為整個大工廠模式提供了一種視頻監(jiān)控或者優(yōu)化作業(yè)的模式手段。

本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關的硬件來完成，該程序可以存儲于計算機可讀存儲介質中，存儲介質可以包括：只讀存儲器(ROM，Read Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁盤或光盤等。

以上對本發(fā)明實施例所提供的基于Delta機器人下的目標跟蹤的方法及系統進行了詳細介紹，本文中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領域的一般技術人員，依據本發(fā)明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發(fā)明的限制。