基于單目視覺的傳送帶上產(chǎn)品實時定位系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及機器視覺定位技術(shù)領(lǐng)域，特別是一種基于單目視覺的傳送帶上產(chǎn)品實 時定位系統(tǒng)和方法。
【背景技術(shù)】
[0002] 基于機器視覺的目標(biāo)產(chǎn)品的定位技術(shù)以光學(xué)為基礎(chǔ)，融入了圖像處理技術(shù)、光電 子學(xué)、計算機技術(shù)等現(xiàn)代科學(xué)技術(shù)。現(xiàn)在，基于機器視覺的目標(biāo)定位技術(shù)主要分為兩類，雙 目視覺結(jié)構(gòu)系統(tǒng)和單目視覺結(jié)構(gòu)系統(tǒng)。運用較為廣泛的雙目視覺系統(tǒng)精度較高，但系統(tǒng)復(fù) 雜；與之相比，單目視覺結(jié)構(gòu)系統(tǒng)雖精度不如雙目視覺系統(tǒng)，但勝在系統(tǒng)結(jié)構(gòu)簡單，因此在 工業(yè)生產(chǎn)以其低成本，操作簡單而也被廣泛應(yīng)用。
[0003] 在定位過程中，對產(chǎn)品的識別尤為重要，傳統(tǒng)的目標(biāo)識別主要使用特征提取和匹 配，但要識別出一個產(chǎn)品，必須知道這個產(chǎn)品在圖像中體現(xiàn)出的特征，但在實際成產(chǎn)狀態(tài) 中，產(chǎn)品的特征的種類繁多，選取較為麻煩，而且還有可能這些特征點在平面定位不能作為 產(chǎn)品定位點。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是提供一種基于單目視覺的傳送帶上產(chǎn)品實時定位 系統(tǒng)和方法，可以克服現(xiàn)有技術(shù)中采用特征提取定位方式的不足，實現(xiàn)產(chǎn)品在傳送帶上的 精確定位。
[0005] 為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是：基于單目視覺的傳送帶上產(chǎn) 品實時定位系統(tǒng)，包括攝像機，在傳送帶首端上方設(shè)有一個攝像機，攝像機與計算機連接。
[0006] 在靜止的傳送帶的定位區(qū)域內(nèi)放置有標(biāo)定板。
[0007] 一種采用上述的基于單目視覺的傳送帶上產(chǎn)品實時定位系統(tǒng)進行產(chǎn)品定位的方 法，包括以下步驟： 一、 計算攝像機的內(nèi)參數(shù)，建立世界坐標(biāo)系得到外參數(shù)和基礎(chǔ)矩陣； 二、 測量出攝像機的在傳送帶平面上的投影點的世界坐標(biāo)； 三、 根據(jù)定位要求，產(chǎn)生一個四邊形二值化的圖片，作為取景框圖片； 四、 對圖片進行邊緣檢測，并和取景框圖片進行與運算，得到只有產(chǎn)品的邊緣的圖片； 五、 運用行掃描方式，自動分離產(chǎn)品； 六、 對圖片中單個產(chǎn)品進行列掃描得到產(chǎn)品的下邊界； 七、 計算出圖片中下邊界各點的世界坐標(biāo)，計算出世界坐標(biāo)系各點沿傳送帶至投影點 的距離，找出最近的一點和距離，該最近的一點即為定位點和定位距離； 通過以上步驟實現(xiàn)產(chǎn)品實時定位。
[0008] 優(yōu)選的方案中，傳送帶啟動前，固定攝像機，在靜止的傳送帶平面上，在要求的定 位范圍內(nèi)放置一個標(biāo)定板，通過攝像機獲取多張含有各個角度的標(biāo)定板清晰成像的圖片， 運用matlab工具箱toolbox_calib計算得到攝像機的內(nèi)參數(shù)； 并且以選取標(biāo)定板一個格點為坐標(biāo)原點O點，建立世界坐標(biāo)系OXYZ，其中X軸平行于傳 送帶運動方向，Y軸垂直于傳送帶運動方向，Z軸垂直于傳送帶平面，在后續(xù)過程中保持攝 像機的位置不變； 測量出攝像機投影在傳送帶平面上點的世界坐標(biāo)（X。，Y。，0)。
[0009] 優(yōu)選的方案中，對攝像機獲取的圖像分幀處理，分離含有標(biāo)定板的圖片和含有 傳送帶的圖片并保存下來，結(jié)合第二步中建立的世界坐標(biāo)系，再次利用matlab工具箱 toolbox_calib計算出攝像機外參數(shù)和基礎(chǔ)矩陣：
【主權(quán)項】
1. 基于單目視覺的傳送帶上產(chǎn)品實時定位系統(tǒng)，包括攝像機（I)，其特征是：在傳送帶 (5 )首端上方設(shè)有一個攝像機（1)，攝像機（1)與計算機（2 )連接。
2. 根據(jù)權(quán)利要求1所述的基于單目視覺的傳送帶上產(chǎn)品實時定位系統(tǒng)，其特征是：在 靜止的傳送帶（5)的定位區(qū)域（4)內(nèi)放置有標(biāo)定板。
3. -種采用權(quán)利要求1~2任一項所述的基于單目視覺的傳送帶上產(chǎn)品實時定位系統(tǒng) 進行產(chǎn)品定位的方法，其特征是包括以下步驟： 一、 計算攝像機的內(nèi)參數(shù)，建立世界坐標(biāo)系得到外參數(shù)和基礎(chǔ)矩陣； 二、 測量出攝像機的在傳送帶平面上的投影點（C)的世界坐標(biāo)； 三、 根據(jù)定位要求，產(chǎn)生一個四邊形（abed)二值化的圖片，作為取景框圖片； 四、 對圖片進行邊緣檢測，并和取景框圖片進行與運算，得到只有產(chǎn)品的邊緣的圖片； 五、 運用行掃描方式，自動分離產(chǎn)品； 六、 對圖片中單個產(chǎn)品進行列掃描得到產(chǎn)品的下邊界； 七、 計算出圖片中下邊界各點的世界坐標(biāo)，計算出世界坐標(biāo)系各點沿傳送帶至投影點 (C)的距離，找出最近的一點和距離，該最近的一點即為定位點和定位距離； 通過以上步驟實現(xiàn)產(chǎn)品實時定位。
4. 根據(jù)權(quán)利要求3所述的一種產(chǎn)品定位的方法，其特征是：傳送帶啟動前，固定攝像 機，在靜止的傳送帶平面上，在要求的定位范圍內(nèi)放置一個標(biāo)定板，通過攝像機獲取多張含 有各個角度的標(biāo)定板清晰成像的圖片，運用matlab工具箱toolbox_calib計算得到攝像機 的內(nèi)參數(shù)； 并且以選取標(biāo)定板一個格點為坐標(biāo)原點O點，建立世界坐標(biāo)系OXYZ，其中X軸平行于傳 送帶運動方向，Y軸垂直于傳送帶運動方向，Z軸垂直于傳送帶平面，在后續(xù)過程中保持攝 像機的位置不變； 測量出攝像機投影在傳送帶平面上（C)點的世界坐標(biāo)（X。，Y。，0)。
5. 根據(jù)權(quán)利要求3所述的一種產(chǎn)品定位的方法，其特征是：對攝像機獲取的圖像分幀 處理，分離含有標(biāo)定板的圖片和含有傳送帶的圖片并保存下來，結(jié)合第二步中建立的世界 坐標(biāo)系，再次利用matlab工具箱toolbox_calib計算出攝像機外參數(shù)和基礎(chǔ)矩陣：
6. 根據(jù)權(quán)利要求3所述的一種產(chǎn)品定位的方法，其特征是：在含有傳送帶的圖片中，確 定出一個四邊形（abed)框，僅使圖片中的傳送帶平面盡可能落在四邊形（abed)內(nèi)，記錄四 邊形的四個角的像素坐標(biāo)，運用matlab中的roipoly函數(shù)產(chǎn)生一個（abed)四邊形二值化 的圖片，作為取景框圖片。
7. 根據(jù)權(quán)利要求6所述的一種產(chǎn)品定位的方法，其特征是：取走標(biāo)定板，啟動傳送帶， 通過攝像機獲取含有產(chǎn)品（3)的圖片，進行分幀處理； 利用canny算子，設(shè)置合適的閾值對攝像機中含有產(chǎn)品（3)的每一幀圖片進行邊緣檢 測，得到含有產(chǎn)品邊緣的二值化圖片； 處理后的含有產(chǎn)品邊緣的二值化圖片分別和取景框圖片進行與運算，得到只含有產(chǎn)品 的邊緣的圖片。
8. 根據(jù)權(quán)利要求7所述的一種產(chǎn)品定位的方法，其特征是：運用find函數(shù)找出含有產(chǎn) 品的邊緣的圖片中所有白色點的像素坐標(biāo)（X，y)，從而確定出了 y的最大值j和最小值i ; 然后在含有產(chǎn)品的邊緣的圖片運用find函數(shù)以第i-Ι行為起始點開始向下逐行掃描， 第一個掃描到有白點的一行，是第一個產(chǎn)品所在區(qū)域的起始行，然后向下繼續(xù)掃描，直到第 k行以及在第k行到第k+5行之間均沒有白點時，則k-Ι是第一個產(chǎn)品所在區(qū)域的終止行， 第一產(chǎn)品所在區(qū)域是第i行到第k-Ι行；然后以第k+5行為起始點掃描確定出第二個產(chǎn)品 的起始行，終止行和所在區(qū)域，依次下去可以逐個確定圖片所有產(chǎn)品的區(qū)域，最后根據(jù)第m (m=l，2, 3...)個區(qū)域的起始行和終止行，運用find函數(shù)從坐標(biāo)（X，y)中找出該區(qū)域中所有 白點的像素坐標(biāo)，這就是第m個產(chǎn)品所有點像素坐標(biāo)，通過上述逐行掃描實現(xiàn)自動化分離 廣品； 確定出第m個產(chǎn)品所有點像素 X軸坐標(biāo)的最大值s和最小值t，在第m個區(qū)域范圍內(nèi)運 用find函數(shù)從t列到s列進行逐列掃描，找出該區(qū)域中每一列中所有白點像素 y軸坐標(biāo)值 最大的一點，即邊界點（u，V)，這些邊界點構(gòu)成第m個產(chǎn)品下邊界。
9. 根據(jù)權(quán)利要求8所述的一種產(chǎn)品定位的方法，其特征是：運用攝像機的基礎(chǔ)矩陣計 算出第m個產(chǎn)品的下邊界中各點世界坐標(biāo)，根據(jù)由空間三維坐標(biāo)到攝像機平面二維坐標(biāo)映 射關(guān)系，取Z=O后，得到攝像機成像平面二維坐標(biāo)到空間傳送帶平面中二維坐標(biāo)映射關(guān)系：
其中u，V分別是圖像中第m個產(chǎn)品下邊界各點像素坐標(biāo)；是縮放因子；H是基礎(chǔ)矩陣； X、Y是圖像中該點對應(yīng)在傳送帶平面上世界坐標(biāo)。
10. 根據(jù)權(quán)利要求9所述的一種產(chǎn)品定位的方法，其特征是：根據(jù)所求出的第m個產(chǎn)品 所有下邊界點的世界坐標(biāo)系中X軸坐標(biāo)中，運用matlab中min函數(shù)求出最小的X軸坐標(biāo) Xmin，計算出攝像機和產(chǎn)品沿傳送帶的定位距離L，即可實現(xiàn)傳送帶上產(chǎn)品的實時定位： L = Ixaja-Xt I 其中Xc是攝像機的在傳送帶平面上的投影點（C)的X軸坐標(biāo)。
【專利摘要】基于單目視覺的傳送帶上產(chǎn)品實時定位系統(tǒng)，包括攝像機，在傳送帶首端上方設(shè)有一個攝像機，攝像機與計算機連接。在靜止的傳送帶的定位區(qū)域內(nèi)放置有標(biāo)定板。一種基于單目視覺的傳送帶上產(chǎn)品實時定位系統(tǒng)進行產(chǎn)品定位的方法，包括以下步驟：建立世界坐標(biāo)系；測量出攝像機的在傳送帶平面上的投影點的世界坐標(biāo)；產(chǎn)生一個取景框圖片；對圖片進行邊緣檢測，得到只有產(chǎn)品的邊緣的圖片；運用行掃描方式分離產(chǎn)品；對圖片中單個產(chǎn)品進行列掃描得到產(chǎn)品的下邊界；計算出圖片中下邊界各點的世界坐標(biāo)，計算出世界坐標(biāo)系各點沿傳送帶至投影點的距離，找出最近的一點和距離，該最近的一點即為定位點和定位距離；通過以上步驟實現(xiàn)基于單目視覺的產(chǎn)品實時定位。
【IPC分類】B65G43-00
【公開號】CN104760812
【申請?zhí)枴緾N201510087650
【發(fā)明人】曾曙光, 吳磊, 黎濤, 陶雄, 葉劍飛
【申請人】三峽大學(xué)
【公開日】2015年7月8日
【申請日】2015年2月26日