值TM，一 個目標(biāo)被檢測出來。一般地，閾值Tm取點P為中心的圓形模板M內(nèi)的特征點數(shù)量的80%。 一個目標(biāo)被檢出來后，一個點P為中心的圓形模板內(nèi)匹配的特征點不再被用于后續(xù)的掃描 過程中，避免重復(fù)檢測。
[0039] 在步驟S2中，所述的拆垛系統(tǒng)轉(zhuǎn)換相機坐標(biāo)系的目標(biāo)方位為機器人坐標(biāo)系的方 位。由于機器人是一個精密系統(tǒng)，其姿態(tài)是已知的（位置和角度），此外，雙目相機是固定 在機器人機械臂前端，因此雙目相機的相機坐標(biāo)系相對于機器人坐標(biāo)系的旋轉(zhuǎn)和偏移也是 已知的。設(shè)相機坐標(biāo)系是機器人坐標(biāo)系分別繞Xb、Yb和Zb軸旋轉(zhuǎn)α、β和γ角度，并平移 Τχ、1；和T ζ得到，如下式⑵進行計算
[0041] 其中（X，Υ，ζ)τ為機器人坐標(biāo)系中的坐標(biāo)，R為旋轉(zhuǎn)矩陣，根據(jù)下式（3)計算
[0042] R=Rx(a)Ry(P)Rz(T) ⑶
[0043] 其中，Rx、心和R 2分別是繞X b、Yb和Z b軸旋轉(zhuǎn)α、β和γ角度的旋轉(zhuǎn)矩陣。
[0044] 值得注意的是，旋轉(zhuǎn)矩陣R和平移TX、I^P T 2為已知的，通過機器人系統(tǒng)可以計算 得到。因此，計算得到的相機坐標(biāo)系中的坐標(biāo)可以轉(zhuǎn)換為機器人坐標(biāo)系中的坐標(biāo)，按照下式 (4)計算
[0046] 其中，R1是旋轉(zhuǎn)矩陣R的逆矩陣。
[0047] 根據(jù)式（4)將一個目標(biāo)的匹配的特征點的相機坐標(biāo)系的坐標(biāo)轉(zhuǎn)換為機器人坐標(biāo) 系中的坐標(biāo)。由于堆垛上目標(biāo)的特征點一般位于目標(biāo)頂層，而目標(biāo)的頂層可以認(rèn)為是一個 平面，因此離線建立機器人坐標(biāo)系中標(biāo)準(zhǔn)目標(biāo)的頂層平面PR，確定頂層平面PR的中心點為 Cpa。計算該PR上的特征點與待拆目標(biāo)的特征點的匹配關(guān)系，根據(jù)匹配對，采用類似式（2) 的變換，并采用最小二乘法計算旋轉(zhuǎn)矩陣Rpr和平移矩陣T pR。并根據(jù)旋轉(zhuǎn)矩陣Rpr和平移矩 陣Tpr，按照式⑵的方式，根據(jù)頂層平面PR的中心點Cpa計算待拆目標(biāo)的中心點位置。這 樣得到了目標(biāo)的方位。
[0048] 步驟S3根據(jù)步驟S2所計算的目標(biāo)的位置和姿態(tài)（方向角），指導(dǎo)拆垛機器人對當(dāng) 前層進行分區(qū)拆垛，根據(jù)目標(biāo)方位抓取目標(biāo)，直到當(dāng)前層所有的目標(biāo)拆垛完畢，然后進行下 一層的拆垛處理。
[0049] 圖6示出了本發(fā)明的拆垛系統(tǒng)示意圖。所述拆垛系統(tǒng)20實現(xiàn)了圖3所示的本發(fā) 明的基于雙目視覺的拆垛方法。該系統(tǒng)包括：雙目相機模塊401、目標(biāo)方位計算模塊402、目 標(biāo)方位轉(zhuǎn)換模塊403和拆垛機器人404。雙目相機模塊401安裝在拆垛機器人404的機械 臂前端。根據(jù)圖3所述的步驟，拆垛系統(tǒng)對堆垛按照逐層分區(qū)方式進行拆垛。拆垛系統(tǒng)移 動機械臂到合適的位置，目標(biāo)方位計算模塊402通過雙目相機模塊401同步采集雙目圖像， 計算三維坐標(biāo)，并識別定位目標(biāo)。目標(biāo)方位轉(zhuǎn)換模塊403根據(jù)拆垛機器人404的已知的方 位，將相機坐標(biāo)系中的坐標(biāo)轉(zhuǎn)換為機器人坐標(biāo)系中的坐標(biāo)，并根據(jù)與標(biāo)準(zhǔn)目標(biāo)的匹配關(guān)系， 計算目標(biāo)的方位。拆垛機器人404根據(jù)轉(zhuǎn)換模塊403所計算的目標(biāo)方位，對目標(biāo)進行抓取，， 直到當(dāng)前層所有的目標(biāo)拆垛完畢。
[0050] 綜上所述，本發(fā)明的基于雙目立體視覺的拆垛方法及系統(tǒng)通過在機械臂前端安裝 雙目相機，使雙目相機隨著機械臂移動，這樣擴大了拆垛機器人的工作空間范圍和機器人 的拆垛范圍，提高拆垛靈活性；通過雙目視覺計算深度信息，從而實現(xiàn)逐層拆垛，克服激光 掃描的方式的不足；所提出的基于特征點匹配的目標(biāo)識別定位方法可以快速定位待拆的多 個目標(biāo)，提高了識別速度；本發(fā)明充分利用機器人方位姿態(tài)已知的這個特點，將相機坐標(biāo)系 中的坐標(biāo)快速轉(zhuǎn)換為機器人坐標(biāo)系坐標(biāo)；通過離線建立的標(biāo)準(zhǔn)目標(biāo)的頂層平面，與待拆目 標(biāo)進行匹配，根據(jù)匹配對采用最小二乘法計算待拆目標(biāo)的方位，這樣可以提供準(zhǔn)確的目標(biāo) 方位，這樣機器人有效地解決拆垛機器人所面臨的定位問題，從而完成機器人的自動化拆 垛。
[0051] 上述實施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何熟 悉此技術(shù)的人員都可在不違背本發(fā)明的精神及范疇下，對上述實施例進行修飾或改變。因 此，舉凡所屬技術(shù)領(lǐng)域中具有通常知識者在未脫離本發(fā)明所揭示的精神與技術(shù)思想下所完 成的一切等效修飾或改變，仍應(yīng)由本發(fā)明的權(quán)利要求所涵蓋。
【主權(quán)項】
1. 一種基于雙目視覺的拆垛方法，其特征在于，具備以下步驟： 1) 通過機械臂前端的雙目相機同步采集左右圖像，進行目標(biāo)識別定位； 2) 目標(biāo)方位轉(zhuǎn)換計算，將相機坐標(biāo)系的目標(biāo)方位轉(zhuǎn)換為機器人坐標(biāo)系中的方位； 3) 機器人拆垛操作，機器人根據(jù)計算的目標(biāo)方位進行目標(biāo)抓取，實現(xiàn)逐層分區(qū)拆垛。2. 根據(jù)權(quán)利要求1所述的拆垛方法，其特征在于，所述步驟1)包括： 安裝雙目相機在機器人機械臂前端，根據(jù)雙目相機的視野范圍，對當(dāng)前層進行分區(qū)域 拆垛，根據(jù)分區(qū)情況移動機械臂前端到合適的位置，然后同步采集雙目圖像。3. 根據(jù)權(quán)利要求1所述的拆垛方法，其特征在于，所述步驟1)還包括： 用一個直徑Rm的圓形模板M掃描圖像，識別并定位多個目標(biāo)。直徑Rm可略小于目標(biāo)的 最大尺寸。如果圖像中以一個點P為中心的圓形模板M內(nèi)的特征點與樣本目標(biāo)的特征點匹 配的數(shù)量大于閾值TM，一個目標(biāo)被檢測出來。一個目標(biāo)被檢出來后，一個點P為中心的圓形 模板內(nèi)匹配的特征點不再被用于后續(xù)的掃描過程中，避免重復(fù)檢測。4. 根據(jù)權(quán)利要求1所述的拆垛方法，其特征在于，所述步驟2)包括： 計算得到的相機坐標(biāo)系中的坐標(biāo)（x，y，z)T按照下式轉(zhuǎn)換為機器人坐標(biāo)系中的坐標(biāo)（X，Y，Z)T，其中，R1是旋轉(zhuǎn)矩陣R的逆矩陣。相機坐標(biāo)系是機器人坐標(biāo)系分別繞Xb、Yb和Zb軸旋 轉(zhuǎn)a、0和y角度，并平移!；、1；和1\得到。由于機器人是一個精密系統(tǒng)，其姿態(tài)是已知 的（位置和角度），并且雙目相機是固定在機器人機械臂前端，因此雙目相機的相機坐標(biāo)系 相對于機器人坐標(biāo)系的旋轉(zhuǎn)和偏移也是已知的，可以通過下式計算，5. 根據(jù)權(quán)利要求1所述的拆垛方法，其特征在于，所述步驟2)還包括： 計算標(biāo)準(zhǔn)目標(biāo)的頂層平面PR上的特征點與待拆目標(biāo)的特征點的匹配關(guān)系，根據(jù)匹配 對，并采用最小二乘法計算下式中的旋轉(zhuǎn)矩陣Rpr和平移矩陣TpR，其中，（XS，YS，Zs)T為頂層平面PR上的特征點的坐標(biāo)，（X。，YmZJt為相應(yīng)的匹配的待拆 目標(biāo)的特征點的坐標(biāo)。根據(jù)旋轉(zhuǎn)矩陣Rpr和平移矩陣TpR，按照上述計算公式，根據(jù)頂層平面 PR的中心點，計算待拆目標(biāo)的中心點位置。這樣得到了目標(biāo)的方位。6. 根據(jù)權(quán)利要求1和5所述的方法，其中，所述的頂層平面PR，其特征在于： 離線建立機器人坐標(biāo)系中的標(biāo)準(zhǔn)目標(biāo)的頂層平面PR，確定頂層平面PR的中心點Cpa，并 離線計算標(biāo)準(zhǔn)目標(biāo)的頂層平面PR上的特征點。7. -種拆垛系統(tǒng)，其特征在于，具備： 1) 雙目相機模塊，固定在機械臂前端的雙目相機，用于通過采集圖像； 2) 目標(biāo)方位計算模塊，計算深度信息，并識別定位目標(biāo)； 3) 目標(biāo)方位轉(zhuǎn)換模塊，將相機坐標(biāo)系的目標(biāo)方位轉(zhuǎn)換為機器人坐標(biāo)系中的方位； 4) 拆垛機器人，機器人根據(jù)計算的目標(biāo)方位進行目標(biāo)抓取，實現(xiàn)逐層分區(qū)拆垛。8. 根據(jù)權(quán)利要求7所述的拆垛系統(tǒng)，其中，雙目相機模塊其特征在于： 安裝雙目相機在機器人機械臂前端，根據(jù)雙目相機的視野范圍，對當(dāng)前層進行分區(qū)域 拆垛，根據(jù)分區(qū)情況移動機械臂前端到合適的位置，然后同步采集雙目圖像。9. 根據(jù)權(quán)利要求7所述的系統(tǒng)，所述目標(biāo)方位計算模塊其特征在于： 用一個直徑Rm的圓形模板M掃描圖像，識別并定位多個目標(biāo)。直徑Rm可略小于目標(biāo)的 最大尺寸。如果圖像中以一個點P為中心的圓形模板M內(nèi)的特征點與樣本目標(biāo)的特征點匹 配的數(shù)量大于閾值TM，一個目標(biāo)被檢測出來。一個目標(biāo)被檢出來后，一個點P為中心的圓形 模板內(nèi)匹配的特征點不再被用于后續(xù)的掃描過程中，避免重復(fù)檢測。10. 根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述的目標(biāo)方位轉(zhuǎn)換模塊將計算得到的 相機坐標(biāo)系中的坐標(biāo)（x，y，z)T按照下式轉(zhuǎn)換為機器人坐標(biāo)系中的坐標(biāo)（X，Y，Z) T，其中，R1是旋轉(zhuǎn)矩陣R的逆矩陣。相機坐標(biāo)系是機器人坐標(biāo)系分別繞Xb、Yb和Zb軸旋 轉(zhuǎn)a、0和y角度，并平移!；、1；和1\得到。由于機器人是一個精密系統(tǒng)，其姿態(tài)是已知 的（位置和角度），并且雙目相機是固定在機器人機械臂前端，因此雙目相機的相機坐標(biāo)系 相對于機器人坐標(biāo)系的旋轉(zhuǎn)和偏移也是已知的，可以通過下式計算，11. 根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述的目標(biāo)方位轉(zhuǎn)換模塊計算標(biāo)準(zhǔn)目標(biāo) 的頂層平面PR上的特征點與待拆目標(biāo)的特征點的匹配關(guān)系，根據(jù)匹配對，并采用最小二乘 法計算下式中的旋轉(zhuǎn)矩陣Rpr和平移矩陣TpR，其中，（XS，YS，Zs)T為頂層平面PR上的特征點的坐標(biāo)，（X。，YmZJt為相應(yīng)的匹配的待拆 目標(biāo)的特征點的坐標(biāo)。根據(jù)旋轉(zhuǎn)矩陣Rpr和平移矩陣TpR，按照上述計算公式，根據(jù)頂層平面 PR的中心點，計算待拆目標(biāo)的中心點位置。這樣得到了目標(biāo)的方位。12. 根據(jù)權(quán)利要求7和11所述的系統(tǒng)，其中，所述的頂層平面PR，其特征在于： 離線建立機器人坐標(biāo)系中的標(biāo)準(zhǔn)目標(biāo)的頂層平面PR，確定頂層平面PR的中心點Cpa，并 離線計算標(biāo)準(zhǔn)目標(biāo)的頂層平面PR上的特征點。
【專利摘要】本發(fā)明公開了一種基于雙目視覺的拆垛方法，主要包括：機械臂前端安裝雙目相機，使雙目相機隨著機械臂移動，拆垛系統(tǒng)根據(jù)分區(qū)情況移動機械臂前端到合適的位置，然后同步采集雙目圖像，識別定位目標(biāo)；然后根據(jù)拆垛機器人的姿態(tài)，將相機坐標(biāo)系下的目標(biāo)方位轉(zhuǎn)化為機器人坐標(biāo)系下的目標(biāo)方位；拆垛機器人根據(jù)目標(biāo)方位進行抓取，從而實現(xiàn)逐層分區(qū)方式進行拆垛。相應(yīng)地，本發(fā)明還公開了一種拆垛系統(tǒng)。實施本發(fā)明，可實現(xiàn)準(zhǔn)確可靠的機器人自動拆垛，擴大了拆垛機器人的工作空間范圍，以及機器人的拆垛范圍，提高拆垛靈活性，有效地解決拆垛機器人所面臨的定位問題。
【IPC分類】B65G61/00, G06T7/00
【公開號】CN105217324
【申請?zhí)枴緾N201510678912
【發(fā)明人】李仁杰
【申請人】上海影火智能科技有限公司
【公開日】2016年1月6日
【申請日】2015年10月20日