本發(fā)明涉及計(jì)算機(jī)視覺(jué)測(cè)量領(lǐng)域，具體是指一種基于3d機(jī)器視覺(jué)局部視野的工件特征測(cè)量方法。

背景技術(shù)：

1、在實(shí)際問(wèn)題中，通過(guò)圖像測(cè)量工件特征參數(shù)的方法，往往受限于設(shè)備性能、拍攝環(huán)境和圖像數(shù)量等客觀因素，可能導(dǎo)致識(shí)別效果不佳。除此之外，在技術(shù)層面，將拍攝圖像中的像素特征映射到空間坐標(biāo)也是一個(gè)相對(duì)復(fù)雜的問(wèn)題，涉及像素到向量的轉(zhuǎn)換以及三維重建等方面的知識(shí)和模型，處理不當(dāng)同樣也會(huì)影響目標(biāo)工件的測(cè)量精度。因此結(jié)合計(jì)算機(jī)視覺(jué)技術(shù)，通過(guò)單張的局部視野圖像測(cè)量平面工件的全局位置與物理特征是本發(fā)明的主要?jiǎng)?chuàng)新內(nèi)容。實(shí)現(xiàn)了在客觀環(huán)境限制下，對(duì)工件位置及其他物理特征參數(shù)的有效測(cè)量標(biāo)定。這一方法不僅可以提高生產(chǎn)過(guò)程中的效率和精度，還能夠減少人為測(cè)量誤差，從而推動(dòng)工業(yè)生產(chǎn)的智能化和自動(dòng)化發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于3d機(jī)器視覺(jué)通過(guò)單張的局部視野圖像測(cè)量平面工件特征的方法，以解決上述背景技術(shù)中提出的目標(biāo)工件測(cè)量過(guò)程中出現(xiàn)的各種問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用以下的技術(shù)方案：一種基于3d機(jī)器視覺(jué)局部視野的工件特征測(cè)量方法，包括以下步驟：

3、step1:獲取目標(biāo)工件的單張局部視野圖像；

4、step2:將step1得到的圖像進(jìn)行預(yù)處理；

5、step3:根據(jù)step2得到的預(yù)處理圖像，建立hed邊緣檢測(cè)模型和霍夫檢測(cè)；

6、step4:將step3檢測(cè)出的像素坐標(biāo)及邊緣，置于相機(jī)視野的擬定平臺(tái)，通過(guò)像素與真實(shí)距離比例尺，根據(jù)相機(jī)工作距離，解得相機(jī)與像素點(diǎn)的坐標(biāo)差，得到像素坐標(biāo)的空間向量，完成由圖像像素坐標(biāo)到基礎(chǔ)空間向量的轉(zhuǎn)換；

7、?step5:對(duì)step4所得的像素點(diǎn)的空間向量經(jīng)旋轉(zhuǎn)系統(tǒng)進(jìn)行三維旋轉(zhuǎn)，與零平面的交點(diǎn)即為該像素點(diǎn)對(duì)應(yīng)的平面坐標(biāo)，即得局部視野圖像所有邊緣點(diǎn)平面坐標(biāo)位置；

8、?step6:對(duì)step5局部邊緣點(diǎn)應(yīng)用最小二乘法擬合求解未知數(shù)據(jù)點(diǎn)，繼而計(jì)算測(cè)量完整目標(biāo)工件的物理特征信息。

9、進(jìn)一步的，step1中獲取目標(biāo)工件的單張局部視野圖像方法為：在軌道上固定相機(jī)使相機(jī)視野垂直，拍攝目標(biāo)物體的部分位置，獲取相機(jī)視野受限情況下所獲得的局部視野圖像。

10、進(jìn)一步的，step2中將step1獲取圖像旋轉(zhuǎn)至工作臺(tái)視角，提高原圖亮度，同時(shí)將三通道圖像轉(zhuǎn)換為灰度圖像，再進(jìn)行二值化，膨脹預(yù)處理。

11、進(jìn)一步的，step3中建立hed邊緣檢測(cè)模型和霍夫檢測(cè)具體步驟：

12、a.基于dcnn選取resne作為預(yù)訓(xùn)練模型，輸出多個(gè)不同尺度的邊緣特征圖；

13、b.計(jì)算圖像中每個(gè)像素的點(diǎn)的梯度大小和方向，使用非極大值抑制同時(shí)通過(guò)雙閾值檢測(cè)確定真實(shí)和潛在邊緣，最后抑制孤立弱邊緣完成霍夫檢測(cè)；

14、c.由hed?邊緣檢測(cè)及霍夫檢測(cè)結(jié)果，共同決定目標(biāo)邊緣；

15、進(jìn)一步的，建立hed邊緣檢測(cè)模型的方法為：選取預(yù)訓(xùn)練模型，通過(guò)將網(wǎng)絡(luò)的全連接層替換為卷積層，形成holistically-nested結(jié)構(gòu)，令帶標(biāo)注的邊緣圖像與輸出特征圖差異計(jì)算損失函數(shù)，反饋于更新網(wǎng)絡(luò)參數(shù)，訓(xùn)練好的網(wǎng)絡(luò)模型即可用于邊緣檢測(cè)。

16、進(jìn)一步的，step4像素坐標(biāo)到空間向量轉(zhuǎn)換的方法為：基于相機(jī)視野構(gòu)建擬定平臺(tái)，相機(jī)在平臺(tái)的投影點(diǎn)位于中心位置，并將所得像素點(diǎn)置于該平臺(tái)內(nèi)，通過(guò)系統(tǒng)測(cè)算所得的像素距離與真實(shí)距離間的比例尺，計(jì)算像素坐標(biāo)與空間坐標(biāo)的映射位置，由相機(jī)工作距離與相機(jī)的空間坐標(biāo)進(jìn)行運(yùn)算，最終得到像素點(diǎn)的空間向量。將該方法應(yīng)用于全部邊緣像素點(diǎn)，?即可完成由圖像像素坐標(biāo)到基礎(chǔ)空間向量的轉(zhuǎn)換。

17、本發(fā)明的有益效果：本發(fā)明針對(duì)工件的單張局部視野圖像，對(duì)其進(jìn)行灰度轉(zhuǎn)換、二值化及膨脹操作，增強(qiáng)圖像邊緣像素；通過(guò)hed邊緣檢測(cè)和霍夫檢測(cè)共同決定圖像邊緣，保證邊緣數(shù)據(jù)準(zhǔn)確性；基于建立擬定平臺(tái)和hpb旋轉(zhuǎn)確定提取的像素點(diǎn)的空間向量及工件對(duì)應(yīng)的平面坐標(biāo)；利用最小二乘法擬合局部視野數(shù)據(jù)點(diǎn)，完成對(duì)全局工件所需特征的計(jì)算測(cè)量并保證了誤差相對(duì)最小。本發(fā)明解決了在拍攝環(huán)境受限、圖像數(shù)據(jù)較少等情況下，無(wú)法對(duì)目標(biāo)工件特征進(jìn)行高精度測(cè)量的問(wèn)題，大大提高了工作效率和精確度。

技術(shù)特征：

1.一種基于3d機(jī)器視覺(jué)局部視野的工件特征測(cè)量方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于3d機(jī)器視覺(jué)局部視野的工件特征測(cè)量方法，其特征在于，step1中獲取目標(biāo)工件的單張局部視野圖像方法為：在軌道上固定相機(jī)使相機(jī)視野垂直，拍攝目標(biāo)物體的部分位置，獲取相機(jī)視野受限情況下所獲得的局部視野圖像。

3.根據(jù)權(quán)利要求1所述的一種基于3d機(jī)器視覺(jué)局部視野的工件特征測(cè)量方法，其特征在于，step2中將step1獲取圖像旋轉(zhuǎn)至工作臺(tái)視角，提高原圖亮度，同時(shí)將三通道圖像轉(zhuǎn)換為灰度圖像，再進(jìn)行二值化，膨脹預(yù)處理。

4.根據(jù)權(quán)利要求1所述的一種基于3d機(jī)器視覺(jué)局部視野的工件特征測(cè)量方法，其特征在于，step3中建立hed邊緣檢測(cè)模型和霍夫檢測(cè)具體步驟：

5.根據(jù)權(quán)利要求4所述的一種基于3d機(jī)器視覺(jué)局部視野的工件特征測(cè)量方法，其特征在于，建立hed邊緣檢測(cè)模型的方法為：選取預(yù)訓(xùn)練模型，通過(guò)將網(wǎng)絡(luò)的全連接層替換為卷積層，形成holistically-nested結(jié)構(gòu)，令帶標(biāo)注的邊緣圖像與輸出特征圖差異計(jì)算損失函數(shù)，反饋于更新網(wǎng)絡(luò)參數(shù)，訓(xùn)練好的網(wǎng)絡(luò)模型即可用于邊緣檢測(cè)。

6.?根據(jù)權(quán)利要求1所述的一種基于3d機(jī)器視覺(jué)局部視野的工件特征測(cè)量方法，其特征在于，step4像素坐標(biāo)到空間向量轉(zhuǎn)換的方法為：基于相機(jī)視野構(gòu)建擬定平臺(tái)，相機(jī)在平臺(tái)的投影點(diǎn)位于中心位置，并將所得像素點(diǎn)置于該平臺(tái)內(nèi)，通過(guò)系統(tǒng)測(cè)算所得的像素距離與真實(shí)距離間的比例尺，計(jì)算像素坐標(biāo)與空間坐標(biāo)的映射位置，由相機(jī)工作距離與相機(jī)的空間坐標(biāo)進(jìn)行運(yùn)算，最終得到像素點(diǎn)的空間向量，將該方法應(yīng)用于全部邊緣像素點(diǎn)，?即可完成由圖像像素坐標(biāo)到基礎(chǔ)空間向量的轉(zhuǎn)換。

技術(shù)總結(jié)
本發(fā)明公開(kāi)一種基于3D機(jī)器視覺(jué)局部視野的工件特征測(cè)量方法，屬于計(jì)算機(jī)視覺(jué)測(cè)量領(lǐng)域，首先獲取目標(biāo)工件的單張局部視野圖像，進(jìn)行預(yù)處理；之后建立HED邊緣檢測(cè)模型和霍夫檢測(cè)；檢測(cè)出的像素坐標(biāo)及邊緣，置于相機(jī)視野的擬定平臺(tái)，通過(guò)像素與真實(shí)距離比例尺，根據(jù)相機(jī)工作距離，解得相機(jī)與像素點(diǎn)的坐標(biāo)差，得到像素坐標(biāo)的空間向量，完成由圖像像素坐標(biāo)到基礎(chǔ)空間向量的轉(zhuǎn)換，對(duì)所得的像素點(diǎn)的空間向量經(jīng)旋轉(zhuǎn)系統(tǒng)進(jìn)行三維旋轉(zhuǎn)。本發(fā)明解決了在拍攝環(huán)境受限、圖像數(shù)據(jù)較少等情況下，無(wú)法對(duì)目標(biāo)工件特征進(jìn)行高精度測(cè)量的問(wèn)題，大大提高了工作效率和精確度。

技術(shù)研發(fā)人員：張春英,趙晨穎,郝星暉,蘭思武,王立亞,任靜
受保護(hù)的技術(shù)使用者：華北理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26