專利名稱：一種結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法
技術(shù)領(lǐng)域：
本發(fā)明屬于機(jī)器視覺領(lǐng)域，涉及了結(jié)構(gòu)光視覺檢測技術(shù)；具體地說是一種基于片
上可編程系統(tǒng)(S0PC)的結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法。
背景技術(shù)：
結(jié)構(gòu)光視覺檢測技術(shù)可以實(shí)現(xiàn)智能化、快速和低成本的圖像采集和特征識(shí)別。這一方法主要是將結(jié)構(gòu)光投射于工件表面，通過視覺傳感器采集結(jié)構(gòu)光條紋圖像，并經(jīng)過圖像處理提取出焊縫條紋特征信息，從而實(shí)現(xiàn)焊縫位置識(shí)別和質(zhì)量檢測。 但是由于結(jié)構(gòu)光焊縫圖像處理的復(fù)雜性，導(dǎo)致焊縫識(shí)別和檢測應(yīng)用在焊縫跟蹤和質(zhì)量檢測的實(shí)時(shí)性很差，跟蹤滯后很嚴(yán)重，檢測也很難完成在線實(shí)時(shí)的質(zhì)量檢測。因此尋找一種快速而又準(zhǔn)確的進(jìn)行焊縫位置識(shí)別和質(zhì)量檢測的方法是亟待解決的問題。

發(fā)明內(nèi)容
為了克服目前結(jié)構(gòu)光焊縫圖像處理速度不能滿足實(shí)時(shí)處理的不足，本發(fā)明提出了一種能實(shí)現(xiàn)跟蹤實(shí)時(shí)性好且快速、準(zhǔn)確之目的的基于片上可編程系統(tǒng)的結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法。 為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下 將現(xiàn)場可編程門陣列和軟核處理系統(tǒng)并用以提高處理速度和降低功耗，對(duì)結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取任務(wù)進(jìn)行軟硬件的劃分，從而通過軟硬件協(xié)同操作完成特征點(diǎn)的提??；具體是構(gòu)建一個(gè)片上可編程系統(tǒng)，通過現(xiàn)場可編程門陣列，對(duì)相機(jī)傳感器獲取的包含結(jié)構(gòu)光條紋的圖像進(jìn)行濾波、圖像增強(qiáng)、膨脹和腐蝕的數(shù)學(xué)形態(tài)學(xué)處理、邊緣提取以及中心線提取的圖像預(yù)處理過程；再通過軟核處理系統(tǒng)進(jìn)行特征點(diǎn)提??；
所述圖像預(yù)處理包括以下步驟 1)圖像獲取通過相機(jī)傳感器獲取包含結(jié)構(gòu)光條紋的圖像，并送入片上可編程系統(tǒng)中； 2)濾波對(duì)步驟1獲取的圖像進(jìn)行中值濾波； 3)圖像增強(qiáng)根據(jù)焊縫結(jié)構(gòu)光圖像特征選擇閾值進(jìn)行二值化，將結(jié)構(gòu)光條紋從圖像背景中提取出來； 4)數(shù)學(xué)形態(tài)學(xué)運(yùn)算選擇結(jié)構(gòu)光條紋豎直方向的結(jié)構(gòu)元素，來對(duì)圖像進(jìn)行膨脹和腐蝕處理； 5)邊緣提取通過模板運(yùn)算提取單像素的結(jié)構(gòu)光條紋邊緣，同時(shí)濾除小于模板大小的噪聲； 6)中心線提取逐行掃描邊緣圖像，分別記錄兩個(gè)邊緣像素位置的列坐標(biāo)，經(jīng)相加后除以2，結(jié)果為中心線列坐標(biāo)，同時(shí)記錄行坐標(biāo)，送入軟核處理系統(tǒng)進(jìn)行特征點(diǎn)提取；
所述特征點(diǎn)提取是在軟核處理系統(tǒng)中用最小二乘法擬合直線，并根據(jù)直線判斷特征點(diǎn)的位置過程；
其中步驟1)所述片上可編程系統(tǒng)采用支持嵌入式軟核處理系統(tǒng)的現(xiàn)場可編程
門陣列系列產(chǎn)品，所用軟核處理系統(tǒng)為MicroBlaze ;所述圖像預(yù)處理中步驟2) 、3) 、4) 、5)、
6)以及特征點(diǎn)提取步驟以流水線的方式執(zhí)行，執(zhí)行時(shí)間取決于其中耗時(shí)最長的步驟，而不
是所有步驟的時(shí)間和。 本發(fā)明具有如下優(yōu)點(diǎn) 1.本發(fā)明構(gòu)建一個(gè)片上可編程系統(tǒng)，通過軟硬件協(xié)同處理，可以快速而又準(zhǔn)確 的提取出結(jié)構(gòu)光焊縫條紋的特征點(diǎn)。由于包括濾波、圖像增強(qiáng)、膨脹和腐蝕的數(shù)學(xué)形態(tài)學(xué) 處理、邊緣提取以及中心線提取在內(nèi)的圖像預(yù)處理過程算法簡單、功耗低，因此采用硬件 現(xiàn)場可編程門陣列FPGA實(shí)現(xiàn)；而各種情況的特征點(diǎn)提取過程，特征點(diǎn)選取原則依算法而 定，具有一定的特定性，實(shí)現(xiàn)過程屬于小批量處理，因此本發(fā)明采用嵌入式軟核處理系統(tǒng) MicroBlaze實(shí)現(xiàn)；依據(jù)上述硬件和軟核處理系統(tǒng)并用以提高處理速度和降低功耗的原則 對(duì)完成的任務(wù)進(jìn)行軟硬件的劃分，從而完成軟硬件協(xié)同操作完成特征點(diǎn)的提取功能。
2.本發(fā)明基于片上可編程系統(tǒng)的結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法，能滿足焊 縫跟蹤系統(tǒng)對(duì)實(shí)時(shí)性的要求，結(jié)構(gòu)簡單，具有可重構(gòu)性。


圖1是實(shí)現(xiàn)本發(fā)明的片上可編程系統(tǒng)的結(jié)構(gòu)組成圖。 圖2是本發(fā)明基于片上可編程系統(tǒng)實(shí)現(xiàn)結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法的 實(shí)現(xiàn)過程。 圖3是3X3模板中值濾波在現(xiàn)場可編程門陣列硬件上的實(shí)現(xiàn)原理。 圖4a是相機(jī)傳感器采集的原始圖像(說明白色亮條紋為結(jié)構(gòu)光圖像，由于采集
圖像進(jìn)行了只允許結(jié)構(gòu)光波長通過的濾光處理，因此焊縫板材為黑色圖像)。 圖4b是本發(fā)明中心線和特征點(diǎn)提取效果圖(說明白色輪廓線為邊緣提取處理得
到的結(jié)構(gòu)光條紋邊緣，輪廓中間的線條為提取的中心線，十字叉為提取的焊縫起始位置特
征點(diǎn))。
具體實(shí)施例方式
為了更好的理解本發(fā)明方法，下面結(jié)合附圖和實(shí)施例來進(jìn)行更進(jìn)一步的說明。
本發(fā)明基于SOPC的結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法，是將片上可編程系統(tǒng)
SOPC與圖像采集的相機(jī)傳感器相連，并對(duì)相機(jī)傳感器采集的圖像進(jìn)行后續(xù)圖像處理實(shí)現(xiàn) 的。相機(jī)傳感器與片上可編程系統(tǒng)SOPC通過"時(shí)鐘信號(hào)"、"行有效信號(hào)"、"幀有效信號(hào)"、
"數(shù)據(jù)輸入信號(hào)"相連。其中本發(fā)明中涉及的片上可編程系統(tǒng)SOPC主要由現(xiàn)場可編程門陣
列FPGA硬件及嵌入式運(yùn)行的32位MicroBlaze軟核處理系統(tǒng)構(gòu)成，圖1為結(jié)構(gòu)組成圖，從
而實(shí)現(xiàn)軟硬件協(xié)同處理，提高圖像處理的速度。 圖2為基于片上可編程系統(tǒng)SOPC實(shí)現(xiàn)的結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法的 實(shí)現(xiàn)過程，本發(fā)明構(gòu)建一個(gè)片上可編程系統(tǒng)S0PC，通過現(xiàn)場可編程門陣列FPGA，對(duì)相機(jī)傳 感器獲取的包含結(jié)構(gòu)光條紋的圖像進(jìn)行濾波、圖像增強(qiáng)、膨脹和腐蝕的數(shù)學(xué)形態(tài)學(xué)處理、邊 緣提取以及中心線提取的圖像預(yù)處理過程；再通過軟核處理系統(tǒng)進(jìn)行特征點(diǎn)提取。具體實(shí) 現(xiàn)步驟如下
4
1)圖像獲取相機(jī)傳感器(本實(shí)施例采用CMOS，還可以采用CCD)獲取包含結(jié)構(gòu)光 條紋的圖像，當(dāng)相機(jī)傳感器"幀有效信號(hào)"輸出有效，那么現(xiàn)場可編程門陣列FPGA按照"時(shí) 鐘信號(hào)"，讀取"數(shù)據(jù)輸入"，放入先入先出緩存FIFO中，然后進(jìn)行后續(xù)的數(shù)據(jù)處理。
2)濾波對(duì)步驟1)獲取的圖像進(jìn)行中值濾波。在圖像生成、采集和傳輸過程中， 不可避免的會(huì)引入各種噪聲使圖像質(zhì)量變差。因此需要對(duì)圖像進(jìn)行平滑濾波來抑制噪聲， 以利于后續(xù)處理。這里本發(fā)明通過對(duì)所截取窗口中像素進(jìn)行排序，用排序所得的中值來代 替窗口中心像素的值。 一般是選擇NXN的模板，通過N個(gè)先入先出緩存FIFO緩存N行數(shù) 據(jù)，然后并行進(jìn)入現(xiàn)場可編程門陣列FPGA的中值濾波功能模塊完成平滑處理。
本實(shí)施例選擇3X3的模板，通過三個(gè)先進(jìn)先出緩存FIFO(先進(jìn)先出緩存
1024X8bits)緩存3行數(shù)據(jù)，如
<formula>formula see original document page 5</formula>
，然后每行數(shù)據(jù)分別經(jīng)過三個(gè)8位寄存器，
.'小 t大 t中.
送入中值濾波功能模塊，即并行進(jìn)入中值濾波的排序模塊完成圖像的平滑處理。其中三層 三值排序模塊處理流程如下其中第一層排序模塊001、002、003對(duì)輸入的三行數(shù)據(jù)值進(jìn)行 排序，并分別將比較得到的a大、a中、a小(或b大、b中、b小或c大、c中、c小)按照各 自的大小關(guān)系分別送到第二層三值排序模塊，其中最大值比較模塊010中給出三者排序的 最小值，中間值比較模塊020中給出三者排序的中間值，最小值比較模塊030中給出三者排 序的最大值，最后經(jīng)過第三層三值排序模塊100得到中間值的輸出結(jié)果，送給后續(xù)處理模 塊進(jìn)行處理。圖3表示3X3模板中值濾波在FGPA硬件上的實(shí)現(xiàn)原理。
3)圖像增強(qiáng)根據(jù)焊縫結(jié)構(gòu)光圖像特征選擇閾值進(jìn)行二值化，將結(jié)構(gòu)光條紋從圖 像背景中提取出來。具體指對(duì)一幅圖像進(jìn)行加工，突出圖像中的某些信息，削弱或除去某 些不需要的信息，以得到對(duì)具體應(yīng)用來說視覺效果更好、更有用的圖像。由于結(jié)構(gòu)光條紋圖 像與背景圖像對(duì)比較明顯，因此采用二值化來對(duì)圖像進(jìn)行處理，可以突出結(jié)構(gòu)光條紋，以利 于后續(xù)處理。 4)數(shù)學(xué)形態(tài)學(xué)運(yùn)算由于噪聲的影響，圖像在二值化以后所得到的邊界通常很不 平滑，結(jié)構(gòu)光條紋邊緣會(huì)形成一些噪聲孔，同時(shí)由于圖像在高速采集時(shí)會(huì)使結(jié)構(gòu)光條紋出 現(xiàn)斷點(diǎn)，這些都會(huì)影響后續(xù)基于模板的邊緣提取效果。數(shù)學(xué)形態(tài)學(xué)的膨脹和腐蝕方法可以 很好的消除條紋圖像的斷點(diǎn)、噪聲孔，平滑其邊界，對(duì)于經(jīng)過步驟1)到步驟3)處理后的結(jié) 構(gòu)光條紋圖像具有很好的適用性，因此，本發(fā)明通過采用數(shù)學(xué)形態(tài)學(xué)的膨脹和腐蝕進(jìn)行后 續(xù)的平滑處理。 在進(jìn)行形態(tài)學(xué)運(yùn)算時(shí)需要根據(jù)目標(biāo)圖像即結(jié)構(gòu)光條紋的特點(diǎn)選擇不同的結(jié)構(gòu)元 素。在本發(fā)明涉及結(jié)構(gòu)光條紋是直線光條紋，條紋圖像之間結(jié)構(gòu)簡單，選擇豎直方向的結(jié)構(gòu) 元素，同時(shí)該結(jié)構(gòu)元素對(duì)條紋橫截面大小影響很小。在可編程門陣列FPGA中，采用3X 1的 模板來對(duì)圖像進(jìn)行膨脹和腐蝕。具體是首先通過先入先出緩存FIFO緩存三行圖像數(shù)據(jù)， 然后同時(shí)讀取三行數(shù)據(jù)的同一列進(jìn)入模板進(jìn)行膨脹操作，腐蝕操作類似于膨脹操作。其中， 圖像數(shù)據(jù)的緩存和3X1模板的實(shí)現(xiàn)可以參見圖3中值濾波功能的數(shù)據(jù)存取過程。
5)邊緣提取根據(jù)結(jié)構(gòu)光條紋的直線型結(jié)構(gòu)特點(diǎn)采用基于1X3模板的單像素邊 緣提取方法。首先讀取每行的圖像數(shù)據(jù)并送入1X3模板進(jìn)行處理，將模板中數(shù)據(jù)元素從左 到右依次標(biāo)記為1、 m、 n。如果m為255并且1與n不相等，則認(rèn)定m為邊緣像素，輸出為255，否則輸出為0。該模塊除了完成邊緣提取功能外，對(duì)較小的噪聲干擾也有一定的去除作 用。邊緣提取的效果圖見圖4b。 6)中心線提取逐行掃描邊緣圖像，分別記錄兩個(gè)邊緣像素位置的列坐標(biāo)，經(jīng)相 加后除以2，結(jié)果為中心線列坐標(biāo)，同時(shí)記錄行坐標(biāo)，然后在"行有效信號(hào)"控制下通過通用 輸入輸出模塊送入MicroBlaze軟核處理系統(tǒng)進(jìn)行步驟7)的特征點(diǎn)提取。中心線提取效果 圖見圖4b。 7)特征點(diǎn)提取步驟6)得到的中心線從上下兩端分別選取N個(gè)點(diǎn)通過最小二乘 法擬合出兩條式(1)和式(2)直線，對(duì)式(1)直線，從步驟6)所述中心線上端開始代入點(diǎn) 列坐標(biāo)值，計(jì)算出橫坐標(biāo)值，并與實(shí)際的橫坐標(biāo)值比較，相差大于一個(gè)給定值e ，則標(biāo)記該 點(diǎn)，若從某點(diǎn)開始連續(xù)出現(xiàn)十個(gè)標(biāo)記點(diǎn)，則判定該點(diǎn)為焊縫特征點(diǎn)；同樣可以對(duì)式(2)直線 進(jìn)行相同操作，找出結(jié)構(gòu)光焊縫圖像的另一個(gè)特征點(diǎn)。 本實(shí)施例對(duì)中心線從上下兩端分別選取50個(gè)點(diǎn)(N = 50)通過最小二乘法擬合出 式(1)和式(2)兩條直線，設(shè)直線方程分別為

y = a丄x+bi (1) y = a2x+b2 (2)
式(1)和式(2)兩條直線方程的系數(shù)^、h和^、h根據(jù)式(3)、 (4)計(jì)算出 ",》^,P'2 ("1,2) (3) ^^r，y' 闊 (4) 對(duì)式(1)直線，從中心線上端開始代入點(diǎn)列坐標(biāo)值，計(jì)算出橫坐標(biāo)值，并與實(shí)際的 橫坐標(biāo)值比較，相差大于一個(gè)給定值e ，則標(biāo)記該點(diǎn)，若從某點(diǎn)開始連續(xù)出現(xiàn)十個(gè)標(biāo)記點(diǎn)， 則判定該點(diǎn)為特征點(diǎn)；同樣可以對(duì)式(2)直線進(jìn)行相同操作，找出結(jié)構(gòu)光焊縫圖像的另一 個(gè)特征點(diǎn)。圖4b中標(biāo)號(hào)十字叉的位置為兩個(gè)特征點(diǎn)。 本發(fā)明所述步驟2) 、3) 、4) 、5) 、6)全部采用硬件描述語言(VHDL)來完成設(shè)計(jì)；步 驟7)通過嵌入的Microblaze軟核處理系統(tǒng)來完成。步驟2) 、3) 、4) 、5) 、6) 、7)以流水線的 方式執(zhí)行，執(zhí)行時(shí)間取決于其中耗時(shí)最長的步驟，而不是所有步驟的時(shí)間和，使特征點(diǎn)提取 速度大大提高。
權(quán)利要求
一種結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法，其特征在于將現(xiàn)場可編程門陣列(FPGA)和軟核處理系統(tǒng)并用以提高處理速度和降低功耗，對(duì)結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取任務(wù)進(jìn)行軟硬件的劃分，從而通過軟硬件協(xié)同操作完成特征點(diǎn)的提??；具體是構(gòu)建一個(gè)片上可編程系統(tǒng)(SOPC)，通過現(xiàn)場可編程門陣列(FPGA)，對(duì)相機(jī)傳感器獲取的包含結(jié)構(gòu)光條紋的圖像進(jìn)行濾波、圖像增強(qiáng)、膨脹和腐蝕的數(shù)學(xué)形態(tài)學(xué)處理、邊緣提取以及中心線提取的圖像預(yù)處理過程；再通過軟核處理系統(tǒng)進(jìn)行特征點(diǎn)提取。
2. 根據(jù)權(quán)利要求1所述的結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法，其特征在于所述圖像 預(yù)處理包括以下步驟1) 圖像獲取通過相機(jī)傳感器獲取包含結(jié)構(gòu)光條紋的圖像，并送入片上可編程系統(tǒng) (S0PC)中；2) 濾波對(duì)步驟1獲取的圖像進(jìn)行中值濾波；3) 圖像增強(qiáng)根據(jù)焊縫結(jié)構(gòu)光圖像特征選擇閾值進(jìn)行二值化，將結(jié)構(gòu)光條紋從圖像背 景中提取出來；4) 數(shù)學(xué)形態(tài)學(xué)運(yùn)算選擇結(jié)構(gòu)光條紋豎直方向的結(jié)構(gòu)元素，來對(duì)圖像進(jìn)行膨脹和腐蝕 處理；5) 邊緣提取通過模板運(yùn)算提取單像素的結(jié)構(gòu)光條紋邊緣，同時(shí)濾除小于模板大小的 噪聲；6) 中心線提取逐行掃描邊緣圖像，分別記錄兩個(gè)邊緣像素位置的列坐標(biāo)，經(jīng)相加后 除以2，結(jié)果為中心線列坐標(biāo)，同時(shí)記錄行坐標(biāo)，送入軟核處理系統(tǒng)進(jìn)行特征點(diǎn)提取。
3. 根據(jù)權(quán)利要求1所述的結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法，其特征在于所述特 征點(diǎn)提取是在軟核處理系統(tǒng)中用最小二乘法擬合直線，并根據(jù)直線判斷特征點(diǎn)的位置過 程。
4. 根據(jù)權(quán)利要求2所述的結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法，其特征在于步驟1)所 述片上可編程系統(tǒng)(S0PC)采用支持嵌入式軟核處理系統(tǒng)的現(xiàn)場可編程門陣列(FPGA)系列 產(chǎn)品，所述軟核處理系統(tǒng)為MicroBlaze。
5. 根據(jù)權(quán)利2或3所述的結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法，其特征在于所述圖 像預(yù)處理中步驟2) 、3) 、4) 、5) 、6)和所述特征點(diǎn)提取步驟以流水線的方式執(zhí)行，執(zhí)行時(shí)間 取決于其中耗時(shí)最長的步驟，而不是所有步驟的時(shí)間和。
全文摘要
本發(fā)明涉及結(jié)構(gòu)光視覺檢測技術(shù)，具體是一種結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取方法。它將現(xiàn)場可編程門陣列和軟核處理系統(tǒng)并用以提高處理速度和降低功耗，對(duì)結(jié)構(gòu)光焊縫圖像特征點(diǎn)快速提取任務(wù)進(jìn)行軟硬件的劃分，從而通過軟硬件協(xié)同操作完成特征點(diǎn)的提??；具體是構(gòu)建一個(gè)片上可編程系統(tǒng)，通過現(xiàn)場可編程門陣列，對(duì)相機(jī)傳感器獲取的包含結(jié)構(gòu)光條紋的圖像進(jìn)行濾波、圖像增強(qiáng)、膨脹和腐蝕的數(shù)學(xué)形態(tài)學(xué)處理、邊緣提取以及中心線提取的圖像預(yù)處理過程；再通過軟核處理系統(tǒng)進(jìn)行特征點(diǎn)提取。本發(fā)明各步驟之間以流水線的方式工作，能提高圖像處理的速度，滿足焊縫跟蹤的實(shí)時(shí)性要求，可廣泛應(yīng)用于激光自動(dòng)焊接領(lǐng)域。
文檔編號(hào)G06T7/00GK101770641SQ200810230238
公開日2010年7月7日 申請(qǐng)日期2008年12月26日 優(yōu)先權(quán)日2008年12月26日
發(fā)明者姜春英, 康永軍, 柳連柱, 鄒媛媛, 郭奇 申請(qǐng)人:中國科學(xué)院沈陽自動(dòng)化研究所