本發(fā)明屬于模式識(shí)別和圖像處理技術(shù)領(lǐng)域，具體是指一種爆炸電路板殘片圖像自動(dòng)比對(duì)識(shí)別方法。

背景技術(shù)：

遙控/定時(shí)類智能爆炸裝置中的核心部件-電子線路板炸后識(shí)別比對(duì)并進(jìn)一步溯源追蹤，對(duì)偵破非現(xiàn)場(chǎng)智能啟動(dòng)爆炸案件具有重要意義。目前，對(duì)于電子線路板的甄別和辨識(shí)由專業(yè)人士人工摸排完成，需要熟練的專業(yè)知識(shí)和大量的精力；若能將圖像模式技術(shù)用于爆炸電路板殘片自動(dòng)識(shí)別，將節(jié)省相關(guān)專家的大量排查工作、提高案件偵破的可能性。目前，通過(guò)圖像模式識(shí)別技術(shù)，自動(dòng)比對(duì)爆炸電路板殘片、識(shí)別出同類型同型號(hào)電路板(此后簡(jiǎn)稱原板)的技術(shù)和方法，國(guó)內(nèi)外鮮有研究成果發(fā)表。

爆炸殘片圖像識(shí)別，涉及問(wèn)題之一是電路板元器件分割，在電路板回收再利用的研究中，已有文獻(xiàn)發(fā)表利用圖像處理技術(shù)分割電路板圖像元器件的方法；爆炸殘片圖像識(shí)別中的另一個(gè)重要問(wèn)題，即識(shí)別方法，在圖像檢索領(lǐng)域，基于局部特征點(diǎn)的圖像識(shí)別方法具有魯棒的識(shí)別性能。

基于裝配框標(biāo)識(shí)的分割方法利用了電路板自身結(jié)構(gòu)的特點(diǎn)，對(duì)焊接的元器件具有較好的分割結(jié)果。參考文獻(xiàn)[1](參考文獻(xiàn)[1]:Li,Wei,Bernhard Esders and Matthias Breier.“SMD segmentation for automated PCB recycling.”INDIN(2013).)通過(guò)局部自適應(yīng)閾值的方式檢測(cè)裝配框邊界像素，邊界框用于初始化分割候選區(qū)域，進(jìn)一步通過(guò)分層評(píng)估的方法將邊界框中只有焊點(diǎn)的區(qū)域刪除，最后所有有框的元器件將被分割出?；谘b配框標(biāo)識(shí)的分割方法充分利用了電路板上的裝配標(biāo)識(shí)框，特征選擇比較合理，但是準(zhǔn)確率不高，特別是對(duì)電路板上元器件周邊無(wú)裝配框的情況，則無(wú)法分割元器件，該方法具有局限性。

基于閾值的分割方法，有比較多的文獻(xiàn)發(fā)表。該類方法將電路板中的像素分為前景(元器件對(duì)象)與背景(主板)，通過(guò)顏色模型來(lái)自適應(yīng)選取分割閾值。對(duì)于顏色種類少，顏色值差異大的電路板，閾值的選取相對(duì)容易；對(duì)于顏色種類豐富復(fù)雜的電路板，參考文獻(xiàn)[2](參考文獻(xiàn)[2]:Herchenbach,Daniel,Wei Li and Matthias Breier.“Segmentation and classification of THCs on PCBAs.”INDIN(2013))考慮多閾值的策略，通過(guò)分層優(yōu)化代價(jià)函數(shù)來(lái)得到逐層的最優(yōu)閾值，迭代地分割出元器件對(duì)象。在使用閾值分割的方法中，多數(shù)研究?jī)H采用單一的顏色特征，研究的關(guān)鍵在于如何更準(zhǔn)確地選取閾值，而閾值是否準(zhǔn)確不僅與選取方法有關(guān)，也與不同來(lái)源的數(shù)據(jù)相關(guān)(拍攝條件、板子的新舊等)，各種影響因素使此類方法魯棒性不好。電路板圖像不僅顏色多樣，而且紋理、邊緣豐富，更合理的方案應(yīng)該是考慮多特征的融合。

圖像檢索技術(shù)中，局部特征點(diǎn)匹配具有魯棒的識(shí)別性能。Lowe提出的SIFT特征(參考文獻(xiàn)[4]：Lowe,David G..“Distinctive Image Features from Scale-Invariant Keypoints.”IJCV(2004).)因其在圖像局部特征描述方面的優(yōu)越性能而被廣泛應(yīng)用，該特征對(duì)圖像的光照、旋轉(zhuǎn)變化、噪聲以及尺度等都表現(xiàn)出較強(qiáng)的魯棒性。SIFT匹配方法的實(shí)質(zhì)是在不同的尺度空間上檢測(cè)關(guān)鍵點(diǎn)(特征點(diǎn))，并計(jì)算出關(guān)鍵點(diǎn)的方向及其特征描述。Lowe的SIFT特征提取算法分為四步：

(1)尺度空間極值檢測(cè)：搜索圖像所有尺度的位置，通過(guò)高斯差分函數(shù)來(lái)識(shí)別潛在的尺度不變極值點(diǎn)。

(2)關(guān)鍵點(diǎn)定位：對(duì)于離散空間中檢測(cè)的極值點(diǎn)，通過(guò)擬合三維二次函數(shù)來(lái)精確定位關(guān)鍵點(diǎn)的位置和尺度，同時(shí)濾除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)。

(3)主方向確定：基于圖像局部的梯度方向，分配給每個(gè)關(guān)鍵點(diǎn)位置一個(gè)或兩個(gè)主方向，之后對(duì)于圖像數(shù)據(jù)的所有操作都相對(duì)于關(guān)鍵點(diǎn)的主方向進(jìn)行變換，從而提供旋轉(zhuǎn)不變性。

(4)關(guān)鍵點(diǎn)描述：在每個(gè)關(guān)鍵點(diǎn)周圍的鄰域內(nèi)，在選定的尺度上計(jì)算圖像局部的梯度，生成128維梯度方向直方圖作為特征點(diǎn)的特征描述。

參考文獻(xiàn)[4]提出的特征比對(duì)方案是：

(1)先對(duì)兩幅圖像的特征點(diǎn)描述建立匹配關(guān)系，對(duì)于一幅圖像中的每個(gè)特征點(diǎn)在另一幅圖像上尋找與其歐氏距離最近與次近的特征點(diǎn)，如果最近距離小于次近的0.8倍，則認(rèn)為最近距離的兩個(gè)特征點(diǎn)匹配。

(2)使用霍夫變換或者RANSAC算法，從匹配上的所有特征點(diǎn)對(duì)中去除錯(cuò)誤匹配?；谑Ｏ碌奶卣鼽c(diǎn)匹配結(jié)果作為兩幅圖像的匹配指標(biāo)。此方法對(duì)于不同類別物體間的比對(duì)檢索效果較好，但對(duì)相同類別的物體識(shí)別性能不佳。其原因在于該算法將特征描述比對(duì)和特征點(diǎn)空間關(guān)系比對(duì)分別獨(dú)立進(jìn)行，如果在特征描述的匹配環(huán)節(jié)就產(chǎn)生大量的錯(cuò)誤匹配，那么利用空間位置約束就會(huì)濾除大量的特征點(diǎn)對(duì)，最后兩幅圖像幾乎無(wú)法確定匹配關(guān)系。而在電路板型號(hào)識(shí)別中由于：1.同種電路板不同批次生產(chǎn)，會(huì)有局部的差異；2.不同電路板之間也會(huì)存在元器件相同或者功能結(jié)構(gòu)近似相同的局部—導(dǎo)致特征點(diǎn)的相似性，獨(dú)立考慮問(wèn)題時(shí)，非常容易造成錯(cuò)誤匹配關(guān)系，使算法比對(duì)性能會(huì)大幅下降。

參考文獻(xiàn)[3]提出了一種同時(shí)考慮特征點(diǎn)描述相似性與空間位置相似性的特征點(diǎn)比對(duì)方法，其匹配的準(zhǔn)確率高于參考文獻(xiàn)[4]提出的比對(duì)方法。該方法步驟如下：

(1)設(shè)兩幅圖像上提取的SIFT特征點(diǎn)數(shù)目分別是m個(gè)和n個(gè)，計(jì)算所有m*n個(gè)特征點(diǎn)對(duì)的特征歐氏距離并排序，選擇歐式距離最小的10組特征點(diǎn)對(duì)。在10組特征點(diǎn)對(duì)中檢測(cè)出滿足如下條件的3組特征點(diǎn)對(duì)(basis_set)：

①3組特征點(diǎn)對(duì)組成的兩個(gè)三角形相似，即對(duì)應(yīng)邊長(zhǎng)比例相同。

②3組特征點(diǎn)對(duì)中每?jī)山M特征點(diǎn)的主方向夾角對(duì)應(yīng)相同。

記錄滿足條件的所有basis_set。

(3)對(duì)每個(gè)basis_set，計(jì)算仿射變換矩陣。通過(guò)仿射關(guān)系將一幅圖像剩下的特征點(diǎn)投影到另一幅圖像中，在新的位置附近尋找是否存在歐氏距離小于一定閾值的特征點(diǎn)。若存在，則認(rèn)為構(gòu)成匹配對(duì)。記錄每個(gè)basis_set對(duì)應(yīng)的匹配總數(shù)，最終以最大匹配數(shù)目作為圖像的匹配指標(biāo)。

相對(duì)于獨(dú)立考慮特征點(diǎn)描述和空間位置的相似性，同時(shí)考慮兩者相似性顯得更為合理。參考文獻(xiàn)[3]實(shí)驗(yàn)表明，參考文獻(xiàn)[4]的方法最多能達(dá)到70％的特征點(diǎn)匹配正確(True Positive Rate)的情況下，該方法能達(dá)到90％；同時(shí)參考文獻(xiàn)[4]的方法約有5％的特征點(diǎn)匹配錯(cuò)誤(False Positive Rate)的情況下，該方法只有1％。但是上述算法適用場(chǎng)景較簡(jiǎn)單，僅適用于不同類別物體之間的圖像識(shí)別。將參考文獻(xiàn)[3]方法應(yīng)用于電路板殘片比對(duì)識(shí)別中，實(shí)驗(yàn)測(cè)試準(zhǔn)確率僅為60％。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在解決由爆炸電路板殘片自動(dòng)識(shí)別其同類型同型號(hào)電路板這一實(shí)際中迫切需要解決的問(wèn)題，屬于根據(jù)局部識(shí)別整體的圖像識(shí)別研究范疇。由于電路板爆炸受損，采集的殘片圖像中存在大量噪聲干擾；而且，殘片圖像僅僅是小的局部圖像，只能依據(jù)有限的局部描述來(lái)識(shí)別其同型號(hào)電路板整體，使得自動(dòng)比對(duì)識(shí)別難度加大；為此，本發(fā)明提出了一種基于元器件對(duì)象分割與局部特征點(diǎn)空間關(guān)系相似性的殘片自動(dòng)識(shí)別方法。本發(fā)明提出的方法能夠以高于99％的TOP1準(zhǔn)確率識(shí)別殘片所屬電路板同型號(hào)原板。

由于電路板中主板顏色單一并無(wú)區(qū)分作用，具有區(qū)分力的區(qū)域應(yīng)屬元器件、字符及布線，而這些區(qū)域中提取到的局部特征點(diǎn)及其描述，是能夠描述這些區(qū)域且易于自動(dòng)比對(duì)的魯棒特征。在電路板圖像上提取這些局部特征時(shí)，存在的問(wèn)題是：(1)由于爆炸殘片表面受損，殘片圖像特征點(diǎn)提取會(huì)受到干擾；(2)爆炸殘片面積較小，所提取的特征點(diǎn)數(shù)目遠(yuǎn)小于同型號(hào)整板圖像上的特征點(diǎn)數(shù)目，且電路板上也會(huì)提取出無(wú)用的(甚至干擾的)特征點(diǎn)。為解決這些問(wèn)題，首先，本發(fā)明提出一種基于概率圖模型與概率抽樣顏色模型的融合對(duì)象分割方法，能夠準(zhǔn)確地分割出電路板中的元器件及字符區(qū)域，抑制噪聲干擾，其分割結(jié)果優(yōu)于當(dāng)前已有的電路板元器件分割方法。其次，本發(fā)明采用SIFT特征作為局部特征點(diǎn)描述，對(duì)電路板圖像提取出SIFT特征后，根據(jù)前述對(duì)象分割方法所得的結(jié)果，保留分布在元器件及字符區(qū)域中的特征點(diǎn)，濾除電路板主板上的特征點(diǎn)，以避免這些無(wú)區(qū)分力的特征點(diǎn)對(duì)比對(duì)算法的干擾。最后，提出一種基于匹配特征點(diǎn)幾何相似性的比對(duì)方法，比對(duì)時(shí)同時(shí)考慮特征點(diǎn)描述與空間幾何關(guān)系的相似性，該方法在電路板殘片圖像自動(dòng)識(shí)別中TOP1準(zhǔn)確率高于99％。

本發(fā)明提供的爆炸電路板殘片圖像自動(dòng)比對(duì)識(shí)別方法，具體包括如下步驟：

第一步，對(duì)原電路板圖像進(jìn)行對(duì)象分割，具體為：

在原電路板圖像上，在電路板外圍人工畫(huà)矩形框，再執(zhí)行基于概率圖模型的圖像分割算法，得到電路板前景圖像區(qū)域；

在電路板前景圖像區(qū)域，采用K-means算法聚類電路板像素顏色值，像素?cái)?shù)目最多的那一類簇則認(rèn)為是主板像素，作為初始背景，其余簇均作為初始前景，以此分別初始化高斯混合模型，進(jìn)而執(zhí)行基于概率圖模型的圖像分割算法，得到電路板對(duì)象分割結(jié)果；

對(duì)于電路板對(duì)象分割結(jié)果，執(zhí)行基于概率抽樣的顏色模型，對(duì)元器件對(duì)象進(jìn)行的對(duì)象精定位；

第二步，特征提取和特征點(diǎn)過(guò)濾：對(duì)象分割后的原電路板圖像分別進(jìn)行SIFT特征點(diǎn)提取和特征點(diǎn)過(guò)濾；

第三步，對(duì)所有的原電路板執(zhí)行第一步～第二步，存儲(chǔ)原電路板圖像、原電路板過(guò)濾后的SIFT特征點(diǎn)及其描述，構(gòu)建檢索庫(kù)；

第四步，對(duì)待識(shí)別殘片圖像進(jìn)行對(duì)象分割和SIFT特征點(diǎn)提??；

第五步，特征比對(duì)：將第四步中獲得的待識(shí)別殘片圖像的SIFT特征點(diǎn)與第三步建立的檢索庫(kù)中的特征點(diǎn)進(jìn)行比對(duì)，確定殘片所屬的源電路板。

本發(fā)明的優(yōu)點(diǎn)在于：

(1)首次提出并實(shí)現(xiàn)了根據(jù)爆炸電路板殘片圖像自動(dòng)識(shí)別印刷電路板同型號(hào)原板的方法。

(2)提出一種基于概率圖模型與概率抽樣顏色模型的融合對(duì)象分割方法，能夠準(zhǔn)確地分割出電路板中的元器件及字符區(qū)域，抑制噪聲干擾，其分割結(jié)果優(yōu)于當(dāng)前已有的電路板元器件分割方法。

(3)提出一種基于匹配特征點(diǎn)幾何相似性的比對(duì)方法，比對(duì)時(shí)同時(shí)考慮特征點(diǎn)描述與空間幾何關(guān)系的相似性，該方法在電路板殘片圖像自動(dòng)識(shí)別中TOP1準(zhǔn)確率高于99％。

附圖說(shuō)明

圖1為本發(fā)明的爆炸電路板殘片圖像自動(dòng)比對(duì)識(shí)別方法框圖。

圖2為圖像對(duì)象分割方法框圖。

圖3為s-t圖及切割示意圖。

具體實(shí)施方式

下面結(jié)合附圖是實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。

本發(fā)明提供一種爆炸電路板殘片圖像自動(dòng)比對(duì)識(shí)別方法，如圖1所示，所述的識(shí)別方法分為兩個(gè)階段，分別為構(gòu)建檢索庫(kù)階段和比對(duì)識(shí)別階段，具體的，通過(guò)如下步驟實(shí)現(xiàn)：

第一步，構(gòu)建檢索庫(kù)。

步驟1.1：將原電路板圖像進(jìn)行對(duì)象分割；

步驟1.2：特征提取，即提取SIFT特征點(diǎn)及其描述；然后用對(duì)象分割結(jié)果濾除無(wú)用的特征點(diǎn)，即特征點(diǎn)過(guò)濾；

Lowe提出的SIFT特征(參考文獻(xiàn)[4])因其在圖像局部特征描述方面的優(yōu)越性能而被廣泛應(yīng)用，SIFT特征對(duì)圖像的光照、旋轉(zhuǎn)變化、噪聲以及尺度等都表現(xiàn)出較強(qiáng)的魯棒性。本發(fā)明也采用了SIFT特征點(diǎn)及其描述作為電路板識(shí)別的特征，特征提取算法參見(jiàn)參考文獻(xiàn)[4]。對(duì)于所提取的SIFT特征點(diǎn)，基于前述圖像對(duì)象分割得到的結(jié)果，對(duì)電路板主板上的一些特征點(diǎn)進(jìn)行屏蔽即過(guò)濾，以避免對(duì)后續(xù)比對(duì)識(shí)別的干擾。

步驟1.3：存儲(chǔ)原電路板圖像、過(guò)濾后的特征點(diǎn)及其描述，構(gòu)建出檢索庫(kù)。

第二步，對(duì)待識(shí)別殘片進(jìn)行對(duì)象分割、特征提取及特征點(diǎn)過(guò)濾，具體為：

步驟2.1：將待識(shí)別殘片圖像進(jìn)行對(duì)象分割；

步驟2.2：提取SIFT特征點(diǎn)并用對(duì)象分割結(jié)果濾除無(wú)用特征點(diǎn)。

第三步，將第二步中得到的殘片圖像的特征點(diǎn)與檢索庫(kù)中每一幅原電路板圖像的特征點(diǎn)進(jìn)行比對(duì)識(shí)別，并將匹配的特征點(diǎn)數(shù)目作為檢索相似性指標(biāo)，返回前10個(gè)最相似的原電路板圖像，確定殘片所屬的源電路板。

在電路板殘片識(shí)別中，存在：①同種電路板不同批次生產(chǎn)，會(huì)有局部的差異；②不同電路板之間也會(huì)存在結(jié)構(gòu)近似相同的局部；③殘片特征點(diǎn)數(shù)量遠(yuǎn)小于原板，局部描述有限?？紤]這些因素，本發(fā)明的特征比對(duì)方案設(shè)計(jì)如下。

設(shè)電路板殘片圖像有m個(gè)特征點(diǎn)，待匹配的原電路板圖像有n個(gè)特征點(diǎn)(m＜＜n)，特征比對(duì)過(guò)程如下：

(3.1)對(duì)殘片圖像的每個(gè)特征點(diǎn)，選擇出與其歐氏距離最小的5組特征點(diǎn)對(duì)，總共選擇出k＝5*m組；此策略一方面使得殘片圖像的每個(gè)特征點(diǎn)都可能對(duì)后續(xù)檢測(cè)相似的空間結(jié)構(gòu)有貢獻(xiàn)，另一方面增大了正確匹配的可能性，同時(shí)也使得檢測(cè)相似三角形結(jié)構(gòu)變得容易。

(3.2).在k組特征點(diǎn)對(duì)中檢測(cè)空間位置相似的3組特征點(diǎn)對(duì)，滿足以下約束：

(1)3組特征點(diǎn)對(duì)組成的兩個(gè)三角形相似。

(2).3組特征點(diǎn)對(duì)中每?jī)山M特征點(diǎn)的主方向夾角對(duì)應(yīng)相同。

(3).相似三角形的邊長(zhǎng)比例等于兩幅圖像的尺度比例。由于電路板實(shí)物具有各自固定的大小，且同類型電路板的實(shí)際尺寸必定是相同的，通過(guò)在采集圖像時(shí)添加標(biāo)尺，可以得到電路板圖像對(duì)應(yīng)的尺度大小，所以特征點(diǎn)空間位置的相對(duì)比例應(yīng)該等于圖像的尺度比例，此約束符合同類型電路板具有相同尺寸這一實(shí)際特點(diǎn)。

(4).相似三角形的旋轉(zhuǎn)角度等于兩幅圖像的旋轉(zhuǎn)角度。與約束(3)同理，相似三角形具有的性質(zhì)應(yīng)該與實(shí)際圖像的特點(diǎn)相符合。

(5).相似三角形為銳角三角形。在實(shí)驗(yàn)中發(fā)現(xiàn)，若相似結(jié)構(gòu)為鈍角三角形，則計(jì)算的仿射變換系數(shù)往往不準(zhǔn)確，映射后的點(diǎn)幾乎處在一條直線上，從而造成錯(cuò)誤的匹配關(guān)系。因此為了避免建立錯(cuò)誤的仿射關(guān)系，本發(fā)明中約束相似結(jié)構(gòu)必須為銳角三角形。

(6).相似三角形不應(yīng)滿足翻轉(zhuǎn)變換的性質(zhì)。由于圖像采集自電路板實(shí)物，采集圖像并不會(huì)作鏡像翻轉(zhuǎn)，那么滿足仿射性質(zhì)的兩個(gè)相似三角形結(jié)構(gòu)也不可能是翻轉(zhuǎn)變換的關(guān)系。

記錄滿足條件的所有構(gòu)成匹配三角形的特征點(diǎn)組(basis_set)。

(3.3).利用每個(gè)basis_set，計(jì)算仿射變換矩陣；通過(guò)仿射關(guān)系將殘片圖像其余的特征點(diǎn)投影到原電路板圖像中，在新的位置附近(5×5)尋找是否存在特征歐氏距離小于規(guī)定閾值(選取閾值為0.6)的特征點(diǎn)。若存在，則認(rèn)為構(gòu)成匹配對(duì)。記錄每個(gè)basis_set對(duì)應(yīng)的匹配總數(shù)，最終以特征點(diǎn)對(duì)最大匹配數(shù)目作為圖像的匹配得分指標(biāo)。

步驟1.1和步驟2.1中所述的對(duì)原電路板圖像和待識(shí)別殘片圖像進(jìn)行對(duì)象分割，如圖2所示，以原電路板圖像的對(duì)象分割為例，在拍攝的原電路板圖像中，不可避免地存在電路板之外的拍攝背景，因此第一步需要在輸入的圖像中提取電路板區(qū)域子圖像(前景圖像)，進(jìn)而在前景圖像中執(zhí)行對(duì)象(元器件及字符)分割算法，再對(duì)對(duì)象分割算法的結(jié)果進(jìn)行精細(xì)修正，實(shí)現(xiàn)對(duì)象精定位，得到最終的對(duì)象分割結(jié)果。所述的對(duì)象分割算法采用基于概率圖模型的圖像分割算法來(lái)實(shí)現(xiàn)。所述的對(duì)象精定位采用基于概率抽樣的顏色模型來(lái)實(shí)現(xiàn)。

所述的基于概率圖模型的圖像分割算法(Grab cut)，是把圖像分割問(wèn)題用概率圖模型表示，采用圖的最小割算法求解。將圖像映射為帶權(quán)無(wú)向圖G＝<V，E>，V表示帶權(quán)無(wú)向圖中節(jié)點(diǎn)的集合，E表示帶權(quán)無(wú)向圖中邊的集合。所述的帶權(quán)無(wú)向圖中每個(gè)節(jié)點(diǎn)N∈V對(duì)應(yīng)于圖像中每個(gè)像素，每條邊連接著一對(duì)相鄰的像素，邊的權(quán)值表示了相鄰像素之間在灰度、顏色或者紋理方面的相似度。而對(duì)圖像的一個(gè)分割就是對(duì)帶權(quán)無(wú)向圖的一個(gè)剪切，被分割的每個(gè)圖像區(qū)域?qū)?yīng)一個(gè)帶權(quán)無(wú)向圖的子圖，分割的最優(yōu)原則就是使劃分后的子圖在內(nèi)部保持相似度最大，子圖之間的相似度最小?；诟怕蕡D模型的圖像分割算法本質(zhì)就是移除特定的邊，將帶權(quán)無(wú)向圖劃分為若干子圖從而實(shí)現(xiàn)分割。

Grab cut(參見(jiàn)參考文獻(xiàn)[6]：Rother，Carsten，Vladimir Kolmogorov and Andrew Blake.“″GrabCut″：interactive foreground extraction using iterated graph cuts.’ACM Trans.Graph(2004)。)是一種經(jīng)典的圖像分割方法。用一個(gè)無(wú)向圖G＝<V，E>表示要分割的圖像，在此基礎(chǔ)上增加2個(gè)頂點(diǎn)，分別用符號(hào)“S”和“T”表示，分別稱為源點(diǎn)和宿點(diǎn)，各自代表了對(duì)象端和背景端，其他所有的頂點(diǎn)必須和這兩個(gè)頂點(diǎn)相連。

圖3是一個(gè)圖像對(duì)應(yīng)的S-T圖及切割示意圖，在前背景分割中，參見(jiàn)參考文獻(xiàn)[5]，S一般表示前景目標(biāo)(1abel設(shè)為1，以下稱為標(biāo)簽1)，T一般表示背景目標(biāo)(1abel設(shè)為0，以下稱為標(biāo)簽0)。圖3示意了一種切割方式，每條邊都有一個(gè)非負(fù)的權(quán)值，一個(gè)割就是邊集合E的一個(gè)子集C，該邊集合E中所有邊的斷開(kāi)會(huì)導(dǎo)致“S”和“T”圖的分開(kāi)。如果一個(gè)割，它的邊的所有權(quán)值之和最小，那么稱為最小割，即圖像分割法尋找的結(jié)果，也即帶權(quán)無(wú)向圖中邊的權(quán)值決定了分割結(jié)果。

Grab cut假定圖像的分割為L(zhǎng)時(shí)，圖像的能量表示為：

E(L)＝E_R(L)+E_B(L) (1)

式中，E_R(L)表示區(qū)域項(xiàng)，E_B(L)表示邊界項(xiàng)。E(L)表示總權(quán)值，也叫能量函數(shù)，圖像分割的目標(biāo)就是優(yōu)化能量函數(shù)使其達(dá)到最小值。

①區(qū)域項(xiàng)

E_R(L)＝∑_p∈PR_p(l) (2)

式中，P表示像素集合，R_p(l)表示像素集合P中的任意一個(gè)像素p屬于標(biāo)簽l的概率，我們希望像素p分配為其概率最大的標(biāo)簽時(shí)能量最小，所以一般取概率的負(fù)對(duì)數(shù)值：

R_p(1)＝-lnPr(I_p|′obj′)R_p(0)＝-lnPr(I_p|′bkg′) (3)

其中，R_p(1)表示像素p屬于標(biāo)簽1的能量，R_p(0)表示像素p屬于標(biāo)簽0的能量；IP表示像素點(diǎn)p的RGB值；o均表示前景對(duì)象，bkg表示背景對(duì)象；Pr表示像素p屬于各類(前景/背景)的概率，其值可以通過(guò)分別計(jì)算像素p的RGB值屬于前景/背景各自的高斯混合模型的概率得到。

高斯混合模型(GMM)，顧名思義，就是數(shù)據(jù)可以看作是從若干個(gè)高斯分布中生成而來(lái)。一個(gè)GMM由K個(gè)高斯分布組成，這些高斯分布線性加權(quán)就組成了GMM的概率密度函數(shù)：

其中，π_k表示加權(quán)值，N(x|μ_k，∑_k)表示一個(gè)均值為μ_k、協(xié)方差為∑_k高斯分布，x為自變量；d表示特征維數(shù)，T表示轉(zhuǎn)置；k＝1，..，K。

采用RGB顏色空間，分別用一個(gè)由K個(gè)高斯分量(一般取K＝5)組成的全協(xié)方差GMM來(lái)對(duì)目標(biāo)和背景進(jìn)行建模。對(duì)于每個(gè)像素，要么來(lái)自于目標(biāo)GMM的某個(gè)高斯分量，要么來(lái)自于背景GMM的某個(gè)高斯分量。

②邊界項(xiàng)

E_B(L)＝∑_{{p，q}∈V}B_<p，q>*δ(l_p，l_q) (6)

其中，

式(6)中，p和q為鄰域像素，邊界項(xiàng)主要體現(xiàn)分割L的邊界屬性，如果p和q越相似那么權(quán)值越大，反之越接近于0。l_p和l_q分別表示像素p和像素q的標(biāo)簽，I_p和I_q分別表示像素p和像素q的像素值，B_<p，q>為像素點(diǎn)p和q之間的代價(jià)，σ²為指數(shù)的尺度。

當(dāng)帶權(quán)無(wú)向圖的權(quán)值確定后，就可以通過(guò)最小割算法將帶權(quán)無(wú)向圖切割成前景與背景兩部分，而福特-富克森定理表明，網(wǎng)絡(luò)的最大流與最小割等價(jià)，因此可以將最小割轉(zhuǎn)化成最大流算法來(lái)求解。

本發(fā)明中將基于概率圖模型的圖像分割算法Grab cut應(yīng)用于電路板圖像對(duì)象分割，包括如下兩步：

步驟1：電路板所在區(qū)域的提取，此次分割的目的是從所拍攝的包含電路板的圖像中分離出電路板所在區(qū)域。由于Grab cut屬于半自動(dòng)分割算法，首先需要在圖像上框出一個(gè)矩形框，矩形框內(nèi)像素初始化為前景，框外像素初始化為背景，進(jìn)而初始化前景和背景高斯混合模型。因此這一步先在電路板外圍人工畫(huà)矩形框，再執(zhí)行基于概率圖模型的圖像分割算法，得到電路板前景圖像區(qū)域。

步驟2：電路板對(duì)象分割，這一次分割的目的是要將電路板前景圖像區(qū)域上的元器件與電路板主板分開(kāi)。電路板中主板顏色基本單一，主板像素占據(jù)電路板的大部分面積，但由于元器件分布結(jié)構(gòu)復(fù)雜，以人工畫(huà)框的進(jìn)行前景模型和背景模型的初始化方式不再適用，且不利于自動(dòng)化?；趯?duì)這些特點(diǎn)的分析，本發(fā)明采用K-means算法聚類電路板像素顏色值(聚類數(shù)k＝5較好)，像素?cái)?shù)目最多的那一類簇則認(rèn)為是主板像素，作為初始背景，其余簇均作為初始前景，以此分別初始化高斯混合模型，進(jìn)而執(zhí)行基于概率圖模型的圖像分割算法，得到電路板對(duì)象分割結(jié)果。

Grab cut圖像分割算法考慮圖像整體的能量最小化，由于拍攝光照條件等因素的存在，與背景相接的或者處于陰影區(qū)域的部分元器件對(duì)象的局部顏色值在前景或背景高斯混合模型中可能屬于背景的概率更大，因此執(zhí)行基于概率圖模型的圖像分割算法后會(huì)導(dǎo)致部分元器件分割不完整的現(xiàn)象，需要在元器件的局部區(qū)域?qū)?duì)象分割結(jié)果進(jìn)行精細(xì)修正。

對(duì)于電路板圖像整體而言，認(rèn)為元器件對(duì)象是前景，主板是背景；而對(duì)每個(gè)元器件局部而言，認(rèn)為該元器件自身是前景，主板以及周邊的元器件是背景?；谶@樣的概念，本發(fā)明提出基于概率抽樣的顏色模型，對(duì)元器件對(duì)象進(jìn)行精定位。本發(fā)明中以矩形框來(lái)框定元器件對(duì)象，首先對(duì)基于概率圖模型的圖像分割算法分割出的元器件輪廓求取外接矩形，進(jìn)而利用所述的基于概率抽樣的顏色模型對(duì)外接矩形的四條邊進(jìn)行調(diào)整。認(rèn)為當(dāng)矩形邊界恰好貼合元器件的邊界時(shí)，對(duì)元器件的分割定位是最精準(zhǔn)的。

基于概率抽樣的顏色模型，即分別抽取k個(gè)像素(一般取k＝20)來(lái)表示元器件局部的前景或背景顏色模型。根據(jù)前述圖像對(duì)象分割的結(jié)果，位于分割輪廓內(nèi)部的像素必屬于元器件前景，因此在輪廓內(nèi)部基于均勻分布抽取k個(gè)像素即可組成前景顏色模型，這k個(gè)像素在輪廓內(nèi)部位置分布均勻，足以描述元器件自身的顏色。而在分割輪廓外部，可能存在主板、其他元器件以及該元器件自身被分割成背景的部分，因此在輪廓外部的一定范圍內(nèi)同樣基于均勻分布抽取k個(gè)像素，需滿足以下任意一個(gè)條件：

(1)抽取像素在前景或背景顏色模型中最近鄰類別為背景；

(2)抽取像素的最近鄰類別雖為前景，但是與最近鄰的顏色歐氏距離足夠大。

符合條件(1)的像素一般為電路板主板顏色，符合條件(2)的像素一般為其他元器件顏色，這樣的約束避免了元器件自身顏色加入背景模型中，而組成背景模型的k個(gè)像素也足以描述元器件外局部區(qū)域的顏色。

當(dāng)構(gòu)建好顏色模型后，利用最近鄰思想，對(duì)待判決的像素計(jì)算其在顏色模型中與其歐氏距離最近的像素點(diǎn)，該最近像素點(diǎn)的類別即為待判決像素的類別。由于元器件外接矩形的四條邊都是包含多個(gè)像素的線段，因此定義一條邊屬于前景/背景的概率為該條邊上判決為前景/背景的像素?cái)?shù)目與邊所占像素總數(shù)之比。進(jìn)一步的，定義與邊界兩側(cè)緊緊相鄰的兩條邊的概率分別表示邊界外部屬于背景的概率以及內(nèi)部屬于前景的概率。以矩形頂部的邊(x＝[x_I，x₂]，y)為例，與其相鄰的兩條邊則為(x＝[x₁，x₂]，y-1)以及(x＝[x₁，x₂]，y+1)，那么邊界外部屬于背景的概率為：

式中，P_b(x，y-1)表示垂直坐標(biāo)為y-1、水平坐標(biāo)在[x₁，x₂]的邊屬于背景的概率，N_b表示該垂直坐標(biāo)為y-1的邊上屬于背景的像素?cái)?shù)目，N₁₂表示該垂直坐標(biāo)為y-1的邊上的像素?cái)?shù)目。同理邊界內(nèi)部屬于前景的概率為：

式中，P_f(x，y+1)表示垂直坐標(biāo)為y+1、水平坐標(biāo)在[x₁，x₂]的邊屬于前景的概率，N_f表示該垂直坐標(biāo)為y+1的邊上屬于前景的像素?cái)?shù)目，N₁₂表示該垂直坐標(biāo)為y+1的邊上的像素?cái)?shù)目。

最后，給定兩個(gè)閾值T_f和T_b，當(dāng)內(nèi)部屬于前景概率大于T_f時(shí)，認(rèn)為邊界內(nèi)部為前景；當(dāng)外部屬于背景概率大于T_b時(shí)，認(rèn)為邊界外部為背景。于是邊界內(nèi)外的判決結(jié)果會(huì)出現(xiàn)如下四種狀態(tài)：

(a)外部為背景，內(nèi)部為前景。此時(shí)邊界恰好位于元器件邊界處，不調(diào)整。

(b)外部為背景，內(nèi)部為背景。此時(shí)邊界處于元器件外，應(yīng)向內(nèi)調(diào)整。

(c)外部為前景，內(nèi)部為前景。此時(shí)邊界處于元器件內(nèi)，應(yīng)向外調(diào)整。

(d)外部為前景，內(nèi)部為背景。此時(shí)屬于異常情形，不作調(diào)整。

基于如上的狀態(tài)，可以對(duì)外接矩形的每條邊界進(jìn)行不斷調(diào)整，當(dāng)邊界處于狀態(tài)(a)時(shí)即可停止調(diào)整，此時(shí)矩形邊界恰好貼合元器件對(duì)象的邊界處，達(dá)到了精細(xì)定位的目的。

上述采用的基于概率抽樣的顏色模型的對(duì)象精準(zhǔn)定位算法偽碼如下：

輸入：元器件分割輪廓點(diǎn)集r＝{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}，顏色歐式距離閾值T_D，背景概率閾值T_b，前景概率閾值T_f。

輸出：元器件外接矩形R＝(X₁，Y₁，X₂，Y₂)。

開(kāi)始

1.根據(jù)輪廓點(diǎn)集r求其外接矩形r′＝(x′₁，y′_１，x′_２，y′_２)。

2.建立顏色模型，包括前景模型fg和背景模型bg。

(2.1)前景模型：元器件輪廓內(nèi)等概率隨機(jī)抽樣20個(gè)像素，組成前景模型

fg＝{I₁，I₂，...，I₂₀}。

(2.2)背景模型：首先加入主板像素顏色，其次對(duì)r′擴(kuò)充20個(gè)像素，即

r″＝(x′₁-10，y′₁-10，x′₂+10，y′₂+10)，

在r″內(nèi)部與輪廓外部的區(qū)域間等概率隨機(jī)抽樣20個(gè)像素，滿足以下任意一個(gè)條件即可：

(1)該像素在前/背景模型中最近鄰類別為背景。

(2)最近鄰類別雖為前景，但最近鄰歐氏距離大于T_D。

最終組成背景模型bg＝{I₁，I₂，...，I₂₀}

3.對(duì)矩形r′頂部邊界(x＝[x′₁，x′₂]，y＝y(tǒng)′₁)進(jìn)行調(diào)整：

(3.1)計(jì)算邊界外部屬于背景的概率P_b(x，y-1)。

(3.2)計(jì)算邊界內(nèi)部屬于前景的概率P_f(x，y+1)。

(3.3)判斷當(dāng)前位置所處狀態(tài)：

(1)P_b(x，y-1)＞T_b&&P_f(x，y+1)＞T_f，外部屬于背景；

內(nèi)部屬于前景，則無(wú)需調(diào)整。

(2)P_b(x，y-1)＞T_b&&P_f(x，y+1)＜T_f，外部屬于背景；

內(nèi)部屬于背景，需向內(nèi)部調(diào)整，y＝y(tǒng)+1。

(3)P_b(x，y-1)＜T_b&&P_f(x，y+1)＞T_f，外部屬于前景；

內(nèi)部屬于前景，需向外部調(diào)整，y＝y(tǒng)-1。

(4)P_b(x，y-1)＜T_b&&P_f(x，y+1)＜T_f，外部屬于前景；

內(nèi)部屬于背景，異常情形，不作調(diào)整。

(3.4)重復(fù)(3.1)～(3.3)直到當(dāng)前位置達(dá)到狀態(tài)a，更新Y₁為當(dāng)前位置的y。

4.重復(fù)步驟3，分別對(duì)矩形r′底部Y₂、左側(cè)X₁、右側(cè)X₂邊界進(jìn)行調(diào)整。

本發(fā)明的比對(duì)識(shí)別方法在電路板殘片識(shí)別中準(zhǔn)確率高于99％，該方法在同類別物體(例如電路板)間的圖像識(shí)別中極具魯棒性。參考文獻(xiàn)[3]提出的特征點(diǎn)比對(duì)方法不適于電路板殘片自動(dòng)識(shí)別，實(shí)驗(yàn)測(cè)試電路板殘片圖像識(shí)別準(zhǔn)確率僅為60％。