本發(fā)明涉及信息處理裝置、信息處理方法和檢查系統(tǒng)。

背景技術(shù)：

用于檢測圖像內(nèi)的區(qū)分點(像素)和區(qū)域的技術(shù)，比如通過產(chǎn)品的外觀檢查或者使用監(jiān)控相機的異常的檢測是已知的。在用于檢測圖像內(nèi)的區(qū)別點(像素)和區(qū)域的現(xiàn)有技術(shù)中，預(yù)先準備正常的一組參考圖像。通常在這之后的步驟是計算在檢查目標圖像和參考圖像中的每個像素和相應(yīng)像素的特征值，比如亮度值之間的差值，以標識圖像之間的改變。

例如，日本未審查專利申請公開no.2005-265661提出了配置為在產(chǎn)品的外觀檢查中統(tǒng)計地確定檢查目標圖像中亮度值的正常范圍，由此獨立于檢查操作者的圖像檢查。日本未審查專利申請公開no.2013-160629提出了預(yù)先確定各個參考圖像中的相應(yīng)像素的亮度值的平均值和標準偏差的方法。在該方法中，當然后進行檢查時，通過從檢查目標圖像中的亮度值減去相應(yīng)的平均值且然后將減法的結(jié)果除以相應(yīng)的標準偏差來獲得各個像素的標準分數(shù)，且標準分數(shù)大于先前確定的閾值的像素被標識為異常像素。

但是，現(xiàn)有技術(shù)的缺點在于當存在檢查目標的定位錯誤和存在檢查目標的形狀的輕微改變時不能充分地檢測到異常。此外，使用遍及圖像的平均值獲得標準分數(shù)的方法的缺點在于因為局部存在的異常作為遍及圖像的噪聲分量而在有些情況下不能檢測到局部異常。

實施例的目的是提供使能對圖像內(nèi)異常的高效檢測的技術(shù)。

技術(shù)實現(xiàn)要素：

根據(jù)本發(fā)明的一個方面，信息處理裝置檢查包括檢查目標的圖像的目標圖像。信息處理裝置包括預(yù)處理器、第一計算器、第二計算器和確定器。預(yù)處理器配置為執(zhí)行用于將目標圖像與參考圖像或者多個參考圖像比較的預(yù)處理。第一計算器配置為在目標圖像中限定感興趣區(qū)域(roi)和與roi相鄰的周圍區(qū)域，并計算roi的特征值。第二計算器配置為從與參考圖像中的對應(yīng)于roi和周圍區(qū)域的圖像的特征值的比較來計算離群值(outlier)。該離群值數(shù)字地指示在roi處的圖像的奇異性(singularity)。確定器配置為基于該離群值提供要用于檢查的指示符。

本發(fā)明具有的優(yōu)點在于使能對圖像內(nèi)異常的高效檢測。

附圖說明

圖1(a)-1(d)是解釋根據(jù)本實施例和現(xiàn)有方法的一致性確定方法的概念圖；

圖2(a)-2(d)是解釋根據(jù)本實施例的一致性確定方法的概念圖；

圖3是圖示其中實現(xiàn)根據(jù)本實施例的處理方法的檢查系統(tǒng)300的實現(xiàn)形式的圖；

圖4是根據(jù)本實施例的自動編碼器中的處理的概念圖；

圖5是圖示其中實現(xiàn)根據(jù)本實施例的處理方法的檢查系統(tǒng)500的實現(xiàn)形式的圖；

圖6是圖示根據(jù)本實施例的控制器501的硬件塊600的實現(xiàn)形式的圖；

圖7是圖示根據(jù)本實施例的控制器501的軟件塊700的實現(xiàn)形式的圖；

圖8是解釋根據(jù)本實施例的處理方法的流程圖；

圖9(a)和9(b)是根據(jù)本實施例的獲得缺陷分數(shù)的實現(xiàn)形式的概念圖；

圖10是圖示根據(jù)本實施例的另一實現(xiàn)形式的圖；

圖11是繪制用于要對于離群值設(shè)置的閾值的曲線下面積(auc)的曲線圖；

圖12(a)、12(b)和12(c)是圖示其中在實際檢查目標上進行的圖像評估中獲得的缺陷分數(shù)與檢查目標當中的一致項(conformingitem)和不一致項(nonconformingitem)相關(guān)聯(lián)的試驗實例的圖；

圖13是圖示具有設(shè)置為22σ的閾值的使用如圖8所示的相同方法的經(jīng)驗實例中的缺陷分數(shù)的圖；和

圖14是圖示取決于用于參考的周圍區(qū)域的尺寸(鄰居的數(shù)目)的識別性能(auc)的改變的圖。

附圖意在示出本發(fā)明的示例性實施例且不應(yīng)該被解釋為限制其范圍。相同或者類似的附圖標記指定遍及各個附圖的相同或者類似的組件。

具體實施方式

在這里使用的術(shù)語僅用于描述特定的實施例的目的而不意在限制本發(fā)明。

如在此使用的，單數(shù)形式“一”、“一個”和“該”意在也包括復(fù)數(shù)形式，除非上下文清楚地指示例外。

在描述在圖中圖示的優(yōu)選實施例時，為了清楚的緣故可以采用特定術(shù)語。但是，本專利說明書的公開不意在限于這樣選擇的特定術(shù)語，且將要理解每個特定元件包括具有相同功能、以類似的方式操作且實現(xiàn)類似的結(jié)果的所有技術(shù)等效。

以下將參考附圖具體描述本發(fā)明的實施例。

以下通過實施例的方式描述本發(fā)明；但是，本發(fā)明不由以下描述的實施例限制。圖1是根據(jù)本實施例和作為比較實例引用的現(xiàn)有技術(shù)的檢查方法中的一致性確定的概念圖。

在本實施例中，如圖1中的(a)所示，使用目標圖像進行檢查，在目標圖像中，捕獲的檢查目標111是檢查區(qū)域110內(nèi)的圖像。在本實施例中，關(guān)于檢查目標(已經(jīng)在目標圖像中捕獲了該檢查目標的圖像)符合或者不符合的檢查通過與具有確定為一致項的檢查目標的圖像的目標圖像或者具有確定為一致項的檢查目標的圖像的一組目標圖像的比較而進行。在下文中，具有確定為一致項的檢查目標的圖像的目標圖像或者具有確定為一致項的檢查目標的圖像的一組目標圖像在本公開中被稱為參考圖像或者多個參考圖像。參考圖像之一在圖1中的(b)中圖示。與圖1中的(b)相比，圖1中的(a)中圖示的目標圖像中的檢查目標111在檢查區(qū)域110內(nèi)僅向右移位或者變形了可允許范圍δ。該可允許范圍δ等于或者小于機器人手臂的定位精度限制或者產(chǎn)品的可允許精度限制。為此，檢查目標111是被認為確定是一致項的檢查目標。

如圖1中的(a)和(b)所示，在本實施例中，在形成檢查區(qū)域110的圖像區(qū)域中設(shè)置感興趣區(qū)域(在下文中，roi)113a。它指示圖1中的(b)中的參考圖像中的roi113a不包括檢查目標111的圖像。但是，在圖1中的(a)中圖示的實現(xiàn)形式中，roi113a包括檢查目標111的圖像。在現(xiàn)有方法中，基于roi113a的特征值之間的差值確定檢查目標111的一致性。這在圖1中的(c)中圖示。

在圖1中，(c)是圖示假定這種特征值可以被二維地表示時已經(jīng)繪制的目標圖像中的roi113a的特征值的圖。在圖1中的(c)中，包括檢查目標111的目標圖像中的像素由實心黑圓指示，在其中不包括檢查目標111的圖像的像素由實心白圓指示。相反地，在圖1中的(b)中圖示的參考圖像中不包括檢查目標111，這意味著在圖1中的(c)中沒有實心黑圓。

實心黑圓的圖像的特征值具有與參考圖像的相應(yīng)特征值大的差值，因此奇異地呈現(xiàn)。在現(xiàn)有技術(shù)中，因此目標圖像的檢查目標111被當做不一致項。但是，因為其移位在可允許范圍δ內(nèi)，檢查目標111被認為是確定為一致項。這種錯誤的確定減小了產(chǎn)品產(chǎn)率和生產(chǎn)率。

為此，在本實施例中，限定roi113a和與roi113a相鄰的周圍區(qū)域113b，且在檢查區(qū)域110中形成包括roi113a和周圍區(qū)域113b的感興趣部分(在下文中，soi)113。然后通過利用該soi113確定roi113a的奇異性。在圖1中，(b)圖示soi113、和形成soi113的roi113a和113b。在圖1中，(b)還圖示其中根據(jù)本實施例的soi113被形成為包括roi113a和與roi113a相鄰地設(shè)置的周圍區(qū)域113b的正方形區(qū)域的實例。

在圖1中，(d)以與圖1中的(c)類似的方式圖示已經(jīng)在本實施例中的特征值空間中繪制的soi113中成像的檢查目標111的特征值。在圖1中，(d)與圖1中的(c)相同之處在于，包括檢查目標111的參考圖像中的像素由實心黑圓指示，在其中不包括檢查目標111的圖像的像素由實心白圓指示。部分地包括檢查目標111的圖像的周圍區(qū)域113b由半色調(diào)陰影圓形指示。因為在roi113a中成像檢查目標，所以roi113a的特征值與參考圖像中的相應(yīng)特征值具有與圖1的(a)中相同的差值。

相反地，在本實施例中，如圖1中的(d)中所示，soi113由多個像素形成，以使得在roi113a的特征值周圍添加具有參考圖像中的特征值的周圍區(qū)域113b的特征值。這使得可以考慮周圍區(qū)域113b的圖像信息而確定roi113a的特征值。因此改進了僅取決于roi113a的奇異性的現(xiàn)有的一致項確定。也就是，本實施例使得可以通過利用整個soi113的特征值來檢查roi113a的特征值。

這里，參考圖2解釋關(guān)于不一致項的確定的soi113的建立效果。圖2中部分地圖示為產(chǎn)品的檢查目標111具有毛刺(burr)114。如圖2中的(a)所示，對應(yīng)于該毛刺114的roi113a因此包括檢查目標111的圖像。給定該情形，在圖2中，(b)圖示已經(jīng)以與圖1同樣的方式在特征值空間中繪制的與毛刺114相鄰的區(qū)域的特征值。

這里，圖2中的(b)中圖示的特征值空間中的特征重視之間的差值與圖1中的(b)中的相同。作為對比實例，在圖2中，(c)圖示確定為包括一致項的圖像和根據(jù)本實施例的soi113的參考圖像。如圖2中的(c)中所示，在參考圖像中的相應(yīng)soi113中，沒有近似與目標圖像中的soi113a的特征值相同的特征值。

因此，當檢測到圖2中的(a)中圖示的毛刺114時，可以通過利用圖2中的(b)中圖示的確定方法確定一致性，如通常確定的那樣。

注意到，roi113a和周圍區(qū)域113b每個可以根據(jù)檢查目標111的尺寸和期望精度以像素為單位限定。在另一實現(xiàn)形式中，這些區(qū)域中的每一個可以限定為由多個像素形成且可以覆蓋平面的多邊形區(qū)域。另外，soi113、roi113a和周圍區(qū)域113b的尺寸、包括的像素的數(shù)目和形狀可以根據(jù)特定目的而被設(shè)置為適當?shù)摹?/p>

替代地，可以根據(jù)統(tǒng)計信息等自動地確定soi。例如，從該組參考圖像預(yù)先求出各個像素的方差，且設(shè)置soi的方差之和。根據(jù)此方面，可以以如下方式確定soi，以使得當對于其方差低的區(qū)域獲得大的soi時，對于其方差高的區(qū)域獲得小的soi。此外，可應(yīng)用另一方面，其中，預(yù)先求出該組參考圖像和目標圖像中各個像素的梯度方向，改變soi的縱橫比以使得可以優(yōu)先地觀看這些梯度方向。

如上所述，本實施例使得可以通過以對于在正常范圍內(nèi)的改變減小檢測靈敏度，而不減小對于非一致狀態(tài)的檢測靈敏度的方式增強檢查的魯棒性來改進一致性確定的精度。

為了說明的方便的緣故，以下說明假定roi113a和周圍區(qū)域113b每個對應(yīng)于像素。在本實施例中，關(guān)于顏色種類的特征值，比如亮度值或者顏色值可以用作圖像的特征值。作為關(guān)于顏色種類的特征值，可以使用任何種類的特征值或者由任何等式表示的特征值，比如獲得為l*a*b，l*uv，或者hsv的那些，只要那些特征值可以在圖像上如亮度值和顏色值那樣標識，且可以被量化。

當使用比如顏色值的以三維表示的特征值時，可以通過獲得各個維度的處理結(jié)果并最終合并那些結(jié)果來實現(xiàn)缺陷檢測。例如，當紅色(r)、綠色(g)和藍色(b)圖像經(jīng)歷檢查時，可以以如下方式進行缺陷檢測，以使得在關(guān)于r、g和b圖像中的每一個執(zhí)行以下將要描述的離群值計算之后，求出各個圖像的產(chǎn)生的離群值的平均值或者最大值，以使得圖像被合并成一個圖像。

否則，更具體地，在本實施例中表示形狀信息的邊緣信息，或者空間頻率信息可以用作圖像的特征值。圖像的局部特征值的其他實例包括高階局部自動相關(guān)性(hlac)、標量無變化特征轉(zhuǎn)換(sift)值和加速魯棒性特征(surf)。另外的替代的可應(yīng)用實例包括使用密度(density)協(xié)同出現(xiàn)矩陣以使得圖像的紋理用作圖像的特征值的方法、和例如通過基于深度學(xué)習(xí)的自動編碼器自動地獲得的特征值。在本實施例中，由用于提取圖像特征的這些方法中的任何一個量化的值可以用作特征值。以下詳細地描述可作為與顏色有關(guān)的特征值的替代應(yīng)用的上述特征值。

(1)邊緣特征值

可作為邊緣特征值應(yīng)用的實例包括梯度方向和梯度強度。例如，可以通過以下等式(1)獲得在像素位置(u，v)的梯度強度s(u，v)(fujiyoshi實驗室，計算機科學(xué)系，chubu大學(xué)，“imagelocalfeatureandspecificobjectrecognition-siftandrecentapproaches-”[在線]，[于2015-11-24檢索到]，從<http://www.vision.cs.chubu.ac.jp/cvtutorial/pdf/02siftandmore.pdf>檢索到)。

在圖像l中的像素位置(u，v)的梯度方向可以通過以下等式(2)獲得。

(2)空間頻率信息

可以通過使用功率譜作為空間頻率信息量化空間頻率信息，且這些功率譜也可以用作特征值(keijiyano，“studiesondiscriminationofimagesbyunifyingcontourinformationandtextureinformation”，博士論文，kyushuinstituteofdesign，1999年3月18日，pp.45-70[在線]，[于2015-11-24檢索到]，從<http://www.design.kyushu-u.ac.jp/lib/doctor/1999/k032/k032-05.pdf>檢索到)。

p(u,v)＝|f(u,v)|²(3)

(3)紋理特征值

空間頻率信息用作特征值，通過利用以下等式(4)可以從該特征值獲得紋理特征值。

由以上等式(4)限定的紋理特征值可以用作在本實施例中的特征值。這里，p(r)在以功率譜空間的原點在其中心形成的環(huán)形區(qū)域內(nèi)。另外，q(θ)是扇形區(qū)域內(nèi)的能量之和?；诒热鏿(r)和q(θ)的直方圖的位置和高度以及p(r)和q(θ)的平均值和/或方差之類的值，紋理信息可以被采用為特征值。

雖然不能對于單個像素求出上面描述的p(r)和q(θ)，可以以使得對于每個在中心具有目標像素的局部區(qū)域獲得的p(r)和q(θ)用作目標像素的特征值的方式計算離群值，就像在有關(guān)顏色種類的特征值的情況下那樣。

(4)局部特征值

通過以下等式(5)確定作為高階局部自動相關(guān)性(halc)值提供的局部特征值，x(a1,a2...,an)(智能系統(tǒng)和信息學(xué)實驗室，“higher-orderlocalautocorrelationfeature”[在線]，[于2015-11-24檢索到]，從<http://www.isi.imi.i.utokyo.ac.jp/en/pattern/hlac.html>檢索到；和takahumisuzuki和takashiizumi，“theperson'sexpressionclassificationbasedontheextractionoffacefeatureandtheamountoffeaturemovement-facialexpressionclassificationbasedonhlac-featureandk-nearest-neighbormethod-”，workshopproceedings，科學(xué)和技術(shù)學(xué)院，nihon大學(xué)，2009，pp.508-509[在線]，[于2015-11-24檢索到]，從<http://www.cst.nihon-u.ac.jp/research/gakujutu/53/pdf/g-1.pdf>檢索到)。

x(a1,a2,…,an)＝∫pf(r)f(r+a1)…f(r+an)dr

r：參考矢量ai：位移矢量(5)

f：亮度值圖案p：屏幕(整數(shù)范圍)

不能對于單個像素求出由兩個或更多維度表示的halc特征值。但是，可以以使得對于每個目標像素在中心的區(qū)域獲得的hlac特征值用作目標像素的hlac特征值的方式限定和計算離群值，如在有關(guān)顏色種類的特征值的情況下那樣。sift分數(shù)(fujiyoshi實驗室，計算機科學(xué)系，chubu大學(xué)，“imagelocalfeatureandspecificobjectrecognition-siftandrecentapproaches-”；和hironobufujiyoshi，“gradient-basedfeatureextraction-siftandhog-”，技術(shù)報告，日本信息處理學(xué)會，cvim160，2007年9月，pp.211-224[在線]，[于2015-11-24檢索到]，從<http://www.hci.iis.u-tokyo.ac.jp/～ysato/class14/supplements/sift_tutorial-fujiyoshi.pdf>檢索到)或者surfbay,h.,a.ess，t.tuytelaars，和l.vangool，“surf:speededuprobustfeatures”，計算機視覺和圖像理解(cviu)，vol.110，no.3，2008，pp.346-359)也可以用作在本實施例中的特征值。

(5)通過使用行程長度矩陣獲得的特征值

作為用于提取紋理的特征的方法，使用行程長度矩陣的方法(keijiyano，“studiesondiscriminationofimagesbyunifyingcontourinformationandtextureinformation”，博士論文，九州設(shè)計院，1999年3月18日，pp.45-70)。在本實施例中，如圖3所示的行程長度矩陣用于計算每個像素的特征值。在如圖3所示的每一個行程長度矩陣中，行程長度對應(yīng)于行方向，且密度對應(yīng)于列方向。

通過利用如圖3所示的行程長度矩陣，由分別對應(yīng)于五個維度的以下等式(6)給出的某些或者全部特征值的任何一個或者任何組合可以用作在本實施例中的特征值。

f1：短行程強調(diào)

f2：長行程強調(diào)

f3：灰度級不一致性

f4：行程長度不一致性

f5：行程百分比

不能對于單個像素求出所有種類的紋理特征值，包括通過使用行程長度矩陣的方法獲得的紋理特征值。但是，可以以使得對于每個目標像素在中心的區(qū)域獲得的紋理特征值用作目標像素的紋理特征值的方式計算離群值，如在有關(guān)顏色種類的特征值的情況下那樣。

(6)基于深度學(xué)習(xí)的特征值

例如，使用自動編碼器提取特征值的方法(geoffreye.hinton；r.r.salakhutdinov，“reducingthedimensionalityofdatawithneuralnetworks”，science313(5786)，2006年7月28日，pp.504-507；和kaisasaki，“extractingfeatureswithautoencoder”[在線]，[于2015-11-24檢索到]，從<http://www.slideshare.net/lewuathe/auto-encoder-v2>檢索到)可以用于基于深度學(xué)習(xí)獲得特征值。自動編碼器是將輸入臨時映射到低維空間且然后重構(gòu)輸入的神經(jīng)網(wǎng)絡(luò)，且能夠自動地獲取輸入的低維和更少受噪聲影響的表示。

圖4圖示自動編碼器的實例。自動編碼器能夠通過執(zhí)行學(xué)習(xí)以使得通過其維數(shù)低于輸入(在該實例中矢量化圖像)的維數(shù)的隱蔽層(隱藏)而獲得目標圖像的低維表示，“輸出＝輸入”可以是結(jié)果。在本實施例中在本實施例中，如圖4所示的值當中隱藏的值可以用作在本實施例中的特征值。這里，可以通過利用參考圖像執(zhí)行學(xué)習(xí)。

在圖4中，輸入層表示為x，到隱藏的輸入表示為y，且到輸出的輸入表示為z。另外，可以通過利用圖4中限定的等式計算“編碼”和“解碼”。稱為“權(quán)重”和“偏置”的參數(shù)分別表示為w和b。在采用自動編碼器的實現(xiàn)形式中，可以以用作輸入的像素的顏色信息(由r、b和g的三維空間表示)求出特征值。圖4中的輸入和輸出可以是三維限定的，且在其中的隱藏可以是一維或者二維限定的。此外，當對于包括每個目標像素的區(qū)域已經(jīng)求出的隱藏的值用作特征值時可以執(zhí)行離群值計算。

如參考圖1到圖4描述的，本實施例使得可以通過考慮roi113a的周圍區(qū)域的狀態(tài)來從圖像確定roi113a的奇異性，而更有效地數(shù)字地確定檢查目標111的外圍部分111a的鄰居的奇異性。

圖5圖示其中實現(xiàn)根據(jù)本實施例的處理方法的檢查系統(tǒng)500的實現(xiàn)形式。如圖3所示的檢查系統(tǒng)500包括控制器501，用于提供指令給控制器501的操作單元502和輸出側(cè)i/o503。

控制器501由比如計算機的信息處理裝置構(gòu)成。操作單元502由比如液晶顯示裝置、鍵盤、鼠標、觸摸板等的組件構(gòu)成，且提供控制器501和操作者之間的接口。輸出側(cè)i/o503通過基于來自控制器501的計算結(jié)果生成用于移動檢查目標506的輸出，而控制輸送臂505的位置，且可以被簡單地稱為輸出單元。

在放置在輸送器507上和由輸送臂505固定之后，檢查目標506被輸送到檢查位置，且其圖像由比如數(shù)碼相機之類的圖像捕獲裝置508捕獲。圖像捕獲裝置508可以被稱為圖像捕獲單元。由此捕獲的圖像被發(fā)送到控制器501，且關(guān)于圖像進行檢查目標111是否具有奇異性的檢查。根據(jù)檢查的結(jié)果，控制器501控制輸送臂505的移動，以將檢查目標傳送到容器部分504中，容器部分504在其中存儲檢查目標，同時基于它們是一致項或者不一致項而分類它們。

圖6圖示根據(jù)本實施例的控制器501的硬件塊600的實現(xiàn)形式。圖像控制器501可以由經(jīng)由系統(tǒng)總線606彼此連接的組件構(gòu)成，該組件包括中央處理單元(cpu)601、隨機存取存儲器(ram)602、圖像ram(如果需要)、只讀存儲器(rom)603、顯示裝置604和通信裝置605。i/o總線607進一步經(jīng)由比如pci或者pci直通的總線橋接器連接到系統(tǒng)總線606。另外，比如外部驅(qū)動器或者dvd驅(qū)動器的外部驅(qū)動器610經(jīng)由適當?shù)膮f(xié)議連接到i/o總線607。此外，控制器501連接到比如數(shù)碼相機的圖像捕獲裝置608、存儲裝置609和外部驅(qū)動器610，由此能夠獲取圖像和存儲計算機程序和數(shù)據(jù)，使得可以執(zhí)行根據(jù)本實施例的處理。

用于控制器501的cpu的更特定的實例包括，但不限于，商標為奔騰(注冊商標)到奔騰4(注冊商標)的處理器，核心i(注冊商標)系列，和atom(注冊商標)、pentium(注冊商標)兼容的cpu、powerpc(注冊商標)處理器和mips處理器。

用于此的操作系統(tǒng)(os)的實例包括macos(商標)、ios(注冊商標)、windows(注冊商標)、chrome(注冊商標)、android(注冊商標)、windows(注冊商標)200x服務(wù)器、unix(注冊商標)、aix(注冊商標)、linux(注冊商標)及其他適當?shù)牟僮飨到y(tǒng)?？刂破?01進一步使能存儲和執(zhí)行在上述os上運行的以比如c、c++、visualc++、visualbasic、java(注冊商標)、perl和ruby的編程語言所寫的應(yīng)用程序。

圖7圖示根據(jù)本實施例的控制器501的軟件塊700的實現(xiàn)形式?？刂破?01通過使用適當?shù)膫魉蛥f(xié)議，比如通用串行總線(usb)或者hdmi(注冊商標)，或者在另一實現(xiàn)形式中另一適當?shù)膫魉蛥f(xié)議，比如以太網(wǎng)(注冊商標)，而從圖像捕獲裝置608接收檢查目標圖像。控制器501包括輸入側(cè)i/o701、定位器(預(yù)處理器)702和計算器703，且輸入側(cè)i/o701對應(yīng)于在本實施例中的輸入單元。輸入側(cè)i/o701可以由包括適當?shù)目偩€接口和網(wǎng)絡(luò)接口卡(nic)的組件構(gòu)成。輸入側(cè)i/o701能夠例如在作為適當?shù)拇鎯卧膱D像ram602中存儲接收到的檢查目標圖像。

定位器702通過相對于檢查區(qū)域110定位需要接下來檢查的由圖像捕獲裝置608獲取的目標圖像，而使能后續(xù)處理。另外，定位器702執(zhí)行降噪濾波和掩蔽的處理。定位器702可以被稱為預(yù)處理器。例如，定位器702可以通過執(zhí)行其中將所獲取的檢查目標圖像中的至少一個像素或者區(qū)域與檢查區(qū)域110內(nèi)的某些位置坐標相關(guān)聯(lián)的處理，來執(zhí)行定位。

計算器703提供計算根據(jù)本實施例的離群值的功能，且對應(yīng)于計算關(guān)于顏色的特征值的單元和計算在本實施例中的離群值的單元。計算器703可以包括執(zhí)行包括之后描述的那些的各個計算的多個計算器。為了執(zhí)行處理，計算器703訪問其中已經(jīng)存儲參考圖像的存儲單元706，和其中存儲設(shè)置參數(shù)的第二存儲單元707，且然后通過使用這樣獲取的參數(shù)與參考圖像中的像素比較地計算離群值。用于該情況的每一個設(shè)置參數(shù)的實例包括，但不限于用于指定周圍區(qū)域的范圍的值，要獲取的用于參考圖像的標識值，對于參考圖像預(yù)先計算的標準偏差(σ的值)，對于參考圖像的特征值預(yù)先計算的平均值，和std(i,j)的值。在之后進一步詳細地描述這些值和參數(shù)。

控制器501進一步包括確定器704和輸出單元705。確定器704接收由計算器703生成的離群值，且通過應(yīng)用設(shè)置的閾值確定檢查目標是否是非一致的。響應(yīng)于該確定，輸出單元705計算用于控制輸送臂505的控制信息，并將控制信息輸出到輸出側(cè)i/o503，由此使能輸送臂505的控制。

根據(jù)本實施例的控制器501進一步包括用戶界面708。用戶界面708具有使用戶能夠向控制器501輸入各種設(shè)置和向用戶通知控制器501的結(jié)果的功能。特別地，用戶界面708例如可以具有使用戶能夠限定soi113的功能，和使用戶能夠限定要在soi113中包括的區(qū)域的數(shù)目的功能。用戶界面708進一步具有使用戶能夠改變和限定要從其計算離群值的周圍區(qū)域的范圍的功能，放大和減小檢查圖像的尺寸的功能，和基于其尺寸已經(jīng)放大或者減小的檢查圖像執(zhí)行離群值計算的功能。此外，用戶能夠通過用戶界面708添加新的參考圖像和以其他圖像替換參考圖像。

接下來，參考圖8解釋根據(jù)本實施例的處理方法。處理起始于步驟s800，且在步驟s801獲取檢查目標的圖像。然后預(yù)處理應(yīng)用于檢查區(qū)域110和檢查目標圖像。例如，圖像相對于彼此的定位可以包括在預(yù)處理中。通過從存儲單元706讀出對應(yīng)于檢查目標的任何適當?shù)膮⒖紙D像，和將該參考圖像限定為模板而執(zhí)行該定位。注意到，當在處理中出現(xiàn)需要時，用戶可以按照需要刪除或者添加參考圖像。

然后執(zhí)行該定位作為以下處理：其中，確定要檢查的目標圖像的特征值和模板的特征值之間的一致性；確定其特征值具有最高的一致性的區(qū)域為相同區(qū)域；和然后將這些區(qū)域與檢查區(qū)域110中的相應(yīng)區(qū)域相關(guān)聯(lián)?？梢酝ㄟ^被稱為零均值歸一化互相關(guān)(zncc)方法的實現(xiàn)用于模板匹配的方法。另外，預(yù)處理根據(jù)用途可以包括放大或者縮小圖像的尺寸，和控制要由一個像素或者一個區(qū)域保持的信息的量。

隨后，在步驟s802，計算器703基于分配給檢查區(qū)域的像素、面積和/或形狀而限定區(qū)域，并計算各個區(qū)域的特征值。如上所述，只要可以從圖像提取特征值，則特征值可以是比如亮度值或者顏色值的任何標量值，且沒有是什么種類的特征值和它們怎樣格式化的限制。為提供更特定的說明，在下面的說明中亮度值用作特征值。但是，本實施例不限于使用亮度值的處理。

在步驟s803，計算器703然后比較這樣獲得的特征值與每個相應(yīng)的區(qū)域及其周圍區(qū)域的特征值，并計算離群值。不特別限制計算離群值的方法。如在本實施例的情況下的使用標準分數(shù)可應(yīng)用為該方法。否則，使用盒子繪制的圖表、grubbs測試、mahalanobis的距離，局部離群值因素(lof)。這里，詳細說明要由計算器703執(zhí)行的用于計算離群值的處理。在下面說明中，roi的位置表示為位置(i,j)，且圍繞目標區(qū)域的各個周圍區(qū)域表示為位置(i±1,j±1)。該實現(xiàn)形式對應(yīng)于其中周圍區(qū)域113b限定為與其相鄰的圍繞roi113a的區(qū)域的實現(xiàn)形式。i和j的值可以是從包括0的正整數(shù)中選出的任何整數(shù)。

首先，計算器703讀出一組參考圖像(例如，包括一致項的50個圖像)，計算所有區(qū)域的亮度值的平均值n(i,j)和標準偏差std(i,j)，并在適當?shù)拇鎯卧写鎯τ嬎愕慕Y(jié)果。注意到，如上所述已經(jīng)預(yù)先計算每一個參考圖像的特征值。在該計算中，取決于該組參考圖像，標準(i,j)可以極端地接近0，由此在計算中可能發(fā)生溢出異常。為此，在另一實現(xiàn)形式中，可以對于std(i,j)設(shè)置閾值std_min，且等于或者小于該閾值的任何std(i,j)可以被轉(zhuǎn)換為std_min的值。使得可以根據(jù)用途從外部設(shè)置std_min的配置也是可應(yīng)用的。

在離群值的計算中，從在roi113a的像素位置(i,j)的亮度值v(i,j)，在該組參考圖像中與其對應(yīng)的像素位置(i,j)，和已經(jīng)以關(guān)于當前經(jīng)歷確定的檢查目標的信息計算的參考圖像的亮度值的平均值m(i,j)之間計算余數(shù)絕對值。如果需要可以包括余數(shù)的平方的計算。注意到，參考圖像限定為預(yù)先獲取和寄存、且包括確定為一致項的檢查目標111的檢查圖像，或者限定為一組這種檢查圖像。該余數(shù)絕對值然后除以參考圖像中roi113a的標準偏差標準(i,j)。除法的結(jié)果量化為離群值。注意到，該處理是統(tǒng)計標準化方法且被稱為離群值的是與該組參考圖像中的roi113a的標準分數(shù)對應(yīng)的值。

通過利用周圍區(qū)域113b，即，在像素位置(i±1,j±1)的所有平均值和標準偏差來執(zhí)行相同計算操作。在特定的實現(xiàn)形式中，這樣計算的離群值當中的最小值設(shè)置為roi113a的離群值。明顯地，在某些特定實現(xiàn)模式中，離群值當中的最大值可以量化為roi113a的離群值。以上處理由以下等式(7)表示。

關(guān)于檢查圖像內(nèi)的所有區(qū)域執(zhí)行該計算，以使得量化與完整圖像對應(yīng)的離群值。注意到，使用(i,j)、k和l的值根據(jù)用戶規(guī)范設(shè)置和改變soi113。與從其計算離群值的圖像范圍對應(yīng)的(i,j)的范圍也根據(jù)用戶規(guī)范按照需要改變。

在步驟s803計算離群值之后，由確定器704執(zhí)行確定處理。在本實施例中，以下面的特定方式執(zhí)行該確定處理。通過利用區(qū)域的各個位置的離群值，進一步計算在用于確定檢查圖像是否包括一致項的圖像的指示符中的缺陷分數(shù)。該指示符在本公開中以下被稱為缺陷分數(shù)。

在本實施例中，與完整圖像對應(yīng)的離群值的標準偏差(以下稱為σ)用作用于指示圖像奇異性怎樣注意不到的標量值，且設(shè)置某個閾值。例如，在等于或者小于3σ的離群值具有值0的假定之下，刪去這種離群值且完整圖像的離群值乘以彼此。結(jié)果，一致項的圖像導(dǎo)致進一步降低的缺陷分數(shù)。這樣缺陷分數(shù)允許增強其與不一致項的圖像的差值。該值σ是在已經(jīng)對于完整圖像獲得的roi的離群值的分布是正態(tài)分布的假定之下獲得的標準偏差，且不同于上面描述的std(i,j)。注意到，要用于這些計算的值和參數(shù)可以根據(jù)處理的進程而更新和學(xué)習(xí)為新的值和參數(shù)。

在優(yōu)選實現(xiàn)形式中的以上描述的乘法處理中，為了精度改進的目的，可以在等于或者小于設(shè)置閾值的任何離群值，即，其圖像奇異性注意不到的圖像區(qū)域的離群值設(shè)置為0的同時，執(zhí)行乘法。其原因在于：即使對于從應(yīng)用于該處理的正常圖像區(qū)域獲得的任何離群值，由以上等式(7)求出的離群值也由于各種噪聲分量關(guān)于其的影響而具有非零值；且，如果最初計算的離群值乘以彼此，則累積的噪聲分量導(dǎo)致不一致項的圖像奇異性的信噪比(s/n)減小，由此可能降低檢測性能。

在本實施例中的缺陷分數(shù)可以由各種替代方法中的任何一個確定。例如，在示例性實現(xiàn)形式中，缺陷分數(shù)被限定為通過將以上描述的離群值乘以彼此而獲得的值，如以下等式(8)給出的。

在本實施例中的缺陷分數(shù)可以通過其他的方法獲得。接下來描述由這些其他方法計算缺陷分數(shù)的實現(xiàn)形式。缺陷分數(shù)可以通過利用等式(9)替代地確定為離群值當中的最大值。

缺陷分數(shù)＝max{outlier}(9)

在另外的實現(xiàn)形式中，如圖9中的(a)中所示地執(zhí)行處理，以求出每個包括至少一個離群值的區(qū)域的面積，且缺陷分數(shù)然后可以通過利用以下等式(10)確定為該面積中包括的像素的數(shù)目。

在另外的實現(xiàn)形式中，要限定為缺陷分數(shù)的面積可以如圖9中的(b)中所示的，通過等式(11)通過利用畫圈的矩形的坐標而確定，且該面積中包括的像素的數(shù)目可以用作缺陷分數(shù)。在以下等式(11)中，k表示圖像中區(qū)域的像素標識值，其區(qū)域中的離群值等于或大于某個值。

注意到，要設(shè)置為閾值的值可以根據(jù)用途例如基于目標的形狀和定位精度來設(shè)置。此外，例如，位置密集具有高離群值可以被確定為奇異狀態(tài)。

在步驟s804，通過利用從離群值獲得的上述缺陷分數(shù)做出關(guān)于檢查目標是否是非一致的確定，且輸出確定的結(jié)果，以使得控制輸送臂505的移動。該處理然后在步驟s805結(jié)束。

以上描述的實現(xiàn)形式已經(jīng)描述為配置為使用目標像素的鄰居計算比如缺陷分數(shù)的值的實現(xiàn)形式。替代地，在另一示例性實現(xiàn)形式中，當如圖10所示在檢查圖像內(nèi)存在多個相同模塊1011和1012時，因為用戶能夠設(shè)置檢查區(qū)域，所以控制器501能夠參考模塊1011的缺陷分數(shù)中的roi1016計算模塊1012的缺陷分數(shù)。該實現(xiàn)形式使能離群值的計算而不每次執(zhí)行計算都讀出該組參考圖像，這樣允許存儲器的經(jīng)濟使用和下載參考數(shù)據(jù)的時間的減小。

控制器501進一步使能當檢查圖像包括期望從檢查排除的區(qū)域(比如具有打印的制造商編號的區(qū)域，灰塵或者污點的附著毫無意義的區(qū)域，或者與固定檢查下的部分的機器人手臂對應(yīng)的區(qū)域)時，采用其中用戶排除該區(qū)域的被稱為掩蔽處理的。此外，控制器501可以通過使用戶能夠放大或者減小圖像的尺寸和放大或者減小預(yù)處理中的圖像的尺寸，來控制由一個像素或者一個區(qū)域保持的信息的量。

其原因在于可以通過減小參考區(qū)域的尺寸而實現(xiàn)計算成本的減小。這樣，圖像的分辨率可以減小到不導(dǎo)致精度問題的程度。為了該目的，由一個像素或者一個區(qū)域保持的信息的量可以增加，因此這使得可以減小計算成本和加速檢查。

另外，當減小具有小的奇異區(qū)域的圖像的分辨率時，奇異的區(qū)域變得更小，且可能減小確定精度。因此，在另一示例性實現(xiàn)形式中，控制器501配置為響應(yīng)于用戶規(guī)范禁止指定區(qū)域的減小，且可以期望該配置使能加速確定和保持確定精度不減小的控制。將電子基底的檢查作為示例，可以通過執(zhí)行離群值計算來減小計算成本，而不減小每個密集地具有小的組件的區(qū)域的分辨率，同時減小其他區(qū)域的分辨率。

在又一示例性實現(xiàn)形式中，控制器501可以配置為使用戶能夠通過添加參考圖像或者以另一參考圖像替換任何一個參考圖像來更新參考圖像。其原因在于參考圖像被認為例如經(jīng)歷來自它們來自于的生產(chǎn)批次的影響，對于發(fā)光的老化惡化的到期日的變化，和由于對產(chǎn)品型號的修改導(dǎo)致的正常和異常的定義的改變。當這樣改變參考圖像時，則不能期望參數(shù)帶給檢查足夠精度。在這種情況下，通過參考圖像的添加和參考圖像的改變更新參數(shù)，以使得使能用戶使用更新參數(shù)的按照需要的確定。

圖11是繪制用于要對于離群值設(shè)置的閾值的曲線下面積(auc)的曲線圖。這里，auc是給出檢查精度的標量值的指示值，給定1，除非已經(jīng)錯誤地做出確定。該曲線圖示出了隨著閾值從0σ增加到接近于5σ的值，auc實質(zhì)上線性地改進。相反地，在6σ到7σ的范圍內(nèi)的閾值就改進auc的效果而言達到飽和。這是由于，作為將等于或者小于閾值的離群值設(shè)置為0σ的結(jié)果，以忽略的在正常像素的小的離群值計算缺陷分數(shù)，且當缺陷分數(shù)不極大時不影響auc。

圖12圖示其中在關(guān)于實際檢查目標進行的圖像評估中獲得的缺陷分數(shù)與檢查目標當中的一致項和不一致項相關(guān)聯(lián)的試驗實例。在圖12中，(a)、(b)和(c)是其中離群值的閾值分別設(shè)置為0σ、6σ和9σ，且在其每個中評估大約70個檢查圖像的缺陷分數(shù)的實例的結(jié)果。如圖12所示，當應(yīng)用于離群值的閾值設(shè)置為0σ時，一致項樣本和不一致項樣本之間的缺陷分數(shù)的差值由于噪聲累積不能被考慮為明顯的。

關(guān)于其中閾值設(shè)置為6σ的經(jīng)驗實例，但是，可以確認一致項樣本的缺陷分數(shù)免于噪聲累積的影響且顯著地減小。此外，當閾值設(shè)置為9σ時，幾乎所有的一致項樣本的缺陷分數(shù)是0，這指示其與不一致項的差值被更清楚地識別出。

圖13圖示以設(shè)置為22σ的閾值的使用與如圖12所示相同的方法的經(jīng)驗實例中的缺陷分數(shù)。圖13指示與圖12相同的改進，以使得一致項樣本的缺陷分數(shù)達到0。但是，某些不一致項樣本的缺陷分數(shù)也是0的值。因為作為使用高閾值的結(jié)果具有相對低奇異性的某些不一致項樣本的缺陷分數(shù)減小，這是可能的。

根據(jù)本實施例的檢查系統(tǒng)關(guān)于基于由控制器501做出的確定選擇一致項和不一致項的前提配置，且因此優(yōu)選地消除將不一致項錯誤地識別為一致項的可能性。從該觀點，優(yōu)選地基于圖11中的結(jié)果，要應(yīng)用于離群值的閾值設(shè)置為5σ和20σ之間的值。

圖14是圖示取決于用于參考的周圍區(qū)域的尺寸(鄰居的數(shù)目)的識別性能(auc)的改變的圖。對于圖14圖示的結(jié)果是以每個roi設(shè)置為一個像素而獲得的結(jié)果。不同的五個樣本1401、1402、1403、1404和1005的結(jié)果表示為線形圖，且其平均值表示為條形圖1410。

“鄰居的數(shù)目＝0”意味著沒有周圍區(qū)域用于參考的情況。在“鄰居的數(shù)目＝1”的情況下，指示如圖1所示的目標像素的最相鄰的像素用于參考。在其中最相鄰的像素用于參考的“鄰居的數(shù)目＝1”的情況下，指示識別性能的auc的平均值(以藍色條形圖)高于沒有周圍區(qū)域用于參考的情況。在“鄰居的數(shù)目＝2”的情況下，auc的平均值高于沒有區(qū)域用于參考的情況。

但是，在“鄰居的數(shù)目＝3”的情況下求出auc比"鄰居的數(shù)目＝2"的情況下更低。這可能部分地因為隨著用于參考的區(qū)域的數(shù)目增加，在其中統(tǒng)計地包括給出接近于那些被認為是非一致的值的位置的概率增大，導(dǎo)致對不一致項的敏感性減小。在“鄰居的數(shù)目＝4”的情況下求出的auc進一步降低。

基于逐個樣本，某些樣本，樣本1401和1403的auc在鄰居的數(shù)目＝0時是1(它們的最高性能)。那些樣本的auc不減小且在“鄰居的數(shù)目＝1”和"鄰居的數(shù)目＝2"時維持在高的值。因此，優(yōu)選地在本實施例中要用于參考的鄰居的數(shù)目設(shè)置為1或者2。

如上所述，本發(fā)明使得可以提供信息處理裝置、信息處理方法、計算機程序和檢查系統(tǒng)，其使能圖像內(nèi)奇異性的高效檢測而無論檢查目標位于哪里、它具有什么形狀和異常分布在哪里。

上述實施例是說明性的且不限制本發(fā)明。這樣，考慮以上教導(dǎo)許多的附加修改和變化是可能的。例如，在本公開和所附權(quán)利要求的范圍內(nèi)，在這里的不同說明性和示例性實施例的至少一個元件可以彼此組合或者彼此替代。另外，實施例的組件的特征，比如數(shù)目、位置和形狀不限制實施例且因此可以優(yōu)選地設(shè)置。因此要理解在所附權(quán)利要求的范圍內(nèi)，本發(fā)明的公開可以以在這里特別地描述的之外地實踐。

在這里描述的方法步驟、處理或操作不被看作是必須要求它們以討論或者圖示的特定次序執(zhí)行，除非特別地標識為執(zhí)行的次序或者通過上下文清楚地標識。也要理解可以采用附加的或者替換的步驟。

另外，上述設(shè)備、裝置或單元中的任意可以實現(xiàn)為硬件設(shè)備，比如專用電路或裝置，或者作為硬件/軟件組合，比如執(zhí)行軟件程序的處理器。

另外，如上所述，本發(fā)明的上述及其他方法中的任何一個可以具體表現(xiàn)為在任何種類的存儲介質(zhì)中存儲的計算機程序的形式。存儲介質(zhì)的實例包括，但不限于軟盤、硬盤、光盤、磁光盤、磁帶、非易失性存儲器、半導(dǎo)體存儲器、只讀存儲器(rom)，等等。

替代地，本發(fā)明的上述及其他方法中的任何一個可以由專用集成電路(asic)、數(shù)字信號處理器(dsp)或者現(xiàn)場可編程門陣列(fpga)實現(xiàn)，通過互連現(xiàn)有的組件電路的適當?shù)木W(wǎng)絡(luò)或者通過其與相應(yīng)地編程的一個或多個現(xiàn)有的通用微處理器或者信號處理器的組合而制備。

描述的實施例中的每一個功能可以由一個或多個處理電路或者電路系統(tǒng)實現(xiàn)。處理電路包括編程的處理器，因為處理器包括電路系統(tǒng)。處理電路還包括比如專用集成電路(asic)、數(shù)字信號處理器(dsp)、現(xiàn)場可編程門陣列(fpga)和布置為執(zhí)行所述功能的現(xiàn)有的電路組件之類的裝置。