本發(fā)明涉及一種將檢查目標(biāo)圖像與基準(zhǔn)圖像進(jìn)行比較的圖像處理裝置以及圖像處理方法。

背景技術(shù)：

日本特開2013-185862號(hào)公報(bào)公開了一種基于人類視覺機(jī)構(gòu)來檢測(cè)檢查對(duì)象的缺陷的算法。日本特開2013-185862號(hào)公報(bào)中公開的處理在本文中將被稱為周邊視覺和固視期間不自主眼動(dòng)的處理。使用周邊視覺和固視期間不自主眼動(dòng)的處理，提供了在沒有人注視的情況下對(duì)檢查對(duì)象的缺陷的有效提取或曝光。

另一方面，“經(jīng)由實(shí)際工業(yè)部件的“kizuki”處理的性能驗(yàn)證”視覺工程研討會(huì)(view2013)，os4-h4(is2-a4)，日本精密工程學(xué)會(huì)(2013)("performanceverificationof"kizuki"processingviarealindustrialparts"visionengineeringworkshop(view2013),os4-h4(is2-a4),thejapansocietyforprecisionengineering(2013))(在下文中被稱為上述非專利文獻(xiàn))公開了一種方法，通過該方法，為了從多個(gè)對(duì)象檢測(cè)有缺陷的產(chǎn)品，針對(duì)多個(gè)對(duì)象中的各個(gè)對(duì)檢查目標(biāo)區(qū)域進(jìn)行攝像，以將所得的圖像連接來生成排列圖像(alignedimage)，并且使排列圖像經(jīng)受上述的周邊視覺和固視期間不自主眼動(dòng)的處理。使用上述非專利文獻(xiàn)能夠以相對(duì)簡(jiǎn)單的方式提供對(duì)具有與多個(gè)對(duì)象的部分不同的特異部(缺陷)的對(duì)象的提取。

然而，在使用固定照相機(jī)來依次檢查在生產(chǎn)線中連續(xù)運(yùn)送的多個(gè)對(duì)象的情況下，照像機(jī)的攝像區(qū)域不可避免地在一定程度上對(duì)各對(duì)象位移。如果在存在如上所述的位移的同時(shí)使用日本特開2013-185862，則在對(duì)象中實(shí)際存在的缺陷和如上所述的圖像之間的位移二者使在周邊視覺和固視期間不自主眼動(dòng)的處理中特異部被提取，因此不利地導(dǎo)致檢查精度降低的情況。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述缺點(diǎn)而做出了本發(fā)明。因此，本發(fā)明的目的是提供一種抑制通過對(duì)對(duì)象進(jìn)行攝像而獲得的圖像區(qū)域的位移的影響，使得能夠精確地檢查對(duì)象的圖像處理裝置。

根據(jù)本發(fā)明的第一方面，提供了一種圖像處理裝置，所述圖像處理裝置包括：生成單元，其被構(gòu)造為通過在從檢查目標(biāo)圖像提取的工作檢查圖像周圍布置從基準(zhǔn)圖像提取的多個(gè)候選圖像，來生成排列圖像；被構(gòu)造為使排列圖像經(jīng)受表達(dá)排列圖像中的區(qū)域之間的相似性的相似區(qū)域提取處理的單元；確定單元，其被構(gòu)造為基于經(jīng)受相似區(qū)域提取處理后的排列圖像，選擇候選圖像并將其確定為工作基準(zhǔn)圖像；以及比較單元，將工作檢查圖像與工作基準(zhǔn)圖像進(jìn)行比較，其中，所述相似區(qū)域提取處理使通過基于預(yù)定的分割大小和相位對(duì)排列圖像進(jìn)行分割而獲得的多個(gè)分割區(qū)域中的各個(gè)經(jīng)受平均化處理，并且然后將通過使分割大小和相位中的至少一者變化而獲得的平均化處理的結(jié)果相加。

根據(jù)本發(fā)明的第二方面，提供了一種圖像處理方法，所述圖像處理方法包括：生成步驟，通過在從檢查目標(biāo)圖像提取的工作檢查圖像周圍布置從基準(zhǔn)圖像提取的多個(gè)候選圖像，來生成排列圖像；使排列圖像經(jīng)受表達(dá)排列圖像中的區(qū)域之間的相似性的相似區(qū)域提取處理的步驟；確定步驟，基于經(jīng)受相似區(qū)域提取處理后的排列圖像，選擇候選圖像并將其確定為工作基準(zhǔn)圖像；以及比較步驟，將工作檢查圖像與工作基準(zhǔn)圖像進(jìn)行比較，其中，所述相似區(qū)域提取處理使通過基于預(yù)定的分割大小和相位對(duì)排列圖像進(jìn)行分割而獲得的多個(gè)分割區(qū)域中的各個(gè)經(jīng)受平均化處理，并且然后將通過使分割大小和相位中的至少一者變化而獲得的平均化處理的結(jié)果相加。

根據(jù)本發(fā)明的第三方面，提供了一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)用于使計(jì)算機(jī)執(zhí)行圖像處理方法的程序，所述圖像處理方法包括：生成步驟，通過在從檢查目標(biāo)圖像提取的工作檢查圖像周圍布置從基準(zhǔn)圖像提取的多個(gè)候選圖像，來生成排列圖像；使排列圖像經(jīng)受表達(dá)排列圖像中的區(qū)域之間的相似性的相似區(qū)域提取處理的步驟；確定步驟，基于經(jīng)受相似區(qū)域提取處理后的排列圖像，選擇候選圖像并將其確定為工作基準(zhǔn)圖像；以及比較步驟，將工作檢查圖像與工作基準(zhǔn)圖像進(jìn)行比較，其中，所述相似區(qū)域提取處理使通過基于預(yù)定的分割大小和相位對(duì)排列圖像進(jìn)行分割而獲得的多個(gè)分割區(qū)域中的各個(gè)經(jīng)受平均化處理，并且然后將通過使分割大小和相位中的至少一者變化而獲得的平均化處理的結(jié)果相加。

通過以下參照附圖對(duì)示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。

附圖說明

圖1是能夠在本發(fā)明中使用的檢查系統(tǒng)的示意圖；

圖2a和圖2b是特異部檢測(cè)算法的流程圖；

圖3a和圖3b例示了工作檢查圖像和工作候選圖像的提取；

圖4例示了排列圖像的排列狀態(tài)；

圖5是用于說明相似區(qū)域提取處理的詳情的流程圖；

圖6a和圖6b例示了處理目標(biāo)圖像的分割示例；

圖7a至圖7e示意性地例示了相加處理的過程；

圖8a至圖8c是說明擴(kuò)展處理的圖；

圖9a和圖9b示出了排列圖像以及進(jìn)行相似區(qū)域提取處理的結(jié)果；

圖10示出了檢查目標(biāo)圖像與基準(zhǔn)圖像之間的相對(duì)位移；

圖11示出了從基準(zhǔn)圖像提取的多個(gè)工作候補(bǔ)圖像的基點(diǎn)；

圖12a和圖12b例示了進(jìn)行特異部提取處理的結(jié)果；以及

圖13a和圖13b示出了提取工作候選圖像的另一方法。

具體實(shí)施方式

圖1是能夠在本發(fā)明中使用的檢查系統(tǒng)的示意圖。該系統(tǒng)主要由圖像處理裝置200、多個(gè)片狀檢查對(duì)象p以及對(duì)個(gè)體的對(duì)象p的預(yù)定位置進(jìn)行攝像的照相機(jī)101組成。多個(gè)對(duì)象p在箭頭方向上以固定的速度被運(yùn)送。圖像處理裝置200基于通過對(duì)對(duì)象p進(jìn)行攝像而獲得的圖像，提取對(duì)象p的缺陷(特異部)。

cpu201基于hdd203中保持的程序，在使用ram202作為工作區(qū)域的同時(shí)，控制整個(gè)系統(tǒng)。例如，cpu201控制經(jīng)由照相機(jī)i/f(接口)204連接的照相機(jī)101，以對(duì)各運(yùn)送的對(duì)象p進(jìn)行攝像，從而獲得與各對(duì)象p相對(duì)應(yīng)的圖像。在此期間，cpu201在個(gè)體的對(duì)象p的檢查目標(biāo)區(qū)域105置于照相機(jī)101的攝像區(qū)域中的定時(shí)并且以依據(jù)運(yùn)送速度的周期來反復(fù)攝像操作，從而將所得的圖像依次存儲(chǔ)在ram202中。在例如運(yùn)送誤差使攝像區(qū)域從個(gè)體的檢查目標(biāo)區(qū)域105位移的情況下，可以在對(duì)象p上預(yù)先打印例如用作基準(zhǔn)點(diǎn)的圖案，使得在檢測(cè)到圖案作為基準(zhǔn)的定時(shí)設(shè)置攝像操作。照相機(jī)101能夠例如通過cameralink、usb、ieee1394、或lan連接到照相機(jī)i/f。雖然所示出的構(gòu)造使用照相機(jī)101，但是能夠用包括線性傳感器的掃描器取代照相機(jī)101。在所示出的情況下，能夠被照相機(jī)101的一次攝像操作攝像的區(qū)域類似于片材p的檢查目標(biāo)區(qū)域105。然而，當(dāng)能夠在一次拍攝中拍攝的區(qū)域小于檢查目標(biāo)區(qū)域105時(shí)，則可以使一個(gè)片材p經(jīng)受多次攝像操作以連接所得的圖像。

鍵盤/鼠標(biāo)i/f205是控制諸如未示出的鍵盤或鼠標(biāo)等的hid(humaninterfacedevice，人機(jī)接口設(shè)備)的i/f。操作者能夠經(jīng)由鍵盤/鼠標(biāo)i/f205來輸入檢查相關(guān)信息。顯示i/f206是控制未示出的顯示器上的顯示的i/f。操作者能夠經(jīng)由顯示器i/f206確認(rèn)例如檢查狀態(tài)或結(jié)果。

圖2a和圖2b是說明由cpu201執(zhí)行的本實(shí)施例的特異部檢測(cè)算法的流程圖。該處理由對(duì)攝像圖像的位置進(jìn)行調(diào)整的第一處理和使用位置調(diào)整后的圖像來進(jìn)行特異部檢測(cè)處理的第二處理組成。以下部分將依次描述它們。

圖2a是例示第一處理的流程圖。當(dāng)該處理開始時(shí)，cpu201在步驟s101中獲取基準(zhǔn)圖像301?；鶞?zhǔn)圖像301是與檢查目標(biāo)圖像進(jìn)行比較從而確定檢查目標(biāo)圖像中是否包括特異部的圖像?；鶞?zhǔn)圖像301由具有rgb信號(hào)值的多個(gè)像素組成，并且以例如pdf的形式被存儲(chǔ)在例如rom中。

在步驟s102中，cpu201獲取檢查目標(biāo)圖像302。具體而言，由照相機(jī)101對(duì)作為檢查目標(biāo)的對(duì)象p的檢查目標(biāo)區(qū)域105進(jìn)行攝像，將所得的圖像設(shè)置為檢查目標(biāo)圖像302。本實(shí)施例的檢查目標(biāo)圖像302由具有包括紅色r、綠色g和藍(lán)色b的3種成分的256級(jí)灰度的亮度信號(hào)的多個(gè)像素組成。

接下來，在步驟s103中，cpu201使檢查目標(biāo)圖像302經(jīng)受預(yù)處理。具體而言，使rgb信號(hào)經(jīng)受用于轉(zhuǎn)換為單色亮度信號(hào)的單色轉(zhuǎn)換處理或邊緣提取處理。單色轉(zhuǎn)換處理能夠使用例如下式。

i＝0.3×r+0.6×g+0.1×b

邊緣提取處理能夠使用例如索貝爾(sobel)濾波器或拉普拉斯(laplacian)濾波器。

在步驟s104中，cpu201基于預(yù)定的工作圖像大小，從在步驟s103中校正的檢查目標(biāo)圖像302進(jìn)行提取，從而獲得工作檢查圖像303。在步驟s105中，基于預(yù)定的工作圖像大小從在步驟s101中獲取的基準(zhǔn)圖像301進(jìn)行提取，從而獲得工作候選圖像304。在此期間，從基準(zhǔn)圖像301提取多個(gè)工作候選圖像304。

圖3a和圖3b示出了工作檢查圖像303和工作候選圖像304的提取。圖3a示出了從檢查目標(biāo)圖像302的坐標(biāo)(x0，y0)提取工作檢查圖像303。另一方面，圖3b示出了基于所提取的工作檢查圖像303的作為基準(zhǔn)的坐標(biāo)(x0，y0)從基準(zhǔn)圖像301提取多個(gè)工作候選圖像304。在該示例中，在從基準(zhǔn)圖像301的作為中心的坐標(biāo)(x0，y0)偏移預(yù)定量的位置中，提取具有與工作檢查圖像303的大小相同的大小的多個(gè)圖像，并且將所提取的多個(gè)圖像設(shè)置為工作候選圖像。具體而言，能夠使用變量α和β將工作候選圖像的坐標(biāo)表示為(x0+α，y0+β)。雖然在圖3b中示出了兩個(gè)工作候選圖像304a和304b，但是步驟s105從包括(x0，y0)的8個(gè)位置提取工作候選圖像。

接下來，在步驟s106中，如在步驟s103中，使多個(gè)工作候選圖像中的各個(gè)經(jīng)受預(yù)處理。因此，這準(zhǔn)備了由單色亮度信號(hào)組成的1個(gè)工作檢查圖像303以及具有與工作檢查圖像303的大小相同的大小的并且由與檢查圖像303相似的單色亮度信號(hào)組成的8個(gè)工作候選圖像304a至304h。在步驟s107中，cpu201使工作檢查圖像303與工作候選圖像304a至304h進(jìn)行排齊，從而生成排列圖像401。

圖4示出了排列圖像401的排列狀態(tài)。排列圖像401被構(gòu)造為使得1個(gè)工作檢查圖像303在8個(gè)方向被彼此抵接的8個(gè)工作候選圖像304a至304h圍繞。不特別地限制8個(gè)工作候選圖像304a至304h設(shè)置在排列圖像401中的位置，只要針對(duì)工作候選圖像304a至304h中的各個(gè)，基準(zhǔn)圖像301中的位置(坐標(biāo))對(duì)應(yīng)于排列圖像401中的位置即可。

在步驟s108中，cpu201使在步驟s106中生成的排列圖像401經(jīng)受使用周邊視覺和固視期間不自主眼動(dòng)的處理的、相似區(qū)域提取處理。稍后將詳細(xì)描述該處理的詳細(xì)方法。

在步驟s109中，基于步驟s108的相似區(qū)域提取處理的所得圖像，確定工作基準(zhǔn)圖像305。具體而言，對(duì)經(jīng)受步驟s108的相似區(qū)域提取處理的圖像進(jìn)行檢查，來從在步驟s107中布置的8個(gè)工作候選圖像當(dāng)中選擇1個(gè)最接近工作檢查圖像的圖像，以將此圖像確定為工作基準(zhǔn)圖像305。

在步驟s110中，確定在步驟s102中獲取的檢查目標(biāo)圖像302中是否仍然包括應(yīng)當(dāng)從中提取工作檢查圖像的區(qū)域。在步驟s102中獲取的檢查目標(biāo)圖像302中仍然包括這種區(qū)域的情況下，則處理返回到步驟s104以提取下一個(gè)工作檢查圖像。另一方面，在步驟s102中獲取的檢查目標(biāo)圖像302中不包括這種區(qū)域的情況下，則處理前進(jìn)到第二處理。

圖5是用于說明在s108中執(zhí)行的相似區(qū)域提取處理的詳情的流程圖。當(dāng)該處理開始時(shí)，cpu201在步驟s10中首先使在步驟s107中生成的排列圖像401經(jīng)受擴(kuò)展處理，使得排列圖像401的整個(gè)區(qū)域能夠正確地經(jīng)受周邊視覺和固視期間不自主眼動(dòng)的處理，從而生成處理目標(biāo)圖像1001。稍后將詳細(xì)描述擴(kuò)展處理。

接下來，在步驟s11中，cpu201從預(yù)先準(zhǔn)備的多個(gè)分割大小當(dāng)中設(shè)置一個(gè)分割大小。在步驟s12中，從預(yù)先準(zhǔn)備的多個(gè)相位當(dāng)中設(shè)置一個(gè)相位以對(duì)應(yīng)于在步驟s11中設(shè)置的分割大小?；谠诓襟Es104中提取的工作檢查圖像的大小，預(yù)先準(zhǔn)備多個(gè)分割大小和與多個(gè)分割大小相對(duì)應(yīng)的多個(gè)相位。在本實(shí)施例的情況下，由于處理的特性，將分割大小設(shè)置為與工作圖像大小相似的大小或比工作圖像大小大10％的大小或小10％的大小。

圖6a和圖6b例示了基于分割大小和相位的處理目標(biāo)圖像1001的分割示例。分別地，圖6a示出了分割大小是2×2像素的情況，圖6b示出了分割大小是3×2像素的情況。在如圖6a中所示分割大小1000是2×2像素的情況下，處理目標(biāo)圖像1001被基于2×2像素作為單位來分割，并且能夠被以如1002至1005中所示的4種方式來分割。在如圖6b中所示分割大小1005被設(shè)置3×2像素的情況下，處理目標(biāo)圖像1001能夠被以具有六種相位的如1006至1011中所示的6種方式來分割。一般而言，具有在x方向上sx個(gè)像素并且在y方向上sy個(gè)像素的分割區(qū)域的情況下，相位數(shù)為sx×sy。在周邊視覺和固視期間不自主眼動(dòng)的處理中，針對(duì)各個(gè)分割區(qū)域，在依次改變相位的同時(shí)，進(jìn)行平均化、量化和相加。

返回到圖5，在步驟s13中，基于在步驟s11中設(shè)置的分割大小和在步驟s12中設(shè)置的相位，如圖6a和圖6b中所示對(duì)在步驟s10中生成的處理目標(biāo)圖像1001進(jìn)行分割，并且使各個(gè)分割區(qū)域經(jīng)受平均化處理。具體而言，針對(duì)各個(gè)分割區(qū)域中包括的多個(gè)像素，計(jì)算由個(gè)體的像素所擁有的單色亮度信號(hào)i'的平均值。

在步驟s14中，針對(duì)各個(gè)像素對(duì)在步驟s13中計(jì)算的各分割區(qū)域的平均值進(jìn)行量化。具體而言，使用整個(gè)處理目標(biāo)圖像1001的亮度的中值(medianvalue)作為閾值。將閾值與個(gè)體的平均值進(jìn)行比較以輸出1或0的值。雖然在本實(shí)施例中使用二值化處理，但是能夠使用諸如三值化以上等的量化處理。

在步驟s15中，將在步驟s14中獲得的量化值加到相加圖像數(shù)據(jù)。相加圖像數(shù)據(jù)是示出將分別使分割大小和相位變化的情況的量化值相加的結(jié)果的并且具有初始值0的圖像數(shù)據(jù)。當(dāng)在步驟s14中獲得的量化值具有第一分割大小的第一相位時(shí)，則在步驟s15中獲得的相加圖像數(shù)據(jù)等于在步驟s14中獲得的量化數(shù)據(jù)。

接下來，在步驟s16中，cpu201確定是否針對(duì)當(dāng)前設(shè)置的分割大小的所有相位經(jīng)受完處理。如果確定仍然存在要處理的相位，則處理返回到步驟s12以設(shè)置下一個(gè)相位。另一方面，如果確定所有相位被處理完，則處理前進(jìn)到s17。

圖7a至圖7e示出了在步驟s11中設(shè)置的分割大小是圖6a中所示的2×2像素的情況下、針對(duì)所有相位依次經(jīng)受步驟s15的相加處理的過程。在分割大小是2×2像素的情況下，存在如圖6a中所描述的4個(gè)相位。在圖7a至圖7d中所示的數(shù)字示出了，在依次改變這4個(gè)相位的過程中，用于目標(biāo)像素px的相加處理的、使用周圍像素的二值數(shù)據(jù)的相加次數(shù)。如在圖7a至圖7e中所示，由于目標(biāo)像素px自身被用于分割區(qū)域中包括的所有相位，所以目標(biāo)像素px具有最高的相加次數(shù)，因此具有對(duì)相加結(jié)果的最高的貢獻(xiàn)。越遠(yuǎn)離目標(biāo)像素px的像素具有越低的相加次數(shù)，因此具有對(duì)相加結(jié)果的越小的貢獻(xiàn)。

返回到圖5的流程圖，在步驟s17中，cpu201確定預(yù)先準(zhǔn)備的所有分割大小是否被處理完。如果確定仍然存在要處理的分割大小，則處理返回到步驟s11以設(shè)置下一個(gè)分割大小，另一方面，如果確定所有分割大小被處理完，則本處理完成并且返回到圖2a的流程圖。

以下部分將描述在步驟s10中執(zhí)行的擴(kuò)展處理。如在圖7a至圖7e中所描述的，在本實(shí)施例的周邊視覺和固視期間不自主眼動(dòng)的處理中，基于在作為中心的目標(biāo)像素px周圍移動(dòng)的分割區(qū)域中包括的所有像素的平均值來計(jì)算相加數(shù)據(jù)。因此，關(guān)于位于處理目標(biāo)圖像1001的端部處的目標(biāo)像素，分割區(qū)域包括不含數(shù)據(jù)的區(qū)域，這不期望地防止了正確的處理。

然而，在本實(shí)施例的步驟s109中，可以將工作檢查圖像303的處理的結(jié)果與工作檢查圖像303周圍的工作候選圖像304的處理的結(jié)果進(jìn)行比較。為了實(shí)現(xiàn)比較，應(yīng)當(dāng)對(duì)排列圖像401的整個(gè)區(qū)域正確地實(shí)施步驟s12至s17的周邊視覺和固視期間不自主眼動(dòng)的處理。具體而言，在本實(shí)施例的擴(kuò)展處理s10中，將排列圖像401進(jìn)一步添加用于使排列圖像401的整個(gè)區(qū)域正確地經(jīng)受周邊視覺和固視期間不自主眼動(dòng)的處理所需的區(qū)域。

圖8a至圖8c例示了在步驟10中進(jìn)行的擴(kuò)展處理。在附圖中，由斜線示出與排列圖像401相對(duì)應(yīng)的區(qū)域。如圖8a中所示，在目標(biāo)像素px位于檢查目標(biāo)區(qū)域的角處的情況下，則作為中心的目標(biāo)像素px周圍的分割區(qū)域(實(shí)線)和具有從中錯(cuò)位的相位的分割區(qū)域(虛線)不期望地包括不含數(shù)據(jù)的區(qū)域(白色區(qū)域)。為了解決這個(gè)問題，在步驟s10的擴(kuò)展處理，在位于角處的像素px周圍添加虛擬數(shù)據(jù)，使得即使在具有最大分割大小和最大相位的分割區(qū)域中的像素px的情況下，區(qū)域也能夠包括合理的數(shù)據(jù)。

圖8b例示了生成虛擬數(shù)據(jù)的方法。通過關(guān)于各頂點(diǎn)a、b、c和d以點(diǎn)對(duì)稱的方式反轉(zhuǎn)排列圖像，來生成4個(gè)圖像，并且通過關(guān)于各邊ab、bc、cd和da以線對(duì)稱的方式反轉(zhuǎn)排列圖像，來生成4個(gè)圖像。這8個(gè)圖像圍繞排列圖像。在本實(shí)施例中，由此準(zhǔn)備的由a'、b'、c'和d'圍繞的區(qū)域也能夠被用作處理目標(biāo)圖像1001。然而，從減輕負(fù)荷的觀點(diǎn)出發(fā)，處理目標(biāo)圖像優(yōu)選地具有較小的大小。例如，當(dāng)假設(shè)在周邊視覺和固視期間不自主眼動(dòng)的處理中的最大分割大小是(sx，sy)并且最大行程距離是(kx，ky)時(shí)，這樣的虛擬數(shù)據(jù)應(yīng)該是足夠的：其被生成為具有在x方向上擴(kuò)展到fp＝(sx/2)+kx并且在y方向上擴(kuò)展到fq＝(sy/2)+ky的大小。圖8c示出了以如上所述的方式添加了虛擬數(shù)據(jù)的處理目標(biāo)圖像1001。

圖9a和圖9b具體地示出了在執(zhí)行圖2a中所描述的第一處理的情況下的處理。圖9a示出了在步驟s107中生成的排列圖像401的一個(gè)示例。圖9b示出了通過使該排列圖像401經(jīng)受步驟s108中的相似區(qū)域提取處理而獲得的圖像。

在圖9a中所示的排列圖像401中，工作檢查圖像303被多個(gè)工作候選圖像304a至304h圍繞。在此，示出了如下狀態(tài)，工作檢查圖像303正上方設(shè)置的工作候選圖像304b與工作檢查圖像303最相似。使這樣的圖像經(jīng)受步驟s108中的相似區(qū)域提取處理，提供了如圖9b中所示的結(jié)果。在該處理的情況下，較高的明度(較高的亮度)表示個(gè)體的工作區(qū)域的圖像與工作檢查區(qū)域的圖像相似(或具有相同的特征)。在圖9a的排列圖像401中，包括工作檢查圖像303的中心部分具有最高的且均勻的明度，并且包括工作候選圖像304b的位置具有次高的且均勻的明度。在步驟s109中，cpu201緊密地檢查表達(dá)排列圖像401中的區(qū)域之間的相似性的這種圖像結(jié)果，來從工作候選圖像304a至304h當(dāng)中選擇與工作檢查圖像303最相似的工作候選圖像304b，以將其設(shè)置為工作基準(zhǔn)圖像305。

圖10示出了在步驟s102中獲取的檢查目標(biāo)圖像302以及在步驟s101中獲取的基準(zhǔn)圖像301之間的相對(duì)位移。該圖由實(shí)線示出了檢查目標(biāo)圖像302和從檢查目標(biāo)圖像302提取的工作檢查圖像303。由虛線示出基準(zhǔn)圖像301中的與各工作檢查圖像303相對(duì)應(yīng)的區(qū)域。

在圖10中，檢查目標(biāo)圖像302中的坐標(biāo)501處于與基準(zhǔn)圖像301中的坐標(biāo)501的位置相同的位置。因此，在具有作為基點(diǎn)的坐標(biāo)501的工作檢查圖像與基于作為基點(diǎn)的坐標(biāo)501而提取的工作候選圖像之間大致不存在位移。然而，在具有作為基點(diǎn)的坐標(biāo)502的工作檢查圖像與基于作為基點(diǎn)的坐標(biāo)508而提取的工作候選圖像之間引起輕微位移。在圖10中所示的范圍內(nèi)，在具有作為基點(diǎn)的坐標(biāo)506的工作檢查圖像303與基于作為基點(diǎn)的坐標(biāo)512而提取的工作候選圖像之間引起最大位移。

圖11示出了在正引起這樣的位移的情況下、在步驟s105中從基準(zhǔn)圖像301提取的多個(gè)工作候選圖像的各基點(diǎn)。該圖示出了在檢查目標(biāo)圖像302中的工作檢查圖像303的基點(diǎn)p與基準(zhǔn)圖像301中的工作候選圖像304a的基點(diǎn)q之間引起位移的狀態(tài)。即使在這樣的情形下，如在圖中所示，通過準(zhǔn)備圍繞基點(diǎn)q的多個(gè)基點(diǎn)，多個(gè)基點(diǎn)當(dāng)中的一些基點(diǎn)更接近工作檢查圖像303的基點(diǎn)p。

根據(jù)本實(shí)施例，基于多個(gè)基點(diǎn)平移的多個(gè)區(qū)域被提取為工作候選圖像，并且如圖4中描述的被布置為圍繞工作檢查圖像，從而生成排列圖像401。通過使圖像經(jīng)受上述的相似區(qū)域提取處理，獲得這樣的圖像：該圖像在工作候選圖像與工作檢查圖像303最相似(或與工作檢查圖像相對(duì)應(yīng))的位置處具有最高的且均勻的明度。

通過對(duì)如圖10中所示在預(yù)定方向上布置的各工作檢查圖像進(jìn)行如上所述的s102至s110的處理，能夠使各工作檢查圖像303對(duì)應(yīng)于適當(dāng)?shù)墓ぷ骰鶞?zhǔn)圖像305。cpu201針對(duì)多個(gè)工作檢查圖像303中的各個(gè)，存儲(chǔ)應(yīng)當(dāng)從基準(zhǔn)圖像301提取工作基準(zhǔn)圖像305的坐標(biāo)，隨后前進(jìn)到第二處理。

以下部分將參照?qǐng)D2b描述本實(shí)施例的第二處理。當(dāng)該處理開始時(shí)，cpu201在步驟s111中再次從在步驟s102中獲取的檢查目標(biāo)圖像302當(dāng)中提取工作檢查圖像303。在該階段提取的工作檢查圖像303，具有與在步驟s104中提取的工作檢查圖像303的坐標(biāo)相同的、檢查目標(biāo)圖像302中的坐標(biāo)。然而，此時(shí)提取的工作檢查圖像具有與在步驟s104中提取的工作檢查圖像303不同的顏色信息。

在步驟s112中，cpu201提取與在步驟s111中提取的工作檢查圖像303相對(duì)應(yīng)的工作基準(zhǔn)圖像305。具體而言，cpu201參照在第一處理的步驟s109中存儲(chǔ)的坐標(biāo)信息，來基于與在步驟s112中提取的工作檢查圖像303相對(duì)應(yīng)的坐標(biāo)從基準(zhǔn)圖像301提取區(qū)域，以將此區(qū)域設(shè)置為工作基準(zhǔn)圖像305。

接下來，在步驟s113中，cpu201使工作基準(zhǔn)圖像305經(jīng)受預(yù)定的校正處理。該處理是提供與隨后在步驟s115中實(shí)施的特異部提取處理的匹配的處理。例如，當(dāng)期望在特異部提取處理中檢測(cè)顏色偏移時(shí)，進(jìn)行明度校正或顏色匹配處理，以將當(dāng)前顏色調(diào)整為具有基準(zhǔn)圖像中所期望的顏色。如果預(yù)先限定容許色差范圍，則可以生成具有最大色差的多個(gè)校正圖像。

在步驟s114中，cpu201使在步驟s111中獲得的工作檢查圖像303與在步驟s113中校正的工作基準(zhǔn)圖像305進(jìn)行排齊，從而生成檢查用排列圖像307。通過在8個(gè)方向上布置與一個(gè)工作檢查圖像303抵接的相同的工作基準(zhǔn)圖像305來生成檢查用排列圖像307。在步驟s115中，cpu201使在步驟s114中生成的檢查用排列圖像307經(jīng)受使用周邊視覺和固視期間不自主眼動(dòng)的處理的特異部提取處理。當(dāng)在步驟s113中生成多個(gè)校正圖像的情況下，也可以針對(duì)各圖像進(jìn)行步驟s114和s115的特異部提取處理。作為選擇，可以混合多個(gè)校正圖像以生成檢查用排列圖像，并且檢查用排列圖像能夠經(jīng)受特異部提取處理。

圖12a和圖12b例示了檢查用排列圖像307的一個(gè)示例以及使圖像經(jīng)受特異部提取處理的結(jié)果。如圖12a中所示，在檢查用排列圖像307中，在8個(gè)方向上在工作檢查圖像303周圍設(shè)置的工作基準(zhǔn)圖像305是在第一處理中從多個(gè)工作候選圖像當(dāng)中作為與工作檢查圖像最相似的圖像而獲得的圖像。在圖中，示出了工作檢查圖像303中包括缺陷120的狀態(tài)。

例如在工作檢查圖像303中不包括缺陷的情況下，工作檢查圖像303與工作基準(zhǔn)圖像305相似，并且在特異部提取處理之后獲得均勻的圖像。然而，如果如在圖12a中所示，工作檢查圖像303中包括缺陷120，則在工作檢查圖像303與工作基準(zhǔn)圖像305之間相似性降低。因此，如在圖12b中所示，在特異部提取處理之后獲得的圖像被構(gòu)造為使得與工作檢查圖像303相對(duì)應(yīng)的區(qū)域包括特異部。

返回到圖2b，在步驟s115中完成特異部提取處理的情況下，則cpu201前進(jìn)到步驟s116以確定檢查目標(biāo)圖像302是否包括尚未處理的工作檢查圖像。在cpu201確定檢查目標(biāo)圖像302仍然包括尚未處理的工作檢查圖像的情況下，則處理返回到步驟s111以處理下一個(gè)工作檢查圖像。另一方面，在cpu201確定檢查目標(biāo)圖像302不包括尚未處理的工作檢查圖像的情況下，cpu201確定針對(duì)檢查目標(biāo)圖像302的整個(gè)區(qū)域的特異部提取處理完成以前進(jìn)到步驟s117。

在步驟s117中，cpu201基于針對(duì)多個(gè)工作檢查圖像的特異部提取處理的結(jié)果，進(jìn)行檢查后處理。不特別地限制檢查后處理的詳情。例如，能夠以彈出的方式顯示特異部以吸引操作者的注意。在這種情況下，操作者能夠基于彈出的圖像來確認(rèn)特異部，以確定特異部的起因。在一種情況下，特異部是缺陷部，這能夠被修復(fù)或者能夠作為不良品而被排除。在步驟s117中，也能夠自動(dòng)實(shí)施進(jìn)一步詳細(xì)的調(diào)查，而不需要操作者的介入。例如，對(duì)于檢測(cè)到特異部的對(duì)象，能夠改變照相機(jī)101的視角和焦點(diǎn)，使得能夠以更高的分辨率來對(duì)特異部進(jìn)行攝像。在這種情況下，能夠?qū)⑺玫膱D像與預(yù)先準(zhǔn)備的正常部件的圖像進(jìn)行圖案匹配，使得能夠調(diào)查缺陷的大小或程度。在對(duì)象是打印物的情況下，也能夠調(diào)查特異部是否是由例如紙塵、不良打印頭或不良輸運(yùn)而引起的。步驟s117的檢查后處理也能夠依據(jù)確定結(jié)果而使生產(chǎn)線停止。

當(dāng)在步驟s117中完成對(duì)檢查目標(biāo)圖像302的檢查后處理時(shí)，cpu201前進(jìn)到步驟s118，以確定是否存在接下來要檢查的對(duì)象。在存在接下來要檢查的對(duì)象的情況下，則處理返回到圖2a的步驟s102，以進(jìn)行針對(duì)下一個(gè)對(duì)象的攝像操作。另一方面，在確定不存在接下來要檢查的對(duì)象的情況下，完成本處理。

根據(jù)上述的本實(shí)施例，能夠調(diào)整通過對(duì)對(duì)象進(jìn)行攝像而獲得的檢查目標(biāo)圖像與基準(zhǔn)圖像之間的位移，以隨后使檢查目標(biāo)圖像經(jīng)受特異部提取處理。因此，這能夠減少由檢查目標(biāo)圖像的位移對(duì)基準(zhǔn)圖像的影響，因而實(shí)現(xiàn)了對(duì)檢查目標(biāo)圖像的精確檢查。

根據(jù)上述的實(shí)施例，第一處理對(duì)轉(zhuǎn)換為單色亮度信號(hào)的圖像進(jìn)行周邊視覺和固視期間不自主眼動(dòng)的處理。第二處理使具有顏色信號(hào)的圖像經(jīng)受周邊視覺和固視期間不自主眼動(dòng)的處理。在具有位置調(diào)整的目的的第一處理中，這是為了排除原本具有高變化的顏色信息，以基于忠實(shí)地反映圖像的結(jié)構(gòu)的單色亮度信號(hào)來實(shí)施確定。然而，本發(fā)明不限于這樣的實(shí)施例。因而，第一處理和第二處理可以與使用顏色信息的處理一起實(shí)施，或者可以基于單色亮度信息來確定第一處理和第二處理二者。

工作圖像大小不限于特定大小。例如，在圖1中所示的檢查系統(tǒng)的情況下，期望考慮對(duì)象p的運(yùn)送誤差。具體而言，如果最大引起1mm的誤差，則期望將誤差的兩倍大的2mm×2mm區(qū)域設(shè)置為工作檢查圖像或工作基準(zhǔn)圖像。如果設(shè)置具有比1mm×1mm誤差大得多的10mm×10mm大小的工作圖像，則在圖9b中所示的處理后的圖像的整個(gè)區(qū)域中引起均勻性劣化，這使得難以選擇工作基準(zhǔn)圖像。

在上述部分中，如圖11中所示使用如下的實(shí)施例：生成多個(gè)平移的工作候選圖像。然而，生成工作候選圖像的方法不限于此。檢查目標(biāo)圖像中可以包括由于例如攝像期間照相機(jī)與對(duì)象之間的相對(duì)角度或相對(duì)距離、或者倍率的改變而導(dǎo)致不能由平移解決的誤差。在這種情況下，例如如圖13a中所示，能夠在使用放大或縮小基準(zhǔn)圖像所按的不同比率的同時(shí)，來提取多個(gè)工作候選圖像。作為選擇，如圖13b中所示，可以在對(duì)基準(zhǔn)圖像301使用不同的旋轉(zhuǎn)角的同時(shí)，來提取多個(gè)工作候選圖像。

上面已經(jīng)描述了如下的實(shí)施例：針對(duì)從檢查目標(biāo)圖像提取的一個(gè)工作檢查圖像，提取多個(gè)工作候選圖像。然而，在本發(fā)明的第一處理中，也能夠針對(duì)從基準(zhǔn)圖像提取的一個(gè)工作基準(zhǔn)圖像，從檢查目標(biāo)圖像提取多個(gè)工作候選圖像。此外，已經(jīng)描述了使所有工作檢查圖像經(jīng)受第一處理的上面的實(shí)施例。然而，本發(fā)明不限于這樣的實(shí)施例。例如，如果如圖10中所示基準(zhǔn)圖像從檢查目標(biāo)圖像位移的傾向是清楚的，則通過針對(duì)一些工作檢查圖像設(shè)置工作基準(zhǔn)圖像的坐標(biāo)，能夠使用內(nèi)插公式計(jì)算與其他工作檢查圖像相對(duì)應(yīng)的工作基準(zhǔn)圖像的坐標(biāo)。在任何一種情況下，能夠從基準(zhǔn)圖像和檢查目標(biāo)圖像選擇彼此相似的圖像的組合，作為工作基準(zhǔn)圖像和工作檢查圖像，以具有一對(duì)一的對(duì)應(yīng)關(guān)系，從而實(shí)現(xiàn)本發(fā)明的第一處理。

上面已經(jīng)描述了如下的實(shí)施例：由一個(gè)檢查目標(biāo)圖像302生成多個(gè)工作檢查圖像303，并且由一個(gè)基準(zhǔn)圖像301生成多個(gè)工作基準(zhǔn)圖像305。然而，本實(shí)施例不限于這樣的實(shí)施例?？梢允褂萌缦碌牧硪粚?shí)施例：由一個(gè)檢查目標(biāo)圖像302生成一個(gè)工作檢查圖像303，并且由一個(gè)基準(zhǔn)圖像301生成一個(gè)工作基準(zhǔn)圖像305。由一個(gè)檢查目標(biāo)圖像302生成的多個(gè)工作檢查圖像303也可以包括相互交疊的區(qū)域。

在上面的描述中，已經(jīng)描述了如下的實(shí)施例：基準(zhǔn)圖像被預(yù)先存儲(chǔ)在圖像處理裝置200中。然而，本發(fā)明不限于這樣的實(shí)施例。例如，預(yù)先準(zhǔn)備確認(rèn)其中不存在缺陷或圖像位移的對(duì)象?？梢蕴峁?duì)對(duì)象進(jìn)行攝像以將其用作基準(zhǔn)圖像的步驟。

此外，在上面的描述中，第一處理的相似區(qū)域提取處理和第二處理的特異部提取處理都使用了周邊視覺和固視期間不自主眼動(dòng)的處理。然而，本發(fā)明中的提取特異部的第二處理不總是需要使用周邊視覺和固視期間不自主眼動(dòng)的處理。例如，在步驟s115的特異部提取處理中，如果能夠提取基準(zhǔn)圖像與檢查目標(biāo)圖像之間的差異，則也能夠使用諸如圖案匹配等的其他檢查算法。另外，第一處理中的位置調(diào)整不總是必須具有如第二處理中的檢查的目的。例如，通過在運(yùn)動(dòng)圖像的幀之間執(zhí)行第一處理，能夠清楚地實(shí)施對(duì)點(diǎn)的運(yùn)動(dòng)的跟蹤而不使背景模糊。在任何一種情況下，只要情形需要用于某種目的的兩個(gè)圖像的位置調(diào)整，本發(fā)明就能夠有效地起作用。

(其他實(shí)施例)

還可以通過讀出并執(zhí)行記錄在存儲(chǔ)介質(zhì)(也可更完整地稱為“非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”)上的計(jì)算機(jī)可執(zhí)行指令(例如，一個(gè)或更多個(gè)程序)以執(zhí)行上述實(shí)施例中的一個(gè)或更多個(gè)的功能、并且/或者包括用于執(zhí)行上述實(shí)施例中的一個(gè)或更多個(gè)的功能的一個(gè)或更多個(gè)電路(例如，專用集成電路(asic))的系統(tǒng)或裝置的計(jì)算機(jī)，來實(shí)現(xiàn)本發(fā)明的實(shí)施例，并且，可以利用通過由系統(tǒng)或裝置的計(jì)算機(jī)例如讀出并執(zhí)行來自存儲(chǔ)介質(zhì)的計(jì)算機(jī)可執(zhí)行指令以執(zhí)行上述實(shí)施例中的一個(gè)或更多個(gè)的功能、并且/或者控制一個(gè)或更多個(gè)電路以執(zhí)行上述實(shí)施例中的一個(gè)或更多個(gè)的功能的方法，來實(shí)現(xiàn)本發(fā)明的實(shí)施例。計(jì)算機(jī)可以包括一個(gè)或更多個(gè)處理器(例如，中央處理單元(cpu)、微處理單元(mpu))，并且可以包括分開的計(jì)算機(jī)或分開的處理器的網(wǎng)絡(luò)，以讀出并執(zhí)行計(jì)算機(jī)可執(zhí)行指令。計(jì)算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)被提供給計(jì)算機(jī)。存儲(chǔ)介質(zhì)可以包括例如硬盤、隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、分布式計(jì)算系統(tǒng)的存儲(chǔ)器、光盤(諸如壓縮光盤(cd)、數(shù)字通用光盤(dvd)或藍(lán)光光盤(bd)^tm)、閃存裝置以及存儲(chǔ)卡等中的一個(gè)或更多個(gè)。

本發(fā)明的實(shí)施例還可以通過如下的方法來實(shí)現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。

雖然參照示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公開的示例性實(shí)施例。應(yīng)當(dāng)對(duì)所附權(quán)利要求的范圍給予最寬的解釋，以便涵蓋所有這些變型例以及等同的結(jié)構(gòu)和功能。