本發(fā)明涉及一種顯示從輸入圖像檢測到的對象物的圖像處理裝置，特別是涉及一種檢測在圖像中拍攝到的多個對象物的影像位置，為了使操作者確認(rèn)檢測到的對象物的影像是否正確而顯示檢測結(jié)果的圖像處理裝置。

背景技術(shù)：

一般在使用圖像處理裝置從拍攝裝置視野內(nèi)的圖像中檢測特定的對象物的影像時，在表示對象物的基準(zhǔn)信息(一般稱為模型圖案或模板等)與通過拍攝裝置取得的輸入圖像之間進(jìn)行特征量的匹配，當(dāng)一致度超過指定的等級(閾值)時判斷為成功檢測對象物。

但是，即使一致度超過了閾值，實際上也不一定正確地檢測到對象物的影像。因此，為了調(diào)整一致度的閾值等檢測參數(shù)，操作者有時通過目視來確認(rèn)是否正確檢測到對象物。為了確認(rèn)是否正確檢測到對象物，多采用在輸入圖像上的檢測位置繪制模型圖案的原點、包圍模型圖案的矩形、模型圖案的形狀這樣的方法。

并且，不僅在從輸入圖像檢測對象物的情況下，還在檢查輸入圖像中的對象物的情況下，在參數(shù)調(diào)整的階段需要由操作者目視來確認(rèn)好壞判定結(jié)果是否妥當(dāng)。在這種情況下，優(yōu)選對缺陷部分著色，或者使用不同的顏色包圍作為不良品的對象物，以便容易理解地顯示判定結(jié)果。

另外，存在基于檢測結(jié)果和好壞判定結(jié)果，進(jìn)行用于提高對象物檢測準(zhǔn)確度的機器學(xué)習(xí)和用于改良模型圖案的統(tǒng)計處理的情況。在稱為機器學(xué)習(xí)的有教師學(xué)習(xí)的方法中，賦予輸入數(shù)據(jù)及其標(biāo)簽(ok/ng和種類)。為了基于檢測結(jié)果和好壞判定結(jié)果進(jìn)行有教師學(xué)習(xí)，進(jìn)行檢測結(jié)果和好壞判定結(jié)果是否正確的確認(rèn)，如果具有不正確的結(jié)果，則通過按鈕或文本框等來修正標(biāo)簽。另外，在統(tǒng)計處理中，針對好的判定結(jié)果的對象物的影像進(jìn)行處理，或者使用好壞的判定結(jié)果來計算用于判別好壞的閾值。在這里，在學(xué)習(xí)中包含機器學(xué)習(xí)以及統(tǒng)計處理。

日本特開2007-114843號公報記載了操作者輸入好壞判定結(jié)果，根據(jù)圖像和好壞判定結(jié)果，設(shè)定用于進(jìn)行好壞判定的閾值的好壞判定。通過選擇圖像文件名來進(jìn)行圖像的選擇，如果不一個一個地打開圖像則無法確認(rèn)好壞判定結(jié)果。另外，設(shè)想針對圖像為一個好壞判定結(jié)果，但是沒有設(shè)想判定圖像內(nèi)的多個對象物的好壞。

國際公開第2001/041068號記載了一種缺陷檢查系統(tǒng)，當(dāng)變更了缺陷抽出的參數(shù)時，針對存儲的全部圖像再度進(jìn)行缺陷抽出，并與該好壞判定一同顯示縮略圖像。另外，在進(jìn)行新的缺陷判定時，在圖像上圖示多個被判定為缺陷的部分。在這里，為了放大判定為缺陷的區(qū)域，或者在缺陷辭典中登錄該缺陷，需要在圖像上點擊缺陷部分。因此，無法同時放大多個缺陷來進(jìn)行顯示。另外，登錄缺陷的作業(yè)也很繁雜。

特開2013-142558號公報記載了外觀檢查裝置，其在設(shè)定了好壞的圖像群中新追加了作為良品的圖像時，根據(jù)良品的圖像群計算判定閾值，并通過該閾值確認(rèn)不良品是否被判定為不良品。在該專利中能夠一張一張地顯示圖像來修正好壞，但是難以容易地確認(rèn)大量圖像的好壞。另外，沒有考慮針對一張圖像判定多個部位。

如上所述，在確認(rèn)檢測結(jié)果和好壞判定結(jié)果時，多采用在圖像上繪制檢測結(jié)果和好壞判定結(jié)果這樣的方法。

但是，該方法存在以下的問題：

在從一個圖像檢測多個對象物時，如果檢測結(jié)果重疊或者檢測結(jié)果相鄰接，則難以確認(rèn)正確性。并且，在修正標(biāo)簽時，難以將進(jìn)行修正的按鈕、復(fù)選框等與檢測結(jié)果對應(yīng)起來。

如果針對圖像的檢測結(jié)果的尺寸小，則難以確認(rèn)正確性。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種圖像處理裝置，其顯示從輸入圖像中檢測到的對象物，以便容易地進(jìn)行檢測結(jié)果和好壞判定結(jié)果的確認(rèn)。

圖像處理裝置具備：對象物檢測單元，其基于對象物的模型圖案，從拍攝對象物而得到的輸入圖像檢測對象物的一個乃至多個影像；檢測結(jié)果顯示單元，其針對檢測出的各個影像，以圖形方式重疊顯示檢測結(jié)果，檢測結(jié)果顯示單元具備：第一框體，其顯示整個所述輸入圖像；第二框體，其一覽顯示包含從該輸入圖像檢測出的一個乃至多個影像中的各個影像的部分圖像，在第一框體中顯示的輸入圖像中，針對檢測出的全部的影像重疊顯示檢測結(jié)果，在第二框體中顯示的部分圖像中，重疊顯示與各個部分圖像對應(yīng)的影像的檢測結(jié)果。

附圖說明

通過參照以下的附圖，能夠更加明確地理解本發(fā)明。

圖1是表示第一實施方式的圖像處理裝置的結(jié)構(gòu)的框圖。

圖2表示使用了第一實施方式的圖像處理裝置的結(jié)構(gòu)例子。

圖3表示使用了第一實施方式的圖像處理裝置的其他結(jié)構(gòu)例子。

圖4表示拍攝到的輸入圖像與圖像坐標(biāo)系的關(guān)系。

圖5是表示第一實施方式的圖像處理裝置的處理流程的流程圖。

圖6表示對象物的模型圖案的例子。

圖7表示與模型圖案相關(guān)的數(shù)據(jù)的形式例子。

圖8表示輸入圖像一覽畫面的顯示例子。

圖9表示在圖8的狀態(tài)下點擊了第二標(biāo)簽的修正按鈕后的顯示例子。

圖10表示檢測結(jié)果一覽畫面的顯示例子。

圖11表示在圖10的狀態(tài)下點擊了第一標(biāo)簽的修正按鈕后的顯示畫面。

圖12表示檢測結(jié)果一覽畫面的其他顯示例子。

圖13表示檢測結(jié)果一覽畫面的另一顯示例子。

圖14表示檢測結(jié)果一覽畫面的另一顯示例子。

圖15表示檢測結(jié)果一覽畫面的另一顯示例子。

圖16表示在以相同的姿態(tài)顯示部分圖像上的對象物的影像時的檢測結(jié)果一覽畫面的顯示例子。

圖17表示在以原有的尺寸比同時顯示不同尺寸的對象物的影像時的檢測結(jié)果一覽畫面的顯示例子。

圖18是表示第二實施方式的圖像處理裝置的處理流程的流程圖。

圖19表示在第二實施方式中使用的檢測結(jié)果一覽畫面的顯示例子。

圖20表示通過步驟s204顯示的檢測結(jié)果一覽畫面的顯示例子。

圖21表示修正了第一標(biāo)簽時的檢測結(jié)果一覽畫面的顯示例子。

圖22示意地表示神經(jīng)元的模型。

圖23示意地表示將圖22所示的神經(jīng)元進(jìn)行組合而構(gòu)成的三層神經(jīng)網(wǎng)絡(luò)。

圖24表示第一以及第二實施方式的學(xué)習(xí)單元22的概要結(jié)構(gòu)。

具體實施方式

以下，參照附圖對顯示從輸入圖像檢測到對象物的圖像處理裝置進(jìn)行說明。然而，希望可以理解本發(fā)明并不限于附圖或以下說明的實施方式。

在實施方式的說明中，如下那樣使用記號。為了明確地進(jìn)行說明，首先對記號進(jìn)行說明。

np：構(gòu)成模型圖案的特征點的數(shù)量

p_i：模型圖案的第i個特征點(i從1到np)

ni：輸入圖像的數(shù)量

i_j：第j個輸入圖像(j從1到ni)

nt_j：從第j個輸入圖像i_j檢測到的對象物的影像的數(shù)量

t_jg：從第j個輸入圖像i_j檢測到的第g個對象物的影像(g從1到nt_j)

l1_jg：從第j個輸入圖像i_j檢測到的第g個對象物的影像的第一標(biāo)簽

l2_j：第j個輸入圖像i_j的第二標(biāo)簽

圖1是表示第一實施方式的圖像處理裝置的結(jié)構(gòu)的框圖。

如圖1所示，第一實施方式的圖像處理裝置10具有運算部20、存儲部30、顯示部40以及操作部50。在圖像處理裝置10上連接了視覺傳感器11、操作盤12、顯示裝置13等。運算部20包含對象物檢測單元21以及學(xué)習(xí)單元22。存儲部30包含模型圖案存儲單元31、學(xué)習(xí)數(shù)據(jù)存儲單元32、檢測結(jié)果存儲單元33。顯示部40包含檢測結(jié)果顯示單元41以及輸入圖像顯示單元42。操作部50包含部分圖像選擇單元51以及輸入圖像選擇單元52。圖像處理裝置10中包含的各部分在具有cpu、rom、ram等的計算機上通過軟件來實現(xiàn)。

視覺傳感器11通過通信線纜與圖像處理裝置10相連接。視覺傳感器11向圖像處理裝置10供給拍攝到的圖像數(shù)據(jù)。操作盤12通過通信線纜與圖像處理裝置10相連接。操作盤12用于操作在顯示裝置13中顯示的畫面。顯示裝置13通過通信線纜與圖像處理裝置10相連接。在顯示裝置13中顯示由視覺傳感器11拍攝到的圖像和檢測結(jié)果等。此外，視覺傳感器11、操作盤12以及顯示裝置13也可以與圖像處理裝置10為一體。顯示裝置13是具有crt、液晶面板等的顯示設(shè)備。操作盤12可以是鼠標(biāo)和鍵盤，也可以是顯示裝置13上的觸摸屏。

圖2表示使用了第一實施方式的圖像處理裝置10的結(jié)構(gòu)例子。

如圖2所示的那樣，在能夠拍攝對象物17a以及17b的位置固定設(shè)置視覺傳感器11，并將對象物17a以及17b放置在作業(yè)臺16上。放置在作業(yè)臺16上的對象物17a以及17b可以是單個也可以是多個。視覺傳感器11可以是拍攝灰度圖像或彩色圖像的照相機，也可以是能夠取得距離圖像的立體照相機或三維傳感器。

在第一實施方式中，以使用照相機作為視覺傳感器11，視覺傳感器11輸出灰度圖像的方式來進(jìn)行說明。照相機例如是具有ccd(chargecoupleddevice，電荷耦合器件)等拍攝元件的電子照相機，是具有通過拍攝來在拍攝面(ccd陣列面上)上檢測二維圖像的功能的眾所周知的受光設(shè)備。此外，以下將拍攝面中的二維坐標(biāo)系稱為圖像坐標(biāo)系。

圖3表示使用了第一實施方式的圖像處理裝置10的其他結(jié)構(gòu)例子。

如圖3所示，可以在機器人1的機頭(機械手)2等可動部上設(shè)置視覺傳感器11。另外，也可以在機器人1的機頭上抓持對象物17a以及17b，進(jìn)行移動以使對象物17a以及17b進(jìn)入固定設(shè)置的視覺傳感器的視野內(nèi)。機器人1通過通信線纜連接，由機器人控制裝置3進(jìn)行控制。機器人控制裝置3在機器人1的控制中利用來自圖像處理裝置10的處理結(jié)果。

圖4表示拍攝到的輸入圖像與圖像坐標(biāo)系的關(guān)系。

如圖4所示，輸入圖像100具有長方形的圖像面，并具有與長方形的邊相對應(yīng)的圖像坐標(biāo)系110。通過圖像坐標(biāo)系110的xy坐標(biāo)來表示圖像面上的位置。在圖4的輸入圖像100中，包含三個對象物的圖像200a～200c。此外，在以下的說明中，存在將對象物的圖像簡稱為對象物的情況。

圖5是表示第一實施方式的圖像處理裝置的處理流程的流程圖。

根據(jù)學(xué)習(xí)單元22進(jìn)行的處理，操作者在圖像處理裝置中進(jìn)行的操作以及處理的內(nèi)容不同。在這里，首先以學(xué)習(xí)單元22進(jìn)行統(tǒng)計處理的情況為例進(jìn)行說明。

在步驟s101作成在對象物的檢測中使用的模型圖案。

第一實施方式中的模型圖案由多個特征點構(gòu)成。作為特征點能夠使用各種點，在第一實施方式中使用邊緣點作為特征點。邊緣點是圖像中亮度梯度大的點，能夠用于取得對象物的輪廓形狀。抽出邊緣點的方法是眾所周知的?？梢砸匀我獾牧６葋砣〉眠吘夵c，在這里針對一個像素抽出一個邊緣點。

特征點并不限于邊緣點，例如也可以使用sift這樣的特征點。從圖像抽出sift特征點的方法如“objectrecognitionfromlocalscale-invariantfeatures”,davidg.lowe,proc.oftheinternationalconferenceoncomputervision,corfu(sept.1999)等中記載的那樣是眾所周知的。

特征點至少具有位置。在將邊緣點的亮度梯度的方向定義為特征點的姿態(tài)時，能夠與位置合并來定義特征點的位置姿態(tài)。在第一實施方式中，特征點具有位置、姿態(tài)。

圖6表示對象物的模型圖案的例子。如圖6所示的那樣，對象物200的模型圖案由多個特征點(邊緣點)p_i(i＝1～np)構(gòu)成。構(gòu)成模型圖案的特征點p_i的位置姿態(tài)可以通過任意的形式來表現(xiàn)，作為一個例子，舉出如下方法：在模型圖案中定義坐標(biāo)系(以下稱為模型圖案坐標(biāo)系)，通過從模型圖案坐標(biāo)系看到的位置矢量和方向矢量等來表現(xiàn)構(gòu)成模型圖案的特征點的位置t_pi(i＝1～np)和姿態(tài)v_pi(i＝1～np)。

另外，模型圖案坐標(biāo)系的原點可以任意定義。例如，可以從構(gòu)成模型圖案的特征點中選擇任意一點，將該點定義為原點，也可以將構(gòu)成模型圖案的全部特征點的重心定義為原點。

模型圖案坐標(biāo)系的姿態(tài)(軸的方向)也可以任意定義。例如，可以定義為在做成了模型圖案的圖像中圖像坐標(biāo)系與模型圖案坐標(biāo)系平行，也可以定義為從構(gòu)成模型圖案的特征點中選擇任意的兩點，從其中一方朝向另一方的方向成為x軸方向。

圖7表示與模型圖案相關(guān)的數(shù)據(jù)的形式例子。

如圖7所示的那樣，針對各特征點通過位置以及姿態(tài)來表現(xiàn)與模型圖案相關(guān)的數(shù)據(jù)。以圖7所示的形式(位置、姿態(tài))在模型圖案存儲單元31中存儲構(gòu)成模型圖案的特征點p_i。

在步驟s102，取得包含對象物的影像的一個乃至多個輸入圖像i_j(j＝1～ni)。輸入圖像通過在視覺傳感器11的視野內(nèi)配置對象物來拍攝圖像而取得。優(yōu)選在與實際的生產(chǎn)線相同的環(huán)境下拍攝圖像?？梢源罅勘４鎸嶋H在生產(chǎn)線上拍攝到的對象物的圖像，并使用這些圖像?？梢栽谝粡堓斎雸D像中拍攝到多個對象物。

在步驟s103，通過對象物檢測單元21對各個輸入圖像i_j(j＝1～ni)進(jìn)行模型圖案與輸入圖像i_j的匹配，進(jìn)行對象物的檢測。將檢測結(jié)果與輸入圖像i_j對應(yīng)起來存儲在檢測結(jié)果存儲單元33中。此外，將直到進(jìn)行以下的學(xué)習(xí)處理為止的一連串處理的結(jié)果存儲在檢測結(jié)果存儲單元33中。對象物檢測單元21檢測對象物的方法有各種各樣，例如，作為眾所周知的方法，能夠利用如下方法：“generalizingthehoughtransformtodetectarbitraryshapes”,d.h.ballard,patternrecognitionvol.13,no.2,pp.111-122,1981中記載的廣義霍夫變換、“randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography”,martina.fischler,etal.,communicationsoftheassociationforcomputingmachineryvol.24no.6pages381-395,june1981中記載的ransac等。另外，在本實施方式中，將一致度雖然不足閾值但是一致度在預(yù)先設(shè)定的范圍內(nèi)的對象物的影像也追加為檢測結(jié)果。例如，在以0～100定義一致度時，允許到一致度的閾值減去10得到的一致度為止。即使這樣一致度也不足閾值的檢測結(jié)果，也能夠在后面的步驟中作為正確的檢測結(jié)果來變更標(biāo)簽。

作為進(jìn)行了檢測的結(jié)果，從輸入圖像i_j檢測出nt_j個對象物的影像。另外，將檢測到的影像設(shè)為t_jg(g＝1～nt_j)，將影像t_jg的檢測位置設(shè)為r_tjg。檢測位置r_tjg是表示從圖像坐標(biāo)系觀察到的對象物的影像t_jg的位置姿態(tài)，即對影像t_jg重合了模型圖案時從圖像坐標(biāo)系觀察到的模型圖案坐標(biāo)系的位置姿態(tài)的齊次變換矩陣，通過下式來表示。

例如，在對象物相對于照相機的光軸不傾斜，作為在圖像中拍攝到的對象物的影像的移動只考慮全等變換即可時，a00～a12如下那樣。

a00＝cosθ

a01＝－sinθ

a02＝x

a10＝sinθ

a11＝cosθ

a12＝y(tǒng)

其中，(x、y)是圖像上的位置，θ是圖像上的旋轉(zhuǎn)移動量。

另外，在對象物相對于照相機的光軸不傾斜，但是對象物與照相機的距離不固定時，根據(jù)距離在圖像中拍攝到的對象物的影像的大小進(jìn)行變化，因此作為在圖像中拍攝到的對象物的影像的移動成為相似變換。此時，a00～a12如下那樣。

a00＝s·cosθ

a01＝－s·sinθ

a02＝x

a10＝s·sinθ

a11＝s·cosθ

a12＝y(tǒng)

其中，s是示教的模型圖案的大小與對象物的影像t_jg的大小的比。

將檢測位置r_tjg與輸入圖像i_j成對存儲在檢測結(jié)果存儲單元33中。

基于從各輸入圖像i_j(j＝1～ni)檢測到的對象物的影像t_jg(j＝1～ni、g＝1～nt_j)的檢測位置r_tjg，對構(gòu)成模型圖案的特征點p_i的位置姿態(tài)進(jìn)行變換，并與圖像上的對象物的影像重合。

為了說明，分別通過齊次變換矩陣r_pi來表示構(gòu)成模型圖案的特征點p_i的位置姿態(tài)。r_pi能夠如下那樣記載。

b00＝vx_pi

b01＝－vy_pi

b02＝tx_pi

b10＝vy_pi

b11＝vx_pi

b12＝ty_pi

其中，t_pi＝(tx_pi，ty_pi)是模型圖案坐標(biāo)系中的p_i的位置，v_pi＝(vx_pi，vy_pi)是模型圖案坐標(biāo)系中的p_i的姿態(tài)。

在這里，需要注意構(gòu)成模型圖案的特征點p_i的位置姿態(tài)r_pi通過模型圖案坐標(biāo)系來表現(xiàn)。

在把對輸入圖像i_j中拍攝到的對象物的影像t_jg重合了模型圖案時的從圖像坐標(biāo)系觀察到的特征點p_i的位置姿態(tài)設(shè)為r_pi′時，對于r_pi′使用從模型圖案坐標(biāo)系觀察到的特征點p_i的位置姿態(tài)r_pi以及從圖像坐標(biāo)系觀察到的影像t_jg的檢測位置r_tjg，表現(xiàn)為以下那樣。

r_pi′＝r_tjg·r_pi

此外，為了后面的說明，將從圖像坐標(biāo)系觀察到的p_i的位置設(shè)為t_pi′，將從圖像坐標(biāo)系觀察到的p_i的姿態(tài)設(shè)為v_pi′。

在這里，對各對象物的影像t_jg賦予第一標(biāo)簽l1_jg(j＝1～ni，g＝1～nt_j)。在第一實施方式中，能夠作為對象物的影像的標(biāo)簽選擇的是“ok”、“ng”這兩個。在第一實施方式中，將檢測到的對象物的影像內(nèi)的一致度為閾值以上的全部對象物的影像的第一標(biāo)簽l1_jg設(shè)為“ok”。將檢測到的對象物的影像內(nèi)的一致度不足閾值的對象物的影像的第一標(biāo)簽l1_jg設(shè)為“ng”。

在步驟s104，使用者確認(rèn)從各輸入圖像i_j(j＝1～ni)檢測到的對象物的影像t_jg(j＝1～ni，g＝1～nt_j)，并修正標(biāo)簽。確認(rèn)賦予了“ok”的對象物的影像，在判斷為不是對象物時，將第一標(biāo)簽變更為“ng”，并存儲該修正后的標(biāo)簽。并且，確認(rèn)賦予了“ng”的對象物的影像，在判斷為應(yīng)檢測為對象物時，將第一標(biāo)簽變更為“ok”，并存儲該修正后的標(biāo)簽。

在第一實施方式中，往復(fù)由輸入圖像顯示單元42顯示的輸入圖像一覽畫面和由檢測結(jié)果顯示單元41顯示的檢測結(jié)果一覽畫面，由此來確認(rèn)對象物的影像t_jg(j＝1～ni、g＝1～nt_j)。

在顯示裝置中顯示輸入圖像一覽畫面和檢測結(jié)果一覽畫面?？梢圆⒘酗@示兩個畫面，也可以交替顯示兩個畫面。在第一實施方式中說明交替顯示兩個畫面的方法。

圖8表示輸入圖像一覽畫面的顯示例子。

在輸入圖像一覽畫面中，如圖8所示那樣一覽顯示全部的輸入圖像i_j(j＝1～ni)。例如，按照以下的規(guī)則來進(jìn)行該顯示。

*在畫面內(nèi)按照指定的倍率來排列顯示輸入圖像。在第一實施方式中輸入圖像的尺寸全部相同，但是輸入圖像的尺寸也可以不同。

*根據(jù)畫面的尺寸和輸入圖像的尺寸以及倍率來自動決定畫面內(nèi)的圖像的列數(shù)或行數(shù)。

在無法顯示出全部的圖像時，顯示滾動條。通過滾動條能夠使畫面滾動來閱覽全部的圖像。滾動條可以縱向出現(xiàn)，也可以橫向出現(xiàn)。

*輸入圖像的顯示倍率能夠通過倍率下拉來指定?？梢韵啾仍瓐D像放大顯示，也可以縮小顯示。

說明在輸入圖像中拍攝到的對象物的影像上繪制模型圖案的步驟。模型圖案的繪制可通過以下的步驟來進(jìn)行。

(1)針對全部輸入圖像i_j(j＝1～ni)進(jìn)行以下(2)的處理。

(2)針對從輸入圖像i_j檢測到的全部對象物的影像t_jg(g＝1～nt_j)進(jìn)行以下(2－1)～(2－2)的處理。

(2－1)基于對象物的影像的位置r_tjg來計算從圖像坐標(biāo)系觀察模型圖案的全部特征點p_i(i＝1～np)時的位置r_pi′。

(2－2)在輸入圖像i_j的位置r_pi′上繪制點。在第一標(biāo)簽l1_jg為“ok”時通過綠色繪制，在第一標(biāo)簽l1_jg為“ng”時通過紅色繪制?？梢詫⑻卣鼽cp_i不繪制為點，而是繪制為線段。因此，將第一標(biāo)簽l1_jg表現(xiàn)為通過綠色或紅色顯示的對象物的一連串的特征點。

對第二標(biāo)簽進(jìn)行說明。

*各輸入圖像具有第二標(biāo)簽l2_j(j＝1～ni)。

*在各輸入圖像的左上方配置了第二標(biāo)簽的修正按鈕。第二標(biāo)簽的修正按鈕也可以配置在輸入圖像的下方等圖像外。

基于第一標(biāo)簽l1_jg(g＝1～nt_j)如下那樣決定第二標(biāo)簽l2_j。如果相同的輸入圖像內(nèi)的全部對象物的影像的第一標(biāo)簽l1_jg為“ok”，則使第二標(biāo)簽l2_j為“ok”。

如果在相同輸入圖像內(nèi)的對象物的影像中只要有一個第一標(biāo)簽l1_jg為“ng”，則使第二標(biāo)簽l2_j為“ng”。

第二標(biāo)簽的修正按鈕如下那樣顯示。

將第二標(biāo)簽顯示為在第二標(biāo)簽的修正按鈕上方顯示的標(biāo)簽。

關(guān)于第二標(biāo)簽的修正按鈕的背景顏色，在為“ok”時為綠色，在為“ng”時為紅色。

在點擊了第二標(biāo)簽的修正按鈕時，第二標(biāo)簽l2_j在“ok”與“ng”之間切換。另外，與之相配合，將相同圖像內(nèi)的全部對象物的影像的第一標(biāo)簽l1_jg也變更為與l2_j相同。按照第一標(biāo)簽l1_jg和第二標(biāo)簽l2_j的變更，畫面也更新。

圖9表示在圖8的狀態(tài)下點擊了第二標(biāo)簽的修正按鈕后的顯示例子。從第一行的左側(cè)開始第二個圖像的第二標(biāo)簽從“ok”變?yōu)椤皀g”。

當(dāng)在輸入圖像一覽畫面中點擊了輸入圖像i_j時，轉(zhuǎn)移到一覽顯示該輸入圖像的檢測結(jié)果的檢測結(jié)果一覽畫面。

圖10表示檢測結(jié)果一覽畫面的顯示例子。

如圖10所示的那樣，在檢測結(jié)果一覽畫面中，如以下那樣一覽顯示選擇的輸入圖像i_j的對象物的影像t_jg(g＝1～nt_j)。

*在檢測結(jié)果一覽畫面中顯示第一框體和第二框體。

*在第一框體和第二框體中，能夠變更為不同的圖像的顯示倍率。

*能夠變更第一框體和第二框體的大小。例如，能夠通過拖移第一框體和第二框體的邊界線來改變兩個框體的大小。

*在點擊了返回按鈕時，能夠返回到輸入圖像一覽畫面。

在第一框體中顯示全體圖像。

*在操作了第一框體的倍率下拉時，能夠變更全體圖像的顯示倍率。

*在全體圖像無法收納在第一框體中時，顯示滾動條。

*在全體圖像中，能夠通過與在輸入圖像一覽畫面的圖像中繪制模型圖案相同的方法，在檢測到的對象物的影像上繪制模型圖案。

在第二框體中顯示部分圖像。

*在操作第二框體的倍率下拉時，能夠變更部分圖像的顯示倍率。

*在全部的部分圖像無法收納在第二框體中時，顯示滾動條。滾動條可以縱向出現(xiàn)，也可以橫向出現(xiàn)。

*針對各對象物的影像t_jg(g＝1～nt_j)制作部分圖像。通過以下的步驟來制作部分圖像。

1.在輸入圖像的檢測到的對象物的影像上繪制模型圖案。針對對象物的影像t_jg進(jìn)行以下的處理(1-1)～(1-2)即可。

(1-1)基于對象物的影像的位置r_tjg來計算模型圖案的全部特征點p_i(i＝1～np)的從圖像坐標(biāo)系觀察時的位置r_pi′。

(1-2)在輸入圖像i_j的位置r_pi′上繪制點。在第一標(biāo)簽l1_jg為“ok”時用綠色繪制，在第一標(biāo)簽l1_jg為“ng”時用紅色繪制。也可以將特征點p_i不繪制為點，而繪制為線段。

2.求出計算出的全部r_pi′(i＝1～np)的位置t_pi′＝(tx_pi，ty_pi)的x方向的最大值tx_pi_max、最小值tx_pi_min和y方向的最大值ty_pi_max、最小值ty_pi_min。

3.將用于切出來自輸入圖像的部分圖像的形狀設(shè)為矩形，通過左上的頂點位置和右上的頂點位置來定義矩形。在將空白設(shè)為α?xí)r，能夠?qū)⒆笊系捻旤c位置計算為(tx_pi_min－α，tx_pi_min－α)，將右下的頂點位置計算為(ty_pi_max+α、ty_pi_max+α)?？瞻爪量梢允穷A(yù)先決定的值，也可以根據(jù)圖像的尺寸等計算出來。

4.通過計算出的矩形從輸入圖像切出，作為部分圖像。

在通過部分圖像選擇單元51選擇了部分圖像時，部分圖像成為選擇狀態(tài)進(jìn)行高亮顯示。例如，通過點擊部分圖像，與其他的部分圖像相區(qū)別地顯示該部分圖像，即進(jìn)行高亮顯示。關(guān)于部分圖像的高亮顯示，例如可以通過明亮顏色的框線來圍住部分圖像。另外，即使在全體圖像中也高亮顯示與該部分圖像對應(yīng)的對象物的影像t_jg。在全體圖像的高亮顯示中，也可以通過明亮的框線來圍住對象物的影像。使框線的形狀為與用于切出部分圖像的矩形相同即可?；蛘撸部梢酝ㄟ^改變繪制模型圖案的顏色來進(jìn)行高亮顯示。并且，在放大了全體圖像，僅顯示全體圖像的一部分時，能夠自動地滾動全體圖像，以便操作者能夠確認(rèn)高亮顯示的對象物的影像。

*將各部分圖像與第一標(biāo)簽l1_jg(j＝1～ni、g＝1～nt_j)對應(yīng)起來。

*在各部分圖像的左上配置了第標(biāo)簽的修正按鈕。第一標(biāo)簽的修正按鈕也可以配置在部分圖像正下方等圖像外。

*在第一標(biāo)簽的修正按鈕上顯示第一標(biāo)簽(“ok”或“ng”)。

*關(guān)于第一標(biāo)簽的修正按鈕的背景顏色，在“ok”時為綠色，在“ng”時為紅色。

*在點擊了第一標(biāo)簽的修正按鈕時，第一標(biāo)簽l1_jg在“ok”與“ng”之間切換。與第一標(biāo)簽l1_jg的變更相符地畫面也更新。

圖11表示在圖10的狀態(tài)下點擊了第一標(biāo)簽的修正按鈕后的顯示畫面。第二框體的左上的部分圖像以及第一框體的與該部分圖像對應(yīng)的對象物的特征點從綠色變更為紅色。另外，與第二框體的左上的部分圖像對應(yīng)顯示的第一標(biāo)簽的修正按鈕從“ok”變更為“ng”。

圖12表示檢測結(jié)果一覽畫面的另一顯示例子。

如圖12所示的那樣，作為其他的顯示例子，能夠增大第一框體，并減小第二框體。在該例子中，第一框體的倍率為50％，第二框體的倍率為25％。在成為這樣的結(jié)構(gòu)時，能夠在第二框體中大致確認(rèn)各個對象物的全體圖像，并在希望更加細(xì)致地確認(rèn)時，通過第一框體進(jìn)行確認(rèn)。

圖13表示檢測結(jié)果一覽畫面的另一顯示例子。

如圖13所示的那樣，作為另一顯示例子，能夠減小第一框體的倍率，并增大第二框體的倍率。在該例子中，第一框體的倍率為25％，第二框體的倍率為50％。在成為這樣的結(jié)構(gòu)時，在第二框體中能夠通過放大顯示對象物的影像來細(xì)致地確認(rèn)，在第一框體中能夠確認(rèn)在整個圖像中該對象物位于哪里。

圖14表示檢測結(jié)果一覽畫面的另一顯示例子。

在圖14的例子中，在檢測結(jié)果一覽畫面的下部追加了向前的圖像按鈕，向后的圖像按鈕、圖像索引的文本框。

在按壓向前的圖像按鈕時，顯示輸入圖像i_j的前一個輸入圖像i_j－1及其檢測結(jié)果t_j－1g(g＝1～nt_j－1)。

在按壓向后的圖像按鈕時，顯示輸入圖像i_j的后一個輸入圖像i_j+1及其檢測結(jié)果t_j+1g(g＝1～nt_j+1)。

當(dāng)在圖像索引的文本框中輸入了整數(shù)值x時，顯示輸入圖像i_x及其檢測結(jié)果t_xg(g＝1～nt_x)。

由此，能夠不返回輸入圖像一覽畫面地在檢測結(jié)果一覽畫面中顯示其他的輸入圖像和其檢測結(jié)果。

圖15表示檢測結(jié)果一覽畫面的另一顯示例子。

第一框體和第二框體的配置不僅能夠配置為左右排列，而且還能夠配置為上下排列。另外，還能夠如圖15所示那樣配置。在進(jìn)行了這樣的配置時，能夠?qū)⒏鄬ο笪锏挠跋褡鳛椴糠謭D像來排列顯示。

在步驟s105，將檢測到的對象物的影像t_jg(j＝1～ni，g＝1～nt_j)和第一標(biāo)簽l1_jg的多個數(shù)據(jù)集作為學(xué)習(xí)數(shù)據(jù)，通過學(xué)習(xí)單元22進(jìn)行機器學(xué)習(xí)或統(tǒng)計處理。對于學(xué)習(xí)單元22的處理，還包含第二實施方式的情況，將在以下進(jìn)行敘述。

作為第一實施方式的圖像處理裝置的變形例考慮以下。

*能夠保持多個模型圖案，并對各模型圖案賦予名稱。在標(biāo)簽中使用匹配的模型圖案的名稱。在修正標(biāo)簽時通過下拉框選擇標(biāo)簽。

*不是通過多個特征點來定義模型圖案，而是通過模板圖像這樣的形式來進(jìn)行定義。此時，使用歸一化相關(guān)這樣的方法來檢測對象物。因為在將模板圖像作為模型圖案使用時無法進(jìn)行特征點的繪制，所以需要在對象物的影像的周圍繪制矩形等來表現(xiàn)檢測結(jié)果。

*不通過按鈕進(jìn)行標(biāo)簽的修正，而通過復(fù)選框或文本框來進(jìn)行。在使用復(fù)選框時，僅能指定2值。在使用文本框時，能夠輸入任意的字符串。

*不是通過下拉而是通過滑塊來切換倍率。

*操作者不決定倍率，根據(jù)畫面尺寸和圖像尺寸自動決定。

*不是在圖像上繪制模型圖案的特征點，而繪制包圍模型圖案的矩形或模型圖案的中心位置。還可以組合它們來進(jìn)行繪制。包圍模型圖案的矩形或中心位置能夠由用戶手動來定義，也可以在制作模型圖案時自動設(shè)定。

在輸入圖像一覽畫面中顯示了很多圖像時，不是通過滾動條進(jìn)行滾動，而是通過切換頁面來切換顯示的圖像。例如，在具有100張圖像時，在每一頁中顯示9張，劃分為12頁來進(jìn)行顯示。在檢測結(jié)果一覽畫面的第二框體中也可以使用相同的方法。

*可以使切取檢測結(jié)果一覽畫面的部分圖像的方法如下那樣。

1.預(yù)先定義包圍模型圖案的矩形。該矩形在示教模型圖案時，可以自動的定義，也可以由操作者手動的定義。矩形能夠通過矩形的左端頂點u1的位置姿態(tài)和寬度u_w、高度u_h來定義。頂點u1的從模型圖案坐標(biāo)系觀察時的位置姿態(tài)通過齊次變換矩陣r_u1來定義。

2.基于對象物的影像的位置r_tjg來計算頂點u1的從圖像坐標(biāo)系觀察時的位置姿態(tài)r_u1′。

3.使用頂點u1在圖像坐標(biāo)系中的位置姿態(tài)r_u1′和寬度u_w、高度u_h來切出部分圖像。

在該情況下，部分圖像上的對象物的影像以相同的姿態(tài)進(jìn)行顯示。當(dāng)然，切出部分圖像的形狀也可以不是矩形。

圖16表示在以相同姿態(tài)顯示部分圖像上的對象物的影像時的檢測結(jié)果一覽畫面的顯示例子。

*也可以同時顯示不同尺寸的對象物的影像。此時，可以使對象物的影像大小一致來顯示，也可以按照原有尺寸比來顯示。

圖17表示在以原有的尺寸比同時顯示不同尺寸的對象物的影像時的檢測結(jié)果一覽畫面的顯示例子。

圖18是表示第二實施方式的圖像處理裝置的處理流程的流程圖。

第二實施方式的圖像處理裝置具有與第一實施方式的圖像處理裝置相同的硬件結(jié)構(gòu)，部分處理與第一實施方式不同。第二實施方式的說明中，首先以學(xué)習(xí)單元22進(jìn)行統(tǒng)計處理的情況為例進(jìn)行說明。

另外，圖19表示在第二實施方式中使用的檢測結(jié)果一覽畫面的顯示例子。

在圖19的畫面中，第一框體和第二框體上下排列配置。另外，在第一框體的右側(cè)配置了snap按鈕、find按鈕、finish按鈕。

在步驟s201中，進(jìn)行與第一實施方式的步驟s101相同的處理。

在步驟s202中，在視覺傳感器11的視野內(nèi)配置對象物并按壓snap按鈕，拍攝一張輸入圖像。優(yōu)選在輸入圖像i_j中拍攝到的對象物的影像包含在檢測中成為問題的變動。作為確認(rèn)了輸入圖像i_j的結(jié)果，在判斷為作為學(xué)習(xí)數(shù)據(jù)不理想時，可以再次按壓snap按鈕來重新拍攝輸入圖像i_j。將拍攝到的圖像作為全體圖像在第一框體中顯示。因為此時未檢測到對象物，所以在全體圖像的對象物的影像上未繪制模型圖案，也不顯示部分圖像。此時可以只顯示第一框體，而不顯示第二框體。

在步驟s203中，當(dāng)按壓了find按鈕時從輸入圖像i_j進(jìn)行對象物的檢測。檢測處理可以與第一實施方式的步驟s103同樣地進(jìn)行。但是，在這里只從一個輸入圖像i_j進(jìn)行檢測。

在步驟s204中，通過檢測結(jié)果一覽畫面來一覽顯示從輸入圖像i_j檢測到的對象物的影像t_jg(g＝1～nt_j)。

圖20表示在步驟s204顯示的檢測結(jié)果一覽畫面的顯示例子。

全體圖像和部分圖像的顯示可以與第一實施方式同樣地進(jìn)行。隱藏第一框體右側(cè)的snap按鈕、find按鈕，并追加了add按鈕、discard按鈕。操作者確認(rèn)在檢測結(jié)果一覽畫面中顯示的全體圖像和部分圖像，并與第一實施方式同樣地確認(rèn)在檢測結(jié)果中是否有問題。

并且，在步驟s204中，能夠如第一實施方式的檢測結(jié)果一覽畫面那樣修正第一標(biāo)簽。

圖21表示修正了第一標(biāo)簽時的檢測結(jié)果一覽畫面的顯示例子。

在這里，確認(rèn)賦予了“ok”的對象物的影像，當(dāng)判定為不是對象物時，將第一標(biāo)簽變更為“ng”，并存儲該修正后的標(biāo)簽。并且，確認(rèn)賦予了“ng”的對象物的影像，在判斷為應(yīng)檢測為對象物時，將第一標(biāo)簽變更為“ok”，并存儲該修正后的標(biāo)簽。

在步驟s205中，決定是否向?qū)W習(xí)數(shù)據(jù)追加對象物的影像t_jg(g＝1～nt_j)，在決定追加時，按壓add按鈕，并將輸入圖像i_j和對象物的影像t_jg(g＝1～nt_j)、第一標(biāo)簽l1_jg(g＝1～nt_j)對應(yīng)起來追加到學(xué)習(xí)數(shù)據(jù)中。在不追加時，按壓discard按鈕，丟棄輸入圖像i_j和對象物的影像t_jg以及第一標(biāo)簽l1_jg。不論按壓add按鈕和discard按鈕中的哪個，都再次從步驟s202開始處理。

如果追加了足夠的學(xué)習(xí)數(shù)據(jù)則按壓finish按鈕，并向步驟s206前進(jìn)。

在此，在向s206前進(jìn)之前，可以如第一實施方式的步驟s104那樣追加以下的步驟：使用輸入圖像一覽畫面和檢測結(jié)果一覽畫面來確認(rèn)并修正在學(xué)習(xí)數(shù)據(jù)中追加的全部的輸入圖像i_j(j＝1～ni)所對應(yīng)的對象物的影像t_jg(j＝1～ni，g＝1～nt_j)的第一標(biāo)簽l1_jg(j＝1～ni，g＝1～nt_j)。

在步驟s206中，基于收集到的學(xué)習(xí)數(shù)據(jù)與第一實施方式的步驟s105一樣地，將對象物的影像t_jg(j＝1～ni，g＝1～nt_j)與第一標(biāo)簽l1_jg(j＝1～ni，g＝1～nt_j)組成的多個數(shù)據(jù)集作為學(xué)習(xí)數(shù)據(jù)，通過學(xué)習(xí)單元22進(jìn)行統(tǒng)計處理。

以下，對第一以及第二實施方式中的學(xué)習(xí)單元22的統(tǒng)計處理進(jìn)行說明。

學(xué)習(xí)單元22進(jìn)行學(xué)習(xí)，以便能夠正確判定對象物的影像t_jg(j＝1～ni，g＝1～nt_j)是否是與模型圖案相對應(yīng)的對象物。換而言之，在輸入了認(rèn)為包含對象物的影像的部分圖像時，進(jìn)行學(xué)習(xí)以便能夠正確地進(jìn)行是否包含對象物的影像的判定。到此為止，通過對象物檢測單元21從輸入圖像中檢測出對象物，得到某種程度的檢測精度，但是作為學(xué)習(xí)單元22的學(xué)習(xí)結(jié)果，進(jìn)一步提高檢測精度。在這里，通過對象物檢測單元21進(jìn)行檢測，并在學(xué)習(xí)數(shù)據(jù)存儲單元32中存儲被認(rèn)為包含適合作為學(xué)習(xí)對象的第一標(biāo)簽為“ok”的對象物的影像的部分圖像。如果學(xué)習(xí)單元22的運算處理能力足夠高，也可以通過不是輸入部分圖像，而是將輸入圖像輸入來檢測對象物的方式進(jìn)行學(xué)習(xí)。學(xué)習(xí)單元22針對在學(xué)習(xí)數(shù)據(jù)存儲單元32中存儲的多個部分圖像進(jìn)行統(tǒng)計處理，改善模型圖案。

本申請人在日本專利申請2015-218357中公開了針對基于模型圖案檢測到的對象物的多個影像進(jìn)行統(tǒng)計處理，改善模型圖案的技術(shù)，例如，學(xué)習(xí)單元22通過使用了在日本專利申請2015-218357中公開的統(tǒng)計處理的技術(shù)來實現(xiàn)。但是，學(xué)習(xí)單元22執(zhí)行的統(tǒng)計處理并不限于此。

以上，對學(xué)習(xí)單元22執(zhí)行統(tǒng)計處理時的第一以及第二實施方式進(jìn)行了說明。以下，對學(xué)習(xí)單元22進(jìn)行機器學(xué)習(xí)(有教師學(xué)習(xí))的情況進(jìn)行說明。

學(xué)習(xí)單元22進(jìn)行機器學(xué)習(xí)，以便改善對象物檢測單元21檢測為對象物的準(zhǔn)確度。此時的正確檢測是指將對象物正確檢測為對象物，不將非對象物檢測為對象物，不存在未將對象物檢測為對象物的檢測遺漏，也不存在將非對象物檢測為對象物的誤檢測。為了進(jìn)行這樣的學(xué)習(xí)，優(yōu)選作為學(xué)習(xí)數(shù)據(jù)，由圖像處理裝置10在輸入圖像中判定為對象物的影像并且由使用者確認(rèn)判定正確的部分圖像(“ok”“ok”)、由圖像處理裝置10在輸入圖像中判定為對象物的影像但是由使用者確認(rèn)為判定錯誤的部分圖像(“ok”“ng”)、由圖像處理裝置10在輸入圖像中判定為不是對象物的影像但是由使用者確認(rèn)為判定錯誤的部分圖像(“ng”“ok”)、由圖像處理裝置10在輸入圖像中判定為不是對象物的影像并且由使用者確認(rèn)判定正確的部分圖像(“ng”“ng”)為相似的比例，從而可高效地進(jìn)行學(xué)習(xí)。因此，在上述的學(xué)習(xí)單元22進(jìn)行統(tǒng)計處理的第一以及第二實施方式中，將具有第一標(biāo)簽從“ng”變更為“ok”的履歷以及從“ok”變更為“ng”的履歷的部分圖像與履歷對應(yīng)起來存儲在學(xué)習(xí)數(shù)據(jù)存儲單元32中。它們成為部分圖像(“ng”“ok”)以及部分圖像(“ok”“ng”)。并且，操作者從判定為對象物的影像并維持了判定的部分圖像(“ok”“ok”)以及在輸入圖像中未判定為對象物的影像并維持了判定的部分圖像(“ng”“ng”)中，選擇適當(dāng)?shù)牟糠謭D像來作為學(xué)習(xí)數(shù)據(jù)，作為部分圖像(“ok”“ok”)以及部分圖像(“ng”“ng”)存儲在學(xué)習(xí)數(shù)據(jù)存儲單元32中。但是，并不限于此，也可以隨機地收集部分圖像作為學(xué)習(xí)數(shù)據(jù)來使用。另外，也可以將“ng”“ng”的部分圖像作為學(xué)習(xí)數(shù)據(jù)來使用。

學(xué)習(xí)單元22具有如下功能：通過解析來從輸入的數(shù)據(jù)集合中抽出其中有用的規(guī)則和知識表現(xiàn)、判斷基準(zhǔn)等，輸出該判斷結(jié)果，并且進(jìn)行知識的學(xué)習(xí)(機器學(xué)習(xí))。機器學(xué)習(xí)的方法有各種各樣，但是大體上例如分為“有教師學(xué)習(xí)”、“無教師學(xué)習(xí)”、“強化學(xué)習(xí)”，在這里使用“有教師學(xué)習(xí)”。并且，具有在實現(xiàn)這些方法的基礎(chǔ)上，學(xué)習(xí)特征量自身的抽出的被稱為“深度學(xué)習(xí)(deeplearning)”的方法。此外，這些機器學(xué)習(xí)(機器學(xué)習(xí)裝置20)也可以使用通用的計算機或處理機，在采用gpgpu(general-purposecomputingongraphicsprocessingunits通用圖形處理器)或大規(guī)模pc集群等時，能夠更高速地進(jìn)行處理。

“有教師學(xué)習(xí)”是指通過大量地向?qū)W習(xí)單元22賦予某個輸入和結(jié)果(標(biāo)簽)的數(shù)據(jù)組合，來學(xué)習(xí)這些數(shù)據(jù)組所具有的特征，并歸納性地獲得根據(jù)輸入推定結(jié)果的模型，即為其關(guān)系性。當(dāng)在實施方式中應(yīng)用該有教師學(xué)習(xí)時，例如能夠使用神經(jīng)網(wǎng)絡(luò)等算法來實現(xiàn)學(xué)習(xí)單元22。

作為有教師學(xué)習(xí)中的價值函數(shù)的近似算法，能夠使用神經(jīng)網(wǎng)絡(luò)。圖22示意地表示神經(jīng)元的模型，圖23示意地表示組合圖22所示的神經(jīng)元而構(gòu)成的三層的神經(jīng)網(wǎng)絡(luò)。即，神經(jīng)網(wǎng)絡(luò)例如由模擬圖22所示的神經(jīng)元模型的運算裝置以及存儲器等構(gòu)成。

如圖22所示，神經(jīng)元輸出與多個輸入x(在圖22中作為一個例子，為輸入x1～輸入x3)相對的輸出(結(jié)果)y。對各輸入x(x1、x2、x3)乘以與該輸入x相對應(yīng)的權(quán)重w(w1、w2、w3)。由此，神經(jīng)元輸出通過下式表現(xiàn)的輸出y。此外，輸入x、輸出y以及權(quán)重w全是矢量。另外，在下式中，θ為偏置，fk為激活函數(shù)。

參照圖23來說明組合圖22所示的神經(jīng)元而構(gòu)成的三層神經(jīng)網(wǎng)絡(luò)。如圖23所示的那樣，從神經(jīng)網(wǎng)絡(luò)的左側(cè)輸入多個輸入x(在此作為一個例子，為輸入x1～輸入x3)，從右側(cè)輸出結(jié)果y(在此作為一個例子，為結(jié)果y1～結(jié)果y3)。具體來說，將輸入x1、x2、x3乘以對應(yīng)的權(quán)重來對三個神經(jīng)元n11～n13中的各個神經(jīng)元進(jìn)行輸入。將與這些輸入相乘的權(quán)重統(tǒng)一記載為w1。

神經(jīng)元n11～n13分別輸出z11～z13。在圖23中，將這些z11～z13統(tǒng)一記載為特征矢量z1，能夠視為抽出了輸入矢量的特征量而得到的矢量。該特征矢量z1是權(quán)重w1和權(quán)重w2之間的特征矢量。將z11～z13乘以對應(yīng)的權(quán)重來對兩個神經(jīng)元n21、n22中的各個神經(jīng)元進(jìn)行輸入。將與這些特征矢量相乘的權(quán)重統(tǒng)一記載為w2。

神經(jīng)元n21、n22分別輸出z21、z22。在圖23中，將這些z21、z22統(tǒng)一記載為特征矢量z2。該特征矢量z2是權(quán)重w2和權(quán)重w3之間的特征矢量。將z21、z22乘以對應(yīng)的權(quán)重來對三個神經(jīng)元n31～n33中的各個神經(jīng)元進(jìn)行輸入。將與這些特征矢量相乘的權(quán)重統(tǒng)一記載為w3。

最后，神經(jīng)元n31～n33分別輸出結(jié)果y1～結(jié)果y3。在神經(jīng)網(wǎng)絡(luò)的動作中，具有學(xué)習(xí)模式和價值預(yù)測模式。例如，在學(xué)習(xí)模式中使用學(xué)習(xí)數(shù)據(jù)組來學(xué)習(xí)權(quán)重w，使用該參數(shù)在預(yù)測模式中進(jìn)行機器人的行為判斷。此外，雖然為了方便而寫為預(yù)測，但是自不用說還能夠進(jìn)行檢測、分類、推論等多種任務(wù)。

在這里，可以即時學(xué)習(xí)在預(yù)測模式下使機器人實際動作而得到的數(shù)據(jù)，并將其反映在下次的行為中(在線學(xué)習(xí))，也可以使用預(yù)先收集到的數(shù)據(jù)進(jìn)行匯總的學(xué)習(xí)，以后一直通過該參數(shù)進(jìn)行檢測模式(批量學(xué)習(xí))?；蛘?，在這中間，在每次積累了一定程度的數(shù)據(jù)時插入學(xué)習(xí)模式。

另外，權(quán)重w1～w3能夠通過誤差逆?zhèn)鞑シ?反向傳播)來進(jìn)行學(xué)習(xí)。此外，誤差的信息從右側(cè)進(jìn)入向左側(cè)流動。誤差逆?zhèn)鞑シㄊ菍τ诟魃窠?jīng)元調(diào)整(學(xué)習(xí))各自的權(quán)重，以使得輸入了輸入x時的輸出y和真實的輸出y(教師)之間的差分變小的方法。

這樣的神經(jīng)網(wǎng)絡(luò)可以在三層以上進(jìn)一步增加層(稱為深度學(xué)習(xí))。另外，也能夠只從教師數(shù)據(jù)自動地獲得階段性地進(jìn)行輸入的特征抽出，并遞歸導(dǎo)出結(jié)果的運算裝置。

圖24表示第一以及第二實施方式的學(xué)習(xí)單元22的概要結(jié)構(gòu)。

學(xué)習(xí)單元22具有狀態(tài)量觀測部61、神經(jīng)網(wǎng)絡(luò)62、神經(jīng)網(wǎng)絡(luò)(nn)更新控制部63。如上所述，學(xué)習(xí)單元22例如通過gpgpu(general-purposecomputingongraphicsprocessingunits通用圖形計算處理單元)來實現(xiàn)。

狀態(tài)量觀測部61從學(xué)習(xí)數(shù)據(jù)存儲單元32接收由部分圖像及其包含的對象物的影像的第一標(biāo)簽組成的數(shù)據(jù)集。學(xué)習(xí)數(shù)據(jù)存儲單元32存儲非常多的數(shù)據(jù)集，并依次發(fā)送到狀態(tài)量觀測部61。

神經(jīng)網(wǎng)絡(luò)62是進(jìn)行深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，針對來自狀態(tài)量觀測部61的部分圖像計算判定結(jié)果(“ok”“ng”)。在神經(jīng)網(wǎng)絡(luò)62中能夠針對各神經(jīng)元通過nn更新控制部63調(diào)整(學(xué)習(xí))權(quán)重。

nn更新控制部63進(jìn)行以下的更新控制：將神經(jīng)網(wǎng)絡(luò)62根據(jù)來自狀態(tài)量觀測部61的部分圖像計算出的判定結(jié)果(“ok”“ng”)與該部分圖像的第一標(biāo)簽(教師數(shù)據(jù))進(jìn)行比較，針對神經(jīng)網(wǎng)絡(luò)62的各神經(jīng)元變更權(quán)重，以使得比較結(jié)果一致的概率增高。

此外，通過學(xué)習(xí)單元22進(jìn)行處理的內(nèi)容不限于上述內(nèi)容。一般在有教師的機器學(xué)習(xí)中，學(xué)習(xí)對輸入以及與其對應(yīng)的輸出(標(biāo)簽)進(jìn)行映射的函數(shù)。在第一以及第二實施方式中，公開了將輸入圖像、檢測到的對象物的影像作為輸入，從而快速修正成為其輸出的標(biāo)簽的方法。根據(jù)該輸入與輸出學(xué)習(xí)映射函數(shù)的方法可以為任意方法。

以上，對實施方式進(jìn)行了說明，實施方式的檢測結(jié)果一覽畫面具有以下的特征。

*由第一(上)框體和第二(下)框體這兩個框體構(gòu)成。

*在第二框體中顯示了將各個檢測到的對象物的影像切出的部分圖像。

*在第一框體中顯示全體圖像中的對象物的影像。但是，并不限定框體的排列方法，可以是上下、左右、或之外的排列。

*能夠?qū)⒏鱾€框體的顯示倍率獨立地進(jìn)行變更。

*當(dāng)在第二框體中選擇了對象物的影像時，在上方的框體中高亮顯示對應(yīng)的對象物的影像。

*并且，在第一框體中只顯示了圖像的一部分時，滾動整體的圖像，以便顯示選擇的對象物的影像。

*當(dāng)在第一框體中選擇了對象物的影像時，在第二框體中選擇對應(yīng)的對象物的影像。

*能夠在第二框體中修正檢測結(jié)果和好壞判定結(jié)果的標(biāo)簽(ok/ng等)。

在上述的顯示畫面中具有以下的優(yōu)點。

*在第二框體中，能夠不受相同圖像中的其他對象物的影像打擾地，集中針對對象的對象物的影像進(jìn)行確認(rèn)。

*在變更檢測到的對象物的標(biāo)簽時，容易理解按鈕、文本框等是屬于哪個對象物的影像。

*能夠簡單地確認(rèn)檢測到的對象物的各個影像是在圖像中的哪個位置。

*在第一框體中在全體的圖像中放大顯示對象物的影像，并在第二框體中縮小顯示各個對象物的影像，由此能夠在第一框體中細(xì)致地確認(rèn)對象物的影像，并在第二影像中大致確認(rèn)各個對象物全體

*與之相反，在第二框體中放大顯示各個對象物的影像，并在第一框體中縮小顯示全體的圖像，由此能夠在第二框體中細(xì)致地確認(rèn)對象物的影像，并在第一框體中顯示在整個圖像中該對象物位于哪個位置。

并且，具有操作者希望確認(rèn)多個圖像的檢測結(jié)果或判定結(jié)果的情況。例如，為如下的情況。

*希望確認(rèn)在生產(chǎn)中拍攝到的圖像中是否具有不正確的檢測。

*在變更了檢測參數(shù)后，針對多個圖像進(jìn)行檢測，希望確認(rèn)是否針對全部的圖像進(jìn)行了正確的檢測。

*為了機器學(xué)習(xí)用于在好壞判定中進(jìn)行辨別的參數(shù)，在將既有的好壞判定結(jié)果作為學(xué)習(xí)數(shù)據(jù)使用時，確認(rèn)既有的好壞判定結(jié)果是否正確，如果錯誤則修正判定結(jié)果(標(biāo)簽)。

在如此確認(rèn)多個圖像的檢測結(jié)果時，以下的方法是有效的：將多個圖像縮小顯示后的圖像來在輸入圖像一覽畫面中顯示，在該圖像上繪制檢測結(jié)果，在更細(xì)致地確認(rèn)時，選擇圖像將其移動到確認(rèn)上面說明的各個圖像的檢測結(jié)果的輸入圖像一覽畫面中。

并且，權(quán)利要求所記載的結(jié)構(gòu)和其效果如下所述。

一種圖像處理裝置，其具有：對象物檢測單元，其基于對象物的模型圖案，從拍攝了對象物的輸入圖像檢測對象物的一個乃至多個影像；檢測結(jié)果顯示單元，其針對檢測出的各個影像，以圖形方式重疊顯示檢測結(jié)果，檢測結(jié)果顯示單元具備：第一框體，其顯示整個輸入圖像；第二框體，其一覽顯示包含從該輸入圖像檢測出的一個乃至多個影像中的各個影像的部分圖像，在第一框體中顯示的輸入圖像中，針對檢測出的全部的影像重疊顯示檢測結(jié)果，在第二框體中顯示的部分圖像中，重疊顯示與各個部分圖像對應(yīng)的影像的檢測結(jié)果。

通過該結(jié)構(gòu)，能夠在第一框體中在全體圖像中確認(rèn)以下的點。

*在哪里如何拍攝出對象物的影像。

*拍攝出幾個對象物的影像。

*是否沒有從相同位置檢測出多個對象物的影像。

在第二框體中能夠不受相同圖像中的其他對象物的影像的干擾，集中針對確認(rèn)對象的對象物的影像來進(jìn)行確認(rèn)。

通過在相同窗口內(nèi)同時顯示第一框體和第二框體，能夠在同時發(fā)揮上述優(yōu)點的同時確認(rèn)對象物的影像。由此，能夠快速確認(rèn)圖像內(nèi)拍攝到的多個對象物的影像。

如國際公開第2001/041068號那樣，還考慮了在第一框體中顯示全體圖像，在第二框體中通過表的形式顯示檢測結(jié)果的方法。但是，在該方法中難以了解表示檢測結(jié)果的表的行與圖像上的對象物的影像的關(guān)聯(lián)。另外，與通過表形式使用文字來確認(rèn)檢測結(jié)果相比，觀察部分圖像的方法能夠直觀地確認(rèn)對象物的影像。

檢測結(jié)果顯示單元在第二框體中顯示的部分圖像上，進(jìn)一步重疊顯示與各個部分圖像所對應(yīng)的影像關(guān)聯(lián)起來存儲的第一標(biāo)簽信息，并且能夠基于操作者的操作來變更第一標(biāo)簽信息。

通過在第二框體的部分圖像上設(shè)置用于操作標(biāo)簽的單元，容易了解對象物的影像與標(biāo)簽的操作單元之間的對應(yīng)關(guān)系。另外，無需選擇對象物這樣的操作，就可以修正標(biāo)簽。例如，在國際公開第2001/041068號中，必須在選擇對象物后修正標(biāo)簽。另外，還考慮了通過表形式顯示檢測結(jié)果，當(dāng)選擇了表的行時，在全體圖像上高亮顯示與該檢測結(jié)果相對應(yīng)的對象物的影像，在表的行中設(shè)置用于修正標(biāo)簽的單元這樣的方式。但是，在該方法中，為了確認(rèn)圖像需要選擇表的行。除此之外，雖然還考慮了在第一框體的全體圖像上設(shè)置操作標(biāo)簽的單元，但是在該方法中對象物的影像重疊、或相鄰接時，難以了解操作單元與對象物的影像的對應(yīng)關(guān)系。

檢測結(jié)果顯示單元在第一框體和第二框體中通過各個設(shè)定倍率來顯示圖像。

首先，能夠構(gòu)成為在第一框體中在全體的圖像中放大顯示對象物的影像，并在第二框體中縮小顯示各個對象物的影像。此時，在第一框體中通過增大顯示對象物的影像能夠細(xì)致地確認(rèn)。另外，在第二框體中能夠大致確認(rèn)各個對象物的整個影像。其次，還能夠構(gòu)成為在第二框體中放大顯示各個對象物的影像，并在第一框體中縮小顯示全體的圖像。此時，在第二框體中通過增大顯示對象物的影像能夠細(xì)致地確認(rèn)。另外，在第一框體中能夠確認(rèn)在整個圖像中該對象物位于哪里。通過這樣針對相同對象物以不同的倍率同時確認(rèn)對象物的影像，能夠快速進(jìn)行確認(rèn)。

檢測結(jié)果顯示單元具備從第二框體中顯示的多個部分圖像中選擇一個部分圖像的部分圖像選擇單元，在第一框體中顯示的輸入圖像中，高亮顯示針對對象物的影像的檢測結(jié)果，該對象物的影像相當(dāng)于通過部分圖像選擇單元選擇出的部分圖像。

通過該結(jié)構(gòu)，能夠容易確認(rèn)在第一框體的全體圖像中顯示的對象物的影像與在第二框體中作為部分圖像顯示的對象物的影像的對應(yīng)關(guān)系。

檢測結(jié)果顯示單元在第一框體中顯示的所述輸入圖像上，重疊顯示與從輸入圖像檢測出的一個乃至多個影像中的各個影像對應(yīng)的第一標(biāo)簽信息。

通過該結(jié)構(gòu)，在第一框體的全體圖像中，也能夠確認(rèn)標(biāo)簽的信息。對于僅通過部分圖像難以確認(rèn)對象物的影像的情況有幫助。例如，在對象物的影像看到某個物品的一部分時，具有難以確認(rèn)對象物的影像在整個物品中的位置關(guān)系的情況。在這種情況下，通過在第一框體的全體圖像中也顯示標(biāo)簽信息，確認(rèn)變得容易。

圖像處理裝置具備：檢測結(jié)果存儲單元，其將多個輸入圖像與從該多個輸入圖像中的各個輸入圖像檢測出的對象物的一個乃至多個影像的檢測結(jié)果關(guān)聯(lián)起來進(jìn)行存儲；輸入圖像選擇單元，其用于從多個輸入圖像中選擇一個輸入圖像，檢測結(jié)果顯示單元顯示通過輸入圖像選擇單元選擇出的一個輸入圖像、與該一個輸入圖像相關(guān)聯(lián)地存儲在檢測結(jié)果存儲單元中的檢測結(jié)果。

通過該結(jié)構(gòu)，能夠不往復(fù)輸入圖像顯示單元和檢測結(jié)果顯示單元，而在檢測結(jié)果顯示單元上進(jìn)行多個圖像的確認(rèn)。例如，通過在檢測結(jié)果顯示單元上準(zhǔn)備向后圖像按鈕來作為輸入圖像選擇單元，能夠在檢測結(jié)果顯示單元中依次改變圖像。

圖像處理裝置具備輸入圖像顯示單元，其在重疊了從各個輸入圖像檢測出的對象物的一個乃至多個影像以及檢測結(jié)果后，一覽顯示在檢測結(jié)果存儲單元中存儲的多個輸入圖像，檢測結(jié)果顯示單元顯示通過輸入圖像選擇單元選擇出的一個輸入圖像，能夠基于操作者的操作來切換輸入圖像顯示單元和檢測結(jié)果顯示單元。

通過輸入圖像顯示單元，一覽顯示多個圖像的檢測結(jié)果，由此猜測可能有問題的圖像，在希望更細(xì)致地確認(rèn)時，能夠通過檢測結(jié)果顯示單元只確認(rèn)該圖像的檢測結(jié)果。由此，能夠從多個圖像中直觀地移動到確認(rèn)特定圖像的檢測結(jié)果的畫面中。

檢測結(jié)果存儲單元將第二標(biāo)簽信息與多個輸入圖像中的各個輸入圖像相關(guān)聯(lián)地存儲，輸入圖像顯示單元進(jìn)一步重疊顯示與多個輸入圖像中的各個輸入圖像相關(guān)聯(lián)地存儲的第二標(biāo)簽信息，并且使操作者能夠變更第二標(biāo)簽信息，通過變更一個輸入圖像的第二標(biāo)簽信息，一并變更與該一個輸入圖像相關(guān)聯(lián)地存儲的多個對象物的各個影像所對應(yīng)的第一標(biāo)簽信息。

通過該結(jié)構(gòu)，在輸入圖像顯示單元中僅通過確認(rèn)各圖像便能夠確認(rèn)檢測結(jié)果的情況下，能夠不移動到檢測結(jié)果顯示畫面而修正檢測結(jié)果的標(biāo)簽。例如，如果在輸入圖像顯示單元中將對象物的影像足夠大地顯示，則不需要在檢測結(jié)果顯示畫面中進(jìn)行確認(rèn)。但是，當(dāng)在圖像內(nèi)顯示了多個檢測結(jié)果的情況下，僅在使全部的檢測結(jié)果為相同的標(biāo)簽時能夠使用該方法。另外，在圖像內(nèi)只顯示一個檢測結(jié)果的情況下，能夠只通過輸入圖像顯示單元進(jìn)行確認(rèn)的可能性高。在這種情況下，因為標(biāo)簽也只為一個，所以也不需要為了修正各個標(biāo)簽而移動到輸入圖像顯示單元。通過這樣的功能，即使圖像內(nèi)的檢測結(jié)果為多個和單個中的任意一個，也能夠使用相同的方法來應(yīng)對。

圖像處理裝置具備：學(xué)習(xí)數(shù)據(jù)存儲單元，其對檢測出的各個影像附加第一標(biāo)簽信息，并相互關(guān)聯(lián)地作為學(xué)習(xí)數(shù)據(jù)進(jìn)行存儲；學(xué)習(xí)單元，其基于學(xué)習(xí)數(shù)據(jù)進(jìn)行機器學(xué)習(xí)或統(tǒng)計處理。

通過該結(jié)構(gòu)，針對對象物的影像進(jìn)行檢測或好壞判定，附加第一標(biāo)簽信息的精度提高。

通過本發(fā)明的圖像處理裝置的顯示，起到以下的效果：針對從輸入圖像檢測出的對象物能夠容易地進(jìn)行檢測結(jié)果和好壞判定結(jié)果的確認(rèn)。