專利名稱：圖象中圖形提取、識(shí)別和異常判定方法及程序的存儲(chǔ)介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及用于提取和識(shí)別圖象中的圖形的方法，尤其涉及用于通過圖象提取特定的圖形，并同時(shí)識(shí)別圖形及其當(dāng)前位置，由此能夠在例如牌照上進(jìn)行字符的自動(dòng)識(shí)別的方法，此外還涉及用于判定圖象中異常的方法。
本申請(qǐng)基于在日本提交的專利申請(qǐng)No.平9-212104和平10-71094，其內(nèi)容并入本文作為參考。
例如，在信息處理協(xié)會(huì)的學(xué)報(bào)，CV研討會(huì)(參考文獻(xiàn)A)上發(fā)表的“從陰影圖象中提取字母”中報(bào)告了使用信息處理裝置從圖象視圖(下文簡(jiǎn)稱為圖象)提取諸如由字符構(gòu)成的特定圖形之類的圖象的確定特征的方法。
此外，由圖象的預(yù)先二進(jìn)制轉(zhuǎn)換處理，以及隨后的圖形匹配已經(jīng)實(shí)現(xiàn)了常規(guī)的圖形識(shí)別方法，特別是牌照的識(shí)別。如果圖象是清楚的并且具有足夠的分辨率，該方法會(huì)成功，這樣字符就能夠被獨(dú)立地二進(jìn)制化以便能分析該結(jié)果。然而，當(dāng)圖象不具有足夠的分辨率或者目標(biāo)不清楚或者圖象被部分觸摸，遮蓋或沾污時(shí)，識(shí)別有時(shí)是困難的或不可能的。
未使用二進(jìn)制的圖形匹配的其他方法基于相關(guān)系數(shù)。該方法能夠處理部分圖象觸摸和遮蓋的問題，但是它不能處理由照亮引起的識(shí)別問題。
關(guān)于安全檢測(cè)技術(shù)，監(jiān)控?cái)z象機(jī)常?；趶纳鲜龅膱D形提取和識(shí)別技術(shù)得到的圖象異常檢測(cè)，因此，圖象中的任何變化都能構(gòu)成異常的判斷標(biāo)準(zhǔn)。圖象包含變化的判定一般通過計(jì)算當(dāng)前圖象和通常由攝象機(jī)觀察到的基準(zhǔn)圖象之間的差異來實(shí)現(xiàn)。
然而，如參考文獻(xiàn)A所指出的，盡管不受陰影不利影響的方法眾所周知，但是現(xiàn)存的方法存在一個(gè)共同的問題，即，在很多情況下不能完成準(zhǔn)確的圖形提取，包括圖象中存在噪聲和陰影時(shí)或者提取的圖形被局部遮蓋時(shí)或者目標(biāo)不是一個(gè)字符時(shí)的情況。
對(duì)于當(dāng)前可行的圖象異常檢測(cè)技術(shù)，當(dāng)在圖象上存在阻礙因素，例如，一個(gè)建筑物的陰影時(shí)，這些方法將該陰影識(shí)別為圖象異常，由此產(chǎn)生過度錯(cuò)誤警告。
此外，異常的程度是指示安全的一個(gè)重要的判斷標(biāo)準(zhǔn)。然而，如果存在真正的圖象異常，但是它受建筑物陰影和其他的偽效果影響，圖象的表面異常區(qū)域和實(shí)際異常區(qū)域不匹配，不能產(chǎn)生準(zhǔn)確的實(shí)際圖象異常區(qū)，這樣該處理不能得出正確的結(jié)論。
本發(fā)明的一個(gè)目的是提供一種即使在輸入圖象中存在噪聲或陰影時(shí)或者圖象中的目標(biāo)圖形被部分遮蓋時(shí)也能可靠地提取目標(biāo)圖形的方法?；诒痉椒ǖ膱D象識(shí)別技術(shù)能夠減少對(duì)諸如亮度要求之類的圖象記錄條件的限制，以及減少部分遮蓋圖象所帶來的障礙效應(yīng)。
另一個(gè)目的是提供一種存儲(chǔ)與信息處理裝置一起使用的圖形提取程序的記錄介質(zhì)。
再一個(gè)目的是提供一種能夠從圖象中的真正變化區(qū)分由諸如建筑物的陰影之類的干擾效應(yīng)引起的圖象中的偽變化的異常檢測(cè)方法。
按照計(jì)算裝置中的程序從圖象提取預(yù)選圖形的本方法包括步驟存儲(chǔ)用于提取的基準(zhǔn)圖形；存儲(chǔ)輸入圖象；將篩選方法用于基準(zhǔn)圖形和輸入圖象；積分基準(zhǔn)圖形的篩選結(jié)果和輸入圖形的篩選結(jié)果以產(chǎn)生積分結(jié)果；和根據(jù)積分結(jié)果提取基準(zhǔn)圖形并在輸入圖象中確定基準(zhǔn)圖形的位置。
篩選方法為對(duì)圖象進(jìn)行初步處理并使用卷積或第一微分處理中的任何一種的步驟。
積分步驟包括基準(zhǔn)圖形的篩選輸出和輸入圖象的篩選輸出的內(nèi)積分或外積分或差分的卷積。
篩選方法也包括加權(quán)每個(gè)坐標(biāo)點(diǎn)的步驟。
更確切地說，本方法選擇適當(dāng)?shù)念A(yù)選數(shù)學(xué)篩選器來識(shí)別目標(biāo)圖形和基準(zhǔn)圖形的局部特征并以宏觀方式對(duì)篩選結(jié)果積分，該處理與投票過程相似。
局部特征是使用基準(zhǔn)圖形的給定局部區(qū)域內(nèi)的微觀數(shù)據(jù)計(jì)算的圖象特征。
宏觀特征是使用基準(zhǔn)圖形的全部定義區(qū)域內(nèi)的局部特征計(jì)算的圖象特征。
用于在存儲(chǔ)的輸入圖象內(nèi)識(shí)別與多個(gè)預(yù)存儲(chǔ)的基準(zhǔn)圖形類似的目標(biāo)圖形及其相關(guān)的圖形位置的本方法包括步驟截取目標(biāo)區(qū)域用于確定中間目標(biāo)區(qū)域；在初始處理中計(jì)算目標(biāo)圖形和基準(zhǔn)圖形之間的局部相似性以獲得中間數(shù)據(jù)；通過比較目標(biāo)圖形和基準(zhǔn)圖形的定向微分?jǐn)?shù)據(jù)計(jì)算相似度；根據(jù)相似度的結(jié)果提取局部圖形以便能夠選擇類似的基準(zhǔn)圖形；通過由基準(zhǔn)圖形位置確認(rèn)提取圖形位置恢復(fù)提取區(qū)域以便與原始輸入圖象匹配；決定每個(gè)提取區(qū)域的匹配基準(zhǔn)圖形；和根據(jù)比較結(jié)果輸出識(shí)別結(jié)果和相關(guān)的基準(zhǔn)圖形位置。
存儲(chǔ)的輸入圖象內(nèi)的目標(biāo)圖形包括牌照上的數(shù)字，以及在日語(yǔ)情況下，基準(zhǔn)圖形為包括數(shù)字，點(diǎn)，漢字，片假名和字母的字符。
本發(fā)明包括用于執(zhí)行識(shí)別存儲(chǔ)的輸入圖象內(nèi)的目標(biāo)圖形的程序的計(jì)算機(jī)可讀記錄介質(zhì)，執(zhí)行過程包括步驟截取目標(biāo)區(qū)域用于確定中間目標(biāo)區(qū)域；在初始處理中計(jì)算目標(biāo)圖形和基準(zhǔn)圖形之間的局部相似性以獲得中間數(shù)據(jù)；通過比較目標(biāo)圖形和基準(zhǔn)圖形的定向微分?jǐn)?shù)據(jù)計(jì)算相似度；根據(jù)相似度的結(jié)果提取局部圖形以便能夠選擇類似的基準(zhǔn)圖形；通過由基準(zhǔn)圖形位置確認(rèn)提取圖形位置恢復(fù)提取區(qū)域以便與原始輸入圖象匹配；決定每個(gè)提取區(qū)域的匹配基準(zhǔn)圖形；和根據(jù)比較結(jié)果輸出識(shí)別結(jié)果和相關(guān)的基準(zhǔn)圖形位置。
因此，提取和確定輸入圖象內(nèi)的一圖形的本方法首先基于執(zhí)行局部計(jì)算處理以獲得中間數(shù)據(jù)；使用中間數(shù)據(jù)的方向?qū)?shù)計(jì)算相似度，和通過考慮加權(quán)處理數(shù)據(jù)將提取圖形與基準(zhǔn)圖形疊加。因此，甚至當(dāng)輸入圖象局部改變亮度，或者部分遮蓋，或被沾污時(shí)，本方法能夠高效和可靠地確定與基準(zhǔn)圖形類似的目標(biāo)圖形。因?yàn)樵摲椒ú灰揽慷M(jìn)制圖象，而是以多值灰度圖象為基礎(chǔ)，因此，可獲得更加準(zhǔn)確的數(shù)據(jù)，甚至當(dāng)圖象分辨率較低時(shí)，也能夠準(zhǔn)確識(shí)別目標(biāo)圖形。尤其是，當(dāng)目標(biāo)物在室外時(shí)，與常規(guī)的圖象識(shí)別技術(shù)相比，可獲得相當(dāng)高的識(shí)別程度。
本發(fā)明還包括通過將比較圖象與基準(zhǔn)圖象進(jìn)行比較來檢測(cè)圖象異常從而檢測(cè)一變化的方法，包括步驟存儲(chǔ)為比較圖象參照的多個(gè)基準(zhǔn)圖象；存儲(chǔ)與多個(gè)基準(zhǔn)圖象進(jìn)行比較的多個(gè)比較圖象；規(guī)定用于檢測(cè)異常的比較圖象和基準(zhǔn)圖象內(nèi)的掃描區(qū)；將篩選方法用于基準(zhǔn)圖象和比較圖象以獲得中間數(shù)據(jù)，包括進(jìn)行局部計(jì)算的步驟和使用從由卷積和第一微分處理組成的組合中選擇至少一種處理步驟的步驟；和使用從由內(nèi)積分，外積分，和相關(guān)性組成的組中選擇的相似性確定裝置計(jì)算比較圖象篩選結(jié)果和基準(zhǔn)圖象篩選結(jié)果的相似度；以及當(dāng)相似度不大于一規(guī)定值時(shí)識(shí)別為異常，并發(fā)出異常報(bào)警作為識(shí)別處理的結(jié)果。
由記錄介質(zhì)和計(jì)算機(jī)完成的異常檢測(cè)方法執(zhí)行步驟存儲(chǔ)為比較圖象參照的多個(gè)基準(zhǔn)圖象；存儲(chǔ)與多個(gè)基準(zhǔn)圖象進(jìn)行比較的多個(gè)比較圖象；確定用于檢測(cè)異常的比較圖象和基準(zhǔn)圖象內(nèi)的掃描區(qū)；將篩選方法用于基準(zhǔn)圖象和比較圖象以獲得中間數(shù)據(jù)，包括進(jìn)行局部計(jì)算的步驟和使用從由卷積和第一微分處理組成的組中選擇至少一種處理步驟的步驟；和使用從由內(nèi)積分，外積分，和相關(guān)性組成的組合中選擇的相似性確定裝置計(jì)算比較圖象篩選結(jié)果和基準(zhǔn)圖象篩選結(jié)果的相似度；以及當(dāng)相似度不大于一規(guī)定值時(shí)識(shí)別為異常，并發(fā)出異常報(bào)警作為識(shí)別處理的結(jié)果。
本發(fā)明的特征總結(jié)如下(1)甚至當(dāng)噪聲和陰影出現(xiàn)在圖象上或當(dāng)諸如字符之類的目標(biāo)圖形被部分隱藏時(shí)，本方法也能夠可靠地提取一目標(biāo)圖形。
(2)本方法可以有效地處理諸如亮度的局部變化，噪聲，污跡，遮蓋或觸摸物之類的阻礙因素。該方法尤其適用于室外圖象。
(3)本方法可以在較低的分辨率下使用，由此增加了識(shí)別的適用范圍。
(4)異常檢測(cè)的方法對(duì)諸如亮度變化和陰影之類的阻礙因素不敏感，僅當(dāng)變化由圖象中的真正的變化，而不是如陳述之類的偽變化引起時(shí)，根據(jù)計(jì)算低相似性的的方法能夠準(zhǔn)確地判定圖象中的異常區(qū)域。


圖1是從圖象進(jìn)行圖形提取的信息處理裝置的一實(shí)施例的示意方框圖。
圖2是圖形提取方法的處理步驟的流程圖。
圖3是說明基于圖形提取方法的篩選處理的圖形。
圖4是說明基于圖形提取方法的篩選處理的圖形。
圖5是表示牌照上的字符的圖。
圖6是[9]的基準(zhǔn)圖形的圖。
圖7是[5]的基準(zhǔn)圖形的圖。
圖8是根據(jù)圖形提取方法的積分結(jié)果的峰值點(diǎn)的圖形。
圖9是根據(jù)圖形提取方法的積分結(jié)果的峰值點(diǎn)的另一個(gè)圖形。
圖10是[5]的基準(zhǔn)圖形的圖。
圖11是目標(biāo)圖形[5]的上半部分上的陰影的示意圖。
圖12是基準(zhǔn)圖形和目標(biāo)圖象的像素值的相關(guān)性曲線圖。
圖13是基準(zhǔn)圖形像素值的對(duì)數(shù)變換和目標(biāo)圖象的相關(guān)性曲線圖。
圖14是基準(zhǔn)圖形像素值的微分處理和目標(biāo)圖象的相關(guān)性曲線圖。
圖15是基準(zhǔn)圖形對(duì)數(shù)變換的像素值的微分處理和目標(biāo)圖象的相關(guān)性曲線圖。
圖16是牌照的前視圖。
圖17是被遮蓋了上半部分的牌照的前視圖。
圖18是圖形識(shí)別處理的流程圖。
圖19是圖18內(nèi)的輸出處理部分510的示意圖。
圖20是圖18內(nèi)的輸出處理部分510的另一個(gè)示意圖。
圖21是圖18內(nèi)的輸出處理部分510的另一個(gè)示意圖。
圖22是圖18內(nèi)的輸出處理部分510的另一個(gè)示意圖。
圖23是在圖象異常檢測(cè)方法的實(shí)施例中使用的基準(zhǔn)圖象A1。
圖24是在圖象異常檢測(cè)方法的實(shí)施例中使用的比較圖象B1。
下面，將參考附圖介紹用于從圖象提取圖形的方法的一實(shí)施例。在描述中，對(duì)于所有實(shí)施例中的共同部分將給出相同的標(biāo)記數(shù)字，并且不重復(fù)對(duì)它們的解釋。
圖1是執(zhí)行本發(fā)明的圖形提取方法的一實(shí)施例的信息處理裝置的方框圖。
圖1所示的信息處理裝置(計(jì)算機(jī))包括經(jīng)總線線路16連接到主存儲(chǔ)器11的中央處理單元(CPU)10，顯示裝置12，諸如鍵盤之類的輸入裝置13，圖象輸入裝置14和存儲(chǔ)器裝置15。圖象輸入裝置14是可以為電荷耦合器件(CCD)攝象機(jī)的圖象記錄裝置?；鶞?zhǔn)圖形存儲(chǔ)部分24和輸入圖象部分25設(shè)置在存儲(chǔ)器裝置15內(nèi)。
CPU10根據(jù)主存儲(chǔ)器11內(nèi)存儲(chǔ)的提取程序執(zhí)行圖形提取方法，圖1示出篩選部分21，積分部分22，提取/定位部分23。篩選部分21，積分部分22和提取/定位部分23是CPU10的功能部分，用于執(zhí)行存儲(chǔ)在主存儲(chǔ)器11中的圖象處理程序的步驟的。
圖2是圖形提取處理步驟的流程圖，下面將描述處理的細(xì)節(jié)。
首先，使用圖象輸入裝置14將基準(zhǔn)圖形在存儲(chǔ)器裝置15內(nèi)的基準(zhǔn)圖形存儲(chǔ)部分24進(jìn)行累加(步驟101)?；鶞?zhǔn)圖形存儲(chǔ)部分24存儲(chǔ)將其與從圖象提取的圖形(下文稱為目標(biāo)圖形)進(jìn)行比較的基準(zhǔn)圖形。
類似地，使用圖象輸入裝置14將從圖象記錄裝置輸入的圖象在存儲(chǔ)器裝置15內(nèi)的輸入圖象存儲(chǔ)部分25進(jìn)行累加(步驟102)。
下面，使用篩選部分21，將預(yù)先確定的篩選處理用于存儲(chǔ)在基準(zhǔn)圖形存儲(chǔ)部分24的圖形和存儲(chǔ)在輸入圖象存儲(chǔ)部分25的圖象(步驟103)。
下面，在積分部分22積分來自步驟103的基準(zhǔn)圖形和輸入圖象的篩選結(jié)果(步驟104)。
接著，提取/定位部分23根據(jù)步驟104產(chǎn)生的積分結(jié)果執(zhí)行實(shí)際的提取圖形步驟，在基準(zhǔn)圖象內(nèi)規(guī)定其位置之后，輸出圖形數(shù)據(jù)(步驟105)。
根據(jù)某些預(yù)先選擇的處理執(zhí)行篩選部分21內(nèi)的篩選處理?？梢栽O(shè)想這樣的篩選處理可包括像第一導(dǎo)數(shù)，第二導(dǎo)數(shù)或其它的多種圖象篩選處理。此外，篩選處理不限于單一的處理，允許組合幾種篩選處理。
在這種情況下，下面將解釋基于第一導(dǎo)數(shù)的篩選處理的實(shí)例。第一，導(dǎo)數(shù)處理數(shù)學(xué)表示為梯度函數(shù)。
=(/x,/y)(1)將等式(1)表示為可使用二維高斯函數(shù)的梯度(第一微分)作為一個(gè)篩選器的卷積。結(jié)果為矢量，因此，有可能將其作為兩種篩選處理。二維高斯函數(shù)的定義為G(x,y)=cexp(-(x2+y2)/(2σx2σy2))(2)這里c=(2π)-1σxσy，以及σx，σy分別為X和Y方向的標(biāo)準(zhǔn)偏差。
當(dāng)將圖象看作是二維平面上的函數(shù)時(shí)，導(dǎo)數(shù)為平面上的矢量，每個(gè)矢量的方向指示像素值增加最快的方向并且矢量的幅度指示該函數(shù)變化的大小。
因此，如果圖象為字符[9]或[5]，第一微分處理產(chǎn)生圖3和4所示的矢量區(qū)(箭頭)，這里箭頭指向矢量方向，箭頭的大小表示矢量的幅度(未示出長(zhǎng)度“0”)。
例如，在圖3所示的字符[9]和圖4所示的字符[5]，第一導(dǎo)數(shù)矢量在下半部分非常相似，但它們?cè)谏习氩糠植煌?。因此，?dāng)[9]的矢量圖形與[5]的基準(zhǔn)圖形相比時(shí)，它們有某些相似但該值不如與[9]的基準(zhǔn)圖形相比情況下的高。這里應(yīng)該注意到相似圖形產(chǎn)生一高值，因此，兩個(gè)完全不同的字符產(chǎn)生一低值。
對(duì)于全部的基準(zhǔn)圖形Qj(j=1,2,3…n，這里n是基準(zhǔn)圖形的總數(shù)，j涉及一個(gè)基準(zhǔn)圖形)，積分部分22內(nèi)的積分處理將輸入圖象f的篩選結(jié)果與基準(zhǔn)圖形Qj的篩選結(jié)果進(jìn)行比較并積分這兩個(gè)篩選結(jié)果。這樣的積分方法可以用等式(3)表示Fj(x,y)=∫∫Mj(u,v)H(Qj,f)(x,y,u,v)dudy(3)這里Fj(x,y)表示每個(gè)基準(zhǔn)圖形Qj的積分結(jié)果；(x,y)表示輸入圖象f的坐標(biāo)；以及(u,v)表示每個(gè)基準(zhǔn)圖形的坐標(biāo)；Mj為表示由相關(guān)的基準(zhǔn)圖形Qj的點(diǎn)(u,v)產(chǎn)生的作用程度的函數(shù)。
一般使用最簡(jiǎn)單形式的作用程度Mj(u,v)≡1就已足夠。然而當(dāng)必須使用與輸入圖形進(jìn)行比較的幾個(gè)基準(zhǔn)圖形，并強(qiáng)調(diào)在輸入圖形和與其外形相似的基準(zhǔn)圖形之間的任何差異時(shí)，作用程度Mj變得非常有效。例如，表示[9]和[5]的圖形比較相似，但是圖形在右上部分完全不同。
為區(qū)別[9]和[5]，通過采用一個(gè)在右上半?yún)^(qū)強(qiáng)調(diào)作用程度Mj以使提取結(jié)果的精確度得到提高的篩選方法能夠更加清楚地指出該差異。
作為該函數(shù)的一個(gè)例子，可以考慮下面的表達(dá)式(4)。
H{Qj,f}(x,y,u,v)=C{Qj(u,v)·f(x+y,u+v)}(4)在此，·代表矢量的內(nèi)積分，(=(/x,/y))表示分解篩選器，C是非線性并嚴(yán)格單調(diào)遞增和非減小(包括單調(diào)遞增)的奇函數(shù)，并且不能假定一個(gè)大于預(yù)先確定值的值。
C也可以是一個(gè)恒等函數(shù)。
當(dāng)函數(shù)Mj(u,v)采取一恒定值，C不采取大于給定值的值時(shí)，等式(3)與使用內(nèi)積的卷積類似，如等式(4)所示，使用非線性函數(shù)C抑制了極大值的產(chǎn)生。
這里，函數(shù)C可以表示為等式(5)或如等式(6)所示的帶有常數(shù)C1,C2的高斯函數(shù)的積分。
C(x)=C1∫-∞C2xG(y)dy---(6)]]>函數(shù)Mj(u,v)用于刪除對(duì)于圖形提取處理不必要的那些部分。具有該函數(shù)Mj(u,v)的較大值的點(diǎn)(u,v)對(duì)積分結(jié)果Fj(x,y)產(chǎn)生較大影響，而較小值將具有較小影響，例如，在極端情況下，零對(duì)積分結(jié)果Fi(x,y)無(wú)影響。當(dāng)函數(shù)Mj(u,v)為常數(shù)時(shí)，全部的點(diǎn)對(duì)積分結(jié)果Fj(x，y))作用相同。實(shí)際上，謹(jǐn)慎地選擇函數(shù)Mj(u,v)的值來匹配圖象的種類。
進(jìn)一步，當(dāng)考慮圖象變換時(shí)，積分結(jié)果Fj(x,y)可以由等式(7)來表示。
Fj(x,y)=∫∫Mj(u,v)H{QjoA,f}(x,y,u,v)dudy(7)這里A是進(jìn)行諸如放大，縮小或旋轉(zhuǎn)之類的二維操作的變換函數(shù)，o是使得QjoA(u,v)=Qj(A(u,v))的復(fù)合函數(shù)。
因此，等式(4)表示的函數(shù)H可由等式(8)表示。
H{QjoA,f}(x,y,u,v)=C{Qj(A(u,v))A(u,v)·f(x+y,u+v)}(8)這里，因?yàn)锳是從二維數(shù)據(jù)到二維數(shù)據(jù)的函數(shù)，A(u,v)成為2x2矩陣。例如，如果A(u,v)是線性函數(shù)，那么A(u,v)=A(當(dāng)線性變換表示為矩陣時(shí)，導(dǎo)數(shù)本身與矩陣在所有點(diǎn)匹配)。
下面，由Ai(u,v)表示提到的變換，這里i是變換圖形的一個(gè)下標(biāo)(i=1,2…m)。因此，它表示積分結(jié)果組Fij(x,y)基于變換函數(shù)Ai和積分圖形Qj。
因此，對(duì)于每個(gè)輸入圖象f，可獲得由Fij(x,y)(i=1,2…m,j=1,2…n)組成的一個(gè)積分結(jié)果組。
在由提取/定位部分23執(zhí)行的提取和定位處理中，從積分結(jié)果組Fij(x,y)提取實(shí)際的圖形，計(jì)算并輸出其位置。
如上所述，對(duì)于每個(gè)輸入圖象f產(chǎn)生由Fij(x,y)表示的積分結(jié)果組。在輸入圖象f內(nèi)提取的目標(biāo)圖形與基準(zhǔn)圖形類似的這些位置，這些積分結(jié)果局部表示為高值。
當(dāng)?shù)罐D(zhuǎn)圖形時(shí)，因?yàn)樵搶?shí)施例使用內(nèi)積，它表示一個(gè)局部的較高的負(fù)向峰值。因此，通過將上面解釋中的讀出“局部高值”的那些相位替換為“局部低值”，有可能提取倒轉(zhuǎn)的圖形。
通過判定全部積分結(jié)果中的哪一個(gè)基準(zhǔn)圖形最可能相配，能決定每個(gè)點(diǎn)的圖形，由此能夠確定目標(biāo)圖形和其位置。
參考附圖5～9通過從輸入圖象提取一圖形的實(shí)際情況(圖象處理實(shí)例)說明這種技術(shù)。在這部分也將解釋目標(biāo)圖形的決定方法。
圖8和圖9表示使用等式(8)所示的函數(shù)H計(jì)算作為牌照上的字符的篩選處理的第一導(dǎo)數(shù)，以及計(jì)算積分結(jié)果F的結(jié)果。
如果變換該結(jié)果，輸出數(shù)據(jù)的數(shù)目將等于要求的每個(gè)基準(zhǔn)圖形變量的數(shù)目，但該實(shí)施例所示的結(jié)果還未進(jìn)行變換。因此，對(duì)于每個(gè)輸入圖象，積分結(jié)果的輸出數(shù)據(jù)的數(shù)目等于基準(zhǔn)圖形的數(shù)目。
例如，在下面的實(shí)例，當(dāng)選擇基準(zhǔn)圖形[9]時(shí)，積分結(jié)果將被稱為“篩選器[9]的積分結(jié)果”圖5表示原始圖象201。圖6表示[9]的基準(zhǔn)圖形202和圖7表示[5]的基準(zhǔn)圖形203。圖8是篩選[9]原始圖象201的情況下的積分結(jié)果204，圖9是篩選[5]原始圖象201的情況下的積分結(jié)果205。和[5]的基準(zhǔn)圖形202和203分別是從另一個(gè)輸入圖象而不是原始圖象201切下的圖形。此外，在不同的灰度級(jí)下表示分別由圖8和圖9所示的在篩選[9]的情況下的積分結(jié)果204和在篩選[5]的情況下的積分結(jié)果205以強(qiáng)調(diào)峰值。
圖8表示篩選[9]的積分結(jié)果204在與原始圖象201內(nèi)的[9]的位置對(duì)應(yīng)的P1處具有峰值，圖9表示篩選器[5]的積分結(jié)果205在與原始圖象201內(nèi)的[5]的位置對(duì)應(yīng)的P2處具有峰值。這些點(diǎn)P1～P6表示將篩選處理用于圖5所示的牌照NP之后的各個(gè)基準(zhǔn)圖形的坐標(biāo)點(diǎn)。
在篩選器[9]的積分結(jié)果204的情況下，點(diǎn)P3和P4也表示相對(duì)較高的值，但這是由圖形[9],[5]和
為互相類似的圖形的事實(shí)引起的。應(yīng)該指出，按照這種技術(shù)，峰值越大，點(diǎn)的尺寸越大。
因此，可以看出積分結(jié)果的峰值在與[9]對(duì)應(yīng)的點(diǎn)P1較高。類似地，就圖9所示的篩選[5]的積分結(jié)果205而言，因?yàn)閇9],[5]和
是互相類似的圖形，使得表示[9]和
的點(diǎn)P5和P6也相對(duì)較高，但積分結(jié)果的峰值在與[5]對(duì)應(yīng)的P2處較高。
因此，通過比較峰值，有可能決定哪一個(gè)篩選器最好地對(duì)應(yīng)于輸入圖象及其相關(guān)位置，從而進(jìn)行由該篩選器表示的基準(zhǔn)圖形的提取。
在與圖象[9],[5]和
對(duì)應(yīng)的用于疊加各個(gè)基準(zhǔn)圖形的正確坐標(biāo)點(diǎn)顯示積分結(jié)果204和205內(nèi)的峰值的位置。在積分結(jié)果204，圖象[9]的峰值較圖象[5]和
的其它峰值大，在積分結(jié)果205，圖象[5]的峰值較圖象[9]和
的其它峰值大。
在圖8和9，通過基準(zhǔn)圖形[9]和[5]說明積分結(jié)果，但實(shí)際上，存儲(chǔ)用于提取的全部圖形。例如，對(duì)于日本牌照，從
到[9]的數(shù)字圖形和符號(hào)圖形[·]，產(chǎn)生總共十一個(gè)圖形，這些圖形足以識(shí)別任何牌照上的數(shù)字。
下面數(shù)學(xué)地表示積分結(jié)果，依據(jù)Mj(u,v)≡1C(x)=x最終，坐標(biāo)x,y處圖形j的積分結(jié)果Fj為Fj(x,y)=∫∫Qj(u,v)·f(x+y,y+v)dudy=∫∫{(/x)Qj(u,v)(/x)f(x+u,y+v)+(/y)Qj(u,v)(/y)f(x+u,y+v)}dudy(9)應(yīng)該指出在該實(shí)施例允許使用除所提到之外的篩選處理和積分方法。
例如，第一導(dǎo)數(shù)可以用作篩選處理，積分可以基于外積分。在這種情況下，函數(shù)H{Qj,f}表示為等式(10)。
H{Qj,f}(x,y,u,v)=Qj(u,v)×f(x+u,y+v)(10)矢量的外積表示由矢量構(gòu)成的平行四邊形的面積，因此，外積越小，兩個(gè)矢量匹配得越好。因此，提取的目標(biāo)點(diǎn)是外積分較小的地方。
另一個(gè)方法是考慮采用等式(9)獲得的篩選結(jié)果的差值，依據(jù)H{Qj,f}(x,y,u,v)=|Qj(u,v)-f(x+u,y+v)|(11)H{Qj,f}(x,y,u,v)=|Qj(u,v)-f(x+u,y+v)|2(11)這里||表示矢量的長(zhǎng)度。等式(11)表示誤差及等式(11)表示平方誤差。對(duì)于誤差和平方誤差的情況，目標(biāo)提取點(diǎn)是輸出為接近零的小數(shù)值區(qū)。
此外，對(duì)于第一微分處理，可以采用Sobel微分處理作為預(yù)先選擇的篩選處理。Sobel微分處理結(jié)果不是如上所述的二維矢量，而是表示每個(gè)區(qū)域內(nèi)的圖象傾斜量大小的一維標(biāo)度值。
因此，通過逐漸移動(dòng)檢查點(diǎn)，并使用非線性函數(shù)C來抑制極大值的產(chǎn)生(截取處理)或者如果函數(shù)C為恒等函數(shù)，就直接積分(在這種情況下，結(jié)果為標(biāo)量而不是矢量)，對(duì)輸入圖象和基準(zhǔn)圖形上進(jìn)行Sobel處理。上面提到的圖形提取方法被認(rèn)為是使用篩選和積分處理的雙重處理技術(shù)。
這樣，該方法提供用于以積分篩選的圖象數(shù)據(jù)為基礎(chǔ)的圖形提取技術(shù)的積分結(jié)果。根據(jù)該方法，具有積分結(jié)果的高(或低)值的點(diǎn)指示要提取的目標(biāo)圖形。
在上面提到的實(shí)例，f和Qj可以進(jìn)行對(duì)數(shù)變換(f→logf)的初始處理。
因?yàn)関(logf)=f/f，圖象的亮度對(duì)其影響不大，這是從圖象提取圖形的有效處理選項(xiàng)。
該圖形提取的方法是一種將初始處理并入篩選處理。
依據(jù)該圖形提取方法，H{QjoAj,f}(x,y,u,v)=|Qj(Ai(u,v))Ai(u,v)-f(x+u,y+v)|例如，成為=|Qj(Ai(u,v))Ai(u,v)/Qj(Ai(u,v))-f(x+u,y+v)/f(x+y,u+v)|作為初始處理的對(duì)數(shù)變換具有糾正圖象的模擬攝像數(shù)據(jù)轉(zhuǎn)換到數(shù)字?jǐn)?shù)據(jù)(即，A/D轉(zhuǎn)換)中的任何沖突的作用?？傊?，圖象的像素值與表面反射(R)和光強(qiáng)(Ⅰ)的乘積成比例，進(jìn)行對(duì)數(shù)變換以便將表面反射效應(yīng)和光強(qiáng)效應(yīng)分開也就是，由下式給出圖象的像素值g=KIR (13)這里K是一個(gè)常數(shù)。
等式(13)的對(duì)數(shù)表示為logg=logK+logI+logR (14)和logg=logI+logR (15)因此，當(dāng)感興趣的目標(biāo)處于陰影時(shí)，像素值的對(duì)數(shù)變換對(duì)于減小像素值上的陰影問題具有顯著作用。
這是因?yàn)槲⒎诌^程是一種類型的差值計(jì)算，因此，對(duì)數(shù)變換具有使兩點(diǎn)上的像素值的差值與亮度成比例的作用。
在上面的解釋中，使g與IR(換句話說，由像素看到的視域內(nèi)一點(diǎn)的視在亮度)成比例，但在其它情況下，與攝象機(jī)的光學(xué)設(shè)計(jì)和排列及A/D轉(zhuǎn)換有關(guān)，g可以是IR到r(一個(gè)常數(shù))的冪函數(shù)或增加一個(gè)偏移。在這種情況下，可以數(shù)學(xué)表示上述關(guān)系以便能夠進(jìn)行數(shù)據(jù)表轉(zhuǎn)換，由此，兩點(diǎn)之間的像素值的差值與視在亮度成比例。下面的討論直接適用于這種處理。
參考圖10～17將解釋對(duì)數(shù)變換的作用。圖10表示基準(zhǔn)圖形的圖象，圖11表示其上半部分處于陰影的目標(biāo)圖形。如圖17所示當(dāng)圖16所示的牌照被建筑物遮蓋時(shí)可發(fā)生這種情況。圖12～15是將計(jì)算處理用于圖10和11所示圖象的相應(yīng)坐標(biāo)位置的像素值所獲得的相關(guān)系數(shù)的曲線圖。在圖12,x軸表示圖10的基準(zhǔn)圖形的像素值，y軸表示目標(biāo)圖形的像素值。
例如，如果圖10的坐標(biāo)點(diǎn)S的像素值為150，對(duì)應(yīng)于在圖11中S的坐標(biāo)點(diǎn)的像素值為50，在圖12該點(diǎn)具有坐標(biāo)(150,50)。結(jié)果是圖12表示兩組圖象的數(shù)據(jù)。
換句話說，在圖12，散布在由x=y給出的直線周圍的這些點(diǎn)對(duì)應(yīng)于圖11中的未處于陰影的下半部分的那些點(diǎn)，該相關(guān)系數(shù)為0.99。另一方面，散布在由y=0.4x給出的直線周圍的這些點(diǎn)對(duì)應(yīng)于圖11中的處于陰影的上半部分的那些點(diǎn)，該相關(guān)系數(shù)為0.8。因此，總體相關(guān)系數(shù)為0.62。
將圖10,11所示的圖象進(jìn)行對(duì)數(shù)變換，將轉(zhuǎn)換數(shù)據(jù)描繪在圖13中相應(yīng)的坐標(biāo)點(diǎn)。x軸上的數(shù)據(jù)表示基準(zhǔn)圖形像素的轉(zhuǎn)換數(shù)據(jù)，y軸上的數(shù)據(jù)表示目標(biāo)圖形像素的轉(zhuǎn)換數(shù)據(jù)。與圖12所示的結(jié)果類似，可以觀察到兩組像素?cái)?shù)據(jù)，但每組的斜率近似以相同。
圖14表示描繪在相應(yīng)坐標(biāo)點(diǎn)上的，圖10和11所示數(shù)據(jù)的微分處理結(jié)果的曲線圖。實(shí)際的導(dǎo)數(shù)值為二維，將圖10,11的x軸數(shù)據(jù)和y軸數(shù)據(jù)疊加在圖14的曲線圖的相應(yīng)軸。在圖14,x軸表示基準(zhǔn)圖形像素的導(dǎo)數(shù)，y軸表示目標(biāo)圖形像素的導(dǎo)數(shù)。與圖12所示結(jié)果類似，在圖14觀察到兩組像素?cái)?shù)據(jù)(相關(guān)系數(shù)0.99，和0.76)，總體相關(guān)系數(shù)為0.84。
圖15表示圖10和11所示數(shù)據(jù)對(duì)數(shù)變換的微分處理結(jié)果的曲線圖，將結(jié)果描繪在相應(yīng)坐標(biāo)點(diǎn)。x軸表示基準(zhǔn)圖象像素的對(duì)數(shù)變換數(shù)據(jù)的導(dǎo)數(shù)，y軸表示目標(biāo)圖形像素的對(duì)數(shù)變換數(shù)據(jù)的導(dǎo)數(shù)。
如圖15所示，結(jié)果限于一個(gè)組，總體相關(guān)系數(shù)為0.91。該結(jié)果表明與使用未進(jìn)行對(duì)數(shù)變換的圖象像素的導(dǎo)數(shù)相比，使用對(duì)數(shù)變換的圖象像素的導(dǎo)數(shù)可獲得較好的相關(guān)性，與隨后進(jìn)行的任何積分處理無(wú)關(guān)。
另外，在這種情況下采用的初始處理方法是對(duì)數(shù)變換和表變換，然而，其它的初始處理方法也是可行的，例如，中值篩選，使用高斯函數(shù)的卷積平均化，局部傅立葉變換，成分波變換，輪廓增強(qiáng)處理以及包括初始處理的第一導(dǎo)數(shù)或上述方法的任意組合的其它初始處理圖形。
進(jìn)一步，通過真重使用作用程度的加權(quán)函數(shù)Mj，本圖形提取方法能夠提取一種類別的幾個(gè)字符。下面將描述該方法。
首先，檢查每個(gè)數(shù)字
,[2],[3],[5],[6],[8]和[9]的形狀。這些數(shù)字可以大致分為垂直拉長(zhǎng)的形狀。例如，基準(zhǔn)圖形Qj指定為
，選擇函數(shù)Mj的值使得輪廓線上為高值，而在輪廓線內(nèi)為低值。
按照該方法，不僅對(duì)于
而且對(duì)于具有扁長(zhǎng)輪廓的其它數(shù)字，這種類型將輸出高值。例如，可以回想起圖8所示篩選9的積分結(jié)果204對(duì)于
和[5]表現(xiàn)出相對(duì)較高的值，盡管它們對(duì)[9]未進(jìn)行篩選。這種觀察表明通過使用Mj函數(shù)強(qiáng)調(diào)邊界特性，可獲得期望的結(jié)果。
按照本圖形提取方法，有可能消除常常由陰影造成的，亮度的不一致的不利影響，這是因?yàn)閷⒑Y選過程(微分處理)不但應(yīng)用于基準(zhǔn)圖形而且應(yīng)用于輸入圖象。
可以看出，盡管篩選過程加重了輸入圖象的局部噪聲，因?yàn)樵肼曇话阆抻诰植奎c(diǎn)，篩選基準(zhǔn)圖形和輸入圖象的總體積分過程能夠確定輸入圖象內(nèi)的任何基準(zhǔn)圖形的顯著特性特征，由此減小局部噪聲的不利影響。此外，甚至當(dāng)目標(biāo)圖形被局部遮蓋或涂抹時(shí)，如果未受影響的區(qū)域足夠大，象局部噪聲的情況一樣，基準(zhǔn)圖形的確定最終是可能的。
參考圖18，將解釋本方法的圖形識(shí)別的一個(gè)實(shí)施例。圖18是用于識(shí)別一個(gè)目標(biāo)圖形的系統(tǒng)程序的方框圖。整個(gè)程序包括輸入圖象存儲(chǔ)部分501；基準(zhǔn)圖形存儲(chǔ)部分502；目標(biāo)截取部分503；相似性計(jì)算部分504；局部圖形提取部分505；圖形提取部分506；區(qū)域恢復(fù)部分507；比較部分508；結(jié)果/定位數(shù)據(jù)輸出部分509；識(shí)別結(jié)果輸出部分510。記錄在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的應(yīng)用程序描述了在這些部分上完成的步驟，這些步驟由包括CPU和存儲(chǔ)器裝置的計(jì)算機(jī)系統(tǒng)執(zhí)行。
輸入圖象存儲(chǔ)部分501描述了存儲(chǔ)由諸如攝象機(jī)之類的裝置記錄的圖象并包含要進(jìn)行識(shí)別處理的圖象數(shù)據(jù)。該數(shù)據(jù)可以是任何類型的二進(jìn)制圖象，多值灰度圖象和彩色圖象。
類似地，基準(zhǔn)圖形存儲(chǔ)部分502存儲(chǔ)能夠進(jìn)行圖象內(nèi)的目標(biāo)圖形提取和識(shí)別的基準(zhǔn)圖形。圖象類型與輸入圖象類型相同，存儲(chǔ)多個(gè)基準(zhǔn)圖形。提取圖形和基準(zhǔn)圖形一一對(duì)應(yīng)，該結(jié)果被確定的結(jié)果直接限制著。
目標(biāo)截取部分503執(zhí)行從存儲(chǔ)在輸入圖象存儲(chǔ)部分501的輸入圖象截取目標(biāo)區(qū)域。盡管取決于相似性計(jì)算部分504使用的方法，必須切出目標(biāo)區(qū)域以便與基準(zhǔn)圖形比較。例如，當(dāng)使用相關(guān)系數(shù)判定相似度時(shí)，基準(zhǔn)圖形和目標(biāo)區(qū)域必須具有相同的尺寸和形狀。盡管該截取方法基于方向微分法，與其它方法一樣，該方法仍然必須將目標(biāo)圖象的尺寸和形狀與基準(zhǔn)圖形的匹配。
最簡(jiǎn)單的截取方法是盡一切可能切下與基準(zhǔn)圖形一一匹配的全部圖象區(qū)域。如果能夠由某些初始處理限定要比較的區(qū)域，就沒必要切下全部的區(qū)域。此外，如果一系列的處理包括基準(zhǔn)圖形的尺寸和形狀變換，就必須切下目標(biāo)物以匹配形狀變換。
相似性計(jì)算部分504是將在目標(biāo)截取部分503產(chǎn)生的截取區(qū)域與基準(zhǔn)圖形進(jìn)行比較的程序。后面將解釋計(jì)算相似度的方法。然而，進(jìn)行該處理的條件是根據(jù)將基準(zhǔn)圖形和目標(biāo)圖形進(jìn)行比較所獲得的相似度的結(jié)果，決定哪一個(gè)基準(zhǔn)圖形與隨后的局部圖形提取部分505進(jìn)行的步驟中的目標(biāo)圖形最匹配。
在決定目標(biāo)圖形之后，局部圖形提取部分505比較目標(biāo)圖形和在相似性計(jì)算部分504決定的每個(gè)基準(zhǔn)圖形之間的相似性，并選擇一個(gè)與目標(biāo)圖形最相似的基準(zhǔn)圖形。
圖形提取部分506包括步驟503～505。如果從一個(gè)目標(biāo)圖象已經(jīng)選擇了目標(biāo)圖形，識(shí)別結(jié)果是與該目標(biāo)圖象匹配的基準(zhǔn)圖形。然而，在一個(gè)輸入圖象一般存在很多目標(biāo)圖形，因此，實(shí)際上必須確定目標(biāo)圖形的位置，在包括步驟507～509的識(shí)別結(jié)果輸出部分510進(jìn)行該過程。
區(qū)域恢復(fù)部分507匹配輸入圖象內(nèi)的目標(biāo)圖形的提取結(jié)果，換句話說，匹配由圖形提取部分506在這些輸入圖象所獲得的提取圖形的位置和形狀數(shù)據(jù)。
比較部分508根據(jù)每個(gè)目標(biāo)圖形的區(qū)域比較返回圖形的區(qū)域和相似度。結(jié)果/定位數(shù)據(jù)輸出部分509顯示由識(shí)別處理產(chǎn)生的基準(zhǔn)圖形及其位置數(shù)據(jù)。
下面將解釋在區(qū)域恢復(fù)部分507，比較部分508，結(jié)果/定位數(shù)據(jù)輸出部分509和結(jié)果/定位數(shù)據(jù)輸出部分509執(zhí)行的步驟的實(shí)例。
識(shí)別結(jié)果輸出部分510根據(jù)用于最初要求目標(biāo)的圖形提取結(jié)果的限制條件輸出識(shí)別結(jié)果。
將詳細(xì)解釋在相似性計(jì)算部分504執(zhí)行的計(jì)算相似度的方法。有幾種方法可用于執(zhí)行相似度計(jì)算。
例如，如果輸入圖象為二進(jìn)制圖象，規(guī)范并疊加兩種圖形(尺寸匹配)，并計(jì)數(shù)不匹配的比特?cái)?shù)目。在這種情況下，不匹配的比特越少，圖象越相似。
對(duì)于未進(jìn)行二進(jìn)制轉(zhuǎn)換的圖象，也就是，對(duì)于直接處理的多值灰度圖象，可以使用相關(guān)系數(shù)。在這種情況下，將簡(jiǎn)單解釋方向一階微分的方法。下面的解釋基于在上述所用的圖形提取方法中所述的圖形提取和積分方法。
下面的等式解釋包含表示一個(gè)基準(zhǔn)圖形的Qj，和表示目標(biāo)識(shí)別區(qū)域的f的該方法。這些是定義兩維空間(x,y)的函數(shù)，并且因?yàn)樗鼈儽硎灸繕?biāo)識(shí)別物和基準(zhǔn)圖形，由這些函數(shù)定義的區(qū)域本質(zhì)上必須是相同的區(qū)域。梯度(方向微分)與為=(/x,/y)的等式(1)相同。
也就是，f(x,y)=(f/x,f/y)(x,y)(16)該等式由通常的數(shù)學(xué)表達(dá)式，梯度f，兩維空間的第一導(dǎo)數(shù)，和偏微分/x,/y組成。
使用這些等式解釋計(jì)算相似性的方法。基本方法是比較Qj和f。存在很多可以采用的比較方法。在上述的圖形提取方法，內(nèi)積形成一個(gè)基區(qū)，諸如計(jì)算Qj和f之間的差值的總和或它們的相關(guān)系數(shù)，或者Qj/Qj和f/f之間的差值的總和或它們的相關(guān)系數(shù)的其它方法除外。此外，在上述實(shí)施例，考慮基準(zhǔn)圖形變換和加權(quán)每個(gè)基準(zhǔn)圖形的區(qū)域，這里也可以進(jìn)行同樣的考慮。
當(dāng)按照前一個(gè)實(shí)施例表示的方法計(jì)算相關(guān)系數(shù)時(shí)，對(duì)于每個(gè)基準(zhǔn)圖形數(shù)字化地確定每個(gè)目標(biāo)圖形中的一個(gè)相似度。顯然滿足相似性計(jì)算部分504的條件。
為計(jì)算相關(guān)系數(shù)，因?yàn)閿?shù)據(jù)處于二維空間，相關(guān)系數(shù)的積(標(biāo)量積)通常使用內(nèi)積。數(shù)學(xué)表示為Fj(x,y)=∫∫ Qj(u,v)·f(x+u,y+v)dudy/(‖Qj‖2‖f(x+·,y+·)‖2) (17)然而，在等式(15)中，‖Qj‖2=∫∫ Qj(u,v)·Qj(u,v)dudy(18)和‖f(x+·,y+·)‖2=∫∫f(x+u,y+v)·f(x+u,y+v)dudy(19)顯然可以使用對(duì)數(shù)變換結(jié)果取代Qj和f。在這種情況下，全部的Qj可由logQj代替，全部的f可由logf代替。將變換和作用程度可以同樣增加到分析中。
下面，將詳細(xì)解釋由區(qū)域恢復(fù)部分507，比較部分508和結(jié)果/定位數(shù)據(jù)輸出部分509組成的識(shí)別結(jié)果輸出部分510的執(zhí)行方法。
當(dāng)在提取(識(shí)別)的輸入圖象僅存在一種要圖形時(shí)，例如定義字符的位置和尺寸的光學(xué)字符閱讀器(OCR)，識(shí)別結(jié)果將是從全部基準(zhǔn)圖形選擇的，與輸入圖象最相象的一種基準(zhǔn)圖形。然而，當(dāng)在輸入圖象中存在很多目標(biāo)圖形時(shí)，必須考慮到某些目標(biāo)圖形在輸入圖象內(nèi)重復(fù)。
有鑒于此，區(qū)域恢復(fù)部分507處理目標(biāo)圖形提取結(jié)果，以便將輸入圖象的提取圖形區(qū)域與相同尺寸的基準(zhǔn)圖形比較。比較的圖形數(shù)據(jù)將包括選擇的基準(zhǔn)圖形的位置信息和形狀信息。
將解釋執(zhí)行方法的一個(gè)實(shí)例。下文，高相似性意味著基準(zhǔn)圖形與提取結(jié)果相似。首先，準(zhǔn)備與輸入圖象相同尺寸的區(qū)域，以便區(qū)域內(nèi)的每點(diǎn)對(duì)應(yīng)于輸入圖象內(nèi)的每點(diǎn)。識(shí)別結(jié)果粘貼在該區(qū)內(nèi)的各個(gè)點(diǎn)以指示比較處理正在進(jìn)行。
只要粘貼數(shù)據(jù)的內(nèi)容包括識(shí)別結(jié)果及其位置就已足夠。粘貼點(diǎn)是與輸入圖象內(nèi)的提取圖形區(qū)域相同的區(qū)域。以相似度的次序保留用于粘貼由局部圖形提取部分505產(chǎn)生的數(shù)據(jù)的粘貼區(qū)的方式，由根據(jù)相似度決定粘貼順序的比較部分508執(zhí)行該粘貼。
比較部分508忽略被疊加在高相似性的粘貼區(qū)域的那些低相似性識(shí)別圖形。
圖19～22補(bǔ)充對(duì)識(shí)別結(jié)果輸出部分510執(zhí)行過程的解釋。
在圖19，輸入圖象301為牌照?？梢钥闯龃蠹s與牌照上的數(shù)字相同線寬的半圓形躁聲出現(xiàn)在數(shù)字[9]上。
在圖20，模型302是使用數(shù)字的基準(zhǔn)圖形所獲得的識(shí)別結(jié)果的實(shí)例。在該圖，可以看出[1][2][6][9]的模型和為每個(gè)基準(zhǔn)圖形保留的區(qū)域的范圍互相疊加。區(qū)間304表示數(shù)字[9]的保留區(qū)域。
在圖21，模型303是將[9]判斷為[6]的結(jié)果，這是由于躁聲存在于[9]的保留區(qū)域的上面。因此，保留區(qū)域305與不正確的識(shí)別結(jié)果[6]有關(guān)。
在圖22，識(shí)別結(jié)果306與圖象的狀態(tài)有關(guān)，根據(jù)相似性基于[9]和[6]的第四個(gè)字母的選擇將是[9]，在這種情況下，保留區(qū)域304和305將重疊，因?yàn)楸Ａ魠^(qū)域304具有高相似性，將忽略包含在保留區(qū)域305的模型。
這樣就恢復(fù)了對(duì)應(yīng)于基準(zhǔn)圖形的這些區(qū)域，并能夠進(jìn)行判斷而不矛盾。
最終，檢查識(shí)別結(jié)果[1],[2],[6],[9]的一致性并輸出最終形式的識(shí)別結(jié)果。
可以考慮另一種反向粘貼的操作的執(zhí)行方法，以便首先粘貼具有低相似度的圖形，同時(shí)允許重寫。該方法將產(chǎn)生與比較部分508相同的結(jié)果。
通過以高相似度的次序在識(shí)別基準(zhǔn)圖形區(qū)域周圍構(gòu)造非侵害區(qū)域也能獲得相同的結(jié)果。
結(jié)果/定位數(shù)據(jù)輸出部分509重新集合從上述步驟獲得的剩余識(shí)別結(jié)果。不允許認(rèn)為包含高相似度字符的那些區(qū)域接受其它結(jié)果，這樣總是單獨(dú)分開最終結(jié)果并且不重疊。
當(dāng)將輸入圖形和基準(zhǔn)圖形的位置數(shù)據(jù)進(jìn)行聯(lián)系時(shí)，與字母的情況一樣，處理步驟包括這樣的位置信息。例如，在日本，牌照上的字母和數(shù)字限定為預(yù)定的漢字，片假名，字母和數(shù)字，并且嚴(yán)格規(guī)定它們的位置和排列。有鑒于此，僅當(dāng)基準(zhǔn)圖形的位置數(shù)據(jù)和輸入目標(biāo)圖形的排列完全一致時(shí)才輸出最終結(jié)果。
現(xiàn)在將參考圖23和24解釋異常檢測(cè)方法。在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上記錄的應(yīng)用程序描述要完成的步驟，這些步驟由包括CPU和存儲(chǔ)裝置的計(jì)算機(jī)系統(tǒng)執(zhí)行。圖23表示基準(zhǔn)圖象A1，圖24表示比較圖象B1。圖23內(nèi)的區(qū)域A2是基準(zhǔn)圖象A1的掃描區(qū)，圖24內(nèi)的區(qū)域B2是比較圖象B1的掃描區(qū)。這些基準(zhǔn)和比較圖象是使用TV攝象機(jī)之類的通常可行的方法輸入的圖象。
比較圖象B1的掃描區(qū)B2和基準(zhǔn)圖象A1的掃描區(qū)A2具有相同的絕對(duì)坐標(biāo)點(diǎn)，及相同的尺寸和形狀。如果基準(zhǔn)圖象A1和比較圖象B1是由位于相同地點(diǎn)的相同TV攝象機(jī)以同樣的放大倍數(shù)取得的圖象，那么掃描區(qū)將被完全認(rèn)為是兩個(gè)圖象內(nèi)相同的區(qū)域。盡管在說明中掃描區(qū)A2,B2是局部區(qū)，也可以將它們擴(kuò)大以包括圖象A1,B1的整個(gè)區(qū)。
相似性計(jì)算包括掃描區(qū)A2,B2之間的相似度的計(jì)算。很多計(jì)算方法是可行的，但在所述實(shí)施的圖形提取方法將使用篩選處理和積分處理。例如，在這種情況下，作為篩選和積分處理的一個(gè)實(shí)例，將使用對(duì)數(shù)變換數(shù)據(jù)的第一導(dǎo)數(shù)。將使用由第一導(dǎo)數(shù)的內(nèi)積分計(jì)算的相關(guān)系數(shù)所得到的內(nèi)插結(jié)果以判定異常。
此外，異常檢測(cè)程序也可以基于相應(yīng)的公式。
在下面的計(jì)算步驟，目的是定位包含與預(yù)定圖形Qj類似的圖形的區(qū)域。
Fj(x,y)=∫∫logQj(u,v)·logf(x+u,y+v)dudy/(‖logQj‖2‖logf(x+·,y+·)‖2)(20)
等式(20)所示可變的‖logQ‖2和‖logf(x+·,y+·)‖2是分別由下面的等式(21)和(22)定義的函數(shù)。
‖logQj‖2=∫∫logQj(u,v)·logQj(u,v)dudy(21)‖logf(x+·,y+·)‖2=∫∫logf(x+u,y+v)·logf(x+u,y+v)dudy(22)在這種情況下，如下完成相似度的計(jì)算。
F(x,y)=∫∫Ωlogf(x+u,y+v)·logg(x+u,y+v)dudy/(‖logf‖Ω2‖logg‖Ω2)(23)可變的‖f‖Ω2和‖g‖Ω2為分別由下面的等式(21)和(22)定義的函數(shù)。
‖logf‖Ω2=∫∫Ωlogf(x+u,y+v)·logf(x+u,y+v)dudy(24)‖logg‖Ω2=∫∫Ωlogg(x+u,y+v)·logg(x+u,y+v)dudy(25)在等式(23)～(25)，g和f分別表示基準(zhǔn)圖象A1和比較圖象B1。此外，類似地，logg和logf分別表示基準(zhǔn)圖象A1和比較圖象B1的對(duì)數(shù)變換。進(jìn)一步，Ω表示掃描區(qū)A2和掃描區(qū)B2，并由{(x+u,y+v)/(u,v)∈Ω}給出，F(xiàn)(x,y)表示由{(x+u,y+v)/(u,v)∈Ω}表示的目標(biāo)物的掃描區(qū)A2,B2之間的相似度。
當(dāng)基準(zhǔn)圖象A1和比較圖象B1類似時(shí)，使用這些等式，F(xiàn)(x,y)假定為接近1的值。另一方面，如果它們互不相似，F(xiàn)(x,y)假定為或者0或者負(fù)值。在這種情況下，如果該值接近-1，就表示提取倒轉(zhuǎn)的圖象。然而，就異常檢測(cè)而言，應(yīng)該得出圖象不相象。在實(shí)際的異常監(jiān)測(cè)中，存在兩種情況，一種是異常包含整個(gè)圖象，另一種是異常僅包含一部分圖象。
如上所述，本方法能夠根據(jù)掃描區(qū)A2和掃描區(qū)B2的相似度準(zhǔn)確檢測(cè)異常，而不受亮度變化和陰影的影響，因此當(dāng)由圖象中的偽變化(例如建筑物的陰影)引起表面變化時(shí)，相似度將比較高，而當(dāng)變化是真實(shí)的，例如由外來物干涉引起的時(shí)，相似度將比較低。因此，本方法能夠較準(zhǔn)確地檢測(cè)圖象中的真正變化。
盡管使用特定的實(shí)施例描述了本發(fā)明，實(shí)例僅是說明性的，并不具有限定性。在不脫離本發(fā)明論述的基本方法的前提下，很多其它的變化都是可能的，這是顯而易見的，通過檢查原始圖象的微分?jǐn)?shù)值使得圖象數(shù)據(jù)識(shí)別更加可靠。
權(quán)利要求
1.一種從程序控制計(jì)算機(jī)記錄的圖象提取預(yù)先選擇的圖形的方法，包括步驟存儲(chǔ)用于提取的基準(zhǔn)圖形；存儲(chǔ)輸入圖象；將篩選方法用于基準(zhǔn)圖形和輸入圖象；積分所述基準(zhǔn)圖形的篩選結(jié)果和所述輸入圖象的篩選結(jié)果以產(chǎn)生積分結(jié)果；和根據(jù)所述積分結(jié)果提取一基準(zhǔn)圖形并規(guī)定所述基準(zhǔn)圖形在所述輸入圖象中的位置。
2.根據(jù)權(quán)利要求1所述方法，其中所述篩選方法包括將局部計(jì)算用于所述輸入圖象獲得中間數(shù)據(jù)的初始處理步驟，和使用從卷積和第一微分處理組成的組選擇的至少一種處理步驟的步驟。
3.根據(jù)權(quán)利要求2所述方法，其中所述初始處理步驟是像素值的對(duì)數(shù)變換。
4.根據(jù)權(quán)利要求2所述方法，其中所述初始處理步驟是根據(jù)攝象機(jī)的輸入系統(tǒng)特性的像素值的表變換。
5.根據(jù)權(quán)利要求1到4之一所述方法，其中所述積分步驟包括基準(zhǔn)圖形篩選輸出和輸入圖象篩選輸出的內(nèi)積的卷積。
6.根據(jù)權(quán)利要求1到4之一所述方法，其中所述積分步驟包括基準(zhǔn)圖形篩選輸出和輸入圖象篩選輸出的外積的卷積。
7.根據(jù)權(quán)利要求1到4之一所述方法，其中所述積分步驟包括基準(zhǔn)圖形篩選輸出和輸入圖象篩選輸出的卷積的差值。
8.根據(jù)權(quán)利要求1到7之一所述方法，其中所述積分步驟包括根據(jù)基準(zhǔn)圖形內(nèi)的坐標(biāo)點(diǎn)的作用程度加權(quán)的步驟。
9.根據(jù)權(quán)利要求8所述方法，其中所述加權(quán)步驟涉及提取表示為多個(gè)基準(zhǔn)圖形共有的圖形形狀系數(shù)的數(shù)字技術(shù)，并根據(jù)積分結(jié)果促使提取一類基準(zhǔn)圖形的而不是提取一種基準(zhǔn)圖形。
10.一種用于執(zhí)行從計(jì)算機(jī)記錄的圖象提取預(yù)先選擇的圖形的提取程序的記錄介質(zhì)，執(zhí)行過程包括步驟存儲(chǔ)用于提取的基準(zhǔn)圖形；存儲(chǔ)輸入圖象；將篩選方法用于基準(zhǔn)圖形和輸入圖象；積分所述基準(zhǔn)圖形的篩選結(jié)果和所述輸入圖象的篩選結(jié)果以產(chǎn)生積分結(jié)果；和根據(jù)所述積分結(jié)果提取一基準(zhǔn)圖形并規(guī)定所述基準(zhǔn)圖形在所述輸入圖象中的位置。
11.根據(jù)權(quán)利要求10所述記錄介質(zhì)，其中所述篩選方法包括將局部計(jì)算用于所述輸入圖象獲得中間數(shù)據(jù)的初始處理步驟，和使用從卷積和第一微分處理組成的組選擇的至少一種處理步驟的步驟。
12.根據(jù)權(quán)利要求11所述記錄介質(zhì)，其中所述初始處理步驟是像素值的對(duì)數(shù)變換。
13.根據(jù)權(quán)利要求11所述記錄介質(zhì)，其中所述初始處理步驟是根據(jù)攝象機(jī)的輸入系統(tǒng)特性的像素值的表變換。
14.根據(jù)權(quán)利要求10到13所述記錄介質(zhì)，其中所述積分步驟包括基準(zhǔn)圖形篩選輸出和輸入圖象篩選輸出的內(nèi)積的卷積，從而積分所述基準(zhǔn)圖形篩選輸出和所述圖象篩選輸出。
15.根據(jù)權(quán)利要求10到13所述記錄介質(zhì)，其中所述積分步驟包括基準(zhǔn)圖形篩選輸出和輸入圖象篩選輸出的外積的卷積，從而積分所述基準(zhǔn)圖形篩選輸出和所述圖象篩選輸出。
16.根據(jù)權(quán)利要求10或13所述記錄介質(zhì)，其中所述積分步驟包括基準(zhǔn)圖形篩選輸出和輸入圖象篩選輸出的卷積的差值，從而積分所述基準(zhǔn)圖形篩選輸出和所述圖象篩選輸出。
17.根據(jù)權(quán)利要求10到16的一個(gè)權(quán)利要求所述的記錄介質(zhì)，其中所述積分步驟包括根據(jù)基準(zhǔn)圖形內(nèi)的坐標(biāo)點(diǎn)的作用程度加權(quán)的步驟。
18.根據(jù)權(quán)利要求17所述記錄介質(zhì)，其中所述加權(quán)步驟涉及表示為多個(gè)基準(zhǔn)圖形共有的圖形形狀系數(shù)的數(shù)字技術(shù)，并根據(jù)積分結(jié)果促使提取一類基準(zhǔn)圖形的而不是提取一種基準(zhǔn)圖形。
19.一種在存儲(chǔ)的輸入圖象內(nèi)識(shí)別與多個(gè)預(yù)先存儲(chǔ)的基準(zhǔn)圖形及其相關(guān)的圖形位置相似的目標(biāo)圖形的方法，包括步驟截取用于確定中間目標(biāo)區(qū)域的目標(biāo)區(qū)域；在初始處理中計(jì)算所述目標(biāo)圖形和所述基準(zhǔn)圖形之間的局部相似性以獲得中間數(shù)據(jù)；通過比較所述目標(biāo)圖形和所述基準(zhǔn)圖形的定向微分?jǐn)?shù)據(jù)計(jì)算相似度；根據(jù)所述相似度結(jié)果提取局部圖形以便能夠選擇相似的基準(zhǔn)圖形；通過由基準(zhǔn)圖形位置確定提取圖形位置恢復(fù)提取區(qū)域以便匹配原始輸入圖象；對(duì)于每個(gè)提取區(qū)域決定匹配基準(zhǔn)圖形；以及根據(jù)比較結(jié)果輸出識(shí)別結(jié)果和相關(guān)的基準(zhǔn)圖形位置。
20.根據(jù)權(quán)利要求19所述方法，其中存儲(chǔ)輸入圖象內(nèi)的目標(biāo)圖形包括牌照上的數(shù)字；所述基準(zhǔn)圖形為包括數(shù)字，點(diǎn)，漢字，片假名和字母的字符。
21.一種用于執(zhí)行識(shí)別存儲(chǔ)的輸入圖象內(nèi)的目標(biāo)圖形的程序的計(jì)算機(jī)可讀記己錄介質(zhì)，執(zhí)行過程包括步驟截取用于確定中間目標(biāo)區(qū)域的目標(biāo)區(qū)域；在初始處理中計(jì)算所述目標(biāo)圖形和所述基準(zhǔn)圖形之間的局部相似性以獲得中間數(shù)據(jù)；通過比較所述目標(biāo)圖形和所述基準(zhǔn)圖形的定向微分?jǐn)?shù)據(jù)計(jì)算相似度；根據(jù)所述相似度結(jié)果提取局部圖形以便能夠選擇相似的基準(zhǔn)圖形；通過由基準(zhǔn)圖形位置確定提取圖形位置恢復(fù)提取區(qū)域以便匹配原始輸入圖象；對(duì)于每個(gè)提取區(qū)域決定匹配基準(zhǔn)圖形；以及根據(jù)比較結(jié)果輸出識(shí)別結(jié)果和相關(guān)的基準(zhǔn)圖形位置。
22.一種通過將比較圖象和基準(zhǔn)圖象進(jìn)行比較以檢測(cè)變化的檢測(cè)圖象異常的方法，包括步驟存儲(chǔ)為所述比較圖象參照的多個(gè)基準(zhǔn)圖象；存儲(chǔ)與所述多個(gè)基準(zhǔn)圖象比較的多個(gè)比較圖象；規(guī)定所述比較圖象和所述基準(zhǔn)圖象內(nèi)的掃描區(qū)用于異常檢測(cè)；將篩選方法施加到所述基準(zhǔn)圖象和所述比較圖象以獲得中間數(shù)據(jù)，包括使用局部計(jì)算的步驟和使用從卷積和第一微分處理組成的組合選擇的至少一種處理步驟的步驟。使用從內(nèi)積，外積，和相關(guān)性組成的組選擇的相似性確定裝置計(jì)算比較圖象篩選結(jié)果和基準(zhǔn)圖象篩選結(jié)果的相似度；和當(dāng)所述相似度不大于一規(guī)定值時(shí)確定異常，并發(fā)出異常報(bào)警作為識(shí)別處理結(jié)果。
23.一種用于執(zhí)行圖象異常檢測(cè)程序的記錄介質(zhì)，執(zhí)行過程包括步驟存儲(chǔ)為所述比較圖象參照的多個(gè)基準(zhǔn)圖象；存儲(chǔ)與所述多個(gè)基準(zhǔn)圖象比較的多個(gè)比較圖象；規(guī)定所述比較圖象和所述基準(zhǔn)圖象內(nèi)的掃描區(qū)用于異常檢測(cè)；將篩選方法用于所述基準(zhǔn)圖象和所述比較圖象以獲得中間數(shù)據(jù)，包括使用局部計(jì)算的步驟和使用從卷積和第一位微分處理組成的組選擇的至少一種處理步驟的步驟。使用從內(nèi)積，外積，和相關(guān)性組成的組選擇的相似性確定裝置計(jì)算比較圖象篩選結(jié)果和基準(zhǔn)圖象篩選結(jié)果的相似度；和當(dāng)所述相似度不大于一規(guī)定值時(shí)確定異常，并發(fā)出異常報(bào)警作為識(shí)別處理結(jié)果。
全文摘要
一種在諸如圖象中出現(xiàn)噪聲或陰影或目標(biāo)圖形被部分遮蓋等不利條件下也能由程序控制計(jì)算機(jī)從圖象提取預(yù)定圖形以識(shí)別和提取圖形的方法,步驟為:存儲(chǔ)參考的基準(zhǔn)圖形;存儲(chǔ)輸入圖象;將篩選處理用于基準(zhǔn)圖形和輸入圖象;積分基準(zhǔn)圖形和輸入圖象篩選結(jié)果以產(chǎn)生積分結(jié)果;按積分結(jié)果提取一基準(zhǔn)圖形并規(guī)定其在輸入圖象中位置。用該基本方法也能進(jìn)行圖象異常檢測(cè),甚至在不利條件下能確定正常景物并檢測(cè)與景物常態(tài)的不一致性。
文檔編號(hào)G06T7/00GK1219709SQ9811794
公開日1999年6月16日 申請(qǐng)日期1998年8月6日 優(yōu)先權(quán)日1997年8月6日
發(fā)明者高橋裕子, 鹽昭夫, 大塚作一 申請(qǐng)人:日本電信電話株式會(huì)社