專利名稱：特征區(qū)域提取裝置和特征區(qū)域提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及特征區(qū)域提取裝置和特征區(qū)域提取方法。
技術(shù)背景近年來(lái)，在實(shí)施用于檢索通過(guò)數(shù)字?jǐn)z像機(jī)等得到的攝像圖像或者其一 部分的圖像檢索和實(shí)施當(dāng)連接全景照相圖像時(shí)的連接位置檢索之際，提出 了用于檢索圖像中特征部位的各種方法。(例如參考，通過(guò)DRA的特征 點(diǎn)提取流程，[在線]，[平成14年11月20日檢索]，因特網(wǎng)〈URL: http: 〃www.koshi-lab.sccs.chukyo-u.ac.jp/research/picasso/side/dra,html>)。在上述現(xiàn)有技術(shù)的圖像檢索中，檢索精度不是足夠的。希望提供一種 通用性高并可高速檢索特征部位的方法。例如，根據(jù)上述非專利文獻(xiàn)l中 的方法，由于通過(guò)提取圖像邊緣、從某個(gè)邊緣象素和其周圍邊緣象素的關(guān) 系當(dāng)中刪除具有特定條件的邊緣象素、在變成再樣本件數(shù)之前重復(fù)該刪除 而提取特征，因此計(jì)算量大，處理速度慢。如果以多個(gè)邊緣集合形成了閉 曲線為前提，則通用性降低。而且，檢索精度也不是很高。發(fā)明內(nèi)容鑒于考慮到上述問(wèn)題，本發(fā)明的目的在于提供一種特征區(qū)域提取裝置 和特征區(qū)域提取方法，其特征區(qū)域提取精度高，具有通用性，并可高速進(jìn) 行處理。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明，提取圖像內(nèi)的邊緣，判定邊緣形狀
是否與提取對(duì)象的形狀一致，以及將一致的部位作為特征區(qū)域。為此，本 發(fā)明包括圖像數(shù)據(jù)取得裝置和邊緣象素檢測(cè)裝置，通過(guò)圖像數(shù)據(jù)取得裝置 取得圖像數(shù)據(jù)，和通過(guò)邊緣象素檢測(cè)裝置檢測(cè)圖像中的邊緣象素。而且， 根據(jù)本發(fā)明，還包括特征點(diǎn)提取裝置和特征區(qū)域判定裝置，判定在特征點(diǎn) 提取裝置檢測(cè)的邊緣象素和其周圍象素是否是接近于規(guī)定提取對(duì)象的圖 形。通過(guò)這，邊緣形狀近似于規(guī)定圖形的部位的邊緣象素被提取作為特征 點(diǎn)。作為特征點(diǎn)被提取的邊緣象素變成用于構(gòu)成特征區(qū)域的候補(bǔ)象素。特 征區(qū)域判定裝置將特征點(diǎn)分布很多的規(guī)定區(qū)域作為特征區(qū)域。該特征區(qū)域 是非常特征的區(qū)域，其包含很多用于形成規(guī)定提取對(duì)象圖形的特征點(diǎn)。通 常，構(gòu)成照片圖像的象素是復(fù)雜的，其形成了各種邊緣，但是通過(guò)關(guān)注包 含很多特征點(diǎn)的方面，能夠容易地識(shí)別和提取圖像中非常特征的區(qū)域。更具體地，在提取特征點(diǎn)時(shí)，由于提取近似于提取對(duì)象圖形的區(qū)域， 作為特征點(diǎn)，通?？砂l(fā)現(xiàn)多個(gè)候補(bǔ)。但是，包含很多該特征點(diǎn)的區(qū)域非常 有限。因此，由于將圖像中特征點(diǎn)很多的區(qū)域作為特征區(qū)域，即使微觀上 規(guī)定提取對(duì)象是包含很多的圖像，從該圖像中也能夠限定應(yīng)該作為特征區(qū) 域的候補(bǔ)，以及能夠從該限定的候補(bǔ)中容易地提取特征部位。根據(jù)該構(gòu)成， 錯(cuò)誤的發(fā)生率非常低，能夠進(jìn)行高精度的圖像檢索和圖像對(duì)照。即，由于在真正應(yīng)該提取的特征區(qū)域中包含了規(guī)定提取對(duì)象的圖形， 因此即使只簡(jiǎn)單地判定邊緣象素周圍是否與圖形吻合也能可靠地提取該 區(qū)域內(nèi)的特征點(diǎn)。但是，在只簡(jiǎn)單地判定是否與圖形吻合中，也會(huì)提取出 用于形成了與該圖形近似之象素的不是特征區(qū)域的部位。因此，提取錯(cuò)誤 變多。特別是，用于形成自然照片圖畫的象素因?yàn)槭菑?fù)雜的，導(dǎo)致這種提 取錯(cuò)誤的可能性變大。因此，在本發(fā)明中，當(dāng)由邊緣象素和其周圍象素形成的圖形接近于規(guī) 定提取對(duì)象時(shí)將該邊緣象素作為特征點(diǎn)，并將被提取特征點(diǎn)多的區(qū)域作為 特征區(qū)域。該特征區(qū)域由于是包含很多提取對(duì)象的部位，因此即使在自然 照片畫面中也是非常獨(dú)特的區(qū)域，在同一圖像內(nèi)存在很多類似區(qū)域的可能 性變得非常低。因此，能夠以非常高的精度來(lái)提取該特征區(qū)域。特別是，當(dāng)在圖像的一部分中尋找是否存在特定區(qū)域時(shí)，例如，當(dāng)檢 索在用于連接全景照片圖像端部的照片圖像端部之間吻合的部位時(shí)，在構(gòu) 成連接對(duì)象之圖像的每一個(gè)上存在多個(gè)這種特征區(qū)域的可能性很低。但 是，如果圖像相連接，則在各個(gè)圖像中平均一處幾乎可靠地存在特征區(qū)域。 因此，如果根據(jù)本發(fā)明進(jìn)行特征區(qū)域的提取，能夠以非常高的準(zhǔn)確率在各 個(gè)圖像中檢索出能夠構(gòu)成圖像連接位置的被攝體的部分。因此，能夠非常 高精度地提取出特征區(qū)域。當(dāng)應(yīng)用于圖像連接等時(shí)，通過(guò)諸如在圖像右端 和左端的每一個(gè)中將特征點(diǎn)數(shù)成為最大的部位各一處作為特征區(qū)域以及 分配其他束縛條件，能夠進(jìn)行精度高的圖像檢索。在本發(fā)明中，通過(guò)邊緣象素的檢測(cè)能夠提取作為特征區(qū)域內(nèi)候補(bǔ)的特 征點(diǎn)。此時(shí)，即使自然畫面的邊緣是比較多的象素，從整個(gè)圖像中找到特 征點(diǎn)的數(shù)量也變得非常少。而且，在提取特征點(diǎn)之后，能夠判定只將此數(shù) 量作為指標(biāo)的特征區(qū)域。因此，與對(duì)圖像內(nèi)象素進(jìn)行依次比較來(lái)提取規(guī)定 圖形的圖形匹配等相比，用對(duì)非常少的處理對(duì)象進(jìn)行判斷就能夠提取特征 區(qū)域并能夠?qū)嵤└咚偬幚?。而且，與對(duì)邊緣象素進(jìn)行用于算出再樣本件數(shù) 邊緣象素的各種處理的上述現(xiàn)有技術(shù)例子比較，用非常少的處理次數(shù)就能 夠提取特征區(qū)域并能夠?qū)嵤└咚偬幚?。再有，邊緣象素的檢測(cè)中有各種方法，并且是非常通用的方法。而且， 當(dāng)提取特征點(diǎn)時(shí)，可以將邊緣檢測(cè)后的數(shù)據(jù)和規(guī)k提取對(duì)象進(jìn)行比較，其 適用于與圖像和邊緣象素?zé)o關(guān)的所有圖像數(shù)據(jù)。由于特征區(qū)域的判定也將 特征點(diǎn)的數(shù)目作為指標(biāo)，判斷對(duì)象是可適用于與圖像和邊緣象素?zé)o關(guān)的所 有圖像數(shù)據(jù)。因此，沒(méi)有如上述現(xiàn)有技術(shù)例子那樣在連接邊緣象素時(shí)形成 閉曲線的前提，本發(fā)明是能夠適用于所有圖像的非常通用的方法。在邊緣象素檢測(cè)裝置中可以采用各種方法，例如為能夠檢測(cè)圖像數(shù)據(jù)中的邊緣象素，通過(guò)使用Sobel過(guò)濾器、Prewitt過(guò)濾器、Roberts過(guò)濾器、 Laplacian過(guò)濾器等各種過(guò)濾器來(lái)算出某個(gè)象素的邊緣程度(灰度值梯度)， 并且通過(guò)判定該邊緣程度是否超過(guò)規(guī)定閾值來(lái)判定是否是邊緣的方法。顯 然，作為閾值，是可以根據(jù)應(yīng)該作為邊緣檢測(cè)出的圖像梯度來(lái)適當(dāng)調(diào)整， 檢測(cè)對(duì)象的圖像數(shù)據(jù)的顏色不被特別限定。即，當(dāng)用每個(gè)顏色成分的灰度 值來(lái)表現(xiàn)顏色時(shí)可以對(duì)各個(gè)顏色檢測(cè)出邊緣， 一旦算出各個(gè)象素的亮度值 之后也可以檢測(cè)出該亮度值的邊緣。
在特征點(diǎn)提取裝置中，可以判定由邊緣象素和其周圍象素形成的圖形 是否近似于規(guī)定的提取對(duì)象。這里，作為邊緣象素周圍的象素，由于是邊 緣象素或者是非邊緣象素，因此當(dāng)考慮是否形成了圖形時(shí)，在采用通過(guò)將 邊緣象素作為"1"、將非邊緣象素作為"0"來(lái)判定是否是近似于規(guī)定提取對(duì)象圖形的結(jié)構(gòu)之后，可以簡(jiǎn)單和高速地實(shí)施處理。為了處理的簡(jiǎn)單化和高速化，優(yōu)選準(zhǔn)備作為規(guī)定提取對(duì)象圖形的預(yù)定 圖形和優(yōu)選存儲(chǔ)點(diǎn)陣形狀的過(guò)濾器?！熠啵绻A(yù)先存儲(chǔ)通過(guò)表示邊緣象素 的過(guò)濾器值和表示非邊緣象素的過(guò)濾器值形成了構(gòu)成提取對(duì)象的圖形的 過(guò)濾器，則能夠容易地將使邊緣象素作為"1"非邊緣象素作為"0"的邊 緣檢測(cè)數(shù)據(jù)和規(guī)定提取對(duì)象圖形進(jìn)行對(duì)照。在對(duì)照時(shí)，可以采用各種構(gòu)成， 但是例如也可采用通過(guò)重復(fù)邊緣檢測(cè)數(shù)據(jù)和過(guò)濾器來(lái)算出表示是否是邊緣象素的值(l或者0)和過(guò)濾器值之間的與(AND)的構(gòu)成。作為對(duì)照，能夠判定邊緣檢測(cè)數(shù)據(jù)所形成的圖形是否是接近于規(guī)定提 取對(duì)象圖形，也能夠采用諸如判定過(guò)濾器值和邊緣檢測(cè)數(shù)據(jù)相一致的數(shù)目是否是規(guī)定數(shù)或者以上的結(jié)構(gòu)。更具體地，可以采用這種結(jié)構(gòu)當(dāng)表示邊 緣象素即過(guò)濾器中心象素周圍的兩個(gè)或者以上位置的邊緣象素的過(guò)濾器 值和上述邊緣檢測(cè)數(shù)據(jù)的邊緣象素吻合時(shí)將該中心的邊緣象素作為特征 點(diǎn)。顯然，所謂兩個(gè)以上位置的條件是一個(gè)例子，根據(jù)通過(guò)在作為特征點(diǎn) 提取時(shí)的精度和特征點(diǎn)數(shù)的多少來(lái)調(diào)整處理速度的意圖，可以改變?cè)摋l 件。作為用于提取特征點(diǎn)設(shè)定的規(guī)定提取對(duì)象圖形，也能夠采用各種圖 形。即，在該提取對(duì)象圖形多個(gè)存在于圖像內(nèi)的某個(gè)區(qū)域時(shí)，可以將該區(qū) 域與其他區(qū)域區(qū)別開，根據(jù)該意圖使得帶有該區(qū)域的特征，并且作為特征區(qū)域提取出。作為例子，優(yōu)選采用當(dāng)邊緣形成了90。以上和不足180。的 角時(shí)的圖形。即，圖像內(nèi)不變化的部位例如空的和單色墻面的圖像缺乏變 化，使得對(duì)這類圖像標(biāo)記特征是困難的。為了使得對(duì)圖像標(biāo)記特征，優(yōu)選地，與其說(shuō)邊緣是缺乏變化的部位， 還不如說(shuō)邊緣上最具有特征，并且，在自然畫面中，將該特征被多個(gè)發(fā)現(xiàn) 的那種部位作為提取對(duì)象。因此，如果將邊緣形成角的部位作為提取對(duì)象， 則能夠?qū)⑦吘壗嵌嗟牟课惶崛∽鳛閳D像內(nèi)的特征部位。這里，鑒于邊緣不
可是180°的角以及90。角在實(shí)際圖像內(nèi)不多以及難以提取之類的狀況，因此角作為卯。以上和不足180°的角。盡管可以檢測(cè)關(guān)于O。 90°的 邊緣，但噪音多，產(chǎn)生很多無(wú)效處理。根據(jù)申請(qǐng)人的實(shí)驗(yàn)，當(dāng)將135°角 作為提取對(duì)象的圖形時(shí)，在很多圖像內(nèi)檢測(cè)了很多的角。而且，即使作為用于形成上述提取對(duì)象圖形的過(guò)濾器也能夠采用各種 過(guò)濾器。例如，可以采用3X3象素和5X5象素等各種大小的，作為圖形 可形成各種圖形，以及預(yù)先設(shè)定多個(gè)過(guò)濾器等。作為用于實(shí)現(xiàn)高速和高精 度的優(yōu)選例子，在3X3象素的過(guò)濾器中，舉出了在除了中央象素的象素 中將鄰近的4個(gè)象素作為邊緣象素的過(guò)濾器值和將鄰近的其他4個(gè)象素作 為非邊緣象素的過(guò)濾器值的例子。艮P，如果是3X3象素，由于具有盡管為小象素?cái)?shù)的面積，也能夠表 達(dá)規(guī)定的圖形，并可以通過(guò)少的處理來(lái)實(shí)施對(duì)照。而且，過(guò)濾器中，在中 央象素表示邊緣以及中央以外鄰近的4象素表示邊緣象素時(shí)，在3X3象 素中，通過(guò)中央以外排列的3個(gè)邊緣象素和在包含中央的位置上排列的兩 個(gè)邊緣象素共計(jì)5個(gè)象素形成了 135°的角。通過(guò)該圖形，即使是3X3 象素這樣少的象素，也能夠形成90。以上和不足180。的角，并且能夠形 成可以提取多個(gè)特征點(diǎn)的提取對(duì)象圖形。因此，能夠高速和高精度地進(jìn)行 處理。在特征區(qū)域判定裝置中，能夠?qū)⑸鲜鰣D像內(nèi)該提取特征點(diǎn)很多分布的規(guī)定區(qū)域作為特征區(qū)域。例如，可以采用這種構(gòu)成預(yù)先判定特征區(qū)域的大小(縱向橫向的象素?cái)?shù))，當(dāng)將該大小的區(qū)域應(yīng)用于特征點(diǎn)很多分布的 區(qū)域中時(shí)將在該區(qū)域內(nèi)特征點(diǎn)最多分布的區(qū)域作為特征區(qū)域。而且，可以將圖像分割成規(guī)定象素?cái)?shù)的多個(gè)區(qū)域，當(dāng)該區(qū)域內(nèi)包含的 上述特征點(diǎn)數(shù)為規(guī)定閾值以上時(shí)將該區(qū)域作為上述特征區(qū)域。在這些構(gòu)成 中，從特征點(diǎn)很多分布的區(qū)域中可以進(jìn)一步限定特征區(qū)域，例如，可以算 出各個(gè)區(qū)域之每一個(gè)上所包含的象素之邊緣程度的平均值，并將平均值高 的區(qū)域作為特征區(qū)域。在該處理中，盡管疊加區(qū)域內(nèi)各個(gè)象素的邊緣程度， 但是由于該區(qū)域是從整個(gè)圖像中提取的有限數(shù)目的區(qū)域，因此與對(duì)于整個(gè) 圖像進(jìn)行處理的情況相比，其能夠高速地進(jìn)行處理。作為用于將本發(fā)明適用于在連接全景照片圖像時(shí)的連接位置檢索的
具體構(gòu)成，可以采用這種構(gòu)成其從多個(gè)圖像中的至少一個(gè)圖像中提取特 征區(qū)域，并且對(duì)照在其他圖像內(nèi)是否具有與該特征區(qū)域類似的區(qū)域。為此， 例如，通過(guò)上述圖像數(shù)據(jù)取得裝置取得第一和第二圖像數(shù)據(jù)。通過(guò)上述邊 緣象素檢測(cè)裝置和特征點(diǎn)提取裝置進(jìn)行對(duì)這些圖像的任何一個(gè)或者兩者 的處理。通過(guò)特征區(qū)域判定裝置，如果對(duì)上述第一圖像的特征點(diǎn)進(jìn)行處理，則 能夠提取第一圖像內(nèi)的特征區(qū)域。因此，如果對(duì)照該特征區(qū)域內(nèi)的象素和 上述第二圖像內(nèi)的象素，則能夠從第二圖像中提取出與第一圖像特征區(qū)域 吻合的區(qū)域。由于推斷所提取區(qū)域的圖像和特征區(qū)域的圖像幾乎是相同內(nèi) 容的圖像，因此通過(guò)該對(duì)照，從包含同一被攝體和可重合部位的多個(gè)圖像 中能夠容易且準(zhǔn)確地提取出重合的部位。這里，從第一圖像提取特征區(qū)域，以及能夠從第二圖像中提取出與該 特征區(qū)域吻合的部位，根據(jù)從第一圖像提取特征區(qū)域的意圖，邊緣象素檢 測(cè)裝置和特征點(diǎn)提取裝置的處理對(duì)象是第一圖像。顯然，在必須具有對(duì)照 時(shí)參考第二圖像內(nèi)特征點(diǎn)以及使用第二圖像內(nèi)特征區(qū)域等的情況下，可以 通過(guò)邊緣象素提取裝置和特征點(diǎn)提取裝置合適地執(zhí)行對(duì)第二圖像的處理。在區(qū)域?qū)φ昭b置中，能夠?qū)φ仗卣鲄^(qū)域內(nèi)的象素和上述第二圖像內(nèi)的 象素。即，通過(guò)在象素之間進(jìn)行對(duì)照，能夠在第二圖像內(nèi)提取出由類似于 特征區(qū)域內(nèi)象素之象素構(gòu)成的區(qū)域。作為用于實(shí)現(xiàn)該構(gòu)成的具體方法，可 以采用各種方法。例如，可以釆用能夠在象素的對(duì)照中判定第一圖像和第 二圖像內(nèi)的象素是否類似、以及比較象素之灰度值的構(gòu)成。就是說(shuō)，如果 灰度值的差異小，則能夠判定兩者類似。這里，灰度值差異小的判斷指標(biāo)是可以通過(guò)各種指標(biāo)來(lái)實(shí)現(xiàn)的。例如， 如果從第二圖像中提取與第一圖像特征區(qū)域吻合的多個(gè)候補(bǔ)區(qū)域，則能夠 通過(guò)判定灰度值差異是否是在規(guī)定閾值以下來(lái)提取候補(bǔ)區(qū)域。如果從第二 圖像中提取最接近第一圖像特征區(qū)域的區(qū)域，則可以通過(guò)提取出灰度值差 異變?yōu)樽钚〉膮^(qū)域來(lái)提取出作為目的的區(qū)域。顯然，作為在對(duì)照各個(gè)象素 時(shí)使用的灰度值，可以采用各種灰度值。例如，在用多個(gè)色成分之每一個(gè) 的灰度值來(lái)表達(dá)各個(gè)象素的顏色時(shí)，可以使用該色成分之每一個(gè)的灰度 值，并且可以使用表示各個(gè)象素之顏色值(亮度值、色度值、色調(diào)值等) 的灰度值。作為進(jìn)行對(duì)照時(shí)的具體方法，可以采用在上述第二圖像內(nèi)提取上述特 征區(qū)域和同等大小的比較對(duì)象區(qū)域、以及對(duì)照比較對(duì)象區(qū)域內(nèi)象素和特征 區(qū)域內(nèi)象素的構(gòu)成。這里，所謂同等大小的區(qū)域，就是象素?cái)?shù)基本相同的 區(qū)域。顯然，根據(jù)對(duì)照象素內(nèi)容的意圖，兩圖像必須是相同的比例尺。因 此，對(duì)于表示在相同狀況下攝影的照片的圖像數(shù)據(jù)，放大處理時(shí)就不進(jìn)行 縮小處理，并且可以比較相同象素?cái)?shù)的區(qū)域，當(dāng)比例尺不同時(shí)，通過(guò)對(duì)至 少一方的圖像實(shí)施放大處理或縮小處理后來(lái)進(jìn)行比較。如果根據(jù)同等大小來(lái)判定特征區(qū)域和比較對(duì)象區(qū)域，對(duì)于兩者象素的 灰度值，通過(guò)算出在對(duì)應(yīng)位置的象素之間的差分，能夠評(píng)價(jià)兩區(qū)域的類似 度。因此，如果通過(guò)疊加這些差分的大小來(lái)作為對(duì)照值，則能夠通過(guò)該對(duì) 照值客觀地評(píng)價(jià)兩區(qū)域的類似度。即，該對(duì)照值越小，就能夠評(píng)價(jià)這兩區(qū) 域越類似。當(dāng)通過(guò)區(qū)域?qū)φ昭b置進(jìn)行對(duì)照時(shí)，也可以采用參考特征點(diǎn)的構(gòu)成。例 如，可以采用這種構(gòu)成為了做成通過(guò)在特征點(diǎn)的象素之間進(jìn)行對(duì)照來(lái)提 取與特征區(qū)域吻合的區(qū)域，在上述特征區(qū)域內(nèi)的象素是上述特征點(diǎn)時(shí)，在 上述比較對(duì)象區(qū)域內(nèi)提取出與該特征點(diǎn)位置相當(dāng)?shù)南笏睾推渲車笏?，?且當(dāng)這些象素是特征點(diǎn)時(shí)，將其灰度值和上述特征區(qū)域內(nèi)特征點(diǎn)的灰度值 的差分大小加到上述對(duì)照值。就是說(shuō)，當(dāng)上述特征區(qū)域內(nèi)的象素是上述特征點(diǎn)時(shí)，在上述比較對(duì)象 區(qū)域內(nèi)提取與該特征點(diǎn)位置相當(dāng)?shù)南笏睾推渲車南笏?，并判定這些象素 是否是特征點(diǎn)。當(dāng)這些象素是特征點(diǎn)時(shí)，算出特征點(diǎn)的象素之間灰度值的 差分大小。如果表示對(duì)照值越小各個(gè)區(qū)域越類似，則能夠根據(jù)特征點(diǎn)之間 的差分大小相加來(lái)算出反映特征點(diǎn)之間比較結(jié)果的對(duì)照值。當(dāng)疊加對(duì)照值時(shí)，如果特征點(diǎn)之外的點(diǎn)做到?jīng)]有實(shí)質(zhì)貢獻(xiàn)(諸如不進(jìn) 行計(jì)算或者如果是特征點(diǎn)以外則使對(duì)照值相加值做成最大值(灰度值差分 的最大值)等)，則可以只基于特征點(diǎn)來(lái)實(shí)施對(duì)照。通過(guò)在上述比較對(duì)象 區(qū)域內(nèi)提取與該特征點(diǎn)位置相當(dāng)?shù)南笏卦偌由掀渲車笏?，能夠提高?duì)照 結(jié)果的可靠性。即，盡管在不同圖像當(dāng)中被重合的區(qū)域之間，在各個(gè)區(qū)域 之間對(duì)應(yīng)位置的象素的灰度值變成基本相同，但是象素位置完全對(duì)應(yīng)不是 限定性的，在象素單位中，也有產(chǎn)生稍微偏差的時(shí)候。例如，在照片象素的重合中，由于諸如攝影裝置中透鏡像差的種種影 響，即使對(duì)同一被攝體，也能夠產(chǎn)生象素位置的相對(duì)偏差。因此，通過(guò)在 比較對(duì)象區(qū)域內(nèi)提取與特征點(diǎn)位置相當(dāng)?shù)南笏卦偌由掀渲車南笏兀軌?更可靠地提取與特征區(qū)域內(nèi)的特征點(diǎn)相對(duì)應(yīng)的比較對(duì)象區(qū)域內(nèi)的特征點(diǎn) 并進(jìn)行對(duì)照。當(dāng)提取與特征點(diǎn)位置相當(dāng)?shù)南笏刂車南笏貢r(shí)，只要在以相 當(dāng)于特征點(diǎn)位置的象素為中心提取例如3X3象素量等，預(yù)先確定被提取 的象素即可。為了如上述在第二圖像中參考特征點(diǎn)，有必要如上述通過(guò)邊緣象素提 取裝置和特征點(diǎn)提取裝置來(lái)對(duì)第二圖像進(jìn)行處理。如上述，如果能夠通過(guò) 區(qū)域?qū)φ昭b置來(lái)提取與上述特征區(qū)域吻合的第二圖像內(nèi)的區(qū)域，通過(guò)重合 被對(duì)照的區(qū)域來(lái)結(jié)合第一圖像和第二圖像，則能夠一邊使合適的位置重合 一邊結(jié)合圖像。而且，可以通過(guò)邊緣象素提取裝置和特征點(diǎn)提取裝置來(lái)對(duì)第二圖像進(jìn) 行處理，并且構(gòu)成通過(guò)特征區(qū)域判定裝置來(lái)提取第二圖像中的特征區(qū)域， 以及基于在第一圖像和第二圖像中提取的特征區(qū)域來(lái)進(jìn)行對(duì)照。在區(qū)域?qū)?照裝置中，將在第一圖像內(nèi)提取的特征區(qū)域的象素和在上述第二圖像內(nèi)提 取的特征區(qū)域及其周邊區(qū)域內(nèi)的象素進(jìn)行對(duì)照。即，在第一圖像和第二圖 像重合的區(qū)域之間，由于區(qū)域內(nèi)各個(gè)象素的灰度值變成基本相同，通過(guò)對(duì) 第一圖像和第二圖像適用相同的算法所提取的特征區(qū)域是該重合的區(qū)域， 其可能性很高。另一方面，通過(guò)進(jìn)行包含在第二圖像中提取的特征區(qū)域周邊區(qū)域上的 對(duì)照，能夠可靠地提取與第一圖像特征區(qū)域吻合的第二圖像內(nèi)的區(qū)域。在 該對(duì)照中，在第二圖像提取的特征區(qū)域及其周邊的區(qū)域成為對(duì)照對(duì)象，不 必要將第二圖像的全部作為對(duì)照對(duì)象。因此，有可能一邊有效限定應(yīng)該對(duì) 照的區(qū)域一邊進(jìn)行對(duì)照，省去了無(wú)用對(duì)照，使得高速結(jié)束對(duì)照處理成為可 能。顯然，作為特征區(qū)域周邊的區(qū)域，可以預(yù)先確定成使得對(duì)于將特征區(qū)域作為中心在周圍N個(gè)象素(N是自然數(shù))以內(nèi)具有的區(qū)域進(jìn)行對(duì)照，并可以采用各種構(gòu)成。而且，可以作為這種構(gòu)成從第一圖像提取特征區(qū)域而不實(shí)施對(duì)每個(gè) 區(qū)域的對(duì)照處理來(lái)提取與第一圖像特定部分吻合的第二圖像內(nèi)區(qū)域即第 二圖像內(nèi)的特征區(qū)域。作為這種結(jié)構(gòu)例，可以采用通過(guò)邊緣象素提取裝置 和特征點(diǎn)提取裝置來(lái)執(zhí)行對(duì)第一圖像和第二圖像的處理以提取特征點(diǎn)并 且對(duì)照特征點(diǎn)分布的結(jié)構(gòu)。就是說(shuō)，通過(guò)基于第一圖像內(nèi)特征點(diǎn)來(lái)生成表示其分布圖形的分布圖 形數(shù)據(jù)以及基于該分布圖形數(shù)據(jù)來(lái)從第二圖像中提取與該分布圖形基本 吻合的特征點(diǎn)，有可能特定第一圖像和第二圖像相重合的部分。而且，用 于判定第二圖像內(nèi)特征點(diǎn)分布是否與分布圖形基本吻合的構(gòu)成可以采用 種種構(gòu)成。例如，可以采用這種構(gòu)成:通過(guò)特定特征點(diǎn)相對(duì)位置關(guān)系的數(shù)據(jù)來(lái)構(gòu) 成分布圖形數(shù)據(jù)， 一個(gè)一個(gè)地提取出第二圖像內(nèi)的特征點(diǎn)，以及將各個(gè)特 征點(diǎn)作為基點(diǎn)來(lái)判定在與分布圖形數(shù)據(jù)所表示的相對(duì)位置關(guān)系相同的位 置上是否存在特征點(diǎn)。顯然，在這里，通過(guò)包括與分布圖形數(shù)據(jù)所表示的 相對(duì)位置關(guān)系相同的位置再加上其周邊的位置，可以在第二圖像內(nèi)檢測(cè)有 無(wú)特征點(diǎn)。也可以采用這種構(gòu)成不僅判定在第二圖像內(nèi)按照上述分布圖形的特 征點(diǎn)是否存在，在特征點(diǎn)存在時(shí)還比較其象素的灰度值?？傊?，根據(jù)該構(gòu) 成，可以提取第一圖像的特征點(diǎn)，不實(shí)施對(duì)每個(gè)特征區(qū)域的對(duì)照，由此提 取在第一圖像和第二圖像中吻合的部位。顯然，作為從第二圖像提取的特 征區(qū)域，不局限于矩形區(qū)域，包含特征點(diǎn)的任何形狀的區(qū)域都可以成為特 征區(qū)域。可是，上述特征區(qū)域提取裝置可以有被單獨(dú)實(shí)施的情況，也可以有在 與某個(gè)設(shè)備組合的狀態(tài)下根據(jù)其他方法被實(shí)施的情況，作為發(fā)明思想，包 含了各種形式的情況，可以適當(dāng)變更。通過(guò)提取上述特征點(diǎn)并根據(jù)其分布 來(lái)判定特征區(qū)域的方法，在根據(jù)規(guī)定流程進(jìn)行處理的情況下，成為使發(fā)明 根本上存在于該流程中是當(dāng)然的。因此，作為方法本發(fā)明也是適用的。在 實(shí)施本發(fā)明時(shí)，也具有在特征區(qū)域提取裝置中執(zhí)行規(guī)定程序的情況。因此， 即使作為該程序也是適用的。顯然，不言而喻，本發(fā)明的其他優(yōu)選技術(shù)方案的構(gòu)成對(duì)應(yīng)于上述方法 和程序也是可能的。也可以使用任何記錄介質(zhì)來(lái)提供程序。例如，可以是
磁記錄介質(zhì)和磁光記錄介質(zhì)，今后開發(fā)的任何記錄介質(zhì)也能夠完全同樣地 考慮。 一部分由軟件一部分由硬件實(shí)現(xiàn)的情況不是與本發(fā)明的思想完全不 同的，還包括將一部分預(yù)先記錄在記錄介質(zhì)上根據(jù)需要來(lái)適當(dāng)讀入的形 式。毫無(wú)疑問(wèn)，對(duì)于一次拷貝、二次拷貝等拷貝階段也是相同的。


圖l是計(jì)算機(jī)系統(tǒng)的框圖。圖2是特征區(qū)域提取程序的功能框圖。圖3是表示圖形過(guò)濾器的例子的示意圖。圖4是根據(jù)特征區(qū)域提取程序的處理流程圖。圖5是說(shuō)明操作例的說(shuō)明圖。圖6是特征區(qū)域提取/結(jié)合程序的功能框圖。圖7是根據(jù)特征區(qū)域提取/結(jié)合程序的處理流程圖。圖8是表示對(duì)照/結(jié)合處理的流程圖。圖9是說(shuō)明操作例的說(shuō)明圖。圖IO是另一實(shí)施例中用于說(shuō)明操作例的說(shuō)明圖。圖11是另一實(shí)施例中用于說(shuō)明操作例的說(shuō)明圖。圖12是另一實(shí)施例中表示對(duì)照/結(jié)合處理的流程圖。
具體實(shí)施例方式
這里，根據(jù)下面的順序說(shuō)明本發(fā)明的實(shí)施方式。(1) 系統(tǒng)硬件構(gòu)成(2) 特征區(qū)域提取程序的構(gòu)成和處理(3) 特征區(qū)域提取處理的例子(4) 其他實(shí)施方式(5) 圖像的結(jié)合處理(1)系統(tǒng)硬件構(gòu)成 圖l用框圖表示了計(jì)算機(jī)系統(tǒng)，其執(zhí)行涉及本發(fā)明一實(shí)施方式的特征區(qū)域提取程序。圖中，計(jì)算機(jī)系統(tǒng)10作為圖像輸入裝置包括掃描器lla、
數(shù)字靜像攝像機(jī)llb和視頻攝像機(jī)llc，并連接到計(jì)算機(jī)主體12。各個(gè)輸 入裝置生成用點(diǎn)陣像素來(lái)表達(dá)圖像的圖像數(shù)據(jù)并可輸出到計(jì)算機(jī)主體12，這里，相同圖像數(shù)據(jù)通過(guò)在RGB三基色中分別用256灰度等級(jí)顯示而成 為可以表達(dá)1670萬(wàn)個(gè)顏色。在計(jì)算機(jī)主體12上連接了作為外部輔助存儲(chǔ)裝置的軟盤驅(qū)動(dòng)器13a、 硬盤13b和CD-ROM驅(qū)動(dòng)器13c。在硬盤13b上記錄了系統(tǒng)關(guān)聯(lián)的主要程 序，可以從軟盤13al和CD-ROM13cl等上讀入合適的必要程序和圖像數(shù) 據(jù)等。而且，調(diào)制解調(diào)器14a被連接作為用于將計(jì)算機(jī)主體12連接到諸如 外部網(wǎng)絡(luò)上的通信裝置，并且可以變成通過(guò)介入相同的公用通信線路而連 接到外部網(wǎng)絡(luò)以及下載和輸入軟件和圖像數(shù)據(jù)等。在本例中，盡管可以做 到介入電話線路通過(guò)調(diào)制解調(diào)器14a來(lái)訪問(wèn)外部，但也可以做成通過(guò)介入 LAN適配器對(duì)網(wǎng)絡(luò)進(jìn)行訪問(wèn)的結(jié)構(gòu)，以及通過(guò)介入路由器(router)來(lái)訪 問(wèn)外部線路。此外，還連接了計(jì)算機(jī)主體12的操作所使用的鍵盤15a和 鼠標(biāo)15b。作為圖像輸出裝置，包括顯示器17a和彩色打印機(jī)17b。關(guān)于顯示器 17a，其具有水平方向1024個(gè)象素以及垂直方向768個(gè)象素的顯示區(qū)域， 在每個(gè)象素上都可以顯示上述1670萬(wàn)個(gè)顏色。當(dāng)然，該清晰度只不過(guò)為 一例，其可以進(jìn)行合適的變更，例如為640X480象素以及800X600象素 等。另一方面，在通過(guò)使用這種圖像輸入裝置輸入圖像的同時(shí)，為了在圖 像輸出裝置上顯示或者輸出，在計(jì)算機(jī)主體12內(nèi)可以執(zhí)行規(guī)定的程序。 其中，作為基本程序而運(yùn)行的是操作系統(tǒng)(OS) 12a，在該操作系統(tǒng)12a 上安裝了用于在顯示器17a上實(shí)現(xiàn)顯示的顯示驅(qū)動(dòng)器(DSPDRV) 12b和 用于在彩色打印機(jī)17b上實(shí)現(xiàn)打印輸出的打印機(jī)驅(qū)動(dòng)器(PRTDRV) 12c。 該驅(qū)動(dòng)器12b， 12c的類型依賴于顯示器17a和彩色打印機(jī)17b的種類， 根據(jù)各個(gè)種類，可對(duì)操作系統(tǒng)12附加變更。還可做成能夠依賴于種類而 實(shí)現(xiàn)在標(biāo)準(zhǔn)處理之上的附加功能。即，在如操作系統(tǒng)12a之類的標(biāo)準(zhǔn)系統(tǒng) 上維持通用的處理體系的同時(shí)，還能夠?qū)崿F(xiàn)在被容許范圍之內(nèi)的各種附加 處理。
當(dāng)然，作為執(zhí)行這種程序的前提，在計(jì)算機(jī)主體12內(nèi)還包括CPU12e、 ROM12f、 RAM12g和1/012h等，執(zhí)行運(yùn)算處理的CPU 12e將ROM 12f使用作為臨時(shí)工作區(qū)和設(shè)定存儲(chǔ)區(qū)，或者使用作為程序區(qū)，同時(shí)適當(dāng)?shù)貓?zhí) 行在RAM 12g上寫入的基本程序，以及控制通過(guò)介入I/O 12h所連接的外 部設(shè)備和內(nèi)部設(shè)備等。在作為該基本程序的操作系統(tǒng)12a上執(zhí)行應(yīng)用程序(APL) 12d。應(yīng)用 程序12d的處理內(nèi)容是各式各樣的，可以監(jiān)視作為操作裝置的鍵盤15a和 鼠標(biāo)15b的操作、在操作時(shí)通過(guò)適當(dāng)控制各種外部設(shè)備而執(zhí)行對(duì)應(yīng)的運(yùn)算 處理等，并且將處理結(jié)果顯示在顯示器17a上或者輸出到彩色打印機(jī)17b 上。這里，通過(guò)介入打印機(jī)驅(qū)動(dòng)器12c將應(yīng)用程序12d的處理結(jié)果作為打 印數(shù)據(jù)輸出在上述彩色打印機(jī)17b上，彩色打印機(jī)17b通過(guò)使用色墨將點(diǎn) 印在打印紙上而打印出對(duì)應(yīng)的文字和圖像。根據(jù)本發(fā)明的特征區(qū)域提取程 序還能夠作為上述的應(yīng)用程序12d提供，以及還能夠作為用于實(shí)現(xiàn)打印機(jī) 驅(qū)動(dòng)器12c、掃描器驅(qū)動(dòng)器以及應(yīng)用程序12d—部分功能的程序提供。根 據(jù)本發(fā)明的特征區(qū)域提取程序特別優(yōu)選適用于全景照片的合成程序和圖 像檢索程序。(2)特征區(qū)域提取程序的構(gòu)成和處理圖2表示特征區(qū)域提取程序的功能框圖和處理中使用的數(shù)據(jù)，圖3表 示圖形過(guò)濾器(pattern filter)的例子。圖4表示根據(jù)特征區(qū)域提取程序的 處理流程。下面，根據(jù)這些圖說(shuō)明程序的功能和處理。特征區(qū)域提取程序 20包括如圖2所示的圖像數(shù)據(jù)獲得模塊21、邊緣(edge)象素檢測(cè)模塊 22、特征點(diǎn)提取模塊23和特征區(qū)域判定模塊24。盡管圖中說(shuō)明了將構(gòu)成特征區(qū)域提取之對(duì)象的圖像數(shù)據(jù)保存在硬盤 13b中的例子，顯然，其也可以保存在其他介質(zhì)中，其可以是從數(shù)字靜像 攝像機(jī)llb等設(shè)備中獲得的數(shù)據(jù)，也可以是通過(guò)介入調(diào)制解調(diào)器14a而取 得的數(shù)據(jù)。當(dāng)開始特征區(qū)域提取程序20的處理時(shí)，圖像數(shù)據(jù)獲得模塊21 在步驟S100從硬盤13b中讀出圖像數(shù)據(jù)并臨時(shí)存儲(chǔ)在RAM 12g中(圖像 數(shù)據(jù)12gl)。在步驟S105，邊緣象素檢測(cè)模塊22對(duì)圖像數(shù)據(jù)12gl的各個(gè)象素應(yīng)用
規(guī)定的邊緣檢測(cè)過(guò)濾器。通過(guò)這，算出該應(yīng)用象素的邊緣程度，根據(jù)本實(shí)施方式，使各個(gè)象素的邊緣程度作為邊緣程度數(shù)據(jù)12g2存儲(chǔ)到RAM 12g 中。盡管邊緣程度是可以通過(guò)各種邊緣檢測(cè)過(guò)濾器算出，并且可以在過(guò)濾 器應(yīng)用之后進(jìn)行諸如標(biāo)準(zhǔn)化的各種處理，但不管如何，在該邊緣程度數(shù)據(jù) 12g2中也可以包括對(duì)每個(gè)象素表示該象素之邊緣梯度強(qiáng)弱的灰度值。在步驟Sl 10，邊緣象素檢測(cè)模塊22通過(guò)參考上述算出的邊緣程度數(shù) 據(jù)12g2來(lái)判定各個(gè)象素是否是邊緣。g卩，在本實(shí)施方式中，預(yù)先規(guī)定用 于附加判定是否是邊緣的閾值，通過(guò)將上述各個(gè)象素的邊緣程度和該閾值 進(jìn)行比較而將邊緣程度比閾值大的象素作為邊緣象素。在判定邊緣象素之 后，將用于表示各個(gè)象素是否是邊緣的邊緣檢測(cè)數(shù)據(jù)12g3保存在RAM 12g中。本實(shí)施方式中的邊緣檢測(cè)數(shù)據(jù)12g3是各個(gè)象素的2個(gè)二進(jìn)制位數(shù) 據(jù)，其用"1"表示是邊緣象素，用"0"表示不是邊緣象素。在步驟S115，判別是否將用于判定是否是邊緣象素的處理實(shí)施于上述 所取得的圖像數(shù)據(jù)12gl的全部象素中，當(dāng)在步驟S115判別出在全部象素 中實(shí)施該處理之前，重復(fù)步驟S105、 SllO。結(jié)果，對(duì)于上述圖像數(shù)據(jù)12gl 的所有象素，邊緣程度數(shù)據(jù)12g2和邊緣檢測(cè)數(shù)據(jù)12g3就成為分別表示邊 緣程度和是否是邊緣的數(shù)據(jù)。在步驟S120 S140，特征點(diǎn)提取模塊23對(duì)邊緣檢測(cè)數(shù)據(jù)12g3應(yīng)用 圖形過(guò)濾器數(shù)據(jù)12g4，在從邊緣象素中提取特征點(diǎn)的同時(shí)，將表示該特征 點(diǎn)的特征點(diǎn)數(shù)據(jù)12g5保存到RAM12g中。在本實(shí)施方式中，圖形過(guò)濾器 數(shù)據(jù)12g4是表示由邊緣象素和其周圍象素形成之圖形的過(guò)濾器數(shù)據(jù)，對(duì) 于3X3個(gè)象素的每個(gè)，其包括"1"或者"0"的數(shù)據(jù)。圖3表示在本實(shí)施方式中RAM 12g所保存的圖形過(guò)濾器數(shù)據(jù)所展示 的多個(gè)過(guò)濾器。在這些圖形過(guò)濾器中，"l"表示是邊緣象素，"0"表示 是非邊緣象素。這些圖形過(guò)濾器的中央全是"1"，而其周圍的8個(gè)象素， 在任何一個(gè)過(guò)濾器中有4個(gè)連續(xù)"1"和4個(gè)連續(xù)"0"。而且，對(duì)于"1" 或者"0"位置不同的過(guò)濾器，圖形過(guò)濾器數(shù)據(jù)12g4包括共計(jì)8個(gè)數(shù)據(jù)。圖中所示的圖形過(guò)濾器中，在"1"和"0"之間的邊界上，包括縱向 或者橫向連續(xù)的2個(gè)"1"、和相對(duì)中央的"1"而位于斜邊的"1"。因 此，"1"和"0"之間的邊界形成了 135°的角，在本實(shí)施方式中，可以
提取通過(guò)3X3個(gè)象素圖形過(guò)濾器的135°的角。特征點(diǎn)提取模塊23在步驟S120參考上述邊緣檢測(cè)數(shù)據(jù)12g3，對(duì)于邊 緣象素應(yīng)用上述圖形過(guò)濾器數(shù)據(jù)12g4。 g卩，使邊緣象素和上述圖3所示圖 形過(guò)濾器中央的象素重合。在步驟S125，用邊緣檢測(cè)數(shù)據(jù)12g3和圖形過(guò) 濾器數(shù)據(jù)12g4比較與中央之周圍8象素(周邊象素)相關(guān)的值，并判別 相同位置的值雙方都是"1"的象素是否存在2處或者以上。即，判定圖 形過(guò)濾器和邊緣檢測(cè)數(shù)據(jù)12g3是否相近。由于相對(duì)邊緣象素應(yīng)用圖形過(guò)濾器數(shù)據(jù)12g4，根據(jù)邊緣檢測(cè)數(shù)據(jù)12g3 和圖形過(guò)濾器數(shù)據(jù)12g4，如果周邊象素中的值雙方都是"1"的象素為2 處或以上，則在3處或者以上的位置上一致為"1"。在本實(shí)施方式中， 當(dāng)滿足該條件時(shí)，邊緣檢測(cè)數(shù)據(jù)12g3內(nèi)的邊緣象素的周邊和圖形過(guò)濾器 形成的圖形相近。因此，根據(jù)上述條件，能夠判定在邊緣檢測(cè)數(shù)據(jù)12g3 形成的邊緣上是否存在近似為135°角的圖形。在步驟S125，當(dāng)判定在邊緣象素的周邊存在一致為兩個(gè)或者以上"l" 的地方時(shí)，在步驟S130將該邊緣象素登錄作為特征點(diǎn)。對(duì)于作為特征點(diǎn) 登錄的象素，將其假設(shè)為表示是特征點(diǎn)的標(biāo)志"1"，并將該數(shù)據(jù)作為特 征點(diǎn)數(shù)據(jù)12g5保存在RAM 12g上。特征點(diǎn)數(shù)據(jù)12g5可以至少包括特征 點(diǎn)位置和表示其是特征點(diǎn)的數(shù)據(jù)，除了在點(diǎn)陣數(shù)據(jù)中將特征點(diǎn)作為"1"、 將特征點(diǎn)之外的作為"0"的數(shù)據(jù)之外，其也能夠通過(guò)表示特征點(diǎn)坐標(biāo)的 數(shù)據(jù)構(gòu)成。在步驟S135，判別對(duì)邊緣檢測(cè)數(shù)據(jù)12g3中的全部邊緣象素是否應(yīng)用 圖形過(guò)濾器，當(dāng)判別出對(duì)全部邊緣象素應(yīng)用圖形過(guò)濾器時(shí)，對(duì)于一個(gè)圖形 過(guò)濾器，就重復(fù)步驟S120 S130的處理。而且，在步驟S140，對(duì)于圖3 所示圖形過(guò)濾器的全部，判別是否進(jìn)行了步驟S120 S135的處理，在判 別出對(duì)于圖形過(guò)濾器的全部進(jìn)行了步驟S120 S135的處理之前，重復(fù)步 驟S120 S135的處理。結(jié)果，獲得將形成了作為規(guī)定提取對(duì)象即135° 角的邊緣象素作為特征點(diǎn)取出的特征點(diǎn)數(shù)據(jù)12g5。在步驟S145 S160，特征區(qū)域判定模塊24通過(guò)參考特征點(diǎn)數(shù)據(jù)12g5 和邊緣程度數(shù)據(jù)12g2來(lái)提取特征區(qū)域。為此，首先在步驟S145，將圖像 分割成規(guī)定大小的區(qū)域。在步驟S150，參考上述特征點(diǎn)數(shù)據(jù)12g5，在被 分割的每個(gè)區(qū)域上測(cè)量特征點(diǎn)的數(shù)量，以及提取在各個(gè)區(qū)域之內(nèi)特征點(diǎn)有 OC個(gè)或者以上的區(qū)域。這里，Ot是預(yù)先確定的閾值。艮P，通過(guò)閾值a判別來(lái)限定包含特征點(diǎn)多的區(qū)域數(shù)以及縮小候補(bǔ)的特 征區(qū)域。在步驟S155，參考上述邊緣程度數(shù)據(jù)12g2，將在上述步驟S150 提取的各個(gè)區(qū)域內(nèi)存在的象素邊緣程度疊加，并算出其平均值。然后，在 步驟S160，將該平均值為(3或者以上的區(qū)域作為特征區(qū)域，將圖像內(nèi)表示 特征區(qū)域位置的特征區(qū)域數(shù)據(jù)12g6保存在RAM 12g中。這里，(3是預(yù)定 的閾值。(3)特征區(qū)域提取處理例子下面，說(shuō)明根據(jù)上述構(gòu)成和處理的操作例。圖5是對(duì)于圖像數(shù)據(jù)12gl 用于說(shuō)明提取特征區(qū)域之情況的說(shuō)明示意圖，其是將山作為被攝體的照 片。邊緣象素檢測(cè)模塊22通過(guò)將邊緣檢測(cè)過(guò)濾器應(yīng)用于該圖像數(shù)據(jù)來(lái)生 成邊緣程度數(shù)據(jù)12g2和邊緣檢測(cè)數(shù)據(jù)12g3。盡管圖5中將Sobel過(guò)濾器 表示作為邊緣檢測(cè)過(guò)濾器，顯然，作為過(guò)濾器，能夠采用除此之外的各種 過(guò)濾器。盡管在邊緣程度數(shù)據(jù)12g2和在邊緣檢測(cè)數(shù)據(jù)12g3中都可以展示從圖 像數(shù)據(jù)12gl中檢測(cè)的邊緣，但邊緣程度數(shù)據(jù)12g2提供了對(duì)于各個(gè)象素用 于表示邊緣梯度的灰度值，是各個(gè)象素為8位的數(shù)據(jù)。對(duì)于邊緣象素，變 成圖中所示為"230"的大灰度值，對(duì)于非邊緣象素，變成圖中所示為"O" 的小灰度值。特征點(diǎn)提取模塊23參考邊緣檢測(cè)數(shù)據(jù)12g3對(duì)邊緣象素應(yīng)用圖形過(guò)濾 器數(shù)據(jù)12g4。結(jié)果生成的特征點(diǎn)數(shù)據(jù)12g5是點(diǎn)陣數(shù)據(jù)，如圖5所示，其 在邊緣象素中，將其周邊象素與圖形過(guò)濾器所示圖形相近的象素用"1" 表示，將特征點(diǎn)以外的象素用"0"表示。圖5的特征點(diǎn)數(shù)據(jù)12g5通過(guò)將 特征點(diǎn)用黑點(diǎn)、將與邊緣部位相當(dāng)?shù)奈恢糜锰摼€來(lái)表示出。根據(jù)上述處理， 從圖像數(shù)據(jù)中縮小了候補(bǔ)的特征區(qū)域。即，圖像內(nèi)作為特征與其他部位有 差別的部位被限定成存在特征點(diǎn)的部位?？梢詮脑撓薅ǖ牟课恢姓嬲匠?特征部位，而不必要進(jìn)行過(guò)多的探索處理。特征區(qū)域判定模塊24將圖像分割成每個(gè)規(guī)定的區(qū)域，抽出各個(gè)分割 區(qū)內(nèi)的特征點(diǎn)有a個(gè)或者以上的區(qū)域，如圖5最下面所示。圖中，將各個(gè) 分割區(qū)用虛線表示，抽出的區(qū)域用實(shí)線表示。該圖表示了當(dāng)抽出特征點(diǎn)有 2個(gè)或者以上的區(qū)域時(shí)的例子。在本實(shí)施方式中，算出所提取的各個(gè)區(qū)域 內(nèi)的邊緣程度的平均值。將該平均值為P或者以上的區(qū)域假設(shè)為特征區(qū)域。 圖5中，作為特征區(qū)域被提取的區(qū)域用粗實(shí)線表示。如上述，在本實(shí)施方式中，將整個(gè)象素作為對(duì)象進(jìn)行的處理只是邊緣 檢測(cè)，邊緣檢測(cè)是通過(guò)很多數(shù)目的象素過(guò)濾器而進(jìn)行的運(yùn)算。對(duì)于其他處 理，處理對(duì)象是圖像當(dāng)中的極少一部分，諸如為邊緣象素和特征點(diǎn)等。因 此，作為整體其能夠進(jìn)行非常高速的處理。 (4)其他實(shí)施方式上述特征區(qū)域提取處理的結(jié)構(gòu)和處理是一個(gè)例子，采用其他各種結(jié)構(gòu)也是可以的。例如，盡管圖5的例子將各個(gè)數(shù)據(jù)假設(shè)為點(diǎn)陣狀的象素?cái)?shù)據(jù)，但也可以是表示所檢測(cè)邊緣和特征點(diǎn)之坐標(biāo)的數(shù)據(jù)。如果采用這種數(shù)據(jù)， 很多情況下能夠減少數(shù)據(jù)容量。顯然，采用其他的數(shù)據(jù)形式也是可以的。 當(dāng)提取特征區(qū)域時(shí)，盡管通過(guò)分割圖像來(lái)測(cè)量該分割區(qū)內(nèi)的特征點(diǎn)數(shù)，但也可以在特征點(diǎn)數(shù)據(jù)12g5中提取特征點(diǎn)分布多的部位并對(duì)于該部 位將規(guī)定大小的區(qū)域假設(shè)為特征區(qū)域。而且，在上述實(shí)施方式中，盡管將 邊緣程度之平均值大的區(qū)域假設(shè)為特征區(qū)域，但是不使用該條件，也可以 將特征點(diǎn)數(shù)多的區(qū)域假設(shè)為特征區(qū)域。在上述實(shí)施方式中，盡管使用了用于判定特征點(diǎn)是否多的閾值以及使 用了用于判定邊緣程度之平均值是否大的閾值，但是顯然這些數(shù)值不是特 別限定性的。在使用閾值的結(jié)構(gòu)以外，也可以判定特征點(diǎn)數(shù)和邊緣程度之 平均值是否是最大，或者采用諸如采用直到上一級(jí)3位為止的各種結(jié)構(gòu)。 如果根據(jù)前者，則能夠提取一處最特征的區(qū)域，如果根據(jù)后者，則能夠提 取多個(gè)特征區(qū)域。而且，即使將圖形過(guò)濾器應(yīng)用于邊緣象素且判定是否形成了規(guī)定提取 對(duì)象圖形的結(jié)構(gòu)，也可以采用各種結(jié)構(gòu)。例如，圖形過(guò)濾器中，可以構(gòu)成 為不是只對(duì)照過(guò)濾器的值"1"，也可以構(gòu)成使得對(duì)照"0"。這樣，通過(guò) 變更條件，能夠調(diào)整規(guī)定提取對(duì)象的提取精度。本發(fā)明能夠應(yīng)用于各種情況。例如，當(dāng)在如上述全景照片合成時(shí)所連 接照片之間識(shí)別相符區(qū)域的情況下，當(dāng)對(duì)兩個(gè)圖像實(shí)施根據(jù)本發(fā)明的特征
區(qū)域提取程序后，兩圖像中作為特征區(qū)域被提取的區(qū)域相符。因此，可以 容易地識(shí)別用于連接兩者的位置。這種情況下，即使調(diào)整上述閾值以便提取多個(gè)特征區(qū)域，通過(guò)分配在 一個(gè)圖像左側(cè)和另一個(gè)圖像右側(cè)中的特征區(qū)域是應(yīng)該相符之類的條件等， 也能夠提高識(shí)別相符區(qū)域的精度。除此之外，也能夠分配其他各種條件， 諸如將在兩圖像中提取的特征區(qū)域的特征點(diǎn)數(shù)和邊緣程度的平均值進(jìn)行 比較，并將具有最相似值的區(qū)域假設(shè)為相符區(qū)域等。另一方面，將本發(fā)明應(yīng)用于圖像檢索也是可以的。例如，當(dāng)檢索包含 與某個(gè)檢索源圖像相符或者類似之部位的圖像時(shí)，算出有關(guān)該檢索源圖像 的上述特征點(diǎn)的數(shù)后和邊緣程度的平均值，從而進(jìn)行提取有關(guān)該檢索對(duì)象 之圖像的特征區(qū)域的處理。由于算出了所得特征區(qū)域中的特征點(diǎn)數(shù)目和邊 緣程度平均值，因此將這些特征區(qū)域和上述檢索源圖像中的特征點(diǎn)數(shù)和邊 緣程度平均值進(jìn)行比較。如果存在特征點(diǎn)數(shù)和邊緣程度平均值相符的特征 區(qū)域，則可以將包含該特征區(qū)域的圖像作為檢索結(jié)果提示，如果存在構(gòu)成 相似之值的特征區(qū)域，則可以將包含該特征區(qū)域的圖像作為類似圖像提 示。(5)圖像的結(jié)合處理下面，說(shuō)明當(dāng)進(jìn)行多個(gè)圖像的連接時(shí)的實(shí)施例。圖6表示特征區(qū)域提 取/結(jié)合程序200的功能框圖和處理中使用的數(shù)據(jù)，其為當(dāng)提取特征區(qū)域之 后用于實(shí)施使2個(gè)圖像結(jié)合的結(jié)合處理。圖7表示根據(jù)特征區(qū)域提取/結(jié)合 程序的處理流程。下面，根據(jù)這些圖說(shuō)明程序的功能和處理。特征區(qū)域提 取/結(jié)合程序200的功能和處理與上述特征區(qū)域提取程序20相通用的部分 很多。因此，通用部分使用與上述圖2、圖4相同的符號(hào)表示，這里，重 點(diǎn)說(shuō)明不通用的部分。特征區(qū)域提取/結(jié)合程序200與圖2相同地包括圖像數(shù)據(jù)獲得模塊 21;邊緣象素檢測(cè)模塊22;特征點(diǎn)提取模塊23和特征區(qū)域判定模塊24， 除此之外還包括區(qū)域?qū)φ漳K250以及圖像結(jié)合模塊260。在本實(shí)施例 中，為了使2個(gè)圖像結(jié)合，將圖像數(shù)據(jù)130a和圖像數(shù)據(jù)130b保存在硬盤 13b上。將圖像數(shù)據(jù)130a代表的圖像在下面稱為圖像A，而將圖像數(shù)據(jù) 130b代表的圖像在下面稱為圖像B。在本實(shí)施例中，圖像A相當(dāng)于權(quán)利
要求書中的第l圖像，圖像B相當(dāng)于權(quán)利要求書中的第2圖像。盡管在上述圖像數(shù)據(jù)獲得模塊21、邊緣象素檢測(cè)模塊22、特征點(diǎn)提 取模塊23和特征區(qū)域判定模塊24中實(shí)施與上述圖2所示特征區(qū)域提取程 序20同樣的處理，但在本實(shí)施例中，將2個(gè)圖像數(shù)據(jù)假設(shè)為處理對(duì)象。 即，圖像數(shù)據(jù)獲得模塊21在步驟S100'從硬盤13b中讀出圖像數(shù)據(jù)130a， 130b并將其臨時(shí)存儲(chǔ)在RAM12g中(圖像數(shù)據(jù)121a， 121b)。這樣，處理對(duì)象成為2幅圖像。邊緣象素檢測(cè)模塊22和特征點(diǎn)提取 模塊23通過(guò)步驟S105 S142進(jìn)行因圖像數(shù)據(jù)121a， 121b造成的處理。 這里，步驟S105 S142的處理是與上述圖4所示的處理相同。S卩，在步 驟S105 S142的一次循環(huán)中，邊緣象素檢測(cè)模塊22基于上述圖像數(shù)據(jù) 121a檢測(cè)出圖像A的邊緣程度而作為邊緣程度數(shù)據(jù)122a和邊緣檢測(cè)數(shù)據(jù) 123a，特征點(diǎn)提取模塊23基于邊緣檢測(cè)數(shù)據(jù)123a和圖形過(guò)濾器數(shù)據(jù)12g4 來(lái)提取特征點(diǎn)而作為特征點(diǎn)數(shù)據(jù)125a。當(dāng)基于圖像數(shù)據(jù)121a的處理結(jié)束后，在步驟S142判別有關(guān)圖像數(shù)據(jù) 121b (圖像B)的處理沒(méi)有結(jié)束，則在步驟S144將處理對(duì)象切換到圖像 數(shù)據(jù)121b并返回到步驟S105。結(jié)果，邊緣象素檢測(cè)模塊22生成邊緣程度 數(shù)據(jù)122b和邊緣檢測(cè)數(shù)據(jù)123b，特征點(diǎn)提取模塊23生成特征點(diǎn)數(shù)據(jù)125b。在本實(shí)施例中，提取只針對(duì)圖像A的特征區(qū)域，以及檢索在圖像B 內(nèi)是否存在與該特征區(qū)域一致的區(qū)域。為此，在步驟S145' 步驟S160' 的處理中，圖像A是處理對(duì)象。S卩，特征區(qū)域判定模塊24在步驟S145' 將圖像分割成規(guī)定大小的區(qū)域。在步驟S150，參考上述特征點(diǎn)數(shù)據(jù)125a 而對(duì)該被分割的每個(gè)區(qū)域測(cè)量特征點(diǎn)數(shù)目，并且在各個(gè)區(qū)域內(nèi)提取出特征 點(diǎn)有a個(gè)或者以上的區(qū)域。在步驟S155，還參考上述邊緣程度數(shù)據(jù)122a， 疊加在上述步驟S150中被提取的各個(gè)區(qū)域內(nèi)存在的象素的邊緣程度，并 算出其平均值。然后，在步驟S160'，將該平均值為P或者以上的區(qū)域假定為圖像A的 特征區(qū)域SA，并將圖像A之特征區(qū)域的坐標(biāo)(表述為SA (X， Y))所 代表的特征區(qū)域數(shù)據(jù)126a保存在RAM12g中。在本實(shí)施例中，作為上述 特征點(diǎn)數(shù)據(jù)125a被提取的特征點(diǎn)數(shù)目和上述閾值a不是特別限定的，當(dāng)結(jié) 合自然畫圖像時(shí)，可以將其調(diào)整到各種值，例如上述被提取的特征點(diǎn)數(shù)目 可以變?yōu)?00 300個(gè)，或者使閾值a成為10 30個(gè)等。由于調(diào)整被提取 的特征點(diǎn)數(shù)目，因此能夠?qū)崿F(xiàn)調(diào)整用于在上述步驟S110中判定是否是邊 緣象素的閾值。能夠根據(jù)坐標(biāo)SA (X， Y)來(lái)識(shí)別特征區(qū)域，但本實(shí)施例 設(shè)想預(yù)定大小的矩形并指定其角坐標(biāo)。顯然，可以設(shè)想矩形的特征區(qū)域并 指定該矩形對(duì)角的坐標(biāo)，可以采用各種結(jié)構(gòu)。如上述，如果生成表示圖像A特征區(qū)域的特征區(qū)域數(shù)據(jù)126a，則上 述區(qū)域?qū)φ漳K250和圖像結(jié)合模塊260在步驟S165實(shí)施圖像A、圖像B 的對(duì)照/結(jié)合處理。圖8是表示對(duì)照/結(jié)合處理的流程圖。區(qū)域?qū)φ漳K250 是參考上述特征區(qū)域數(shù)據(jù)126a和特征點(diǎn)數(shù)據(jù)125a， 125b并從圖像B中提 取合乎特征區(qū)域SA之區(qū)域的模塊，其實(shí)施步驟S200 步驟S280的處理。在步驟S200，在圖像B中，為了將與特征區(qū)域SA相同大小的區(qū)域設(shè) 定作為候補(bǔ)區(qū)域SB，將候補(bǔ)區(qū)域的位置坐標(biāo)SB (X， Y)設(shè)定作為變量 并將其坐標(biāo)初始為(0， 0)。而且，通過(guò)設(shè)定用于置換特征區(qū)域SA內(nèi)象 素和候補(bǔ)區(qū)SB內(nèi)象素之對(duì)照值最小值的最小對(duì)照值變量MO并且置換作 為對(duì)照值可獲得值的最大值來(lái)進(jìn)行初始化。這里，對(duì)照值是疊加區(qū)域內(nèi)各 個(gè)象素灰度值之差的值，由于當(dāng)灰度值用8位表達(dá)時(shí)灰度值變成0 255， 因此對(duì)照值的最大值是256X (區(qū)域內(nèi)象素?cái)?shù))。在步驟S205，將坐標(biāo)偏移(offset) (1， J)設(shè)定作為表示用于指定特 征區(qū)域SA內(nèi)象素和候補(bǔ)區(qū)SB內(nèi)象素之位置的坐標(biāo)，并將該值初始化到 (0， 0)。設(shè)定用于替換對(duì)各個(gè)區(qū)域所計(jì)算的對(duì)照值的對(duì)照值變量M,并 將該值初始化到0。在步驟S210，設(shè)定在對(duì)照象素時(shí)用于替換每個(gè)象素的 差值的差值變量V，通過(guò)替換作為差值所取得值的最大值來(lái)初始化。在這 里，差值是象素灰度值的差，當(dāng)用8位來(lái)表示灰度值時(shí)，由于灰度值變成 0 255，最大值是255。在本實(shí)施方式中，與特征區(qū)域SA內(nèi)特定象素相比較的候補(bǔ)區(qū)SB內(nèi) 的象素并不局限于與該特定象素對(duì)應(yīng)位置的象素，也可對(duì)照包含其周邊的 象素。因此，在步驟S210，設(shè)定用于指定該周邊象素的周邊象素變量(K， L)，并將其值初始化到(0， 0)。在步驟S215，參考表示象素A之特征 點(diǎn)的特征點(diǎn)數(shù)據(jù)125a和特征區(qū)域數(shù)據(jù)126a，判別坐標(biāo)SA (X+I， Y+J) 是否是特征點(diǎn)。
在該步驟S215，當(dāng)沒(méi)有判別出坐標(biāo)SA (X+I， Y+J)是特征點(diǎn)時(shí)， 在步驟S250中，用對(duì)上述對(duì)照值變量M加上差值變量V的值來(lái)更新對(duì)照 值變量M。 g卩，當(dāng)算出對(duì)照值時(shí)，對(duì)于不是特征點(diǎn)的象素，不計(jì)算象素灰 度值的差分而加上差分值變量V的最大值。在步驟S215，當(dāng)判別出坐標(biāo) SA (X+I， Y+J)是特征點(diǎn)時(shí)，在步驟S220，參考表示圖像B之特征點(diǎn) 的特征點(diǎn)數(shù)據(jù)125b，判別坐標(biāo)SB (X+I+K， Y+J+L)是否是特征點(diǎn)。在步驟S220，當(dāng)沒(méi)有判別出坐標(biāo)SA (X+I+K， Y+J+L)是特征點(diǎn) 時(shí)，在步驟S240，將"一l， 0， 1"的任何一個(gè)代入K， L當(dāng)中的各個(gè)變 量中，并判別是否對(duì)所有的組合實(shí)施了處理。在步驟S240，如果沒(méi)有判別 出對(duì)整個(gè)組合實(shí)施了處理，則在步驟245進(jìn)行更新使得通過(guò)"一l， 0， 1" 的任何一個(gè)來(lái)變更(K， L)的值。并且重復(fù)步驟S220以后的處理。艮P，由于通過(guò)(K， L)的值是"一l， 0， 1"來(lái)對(duì)所有的任意組合實(shí) 施處理，對(duì)將坐標(biāo)SB (X+I， Y+J)作為中心的3X3象素就實(shí)施步驟 S220 S235的處理。由于坐標(biāo)SA和坐標(biāo)SB的任何一個(gè)也都指定了各個(gè) 區(qū)域的公用角(例如左上角等)，坐標(biāo)SA (X+I， Y+J)對(duì)特征區(qū)域SA 之角的相對(duì)位置關(guān)系和坐標(biāo)SB (X+I， Y十J)對(duì)候補(bǔ)區(qū)SB之角的相對(duì) 位置關(guān)系是一致的。因此，在本實(shí)施例中，不僅是與特征區(qū)域SA內(nèi)特征 點(diǎn)對(duì)應(yīng)的候補(bǔ)區(qū)SB內(nèi)的坐標(biāo)，而且通過(guò)包含該坐標(biāo)的周邊像素來(lái)判別是 否是特征點(diǎn)。在步驟S220,當(dāng)判別出坐標(biāo)SB (X+I+K， Y+J+L)是特征點(diǎn)時(shí)， 算出abs (PA (X+I， Y+J) —PB (X+I+K， Y+J+L)),并代入到差分 值的臨時(shí)變量VO。這里，abs表示絕對(duì)值，PA (X+I， Y+D代表坐標(biāo) SA (X + I， Y+J)之象素的灰度值，PB (X + I+K， Y+幵L)代表坐標(biāo) SB (X+I+K， Y+J+L)之象素的灰度值。作為各象素的灰度值，可以使用諸如在將各個(gè)象素用灰度表達(dá)成每個(gè) 顏色成分時(shí)的灰度值和在用灰度表達(dá)用于表示各個(gè)象素之顏色的顏色值 (亮度值、色度值、色調(diào)值等)時(shí)的灰度值的各種值。在步驟S220，當(dāng)沒(méi) 有判別出坐標(biāo)SB (X+I+K， Y+J+L)是特征點(diǎn)時(shí)，跳過(guò)步驟S225、 S230 而進(jìn)行步驟S240的判別。在步驟S230，判別差分值之臨時(shí)變量VO的值是否比上述每個(gè)象素之
差分值變量V小，當(dāng)判別出差分值之臨時(shí)變量V0的值是比上述每個(gè)象素之差分值變量V小時(shí)，在步驟S235將變量V0的值代入變量V。當(dāng)在步 驟S235判別出差分值之臨時(shí)變量V0的值不比上述每個(gè)象素之差分值變量 V小時(shí)，跳過(guò)步驟S235。在上述處理之后，進(jìn)行步驟S240的判別，當(dāng)在步驟S240判別出通過(guò) 選擇"一l， 0， 1"任何一個(gè)所生成的(K， L)的全部組合已經(jīng)實(shí)施了處 理之后，在步驟S250，用對(duì)上述對(duì)照值變量M加上差分值變量V的值來(lái) 更新對(duì)照值變量M。當(dāng)經(jīng)過(guò)步驟S220 S245的處理時(shí)，由于當(dāng)差分值之 臨時(shí)變量VO比差分值變量V更小時(shí)不進(jìn)行更新該變量V的處理，差分值 變量V在通過(guò)對(duì)照上述3X3象素所得的差分值之中將被代入最小的值。在步驟S255，判別區(qū)域內(nèi)的全部象素是否實(shí)施了上述處理，即對(duì)坐標(biāo) 偏移(1， J)，在通過(guò)使用直到I， J規(guī)定的上限值為止的任意值而獲得的 全部組合上是否實(shí)施了設(shè)定的處理，如果判別出對(duì)區(qū)域內(nèi)的全部象素己經(jīng) 實(shí)施了上述處理，則在步驟S260更新(1， J)和重復(fù)步驟S210以后的處 理。通過(guò)上述處理，對(duì)于特征區(qū)域SA內(nèi)的全部象素，并不算出與候補(bǔ)區(qū) 域SB內(nèi)象素的差分，而是進(jìn)行通過(guò)算出特征區(qū)域SA內(nèi)特征點(diǎn)和候補(bǔ)區(qū) 域SB內(nèi)特征點(diǎn)之間的差分并相加到對(duì)照值變量M的處理。在不是特征點(diǎn) 的情況下，將上述每個(gè)象素的差分最大值相加到對(duì)照值變量M。這個(gè)處理 的結(jié)果使得來(lái)自非特征點(diǎn)象素的貢獻(xiàn)全部構(gòu)成相同的值(最大值)。因此， 如果最終獲得的對(duì)照值M之值小的越小，則特征點(diǎn)象素的灰度值差就變 得越小。在步驟S265，判別對(duì)照值變量M的值是否是比最小對(duì)照值變量MO 的值還小，當(dāng)判別出對(duì)照值變量M的值是比最小對(duì)照值變量MO的值還小 時(shí)，將變量M的值作為是此時(shí)刻的最小值，并在步驟S270用變量M的值 更新變量MO。在本實(shí)施例中，將對(duì)照值成為最小值的候補(bǔ)區(qū)域SB看著 是與特征區(qū)域SA吻合的區(qū)域。因此，在步驟S270，將表示與特征區(qū)域 SA吻合之圖像B內(nèi)區(qū)域的對(duì)照位置坐標(biāo)SB (XO， YO)設(shè)定為變量，將 坐標(biāo)SB (X， Y)的值代入坐標(biāo)SB (XO， YO)。在驟S265，當(dāng)沒(méi)有判別出對(duì)照值變量M的值是比最小對(duì)照值變量M0的值還小時(shí)，將候補(bǔ)區(qū)域SB作為不與特征區(qū)域SA吻合并跳過(guò)步驟 S270。然后，在步驟S275中，判別圖像B全范圍內(nèi)的處理是否結(jié)束，即 判別對(duì)于在圖像B內(nèi)取得的全部坐標(biāo)是否已經(jīng)設(shè)定了候補(bǔ)區(qū)域位置的坐 標(biāo)SB (X，Y)，如果在該步驟S275判別出在圖像B全范圍內(nèi)的處理還沒(méi) 有結(jié)束，則在步驟S280更新坐標(biāo)SB (X，Y)并重復(fù)步驟S205以后的處理。通過(guò)步驟S275的判別，當(dāng)判別出在圖像B全范圍內(nèi)的處理己經(jīng)結(jié)束 時(shí)，則結(jié)束對(duì)于圖像B內(nèi)存在的候補(bǔ)區(qū)域的對(duì)照。對(duì)照的結(jié)果，成為最小 對(duì)照值M的區(qū)域坐標(biāo)變成了坐標(biāo)SB (XO， YO)。因此，通過(guò)該角坐標(biāo) SB (XO， YO)識(shí)別了與特征區(qū)域SA吻合的圖像B內(nèi)的區(qū)域。因此，在步驟S285，圖像結(jié)合模塊260接收該坐標(biāo)SB (XO， YO)， 并且通過(guò)參考上述特征區(qū)域數(shù)據(jù)126a取得坐標(biāo)SA (X， Y)，結(jié)合圖像 數(shù)據(jù)121a， 121b使得坐標(biāo)SA (X， Y)和坐標(biāo)SB (XO， YO)重合以及輸 出作為結(jié)合圖像數(shù)據(jù)。根據(jù)上述處理，使圖像A和圖像B中構(gòu)成相同內(nèi) 容的部分能夠正確地重合，同時(shí)能夠結(jié)合圖像。下面，說(shuō)明根據(jù)上述構(gòu)成和處理的操作例。圖9是說(shuō)明圖像A和圖像 B在適當(dāng)位置重合和結(jié)合情況的說(shuō)明圖，圖像A和圖像B是使山作為被攝 體的照片。圖中所示的圖像A構(gòu)成為前面有一座大山，該山后面可見(jiàn)另一 座山的山峰。圖像B構(gòu)成為將這些山的右側(cè)作為被攝體，而將前面的山偏 向圖像的左側(cè)，使得后面的山有很大的可見(jiàn)性。當(dāng)邊緣象素檢測(cè)模塊22和特征點(diǎn)提取模塊23基于表示這些圖像的圖 像數(shù)據(jù)121a， 121b進(jìn)行處理時(shí)，例如在山脊棱線上檢測(cè)出多個(gè)特征點(diǎn)。 盡管通過(guò)特征點(diǎn)數(shù)據(jù)125a， 125b表示特征點(diǎn)，但在這些數(shù)據(jù)中，對(duì)于點(diǎn) 陣形狀的各個(gè)象素，將使特征點(diǎn)為"1"，不是特征點(diǎn)的象素作為"0"。 因此，構(gòu)成了如在圖9第二段示意表示的數(shù)據(jù)。對(duì)于圖像A，通過(guò)特征區(qū)域判定模塊24提取特征區(qū)域，如圖9第三 段所示，確定特征區(qū)域SA左上角的坐標(biāo)SA (X， Y)。對(duì)于圖像B,通 過(guò)特征區(qū)域判定模塊24設(shè)定候補(bǔ)區(qū)域SB。區(qū)域?qū)φ漳K250 —邊改變候 補(bǔ)區(qū)域SB的位置即一邊掃描在圖像B內(nèi)的區(qū)域， 一邊算出對(duì)照值M。在 該掃描結(jié)束時(shí)刻，提供最小對(duì)照值MO的區(qū)域(坐標(biāo)SB (XO， YO))通 過(guò)與特征區(qū)域SA比較是特征點(diǎn)象素之灰度值之間差分為最小的區(qū)域。24 因此，如圖9所示，該坐標(biāo)SB (X0， Y0)的圖像和坐標(biāo)SA (X， Y) 的圖像相吻合，并且在圖像結(jié)合模塊260中，通過(guò)使該坐標(biāo)之間重合同時(shí) 使圖像A， B結(jié)合，能夠準(zhǔn)確地使圖像重合。在本實(shí)施例中，從圖像A中 提取特征點(diǎn)，并基于特征點(diǎn)判定圖像A的特征區(qū)域。因此，從圖像A中， 能夠容易且高速地提取構(gòu)成重合時(shí)之基準(zhǔn)的部位。在本實(shí)施方式中，對(duì)于在圖像A、圖像B中的這些特征點(diǎn)計(jì)算差分。 因此，不必要算出圖像A， B全部象素的差分和進(jìn)行諸如嘗試匹配的處理 就能夠進(jìn)行快速的處理。而且，通過(guò)提取邊緣來(lái)檢測(cè)特征點(diǎn)，即使是復(fù)雜 的圖像，也能夠容易且客觀地提取圖像的特征部分并基于該特征部分來(lái)進(jìn) 行用于圖像結(jié)合的對(duì)照。因此，能夠高精度和高速地實(shí)施處理。用于提取特征點(diǎn)并在多個(gè)圖像內(nèi)識(shí)別應(yīng)該結(jié)合的位置的處理不局限 于上述處理。例如，也可以是將通過(guò)候補(bǔ)區(qū)SB來(lái)進(jìn)行掃描的對(duì)象不假設(shè) 為圖像B的全體、而是構(gòu)成其一部分的結(jié)構(gòu)。更具體地，盡管可以通過(guò)與 上述圖6所示結(jié)構(gòu)幾乎相同的結(jié)構(gòu)來(lái)實(shí)現(xiàn)，但特征區(qū)域判定模塊24也提 取圖像A中的特征區(qū)域SA再加上圖像B中的特征區(qū)域SB'。作為特征 區(qū)域SB'，優(yōu)選通過(guò)調(diào)整用于作為比較對(duì)象的上述閾值oc和將平均邊緣程 度是規(guī)定閾值或者以上的區(qū)域假定為特征區(qū)域SB'等來(lái)提取多個(gè)區(qū)域。圖10表示對(duì)于上述圖9所示圖像A， B當(dāng)使用該實(shí)施例時(shí)的例子。 即，對(duì)于特征點(diǎn)數(shù)據(jù)，通過(guò)與圖6所示結(jié)構(gòu)相同的結(jié)構(gòu)來(lái)生成特征點(diǎn)數(shù)據(jù) 125a， 125b，通過(guò)特征區(qū)域判定模塊24提取特征區(qū)域SA、特征區(qū)域SB'。 這里，盡管通過(guò)與上述圖8幾乎相同的處理來(lái)進(jìn)行對(duì)照，但對(duì)于構(gòu)成作為 候補(bǔ)區(qū)域SB之掃描對(duì)象的區(qū)域可以是特征區(qū)域SB'和其周邊區(qū)域。例如， 將圖10所示的包圍特征區(qū)域SB'之四周的虛線作為掃描對(duì)象，并在步驟 S280中通過(guò)變更這種被限定區(qū)域內(nèi)的坐標(biāo)來(lái)進(jìn)行對(duì)照。艮P，如果利用在提取圖像A中特征區(qū)域時(shí)的算法，則可推斷從圖像B 中可以提取具有與該特征區(qū)域相同特征的區(qū)域。因此，如果對(duì)于圖像B使 用與圖像A相同的算法來(lái)提取圖像B中的特征區(qū)域，則不必要將整個(gè)圖 像B假定為候補(bǔ)區(qū)域，因此能夠非?？焖俚亟Y(jié)束處理。在圖10中，包含 了作為掃描對(duì)象的特征區(qū)域SB'的周邊，通過(guò)它能夠可靠地提取與特征區(qū) 域SA吻合的部位。顯然，根據(jù)所要求可靠性的程度，能夠調(diào)整作為特征
區(qū)域SB'周邊所應(yīng)該采用的區(qū)域的面積，以及也可以對(duì)于周邊區(qū)域采用不 進(jìn)行掃描的構(gòu)成。而且，如上述實(shí)施例那樣，對(duì)于諸如矩形等特定形狀區(qū)域內(nèi)的象素并 非必須是進(jìn)行對(duì)照的構(gòu)成。例如，通過(guò)特征點(diǎn)相對(duì)位置關(guān)系也可以檢測(cè)圖像A和圖像B中應(yīng)該吻合的部位。圖11是當(dāng)對(duì)于圖9所示圖像A， B適 用本實(shí)施例時(shí)的例子，圖12是說(shuō)明該處理的流程圖。該實(shí)施例也通過(guò)與 上述圖6的共同構(gòu)成來(lái)實(shí)現(xiàn)。艮口，通過(guò)圖6中的模塊處理算出圖像A的特征點(diǎn)數(shù)據(jù)125a和圖像B 的特征點(diǎn)數(shù)據(jù)125b，并算出圖像A中的特征區(qū)域SA。在圖11的左側(cè)， 放大示出了從圖像A提取的特征區(qū)域的例子。該放大圖中黑點(diǎn)是特征點(diǎn)。 在該實(shí)施方式中，區(qū)域?qū)φ漳K進(jìn)行與上述圖6所示區(qū)域?qū)φ漳K250不 同的處理。即，將特征區(qū)域SA內(nèi)特征點(diǎn)的分布圖形取得作為分布圖形數(shù) 據(jù)，從圖像B中提取成為該分布圖形的部位。為此，在本實(shí)施例中，區(qū)域?qū)φ漳K執(zhí)行圖12所示處理以代替圖8 所示處理。即，根據(jù)特征區(qū)域SA內(nèi)具有的特征點(diǎn)，提取位于最左側(cè)的象 素并假定坐標(biāo)A(XO， Y0)(步驟S1650)。接著，生成表示該坐標(biāo)A(XO， YO)和其他特征點(diǎn)之相對(duì)位置關(guān)系的分布圖形數(shù)據(jù)(步驟S1655)。例如，從坐標(biāo)A (XO， YO)朝向右側(cè)檢索特征點(diǎn)，如果特定出位于 在最初發(fā)現(xiàn)的特征點(diǎn)和坐標(biāo)A (XO， YO)之間的橫向象素?cái)?shù)(xa)和縱 向象素?cái)?shù)(yb)，則能夠描述兩者的相對(duì)位置關(guān)系。因此，對(duì)于當(dāng)從坐標(biāo) A (XO， YO)向著右側(cè)移動(dòng)時(shí)發(fā)現(xiàn)的特征點(diǎn)，如果將橫向象素?cái)?shù)和縱向象 素?cái)?shù)順序假定為(xa， ya) ， (xb， yb)，…，則能夠形成分布圖形數(shù)據(jù)。顯然，分布圖形數(shù)據(jù)的形式不局限于這種形式，不管如何，在生成分 布圖形數(shù)據(jù)之后，要基于這個(gè)分布圖形數(shù)據(jù)來(lái)與圖像B的特征點(diǎn)對(duì)照。即， 通過(guò)從特征點(diǎn)數(shù)據(jù)125b中提取一個(gè)特征點(diǎn)并將其坐標(biāo)代入坐標(biāo)b (XO， YO)(步驟S1660)。接著，在參考上述分布圖形數(shù)據(jù)以及位于該坐標(biāo)b (XO， YO)之右側(cè)的同時(shí)，依次提取相當(dāng)于特征區(qū)域SA內(nèi)特征點(diǎn)位置的 象素。即，依次進(jìn)行諸如通過(guò)將xa加到坐標(biāo)b (XO， YO)的x坐標(biāo)和將 ya加到y(tǒng)坐標(biāo)來(lái)特定象素的位置以及通過(guò)將油，yb加到該坐標(biāo)上來(lái)特定 象素位置的處理。然后，取得各個(gè)象素的灰度值，并與上述圖像A中的特
征點(diǎn)對(duì)照。即，在算出圖像A中各個(gè)特征點(diǎn)象素的灰度值和作為與各個(gè)特 征點(diǎn)對(duì)應(yīng)的象素即從圖像B中所提取象素的灰度值之間的差分的同時(shí)，疊加該差分值并假定為對(duì)照值M (步驟S1665)。如果算出了對(duì)照值M，則判別其是否比應(yīng)該代入最小對(duì)照值的變量 M0的值更小(步驟S1670)，當(dāng)判別出對(duì)照值M的值是比變量M0的值 更小時(shí)，將該變量M的值作為此時(shí)刻的最小值，并用變量M的值更新變 量M0 (步驟S1675)。此時(shí)，將坐標(biāo)b (X0， Y0)的值代入變量B (X0， Y0)，變量B (X0， Y0)是應(yīng)該代入與坐標(biāo)A (X0， Y0)應(yīng)該重合的圖 像B上的坐標(biāo)。在處理的開始階段，通過(guò)將充分大的值預(yù)先代入變量M0 來(lái)預(yù)先初始化。 . .在步驟S1680，判別是否結(jié)束了將圖像B內(nèi)全部特征點(diǎn)值作為坐標(biāo)b (XO， YO)的處理，在判別出全部特征點(diǎn)的處理結(jié)束之前，在步驟S1685 更新坐標(biāo)b (XO， YO)的同時(shí)，重復(fù)步驟S1665以后的處理。在上述重復(fù) 處理之后，作為坐標(biāo)B (XO， YO)之值被登錄的坐標(biāo)是圖像B內(nèi)的坐標(biāo)， 也是應(yīng)該與圖像A之坐標(biāo)A (XO， YO)重合的坐標(biāo)。因此，在圖像結(jié)合 模塊中，進(jìn)行一邊使坐標(biāo)A (XO， YO)和坐標(biāo)B (XO， YO)重合一邊結(jié) 合圖像A和圖像B的處理。根據(jù)上述處理，不用實(shí)施在圖像B內(nèi)形成預(yù)定大的區(qū)域和對(duì)該區(qū)域內(nèi) 的象素進(jìn)行對(duì)照那樣的處理，而有可能結(jié)合圖像A和圖像B。在本實(shí)施例 中，能夠通過(guò)從圖像A中提取在分布圖形中具有某種特征的部位來(lái)形成分 布圖形數(shù)據(jù)，而不必要進(jìn)行從圖像A中提取特征區(qū)域的處理。而且，上述 實(shí)施例不限定于2個(gè)圖像。例如，在其他圖像結(jié)合到某個(gè)圖像之左右的情 況下，就變成相對(duì)某個(gè)圖像來(lái)對(duì)照其他兩個(gè)圖像，在其他圖像結(jié)合到某個(gè) 圖像的上下左右的情況下，就變成相對(duì)某個(gè)圖像來(lái)對(duì)照其他四個(gè)圖像。工業(yè)實(shí)用性根據(jù)如上述說(shuō)明的本發(fā)明，當(dāng)實(shí)施用于檢索由數(shù)字?jǐn)z像機(jī)等產(chǎn)生的攝 像圖像或者其一部分的圖像檢索和在連接全景照片圖像之際的連接位置 檢索時(shí)，能夠提供用于實(shí)現(xiàn)在圖像內(nèi)檢索特征部位之功能和連接多個(gè)圖像 之功能的計(jì)算機(jī)等。
權(quán)利要求
1、一種特征區(qū)域提取裝置，包括圖像數(shù)據(jù)取得裝置，作為以點(diǎn)陣形狀的象素表現(xiàn)圖像的圖像數(shù)據(jù)，取得表示第一圖像的第一圖像數(shù)據(jù)和表示第二圖像的第二圖像數(shù)據(jù)；邊緣象素檢測(cè)裝置，基于該第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)之每一個(gè)來(lái)檢測(cè)圖像的邊緣象素；特征點(diǎn)提取裝置，當(dāng)由所檢測(cè)邊緣象素和其周圍象素形成的圖形接近于規(guī)定的提取對(duì)象時(shí)將該邊緣象素作為特征點(diǎn)，并分別提取第一圖像內(nèi)的特征點(diǎn)和第二圖像內(nèi)的特征點(diǎn)；分布圖形數(shù)據(jù)生成裝置，基于所述被提取第一圖像內(nèi)的特征點(diǎn)來(lái)生成表示該分布圖形的分布圖形數(shù)據(jù)；和特征區(qū)域確定裝置，參考被生成的分布圖形數(shù)據(jù)，將所述第二圖像內(nèi)特征點(diǎn)與該分布圖形基本吻合的區(qū)域提取作為特征區(qū)域。
2、 根據(jù)權(quán)利要求1所述的特征區(qū)域提取裝置，其特征在于，所述分 布圖形數(shù)據(jù)是用于特定特征點(diǎn)相對(duì)位置關(guān)系的數(shù)據(jù)。
3、 一種特征區(qū)域提取方法，其特征在于，包括 圖像數(shù)據(jù)取得步驟，作為以點(diǎn)陣形狀的象素表現(xiàn)圖像的圖像數(shù)據(jù)，取得表示第一圖像的第一圖像數(shù)據(jù)和表示第二圖像的第二圖像數(shù)據(jù)；邊緣象素檢測(cè)步驟，基于該第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)之每一個(gè)來(lái) 檢測(cè)圖像的邊緣象素；特征點(diǎn)提取步驟，當(dāng)由所檢測(cè)邊緣象素和其周圍象素形成的圖形接近 于規(guī)定的提取對(duì)象時(shí)將該邊緣象素作為特征點(diǎn)，并分別提取第一圖像內(nèi)的 特征點(diǎn)和第二圖像內(nèi)的特征點(diǎn)；分布圖形數(shù)據(jù)生成步驟，基于所述被提取第一圖像內(nèi)的特征點(diǎn)來(lái)生成 表示該分布圖形的分布圖形數(shù)據(jù)；和特征區(qū)域確定步驟，參考被生成的分布圖形數(shù)據(jù)，將所述第二圖像內(nèi) 特征點(diǎn)與該分布圖形基本吻合的區(qū)域提取作為特征區(qū)域。
全文摘要
在現(xiàn)有技術(shù)圖像檢索中，檢索精度不是足夠的。希望提供一種通用性高并可高速檢索特征部位的特征區(qū)域提取裝置，包括圖像數(shù)據(jù)取得裝置，取得第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)；邊緣象素檢測(cè)裝置，基于該第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)之每一個(gè)來(lái)檢測(cè)圖像的邊緣象素；特征點(diǎn)提取裝置，當(dāng)由所檢測(cè)邊緣象素和其周圍象素形成的圖形接近于規(guī)定的提取對(duì)象時(shí)將該邊緣象素作為特征點(diǎn)，并分別提取第一圖像內(nèi)的特征點(diǎn)和第二圖像內(nèi)的特征點(diǎn)；分布圖形數(shù)據(jù)生成裝置，基于被提取第一圖像內(nèi)的特征點(diǎn)來(lái)生成表示該分布圖形的分布圖形數(shù)據(jù)；和特征區(qū)域確定裝置，參考被生成的分布圖形數(shù)據(jù)，將第二圖像內(nèi)特征點(diǎn)與該分布圖形基本吻合的區(qū)域提取作為特征區(qū)域。
文檔編號(hào)G06K9/46GK101131767SQ20071010993
公開日2008年2月27日 申請(qǐng)日期2003年12月4日 優(yōu)先權(quán)日2002年12月5日
發(fā)明者大內(nèi)真 申請(qǐng)人:精工愛(ài)普生株式會(huì)社