專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和圖像處理方法。
背景技術(shù)：
JP-A-2011-13890 (專利文檔I)公開了一種在第二圖像內(nèi)規(guī)定與從第一圖像檢測(cè)到的特征點(diǎn)相對(duì)應(yīng)的相關(guān)特征點(diǎn)并基于所述特征點(diǎn)和相關(guān)特征點(diǎn)來組合第一圖像和第二圖像的技術(shù)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種即使當(dāng)?shù)诙D像包括具有與從第一圖像提取的特征點(diǎn)類似的特征的多個(gè)特征點(diǎn)時(shí)，也能夠規(guī)定第二圖像的與從第一圖像提取的特征點(diǎn)相對(duì)應(yīng)的特征點(diǎn)的技術(shù)。根據(jù)本發(fā)明的第一方面，提供一種圖像處理裝置，該圖像處理裝置包括:第一規(guī)定單元，其在從第二圖像提取出的多個(gè)第二特征點(diǎn)中規(guī)定用作與目標(biāo)第一特征點(diǎn)相對(duì)應(yīng)的所述第二特征點(diǎn)的候選的第二特征點(diǎn)候選，所述目標(biāo)第一特征點(diǎn)是從包括與字符相對(duì)應(yīng)的多個(gè)字符區(qū)域的第一圖像中提取出的多個(gè)第一特征點(diǎn)中的一個(gè)第一特征點(diǎn)，所述規(guī)定是基于代表所述目標(biāo)第一特征點(diǎn)處的圖像特征的特征計(jì)數(shù)與代表所述多個(gè)第二特征點(diǎn)中的每一個(gè)第二特征點(diǎn)處的圖像特征的特征計(jì)數(shù)之間的比較結(jié)果而做出的；第二規(guī)定單元，其針對(duì)所述多個(gè)第一特征點(diǎn)中的不同于所述目標(biāo)第一特征點(diǎn)的被包括在字符區(qū)域中的另一第一特征點(diǎn)在所述多個(gè)第二特征點(diǎn)中規(guī)定第二特征點(diǎn)候選，所述規(guī)定是基于代表所述另一第一特征點(diǎn)處的圖像特征的特征計(jì)數(shù)與代表所述多個(gè)第二特征點(diǎn)中的每一個(gè)第二特征點(diǎn)處的圖像特征的特征計(jì)數(shù)之間的比較結(jié)果而做出的；評(píng)估單元，其生成關(guān)于所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選的評(píng)估的評(píng)估信息，所述評(píng)估信息是基于所述另一第一特征點(diǎn)和所述目標(biāo)第一特征點(diǎn)的相對(duì)位置與所述另一第一特征點(diǎn)的所述第二特征點(diǎn)候選和所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選的相對(duì)位置之間的比較結(jié)果而生成的；以及設(shè)定單元，其根據(jù)所述評(píng)估信息將所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選設(shè)定為與所述目標(biāo)第一特征點(diǎn)相對(duì)應(yīng)的所述第二特征點(diǎn)。根據(jù)本發(fā)明的第二方面，在根據(jù)第一方面的圖像處理裝置中，所述評(píng)估單元可以基于從所述目標(biāo)第一特征點(diǎn)到所述另一第一特征點(diǎn)的方向相對(duì)于由所述目標(biāo)第一特征點(diǎn)處的所述特征計(jì)數(shù)指示的代表方向之間的角度與從所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選到所述另一第一特征點(diǎn)的所述第二特征點(diǎn)候選的方向相對(duì)于由所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選處的所述特征計(jì)數(shù)指示的代表方向的角度之間的比較結(jié)果而生成所述評(píng)估信息。根據(jù)本發(fā)明的第三方面，在根據(jù)第一方面或第二方面的圖像處理裝置中，所述另一第一特征點(diǎn)可以是位于與包括所述目標(biāo)第一特征點(diǎn)的所述字符區(qū)域不同的行或列中的字符區(qū)域中包括的第一特征點(diǎn)。
根據(jù)本發(fā)明的第四方面，在根據(jù)第一方面或第二方面的圖像處理裝置中，所述另一第一特征點(diǎn)可以是對(duì)應(yīng)于與包括所述目標(biāo)第一特征點(diǎn)的所述字符區(qū)域不同類型的字符的字符區(qū)域中包括的第一特征點(diǎn)。根據(jù)本發(fā)明的第五方面，提供一種圖像處理方法，該圖像處理方法包括以下步驟:第一規(guī)定步驟，該第一規(guī)定步驟在從第二圖像提取出的多個(gè)第二特征點(diǎn)中規(guī)定用作與目標(biāo)第一特征點(diǎn)相對(duì)應(yīng)的所述第二特征點(diǎn)的候選的第二特征點(diǎn)候選，所述目標(biāo)第一特征點(diǎn)是從包括與字符相對(duì)應(yīng)的多個(gè)字符區(qū)域的第一圖像中提取出的多個(gè)第一特征點(diǎn)中的一個(gè)第一特征點(diǎn)，所述規(guī)定是基于代表所述目標(biāo)第一特征點(diǎn)處的圖像特征的特征計(jì)數(shù)與代表所述多個(gè)第二特征點(diǎn)中的每一個(gè)第二特征點(diǎn)處的圖像特征的特征計(jì)數(shù)之間的比較結(jié)果而做出的；第二規(guī)定步驟，該第二規(guī)定步驟針對(duì)所述多個(gè)第一特征點(diǎn)中的不同于所述目標(biāo)第一特征點(diǎn)的被包括在字符區(qū)域中的另一第一特征點(diǎn)在所述多個(gè)第二特征點(diǎn)中規(guī)定第二特征點(diǎn)候選，所述規(guī)定是基于代表所述另一第一特征點(diǎn)處的圖像特征的所述特征計(jì)數(shù)與代表所述多個(gè)第二特征點(diǎn)中的每一個(gè)第二特征點(diǎn)處的圖像特征的所述特征計(jì)數(shù)之間的比較結(jié)果而做出的；評(píng)估步驟，該評(píng)估步驟生成關(guān)于所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選的評(píng)估的評(píng)估信息，所述評(píng)估信息是基于所述另一第一特征點(diǎn)和所述目標(biāo)第一特征點(diǎn)的相對(duì)位置與所述另一第一特征點(diǎn)的所述第二特征點(diǎn)候選和所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選的相對(duì)位置之間的比較結(jié)果而生成的；以及設(shè)定步驟，該設(shè)定步驟根據(jù)所述評(píng)估信息將所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選設(shè)定為與所述目標(biāo)第一特征點(diǎn)相對(duì)應(yīng)的所述第二特征點(diǎn)。根據(jù)上述圖像處理裝置和存儲(chǔ)了根據(jù)第一到第五方面的程序的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，即使當(dāng)?shù)诙D像包括具有與從第一圖像提取出的特征點(diǎn)類似的特征的多個(gè)特征點(diǎn)時(shí)，也能夠規(guī)定與從第一圖像提取出的特征點(diǎn)相對(duì)應(yīng)的第二圖像的特征點(diǎn)。根據(jù)第二方面到第四方面的圖像處理裝置，與不包括上述構(gòu)造的情況相比，能夠更準(zhǔn)確地規(guī)定第二圖像的與從第一圖像提取出的特征點(diǎn)相對(duì)應(yīng)的特征點(diǎn)。


將基于以下附圖詳細(xì)描述本發(fā)明的示例性實(shí)施方式，其中:圖1是例示圖像處理裝置的構(gòu)造的圖；圖2A是例示第一文檔圖像的圖；圖2B是例示第二文檔圖像的圖；圖2C是例示文檔的圖；圖3A是例示特征點(diǎn)的圖；圖3B是例示特征點(diǎn)之間的對(duì)應(yīng)性的圖；圖4A是例示圖像處理裝置執(zhí)行的處理的流程圖；圖4B是例示圖像處理裝置執(zhí)行的處理的流程圖；圖4C是例示圖像處理裝置執(zhí)行的處理的流程圖；圖5A是例示第一特征點(diǎn)的圖；圖5B是例示第二特征點(diǎn)的圖；圖6是例示方向向量和角的圖；以及
圖7是例示由圖像處理裝置實(shí)現(xiàn)的功能的功能框圖。
具體實(shí)施例方式下面將參照附圖詳細(xì)地描述本發(fā)明的示例性實(shí)施方式。圖1是例示根據(jù)本發(fā)明的示例性實(shí)施方式的圖像處理裝置2的構(gòu)造的圖。該圖像處理裝置2是通用計(jì)算機(jī)，并且包括控制單元4、主存儲(chǔ)器6、操作輸入單元8、顯示單元10和硬盤12。控制單元4是微處理器并且根據(jù)主存儲(chǔ)器6中存儲(chǔ)的程序執(zhí)行各種類型的信息處理。主儲(chǔ)存器6存儲(chǔ)程序。程序可以被從諸如DVD (注冊(cè)商標(biāo))-ROM計(jì)算機(jī)可讀信息存儲(chǔ)介質(zhì)讀取并存儲(chǔ)在主存儲(chǔ)器6中，并且可以從通信網(wǎng)絡(luò)提供并存儲(chǔ)在主存儲(chǔ)器6中。另外，在信息處理過程中必要的各種類型的數(shù)據(jù)存儲(chǔ)在主存儲(chǔ)器6中。操作輸入單元8是允許用戶進(jìn)行輸入操作的接口，例如鍵盤和鼠標(biāo)。操作輸入單元8向控制單元4輸出代表用戶執(zhí)行的操作輸入的信號(hào)。另外，顯示單元10是CRT顯示器或液晶顯示器，并且輸出從控制單元4輸入的信息。硬盤12存儲(chǔ)各種類型的信息。在本示例性實(shí)施方式的情況下，作為位像的第一文檔圖像14a和第二文檔圖像14b存儲(chǔ)在硬盤12中。圖2A例示了第一文檔圖像14a，圖2B例示了第二文檔圖像14b。陰影線部分代表背景。如圖2A和圖2B所例示，圖2C中例示的文檔的左部出現(xiàn)在第一文檔圖像14a中，并且該文檔的右部出現(xiàn)在第二文檔圖像14b中。一些部分既出現(xiàn)在第一文檔圖像14a中也出現(xiàn)在第二文檔圖像14b中。在第一文檔圖像14a和第二文檔圖像14b中設(shè)定了坐標(biāo)軸X和Y。在圖像處理裝置2中，從第一文檔圖像14a和第二文檔圖像14b中提取出了特征點(diǎn)。圖3A例示了提取出的特征點(diǎn)的一部分。各個(gè)點(diǎn)代表特征點(diǎn)。另外，在第一文檔圖像14a與第二文檔圖像14b之間獲得相似特征計(jì)數(shù)的特征點(diǎn)彼此相關(guān)。也就是說，在第二文檔圖像14b內(nèi)規(guī)定了與從第一文檔圖像14a中提取出的各個(gè)特征點(diǎn)相對(duì)應(yīng)的第一特征點(diǎn)。圖3B例示了特征點(diǎn)之間的對(duì)應(yīng)性。另外，變換第一文檔圖像14a，使得一組關(guān)聯(lián)的特征點(diǎn)與另一組特征點(diǎn)相同，并且通過將變換的第一文檔圖像14a與第二文檔圖像14b組合起來而產(chǎn)生組合的文檔圖像。圖2C例示了組合的文檔圖像。在圖像處理裝置2中，即使當(dāng)?shù)诙臋n圖像14b包括具有與從第一文檔圖像14a中提取出的特征點(diǎn)相似的特征計(jì)數(shù)的多個(gè)特征點(diǎn)時(shí)(例如，第二文檔圖像14b包括第一文檔圖像14a中包括的多個(gè)字符(例如，字符“F”))，也非常準(zhǔn)確地規(guī)定與從第一文檔圖像14a中提取出的特征點(diǎn)相對(duì)應(yīng)的第一特征點(diǎn)。下面將對(duì)此進(jìn)行描述。圖4A、圖4B和圖4C是例示由圖像處理裝置2執(zhí)行的處理的流程圖。當(dāng)控制單元4根據(jù)程序操作時(shí)，附圖中例示的處理被執(zhí)行。首先，控制單元4從第一文檔圖像14a檢測(cè)多個(gè)特征點(diǎn)P1(在下文中稱為第一特征點(diǎn)P1)和代表各個(gè)特征點(diǎn)P1處的圖像特征的特征計(jì)數(shù)C1(SlOl),并且將第一特征點(diǎn)Pl的坐標(biāo)和特征計(jì)數(shù)C1存儲(chǔ)在主存儲(chǔ)器6中。在示例性實(shí)施方式中，控制單元4使用標(biāo)度不變特征變換(SIFT: Scale-1nvariant Feature Transform)法檢測(cè)第一特征點(diǎn)P1和特征計(jì)數(shù)C1。特征計(jì)數(shù)C1是所謂的SIFT特征計(jì)數(shù)，并且被表示為128個(gè)維度的多維向量。該多維向量對(duì)于圖像的旋轉(zhuǎn)和縮放是不變的。另外，多維向量指示的代表方向被稱為取向(orientation)。取向表示為二維向量。圖5A例示了第一特征點(diǎn)P1。箭頭代表取向。而且，按照類似于步驟SlOl的方式，控制單元4從第二文檔圖像14b檢測(cè)多個(gè)特征點(diǎn)P2 (在下文中稱為第二特征點(diǎn)P2)和代表各個(gè)特征點(diǎn)P2處的圖像特征的特征計(jì)數(shù)C2(S102),并且將第二特征點(diǎn)P2的坐標(biāo)和特征計(jì)數(shù)C2存儲(chǔ)在主存儲(chǔ)器6中。圖5B例示了第二特征點(diǎn)P2。另外，控制單元4執(zhí)行已知字符區(qū)域檢測(cè)處理(例如，形態(tài)(morphology)處理)以規(guī)定與第一文檔圖像中包括的各個(gè)字符相對(duì)應(yīng)的字符區(qū)域(S103)。例如，控制單元4把被特定字符的外接矩形占據(jù)的區(qū)域規(guī)定為與字符相對(duì)應(yīng)的字符區(qū)域。另外，控制單元4識(shí)別第一文檔圖像中包括的各個(gè)字符。另外，控制單元4從主存儲(chǔ)器6讀取字符區(qū)域中的任一個(gè)字符區(qū)域中包括的第一特征點(diǎn)P1i (i=l到NI)和第一特征點(diǎn)P1i處的特征計(jì)數(shù)C1i (S104)。第一特征點(diǎn)P1i (i=l到NI)對(duì)應(yīng)于“多個(gè)第一特征點(diǎn)”。另外，按照類似于步驟S103的方式，控制單元4規(guī)定與第二文檔圖像14b中包括的各個(gè)字符相對(duì)應(yīng)的字符區(qū)域(S105)。另外，控制單元4 (第二特征獲取單元)從主存儲(chǔ)器6讀取字符區(qū)域中的任一個(gè)字符區(qū)域中包括的第二特征點(diǎn)P21 (1=1到N2)和第二特征點(diǎn)P\處的特征計(jì)數(shù)C21 (S106)。第二特征點(diǎn)P\ (1=1到N2)對(duì)應(yīng)于“多個(gè)第二特征點(diǎn)”。另外，控制單元4針對(duì)作為處理目標(biāo)的每一個(gè)第一特征點(diǎn)P1JA行以下處理。用作處理目標(biāo)的第一特征點(diǎn)P1i對(duì)應(yīng)于“目標(biāo)第一特征點(diǎn)”。也就是說，控制單元4 (第一規(guī)定單元)規(guī)定多個(gè)第二特征點(diǎn)P21中的用作與第一特征點(diǎn)P1i相對(duì)應(yīng)的第二特征點(diǎn)P2的候選的第二特征點(diǎn)候選P2/S107)。具體地，控制單元4針對(duì)每一個(gè)第二特征點(diǎn)P21計(jì)算第二特征點(diǎn)P21處的特征計(jì)數(shù)C21 (多維向量)與特征計(jì)數(shù)C1i (多維向量)之間的歐氏距離，并且把歐式距離是閾值或小于閾值的第二特征點(diǎn)P21規(guī)定為第二特征點(diǎn)候選P2」。另外，控制單元4確定第二特征點(diǎn)候選P2j的數(shù)量N3是否是“I”(S108)。當(dāng)?shù)诙卣鼽c(diǎn)候選P2j的數(shù)量N3是“I”時(shí)(S108:是)，控制單元4將第二特征點(diǎn)候選P2j設(shè)定為與第一特征點(diǎn)P1i相對(duì)應(yīng)的第二特征點(diǎn)P2(S120)。具體地，控制單元4把第一特征點(diǎn)P1i與第二特征點(diǎn)候選P2j看做一組。另一方面，當(dāng)規(guī)定了多個(gè)第二特征點(diǎn)候選P2j時(shí)(步驟S108:否)，控制單元4在與包括第一特征點(diǎn)P1i的字符區(qū)域相距預(yù)定距離內(nèi)的多個(gè)字符區(qū)域中規(guī)定包括與包括第一特征點(diǎn)P1i的字符區(qū)域不同的字符的字符區(qū)域。例如，在圖5A例示的第一文檔圖像14a的情況下，假定從上側(cè)的字符“F”檢測(cè)到的第一特征點(diǎn)P1是要處理的目標(biāo)特征點(diǎn)P\。在此情況下，規(guī)定了從第二文檔圖像14b中包括的兩個(gè)字符“F”檢測(cè)到的兩個(gè)第二特征點(diǎn)P2作為第二特征點(diǎn)候選P2P因而，在步驟S109，在上側(cè)圍繞字符“F”的字符區(qū)域周圍的字符區(qū)域(也就是說，圍繞各個(gè)字符“A”、“B”、“C”、“E”、“G”、“ I ”、“ J”和“K”的字符區(qū)域)中，規(guī)定了包圍與字符“F”不同的各個(gè)字符“A”、“B ”、“ C”、“E ”、“G”、“ I ”、“ J”和“K”的字符區(qū)域。結(jié)果，還規(guī)定了上側(cè)上位于與包圍字符“F”的字符區(qū)域不同的行或列上的字符區(qū)域。另外，控制單元4規(guī)定多個(gè)特征點(diǎn)P1i中的在S109中規(guī)定的任意字符區(qū)域中包括的第一特征點(diǎn)P1k (k=l到N4) (SllO)0例如，在圖5A的情況下，從字符“C”檢測(cè)到的第一特征點(diǎn)P1和從字符“C”檢測(cè)到的第一特征點(diǎn)P1被規(guī)定為第一特征點(diǎn)P1k(另一第一特征點(diǎn))。另外，控制單元4將各個(gè)第二特征點(diǎn)候選P2j (j=l到N3)的評(píng)估值Vj (j=l到N3)初始化為“0”(S111)，并且對(duì)每一個(gè)第一特征點(diǎn)P1k執(zhí)行以下處理。也就是說，控制單元4 (第二規(guī)定單元)執(zhí)行與步驟S107相同的處理來規(guī)定多個(gè)第二特征點(diǎn)P21中的用作與第一特征點(diǎn)P1k相對(duì)應(yīng)的第二特征點(diǎn)P2的候選的第二特征點(diǎn)候選P2m (m=l到N5) (S112)。另外，控制單元4計(jì)算從第一特征點(diǎn)P1i (目標(biāo)第一特征點(diǎn))延伸到第一特征點(diǎn)P1k (另一第一特征點(diǎn))的方向向量Vik (S113)。另外，在步驟S113中，控制單元4還計(jì)算第一特征點(diǎn)P1i與第一特征點(diǎn)P1k之間的距離dik。另外，控制單元4計(jì)算第一特征點(diǎn)P1i (目標(biāo)第一特征點(diǎn))處的特征計(jì)數(shù)C1i指示的取向上的順時(shí)針角eik(S114)。圖6例示了當(dāng)位于第一文檔圖像14a的上側(cè)的字符“F”是第一特征點(diǎn)P1i并且字符“F”的右上方的字符“C”是第一特征點(diǎn)P1k時(shí)的方向向量Vik和角0 ik。圖6例示的粗箭頭指示取向。另外,控制單元4對(duì)第二特征點(diǎn)候選P2j (j=l到N3)與第二特征點(diǎn)候選P2m (m=l到N5)的每一個(gè)組合執(zhí)行以下處理。也就是說，控制單元4計(jì)算從第二特征點(diǎn)候選(目標(biāo)第一特征點(diǎn)的第二特征點(diǎn)候選)向第二特征點(diǎn)候選P2m (另一第一特征點(diǎn)的第二特征點(diǎn)候選)延伸的方向向量Vjm(SI 15)。另外，在步驟SI 15，控制單元4還計(jì)算第二特征點(diǎn)候選P2j與第二特征點(diǎn)候選P2m之間的距離d>。另外，控制單元4計(jì)算方向向量Vjm在第二特征點(diǎn)P2j(目標(biāo)第一特征點(diǎn)的第二特征點(diǎn)候選)處的特征計(jì)數(shù)C2j指示的取向上的順時(shí)針角0 Jm (S116)。另外，控制單元4確定角0ik與角0>之間的差A(yù) 0是否是閾值角或更小，并且確定距離dik與距離之間 的差A(yù)d是否是閾值距離或更小(S117)。當(dāng)差A(yù) 0是閾值角或更小并且差A(yù)d是閾值距離或更小時(shí)(S117:是)，控制單元4 (評(píng)估單元)將評(píng)估值Vjl加“I” (SllS)0控制單元4可以在步驟S117中僅確定角0ik與角0jm之間的差A(yù) 0是否是閾值角或更小。當(dāng)角Qik與角9>之間的差A(yù) 0是閾值角或更小時(shí)，控制單元4可以在步驟SI 18中將評(píng)估值 ' 增加“ I ”。按此方式，當(dāng)確定了各個(gè)第二特征點(diǎn)候選P2j (j=l到N3)的評(píng)估值Vj時(shí)，控制單元4 (設(shè)定單元)將具有最大評(píng)估值 ' 的第二特征點(diǎn)候選設(shè)定為與第一特征點(diǎn)相對(duì)應(yīng)的第二特征點(diǎn)P2 (S119)。也就是說，控制單元4把第一特征點(diǎn)和具有最大評(píng)估值Vj的第二特征點(diǎn)候選看做一組。按此方式，當(dāng)設(shè)定了各個(gè)第一特征點(diǎn)P1i的對(duì)應(yīng)的第二特征點(diǎn)P2時(shí)，控制單元4從主存儲(chǔ)器6讀取未包括在任何字符區(qū)域內(nèi)的第一特征點(diǎn)P1n (n=l到N6)和第一特征點(diǎn)P1n處的特征計(jì)數(shù)CUS121)。另外，控制單元4從主存儲(chǔ)器6讀取未包括在任何字符區(qū)域內(nèi)的第二特征點(diǎn)P2q (q=l到N7)和第二特征點(diǎn)P2q處的特征計(jì)數(shù)C2q (S122)。步驟S121和S122旨在獲得從例如描繪了圖形的區(qū)域提取的特征點(diǎn)。另外，控制單元4對(duì)每一個(gè)第一特征點(diǎn)P11^A行以下處理。也就是說，按照類似于步驟S107的方式，控制單元4從多個(gè)第二特征點(diǎn)P2q中規(guī)定第一特征點(diǎn)P1n的第二特征點(diǎn)候選P2(S123)。由于沒有從描繪了圖像的區(qū)域提取出呈現(xiàn)相似圖像特征的多個(gè)特征點(diǎn)，因此在步驟S123中通常針對(duì)一個(gè)特征點(diǎn)P1n規(guī)定一個(gè)第二特征點(diǎn)候選P2。因此，控制單元4將在步驟S123中規(guī)定的第二特征點(diǎn)候選P2設(shè)定為與第一特征點(diǎn)P1n相對(duì)應(yīng)的第二特征點(diǎn)候選P2 (S124)。當(dāng)通過圖4A到圖4C例示的處理確定了從第一文檔圖像14a中提取出的各個(gè)第一特征點(diǎn)P1的對(duì)應(yīng)的第二特征點(diǎn)P2時(shí)，控制單元4計(jì)算變形參數(shù)以使得各個(gè)第一特征點(diǎn)P1與對(duì)應(yīng)的第二特征點(diǎn)P2相同。另外，控制單元4使用該變形參數(shù)將第一文檔圖像14a變形并且通過將變換的第一文檔圖像14a與第二文檔圖像14b組合起來而產(chǎn)生組合的文檔圖像(參見圖2C)。在圖像處理裝置2中，將呈現(xiàn)與各個(gè)第一特征點(diǎn)P1相似的圖像特征的第二特征點(diǎn)P2規(guī)定為第二特征點(diǎn)候選。當(dāng)存在特定第一特征點(diǎn)P1 (在下文中稱為目標(biāo)第一特征點(diǎn)P1)的多個(gè)第二特征點(diǎn)候選時(shí)，另一第一特征點(diǎn)P1和目標(biāo)第一特征點(diǎn)P1的相對(duì)位置被與“另一第一特征點(diǎn)P1的第二特征點(diǎn)候選”和“目標(biāo)第一特征點(diǎn)P1的第二特征點(diǎn)候選”的相對(duì)位置進(jìn)行比較?；谠摫容^結(jié)果，從目標(biāo)第一特征點(diǎn)P1的第二特征點(diǎn)候選中選擇出與目標(biāo)第一特征點(diǎn)P1相對(duì)應(yīng)的第二特征點(diǎn)P2。因而，即使當(dāng)從第二文檔圖像14b中提取出了呈現(xiàn)與從第一文檔圖像14a中提取出的特征點(diǎn)相似的特征的多個(gè)特征點(diǎn)時(shí)，也非常準(zhǔn)確地規(guī)定了與從第一文檔圖像14a中提取出的特征點(diǎn)相對(duì)應(yīng)的一個(gè)特征點(diǎn)。另外，另一第一特征點(diǎn)P1和目標(biāo)第一特征點(diǎn)的相對(duì)位置被表示為“從目標(biāo)第一特征點(diǎn)P1到另一第一特征點(diǎn)P1的方向”相對(duì)于“目標(biāo)第一特征點(diǎn)P1處的取向”的旋轉(zhuǎn)角。另外，“另一第一特征點(diǎn)P1的第二特征點(diǎn)候選”和“目標(biāo)第一特征點(diǎn)P1的第二特征點(diǎn)候選”的相對(duì)位置被表示為“從目標(biāo)第一特征點(diǎn)P1的第二特征點(diǎn)候選到另一第一特征點(diǎn)P1的第二特征點(diǎn)候選的方向”相對(duì)于“目標(biāo)第一特征點(diǎn)P1的第二特征點(diǎn)候選處的取向”的旋轉(zhuǎn)角。因而，與第一文檔圖像14a的方向無關(guān)地評(píng)估了另一第一特征點(diǎn)P1和目標(biāo)第一特征點(diǎn)P1的相對(duì)位置。類似地，與第二文檔圖像14b的方向無關(guān)地評(píng)估了 “另一第一特征點(diǎn)P1的第二特征點(diǎn)候選”和“目標(biāo)第一特征點(diǎn)P1的第二特征點(diǎn)候選”的相對(duì)位置。就此而言，非常準(zhǔn)確地規(guī)定了與從第一文檔圖像14a中提取出的特征點(diǎn)的一個(gè)特征點(diǎn)。如果第一文檔圖像14a的方向與第二文檔圖像14b的方向相同，則可以使用方向向量Vik (參見步驟S113)作為代表第一特征點(diǎn)P1k和第一特征點(diǎn)P1i的相對(duì)位置的信息，并且可以使用方向向量Vjm (參見步驟S115)作為代表“第一特征點(diǎn)P1k的第二特征點(diǎn)候選P2m和第一特征點(diǎn)P1i的第二特征點(diǎn)候選的相對(duì)位置”的信息。在此情況下，控制單元4可以在步驟S117中確定方向向量Vik與方向向量V#之間的角是否是閾值或更小，并且當(dāng)方向向量Vik和方向向量V#之間的角是閾值值或者更小時(shí)執(zhí)行步驟SI 18的處理。圖7是例示由圖像處理裝置2實(shí)現(xiàn)的功能的功能框圖。如圖7所例示，在圖像處理裝置2中，實(shí)現(xiàn)了第一特征點(diǎn)獲取單元16、第二特征點(diǎn)獲取單元18、匹配單元20、第二特征點(diǎn)候選規(guī)定單元22、相對(duì)位置計(jì)算單元24、評(píng)估單元26、設(shè)定單元28、參數(shù)計(jì)算單元30、幾何變換單元32和組合單元34。當(dāng)控制單元4根據(jù)程序操作時(shí)，實(shí)現(xiàn)了這些功能。第一特征點(diǎn)獲取單元16獲取第一文檔圖像14a中的任一個(gè)字符區(qū)域中包括的多個(gè)第一特征點(diǎn)P1i以及這些第一特征點(diǎn)P1i處的特征計(jì)數(shù)C1i (參見步驟S104)。另外，第二特征點(diǎn)獲取單元18獲取第二文檔圖像14b中的任一個(gè)字符區(qū)域中包括的多個(gè)第二特征點(diǎn)P21以及這些第二特征點(diǎn)P21處的特征計(jì)數(shù)C21 (參見步驟S106)。
匹配單元20針對(duì)每一個(gè)第一特征點(diǎn)P1i將多個(gè)第二特征點(diǎn)P21中的一個(gè)第二特征點(diǎn)P2設(shè)定為與第一特征點(diǎn)P1i相對(duì)應(yīng)一個(gè)第二特征點(diǎn)P2。也就是說，匹配單元20對(duì)作為目標(biāo)第一特征點(diǎn)P1i的每一個(gè)第一特征點(diǎn)P1i執(zhí)行以下處理。也就是說，第二特征點(diǎn)候選規(guī)定單元22基于目標(biāo)第一特征點(diǎn)P1i處的特征計(jì)數(shù)C1i與各個(gè)第二特征點(diǎn)P21中的每一個(gè)處的特征計(jì)數(shù)C21之間的比較結(jié)果，規(guī)定目標(biāo)第一特征點(diǎn)P1i的第二特征點(diǎn)候選A (參見步驟S107)。另外，第二特征點(diǎn)候選規(guī)定單元22基于第一特征點(diǎn)P1k處的特征計(jì)數(shù)C1k與各個(gè)第二特征點(diǎn)P21中的每一個(gè)處的特征計(jì)數(shù)C21之間的比較結(jié)果，規(guī)定“多個(gè)第一特征點(diǎn)P1i中的被包括在與第一目標(biāo)特征點(diǎn)P1不同的字符區(qū)域中的第一特征點(diǎn)P1,”的第二特征點(diǎn)候選P2m (參見步驟S112)。另外，相對(duì)位置計(jì)算單元24計(jì)算第一特征點(diǎn)P1k和目標(biāo)第一特征點(diǎn)P1i的相對(duì)位置。另外，相對(duì)位置計(jì)算單元24還計(jì)算“第一特征點(diǎn)P1k的第二特征點(diǎn)候選P2m”和“目標(biāo)第一特征點(diǎn)P1i的第二特征點(diǎn)候選P2/’的相對(duì)位置。在本示例性實(shí)施方式中，相對(duì)位置計(jì)算單元24計(jì)算角eik和角0jm (參見步驟SI 14和SI 16)。另外，評(píng)估單元26基于兩個(gè)相對(duì)位置之間的比較結(jié)果而生成關(guān)于目標(biāo)第一特征點(diǎn)P1i的第二特征點(diǎn)候選的評(píng)估的評(píng)估值 ' (參見步驟S117和S118)。另外，設(shè)定單元28根據(jù)評(píng)估值 ' 將第二特征點(diǎn)候選設(shè)定為與目標(biāo)第一特征點(diǎn)P1i相對(duì)應(yīng)的第二特征點(diǎn)P2 (參見步驟SI 19)。參數(shù)計(jì)算單元30計(jì)算用于使第一文檔圖像14a變形從而使各個(gè)第一特征點(diǎn)P1與對(duì)應(yīng)的第二特征點(diǎn)P2相同的變形參數(shù)(幾何變換參數(shù))。另外，幾何變換單元32使用該變形參數(shù)來變換第一文檔圖像14a的幾何形狀，并且組合單元24通過將變換了幾何形狀的第一文檔圖像14a與第二文檔圖像14b組合起來而產(chǎn)生組合的文檔圖像(參見圖2C)。本發(fā)明的不例性實(shí)施方式不限于以上描述的不例性實(shí)施方式。例如，特征計(jì)數(shù)可以是通過SURF (Speeded Up Robust Feature:快速魯棒特征)法獲取的SURF特征計(jì)數(shù)。出于解釋和說明的目的對(duì)本發(fā)明的示例性實(shí)施方式提供了前述描述。其目的不是窮舉性的，也不是將本發(fā)明限制于所公開的精確形式。顯然，許多修改和變型對(duì)于本領(lǐng)域的技術(shù)人員是明顯的。為了最佳地解釋本發(fā)明的原理及其實(shí)際應(yīng)用選擇并描述了這些實(shí)施方式，由此使得本領(lǐng)域的其他技術(shù)人員能夠?qū)Ω鞣N示例性實(shí)施方式并設(shè)想出適合具體應(yīng)用的各種修改來理解本發(fā)明針。旨在通過所附權(quán)利要求書及其等同物限定本發(fā)明的范圍。
權(quán)利要求
1.一種圖像處理裝置，該圖像處理裝置包括: 第一規(guī)定單元，其在從第二圖像中提取出的多個(gè)第二特征點(diǎn)中規(guī)定用作與目標(biāo)第一特征點(diǎn)相對(duì)應(yīng)的第二特征點(diǎn)的候選的第二特征點(diǎn)候選，所述目標(biāo)第一特征點(diǎn)是從包括與字符相對(duì)應(yīng)的多個(gè)字符區(qū)域的第一圖像中提取出的多個(gè)第一特征點(diǎn)中的一個(gè)第一特征點(diǎn)，所述規(guī)定是基于代表所述目標(biāo)第一特征點(diǎn)處的圖像特征的特征計(jì)數(shù)與代表所述多個(gè)第二特征點(diǎn)中的每一個(gè)第二特征點(diǎn)處的圖像特征的特征計(jì)數(shù)之間的比較結(jié)果而做出的； 第二規(guī)定單元，其針對(duì)所述多個(gè)第一特征點(diǎn)中的不同于所述目標(biāo)第一特征點(diǎn)的被包括在字符區(qū)域中的另一第一特征點(diǎn) 在所述多個(gè)第二特征點(diǎn)中規(guī)定第二特征點(diǎn)候選，所述規(guī)定是基于代表所述另一第一特征點(diǎn)處的圖像特征的特征計(jì)數(shù)與代表所述多個(gè)第二特征點(diǎn)中的每一個(gè)第二特征點(diǎn)處的圖像特征的特征計(jì)數(shù)之間的比較結(jié)果而做出的； 評(píng)估單元，其生成關(guān)于所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選的評(píng)估的評(píng)估信息，所述評(píng)估信息是基于所述另一第一特征點(diǎn)和所述目標(biāo)第一特征點(diǎn)的相對(duì)位置與所述另一第一特征點(diǎn)的所述第二特征點(diǎn)候選和所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選的相對(duì)位置之間的比較結(jié)果而生成的；以及 設(shè)定單元，其根據(jù)所述評(píng)估信息將所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選設(shè)定為與所述目標(biāo)第一特征點(diǎn)相對(duì)應(yīng)的所述第二特征點(diǎn)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述評(píng)估單元基于從所述目標(biāo)第一特征點(diǎn)到所述另一第一特征點(diǎn)的方向相對(duì)于由所述目標(biāo)第一特征點(diǎn)處的所述特征計(jì)數(shù)指示的代表方向之間的角度與從所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選到所述另一第一特征點(diǎn)的所述第二特征點(diǎn)候選的方向相對(duì)于由所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選處的所述特征計(jì)數(shù)指示的代表方向的角度之間的比較結(jié)果來生成所述評(píng)估信息。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 所述另一第一特征點(diǎn)是被包括在與包括所述目標(biāo)第一特征點(diǎn)的字符區(qū)域位于不同的行或列中的字符區(qū)域中的第一特征點(diǎn)。
4.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 所述另一第一特征點(diǎn)是被包括在對(duì)應(yīng)于與包括所述目標(biāo)第一特征點(diǎn)的字符區(qū)域不同類型的字符的字符區(qū)域中的第一特征點(diǎn)。
5.一種圖像處理方法，該圖像處理方法包括以下步驟: 第一規(guī)定步驟，該第一規(guī)定步驟在從第二圖像中提取出的多個(gè)第二特征點(diǎn)中規(guī)定用作與目標(biāo)第一特征點(diǎn)相對(duì)應(yīng)的第二特征點(diǎn)的候選的第二特征點(diǎn)候選，所述目標(biāo)第一特征點(diǎn)是從包括與字符相對(duì)應(yīng)的多個(gè)字符區(qū)域的第一圖像中提取出的多個(gè)第一特征點(diǎn)中的一個(gè)第一特征點(diǎn)，所述規(guī)定是基于代表所述目標(biāo)第一特征點(diǎn)處的圖像特征的特征計(jì)數(shù)與代表所述多個(gè)第二特征點(diǎn)中的每一個(gè)第二特征點(diǎn)處的圖像特征的特征計(jì)數(shù)之間的比較結(jié)果而做出的； 第二規(guī)定步驟，該第二規(guī)定步驟針對(duì)所述多個(gè)第一特征點(diǎn)中的不同于所述目標(biāo)第一特征點(diǎn)的被包括在字符區(qū)域中的另一第一特征點(diǎn)在所述多個(gè)第二特征點(diǎn)中規(guī)定第二特征點(diǎn)候選，所述規(guī)定是基于代表所述另一第一特征點(diǎn)處的圖像特征的特征計(jì)數(shù)與代表所述多個(gè)第二特征點(diǎn)中的每一個(gè)第二特征點(diǎn)處的圖像特征的特征計(jì)數(shù)之間的比較結(jié)果而做出的；評(píng)估步驟，該評(píng)估步驟生成關(guān)于所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選的評(píng)估的評(píng)估信息，所述評(píng)估信息是基于所述另一第一特征點(diǎn)和所述目標(biāo)第一特征點(diǎn)的相對(duì)位置與所述另一第一特征點(diǎn)的所述第二特征點(diǎn)候選和所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選的相對(duì)位置之間的比較結(jié)果而生成的；以及 設(shè)定步驟，該設(shè)定步驟根據(jù)所述評(píng)估信息將所述目標(biāo)第一特征點(diǎn)的所述第二特征點(diǎn)候選設(shè)定為與所述目標(biāo)第一特征點(diǎn)相對(duì)應(yīng)的所述第二特征點(diǎn)。
全文摘要
本發(fā)明涉及圖像處理裝置和圖像處理方法。一種圖像處理裝置包括第一規(guī)定單元，其規(guī)定第二特征點(diǎn)候選；第二規(guī)定單元，其規(guī)定第二特征點(diǎn)候選；評(píng)估單元，其基于另一第一特征點(diǎn)和目標(biāo)第一特征點(diǎn)的相對(duì)位置與另一第一特征點(diǎn)的第二特征點(diǎn)候選和目標(biāo)第一特征點(diǎn)的第二特征點(diǎn)候選的相對(duì)位置之間的比較結(jié)果而生成關(guān)于目標(biāo)第一特征點(diǎn)的第二特征點(diǎn)候選的評(píng)估的評(píng)估信息；以及設(shè)定單元，其根據(jù)評(píng)估信息將目標(biāo)第一特征點(diǎn)的第二特征點(diǎn)候選設(shè)定為與目標(biāo)第一特征點(diǎn)相對(duì)應(yīng)的第二特征點(diǎn)。
文檔編號(hào)G06K9/46GK103177438SQ201210379939
公開日2013年6月26日 申請(qǐng)日期2012年10月9日 優(yōu)先權(quán)日2011年12月12日
發(fā)明者王川, 大西健司 申請(qǐng)人:富士施樂株式會(huì)社