專利名稱：圖像處理裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在復印機等的圖像輸入裝置中，從讀取的紙文檔(文檔)檢索對應的原始電子數(shù)據(jù)，可以在打印、分發(fā)、存儲、編輯等方面活用原始電子數(shù)據(jù)的圖像處理技術(shù)。
背景技術(shù)：
近年來，由于文字處理機軟件的發(fā)展和數(shù)碼相機的普及，能夠容易地在文檔中加入圖像，一般形成包含彩色圖像的文檔。另一方面，也正在進行復印機的數(shù)字化和網(wǎng)絡化。
其中，例如，可以用文檔管理服務器管理使在會議中分發(fā)的文字材料電子化的電子數(shù)據(jù)。又，需要時，可以檢索用文檔管理服務器管理的電子數(shù)據(jù)，對該檢索到的電子數(shù)據(jù)進行各種處理。
在該各種處理中，具有例如，打印檢索到的電子數(shù)據(jù)，分發(fā)給網(wǎng)絡內(nèi)的所要的個人計算機(PC)等的終端，保存到網(wǎng)絡內(nèi)的所要的存儲媒體中，或進行編輯的處理。
又，作為檢索電子數(shù)據(jù)的檢索方法，例如具有將電子數(shù)據(jù)中包含的文本數(shù)據(jù)作為檢索條件，從文檔管理服務器檢索所要的電子數(shù)據(jù)的方法。
進一步，例如，在日本2001年公布的2001-257862號專利公報中，當使文字材料成為電子數(shù)據(jù)時，在該電子數(shù)據(jù)上附加識別碼，生成包含該識別碼的打印物。因此，在通過別的途徑又檢索又打印與打印物對應的電子數(shù)據(jù)的情形中，通過讀入該打印物，識別打印在該打印物上的識別碼，可以檢索和打印所要的電子數(shù)據(jù)。
但是，在從彩色圖像的原始文檔數(shù)據(jù)作成分發(fā)用的文字材料的情形中，它的用途是用于參照/用于確認，并且在需要作成多個的關(guān)系上，通常，這種用途的文字材料，成為用復印機復印它的原始文字材料的灰度圖像的文字材料和用單色打印機打印原始文檔數(shù)據(jù)的單色圖像的文字材料的情形是很多的。
而且，在從由這種灰度圖像和單色圖像構(gòu)成的文字材料電子化得到的電子數(shù)據(jù)檢索原始文檔數(shù)據(jù)的情形中，當原始文檔數(shù)據(jù)只由文本數(shù)據(jù)構(gòu)成時，作為檢索該文本數(shù)據(jù)的條件，是可以正確地檢索該原始文檔數(shù)據(jù)。
但是，在原始文檔數(shù)據(jù)中包含彩色圖像的情形中，當作為檢索條件只檢索文本數(shù)據(jù)，即便具有相同的文本數(shù)據(jù)，圖像也不同時，不能夠正確地檢索原始文檔數(shù)據(jù)，不能夠得到足夠的精度。
又，在日本2001年公布的2001-257862號專利公報中，因為需要在原始文檔數(shù)據(jù)上1次附加識別碼進行打印，所以不得不在原始文檔數(shù)據(jù)中加入變更。因此，將用戶不想要的變更加入到原始文檔數(shù)據(jù)中。
又，例如，在將用文字處理機軟件等作成的電子數(shù)據(jù)作為原始文檔數(shù)據(jù)進行管理的情形中，因為在一旦打印它，讀入該打印物進行電子化的基礎(chǔ)上，再次附加識別碼進行打印，進一步，需要讀入附加了該識別碼的打印物進行電子化，所以手續(xù)變得很復雜。

發(fā)明內(nèi)容
本發(fā)明就是為了解決上述課題提出的，本發(fā)明的目的是提供可以從灰度打印的紙文檔，檢索并活用原始的彩色電子數(shù)據(jù)，這時，不變更原始文檔，又，能夠容易地活用不僅紙原稿的掃描圖像，而且用成為紙原稿基礎(chǔ)的文字處理機軟件等作成的電子文檔本身的圖像處理技術(shù)。
為了達到上述目的，根據(jù)本發(fā)明的圖像處理裝置備有下列構(gòu)成。即將多個電子數(shù)據(jù)作為比較目的圖像存儲起來的存儲部件、輸入從打印物得到的比較源圖像的輸入部件、
提取上述比較源圖像的灰度特征量的灰度特征量提取部件、用由上述灰度特征量提取部件提取的灰度特征量，從上述存儲部件檢索與上述比較源圖像對應的比較目的圖像的檢索部件、和從上述存儲部件提取用上述檢索部件檢索得到的圖像，對該提取的圖像進行處理的處理部件。
又，最好，上述灰度特征量包含上述比較源圖像的亮度特征。
又，最好，上述檢索部件比較上述比較源圖像的灰度特征量和上述比較目的圖像的灰度特征量，將類似的比較目的圖像作為檢索結(jié)果進行輸出。
又，最好，進一步，具有提取關(guān)于上述比較源圖像的顏色的色特征量的色特征量提取部件，上述檢索部件根據(jù)上述比較源圖像的灰度特征量和上述比較源圖像的色特征量，從上述存儲部件檢索與上述比較源圖像對應的比較目的圖像。
又，最好，上述色特征量包含上述比較源圖像中的最常出現(xiàn)的顏色和平均色中的至少一方。
又，最好，進一步備有判定是否根據(jù)色信息檢索上述比較源圖像的判定部件，當由上述判定部件判定為根據(jù)色信息進行檢索時，由上述色特征量提取部件提取上述比較源圖像的色特征量，上述檢索部件根據(jù)上述提取的比較源圖像的色特征量從上述存儲部件檢索與上述比較源圖像對應的比較目的圖像，當由上述判定部件判定為不根據(jù)色信息進行檢索時，由上述灰度特征量提取部件提取上述比較源圖像的灰度特征量，上述檢索部件根據(jù)上述提取的比較源圖像的灰度特征量從上述存儲部件檢索與上述比較源圖像對應的比較目的圖像。
又，最好，進一步備有顯示由上述檢索部件得到的檢索結(jié)果的顯示部件、和作為由上述檢索部件得到的檢索結(jié)果，當在上述顯示部件上顯示多個比較目的圖像時，從該多個比較目的圖像選擇所要圖像的選擇部件。
上述處理部件從上述存儲部件提取由上述選擇部件選擇的圖像，對該提取的圖像實施處理。
又，最好，進一步備有指示對由上述檢索部件檢索到的圖像進行處理的種類的指示部件，上述處理部件，根據(jù)由上述指示部件指示的處理種類，提取上述檢索到的圖像，實施該指示的處理。
又，最好，上述指示部件可以指示打印、分發(fā)、存儲、編輯中的至少任何一種處理。
又，最好，進一步備有根據(jù)屬性將上述比較源圖像分割成多個區(qū)域的分割部件，上述灰度特征量提取部件從由上述分割部件分割的多個區(qū)域中的具有預定屬性的區(qū)域，提取上述灰度特征量。
又，最好，進一步備有根據(jù)屬性將上述比較源圖像分割成多個區(qū)域的分割部件，上述灰度特征量提取部件從由上述分割部件分割的多個區(qū)域中的具有第1屬性的區(qū)域，提取上述灰度特征量，上述色特征量提取部件從由上述分割部件分割的多個區(qū)域中的具有第2屬性的區(qū)域，提取上述色特征量，又，最好，進一步備有提取關(guān)于上述比較源圖像中的文字圖像的文字特征量的文字特征量提取部件、和根據(jù)屬性將上述比較源圖像分割成多個區(qū)域的分割部件，上述灰度特征量提取部件從由上述分割部件分割的多個區(qū)域中的具有第1屬性的區(qū)域，提取上述灰度特征量，上述文字特征量提取部件從由上述分割部件分割的多個區(qū)域中的具有文字屬性的區(qū)域，提取上述文字特征量，上述檢索部件，用由上述灰度特征量提取部件提取的灰度特征量和由上述文字特征量提取部件提取的文字特征量，從上述存儲部件檢索與上述比較源圖像對應的比較目的圖像。
又，最好，進一步備有提取關(guān)于圖像的顏色的色特征量的色特征量提取部件、提取關(guān)于文字圖像的文字特征量的文字特征量提取部件、根據(jù)屬性將上述比較源圖像分割成多個區(qū)域的分割部件、和判定是否根據(jù)色信息，檢索由上述分割部件分割的區(qū)域中的具有預定屬性的區(qū)域的判定部件，上述灰度特征量提取部件從由上述判定部件判定為不根據(jù)色信息進行檢索的區(qū)域，提取上述灰度特征量，上述色特征量提取部件從由上述判定部件判定為根據(jù)色信息進行檢索的區(qū)域，提取上述色特征量，上述文字特征量提取部件從由上述分割部件分割的多個區(qū)域中的具有文字屬性的區(qū)域，提取上述文字特征量，上述檢索部件，根據(jù)上述提取的灰度特征量、色特征量和文字特征量，從上述存儲部件檢索與上述比較源圖像對應的比較目的圖像。
又，最好，具有上述預定屬性的區(qū)域是圖像塊，具有上述文字屬性的區(qū)域是文本塊。
又，最好，進一步具有從登記用圖像提取特征量，作為上述比較目的圖像登記在上述存儲部件中的登記部件。
又，最好，由上述登記部件提取的特征量包含灰度特征量。
又，最好，進一步具有根據(jù)屬性將上述登記用圖像分割成多個區(qū)域的分割部件，上述登記部件提取與由上述分割部件分割的區(qū)域的屬性相應的特征量進行登記。
為了達到上述目的，根據(jù)本發(fā)明的圖像處理方法備有下列構(gòu)成。即備有輸入從打印物得到的比較源圖像的輸入步驟、提取上述比較源圖像的灰度特征量的灰度特征量提取步驟、
用由上述灰度特征量提取步驟提取的灰度特征量，從作為比較目的圖像存儲在存儲媒體中的多個電子數(shù)據(jù)，檢索與上述比較源圖像對應的比較目的圖像的檢索步驟、和從上述存儲媒體提取由上述檢索步驟檢索得到的圖像，對該提取的圖像進行處理步驟。
本發(fā)明的其它特點和優(yōu)點將從結(jié)合附圖的下列描述變得很清楚，其中在全部附圖中相同的參照標號表示相同或相似的部件。


與本說明書結(jié)合并構(gòu)成本說明書一部分的附圖與描述一起闡明本發(fā)明的實施方式，用于解釋本發(fā)明的原理。
圖1是表示本發(fā)明的實施方式的圖像處理系統(tǒng)的構(gòu)成的方框圖。
圖2是表示本發(fā)明的實施方式的MFP的詳細構(gòu)成的方框圖。
圖3是表示在本發(fā)明的實施方式的圖像處理系統(tǒng)中實施的全部處理的概要的操作程序圖。
圖4是表示本發(fā)明的實施方式的地址信息的一個例子的圖。
圖5是表示本發(fā)明的實施方式的塊信息的一個例子的圖。
圖6是表示本發(fā)明的實施方式的特征量信息的一個例子的圖。
圖7是表示本發(fā)明的實施方式的特征量信息的一個例子的圖。
圖8是表示本發(fā)明的實施方式的特征量信息的一個例子的圖。
圖9A、9B是用于說明本發(fā)明的實施方式的塊選擇處理的概念的圖。
圖10是表示本發(fā)明的實施方式的亮度特征信息提取處理的詳細情況的操作程序圖。
圖11是表示本發(fā)明的實施方式的圖像網(wǎng)格塊分割的一個例子的圖。
圖12是表示本發(fā)明的實施方式的順序決定表的一個例子的圖。
圖13是表示本發(fā)明的實施方式的亮度等級表的一個例子的圖。
圖14是表示本發(fā)明的實施方式的色特征信息提取處理的詳細情況的操作程序圖。
圖15是表示本發(fā)明的實施方式的色空間上的色儲藏室的構(gòu)成的一個例子的圖。
圖16是表示本發(fā)明的實施方式的判定處理的詳細情況的操作程序圖。
圖17是表示本發(fā)明的實施方式的比較處理的詳細情況的操作程序圖。
圖18是表示本發(fā)明的實施方式的比較處理的詳細情況的操作程序圖。圖19是表示本發(fā)明的實施方式的色特征信息比較處理的詳細情況的操作程序圖。
圖20是表示在本發(fā)明的實施方式的色儲藏室處罰矩陣的構(gòu)成的一個例子的圖。
圖21是表示本發(fā)明的實施方式的亮度特征信息比較處理的詳細情況的操作程序圖。
圖22是表示本發(fā)明的實施方式的亮度等級ID處罰矩陣的構(gòu)成的一個例子的圖。
圖23是表示本發(fā)明的實施方式的用戶界面的一個例子的圖。
具體實施例方式
圖1是表示本發(fā)明的實施方式的圖像處理系統(tǒng)的構(gòu)成的方框圖。
該圖像處理系統(tǒng)是在通過因特網(wǎng)等的網(wǎng)絡104連接辦公室(office)10和辦公室20的環(huán)境中實現(xiàn)的。
作為實現(xiàn)多種功能的復合機的MFP(Multi Function Peripheral(多功能外圍設(shè)備))100、控制MFP100的管理PC101、客戶PC102、文檔管理服務器106及其數(shù)據(jù)庫105、和代理服務器103與構(gòu)筑在辦公室10內(nèi)的LAN107連接。
辦公室10內(nèi)的LAN107和辦公室20內(nèi)的LAN108通過雙方辦公室的代理服務器103與網(wǎng)絡104連接。
MFP100，特別是具有電子地讀取紙文檔的圖像讀取單元、和對從圖像讀取單元得到的圖像信號實施圖像處理的圖像處理單元，能夠通過LAN109將該圖像信號發(fā)送給管理PC101。
管理PC101是通常的PC，在內(nèi)部具有圖像存儲單元、圖像處理單元、顯示單元、輸入單元等的各種構(gòu)成要素，但是該構(gòu)成要素的一部分具有在MFP100中形成一體化的構(gòu)成。
又，網(wǎng)絡104典型地是通過因特網(wǎng)、LAN、WAN和電話線路、專用數(shù)字線路、ATN和幀中繼線路、通信衛(wèi)星線路、有線電視線路、數(shù)據(jù)廣播用無線線路等中任何一個或由它們的組合實現(xiàn)的所謂的通信網(wǎng)絡，最好可以發(fā)送接收數(shù)據(jù)。
又，管理PC101、客戶PC102、文檔管理服務器106等的各種終端分別具有搭載在通用計算機上的標準的構(gòu)成要素(例如，CPU、RAM、ROM、硬盤、外部存儲裝置、網(wǎng)絡接口、顯示器、鍵盤、鼠標等)。
其次，我們用圖2說明MFP100的詳細構(gòu)成。
圖2是表示本發(fā)明的實施方式的MFP的詳細構(gòu)成的方框圖。
在圖2中，包含自動文檔供應器(ADF)的圖像讀取單元110，用光源(圖中未畫出)照射束狀的或1張原稿圖像，通過透鏡使原稿反射像成像在固體攝象元件上，從固體攝象元件得到光柵狀的圖像讀取信號作為預定密度(600DPI等)的光柵圖像。
又，MFP100具有用打印單元112將與圖像讀取信號對應的圖像打印在記錄媒體上的復印功能，當復印1個原稿圖像時，用數(shù)據(jù)處理單元115對該圖像讀取信號進行圖像處理，生成記錄信號，由打印單元112將它打印在記錄媒體上。另一方面，當復印多個原稿圖像時，一旦將與1個相當?shù)挠涗浶盘柎鎯Ρ３衷诖鎯卧?1 1中后，將它順次地輸出到打印單元112，打印在記錄媒體上。
另一方面，數(shù)據(jù)處理單元115通過LAN107和網(wǎng)絡IF114接收從客戶PC102輸出的記錄信號，數(shù)據(jù)處理單元115，將該記錄信號變換成可以記錄在打印單元112中的光柵數(shù)據(jù)后，由打印單元112將它打印在記錄媒體上。
從由裝備在MFP100中的鍵操作單元和與管理PC101連接的鍵盤與鼠標構(gòu)成的輸入單元113向MFP100發(fā)出操作者的指示，由數(shù)據(jù)處理單元115內(nèi)的控制單元(圖中未畫出)對這一連串的工作進行控制。又，在顯示單元116上進行操作輸入的狀態(tài)顯示和處理中的圖像數(shù)據(jù)的顯示。
存儲單元111也受到來自管理PC101的控制，MFP100和管理PC101的數(shù)據(jù)的發(fā)送接收和控制是通過網(wǎng)絡IF117和LAN109進行的。
其次，我們用圖3A和3B的操作程序圖說明根據(jù)本發(fā)明的圖像處理系統(tǒng)中實施的全部處理的概要。作為在圖像處理系統(tǒng)中實施的處理，大致分成登記原始文檔的電子數(shù)據(jù)的登記處理和檢索所要的原始文檔的電子數(shù)據(jù)的檢索處理這樣兩類。
(a)登記處理的概要我們用圖3A說明登記原始文檔的登記處理的概要。
首先，在步驟S3010，輸入登記對象的原始文檔。又，伴隨著該輸入，生成用于管理原始文檔的各種信息，存儲在存儲單元111中。
又，關(guān)于當?shù)怯浽嘉臋n時的原始文檔輸入方法，存在著兩種方法。
當原始文檔為電子數(shù)據(jù)時，存儲在客戶PC102內(nèi)的硬盤，或者辦公室10和20內(nèi)的文檔管理服務器106內(nèi)的數(shù)據(jù)庫105，或者MFP100的存儲單元111的任何一個內(nèi)，從這些存儲源讀出登記對象的原始文檔的電子數(shù)據(jù)，通過網(wǎng)絡IF114輸入到數(shù)據(jù)處理單元115，在數(shù)據(jù)處理單元115中將該電子數(shù)據(jù)變換成光柵圖像。
另一方面，當原始文檔為紙文檔時，用MFP100的圖像讀取單元110對該紙文檔進行光柵狀掃描得到光柵圖像。
這樣，在本實施方式中，關(guān)于登記對象的原始文檔，可以作為電子數(shù)據(jù)或紙文檔中的任何一種進行處理。此后，用數(shù)據(jù)處理單元115對光柵圖像實施上述處理并保存在存儲單元111中(又，此后，當紙文檔時光柵圖像成為原始文檔的電子數(shù)據(jù))。這時，對每個登記對象的原始文檔發(fā)行固有的文檔ID，與原始文檔的電子數(shù)據(jù)的地址對應，作為地址信息保存在存儲單元111中。
這里，所謂的地址是表示由URL、服務器名和目錄、文檔名構(gòu)成的電子數(shù)據(jù)存儲目的地的全部傳送信息。又，當表示地址信息的一個例子時，如圖4所示。又，電子數(shù)據(jù)存儲目的地可以舉出數(shù)據(jù)庫105和存儲單元111等。
其次，在步驟S3020，在數(shù)據(jù)處理單元115中，進行塊選擇處理(BS)。通過管理PC101的控制實施該處理。
具體地說，管理PC101的CPU首先將存儲在存儲單元111中的處理對象的原始文檔的光柵圖像，區(qū)域分割成文字/畫線部分和半色調(diào)圖像部分，進一步將文字/畫線部分分割成在段落中作為塊匯集的每個塊或者每個由線構(gòu)成的表、圖形。
另一方面，將半色調(diào)圖像部分分割成分離成矩形的塊的圖像部分、背景部分等的塊。
而且，發(fā)行特定各塊的塊ID，與各塊的屬性(圖像、文字等)，大小和原始文檔內(nèi)的位置(坐標)和各塊關(guān)聯(lián)起來作為塊信息存儲在存儲單元111中。當表示該塊信息的一個例子時，如圖5所示。
其次，在步驟S3030，在數(shù)據(jù)處理單元115中，與各塊的屬性相應，進行提取各塊的特征信息的特征信息提取處理。
特別是，關(guān)于文字塊，實施OCR處理，提取文字碼，將它作為文字特征量。又，關(guān)于圖像塊，提取關(guān)于亮度和顏色的圖像特征量。這時，將與各個塊對應的特征量匯集成原始文檔單位，與文檔ID、塊ID關(guān)聯(lián)，作為特征量信息存儲在存儲單元111中。當表示該特征量信息的一個例子時，如圖6～圖8所示。
(b)檢索處理的概要我們用圖3B說明檢索原始文檔的電子數(shù)據(jù)的檢索處理的概要。
首先，在步驟S3110，輸入成為檢索條件的紙文檔。因為該處理與步驟S3010的處理相同所以省略對它的說明。但是，只是暫時地保存由該處理生成的光柵圖像，不需要將對于該紙文檔的地址信息保存在存儲單元111中。
又，在本實施方式中，我們說明輸入紙文檔，用它的電子數(shù)據(jù)檢索原始文檔的電子數(shù)據(jù)的例子，但是也可以通過輸入紙以外的打印物，例如，打印在OHP片、布等的其它打印媒體上的打印物，檢索原始文檔的電子數(shù)據(jù)。
其次，在步驟S3120，進行塊選擇處理(BS)。因為該處理與步驟S3020的處理相同所以省略對它的說明。但是，只是暫時地保存由該處理生成的各塊的屬性、大小、位置，不需要將對于該紙文檔的塊信息保存在存儲單元111中。
其次，在步驟S3130，進行提取各塊的特征信息的特征信息提取處理。因為該處理與步驟S3030的處理相同所以省略對它的說明。但是，只是暫時地保存由該處理生成的各塊特征量，不需要將對于該紙文檔的特征量信息保存在存儲單元111中。
其次，在步驟S3140，比較對于輸入的紙文檔(比較源圖像)的特征量信息和存儲在客戶PC102內(nèi)的硬盤，或者辦公室10和20內(nèi)的文檔管理服務器106內(nèi)的數(shù)據(jù)庫105，或者MFP100的存儲單元111的任何一個內(nèi)的電子數(shù)據(jù)(比較目的圖像)的特征量信息，算出它們的類似度，根據(jù)該類似度，決定作為檢索結(jié)果的原始文檔候補。
其次，在步驟S3150，判定是否是用戶確認模式。
又，所謂的用戶確認模式是用戶確認是否從由比較處理得到的原始文檔候補中，檢索所要的原始文檔的模式。具體地說，是用顯示單元116·輸入單元113實現(xiàn)包含原始文檔候補組的用戶界面，通過該用戶界面用戶能夠確認原始文檔候補組的內(nèi)容的模式。
當不是用戶確認模式時(步驟S3150中“否”)，行進到步驟S3170。另一方面，當是用戶確認模式時(步驟S3150中“是”)，行進到步驟S3160，顯示/選擇原始文檔候補。特別是，該選擇是通過在顯示單元116上顯示原始文檔候補的縮略像，用戶能夠從多個原始文檔候補中選擇所要的原始文檔候補的縮略像來實現(xiàn)的。
其次，在步驟S3170，從數(shù)據(jù)庫105提取選擇的原始文檔，對于該提取的原始文檔，根據(jù)通過用顯示單元116·輸入單元114實現(xiàn)的用戶界面，來自用戶的操作，實施該原始文檔的打印、分發(fā)、存儲、編輯中的任何一個處理。
又，我們在后面述說該用戶界面構(gòu)成的詳細情況。
下面，我們說明各處理的詳細情況。
首先，我們說明步驟S3020和步驟S3120的塊選擇處理的詳細情況。
所謂的塊選擇處理是，例如，如圖9B所示識別圖9A的光柵圖像作為每個具有意義的塊，判定該塊的各個屬性(文字(TEXT)/圖像(PICTURE)/照片(PHOTO)/線(LINE)/表(TABLE)等)，分割成具有不同屬性的塊的處理。
下面，我們說明塊選擇處理的實施方式。
首先，使輸入圖像黑白二值化，進行輪廓線追蹤，提取由黑像素輪廓包圍的像素的塊。關(guān)于面積大的黑像素的塊，對于在內(nèi)部的白像素也進行輪廓線追蹤，提取白像素的塊，進一步從大于等于一定面積的白像素的塊的內(nèi)部再回歸地提取黑像素的塊。
以大小和形狀分類這樣得到的黑像素的塊，分類成持有不同屬性的塊。例如，縱橫比接近1，大小在一定范圍內(nèi)的塊作為文字相當?shù)南袼貕K，進一步將接近的文字可以整列良好地分組化的部分作為文字塊，將扁平的像素塊作為線塊，將大于等于一定大小并且整列良好地內(nèi)包矩形的白像素塊的黑像素塊的占據(jù)范圍作為表塊，將不定形的像素塊散在的區(qū)域作為照片塊，將除此以外的任意形狀的像素塊作為圖像塊。
其次，我們說明步驟S3030和步驟S3130的特征信息提取處理的詳細情況。
又，因為特征信息提取處理與圖像塊和文字塊中的處理方法不同，所以我們分別對它們進行說明。
這里，圖像塊，在圖9B的例子中，作為照片塊和圖畫塊，但是與用途和目的相應，也可以使圖像塊成為照片塊和圖畫塊中的至少一方。
首先，我們說明對于圖像塊的特征信息提取處理。
又，當在1個文檔中存在多個圖像塊時，與其總數(shù)相當，重復進行下列處理。
在本實施中，作為特征信息提取處理的一個例子，進行提取關(guān)于圖像亮度的亮度特征量的亮度特征信息提取處理和提取關(guān)于圖像顏色的色特征量的色特征信息提取處理。
首先，我們用圖10說明亮度特征信息提取處理的詳細情況。
圖10是表示本發(fā)明的實施方式的亮度特征信息提取處理的詳細情況的操作程序圖。
又，在該處理中，將與使處理對象圖像(用塊選擇處理提取的圖像塊)分割成多個網(wǎng)格塊的各網(wǎng)格塊的亮度直方圖中的最常出現(xiàn)的亮度對應的亮度等級和與各網(wǎng)格塊的位置信息對應的信息作為亮度特征信息進行提取。
首先，在步驟S1010，判定處理對象圖像是否是彩色圖像(是彩色圖像還是灰度圖像)。又，我們將在后面述說該處理的詳細情況。
在步調(diào)S1010中，當處理對象圖像不是彩色圖像時(步驟S1010中“否”)，行進到步驟S1030。另一方面，當處理對象圖像是彩色圖像時(步驟S1010中“是”)，行進到步驟S1020，將彩色圖像變換成灰度圖像(8位256灰度等級)。
又，用眾所周知的RGB彩色矩陣實施該變換。例如，當用YCbCr色空間時，表示灰度值的亮度Y的值與RGB值(各8位共計24位)的關(guān)系表現(xiàn)為Y＝0.29900×R+0.58700×G+0.11400×B (1)從而，通過公式(1)，能夠算出亮度Y的值。
其次，在步驟S1030，將處理對象圖像分割成多個網(wǎng)格塊。
又，在本實施方式中，如圖11所示，將圖像分割成縱橫各9個網(wǎng)格塊。特別是，在本實施方式中，表示了在例示上分割成9×9＝81個網(wǎng)格塊的例子，但是實際上最好是8到15個網(wǎng)格塊左右。
其次，在步驟S1040，將成為處理對象的著眼網(wǎng)格塊設(shè)定為左上端的網(wǎng)格塊。又，例如，如圖12所示，參照決定預先處理順序的順序決定表，設(shè)定該著眼網(wǎng)格塊。
在步驟S1050，判定有無未處理的著眼網(wǎng)格塊。當沒有未處理的著眼網(wǎng)格塊時(步驟S1050中“否”)，結(jié)束處理。另一方面，當具有未處理的著眼網(wǎng)格塊時(步驟S1050中“是”)，行進到步驟S1060。
在步驟S1060，生成著眼網(wǎng)格塊的全部像素的亮度直方圖。在步驟1070，參照圖13的亮度等級表，決定成為亮度直方圖的最常出現(xiàn)的亮度范圍的亮度等級ID作為該著眼網(wǎng)格塊的代表亮度，與該著眼網(wǎng)格塊及其位置對應地存儲在存儲單元111中。
又，圖13的亮度等級表表示8位的亮度信號，表示對于每個預定亮度范圍設(shè)定等級的情形的例子。
在步驟S1080，參照圖12的順序決定表，設(shè)定成為下一個處理對象的著眼網(wǎng)格塊。此后，回到步驟S1050，再回歸地重復步驟S1050～步驟S1080的處理，直到?jīng)]有未處理的著眼網(wǎng)格塊為止。
通過以上的處理，能夠提取與處理對象圖像(圖像塊)的每個網(wǎng)格塊的代表亮度和各網(wǎng)格塊的位置信息對應的信息作為亮度特征信息。
其次，我們用圖14說明色特征信息提取處理的詳細情況。
圖14是表示本發(fā)明的實施方式的色特征信息提取處理的詳細情況的操作程序圖。
又，在該處理中，提取具有將處理對象圖像分割成多個網(wǎng)格塊的各網(wǎng)格塊的色直方圖中的最常出現(xiàn)的顏色的顏色和對應地附加了各網(wǎng)格塊的位置信息的信息作為色特征信息。
首先，在步驟S1410，判定處理對象圖像是否是彩色圖像。又，該判定是與圖10的步驟S1010同樣地進行的。
在步驟S1410中，當處理對象圖像是彩色圖像時(步驟S1410中“是”)，行進到步驟S1420。另一方面，當處理對象圖像不是彩色圖像時(步驟S1410中“否”)，結(jié)束處理。
其次，在步驟S1420，將圖像分割成多個網(wǎng)格塊。在本實施方式中，如圖11所示，將圖像分割成縱橫各9個網(wǎng)格塊。特別是，在本實施方式中，表示了在例示上分割成9×9＝81個網(wǎng)格塊的例子，但是實際上最好是約15×15＝225個網(wǎng)格塊。
其次，在步驟S1430，將成為處理對象的著眼網(wǎng)格塊設(shè)定為左上端的網(wǎng)格塊。又，該著眼網(wǎng)格塊的設(shè)定與圖10的步驟S1040同樣地進行。
在步驟S1440，判定有無未處理的著眼網(wǎng)格塊。當沒有未處理的著眼網(wǎng)格塊時(步驟S1440中“否”)，結(jié)束處理。另一方面，當具有未處理的著眼網(wǎng)格塊時(步驟S1440中“是”)，行進到步驟S1450。
在步驟S1450，將著眼網(wǎng)格塊的全部像素的各濃度值投影到作為分割圖15的色空間作成的部分空間的色儲藏室(bin)中，生成對于色儲藏室的色直方圖。
又，在本實施方式中，如圖15所示，表示了將著眼網(wǎng)格塊的全部像素的濃度值投影到將RGB色空間分割成3×3×3＝27個的色儲藏室的例子，但是實際上最好是將著眼網(wǎng)格塊的全部像素的濃度值投影到將RGB色空間分割成6×6×6＝216個的色儲藏室。
在步驟S1460，將色直方圖的最常出現(xiàn)的色儲藏室的色儲藏室ID決定為該著眼網(wǎng)格塊的代表色，與該著眼網(wǎng)格塊及其位置對應地存儲在存儲單元111中。
在步驟S1470，參照圖12的順序決定表，設(shè)定成為下一個處理對象的著眼網(wǎng)格塊。此后，回到步驟S1440，再回歸地重復步驟S1440～步驟S1470的處理。直到?jīng)]有未處理的著眼網(wǎng)格塊為止。
通過以上的處理，能夠提取對應的附加了處理對象圖像(圖像塊)的每個網(wǎng)格塊的代表色和各網(wǎng)格塊的位置信息的信息作為色特征信息。
其次，我們用圖16說明圖10的步驟S1010或圖14的步驟S1410中的，判定處理對象圖像是否是彩色圖像的判定處理。
又，在該判定處理的判定方法中，作為最簡單的方法，當解析比較源圖像的數(shù)據(jù)格式，比較源圖像是單色或灰度圖像時，因為沒有色信息，所以能夠判定處理對象圖像的色信息不充分。
另一方面，當比較源圖像是彩色圖像時，盡管數(shù)據(jù)格式自身是彩色圖像，但是處理對象圖像自身也許是灰度圖像。因此，即便數(shù)據(jù)格式是彩色圖像時，也需要嚴格地判定處理對象圖像的色信息是否充分，作為該判定方法，是利用關(guān)于處理對象圖像的顏色的解析的方法。
該解析的目的是解析在處理對象圖像中占據(jù)的色信息的比例，當在處理對象圖像中占據(jù)的色信息的比例大于等于預先決定的閾值時，判定色信息充分，當比閾值小時，判定色信息不充分。
圖16是表示用于判定色信息是否充分的判定處理的詳細情況的操作程序圖。
在步驟S1610，算出構(gòu)成處理對象圖像(圖像塊)的全部像素的顏色的平均色。在步驟S1620，將平均色變換成亮度成分和色差成分。在步驟S1630，算出色差成分值對亮度成分值的比例R。
這里，關(guān)于將顏色分離成亮度成分和色差成分的分離方法，用眾所周知的方法。
例如，當用YCbCr色空間時，與24位RGB值的關(guān)系表現(xiàn)為Ch＝-0.16874×R-0.33126×G+0.50000×B+128
Cr＝0.50000×R-0.41869×G+(-0.08131)×B+128(2)按照公式(2)，將算出的平均色分離成亮度成分Yave和色差成分Cbave及Crave，計算比例R＝sqrt(Cb ave×Cb ave+Cr ave×Cr ave)/Yave(3)而且，在步驟S1640，判定該比例是否比預定的閾值大。當比閾值大時(步驟S1640中“否”)，行進到步驟S1650，判定處理對象圖像的色信息是充分的(即，判定為彩色圖像)。另一方面，當小于等于閾值時(步驟S1640中“是”)，行進到步驟S1660，判定處理對象圖像的色信息是不充分的(即，判定為灰度圖像)。
其次，我們說明對于文字塊的特征信息提取處理。
又，當在1個文檔中存在多個文字塊時，與其總數(shù)相當，重復進行下列處理。
對于文字塊的特征量信息是能夠在該文字塊中實施OCR(文字識別)處理的文字碼。
OCR(文字識別)處理對于以文字單位從文字塊分離出的文字圖像，用圖案匹配的方法進行文字識別，取得對應的文字碼。
該文字識別處理是比較將從文字圖像得到的特征變換成數(shù)十維的數(shù)值列的觀測特征矢量和預先對每個字種求得的詞典特征矢量，將距離最近的字種作為識別的結(jié)果的處理。
關(guān)于特征矢量的提取存在種種眾所周知的方法，例如是以將文字分割成網(wǎng)格狀，將各網(wǎng)格塊內(nèi)的文字線作為不同方向上的線素進行計數(shù)的網(wǎng)格多維矢量為特征的方法。
當對在塊選擇處理(步驟S3020或步驟S3120)中提取的文字塊進行文字識別時，首先，對相應的文字塊進行橫寫/縱寫的判定，在各個對應的方向分離出文字列，此后，從文字列分離出文字取得文字圖像。
橫寫/縱寫的判定是取在相當?shù)奈淖謮K內(nèi)對于像素值的水平/垂直的投影，當水平投影的分散大時判定為橫寫，當垂直投影的分散大時判定為縱寫。到文字列和文字的分解，當是橫寫的文字塊時，利用該水平方向的投影分離出行，進一步從對分離出的行的垂直方向的投影，分離出文字。另一方面，對于縱寫的文字塊，可以使水平與垂直相反。
其次，我們用圖17說明步驟S3140的比較處理的詳細情況。
圖17是表示本發(fā)明的實施方式的比較處理的詳細情況的操作程序圖。
首先，在步驟S1710，參照地址信息，判定有無未比較的原始文檔。當沒有未比較的原始文檔時(步驟S1710中“否”)，行進到步驟S1750。另一方面，當具有未比較的原始文檔時(步驟S1710中“是”)，行進到步驟S1720。
在步驟S1720，比較布局。這里，所謂的布局是存在于塊信息中的塊的屬性、大小、位置。當比較源圖像(紙文檔)和比較目的圖像(電子數(shù)據(jù))的布局相同時(步驟S1720中“是”)，行進到步驟S1730。另一方面，當比較源圖像和比較目的圖像的布局不同時(步驟S1720中“否”)，回到步驟S1710。
其次，在步驟S1730，進行比較源圖像(紙文檔)內(nèi)的塊和比較目的圖像(電子數(shù)據(jù))內(nèi)的塊的比較的比較處理。該比較，與塊的屬性一致，用與各個文字、圖像相應的特征量，復合地進行比較，算出類似度。我們將在后面述說該處理的詳細情況。
其次，在步驟S1740，與比較目的文檔ID對應將文檔的類似度暫時存儲在存儲單元111中。
在步驟S1710，當與全部文檔的比較結(jié)束時，行進到步驟S1750，以類似度的下降順序選擇文檔ID并進行輸出。
其次，我們用圖18說明步驟S1730的比較處理的詳細情況。
圖18是表示本發(fā)明的實施方式的比較處理的詳細情況的操作程序圖。
首先，在步驟S1810，參照塊信息，判定在與成為處理對象的文檔ID對應的電子數(shù)據(jù)中有無未比較的塊。當沒有未比較的塊時(步驟S1810中“否”)，行進到步驟S1870。另一方面，當具有未比較的塊時(步驟S1810中“是”)，行進到步驟S1820。
其次，在步驟S1820，判定比較對象的塊的屬性。當屬性是圖像塊時，行進到步驟S1830。另一方面，當屬性是文字塊時，行進到步驟S1860。
當屬性是圖像塊時，在步驟S1830，首先，進行關(guān)于圖16的色信息的判定處理，判定該圖像塊是彩色圖像(色信息充分)還是灰度圖像(色信息不充分)。
當比較源塊是彩色圖像(色信息充分)時，行進到步驟S1840，進行作為關(guān)于顏色的特征量信息中的比較源塊和比較目的塊的類似比較的色特征信息比較處理。我們將在后面述說該處理的詳細情況。
另一方面，當比較源塊是灰度圖像(色信息不充分)時，行進到步驟S1850，進行作為關(guān)于亮度的特征量信息中的比較源塊和比較目的塊的類似比較的亮度特征信息比較處理。我們將在后面述說該處理的詳細情況。
與比較目的文檔ID、塊ID對應，將由各個處理得到的類似度暫時存儲在存儲單元111中。因此，比較源塊是灰度圖像也好是彩色圖像也好，都可以用適合于該比較源塊的圖像的種類的方法進行類似比較處理。
另一方面，當屬性是文字塊時，在步驟S1860，進行作為文字的特征量信息中的比較源塊和比較目的塊的類似度比較的文字特征量信息比較處理。我們將在后面述說該處理的詳細情況。又，與比較目的文檔ID、塊ID對應，將由此得到的類似度暫時存儲在存儲單元111中。
其次，在步驟S1810，當與全部塊的比較結(jié)束時，行進到步驟S1870，通過步驟S1840～步驟S1860的處理，存儲在存儲單元111中。統(tǒng)合包含在比較目的文檔(電子數(shù)據(jù))中的全部塊的類似度，進行算出作為檢索條件的紙文檔和原始文檔的類似度的統(tǒng)合處理。
其次，我們用圖19說明步驟S1840的色特征信息比較處理的詳細情況。
圖19是表示本發(fā)明的實施方式的色特征信息比較處理的詳細情況的操作程序圖。
首先，在步驟S1910，從色特征量信息讀出比較源圖像塊和比較目的圖像塊的色特征量。
其次，在步驟S1920，將成為處理對象的圖像塊中的著眼網(wǎng)格塊設(shè)定在前頭。在步驟S1930，將表示比較源圖像塊的色特征量和比較目的圖像塊的色特征量的類似度的類似距離復位到0。
在步驟S1940，判定有無未比較的著眼網(wǎng)格塊。當沒有未比較的著眼網(wǎng)格塊時(步驟S1940中“否”)，行進到步驟S1980。另一方面，當具有未比較的著眼網(wǎng)格塊時(步驟S1940中“是”)，行進到步驟S1950。
在步驟S1950，從比較源圖像塊和比較目的圖像塊各自的色特征量，取得各個著眼網(wǎng)格塊的色儲藏室ID。
在步驟S1960，參照圖20的色儲藏室處罰矩陣，取得與取得的色儲藏室ID之間對應的著眼網(wǎng)格塊的局域的類似距離，與就在前面的處理中取得的類似距離進行累加。而且，將該類似距離存儲在存儲單元111中。
這里，我們用圖20說明色儲藏室處罰矩陣。
圖20是表示在本發(fā)明的實施方式的色儲藏室處罰矩陣的構(gòu)成的圖。
色儲藏室處罰矩陣是管理色儲藏室ID的局域的類似距離的矩陣。如果根據(jù)圖20，則色儲藏室處罰矩陣具有在同一個色儲藏室ID中該類似距離成為0，色儲藏室ID之間的差越大，即，類似度越低，該類似距離就越大的構(gòu)成。又，同一個色儲藏室ID的對角位置，其全部類似距離為0，在它的環(huán)境中具有對象性。
這樣，在本實施方式中，因為能夠只參照色儲藏室處罰矩陣，取得色儲藏室ID之間的類似距離，所以能夠達到使處理高速化的目的。
而且，在步驟S1970，參照圖12的順序決定表，設(shè)定成為下一個處理對象的著眼網(wǎng)格塊。此后，回到步驟S1940。
而且，在步驟S1940，判定沒有未比較的著眼網(wǎng)格塊時(步驟S1940中“否”)，行進到步驟S1980，將存儲在存儲單元111中的類似距離變換成類似度，使塊ID成對地輸出。
又，到類似度的變換，例如，當類似距離為最小值時令類似度為100％，當類似距離為最大值時令類似度為0％，對于該范圍內(nèi)的類似距離的類似度可以根據(jù)對最小值或最大值之差算出來。
其次，我們用圖21說明步驟S1850的亮度特征信息比較處理的詳細情況。
圖21是表示本發(fā)明的實施方式的亮度特征信息比較處理的詳細情況的操作程序圖。
首先，在步驟S2110，從亮度特征量信息讀出比較源圖像塊和比較目的圖像塊的亮度特征量。
其次，在步驟S2120，將成為處理對象的圖像中的著眼網(wǎng)格塊設(shè)定在前頭。在步驟S2130，將表示比較源圖像塊的亮度特征量和比較目的圖像塊的亮度特征量的類似度的類似距離復位到0。
在步驟S2140，判定有無未比較的著眼網(wǎng)格塊。當沒有未比較的著眼網(wǎng)格塊時(步驟S2140中“否”)，行進到步驟S2180。另一方面，當具有未比較的著眼網(wǎng)格塊時(步驟S2140中“是”)，行進到步驟S2150。
在步驟S2150，從比較源圖像塊和比較目的圖像塊各自的亮度特征量，取得關(guān)于著眼網(wǎng)格塊的亮度的亮度等級ID。
在步驟S2160，參照圖22的亮度等級ID處罰矩陣，取得與取得的亮度等級ID之間對應的著眼網(wǎng)格塊的局域的類似距離，與就在前面的處理中取得的類似距離進行累加。而且，將該類似距離存儲在存儲單元111中。
這里，我們用圖22說明亮度等級ID處罰矩陣。
圖22是表示本發(fā)明的實施方式的亮度等級ID處罰矩陣的構(gòu)成的圖。
亮度等級ID處罰矩陣是管理亮度等級ID的局域的類似距離的矩陣。如果根據(jù)圖22，則亮度等級ID處罰矩陣具有在同一個亮度等級ID中該類似距離成為0，亮度等級ID之間的差越大，即，類似度越低，該類似距離就越大的構(gòu)成。又，同一個亮度等級ID的對角位置全部，其類似距離為0，在它的環(huán)境中具有對象性。
這樣，在本實施方式中，因為能夠只參照亮度等級ID處罰矩陣，取得亮度等級ID之間的類似距離，所以能夠達到使處理高速化的目的。
而且，在步驟S2170，參照圖12的順序決定表，設(shè)定成為下一個處理對象的著眼網(wǎng)格塊。此后，回到步驟S2140。
而且，在步驟S2140，當沒有未比較的著眼網(wǎng)格塊時(步驟S1940中“否”)，行進到步驟S2180，將存儲在存儲單元111中的類似距離變換成類似度，使塊ID成對地輸出。
又，到類似度的變換，例如，當類似距離為最小值時令類似度為100％，當類似距離為最大值時令類似度為0％，對于該范圍內(nèi)的類似距離的類似度可以根據(jù)對最小值或最大值之差算出來。
其次，我們說明步驟S1860的文字特征信息比較處理的詳細情況。
在該處理中，進行比較源圖像和比較目的圖像中的各個文字塊內(nèi)的各文字碼之間的比較，從它們的一致性算出類似度。
又，當比較作為檢索條件的紙文檔和原始文檔時，類似度成為100％是理想的，但是實際上因為存在著在對于成為檢索條件的紙文檔中的文字塊的OCR處理中發(fā)生誤識別的情形，所以即便在與原始文檔的比較中類似度也不成為100％，但是成為相當接近100％的值。
其次，我們說明步驟S1870的統(tǒng)合處理的詳細情況。
在該統(tǒng)合處理中，進行在作為比較目的圖像的原始文檔內(nèi)占據(jù)的比例大的塊的類似度，與為了作為全體原始文檔的類似度更大地反映出來，而算出的每個塊的類似度的統(tǒng)合。
例如，對于原始文檔中的塊B1～B6，算出每個塊的類似率n1～n6。這時全體原始文檔的總合類似率N由下列公式表示。
N＝w1×n1+w2×n2+w3×n3+...+w6×n6 (4)這里，w1～w6是評價各塊的類似率的權(quán)重系數(shù)。從塊的原始文檔內(nèi)占有率算出權(quán)重系數(shù)w1～w6。例如，當令塊1～6的大小為S1～S6時，能夠算出塊1的占有率w1為w1＝S1/(S1+S2+...+S6)(5)通過用這種占有率的加權(quán)處理，原始文檔內(nèi)占據(jù)大的區(qū)域的塊的類似度更能夠在全體原始文檔的類似度中反映出來。
其次，我們說明當步驟S3150和步驟S3160中所示的確認模式時的處理的詳細情況。
既可以用戶預先從用戶界面指定確認模式，也可以自動地判定確認模式。作為自動判定的方法是下面的方法。例如，當檢索到的原始文檔候補為1個時，或者，1位的原始文檔候補和2位以下的原始文檔候補的各個類似度之差大于等于預定值，1位的原始文檔候補作為所要的原始文檔的可能性高時，作為“非確認模式”行進到步驟S3170，在這種情形中，成為“確認模式”。
當“確認模式”時，在用MFP100的顯示單元110和輸入單元113實現(xiàn)的用戶界面中顯示出原始文檔候補組，由用戶從中選擇所要的原始文檔。
這樣，當自動判定有無實施確認模式時，因為不需要由用戶進行選擇原始文檔的操作，所以能夠減少操作工時數(shù)。
這里，我們用圖23說明確認模式時的用戶界面的一個例子。
圖23是表示本發(fā)明的實施方式的用戶界面的一個例子的圖。
2311是顯示·操作面板。2312～2315是各種功能按鈕，各種功能按鈕2312～2315是用于進行處理對象的圖像的打印指示、分發(fā)指示、存儲指示和編輯指示的按鈕。即便預先按下按鈕，指定原始文檔后，它們也可以進行指定。
2316是開始按鈕，通過按下該按鈕，能夠?qū)嵤┯晒δ馨粹o進行選擇的功能。2317是顯示區(qū)域，由觸摸面板構(gòu)成，用戶可以直接觸摸畫面，選擇指示。
2318是模式顯示區(qū)域，在圖23中，表示了確認模式。通常顯示自動判定模式。又，通過觸摸它，能夠循環(huán)地指定“確認模式”和“非確認模式”。
2319～2328是作為檢索結(jié)果輸出的原始文檔候補的縮略像組。以從2319開始的號碼順序和類似度由低到高的順序顯示該縮略像。在本例中，當顯示最大10個的縮略像，原始文檔候補大于等于10個時，顯示直到上位10的縮略像。而且，通過從該縮略像組2319～2328，選擇所要的縮略像，可以選擇所要的原始文檔，可以對該選出的原始文檔實施各種處理。
如以上說明的那樣，如果根據(jù)本實施方式，則也可以用它的彩色圖像電子數(shù)據(jù)的灰度打印物的電子化圖像和它的彩色圖像電子數(shù)據(jù)的灰度圖像電子數(shù)據(jù)檢索紙文檔的原始文檔的彩色圖像電子數(shù)據(jù)。又，能夠?qū)υ紙D像電子數(shù)據(jù)不實施為了檢索圖像的特別的變更，高精度地實現(xiàn)上述檢索。
又，作為檢索條件的電子化紙文檔圖像是彩色圖像也好是灰度圖像也好，都可以用適合于該圖像的種類的方法，檢索它的原始文檔。
進一步，當不能夠?qū)z索結(jié)果收斂到1個時，向用戶提示該檢索結(jié)果候補組，用戶可以從該檢索結(jié)果候補組自由地進行選擇。
又，在上述實施方式的圖10的亮度特征信息提取處理中，我們說明了將處理對象圖像的最常出現(xiàn)的亮度作為亮度特征信息進行提取的例子，但是不限于此，例如，也可以將平均亮度作為亮度特征信息進行提取。
又，如圖21所示，我們說明了用亮度特征信息作為關(guān)于灰度圖像的灰度特征量的例子，但是不限于此，例如，也可以用將1個共起矩陣、對比度、平均信息量、Gabor變換等表現(xiàn)的結(jié)構(gòu)特征量、邊緣、傅里葉描述符等的形狀特征量等的多種灰度特征量，或?qū)⑺鼈內(nèi)我饨M合起來的特征量。
又，在圖14的色特征信息提取處理中，我們說明了將處理對象圖像的最常出現(xiàn)的顏色作為色特征信息進行提取的例子，但是不限于此，例如，也可以將平均色作為色特征信息進行提取。
又，在彩色圖像和灰度圖像中用適合于各個圖像的種類的特征量進行比較，但是如果在精度允許的范圍內(nèi)，則即便關(guān)于彩色圖像，也可以只提取用于灰度圖像的類似比較的特征量，只用它進行比較。
又，進行塊選擇處理，將處理對象的文檔分割成文字塊和圖像塊，復合地使用這些各塊的特征量進行檢索，但是也可以將全體文檔看作1個圖像，檢索原始文檔。又，如果在精度允許的范圍內(nèi)，則也可以只利用文檔中的圖像塊，檢索原始文檔。
又，一旦將電子數(shù)據(jù)變換成光柵圖像，但是當然也可以從電子數(shù)據(jù)直接選出文字碼和圖像進行比較。
又，在塊選擇處理中，將處理對象的文檔分割成塊后，對它的圖像塊進行圖16的彩色/灰度判定，但是也可以當進行塊選擇時，進行彩色/灰度判定，作為屬性將彩色圖像/灰度圖像賦予圖像塊。
又，當檢索時，對每個圖像塊進行彩色/灰度判定，但是當然也可以用全體文檔的圖像，預先進行彩色/灰度判定。
又，自動地進行彩色/灰度判定，但是即便用戶指定它，當然也沒有關(guān)系。
又，作為文字特征量采用文字碼，但是，例如，也可以預先進行與單詞詞典的匹配，提取單詞的詞類，將是名詞的單詞作為文字特征量。
在以上說明的實施方式中，能夠用個人計算機等的信息處理裝置實現(xiàn)圖像處理裝置，能夠抓住作為實現(xiàn)該功能的順序的方法作為發(fā)明。又，因為能夠由計算機實現(xiàn)，所以本發(fā)明也能夠適用于在各個裝置中實施的計算機程序，進一步，存儲該計算機程序，也能夠適用于計算機讀入的CD-ROM等的計算機可讀存儲媒體，這是顯而易見的。
以上，我們詳細述說了實施方式例，但是本發(fā)明，例如，可以采用作為系統(tǒng)、裝置、方法、程序或存儲媒體等的權(quán)利要求項，具體地說，既可以適用于由多個設(shè)備構(gòu)成的系統(tǒng)，也可以適用于由1個設(shè)備構(gòu)成的裝置。
又，本發(fā)明包含通過直接或遠距離地將實現(xiàn)上述實施方式的功能的軟件的程序(在實施方式中與圖示的操作程序圖對應的程序)供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計算機讀出并實施該供給的程序碼也能夠達成的情形。
從而，為了用計算機實現(xiàn)本發(fā)明的功能處理，安裝在該計算機中的程序碼自身也是實現(xiàn)本發(fā)明的要素。即，本發(fā)明也包含用于實現(xiàn)本發(fā)明的功能處理的計算機程序自身。
這時，如果具有程序的功能，則也可以是目標碼、由翻譯機實施的程序、供供給OS的腳本數(shù)據(jù)等的形態(tài)。
作為用于供給程序的記錄媒體，例如，是軟盤(FLOPY(注冊商標)盤)、硬盤、光盤、光磁盤、MO、CD-ROM、CD-R、CD-RW、磁帶、非易失性存儲卡、ROM、DVD(DVD-ROM，DVD-R)等。
其它，作為程序供給方法，也能夠通過用客戶計算機的處理機與因特網(wǎng)的主頁連接，從該主頁將本發(fā)明的計算機程序本身或者包含經(jīng)過壓縮的自動安裝功能的文檔下載到硬盤等的記錄記錄媒體上進行供給。又，將構(gòu)成本發(fā)明的程序的程序碼分割成多個文檔，也可以通過從不同的主頁進行下載各個文檔來實現(xiàn)。即，對于多位用戶下載為了用計算機實現(xiàn)本發(fā)明的功能處理的程序文檔的WWW服務器也包含在本發(fā)明中。
又，也可以對本發(fā)明的程序進行密碼化，存儲在CD-ROM等的存儲媒體中分配給用戶，對于清除了預定條件的用戶，通過因特網(wǎng)從主頁下載解除密碼化的鍵信息，通過使用該鍵信息實施經(jīng)過密碼化的程序，安裝在計算機中進行實現(xiàn)。
又，通過計算機實施讀出的程序，除了實現(xiàn)上述實施方式的功能外，根據(jù)該程序的指示，在計算機上工作的OS等進行實際處理的一部分或全部，通過該處理也能夠?qū)崿F(xiàn)上述實施方式的功能。
進一步，在將從記錄媒體讀出的程序?qū)懭氩迦胗嬎銠C的功能擴展板和與計算機連接的功能擴展單元中備有的存儲器后，根據(jù)該程序的指示，該功能擴展板和功能擴展單元中備有的CPU等進行實際處理的一部分或全部，通過該處理也能夠?qū)崿F(xiàn)上述實施方式的功能。
如以上說明的那樣，如果根據(jù)本發(fā)明，則可以從經(jīng)過灰度打印的紙文檔，檢索并活用原始的彩色電子數(shù)據(jù)。這時，能夠不變更原始文檔地實現(xiàn)，并且能夠高精度地進行檢索。又，也能夠容易地活用不僅紙原稿的文本圖像，而且由成為紙原稿基礎(chǔ)的文字處理機軟件等作成的電子文檔本身。又，紙文檔是彩色的也好是灰度的也好都可以用適當?shù)姆椒ㄟM行檢索。又，即便不能夠?qū)z索結(jié)果集中到1個，用戶也可以從候補中進行選擇。
本發(fā)明不限于上述實施方式，在不脫離本發(fā)明的精神和范圍的條件下能夠進行各種不同的變化和修改。所以，為了向公眾報告本發(fā)明的范圍，我們制訂了下列權(quán)利要求書。
權(quán)利要求
1.一種圖像處理裝置，其特征在于它備有將多個電子數(shù)據(jù)作為比較目的圖像存儲起來的存儲部件；輸入從打印物得到的比較源圖像的輸入部件；提取上述比較源圖像的灰度特征量的灰度特征量提取部件；用由上述灰度特征量提取部件提取的灰度特征量，從上述存儲部件檢索與上述比較源圖像相對應的比較目的圖像的檢索部件；和從上述存儲部件提取用上述檢索部件檢索得到的圖像，對該提取的圖像進行處理的處理部件。
2.權(quán)利要求1所述的圖像處理裝置，其特征在于上述灰度特征量包含上述比較源圖像的亮度特征、紋理特征量、形狀特征量的某一個或其任意組合。
3.權(quán)利要求1所述的圖像處理裝置，其特征在于上述檢索部件比較上述比較源圖像的灰度特征量和上述比較目的圖像的灰度特征量，將類似的比較目的圖像作為檢索結(jié)果進行輸出。
4.權(quán)利要求1所述的圖像處理裝置，其特征在于進一步具有提取關(guān)于上述比較源圖像的顏色的色特征量的色特征量提取部件，上述檢索部件根據(jù)上述比較源圖像的灰度特征量和上述比較源圖像的色特征量，從上述存儲部件檢索與上述比較源圖像相對應的比較目的圖像。
5.權(quán)利要求4所述的圖像處理裝置，其特征在于上述色特征量包含上述比較源圖像中的最常出現(xiàn)的顏色和平均色中的至少一方。
6.權(quán)利要求4所述的圖像處理裝置，其特征在于進一步備有判定是否根據(jù)色信息檢索上述比較源圖像的判定部件，當由上述判定部件判定為根據(jù)色信息進行檢索時，由上述色特征量提取部件提取上述比較源圖像的色特征量，上述檢索部件根據(jù)上述提取的比較源圖像的色特征量從上述存儲部件檢索與上述比較源圖像相對應的比較目的圖像，當由上述判定部件判定為不根據(jù)色信息進行檢索時，由上述灰度特征量提取部件提取上述比較源圖像的灰度特征量，上述檢索部件根據(jù)上述提取的比較源圖像的灰度特征量從上述存儲部件檢索與上述比較源圖像相對應的比較目的圖像。
7.權(quán)利要求1所述的圖像處理裝置，其特征在于進一步備有顯示由上述檢索部件得到的檢索結(jié)果的顯示部件；和作為由上述檢索部件得到的檢索結(jié)果，當在上述顯示部件上顯示多個比較目的圖像時，從該多個比較目的圖像選擇所要圖像的選擇部件，上述處理部件從上述存儲部件提取由上述選擇部件選擇的圖像，對該提取的圖像實施處理。
8.權(quán)利要求1所述的圖像處理裝置，其特征在于進一步備有指示對由上述檢索部件檢索到的圖像進行處理的種類的指示部件，上述處理部件，根據(jù)由上述指示部件所指示的處理種類，提取上述檢索到的圖像，實施該指示的處理。
9.權(quán)利要求8所述的圖像處理裝置，其特征在于上述指示部件可以指示打印、分發(fā)、存儲、編輯中的至少任何一種處理。
10.權(quán)利要求1所述的圖像處理裝置，其特征在于進一步備有根據(jù)屬性將上述比較源圖像分割成多個區(qū)域的分割部件，上述灰度特征量提取部件從由上述分割部件所分割的多個區(qū)域中的具有規(guī)定屬性的區(qū)域，提取上述灰度特征量。
11.權(quán)利要求4所述的圖像處理裝置，其特征在于進一步備有根據(jù)屬性將上述比較源圖像分割成多個區(qū)域的分割部件，上述灰度特征量提取部件從由上述分割部件分割的多個區(qū)域中的具有第1屬性的區(qū)域，提取上述灰度特征量，上述色特征量提取部件從由上述分割部件所分割的多個區(qū)域中的具有第2屬性的區(qū)域，提取上述色特征量，
12.權(quán)利要求1所述的圖像處理裝置，其特征在于進一步備有提取關(guān)于上述比較源圖像中的文字圖像的文字特征量的文字特征量提取部件；和根據(jù)屬性將上述比較源圖像分割成多個區(qū)域的分割部件，上述灰度特征量提取部件從由上述分割部件所分割的多個區(qū)域中的具有第1屬性的區(qū)域，提取上述灰度特征量，上述文字特征量提取部件從由上述分割部件所分割的多個區(qū)域中的具有文字屬性的區(qū)域，提取上述文字特征量，上述檢索部件，用由上述灰度特征量提取部件提取的灰度特征量和由上述文字特征量提取部件提取的文字特征量，從上述存儲部件檢索與上述比較源圖像相對應的比較目的圖像。
13.權(quán)利要求1所述的圖像處理裝置，其特征在于進一步備有提取關(guān)于圖像的顏色的色特征量的色特征量提取部件；提取關(guān)于文字圖像的文字特征量的文字特征量提取部件；根據(jù)屬性將上述比較源圖像分割成多個區(qū)域的分割部件；和判定是否根據(jù)色信息，檢索由上述分割部件分割的區(qū)域中的具有規(guī)定屬性的區(qū)域的判定部件，上述灰度特征量提取部件從由上述判定部件判定為不根據(jù)色信息進行檢索的區(qū)域，提取上述灰度特征量，上述色特征量提取部件從由上述判定部件判定為根據(jù)色信息進行檢索的區(qū)域，提取上述色特征量，上述文字特征量提取部件從由上述分割部件所分割的多個區(qū)域中的具有文字屬性的區(qū)域，提取上述文字特征量，上述檢索部件，根據(jù)上述提取的灰度特征量、色特征量和文字特征量，從上述存儲部件檢索與上述比較源圖像相對應的比較目的圖像。
14.權(quán)利要求13所述的圖像處理裝置，其特征在于具有上述規(guī)定屬性的區(qū)域是圖像塊，具有上述文字屬性的區(qū)域是文本塊。
15.權(quán)利要求1所述的圖像處理裝置，其特征在于進一步具有從登記用圖像提取特征量，作為上述比較目的圖像登記在上述存儲部件中的登記部件。
16.權(quán)利要求15所述的圖像處理裝置，其特征在于由上述登記部件提取的特征量包含灰度特征量。
17.權(quán)利要求15所述的圖像處理裝置，其特征在于進一步具有根據(jù)屬性將上述登記用圖像分割成多個區(qū)域的分割部件，上述登記部件提取與由上述分割部件分割的區(qū)域的屬性相應的特征量進行登記。
18.一種圖像處理方法，其特征在于它備有輸入從打印物得到的比較源圖像的輸入步驟；提取上述比較源圖像的灰度特征量的灰度特征量提取步驟；用由上述灰度特征量提取步驟提取的灰度特征量，從作為比較目的圖像存儲在存儲媒體中的多個電子數(shù)據(jù)，檢索與上述比較源圖像相對應的比較目的圖像的檢索步驟；和從上述存儲媒體提取由上述檢索步驟檢索得到的圖像，對該提取的圖像進行處理步驟。
全文摘要
本發(fā)明提供了圖像處理裝置及其方法。輸入從打印物得到的比較源圖像。提取該比較源圖像的灰度特征量，用提取的灰度特征量，從存儲在存儲媒體中的多個電子數(shù)據(jù)，檢索與比較源圖像對應的比較目的圖像作為比較目的圖像。而且，從存儲部件提取該檢索得到的圖像，對該提取的圖像進行處理。
文檔編號G06K9/46GK1542681SQ200410038598
公開日2004年11月3日 申請日期2004年4月27日 優(yōu)先權(quán)日2003年4月30日
發(fā)明者東條洋, 椎山弘隆, 隆 申請人:佳能株式會社