專利名稱：圖像檢索裝置，圖像處理裝置，圖像檢索方法，以及圖像處理方法
技術領域：
本發(fā)明涉及圖像檢索裝置，圖像處理裝置，圖像檢索方法，以及圖像處理方法，特別涉及比如數(shù)字式多功能圖像處理機等圖像處理裝置，以用于該圖像處理裝置的圖像檢索裝置，圖像檢索方法，以及圖像處理方法。
背景技術：
文書或圖像檢索被應用于電子圖書館技術，辦公室自動化技術，以及數(shù)字式多功能圖像處理機等文書·圖像處理系統(tǒng)中。比如，為了當讀入不很清晰的文書或圖像時，為了能輸出高品質的文書或圖像，可以通過網(wǎng)絡把數(shù)字式多功能圖像處理機與存儲了大量文書和圖像的服務器連接，從該服務器上的文書和圖像中檢索出與讀入的文書或圖像一樣的文書或圖像，然后輸出該檢索到的文書或圖像。這樣就能輸出清晰、高品質的文書或圖像。
在文書·圖像檢索系統(tǒng)中，文書或圖像的匹配處理，即從大量文書和圖像中檢索出與輸入文書或圖像相同或相應的(即，匹配)文書或圖像，是其核心技術。
目前，有如下檢索技術。比如，運用OCR(opticalCharacter Recognition光學文字識別)技術識別文書的具體內容，以此來判斷文書的匹配；通過檢測數(shù)字水印(digitalwatermark)來檢索文書或圖像；或利用文書·圖像的圖像性特征來進行檢索。
但是，運用OCR技術進行檢索時，處理內容復雜，處理時間長，而且對于不同的語種要使用不同的裝置，所以使用不方便。另外，檢索的成功率依賴于OCR識別準確度。使用數(shù)字水印進行檢索時也是如此，即，處理內容復雜，檢索的成功率依賴于數(shù)字水印的檢測精度。再者，對于尚未支持的語種，或不帶數(shù)字水印的文書·圖像，則不能進行檢索。
利用文書·圖像的圖像性特征來進行檢索時，檢索的成功率很大程度上依賴于圖像特征量的選擇。目前，還沒有可以對不同圖像分辨率，不同格式，不同語言的文書·圖像進行高性能檢索的技術。
另外，在現(xiàn)有的文書·圖像檢索系統(tǒng)中，由于從數(shù)據(jù)庫檢索到文書·圖像不是用一般文字處理軟件可直接編輯的電子文件格式，而是無法直接編輯的圖像格式，所以，即使檢索出文書·圖像，也不能對其進行編輯，或為別的用途再加以利用。

發(fā)明內容
本發(fā)明的目的是提供一種圖像檢索裝置，圖像處理裝置，圖像檢索方法，以及圖像處理方法，它能夠迅速并且準確地從不同圖像分辨率，不同格式，不同語言的圖像中檢索出需要的圖像，而且可以編輯該檢索到的圖像。
為了達到以上目的，本發(fā)明提供一種圖像檢索裝置，用來從多個參考圖像中檢索出與待檢索圖像相匹配的參考圖像，它包括存儲單元，存儲參考圖像的圖像數(shù)據(jù)以及各個參考圖像的畫素密度分布數(shù)據(jù)；畫素密度分布提取單元，用來提取出待檢索圖像的畫素密度分布；以及檢索單元，它將待檢索圖像的畫素密度分布數(shù)據(jù)與各個參考圖像的畫素密度分布數(shù)據(jù)相比較，來從參考圖像中檢索出與待檢索圖像相匹配的至少一個參考圖像。
本發(fā)明的圖像檢索裝置最好還包括關鍵區(qū)域提取單元，用來提取出待檢索圖像的關鍵區(qū)域。另外，存儲單元中最好還存儲各個參考圖像的關鍵區(qū)域的數(shù)據(jù)。檢索單元最好還將待檢索圖像的關鍵區(qū)域數(shù)據(jù)與利用畫素密度分布檢索到的參考圖像的關鍵區(qū)域數(shù)據(jù)相比較，檢索與待檢索圖像相匹配的至少一個參考圖像。
本發(fā)明的圖像檢索裝置還可以包括有效圖像區(qū)域確定單元，它把待檢索圖像的圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)，并確定待檢索圖像的有效圖像區(qū)域。比如，畫素密度分布提取單元可將待檢索圖像的有效圖像區(qū)域分割成多個子區(qū)域，計算出各個子區(qū)域的畫素密度，以此得到待檢索圖像的畫素密度分布。另外，關鍵區(qū)域提取單元可將待檢索圖像的有效圖像區(qū)域分割成多個子圖像，并從子圖像中提取待檢索圖像的關鍵區(qū)域。
為了達到以上目的，本發(fā)明提供一種圖像檢索方法，用來從多個參考圖像中檢索出與待檢索圖像相匹配的參考圖像，它包括畫素密度分布提取步驟，提取出待檢索圖像的畫素密度分布；以及第一檢索步驟，將待檢索圖像的畫素密度分布數(shù)據(jù)與各個參考圖像的畫素密度分布數(shù)據(jù)相比較，檢索出與待檢索圖像相匹配的至少一個參考圖像。
本發(fā)明的圖像檢索方法最好還包括關鍵區(qū)域提取步驟，提取出待檢索圖像的關鍵區(qū)域，以及第二檢索步驟，將待檢索圖像的關鍵區(qū)域數(shù)據(jù)與利用畫素密度分布檢索到的參考圖像的關鍵區(qū)域數(shù)據(jù)相比較，檢索出與待檢索圖像相匹配的至少一個參考圖像。
本發(fā)明的圖像檢索方法最好還包括數(shù)據(jù)庫構筑步驟，用來構筑一數(shù)據(jù)庫，從該數(shù)據(jù)庫中，檢索出與待檢索圖像相匹配的至少一個參考圖像。該數(shù)據(jù)庫構筑步驟進行如下步驟將多個電子文件分別轉換為圖像，得到以上多個參考圖像；提取出各個參考圖像的畫素密度分布數(shù)據(jù)；提取出各個參考圖像的關鍵區(qū)域數(shù)據(jù)；將各個參考圖像的圖像數(shù)據(jù)，畫素密度分布數(shù)據(jù)，關鍵區(qū)域數(shù)據(jù)，以及對應的電子文件的數(shù)據(jù)相互關聯(lián)地存儲于數(shù)據(jù)庫中。
為了達到以上目的，本發(fā)明提供一種圖像處理裝置，用來處理從多個參考圖像中檢索出的與輸入圖像相匹配的參考圖像，它包括圖像輸入單元；存儲單元，存儲參考圖像的圖像數(shù)據(jù)以及各個參考圖像的畫素密度分布數(shù)據(jù)；畫素密度分布提取單元，用來提取出所述輸入圖像的畫素密度分布；檢索單元，它將輸入圖像的畫素密度分布數(shù)據(jù)與各個參考圖像的畫素密度分布數(shù)據(jù)相比較，從參考圖像中檢索出與輸入圖像相匹配的至少一個參考圖像，以及圖像輸出單元，用來輸出檢索到的與輸入圖像相匹配的參考圖像。
本發(fā)明的圖像處理裝置，最好還包括關鍵區(qū)域提取單元，用來提取出輸入圖像的關鍵區(qū)域。
在本發(fā)明的圖像處理裝置中，存儲單元中最好還存儲各個參考圖像的關鍵區(qū)域的數(shù)據(jù)；檢索單元將輸入圖像的關鍵區(qū)域數(shù)據(jù)與利用畫素密度分布檢索到的參考圖像的關鍵區(qū)域數(shù)據(jù)相比較，來檢索與輸入圖像相匹配的至少一個參考圖像。
在本發(fā)明的圖像處理裝置中，存儲單元，還可以存儲各個參考圖像的電子文件，并保持各個電子文件與各個參考圖像的圖像數(shù)據(jù)相關聯(lián)。
在本發(fā)明的圖像處理裝置還可以包括顯示器，它用來顯示檢索到的參考圖像；和編輯器，用來編輯檢索到的參考圖像的電子文件。
為了達到以上目的，本發(fā)明提供一種圖像處理方法，用來處理從多個參考圖像中檢索出的與輸入圖像相匹配的參考圖像，它包括圖像輸入步驟，畫素密度分布提取步驟，提取出輸入圖像的畫素密度分布；第一檢索步驟，將輸入圖像的畫素密度分布數(shù)據(jù)與各個參考圖像的畫素密度分布數(shù)據(jù)相比較，檢索出與輸入圖像相匹配的至少一個參考圖像，以及，圖像輸出步驟，輸出被檢索到的參考圖像。
本發(fā)明的圖像處理方法最好還包括關鍵區(qū)域提取步驟，以提取出輸入圖像的關鍵區(qū)域，以及第二檢索步驟，以將輸入圖像的關鍵區(qū)域數(shù)據(jù)與利用畫素密度分布檢索到的參考圖像的關鍵區(qū)域數(shù)據(jù)相比較，檢索出與輸入圖像相匹配的至少一個參考圖像。
本發(fā)明的圖像處理方法還可以包括數(shù)據(jù)庫構筑步驟，用來構筑一數(shù)據(jù)庫，從該數(shù)據(jù)庫中，檢索出與待檢索圖像相匹配的至少一個參考圖像。該數(shù)據(jù)庫構筑步驟進行如下步驟將多個電子文件分別轉換為圖像，得到多個參考圖像；提取出各個參考圖像的畫素密度分布數(shù)據(jù)；提取出各個參考圖像的關鍵區(qū)域數(shù)據(jù)；將各個參考圖像的圖像數(shù)據(jù)，畫素密度分布數(shù)據(jù)，關鍵區(qū)域數(shù)據(jù)，以及與各個參考圖像對應的電子文件的數(shù)據(jù)相互關聯(lián)地存儲于數(shù)據(jù)庫中。
本發(fā)明的圖像處理方法，還可以包括顯示步驟，來顯示檢索到的參考圖像；和編輯步驟，來編輯檢索到的參考圖像的所述電子文件。


通過以下結合附圖的詳細說明可以對本發(fā)明的目的，特征和優(yōu)點有更清楚的了解。
圖1是作為本發(fā)明的圖像處理裝置的一個實施例的數(shù)字式多功能圖像處理機100的示意圖。
圖2是顯示本實施例的提取圖像特征量的方法的流程圖。
圖3說明本實施例中確定圖像印刷芯區(qū)的方法。
圖4說明本實施例中計算黑畫素的密度分布特征量的方法。
圖5是顯示本實施例的提取圖像關鍵塊特征量的方法的流程圖。
圖6顯示關鍵塊KB1。
圖7顯示關鍵塊KB2。
圖8顯示關鍵塊KB3。
圖9顯示輸入圖像中關鍵塊KB1，KB2，KB3的相對關系。
圖10是說明本實施例的圖像檢索方法的流程圖。
圖11顯示用本實施例的檢索方法得到的檢索實驗結果。
圖12顯示用本實施例的檢索方法得到的檢索實驗結果。
圖13是顯示本實施例的數(shù)字式多功能圖像處理機100的圖像處理操作的流程圖。
具體實施例方式
以下參照附圖對本發(fā)明的具體實施例進行詳細說明。
圖1是作為本發(fā)明的圖像處理裝置的一個實施例的數(shù)字式多功能圖像處理機100的示意圖。
圖1顯示的數(shù)字式多功能圖像處理機100，比如說，可以具有復印機，打印機，傳真機，掃描儀等功能。該數(shù)字式多功能圖像處理機100可以從存儲在數(shù)據(jù)庫中的大量的文書和圖像中檢索出與輸入文書或圖像相同或相應的文書或圖像，并輸出。這樣，即使讀入的文書或圖像不很清晰時也能輸出高品質的文書或圖像。
如圖1所示，數(shù)字式多功能圖像處理機100包括控制裝置整體操作的控制單元101，從稿紙上讀入圖像數(shù)據(jù)的圖像讀入單元102，圖像輸出單元103，存儲有圖像數(shù)據(jù)，文書數(shù)據(jù)，以及各種程序的硬盤104，進行各種處理的內存105，管理各種圖像文件和電子文件的文件管理單元106，檢索與讀入圖像相匹配的圖像的檢索單元107，編輯和該匹配圖像對應的電子文件的編輯器108，用來與網(wǎng)絡連接的計算機接口(I/F)109，輸入用戶的操作，并顯示操作結果的用戶界面110，以及與電話線相連，可以通過電話線向外部傳輸文書、圖像的傳真機111。
在數(shù)字式多功能圖像處理機100中，圖像讀入單元102從稿紙上讀入圖像數(shù)據(jù)，控制單元101控制提取被讀入的圖像的特征量。利用得到的圖像特征量，檢索單元107從存儲在內存105中的文書和圖像中檢索出與讀入圖像匹配的圖像。內存105中的文書和圖像中是在數(shù)字式多功能圖像處理機100開始工作時，從硬盤104讀入內存105中的。
當檢索到匹配的圖像時，圖像輸出單元103可以將該圖像輸出，比如可以把檢索到的圖像或與其對應的電子文件可被顯示在一顯示器上(未圖示)。該電子文件也存儲在硬盤104中并與圖像數(shù)據(jù)保持對應關系，當數(shù)字式多功能圖像處理機100開始工作時，被從硬盤104讀入內存105。當圖像被顯示在該顯示器上時，用戶可以確認圖像(它可以是轉換為圖像格式的文書)的內容，如果必要，用戶可以編輯該圖像的電子文件，比如，可以進行修改，追加，刪除等編輯。
另外，圖像輸出單元103也可以把檢索到的圖像印刷到稿紙上。當檢索到的圖像被印刷到稿紙上時，可以得到清晰的高質量的圖像。
以下說明本實施例的圖像特征的提取方法以及圖像檢索的方法。
在本實施例中沒有采用OCR技術或數(shù)字水印檢測技術來進行檢索，而是事先構筑一個用于檢索的圖像數(shù)據(jù)庫。具體講，提取出多個圖像(以下，稱之為參考圖像)的圖像特征量，并將該圖像特征量與參考圖像的圖像數(shù)據(jù)以及對應的電子文件數(shù)據(jù)相關聯(lián)，存儲在該圖像數(shù)據(jù)庫。當數(shù)字式多功能圖像處理機100開始工作時，控制單元101控制提取出讀入圖像的該圖像特征量，利用該圖像特征量，檢索單元107從位于內存105中的圖像數(shù)據(jù)庫中進行檢索。
在本實施例中，提取出輸入圖像及參考圖像的前景的畫素密度分布(foreground pixel distribution)的特征量，將其作為該輸入圖像及參考圖像的局部特征量(local feature)。參考圖像的畫素密度分布特征量作為圖像特征量被存儲于圖像數(shù)據(jù)庫中，并與參考圖像的圖像數(shù)據(jù)以及對應的電子文件數(shù)據(jù)相關聯(lián)。比如，可將輸入圖像的畫素密度分布特征量與圖像數(shù)據(jù)庫中的各個參考圖像的畫素密度分布特征量比較，以從參考圖像中檢索出與輸入圖像匹配的一個或多個參考圖像。
進一步，在本實施例中，還可提取出輸入圖像及參考圖像中的關鍵塊(key block)的特征量，將其作為輸入圖像及參考圖像的整體特征量(global feature)。這里，圖像的關鍵塊為圖像中主要的圖像塊，比如，為圖像中具有顯著特征的圖像塊。
參考圖像的關鍵塊特征量也作為圖像特征量被存儲于圖像數(shù)據(jù)庫中，并與參考圖像的圖像數(shù)據(jù)，對應的電子文件數(shù)據(jù)，畫素密度分布特征量相關聯(lián)。比如，可將輸入圖像的關鍵塊特征量與利用畫素密度分布特征量檢索到的多個參考圖像的關鍵塊特征量比較，以從中檢索出與輸入圖像匹配的參考圖像。
以下詳細說明本實施例的圖像特征量提取方法。
圖2是顯示本實施例的提取圖像特征量的方法的流程圖。
如圖2所示，在步驟S101中，將輸入圖像的數(shù)據(jù)轉換為二進制數(shù)據(jù)。
由圖像讀入單元102從稿紙上讀入的原始圖像數(shù)據(jù)可以有各種各樣的格式，而且有可能包含扭曲角(skew angle)或掃描噪聲，所以，通過將輸入圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)，可以消除扭曲角，掃描噪聲等，這樣有利于可支持不同格式的圖像的檢索。另外，把輸入圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)后，可以容易地提取出圖像的前景。
可用以下方法把輸入圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)。比如，將畫素的值設在0至255之間，并設一閾值(Th，0＜Th＜255)，當畫素的值小于閾值Th時，將畫素定義為黑，否則將畫素定義為白。
在步驟S102中，在已二進制化的圖像上，確定圖像的印刷芯區(qū)(print core)。
所謂圖像的印刷芯區(qū)為圖像的有效區(qū)域。在提取圖像特征量時，是在印刷芯區(qū)范圍內進行的。另外，在處理不同的圖像時，印刷芯區(qū)還可做為該不同圖像的一個共同的參照框架。
印刷芯區(qū)的位置可以通過將二進制化的圖像在橫向和縱向投影，從圖像的橫向投影和縱向投影的范圍來確定。另外，在確定印刷芯區(qū)位置的同時，根據(jù)圖像的橫向投影和縱向投影的特征，可以判斷出該圖像中的文字是橫排書寫格式還是豎排書寫格式(以下，稱該書寫方向為文書主方向)。比如，當該圖像中的文字是橫排書寫格式時，圖像的橫向投影比縱向投影變化頻繁，而當該圖像中的文字是豎排書寫格式時，圖像的縱向投影比橫向投影變化頻繁。
圖3說明本實施例中確定圖像印刷芯區(qū)的方法。
圖3顯示的圖像是經(jīng)過二進制化處理后的圖像、其中301指由圖像讀入單元102從稿紙上讀入圖像時一并讀入的稿紙的范圍，302是稿紙上做為印刷對象的圖像的有效范圍，即印刷芯區(qū)。圖像特征量是在印刷芯區(qū)302的范圍內提取的。
再返回圖2。
在步驟S103中，在二進制化的圖像上，計算黑畫素的密度分布特征量DDF(Density Distribution Feature)。
圖4說明本實施例中計算黑畫素的密度分布特征量的方法。
如圖4所示，將印刷芯區(qū)302分割成多個子區(qū)域。比如，在圖4中，用橫向m條線，縱向n條線，將印刷芯區(qū)302分割成m×n個子區(qū)域。然后，計算各個子區(qū)域的黑畫素的數(shù)目si(i＝0，...，m×n-1)。這里，i為子區(qū)域的指數(shù)。然后，將各個子區(qū)域的黑畫素數(shù)格式化，計算各個子區(qū)域的黑畫素數(shù)si與最大黑畫素數(shù)S的比值ri。
S=maxi=0,...,m×n-1(si)---(1)]]>ri＝si/si＝0，...，m×n-1(2)然后，根據(jù)是橫向書寫格式還是豎向書寫格式，計算以上比值的差。
如果是橫向書寫格式，則drj×n+l=rj×n+l-rj×n+l-1,l=n-1rj×n+l-rj×n+l+1,l=02×rj×n+l-rj×n+l-1,others---(3)]]>如果是豎向書寫格式，則drj×n+l=rj×n+l-r(j-1)×n+l,j=m-1rj×n+l-r(j+1)×n+l,j=02×rj×n+l-r(j-1)×n+l-r(j+1)×n+l,others---(4)]]>得到的黑畫素密度分布特征量DDF可用以下式子表達。
DDF(r0，...，rm×n-1；dr0，...，drm×n-1)(5)圖5是顯示本實施例的提取圖像關鍵塊特征量的方法的流程圖。
如圖5所示，在步驟S121中，將輸入圖像的數(shù)據(jù)轉換為二進制數(shù)據(jù)。
在步驟S122中，在已二進制化的圖像上，確定圖像的印刷芯區(qū)。
在步驟S123中，在二進制化的圖像上，求圖像的關鍵塊特征量KBF(Key Block Feature)。
如上所述，圖像的關鍵塊為圖像中具有顯著特征的主要區(qū)域(圖像塊)。比如，在圖3中的圖像上，有顯示有兩輛汽車，圖表，文字等的若干圖像塊。這些圖像塊可定義為圖3中的圖像的關鍵塊。具體按以下方法來定量描述各個關鍵塊。
在將圖像二進制化，并確定了印刷芯區(qū)302后，求黑畫素的分布。
具體講，在文書中，相鄰文字之間都留有一定空白。在求圖像的關鍵塊特征量KBF時，需將這些空白都填黑，以得到黑畫素的連續(xù)分布。即，在文書主方向，將相鄰文字之間的空白填黑。這樣，一行或一列的黑畫素相互連接，原來離散分布的黑畫素變成有一定長度的黑條帶。
根據(jù)得到的黑條帶的長度和相鄰黑條帶的間隔的疏密，將印刷芯區(qū)302劃分為多個圖像塊。
然后，計算各個圖像塊中黑條帶長度的平均值。比如，黑條帶長度的平均值最大的三個圖像塊可被定義為關鍵塊KB1，KB2，KB3。
圖6，圖7，圖8分別顯示關鍵塊KB1，KB2，KB3。在圖6，圖7，圖8中，401，402，和403分別指該三個關鍵塊KB1，KB2，KB3。
在圖6，圖7，圖8中，如上所述，由于相鄰黑畫素之間被填黑，離散分布的黑畫素變成有一定長度的黑條帶。這些黑條帶的長度和間隔的疏密被用來做為劃分印刷芯區(qū)302為多個圖像塊時的基準。
另外，在圖6，圖7，圖8中的左側，分別顯示有關鍵塊KB1，KB2，KB3的橫向投影。從該投影可以得到黑條帶的長度和間隔的疏密的信息。
圖9顯示輸入圖像中關鍵塊KB1，KB2，KB3的相對關系。
在圖9中，分別表示為401，402，和403的三個關鍵塊KB1，KB2，KB3是關鍵塊特征量KBF的值最大的三個關鍵塊。
將關鍵塊KB1，KB2，KB3的重心分別表示為c1，c2，c3，求出以下各個量。
l1＝‖c1-c2‖l2＝‖c2-c3‖l3＝‖c3-c1‖ (6)L＝max(l1，l2，l3) (7)kbi＝bwi/Li＝1，...，3 (8)tl＝0.5×(l1+l2+l3) (9)A＝((tl-l1)×(tl-l2)×(tl-l3)×tl)1/2(10)
αi=0,A=02×A/li/li-1,others---(11)]]>即，如果將三角形c1 c2 c3的三個內角分別表示為θ1，θ2，θ3，則有αi＝sin(θi)。
得到的關鍵塊特征量KBF可用以下式子表達。
KBF(kb1，kb2，kb3，α1，α2，α3)(12)這樣，就得到了做為圖像局部特征量的圖像畫素密度分布特征量DDF以及做為圖像整體特征量的關鍵塊特征量KBF。
以下說明利用畫素密度分布特征量DDF和圖像關鍵塊特征量KBF從圖像數(shù)據(jù)庫檢索出與輸入圖像匹配的圖像的方法。
在本實施例中，在進行圖像檢索之前，先構筑用于檢索的圖像數(shù)據(jù)庫。比如，該圖像數(shù)據(jù)庫是一個包含10000個以上的參考圖像的大規(guī)模的數(shù)據(jù)庫。這些參考圖像具有不同的圖像分辨率(比如，100dpi，200dpi，400dpi等等)，不同的格式(比如，1比特，8比特，24比特等等)，不同的語言(比如，中文，日文，英文等等)。
比如這些參考圖像是從可編輯的電子文書轉換來的圖像。所謂可編輯是指能夠用一般文字處理軟件進行編輯。在將電子文書轉換為圖像時，可以設定圖像分辨率，圖像顏色，二值或多值等條件。
對于每個參考圖像，按以上所述的方法提取圖像特征量，即，按圖2所示的方法提取出各個參考圖像的前景的畫素密度分布特征量DDF，還可以按圖5所示的方法提取出各個參考圖像的關鍵塊特征量KBF，并將參考圖像的圖像數(shù)據(jù)，對應的電子文件數(shù)據(jù)，畫素密度分布特征量DDF，和關鍵塊特征量KBF相互關聯(lián)，構筑圖像數(shù)據(jù)庫。該圖像數(shù)據(jù)庫存儲于硬盤104，當本實施例的數(shù)字式多功能圖像處理機100開始工作時，該圖像數(shù)據(jù)庫從硬盤104讀入內存105中，并由文件管理單元106管理來管理。
在以下說明中，設輸入圖像為Q，輸入圖像的畫素密度分布特征量為QDDF，輸入圖像的關鍵塊特征量為QKBF。再假設文件管理單元106管理圖像數(shù)據(jù)庫中的K個參考圖像，其中第k個參考圖像的畫素密度分布特征量和關鍵塊特征量分別為DDF(k)和KBF(k)(k＝1，...，K)。
圖10是說明本實施例的圖像檢索方法的流程圖。
在步驟S131中，檢索單元107利用圖像的畫素密度分布特征量來進行檢索。比如，檢索單元107將輸入圖像的畫素密度分布特征量與數(shù)據(jù)庫中的各個參考圖像的畫素密度分布特征量比較，以檢索出與輸入圖像匹配的參考圖像。
具體講，首先按以下公式計算輸入圖像的畫素密度分布特征量QDDF與第k個參考圖像的畫素密度分布特征量DDF(k)的兩個距離值Ddisk和Ddifk。
dsik=(riddf(q)-riddf(k))2---(13)]]>ddik=(driddf(q)-driddf(k))2---(14)]]>將dsik按以下順序排列。
ds0k<...<dsjk<dsj+1k<...<dsm×n-1k---(15)]]>
Ddisk=Σjdsjk,j<m×n-1---(16)]]>Ddifk=Σiddik,j<m×n-1---(17)]]>從圖像數(shù)據(jù)庫中選出距離Ddisk最小的五個參考圖像，以及距離Ddifk最小的五個參考圖像，得到共10個參考圖像，做為這次檢索的結果。
在步驟S132中，檢索單元107利用圖像的關鍵塊特征量來進行檢索。比如，檢索單元107將輸入圖像的關鍵塊特征量與以上檢索出的10參考圖像(以下，稱為候選圖像)的關鍵塊特征量比較，以從中檢索出與輸入圖像匹配的參考圖像。以下設10個候選圖像的關鍵塊特征量為KBF(i)(i＝0，...，9)。
計算可靠度指數(shù)指數(shù)sci，pci，和Rkbfi。
sci=Σj=13[swj×(kbjkbf(q)-kbjkbf(i))2]---(18)]]>pci=Σj=13[pwj×(αjkbf(q)-αjkbf(i))2]---(19)]]>指數(shù)sci是用關鍵塊的平均尺寸計算得到的輸入圖像與候選圖像之間的可靠度指數(shù)，pci是用關鍵塊之間的相對位置計算得到的輸入圖像與候選圖像之間的可靠度指數(shù)。
Rkbfi＝1/(1+sci×pci)(20)可靠度指數(shù)Rkbfi是輸入圖像與候選圖像之間整體的可靠度指數(shù)。根據(jù)可靠度指數(shù)Rkbfi的大小來確定匹配圖像。比如，從候選圖像中選出與Rkbfi的最小的五個值對應的參考圖像，做為檢索結果。
圖11和圖12顯示用以上說明的本實施例的檢索方法得到的檢索實驗結果。
在圖11和圖12所示的檢索實驗中，構筑了包含10385個參考圖像的數(shù)據(jù)庫，使用了具有Pentium 1.7GHz的CPU和256MB內存的個人計算機。在圖11的檢索實驗中，利用圖像的畫素密度分布特征量進行了檢索，得到了與輸入圖像一致性最高的5個參考圖像。在圖12的檢索實驗中，利用圖像的畫素密度分布特征量和關鍵塊特征量進行了兩次檢索，得到了與輸入圖像一致性最高的5個參考圖像。在以上檢索實驗中，處理輸入圖像所用時間為1.8秒，檢索到匹配圖像所用時間為1.6秒。
如圖11和圖12所示，本實施例的檢索方法能夠迅速并且準確地從不同圖像分辨率，不同格式，不同語言的圖像中檢索出需要的圖像。
圖13是顯示本實施例的數(shù)字式多功能圖像處理機100的圖像處理操作的流程圖。
在步驟S201中，圖像讀入單元102從稿紙上讀入圖像數(shù)據(jù)。
在步驟S202中，控制單元101控制提取被讀入的圖像的特征量。
在步驟S203中，利用得到的圖像特征量，檢索單元107從在文件管理單元106管理之下的圖像數(shù)據(jù)庫中檢索與讀入圖像匹配的圖像。
在步驟S204中，控制單元101判斷是否檢索到與讀入圖像匹配的圖像。如果沒有檢索到，則圖像處理結束。如果檢索到，則進入步驟S205。
在步驟S205中，檢索到的圖像或與其對應的電子文件被顯示在顯示器上。這時，用戶可以確認圖像的內容。
在步驟S206中，等待用戶指示是否進行編輯。若用戶選擇編輯時，則進入步驟S207。若用戶沒有選擇編輯時，則進入步驟S208。
在步驟S207中，用戶編輯被顯示的電子文件，比如，可以進行修改，追加，刪除等編輯。
在步驟S208中，等待用戶指示是否輸出電子文件。若用戶選擇輸出時，則進入步驟S209。若用戶沒有選擇輸出時，則圖像處理結束。
在步驟S209中，進行各種與輸出相關的設定，然后圖像輸出單元103輸出該圖像。
如圖13所示，根據(jù)本實施例，不但能夠迅速并且準確地從不同圖像分辨率，不同格式，不同語言的圖像中檢索出需要的圖像，而且還可以編輯該檢索到的圖像。
在本實施例中，畫素密度分布的特征量以及關鍵塊特征量被用做圖像特征量。這兩個特征量受圖像質量的變化的影響不大。特別是，畫素密度分布的處理很簡單，計算少，能快速高效地提取出來。
所以，根據(jù)本發(fā)明，能夠迅速并且準確地從不同圖像分辨率，不同格式，不同語言的圖像中檢索出需要的圖像，而且還可以編輯檢索到的圖像。
以上說明了是本發(fā)明的優(yōu)選實施例，本發(fā)明并不限于以上的實施例，屬于相關領域的技術人員可以在不脫離本發(fā)明的范圍的前提下做種種修改。
權利要求
1.一種圖像檢索裝置，用來從多個參考圖像中檢索出與待檢索圖像相匹配的參考圖像，它包括存儲單元，存儲所述多個參考圖像的圖像數(shù)據(jù)以及各個所述參考圖像的畫素密度分布數(shù)據(jù)；畫素密度分布提取單元，用來提取所述待檢索圖像的畫素密度分布；以及檢索單元，它將所述待檢索圖像的畫素密度分布數(shù)據(jù)與各個所述參考圖像的畫素密度分布數(shù)據(jù)相比較，來從所述多個參考圖像中檢索出與所述待檢索圖像相匹配的至少一個參考圖像。
2.根據(jù)權利要求1所述的圖像檢索裝置，還包括關鍵區(qū)域提取單元，用來提取所述待檢索圖像的關鍵區(qū)域，其中，所述存儲單元中還存儲各個所述參考圖像的關鍵區(qū)域的數(shù)據(jù)，所述檢索單元將所述待檢索圖像的關鍵區(qū)域數(shù)據(jù)與所述利用畫素密度分布檢索到的參考圖像的關鍵區(qū)域數(shù)據(jù)相比較，檢索與所述待檢索圖像相匹配的至少一個參考圖像。
3.根據(jù)權利要求2所述的圖像檢索裝置，還包括有效圖像區(qū)域確定單元，用來把所述待檢索圖像的圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)，并確定所述待檢索圖像的有效圖像區(qū)域，其中，所述畫素密度分布提取單元將所述待檢索圖像的有效圖像區(qū)域分割成多個子區(qū)域，計算出所述各個子區(qū)域的畫素密度，得到所述待檢索圖像的畫素密度分布。
4.根據(jù)權利要求2所述的圖像檢索裝置，還包括有效圖像區(qū)域確定單元，用來把所述待檢索圖像的圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)，并確定所述待檢索圖像的有效圖像區(qū)域，其中，所述關鍵區(qū)域提取單元將所述待檢索圖像的有效圖像區(qū)域分割成多個子圖像，并從所述多個子圖像中提取所述待檢索圖像的關鍵區(qū)域。
5.一種圖像檢索方法，用來從多個參考圖像中檢索出與待檢索圖像相匹配的參考圖像，它包括畫素密度分布提取步驟，提取所述待檢索圖像的畫素密度分布；以及第一檢索步驟，將所述待檢索圖像的畫素密度分布數(shù)據(jù)與各個所述參考圖像的畫素密度分布數(shù)據(jù)相比較，檢索出與所述待檢索圖像相匹配的至少一個參考圖像。
6.根據(jù)權利要求5所述的圖像檢索方法，還包括關鍵區(qū)域提取步驟，提取所述待檢索圖像的關鍵區(qū)域，以及第二檢索步驟，將所述待檢索圖像的關鍵區(qū)域數(shù)據(jù)與所述利用畫素密度分布檢索到的參考圖像的關鍵區(qū)域數(shù)據(jù)相比較，檢索出與所述待檢索圖像相匹配的至少一個參考圖像。
7.根據(jù)權利要求6所述的圖像檢索方法，還包括有效圖像區(qū)域確定步驟，把所述待檢索圖像的圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)，并確定所述待檢索圖像的有效圖像區(qū)域，其中，所述畫素密度分布提取步驟中，將所述待檢索圖像的有效圖像區(qū)域分割成多個子區(qū)域，計算出所述各個子區(qū)域的畫素密度，得到所述待檢索圖像的畫素密度分布。
8.根據(jù)權利要求6所述的圖像檢索方法，還包括有效圖像區(qū)域確定步驟，把所述待檢索圖像的圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)，并確定所述待檢索圖像的有效圖像區(qū)域，其中，所述關鍵區(qū)域提取步驟中，將所述待檢索圖像的有效圖像區(qū)域分割成多個子圖像，并從所述多個子圖像中提取所述待檢索圖像的關鍵區(qū)域。
9.根據(jù)權利要求5至8中任一項所述的圖像檢索方法，還包括數(shù)據(jù)庫構筑步驟，用來構筑一數(shù)據(jù)庫，從該數(shù)據(jù)庫中，檢索出與所述待檢索圖像相匹配的至少一個參考圖像，該數(shù)據(jù)庫構筑步驟進行如下步驟將多個電子文件分別轉換為圖像，得到所述多個參考圖像；提取出所述各個參考圖像的畫素密度分布數(shù)據(jù)；提取出所述各個參考圖像的關鍵區(qū)域數(shù)據(jù)；將所述各個參考圖像的圖像數(shù)據(jù)，所述各個參考圖像的畫素密度分布數(shù)據(jù)，所述各個參考圖像的關鍵區(qū)域數(shù)據(jù)，以及對應的所述電子文件的數(shù)據(jù)相互關聯(lián)地存儲于所述數(shù)據(jù)庫中。
10.一種圖像處理裝置，用來處理從多個參考圖像中檢索出的與輸入圖像相匹配的參考圖像，它包括圖像輸入單元，它輸入一輸入圖像；存儲單元，存儲所述多個參考圖像的圖像數(shù)據(jù)以及各個所述參考圖像的畫素密度分布數(shù)據(jù)；畫素密度分布提取單元，用來提取所述輸入圖像的畫素密度分布；檢索單元，它將所述輸入圖像的畫素密度分布數(shù)據(jù)與各個所述參考圖像的畫素密度分布數(shù)據(jù)相比較，來從所述多個參考圖像中檢索出與所述輸入圖像相匹配的至少一個參考圖像，以及圖像輸出單元，用來輸出被檢索到的與所述輸入圖像相匹配的參考圖像。
11.根據(jù)權利要求10所述的圖像處理裝置，還包括關鍵區(qū)域提取單元，用來提取所述輸入圖像的關鍵區(qū)域，其中，所述存儲單元中還存儲各個所述參考圖像的關鍵區(qū)域的數(shù)據(jù)，所述檢索單元將所述輸入圖像的關鍵區(qū)域數(shù)據(jù)與所述利用畫素密度分布檢索到的參考圖像的關鍵區(qū)域數(shù)據(jù)相比較，來檢索與所述輸入圖像相匹配的至少一個參考圖像。
12.根據(jù)權利要求11所述的圖像處理裝置，還包括有效圖像區(qū)域確定單元，用來把所述輸入圖像的圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)，并確定所述輸入圖像的有效圖像區(qū)域，其中，所述畫素密度分布提取單元將所述輸入圖像的有效圖像區(qū)域分割成多個子區(qū)域，計算出所述各個子區(qū)域的畫素密度，得到所述輸入圖像的畫素密度分布。
13.根據(jù)權利要求11所述的圖像處理裝置，還包括有效圖像區(qū)域確定單元，用來把所述輸入圖像的圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)，并確定所述輸入圖像的有效圖像區(qū)域，其中，所述關鍵區(qū)域提取單元將所述輸入圖像的有效圖像區(qū)域分割成多個子圖像，并從所述多個子圖像中提取所述輸入圖像的關鍵區(qū)域。
14.根據(jù)權利要求11所述的圖像處理裝置，其中，所述存儲單元中，與所述各個參考圖像的圖像數(shù)據(jù)相關聯(lián)地，還存儲所述各個參考圖像的電子文件，所述圖像處理裝置還包括顯示器，它用來顯示檢索到的參考圖像；和編輯器，它用來編輯檢索到的參考圖像的所述電子文件。
15.一種圖像處理方法，用來處理從多個參考圖像中檢索出的與輸入圖像相匹配的參考圖像，它包括圖像輸入步驟，用來讀如一輸入圖像；畫素密度分布提取步驟，提取所述輸入圖像的畫素密度分布；第一檢索步驟，將所述輸入圖像的畫素密度分布數(shù)據(jù)與各個所述參考圖像的畫素密度分布數(shù)據(jù)相比較，檢索出與所述輸入圖像相匹配的至少一個參考圖像，以及圖像輸出步驟，輸出被檢索到的與所述輸入圖像相匹配的參考圖像。
16.根據(jù)權利要求15所述的圖像處理方法，還包括關鍵區(qū)域提取步驟，提取所述輸入圖像的關鍵區(qū)域，以及第二檢索步驟，將所述輸入圖像的關鍵區(qū)域數(shù)據(jù)與所述利用畫素密度分布檢索到的參考圖像的關鍵區(qū)域數(shù)據(jù)相比較，檢索出與所述輸入圖像相匹配的至少一個參考圖像。
17.根據(jù)權利要求16所述的圖像處理方法，還包括有效圖像區(qū)域確定步驟，把所述輸入圖像的圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)，并確定所述輸入圖像的有效圖像區(qū)域，其中，所述畫素密度分布提取步驟中，將所述輸入圖像的有效圖像區(qū)域分割成多個子區(qū)域，計算出所述各個子區(qū)域的畫素密度，得到所述輸入圖像的畫素密度分布。
18.根據(jù)權利要求16所述的圖像處理裝置，還包括有效圖像區(qū)域確定步驟，把所述輸入圖像的圖像數(shù)據(jù)轉換為二進制數(shù)據(jù)，并確定所述輸入圖像的有效圖像區(qū)域，其中，所述關鍵區(qū)域提取步驟中，將所述輸入圖像的有效圖像區(qū)域分割成多個子圖像，并從所述多個子圖像中提取所述輸入圖像的關鍵區(qū)域。
19.根據(jù)權利要求15至18中任一項所述的圖像處理方法，還包括數(shù)據(jù)庫構筑步驟，用來構筑一數(shù)據(jù)庫，從該數(shù)據(jù)庫中，檢索出與所述待檢索圖像相匹配的至少一個參考圖像，該數(shù)據(jù)庫構筑步驟進行如下步驟將多個電子文件分別轉換為圖像，得到所述多個參考圖像；提取出所述各個參考圖像的畫素密度分布數(shù)據(jù)；提取出所述各個參考圖像的關鍵區(qū)域數(shù)據(jù)；將所述各個參考圖像的圖像數(shù)據(jù)，所述各個參考圖像的畫素密度分布數(shù)據(jù)，所述各個參考圖像的關鍵區(qū)域數(shù)據(jù)，以及與各個參考圖像對應的電子文件的數(shù)據(jù)相互關聯(lián)地存儲于所述數(shù)據(jù)庫中。
20.根據(jù)權利要求19所述的圖像處理方法，還包括顯示步驟，來顯示檢索到的參考圖像；和編輯步驟，來編輯檢索到的參考圖像的所述電子文件。
全文摘要
一種圖像檢索方法，它能夠迅速并且準確地從不同圖像分辨率，不同格式，不同語言的圖像中檢索出需要的圖像，而且可以編輯該檢索到的圖像。在本發(fā)明的圖像檢索方法中，提取出待檢索圖像的畫素密度分布，然后將待檢索圖像的畫素密度分布數(shù)據(jù)與參考圖像的畫素密度分布數(shù)據(jù)相比較，檢索出與待檢索圖像相匹配的至少一個參考圖像；最好，還提取出待檢索圖像的關鍵區(qū)域，然后將待檢索圖像的關鍵區(qū)域數(shù)據(jù)與以上利用畫素密度分布檢索到的參考圖像的關鍵區(qū)域數(shù)據(jù)相比較，檢索出與待檢索圖像相匹配的至少一個參考圖像。
文檔編號H04N1/21GK1921535SQ200510092330
公開日2007年2月28日 申請日期2005年8月26日 優(yōu)先權日2005年8月26日
發(fā)明者劉學平, 齋藤高志, 查紅彬, 劉宏, 馮所前 申請人:株式會社理光