專利名稱：基于內(nèi)容圖像的文檔檢索方法以及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用文字處理的圖像檢索文檔的方法及其裝置。特別涉及文檔的有效的檢索方法及其裝置，在這里所述的文檔還包括構(gòu)筑在WWW上的Web文檔。另外，所謂圖像包括照片、畫面、圖表、表格、曲線圖、符號等在文檔中出現(xiàn)的各種內(nèi)容。
背景技術(shù)：
以往，在特定領(lǐng)域，例如專利或者醫(yī)療領(lǐng)域等中，對過去的文檔例進行檢索從專利的新穎性檢查或者類似病例的檢查等的觀點出發(fā)是必不可少的，當前正在積極研究開發(fā)。另一方面，最近，正在開發(fā)用于從網(wǎng)絡(luò)等的基礎(chǔ)設(shè)施完備的互聯(lián)網(wǎng)或者內(nèi)部網(wǎng)得到個人所需要的信息的檢索技術(shù)或者軟件。至今為止的檢索技術(shù)的主流主要是假定存在關(guān)鍵詞。即，預(yù)先抽取出文檔文本內(nèi)的多個文件關(guān)鍵詞或者文檔圖像的標題內(nèi)的關(guān)鍵詞，預(yù)先把該關(guān)鍵詞與文檔相對應(yīng)存儲。而且，在檢索時，使用其所存儲的對應(yīng)，根據(jù)所提供的關(guān)鍵詞抽取出認為是類似的內(nèi)容的文檔(特開2000-067066「文檔圖像管理方法、文檔圖像檢索方法、文檔圖像管理系統(tǒng)以及存儲媒體」)。
以上說明的文檔檢索方法通常大多是根據(jù)多個關(guān)鍵詞的檢索頻率等進行類似度計算，按照其值的順序顯示文檔名或者Web文檔的URL。在這種情況下，需要一個一個地打開文檔的文件，檢查是否是希望對內(nèi)容進行斟酌的文檔，其工時非常大。即，在文檔檢索中，為了斟酌內(nèi)容需要一次讀入文檔，目前為止不能實現(xiàn)內(nèi)容的一覽性。因此，例如，在特開平5-216936「文檔存儲/檢索方法」中，還考慮預(yù)先存儲表示文檔概要的概要圖像，通過顯示與文檔信息(關(guān)鍵詞)等中的檢索條件一致的文檔的概要圖像，減少其工時，實現(xiàn)有效作業(yè)的方法。
另一方面，在圖像檢索中，有預(yù)先用人工把關(guān)鍵詞加入到圖像上的方法，或者從圖像進行顏色或形狀的特征抽取，按照其特征檢索類似圖像的方法。
如以上所說明的那樣，以往的文檔檢索方法通常大多是根據(jù)多個關(guān)鍵詞的檢索頻率等進行類似度計算，按照其值的順序顯示檢索出的文檔名或者Web文檔的URL。在這種情況下，需要一個一個地打開文檔的文件，檢查是否是希望對內(nèi)容進行斟酌的文檔。其工時非常大。即，在文檔檢索中為了斟酌內(nèi)容需要一次讀入文檔，目前為止不能夠?qū)崿F(xiàn)內(nèi)容的一覽性。為此，雖然也有特開05-216936那樣的預(yù)先生成概要圖像的方法，然而，在其生成需要花費大量的時間或者成本，或者難以在監(jiān)視器的一個畫面上顯示檢索的所有文檔的概要圖像等理由下，不能夠完全地解決問題。進而，在一般的關(guān)鍵詞中，常常并不能夠有效地檢索所需要的文檔。這是因為一般僅按照文檔內(nèi)的關(guān)鍵詞的頻率，常常難以正確地近似其內(nèi)容，因此并不能夠僅檢測內(nèi)容類似的文章。

發(fā)明內(nèi)容
為了解決這樣的課題，在本發(fā)明中，首先把文檔置換為一覽性高的圖像。即，把文檔類的照片、圖、表等圖像作為該文檔的鍵圖像。輸入使用了一個或者多個該鍵圖像的檢索邏輯式，在顯示畫面內(nèi)例如三維地顯示所有包含滿足檢索邏輯式的類似圖像的文檔內(nèi)的圖像。而且，如果檢索者選擇所顯示的鍵圖像，則顯示包括其鍵圖像的文檔內(nèi)容。
本發(fā)明更具體的方法是在包括圖像的文檔檢索方法中，特征是具有使文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)相對應(yīng)的第1步驟；把規(guī)定圖像指定為鍵圖像的第2步驟；使用上述指定的鍵圖像和運算符設(shè)定檢索式的第3步驟；顯示通過基于上述檢索式的檢索抽取出的多個圖像的第4步驟；從上述顯示的圖像指定任意圖像的第5步驟；顯示與上述指定了的圖像相對應(yīng)的文檔的第6步驟。
另外，在上述第1步驟中，具有在電子文檔中通過其代碼內(nèi)容的分析自動地進行對應(yīng)的步驟；在圖像文檔中通過圖像處理自動地進行對應(yīng)的步驟。即，在使文檔的數(shù)據(jù)與該文檔內(nèi)的圖像的數(shù)據(jù)相對應(yīng)時，有文檔是電子(HTML等的文本代碼等)數(shù)據(jù)的情況和圖像數(shù)據(jù)(用掃描儀取入的文檔等)的情況。在前者的情況下，通過分析文本數(shù)據(jù)，明確圖像數(shù)據(jù)的存在及其保存位置。另一方面，在圖像數(shù)據(jù)的情況下，通過圖像處理，能夠分離文字圖像和圖像數(shù)據(jù)，明確圖像數(shù)據(jù)的存在及其保存位置。
另外，在上述第2步驟中，具有在把應(yīng)該包含在希望檢索的文檔中的圖像指定為鍵圖像時，用利用了電光元件的掃描儀或者照相機輸入并指定該圖像的步驟，則能夠把任意的圖像素作為鍵。另外，在上述第3步驟中，具有顯示表示上述鍵圖像的圖標和表示上述運算符的圖標的步驟；從上述顯示的圖標選擇構(gòu)成上述檢索式的元素的步驟，則能夠簡易地生成檢索式。
另外，在本發(fā)明的檢索方法中，在對象中不僅可以包括與鍵圖像相同的圖像，還可以包括與鍵圖像類似的圖像，因此能夠進行有效的檢索。
另外，在上述第4步驟中，如果具有把抽取出的多個圖像分組，顯示各個組的步驟，則能夠視覺地把握抽取出的多個圖像，很容易選擇所希望的圖像。這時，還能夠從抽取出的圖像檢測多個特征量，使用它們的距離進行分組。另外，理想的是在由多個特征量的若干個軸構(gòu)成的空間中顯示抽取出的圖像。
另外，本發(fā)明的其它方法是在包括圖像的文檔檢索方法中，特征是具有使文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)相對應(yīng)的步驟；把規(guī)定圖像指定為鍵圖像的步驟；從上述圖像的數(shù)據(jù)中抽取出與上述鍵圖像類似的多個圖像的步驟；顯示上述抽取出的多個圖像的步驟；從上述顯示的圖像指定任意的圖像的步驟；顯示與上述指定的圖像相對應(yīng)的文檔的步驟。
作為上述鍵圖像能夠指定多個圖像。對于鍵圖像的每一個，如果從圖像的數(shù)據(jù)抽取出與鍵圖像類似的圖像群，則能夠針對每一個鍵圖像抽取由多個圖像構(gòu)成的圖像群(組)。還能夠顯示這些組的邏輯和或邏輯積。
為了顯示所希望的圖像，顯示表示多個鍵圖像的圖標以及表示邏輯運算符的圖標，把所顯示的圖標組合起來設(shè)定檢索式，根據(jù)檢索式能夠顯示圖像，能夠提高操作性。
作為圖像圖標，既能夠使用圖像本身，也能夠使用把圖像縮小了的圖像或者簡化了的符號。
作為邏輯運算符，能夠使用表示邏輯積(AND)的圖標以及表示邏輯和(OR)的圖標。根據(jù)情況，也可以使用(NAND)(NOR)等其它的運算符。把所顯示的圖標組合起來設(shè)定檢索式，根據(jù)檢索式，進行從多個鍵圖像抽取出的多個圖像群相互的集合運算，把集合運算的結(jié)果顯示為抽取出的多個圖像。作為顯示方法，能夠在三維空間中根據(jù)各圖像具有的特征量顯示所抽取的多個圖像。
本發(fā)明的裝置是在包括圖像的文檔檢索裝置中，特征是具有對文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)的對應(yīng)關(guān)系進行存儲的存儲裝置；把規(guī)定圖像指定為鍵圖像的鍵圖像指定裝置；從上述圖像的數(shù)據(jù)抽取出與上述鍵圖像類似的多個圖像的處理裝置；顯示上述抽取出的多個圖像的圖像顯示裝置；從上述顯示的圖像指定任意圖像的圖像指定裝置；顯示與上述指定的圖像相對應(yīng)的文檔的文檔顯示裝置。作為存儲裝置，能夠利用硬盤以外的裝置。鍵圖像指定裝置能夠使用用于讀入鍵圖像的掃描儀、選擇在監(jiān)視器上顯示的圖像或者其圖標的指示設(shè)備。
存儲裝置可以存儲文檔的數(shù)據(jù)與文檔中的圖像的數(shù)據(jù)的對應(yīng)關(guān)系，不一定需要存儲文檔數(shù)據(jù)本身或者圖像數(shù)據(jù)本身。在理想的形態(tài)中，保存成為檢索鍵的圖像數(shù)據(jù)(或者其加工數(shù)據(jù))，對于文檔數(shù)據(jù)自身，通過僅存儲其保存位置(訪問目標，例如地址)，能夠減小存儲裝置的容量。
另外，在其它的形態(tài)中，在具備輸入裝置、顯示裝置、處理裝置以及存儲裝置的文檔檢索裝置，特征是上述存儲裝置是對文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)的對應(yīng)關(guān)系進行存儲的存儲裝置，上述處理裝置進行控制使得從上述輸入裝置把規(guī)定圖像指定為鍵圖像，從上述存儲裝置抽取出與上述鍵圖像類似的多個圖像，在上述顯示裝置顯示上述抽取出的多個圖像，由上述輸入裝置從上述顯示的圖像指定任意的圖像，在上述顯示裝置顯示與上述指定的圖像相對應(yīng)的文檔。作為輸入裝置，能夠使用鼠標等指示設(shè)備、掃描儀、鍵盤等。顯示裝置能夠使用一臺或者多臺顯示器或者打印機等輸出裝置。作為處理裝置，既能夠用專用的硬件構(gòu)成，也能夠用在通用的處理器上動作的軟件實現(xiàn)。
進而，在本發(fā)明中，具有連接于網(wǎng)絡(luò)的接口，訪問存在于網(wǎng)絡(luò)上所連接的其它存儲裝置中的文檔，取得表示該文檔存在位置的地址和存在于該文檔內(nèi)的圖像的數(shù)據(jù)，使它們相對應(yīng)地存儲在上述存儲裝置中。根據(jù)該形態(tài)，能夠作為互聯(lián)網(wǎng)等的檢索引擎加以利用。這時，所存儲的圖像可以是圖像本身，而如果是數(shù)據(jù)壓縮了的圖像或者簡化了的圖像，則能夠有效地利用存儲裝置的容量。
一般，像專利文檔的例子那樣，文檔的內(nèi)容大多顯著地表現(xiàn)在其內(nèi)部包括的照片、圖、表中。即，希望在文檔中強調(diào)的事項或者希望讓人了解的部分成為在視覺上強調(diào)的圖像的情況較多，在最近的文獻中幾乎不存在沒有圖像的文獻。在這樣的理由下，表現(xiàn)文檔內(nèi)容的最佳方法是用包含在其文檔中的圖像的集合進行表現(xiàn)。為此，在本發(fā)明中，根據(jù)多個內(nèi)部圖像表現(xiàn)文檔，通過使用這些圖像提高檢索率。另外，通過在顯示畫面上三維地顯示利這些圖像檢索的文檔內(nèi)的圖像群，能夠?qū)崿F(xiàn)一覽性。另外，通過輸入使用了一個或者多個該鍵圖像的檢索邏輯式，能夠進行基于各種檢索條件的檢索。另外，如果在該檢索邏輯式中包括文本(關(guān)鍵詞)并與以往技術(shù)組合起來，則能夠?qū)崿F(xiàn)基于圖像和關(guān)鍵詞的檢索，能夠進行更高精度的檢索。


圖1是表示作為本發(fā)明實施方式中的文檔檢索裝置的結(jié)構(gòu)的一個例子和希望檢索的網(wǎng)絡(luò)上的文檔的概念圖。
圖2是表示圖1的處理裝置11的具體處理例的流程圖。
圖3是表示文檔檢索裝置1的處理中的數(shù)據(jù)的關(guān)系或者數(shù)據(jù)的對應(yīng)的概念圖。
圖4是表示圖1的處理裝置11內(nèi)的檢索文檔與圖像的對應(yīng)的處理步驟的流程圖。
圖5是表示圖1的處理裝置內(nèi)要檢索的圖像例的提示的處理步驟的流程圖。
圖6是表示圖1的處理裝置11內(nèi)的使用了提示圖像的檢索邏輯式的輸入的處理步驟的流程圖。
圖7是表示圖1的處理裝置11內(nèi)的使用了提示圖像的檢索邏輯式的輸入的處理步驟中的用于選擇檢索鍵圖像和檢索邏輯符號的窗口例以及檢索邏輯式例的概念圖。
圖8是表示利用圖1的處理裝置11的類似度的圖像的一覽顯示的處理步驟的流程圖。
圖9是表示圖1的處理裝置11的特定圖像的指示與對應(yīng)文檔的顯示的處理步驟的流程圖。
具體實施例方式
在本發(fā)明中，以在PC等計算機上工作的檢索軟件作為具體的方式。即，由PC等計算機、顯示裝置、鼠標等指示裝置、圖像的輸入裝置以及存儲圖像或者文檔的存儲裝置構(gòu)成。作為希望檢索的文檔，假設(shè)為連接到網(wǎng)絡(luò)上的文件內(nèi)的文檔，例如，互聯(lián)網(wǎng)上的主頁等文檔。
實施例1參照附圖詳細地說明本發(fā)明的實施方式。
圖1表示本實施方式中的互聯(lián)網(wǎng)上的文檔檢索的結(jié)構(gòu)的一個例子。本例的文檔檢索裝置1由用于實現(xiàn)本方法的文檔檢索的處理裝置11、存儲裝置12、顯示裝置和鼠標等指示裝置13、掃描儀等輸入裝置14構(gòu)成。在該例子中，文檔檢索裝置1用互聯(lián)網(wǎng)或者內(nèi)部網(wǎng)2連接Web書類群3。
圖2具體地表示在圖1的處理裝置中的處理內(nèi)容。
圖3表示了文檔檢索裝置1的處理中的數(shù)據(jù)的關(guān)系或者數(shù)據(jù)的對應(yīng)。在本檢索方法中按照以下的順序進行文檔檢索。以下，一邊參照圖2以及圖3一邊進行說明。
(1)通過檢索自動裝置搜索網(wǎng)絡(luò)上的文檔，抽取其文檔內(nèi)的圖像(文檔內(nèi)的照片、圖、表格等的圖像)，進行文檔與圖像的對應(yīng)(圖2的111步驟1)。而且，其結(jié)果，在圖1的存儲裝置12中，存儲與文檔信息地址群(Web書類的情況下是URL等)121、包含在該書類中的圖像群122、以及使這些信息即文檔信息地址與種類內(nèi)圖像相對應(yīng)的表123。
在圖3的步驟1中模式地示出表123表示的內(nèi)容。在文檔信息地址文件中，保存自動裝置搜索到的文檔信息地址群。另外，在圖像文件中保存這里的文檔內(nèi)的圖像。表123是使該文檔信息地址與圖像相對應(yīng)的表，例如，文檔1有圖像10和圖像11，文檔2有圖像20，文檔3有圖像30和圖像31.以上由自動裝置進行的搜索、存儲、對應(yīng)能夠在檢索的空閑時間或者特定的時刻預(yù)先進行。
(2)在檢索文檔時，提示表現(xiàn)希望檢索的文檔內(nèi)容的圖像(鍵圖像)(圖2的112步驟2)。作為提示方法，例如，有利用掃描儀等輸入裝置14輸入鍵圖像的方法和從已經(jīng)存在的電子文檔選擇鍵圖像的方法。
在圖3的步驟2中，示出采取了4個鍵圖像的情況。
(3)接著，輸入使用了鍵圖像的檢索邏輯式(圖2的113步驟3)。例如，在搜索與鍵圖像1相似的圖像和與鍵圖像2相似的圖像的雙方都存在的文檔，或者即使沒有這些圖像但是有與鍵圖像4相似的圖像的文檔的情況下，檢索邏輯式成為圖3的步驟3的例子。
(4)根據(jù)該檢索邏輯式，首先檢索存儲裝置12內(nèi)的圖像。在圖3的例子的情況下，全部抽取出包括與鍵圖像1相似的圖像的文檔的文檔信息地址和包括與鍵圖像2相似的圖像的文檔的文檔信息地址，檢測在兩者中都存在的地址。另外，還抽取包括與鍵圖像4相似的圖像的文檔的文檔信息地址，加入到檢索地址中。
(5)其次，關(guān)于與檢索的文檔信息地址對應(yīng)的各文檔，從存儲裝置12抽取出與鍵圖像1類似的圖像、與鍵圖像2類似的圖像以及與鍵圖像4類似的圖像，在顯示裝置13中，在以順序變化的圖像特征為軸的三維空間內(nèi)分組顯示(圖2的114步驟4)。關(guān)于抽取類似圖像的技術(shù)，例如有在特開2000-029885中記載的技術(shù)。另外，該顯示方法能夠用在特開平10-193838「圖像檢索方法以及裝置」，A.Hiroike，Y.Musha，A.Sugimoto and Y.Mori，“Visualization of informationspaces to retrieve and browse image data，”Proc.Visua199，Springer-Verlag 155-162，1999等中公開的眾所周知的方法實現(xiàn)。通過用這種結(jié)構(gòu)進行檢索顯示能夠?qū)崿F(xiàn)一覽性。另外，圖3的步驟4表示了該顯示內(nèi)容。
(6)然后，檢索者觀察顯示的圖像，用鼠標等指示裝置13選擇希望的圖像后，則參照存儲在存儲裝置12中的對應(yīng)表，在顯示裝置上顯示包括其圖像的該文檔，能夠確認內(nèi)容(圖2的115)。圖3的步驟4的畫面的右上文檔是其例子。
以上是本檢索方法的概略順序。下面，使用圖4到圖9詳細地說明各步驟的處理內(nèi)容的例子。
圖4是使圖2的111的檢索文檔與圖像的對應(yīng)具體化的一個例子，通過1111，由已有技術(shù)的自動檢索裝置搜索Web位置，在1112中，在取得圖1的3所示的主頁文檔的URL的同時，取得該文檔內(nèi)的圖像。然后，通過1113，在圖1的存儲裝置12的文檔信息地址、文檔內(nèi)圖像、文檔信息地址圖像對應(yīng)表的存儲區(qū)中保存搜索出的URL、對應(yīng)圖像、對應(yīng)關(guān)系。然后，順序搜索網(wǎng)絡(luò)直到?jīng)]有新的搜索文檔為止。這樣的處理能夠在檢索的空閑時間或者預(yù)定的時刻預(yù)先進行。
圖5是使圖2的112的要檢索的鍵圖像例的提示具體化的一個例子，在1121中，首先選擇是用掃描儀輸入鍵圖像還是使用已經(jīng)存在的電子圖像。在前者的情況下，用圖1的掃描儀輸入裝置14取得鍵圖像。另一方面，在后者的情況下，從網(wǎng)絡(luò)或者計算機的存儲媒體選擇出鍵圖像。然后，所選擇的多個鍵圖像在1124中，在圖1的顯示裝置13上將各鍵圖像作為明確的圖標進行顯示。
圖6是把使用了圖2的113的鍵圖像的檢索式的輸入具體化的一個例子，由3個步驟構(gòu)成。在1131中，首先顯示檢索邏輯符號的工具箱窗口。
圖7表示了用于選擇檢索鍵圖像和檢索邏輯符號的窗口的例子以及檢索邏輯式的例子。
在工具箱窗口中，顯示如圖7的右上方所示的那樣的邏輯符號圖標。在1132中，顯示生成檢索邏輯式的作業(yè)窗口。另外，在前面說明過的1124中，檢索圖像的圖標顯示在圖7的左上方。在1133中，使用計算機中已經(jīng)存在的GUI構(gòu)成檢索式。例如，如圖7的中央圖的例1所示那樣，從各窗口選擇邏輯符號、括號和鍵圖像，順序地下落到圖7的下部所示的作業(yè)窗口中。例1的情況表示生成“(鍵圖像1AND鍵圖像2)OR鍵圖像4”這樣的檢索邏輯式的例子。例2是在檢索邏輯式中還加入了表現(xiàn)關(guān)鍵詞的文本代碼的例子。
圖8是在圖2的114中，使根據(jù)檢索邏輯式執(zhí)行與使用了類似度的鍵圖像相似的圖像的檢索的方法具體化的一個例子。首先，為了進行按照檢索邏輯式的執(zhí)行，進行在計算器等四則運算等中所利用的反波蘭記法(Polish notation)的變換。即，在1114中將圖8的檢索邏輯式變換為按照處理順序(數(shù)據(jù)列、記法的元素(邏輯符號)的對這樣的順序)新寫的反波蘭記法。這些信息以一維地壓棧(push)形式存儲在處理裝置11內(nèi)的暫存單元中。在1142中，首先，取出第1對(在本例的情況下是鍵圖像1、鍵圖像2與AND邏輯)(出棧(pop))。在1143中，當沒有元素(不能夠出棧時)時，結(jié)束執(zhí)行檢索邏輯式。在有元素時，在1144中執(zhí)行與第1對(在本例的情況下是鍵圖像1、鍵圖像2和AND邏輯)相對應(yīng)的處理。在該例子的情況下，如在前面說明過的那樣，抽出全部包括與鍵圖像1相似的圖像的文檔的文檔信息地址和包括與鍵圖像2相似的圖像的文檔的文檔信息地址，檢測兩者中存在的共同地址，存儲其數(shù)據(jù)群A(壓棧)。
其次，取出第2對(在本例的情況下是當前壓棧的信息地址群A、鍵圖像4和OR邏輯)(出棧)。在這次的1144中，把包括與鍵圖像4相似的圖像的文檔的文檔信息地址全部添加到文檔信息地址群A中(OR邏輯)，存儲(壓棧)所添加的文檔信息地址群B。在本例的情況下，由于至此為止結(jié)束了所有的對，因此在1145中，取出文檔信息地址群B，全部顯示其文檔內(nèi)與鍵圖像1、鍵圖像2、鍵圖像4相似的圖像。另外，作為計算圖像之間的類似度的方法的例子，使用求圖像的各種特征量，按照距離進行判定的方法。而且，作為顯示方法，如在前面敘述的那樣，如特開平10-193838「圖像檢索方法以及裝置」中所示，邊順序選擇特征量的軸邊進行3D顯示。通過這樣做，能夠?qū)崿F(xiàn)檢索圖像的一覽性。
圖9是使圖2的115的特定圖像指示和與其相對應(yīng)的文檔的顯示具體化的一個例子。在1151中，從在1145中3D顯示在顯示裝置13的圖像群中，檢索者選擇有興趣的特定圖像。在1152中，參照文檔信息地址圖像對應(yīng)表特定與該圖像相對應(yīng)的文檔。然后，在1153中，在顯示裝置13上顯示對應(yīng)文檔。通過這樣做，能夠完全地使文檔檢索裝置具體化。
另外，在以上說明的例子中，表示了用代表文檔的內(nèi)部圖像表現(xiàn)并檢索的例子，而也可以并用以往的使用關(guān)鍵詞的檢索。在這種情況下，如圖7的例2所示，還可以在檢索邏輯式中加入表現(xiàn)關(guān)鍵詞的文本代碼。當然，在這種情況下，需要預(yù)先由檢索自動裝置檢索文檔的同時檢查是否存在文檔內(nèi)的關(guān)鍵詞，在存儲裝置11中，必須預(yù)先存儲文檔信息地址、關(guān)鍵詞群以及它們的對應(yīng)表。
另外，本發(fā)明不限于上述的實施對象，還能夠廣泛運用。例如，本發(fā)明不限于互聯(lián)網(wǎng)上的Web文檔，還能夠適用于計算機內(nèi)的文檔文件的檢索。
如以上說明的那樣，如果依據(jù)本發(fā)明，則通過多個內(nèi)部圖像表現(xiàn)文檔，通過使用這些圖像提高檢索率，另外，通過在顯示畫面內(nèi)三維地顯示利用這些圖像檢索的文檔內(nèi)的圖像群，能夠?qū)崿F(xiàn)一覽性。另外，通過輸入使用了一個或者多個該鍵圖像的檢索邏輯式，能夠進行利用各種檢索條件的檢索。從而，能夠適用在互聯(lián)網(wǎng)上的Web文檔檢索或者計算機內(nèi)的文檔文件檢索，對于其有效化的貢獻非常大。
權(quán)利要求
1.一種文檔的檢索方法，該文檔包含圖像，其特征在于包括使文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)相對應(yīng)的第1步驟；把規(guī)定圖像指定為鍵圖像的第2步驟；使用上述指定的鍵圖像和運算符設(shè)定檢索式的第3步驟；顯示通過基于上述檢索式的檢索抽取出的多個圖像的第4步驟；從上述顯示的圖像指定任意圖像的第5步驟；顯示與上述指定了的圖像相對應(yīng)的文檔的第6步驟。
2.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第1步驟中，具有在電子文檔中通過其代碼內(nèi)容的分析自動地進行對應(yīng)的步驟；在圖像文檔中通過圖像處理自動地進行對應(yīng)的步驟。
3.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第2步驟中，具有在把應(yīng)該包含在希望檢索的文檔中的圖像指定為鍵圖像時，用利用了電光元件的掃描儀或者照相機輸入并指定該圖像的步驟。
4.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第3步驟中，具有顯示表示上述鍵圖像的圖標和表示上述運算符的圖標的步驟；從上述顯示的圖標選擇構(gòu)成上述檢索式的元素的步驟。
5.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第4步驟中，基于上述檢索式的檢索的對象把與鍵圖像類似的圖像包含在對象中。
6.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第4步驟中，具有把抽取出的多個圖像分組并顯示各個組的步驟。
7.根據(jù)權(quán)利要求1所述的文檔的檢索方法，其特征在于在上述第4步驟中，具有從上述抽取出的圖像檢測多個特征量，使用它們的距離進行分組的步驟。
8.根據(jù)權(quán)利要求7所述的文檔的檢索方法，其特征在于具有在由上述多個特征量的若干個軸構(gòu)成的空間上顯示上述抽取出的圖像的步驟。
9.一種文檔的檢索方法，該文檔包含圖像，其特征在于包括使文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)相對應(yīng)的步驟；把規(guī)定圖像指定為鍵圖像的步驟；從上述圖像的數(shù)據(jù)中抽取出與上述鍵圖像類似的多個圖像的步驟；顯示上述抽取出的多個圖像的步驟；從上述顯示的圖像指定任意的圖像的步驟；顯示與上述指定的圖像相對應(yīng)的文檔的步驟。
10.根據(jù)權(quán)利要求9所述的文檔的檢索方法，其特征在于作為上述鍵圖像指定多個圖像，對于所指定的多個鍵圖像的每一個，從上述圖像的數(shù)據(jù)抽取出與該鍵圖像類似的圖像群，把根據(jù)各個鍵圖像抽取出的圖像群的集合的邏輯和或者邏輯積作為上述抽取出的多個圖像的至少一部分進行顯示。
11.根據(jù)權(quán)利要求9所述的文檔的檢索方法，其特征在于作為上述鍵圖像指定多個圖像，顯示表示上述多個鍵圖像的圖標以及表示邏輯運算符的圖標，把上述顯示的圖標進行組合并設(shè)定檢索式，基于該檢索式，把根據(jù)上述多個鍵圖像抽取出的多個圖像中的至少一個作為上述抽取出的多個圖像進行顯示。
12.根據(jù)權(quán)利要求9所述的文檔的檢索方法，其特征在于作為上述鍵圖像指定多個圖像，至少顯示表示上述多個鍵圖像的圖標、表示邏輯積的圖標以及表示邏輯和的圖標，把上述顯示的圖標進行組合并設(shè)定檢索式，基于該檢索式，進行根據(jù)上述多個鍵圖像抽取出的多個圖像群相互的集合運算，把該集合運算的結(jié)果作為上述抽取出的多個圖像進行顯示。
13.根據(jù)權(quán)利要求9所述的文檔的檢索方法，其特征在于在三維空間中，與各圖像具有的特征量相對應(yīng)地顯示上述抽取出的多個圖像。
14.一種文檔檢索裝置，該文檔包含圖像，其特征在于包括對文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)的對應(yīng)關(guān)系進行存儲的存儲裝置；把規(guī)定圖像指定為鍵圖像的鍵圖像指定裝置；從上述圖像的數(shù)據(jù)抽取出與上述鍵圖像類似的多個圖像的處理裝置；顯示上述抽取出的多個圖像的圖像顯示裝置；從上述顯示的圖像指定任意圖像的圖像指定裝置；顯示與上述指定的圖像相對應(yīng)的文檔的文檔顯示裝置。
15.根據(jù)權(quán)利要求14所述的文檔檢索裝置，其特征在于上述鍵圖像指定裝置是用于讀入鍵圖像的掃描儀，或者是選擇在監(jiān)視器上顯示的圖像或其圖標的指示器。
16.一種文檔檢索裝置，具備輸入裝置、顯示裝置、處理裝置以及存儲裝置，其特征在于上述存儲裝置是對文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)的對應(yīng)關(guān)系進行存儲的存儲裝置，上述處理裝置進行控制使得從上述輸入裝置把規(guī)定圖像指定為鍵圖像，從上述存儲裝置抽取出與上述鍵圖像類似的多個圖像，在上述顯示裝置顯示上述抽取出的多個圖像，由上述輸入裝置從上述顯示的圖像指定任意的圖像，在上述顯示裝置顯示與上述指定的圖像相對應(yīng)的文檔.
17.根據(jù)權(quán)利要求16所述的文檔檢索裝置，其特征在于具有連接于網(wǎng)絡(luò)的接口，訪問存在于網(wǎng)絡(luò)上所連接的其它存儲裝置中的文檔，取得表示該文檔存在位置的地址和存在于該文檔內(nèi)的圖像的數(shù)據(jù)，使它們相對應(yīng)地存儲在上述存儲裝置中。
18.根據(jù)權(quán)利要求16所述的文檔檢索裝置，其特征在于上述處理裝置進行控制使得作為上述鍵圖像指定多個圖像，在上述顯示裝置上至少顯示表示上述多個鍵圖像的圖標、表示邏輯積的圖標以及表示邏輯和的圖標，把上述顯示的圖標進行組合并設(shè)定檢索式，基于該檢索式，抽取根據(jù)上述多個鍵圖像抽取出的多個圖像群相互的集合。
19.一種文檔檢索程序，該程序在具備輸入裝置、顯示裝置、處理裝置以及存儲裝置的系統(tǒng)中，為了進行文檔的檢索在上述處理裝置中運行，其特征在于包括在上述存儲裝置中對文檔的數(shù)據(jù)與該文檔中的圖像的數(shù)據(jù)的對應(yīng)關(guān)系進行存儲的功能；從上述輸入裝置把規(guī)定圖像指定為鍵圖像的功能；從上述存儲裝置抽取出與上述鍵圖像類似的多個圖像的功能；在上述顯示裝置顯示上述抽取出的多個圖像的功能；用上述輸入裝置從上述顯示的圖像指定任意的圖像的功能；在上述顯示裝置顯示與上述指定的圖像相對應(yīng)的文檔的功能。
全文摘要
本發(fā)明提供基于內(nèi)容圖像的文檔檢索方法以及裝置。以往的文檔檢索方法為了斟酌內(nèi)容需要一次讀取文檔，至今為止不能夠?qū)崿F(xiàn)內(nèi)容的一覽性，為此，雖然有預(yù)先生成概要圖像的方法，然而在其生成中非?；ㄙM時間或者成本，另外因為存在在監(jiān)視器的一個畫面上難以顯示檢索的全部文檔的概要圖像等理由，所以不能夠完全解決問題，本發(fā)明把文檔置換為一覽性高的圖像，即，把文檔內(nèi)的照片、圖、表等圖像作為其文檔的鍵圖像，輸入使用了其鍵圖像的一個或者多個檢索邏輯式，在顯示畫面內(nèi)三維地顯示所有包含滿足檢索邏輯式的類似圖像的文檔內(nèi)的圖像，而且檢索者如果選擇顯示了的鍵圖像，則顯示包括其鍵圖像的文檔內(nèi)容。
文檔編號G06F17/30GK1779681SQ20051009266
公開日2006年5月31日 申請日期2005年8月19日 優(yōu)先權(quán)日2004年11月22日
發(fā)明者酒匂裕, 廣池敦 申請人:株式會社日立制作所