專利名稱：圖像檢索系統(tǒng)及圖像檢索方法
技術領域：
本發(fā)明涉及圖像檢索系統(tǒng)及圖像檢索方法，詳細地是涉及利用三維模型化技術， 對從希望的視點方向開始對被攝體圖像或風景圖像進行檢索的圖像檢索系統(tǒng)及圖像檢索 方法。
背景技術：
當前，例如，公知如日本公開專利2006-309722號公報中所公開的利用了三維模 型化技術的照片的檢索 瀏覽系統(tǒng)(專利文獻1)。根據(jù)該系統(tǒng)，用戶能夠顯示 瀏覽從與 畫面上所瀏覽的三維模型近似的視點所拍攝的數(shù)字照片，此外，用戶能夠從與畫面上所瀏 覽的照片近似的視點顯示并操作三維模型。根據(jù)上述技術，雖然在想獲取從希望的視點方向看到的圖像時需要準備該圖像的 立體形狀數(shù)據(jù)作為檢索關鍵信息，但由于那樣的立體形狀數(shù)據(jù)的數(shù)據(jù)量龐大，所以存在通 用性欠缺的問題。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述現(xiàn)有的課題而做出的發(fā)明，目的是能夠采用更少張數(shù)的被攝體 圖像，容易地檢索包括來自其它攝像方向的被攝體像的圖像數(shù)據(jù)。為了達到上述目的，本發(fā)明是由通信終端和處于該通信終端外部的檢索裝置構成 的圖像檢索系統(tǒng)，所述通信終端，包括存儲單元，其將包含被攝體像的圖像數(shù)據(jù)與所述圖像數(shù)據(jù)的攝像方位及特征信息 建立關聯(lián)而進行多個存儲；選擇檢測單元，其從所述存儲單元所存儲的多個圖像數(shù)據(jù)中對特定的圖像數(shù)據(jù)的 選擇進行檢測；第一檢索單元，其針對由所述選擇檢測單元檢測出選擇的特定的圖像數(shù)據(jù)，根據(jù) 與其建立了關聯(lián)的特征信息，來檢索相似的圖像數(shù)據(jù)；和第一發(fā)送單元，其將由所述選擇檢測單元檢測出選擇的圖像數(shù)據(jù)和作為所述第一 檢索單元的檢索結果而獲取到的圖像數(shù)據(jù)中的至少一個的攝像方位及特征信息發(fā)送給所 述檢索裝置，所述檢索裝置，具有接收單元，其接收由所述第一發(fā)送單元從所述通信終端發(fā)送來的攝像方位及特征 fn息；推測單元，其根據(jù)由所述接收單元接收到的特征信息及攝像方位，對所述圖像數(shù) 據(jù)中包含的被攝體像的三維形狀進行推測；第二檢索單元，其根據(jù)由所述推測單元推測出的被攝體像的所述三維形狀來檢索 信息公開網(wǎng)，獲取包含將與所述接收到的攝像方位不同的方位作為攝像方位的所述被攝體像的圖像的圖像數(shù)據(jù)；和第二發(fā)送單元，其將由所述第二檢索單元獲取到的圖像數(shù)據(jù)發(fā)送給所述通信終端。此外，為了達到上述目的，本發(fā)明的方法，包括選擇檢測步驟，從將包含被攝體像的圖像數(shù)據(jù)與所述圖像數(shù)據(jù)的攝像方位及特征 信息建立關聯(lián)而進行多個存儲的存儲器中，對特定的圖像數(shù)據(jù)的選擇進行檢測；第一檢索步驟，針對在所述選擇檢測步驟中檢測出選擇的特定的圖像數(shù)據(jù)，根據(jù) 與其建立了關聯(lián)的特征信息，檢索相似圖像數(shù)據(jù)；推測步驟，根據(jù)所述選擇檢測步驟中檢測出選擇的圖像數(shù)據(jù)和作為第一檢索步驟 中的檢索結果而獲取到的圖像數(shù)據(jù)中的至少一個的攝像方位及特征信息，對所述圖像數(shù)據(jù) 中包含的被攝體像的三維形狀進行推測；第二檢索步驟，根據(jù)所述推測步驟中推測出的被攝體像的所述三維形狀，對信息 公開網(wǎng)進行檢索，獲取包含將所述存儲器中未存儲的方位作為攝像方位的所述被攝體像的 圖像的圖像數(shù)據(jù)；以及圖像數(shù)據(jù)獲取步驟，獲取所述被攝體像的圖像數(shù)據(jù)作為所述第二檢索步驟中的檢
索結果。


圖1是例示本發(fā)明的一個實施方式的圖像檢索系統(tǒng)10的圖。圖2是例示照相機100的硬件結構的圖。圖3是例示檢索引擎服務器300的功能結構的圖。圖4是例示檢索引擎服務器300的硬件結構的圖。圖5是表示在照相機100中預先存儲的、用于管理圖像數(shù)據(jù)的表格的一個示例的 圖。圖6是說明照相機100的動作的各階段的流程圖。圖7是說明照相機100與檢索引擎服務器300協(xié)同執(zhí)行的圖像檢索處理的流程圖。圖8是說明檢索引擎服務器300執(zhí)行的立體形狀推測處理的流程圖。圖9表示從在輸入圖像中采用來自不同視點的多個圖像而生成的三維形狀模型， 生成改變視點后的二維圖像，作為用于圖像檢索的檢索關鍵信息的一個示例的圖。圖10是表示從全體圖像和部分圖像生成三維形狀模型的一個示例的圖。
具體實施例方式以下，針對本發(fā)明的實施方式，參照附圖詳細地進行說明。而且，本實施方式中的 構成要素，能夠適當?shù)嘏c現(xiàn)有的結構要素進行置換，此外，能夠包括與其它現(xiàn)有的結構要素 的組合的各種變形。因此，以本實施方式的記載，不局限于本發(fā)明的內(nèi)容。在本發(fā)明的說明書中采用的 術語“攝影”及“攝像”，是包括采用數(shù)字照相機或掃描儀等來讀取計算機能夠讀取的圖像數(shù) 據(jù)。
5
[圖像檢索系統(tǒng)]圖1是例示本發(fā)明的一個實施方式的圖像檢索系統(tǒng)10的圖。圖1所示的圖像檢索系統(tǒng)10包括照相機100 ；檢索引擎服務器300 ；服務提供機 構(service provider)410 ；無線中繼站430 ；圖像數(shù)據(jù)庫500 ；和網(wǎng)絡600。網(wǎng)絡600可以 是互聯(lián)網(wǎng)等的廣域網(wǎng)，也可以是局域網(wǎng)(LAN)。照相機100是具有無線通信功能的典型的數(shù)字照相機。然而，不局限于此，也可以 采用具有攝像功能的便攜式終端裝置等。照相機100，經(jīng)由無線中繼站430與服務提供機構 410連接，并能夠利用與網(wǎng)絡600連接的檢索引擎服務器300等網(wǎng)絡資源。照相機100具有 存儲單元、選擇檢測單元、檢索單元及發(fā)送單元等結構要素，針對它們在后面進行描述。照相機100具有的無線通信功能，作為照相機100內(nèi)的一部分的電路而被組裝，或 者被提供作為以無線通信卡等方式提供的周邊設備。這樣的照相機100，能夠將已拍攝的數(shù) 字照片適當?shù)剡M行編碼，并發(fā)送給規(guī)定的計算機等。例如，照相機100，能將已拍攝的數(shù)字照 片經(jīng)由無線中繼站430、服務提供機構410、及網(wǎng)絡600，發(fā)送給檢索引擎服務器300等。此 外，照相機100能夠經(jīng)由包括這些無線通信方式的信息通信網(wǎng)，接收包含數(shù)字照片的信息。 即，照相機100對檢索引擎服務器300發(fā)送圖像檢索等請求，若從檢索引擎服務器300發(fā)送 與該請求對應的檢索結果等，則能夠接收該檢索結果等。檢索引擎服務器300接收來自經(jīng)由網(wǎng)絡600而連接的照相機100等終瑞裝置的圖 像檢索等請求，并根據(jù)接收到的檢索條件將檢索結果發(fā)送給該終端裝置。檢索對象的圖像 數(shù)據(jù)等，例如，是圖像數(shù)據(jù)庫500等數(shù)據(jù)庫裝置中所存儲的圖像數(shù)據(jù)。本發(fā)明的檢索引擎服 務器300，不僅對單個圖像進行檢索，而且如后所述，根據(jù)圖像檢索的請求制成三維圖像模 型，進而從三維圖像模型生成二維圖像數(shù)據(jù)，并將該二維圖像數(shù)據(jù)作為檢索關鍵信息來執(zhí) 行圖像檢索。即，檢索引擎服務器300與圖像數(shù)據(jù)庫500等一般的數(shù)據(jù)庫裝置不同，包括生 成這樣的三維圖像模型及二維圖像數(shù)據(jù)的動作。檢索引擎服務器300具有接收單元、推測 單元、檢索單元及發(fā)送單元等結構要素，對此在后進行描述。圖像數(shù)據(jù)庫500能夠采用根據(jù)規(guī)定的檢索條件對圖像數(shù)據(jù)進行檢索的通用的數(shù) 據(jù)庫裝置等。本發(fā)明的圖像數(shù)據(jù)庫500能夠通過采用后述的規(guī)定的數(shù)據(jù)構造，從而將圖像 數(shù)據(jù)、圖像數(shù)據(jù)的攝像方位及圖像數(shù)據(jù)的特征信息建立關聯(lián)來進行存儲。服務提供機構410，典型而言，是提供用于連接互聯(lián)網(wǎng)的服務的企業(yè)即互聯(lián)網(wǎng)服務 供應商等。無線中繼站430，典型而言，是用于對照相機100無線連接并提供基于服務提供 機構410的網(wǎng)絡連接服務等。無線中繼站430，也可以與服務提供機構410的電線設備等成 為一體。由此，在本實施方式的圖像檢索系統(tǒng)10中，無線通信照相機100對檢索引擎服務 器300發(fā)送圖像檢索的請求，檢索引擎服務器300根據(jù)該請求，使用圖像數(shù)據(jù)庫500等提取 與該檢索條件相應的特定的圖像來作為檢索結果，將該檢索結果發(fā)送給照相機100。無線通 信照相機100能夠接收來自檢索引擎服務器300的檢索結果。[照相機的硬件結構]圖2是例示照相機100的硬件結構的圖。攝像部20具有鏡頭22 ；光圈24及快門26。執(zhí)行對被攝體光進行成像的動作。 A/D轉換部28，典型而言與攝像元件成為一體，接收成像后的被攝體光，并執(zhí)行轉換為數(shù)字信號的動作。信號處理部30，對轉換后的數(shù)字信號執(zhí)行圖像內(nèi)插處理等。鍵輸入部32適當?shù)鼐哂杏糜谥甘究扉T26的動作的快門鍵；輸入圖像的選擇等 指示的操作鍵；用于投入或切斷照相機100的電源的電源鍵；用于將照相機100的動作模 式在攝像模式與再現(xiàn)模式之間進行切換的模式切換鍵等。顯示部34用于顯示在攝像模式下，從攝像部20到A/D轉換部28所到達的被攝 體像；在再現(xiàn)模式下，將在圖像存儲部36等所存儲并被選擇出的圖像數(shù)據(jù)進行間拔后的圖 像數(shù)據(jù)、及優(yōu)選動作信息或與圖像數(shù)據(jù)相關的信息等。圖像存儲部36用于存儲包括由照相機100拍攝的圖像數(shù)據(jù)的任意圖像數(shù)據(jù)。例 如，可以在圖像存儲部36中存儲從檢索引擎服務器300接收到的圖像數(shù)據(jù)。通信部38，典型而言，將天線進行內(nèi)置，用于照相機100經(jīng)由無線中繼站430與圖 像檢索系統(tǒng)10中所包括的檢索引擎服務器300進行無線連接。通過通信部38，照相機100 拍攝的數(shù)字照片等圖像數(shù)據(jù)能夠發(fā)送給檢索引擎服務器300等。此外，照相機100能夠經(jīng)由 通信部38將圖像檢索等請求發(fā)送給檢索引擎服務器300，并接收來自檢索引擎服務器300 的檢索結果。圖像處理部40，典型而言，執(zhí)行下面的動作。(圖像處理部40的動作-1)在攝像模式下，對巡回地拍攝到的圖像數(shù)據(jù)進行間拔， 輸出給顯示部34的處理；(圖像處理部40的動作-2)通過鍵輸入部32的快門 鍵的操作檢測，在該時刻將 進行攝像、A/D轉換及信號處理后的圖像數(shù)據(jù)進行壓縮編碼處理；及(圖像處理部40的動作-3)在再現(xiàn)模式下，通過在鍵輸入部的規(guī)定的動作檢測，將 圖像存儲部36中所存儲的圖像數(shù)據(jù)輸出給顯示部34的處理?？刂撇?2，典型而言，執(zhí)行下面的動作。(控制部42的動作-1)照相機100整體控制的動作；(控制部42的動作-2)在采用圖5后述的管理表格中存儲在圖像存儲部36、數(shù) 據(jù)存儲卡46或經(jīng)由擴展I/F56連接的存儲卡等中記錄的圖像數(shù)據(jù)；方向探測部50探測的 方位、傾斜角度；以及坐標和SIFT特征量的組的動作；(控制部42的動作-3)對圖像存儲部36中所存儲的多個圖像數(shù)據(jù)的SIFT特征量 彼此之間，通過加入坐標值來進行比較，計算出相似度的動作；(控制部42的動作-4)針對根據(jù)相似度而判定為相似的圖像數(shù)據(jù)，將與該圖像數(shù) 據(jù)建立了關聯(lián)的方位、傾斜角度以及坐標和SIFT特征量的組發(fā)送給圖像檢索服務器300的 動作；及(控制部42的動作-5)將從檢索引擎服務器300接收到的檢索結果在顯示部34 中進行顯示的動作。在控制部42的動作-4的判定中，所謂“判定為相似的圖像數(shù)據(jù)”也可 以包括“判定為一致的圖像數(shù)據(jù)或相同的圖像數(shù)據(jù)”。程序存儲器44對控制部42執(zhí)行的控制程序進行存儲。數(shù)據(jù)存儲器46被用作對伴隨控制部42的動作需要暫時存儲的數(shù)值等進行存儲的 工作存儲器。但不局限于此，數(shù)據(jù)存儲器46也可以用于任意的圖像數(shù)據(jù)的存儲。圖像特征量計算部48，在圖像記錄時，計算出每個坐標的SIFT特征量，并執(zhí)行將 上位規(guī)定數(shù)的組進行列表的動作。
SIFT (Scale Invariant Feature Transform)特征量，決定像素的代表亮度梯度方向，并制成將該方向設為基準的亮度梯度直方圖，作為多 維向量來記述的特征量(例如，參照永橋、藤吉、金出“采用基于區(qū)域分割的SIFT特征的物 體識別”，電器學會、系統(tǒng) 控制研究會，pp39_44，2007年1月；該文獻能夠從下面的網(wǎng)址在 線取得；<URL ；http://www. vision, cs. chubu. ao. jp/04/pdf/PIA08. pdf 。例如，對某圖 像多次檢測顯著點(特征點，或醒目的點)，利用這樣的點的周邊的像素值來提取特征量。在SIFT特征量的計算中，首先，將成為目標的圖像在檢測特征點的區(qū)域中進行分 割。該分割通過采用混合正態(tài)分布的區(qū)域分割(永橋等，2007年)等來進行。接著，在SIFT 特征量的計算中，決定注目像素的代表亮度梯度方向。例如，若以9 (x，y)表示圖像L(x， y)的亮度梯度方向，以m(x，y)表示大小，則由下式求出它們。式1
式2
此外，在上述式中式3fx(x, y) = L (x+1，y) -L (x-l，y)式4fy (x，y) = L (x，y+1) -L (x，y-1)采用亮度梯度的大小m及亮度梯度方向0，能夠求出如下式的直方圖w(x，y)。式5w(x, y) = G(x, y, o ) m(x, y) 上述式中，G(x，y，o)是高斯分布。此外，0是采用將全方向進行了 36分割。能 夠將該直方圖的最大值的方向設為該圖像中的坐標(x，y)中的代表亮度梯度方向。接著，制成將該代表亮度梯度方向作為基準的周圍的亮度梯度直方圖。例如，將由 正態(tài)分布得到的區(qū)域分割成4X4像素區(qū)域，并在各個位置上制成8方向亮度梯度直方圖。 當在4X4像素區(qū)域中制作8方向亮度梯度直方圖時，得到128維向量的特征量。如此所得 的128維向量的特征量，是與某像素區(qū)域對應的SIFT特征量。因此，SIFT特征量，包括將圖像數(shù)據(jù)中的坐標(x、y)與方向0建立關聯(lián)后的信息。 作為方向9的信息，也可以包含方位角等的角度信息，例如，可以包含變換為各e的余弦 值后的數(shù)值等。方向探測部50，一般而言，具有方位傳感器及傾斜傳感器。方向探測部50，當在攝 像模式下指示了記錄時，探測從照相機100看到的被攝體所存在的方位、及照相機100的傾斜角度。擴展I/F(接口)56用于將可裝卸的存儲卡等與照相機100連接。能夠與擴展1/ F56連接的硬件，不局限于這樣的存儲介質(zhì)。例如，照相機100，也可以替代內(nèi)置天線的通信 部38，而經(jīng)由擴展I/F56連接無線通信卡等無線通信單元，與圖像檢索服務器300等進行無 線連接?？偩€58用于在上述各個構成要素之間對數(shù)據(jù)或用于控制的信息等進行交換。圖2所示的硬件結構能夠在照相機100中使用，攝像部20作為攝像單元，方向探 測部50作為獲取單元，圖像存儲部36或數(shù)據(jù)存儲器46作為存儲單元，圖像特征量計算部 48作為用于獲取圖像數(shù)據(jù)的特征量的特征信息獲取單元，通信部38作為發(fā)送特征信息及 攝像方位的發(fā)送單元，控制部42作為對在選擇檢測單元、存儲單元中所存儲的圖像數(shù)據(jù)進 行檢索的檢索單元及存儲控制單元，能夠分別發(fā)揮功能。[檢索引擎服務器的功能方框圖]圖3是例示檢索引擎服務器300的功能結構的圖。在一個實施方式中，檢索引擎服 務器300具有檢索請求接收單元210 ；偽三維形狀數(shù)據(jù)制成單元220 ；二維圖像生成單元 230 ；相似圖像提取單元240 ；相似度計算單元250 ；相似圖像輸出單元260 ；控制單元270 ； 存儲單元280 ；和通信I/F (接口)290。檢索請求接收單元210，用于檢索引擎服務器300接收檢索請求。該檢索請求包 括用于生成用為檢索關鍵信息的圖像的至少兩個輸入圖像；以及與該輸入圖像建立了關 聯(lián)的攝像方向和特征信息的組。作為輸入圖像，例如，采用圖1所示的通過照相機100拍攝 的數(shù)字照片等圖像數(shù)據(jù)。偽三維形狀數(shù)據(jù)制成單元220從至少兩個輸入圖像，采用規(guī)定的三維模型化技 術，生成三維圖像數(shù)據(jù)。三維模型化的詳細將在后面進行描述。二維圖像生成單元230，對生成的三維圖像數(shù)據(jù)，生成從與輸入圖像建立了關聯(lián)的 攝像方向不同的攝像方向觀察該三維圖像數(shù)據(jù)時的投影圖或剖視圖。這些投影圖或剖視 圖，也可以是二維圖像數(shù)據(jù)。投影圖或剖視圖等的生成的詳細將在后面進行描述。相似圖像提取單元240，將生成的二維圖像數(shù)據(jù)作為檢索關鍵信息，從圖像數(shù)據(jù)庫 500等的與信息公開網(wǎng)連接的數(shù)據(jù)庫中提取圖像。相似度計算單元250，對所生成的二維圖像數(shù)據(jù)與被提取出的圖像的相似度進行計算。相似圖像輸出單元260，將相對于所生成的二維圖像數(shù)據(jù)的該被提取出的圖像的 相似度與被提取出的圖像建立關聯(lián)后，作為檢索結果進行輸出?？刂茊卧?70對上述各單元的動作進行控制。存儲單元280用作上述各單元的動作中的暫時的存儲單元或用于使控制單元270 動作的程序等的存儲單元。通信連接單元290用于接收來自照相機100等的檢索請求后發(fā)送給檢索請求接收 單元210，并接收來自相似圖像輸出單元260的檢索結果后發(fā)送給照相機100等。圖3所示的功能的結構能夠用作檢索引擎服務器300或檢索引擎服務器功能。即， 檢索請求接收單元210作為用于從照相機100等接收特征信息及攝像方向的接收單元，控 制單元270作為推測被攝體像的三維形狀的推測單元、及從信息公開網(wǎng)檢索圖像的檢索單元，通信連接單元290作為用于將檢索的結果獲取到的圖像發(fā)送給照相機100的發(fā)送單元， 分別發(fā)揮功能。[檢索引擎服務器的硬件結構]圖4是例示檢索引擎服務器300的硬件結構的圖。在圖4中，作為以計算機為典 型的信息處理裝置，對檢索引擎服務器300的所有硬件結構進行了說明，但不言而喻，能夠 根據(jù)其環(huán)境來選擇需要的最小限的結構。檢索引擎服務器300具有作為計算機的功能，且具有CPU(CentralPr0CesSing Unit) 303 ；總線 305 ；通信 I/F340 ；主存儲器 350 ；BIOS (Basiclnput Output System) 360 ； 并行端口 380 ；USB端口 390 ；圖形控制器320 ；VRAM324 ；聲音處理器330 ；I/O控制器370 ；和 鍵盤及鼠標適配器130等輸入單元。在I/O控制器370上能夠連接軟盤(FD)驅動器372、 硬盤374、光盤驅動器376、和半導體存儲器378等存儲單元。通信I/F340用于將檢索引擎服務器300與網(wǎng)絡600連接。S卩，使用通信I/F340， 檢索引擎服務器300能夠以可通信的方式與圖1所示的圖像檢索系統(tǒng)10中包括的照相機 100連接。由此，檢索引擎服務器300，能夠接收使用照相機100拍攝到的照片等圖像數(shù)據(jù)、 或者在PC490或圖像數(shù)據(jù)庫500中所存儲的圖像數(shù)據(jù)作為輸入圖像。在聲音處理器330上連接麥克風336、放大電路332及話筒334。此外，在圖形控 制器320上連接顯示裝置322。BI0S360對檢索引擎服務器300啟動時CPU303執(zhí)行的程序、或取決于檢索引擎服 務器300的硬件的程序等進行存儲。FD (軟盤)驅動器372從軟盤371讀取程序或數(shù)據(jù)，經(jīng)由I/O控制器370提供給主 存儲器350或硬盤374。圖3中雖然表示了在檢索引擎服務器300的內(nèi)部包括硬盤374的示例，但也可以 將外部設備連接用接口(未圖示)適當與總線305或I/O控制器370連接，在檢索引擎服 務器300的外部連接或增設硬盤。作為光盤驅動器376，例如，能夠使用DVD-ROM驅動器；⑶-ROM驅動器；DVD-RAM驅 動器；BD(Blu-ray Disk)-ROM驅動器等。此時，需要使用與各驅動器對應的光盤377。光盤 驅動器376能夠從光盤377讀取程序或數(shù)據(jù)，經(jīng)由1/0控制器370提供給主存儲器350或 硬件374。提供給檢索引擎服務器300的計算機程序是存儲于軟盤371、光盤377或存儲卡等 記錄介質(zhì)中且由使用者提供的。該計算機程序是經(jīng)由1/0控制器370從記錄介質(zhì)讀出，或 經(jīng)由通信I/F340被下載，而安裝到檢索引擎服務器300中被執(zhí)行的。計算機程序作用于信 息處理裝置而使其進行的動作，與已說明的裝置中的動作相同，所以省略。所述計算機程序，也可以存儲于外部的存儲介質(zhì)中。作為存儲介質(zhì)，除了軟盤371、 光盤377或主存儲卡，還可以使用MD等光磁記錄介質(zhì)，磁帶介質(zhì)。此外，也可以使用在與專 用通信電線或互聯(lián)網(wǎng)連接的服務器系統(tǒng)中所設置的硬盤或光盤程序庫等的存儲裝置作為 記錄介質(zhì)，并經(jīng)由通信線將計算機程序提供給檢索引擎服務器300。以上的示例，主要針對檢索引擎服務器300進行了說明，但通過在計算機中安裝 具有在信息處理裝置中所說明的功能程序，并使該計算機作為信息處理裝置來動作，能夠 實現(xiàn)與上述說明的信息處理裝置相同的功能。
圖4所示的硬件的結構要素，能夠作為檢索引擎服務器300的結構要素來使用。 即，通信I/F340作為用于從照相機100等接收特征信息及攝像方向的接收單元、以及用于 將檢索的結果獲取到的圖像發(fā)送給照相機100的發(fā)送單元，CPU303作為對被攝體像的三維 形狀進行推測的推測單元、以及從信息公開網(wǎng)檢索圖像的檢索單元，分別發(fā)揮功能。本裝置能夠作為硬件、軟件、或硬件及軟件的組合來實現(xiàn)。在基于硬件與軟件的組 合的實施中，作為典型的示例列舉在具有規(guī)定程序的計算機系統(tǒng)中的實施。此時，通過在 該計算機系統(tǒng)中加載并執(zhí)行該規(guī)定的程序，使該程序在計算機系統(tǒng)執(zhí)行與本發(fā)明相關的處 理。該程序由任意的語言、代碼、或由表述能夠表現(xiàn)的命令組構成。這樣的命令組是使系統(tǒng) 能夠直接執(zhí)行特定的功能、或者能夠在進行了(1)向其它語言、代碼、或表述的變換、(2)向 其它介質(zhì)的復制中的任一個或兩者之后執(zhí)行的命令組。當然，本發(fā)明不僅包括這種程序本 身，而且包含記錄有程序的介質(zhì)的程序產(chǎn)品也包括在其范圍內(nèi)。用于執(zhí)行本發(fā)明的功能的 程序，能夠存儲在軟盤、MO、CD-ROM、DVD、硬盤裝置、ROM、MRAM、RAM等任意的計算機可讀介 質(zhì)中。該程序為了向計算機可讀介質(zhì)進行存儲，能夠從以通信線連接的其它計算機系統(tǒng)中 下載，或從其它介質(zhì)復制。此外，該程序能夠壓縮、或分割為多個，并存儲到單一或多個記錄 介質(zhì)中。[由檢索引擎服務器所管理的數(shù)據(jù)的結構]圖5是表示在本實施方式中用于管理圖像數(shù)據(jù)的圖像數(shù)據(jù)管理表格的一個示例 的圖。圖5所示的圖像數(shù)據(jù)管理表格具有以下結構作為域(field)而分別包括存儲地址 452、文件名454、特征信息460及關聯(lián)圖像數(shù)據(jù)的存儲地址468。而且，特征信息460包括 方向數(shù)據(jù)462及SIFT特征量信息464。在本實施方式中，雖然將該圖像數(shù)據(jù)管理表格作為 存儲于圖2所示的照相機100的圖像存儲部36中的表格，但本發(fā)明不局限于此，例如，圖4 所示的檢索引擎服務器300的硬盤374等，只要適合管理圖像數(shù)據(jù)，則可以存儲在任何存儲 介質(zhì)中。存儲地址452是用于存儲圖像存儲部36中的每個圖像數(shù)據(jù)的存儲器地址。即使 將圖像數(shù)據(jù)存儲在數(shù)據(jù)存儲器46或經(jīng)由擴展I/F56而連接的存儲卡等中時，也同樣地，能 夠將存儲地址452分配給個別的圖像數(shù)據(jù)來設置管理表格。文件名454是每個圖像數(shù)據(jù)被賦予的文件名。例如，當每施行新的攝像來生成圖 像數(shù)據(jù)時，能夠通過控制部42的動作，來自動地指定該圖像數(shù)據(jù)的文件名。方向數(shù)據(jù)462由圖像記錄時的方位及傾斜角度構成。這些信息，是當基于照相機 100等的攝像時，按照每個拍攝到的圖像數(shù)據(jù)，方向探測部50所探測到的信息。因此，方向 數(shù)據(jù)462是與一個圖像數(shù)據(jù)的文件名對應而存儲的。SIFT特征量信息464由SIFT特征量存在的坐標及SIFT特征量構成。該SIFT特 征量信息464，通過圖像特征量計算部48的動作，對一個圖像數(shù)據(jù)進行分析，并作為該圖像 數(shù)據(jù)包含的SIFT特征量存在的坐標(換言之，特征點的坐標)和SIFT特征量的組而計算 出的信息。例如，SIFT特征量信息464由坐標(x，y)和將代表亮度梯度方向變換為余弦值 后的值構成。一個圖像數(shù)據(jù)中能包括多個SIFT特征量信息464。圖5中，存儲地址452是 “001A”且文件名454是“CIMG001.jpg”的一個圖像數(shù)據(jù)，作為SIFT特征量信息464，例示 了包括由(xll, yll, costll)、(xl2, yl2, costll)、...、(xln, yln, costln)構成的 n 個信 息。對于具有其它存儲地址452或文件名454的圖像數(shù)據(jù)也同樣，各個圖像數(shù)據(jù)獨立包含
11多個SIFT特征量信息464。關聯(lián)圖像數(shù)據(jù)的存儲地址468，用于與通過本發(fā)明的相似圖像檢索作為相似圖像 而被檢索到的其它圖像建立關聯(lián)。圖5所示的圖像數(shù)據(jù)管理表格的數(shù)據(jù)結構，不僅用于照相機100等中，而且也可以 在圖4所示的檢索引擎服務器300的硬件結構中，例如用作用于在硬盤374中存儲圖像數(shù) 據(jù)的數(shù)據(jù)結構。因此，檢索引擎服務器300，能夠采用圖像數(shù)據(jù)管理表格的數(shù)據(jù)結構，將具有 特定文件名的圖像數(shù)據(jù)與該圖像數(shù)據(jù)的特征信息建立關聯(lián)來進行存儲。[圖像檢索的動作流程]圖6及圖7是說明本發(fā)明的圖像檢索系統(tǒng)10執(zhí)行的圖像檢索動作的流程圖。圖6 例示照相機100執(zhí)行的圖像檢索動作的各階段的流程圖，圖7是說明照相機100與檢索引 擎服務器300為了圖像檢索而協(xié)同執(zhí)行的動作的流程圖。照相機100在控制部42的控制 下執(zhí)行以下動作，檢索引擎服務器300在CUP303的控制下執(zhí)行以下動作。在本實施方式的相似圖像檢索中，為了檢索相似圖像，從三維形狀生成二維圖像 數(shù)據(jù)。通過對概略地表示每個圖像的特征的特征量進行比較，能夠將相似圖像作為數(shù)值的 比較來處理。因此，在本發(fā)明的圖像檢索系統(tǒng)10的動作流程中，在從步驟110到步驟S200 為止的動作的各階段中，按照每個圖像計算出SIFT特征量。參照圖6針對照相機100的動作進行說明。首先，在步驟S110中，照相機100將
存儲的圖像進行一覽顯示。在步驟S120中，照相機100判定是否選擇了圖像。判定若為“是”則進入步驟S190， 若為“否”則進入步驟S130。具體而言，控制部42對鍵輸入部32等的操作進行檢測，來判 定是否選擇了圖像。在步驟S130中，照相機100對攝像部巡回地施行圖像獲取。例如，用戶使用照相機100來施行拍攝數(shù)字照片的操作。在步驟S140中，照相機100判定是否檢測出記錄指示。判定的結果若為“是”則 進入步驟S150，若為“否”則返回步驟S130。例如，拍攝數(shù)字照片，并通過在圖像存儲部36 中將新的圖像數(shù)據(jù)適當?shù)貕嚎s編碼后進行記錄，該判定能成為“是”。在步驟S150中，照相機100對方位、傾斜角度進行檢測。例如，讀取由方向探測部 50檢測出的拍攝方向及傾斜角度。在步驟S160中，照相機100對拍攝到的圖像數(shù)據(jù)進行分析，并獲取SIFT特征量和 坐標值。由此，針對拍攝到的圖像數(shù)據(jù)，計算出SIFT及坐標值，并作為該圖像數(shù)據(jù)的特征量 而被存儲。在步驟S170中，照相機100將獲取到的方位、傾斜角度以及SIFT特征量和坐標的 組與壓縮編碼后的圖像數(shù)據(jù)建立關聯(lián)，寫入圖像存儲部36的管理表格中。該管理表格，例 如，采用圖5所示的圖像數(shù)據(jù)管理表格的數(shù)據(jù)結構。管理表格能夠參照的圖像數(shù)據(jù)，能夠存 儲在圖像存儲部36、數(shù)據(jù)存儲器46、或經(jīng)由擴展I/F56連接的存儲卡(未圖示)等中。在步驟S180中，照相機100參照管理表格，并檢索對計算出的SIFT特征量與規(guī)定 范圍內(nèi)相近的SIFT特征量建立關聯(lián)后的圖像數(shù)據(jù)。由此，從照相機100內(nèi)檢索新拍攝到的 圖像數(shù)據(jù)和具有相似的特征量的其它圖像數(shù)據(jù)。另一方面，在步驟S190中，照相機100從管理表格中讀出與被選擇的圖像數(shù)據(jù)建立了關聯(lián)的SIFT特征量。該動作，選擇已經(jīng)拍攝的且存儲于照相機100內(nèi)的圖像數(shù)據(jù)，并 指示參照被選擇的圖像數(shù)據(jù)的特征量。因此，照相機100即使不施行新的拍攝，也能夠利用 已經(jīng)拍攝到的圖像數(shù)據(jù)來施行相似圖像檢索。在步驟S200中，照相機100參照管理表格，檢索對讀出的SIFT特征量與規(guī)定范圍 內(nèi)相近的SIFT特征量建立關聯(lián)后的圖像數(shù)據(jù)。該動作，與拍攝到新圖像數(shù)據(jù)時的步驟S180 的動作對應。在步驟S220中，照相機100判定是否有相似的圖像數(shù)據(jù)。若判定結果為“是”則 進入步驟S230，若為“否”則進入步驟S290。在步驟S230中，照相機100在管理表格的存儲地址中存儲彼此的存儲地址作為關 聯(lián)圖像數(shù)據(jù)。即，SIFT特征量處于規(guī)定的范圍內(nèi)且相互相似的多個圖像，被作為關聯(lián)圖像 數(shù)據(jù)來處理。在步驟S240中，照相機100對所述的關聯(lián)圖像數(shù)據(jù)進行一覽顯示。在步驟S250中，照相機100針對一覽顯示的關聯(lián)圖像數(shù)據(jù)，判定是否檢測出選擇。 若判定的結果為“是”則進入步驟S260，若為“否”則返回步驟S240。在步驟S260中，照相機100按照每個被選擇的關聯(lián)圖像數(shù)據(jù)，分別讀出方位、傾斜角度。在步驟S270中，照相機100采用讀出的方位、傾斜角度來判定立體形狀是否能夠 推測。若判定的結果為“是”，則進入后續(xù)的圖7所示的流程圖的“B”，若為“否”則進入步 驟 S290。在步驟S290中，照相機100判斷為不能檢索，并顯示讀出的圖像(已拍攝記錄的 圖像)、應拍攝的方向和大小(相對于視角的檢索對象被攝體的大小)的信息。即，該動作 是在以下情況下被實施的，所述情況為在步驟S220中判定為相似圖像數(shù)據(jù)不存在；或在 步驟S270中判定為用相似圖像數(shù)不能推測立體形狀施行。在步驟S290之后，照相機100 結束相似圖像檢索的動作。通過這樣的動作，若步驟S270的判定為“是”，則照相機100能夠準備至少兩個相 似圖像數(shù)據(jù)及與它們建立了關聯(lián)的方位、傾斜角度以及SIFT特征量和坐標值的組的信息。參照圖7，針對本發(fā)明的一個實施方式的、照相機100與圖像檢索服務器300協(xié)同 執(zhí)行的圖像檢索處理的各階段進行說明。圖7所示的從步驟S310到步驟S370為止是照相 機100的動作，從步驟S410到步驟S470為止是檢索引擎服務器300的動作。步驟S310是接著圖6所示的步驟S270的判定為“是”時的動作而施行的。在步 驟S310中，照相機100將方位、傾斜角度以及SIFT特征量和坐標值的組的信息發(fā)送給檢索 引擎服務器300。該發(fā)送，例如，作為檢索請求被發(fā)送。在步驟S320中，照相機100以會話(session)維持狀態(tài)待機。即，維持與檢索引 擎服務器300能夠通信的狀態(tài)，待機針對檢索請求的來自圖像檢索服務器300的響應。另一方面，檢索引擎服務器300根據(jù)來自照相機100的檢索請求，施行用于檢索本 發(fā)明的相似圖像檢索的動作。在步驟S410中，檢索引擎服務器300施行注冊認證處理。由此，檢索引擎服務器 300接收基于特定的照相機100的檢索請求，開始相似圖像檢索的一個會話。在步驟S420中，檢索引擎服務器300接收方位、傾斜角度以及SIFT特征量和坐標值的組作為檢索關鍵信息。在步驟S430中，檢索引擎服務器300根據(jù)接收到的方位、傾斜角度計算出拍攝方向。在步驟S440中，檢索引擎服務器300根據(jù)計算出的拍攝方向、SIFT特征量和坐標 來施行推測立體形狀的處理。由此，施行三維模型化，生成基于檢索請求的三維圖像數(shù)據(jù)。 在該步驟S440的動作中，例如，能夠采用后述的圖8所示的來自多視點圖像的三維形狀數(shù) 據(jù)生成。在步驟S450中，檢索引擎服務器300在被推測出的立體形狀中，獲取未接收的拍 攝方向。即，針對已生成的三維圖像數(shù)據(jù)，生成不包括在檢索請求中的來自拍攝方向的投影 圖或剖視圖等的二維圖像數(shù)據(jù)。在步驟S460中，檢索引擎服務器300對圖像數(shù)據(jù)進行檢索。即，將在步驟S450中 生成的二維圖像數(shù)據(jù)作為檢索關鍵信息，使用連接于圖像數(shù)據(jù)庫500等的信息公開網(wǎng)的數(shù) 據(jù)庫來檢索相似的圖像。檢索的結果被發(fā)送給照相機100。在步驟S470中，檢索引擎服務器300施行注銷處理。由此，結束基于檢索請求的 相似圖像檢索的一個會話。會話結束之后，檢索引擎服務器300能再次接收來自照相機100 等的終端裝置的請求，進行待機。再次返回照相機100的動作的各階段，在步驟S330中，照相機100接收檢索結果。在步驟S340中，照相機100作為檢索結果來判定是否接收到圖像。若判定的結果 為“是”則進入步驟S350，若為“否”則進入步驟S370。在步驟S350中，照相機100在圖像存儲部36中存儲接收到的圖像，并追加存儲地 址作為關聯(lián)圖像數(shù)據(jù)進行存儲。由此，作為檢索結果而接收到的圖像數(shù)據(jù)被作為相似圖像 檢索的結果存儲在圖像存儲部36中。而且，作為圖像數(shù)據(jù)的存儲單元，并不局限于圖像存 儲部36，也可以是數(shù)據(jù)存儲器46或經(jīng)由擴展I/F56連接的存儲卡等。在步驟S360中，照相機100作為檢索結果將接收到的關聯(lián)圖像數(shù)據(jù)與其它相似圖 像一起進行顯示。由此，用戶能夠看到在照相機100的顯示部34等中顯示的關聯(lián)圖像數(shù)據(jù) 及其它相似圖像。另一方面，當檢索結果中未包含圖像時，在步驟S370中，照相機100顯示未發(fā)現(xiàn)圖像。在步驟S360或步驟S370之后，照相機100結束相似圖像檢索的動作。根據(jù)這些從步驟S110到步驟S470為止的動作，照相機100與檢索引擎服務器300 連接，能夠利用基于檢索引擎服務器300的三維圖像數(shù)據(jù)及二維圖像數(shù)據(jù)的生成來施行相 似圖像檢索。此外，這些從步驟S110到步驟S470為止的動作，不僅作為一次相似圖像檢索來施 行，而且還可以通過從照相機100在步驟S220中加入能夠作為相似的圖像數(shù)據(jù)來判定的追 加的圖像數(shù)據(jù)，使用該追加的圖像數(shù)據(jù)，使檢索引擎服務器300限定檢索結果。而且，作為追加的圖像數(shù)據(jù)，可以采用預先準備的規(guī)定的三維圖像數(shù)據(jù)。也可以由 預先準備的規(guī)定的三維圖像數(shù)據(jù)和所生成的偽三維形狀數(shù)據(jù)生成二維圖像。而且，也可以 將所生成的二維圖像與預先準備的規(guī)定二維圖像數(shù)據(jù)進行比較。圖8是說明檢索引擎服務器300根據(jù)CPU303的控制，在圖7的步驟S440中執(zhí)行的立體形狀推測處理的流程圖。根據(jù)該處理，圖像檢索服務器300制成基于多視點圖像的 三維形狀數(shù)據(jù)。在步驟S910中，檢索引擎服務器300輸入來自相同對象的不同視點的多個圖像。在步驟S920中，檢索引擎服務器300施行前處理(清晰化、噪聲除去、傾斜修正)。在步驟S930中，檢索引擎服務器300判定照相機信息是否已知。若判定的結果為 “是”則進入步驟S940，若為“否”則進入步驟S970或步驟S980。該照相機信息，具體而言， 指示與每個圖像數(shù)據(jù)建立了關聯(lián)的攝像方位等的參數(shù)。選擇步驟S970或步驟S980的哪一 個，能夠根據(jù)這些照相機信息以外的條件，例如，根據(jù)用于生成三維形狀數(shù)據(jù)的圖像數(shù)據(jù)的 張數(shù)、在各圖像中計算出的特征量的平均或分散等統(tǒng)計的信息、或者任意的其它數(shù)值或用 于拍攝的照相機的設計信息等，來施行。在步驟S940中，檢索引擎服務器300對各圖像的照相機位置參數(shù)進行計算。例如， 計算至被攝體為止的距離、照相機的攝像方位等。在步驟S950中，檢索引擎服務器300從各圖像提取輪廓圖像數(shù)據(jù)。由此，針對各 圖像生成輪廓圖像數(shù)據(jù)。在步驟S960中，檢索引擎服務器300根據(jù)照相機位置和各輪廓圖像制成被攝體的 三維形狀模型。由此，制成從多個視點能看到大致相同被攝體的三維形狀模型。在步驟S970中，檢索引擎服務器300施行因子分解法的處理。因子分解法，例如是如下面那樣的圖像信息處理方法。(因子分解法-1)從各圖像中提取表示被攝體的輪廓外形或臉的特征部位的線 段、曲線或特征點。(因子分解法-2)提取各圖像的主要點的點特征，并將各特征點建立對應。(因子分解法-3)從多視點圖像中的各點坐標恢復照相機的活動信息及被攝體的 三維形狀信息。在步驟S980中，檢索引擎服務器300施行背景輪廓三維測量法 (shape-from-silhouettes)的處理。背景輪廓三維測量法，例如是如下的圖像信息處理的方法。(背景輪廓三維測量法-1)準備對形狀進行存儲的三維體素(voxel)空間，將它分 割為立體格子。(背景輪廓三維測量法_2)輸入成為處理對象的各多視點圖像的輪廓圖像，對如 前所述分割的各體素施行基于正投影的反投影。(背景輪廓三維測量法_3)對各體素判定在處理對象圖像的輪廓內(nèi)是否存在，留 下存在的體素，消除其它體素。(背景輪廓三維測量法_4)針對全部體素反復進行判定，而且反復進行針對全部 多視點圖像的體素的判定。(背景輪廓三維測量法_5)將留下的體素的集合作為被攝體的三維形狀模型。在步驟S990中，檢索引擎服務器300生成主要被攝體的三維形狀數(shù)據(jù)。作為生成 的三維形狀數(shù)據(jù)的形式，可任意地采用本領域內(nèi)公知的線架構模型、平面模型、立體模型、 CSG(Constructive Solid Geometry)表達，或邊界表達等。在步驟S990之后，來自多視點 圖像的三維形狀數(shù)據(jù)制成的各階段結束。
15
[將來自不同的視點的多個圖像作為輸入圖像的實施例]圖9表示本發(fā)明的一個實施方式的、從在輸入圖像中采用來自不同視點的多個圖 像而生成的三維形狀模型生成改變視點后的二維圖像作為用于圖像檢索的檢索關鍵信息 的一個示例的圖。以下，針對包括照相機100及檢索引擎服務器300的圖像檢索系統(tǒng)10的 動作進行說明。圖9所示的輸入圖像A(810)及輸入圖像B(815)，例如，是從不同視點拍攝的大致 相同的建筑物等的數(shù)字照片。照相機100，在拍攝模式的動作或再現(xiàn)模式的動作下，能夠將 這些圖像存儲在圖像存儲部36等中，并在顯示部34中適當?shù)仫@示。照相機100將這些圖 像及SIFT特征量等的附加信息發(fā)送給檢索引擎服務器300，請求相似圖像的檢索。檢索引擎服務器300，響應該請求，從這些輸入圖像生成三維形狀模型820。例如， 施行作為圖7的步驟S440的動作而例示的立體形狀推測處理。而且，檢索引擎服務器300生成來自與這些輸入圖像的拍攝方向不同的方向的投 影圖。例如，采用作為圖7的步驟S450的動作而例示的未接收的拍攝方向，生成三維形狀 模型820的投影圖。例如，生成改變視點后的二維圖像數(shù)據(jù)830或835等。所生成的二維圖像數(shù)據(jù)，被用作圖像檢索的檢索關鍵信息，對圖像數(shù)據(jù)庫500等 的數(shù)據(jù)庫進行檢索。例如，將圖像數(shù)據(jù)庫500中存儲的記錄完畢的圖像數(shù)據(jù)840等與改變 視點后的二維圖像數(shù)據(jù)830或835等進行比較。比較的結果，若判定為記錄完畢的圖像數(shù)據(jù)840與改變視點后的二維圖像數(shù)據(jù) 830或835等相似，則檢索引擎服務器300將從記錄完畢的圖像數(shù)據(jù)檢索到的相似圖像850 作為檢索結果發(fā)送給照相機100。如此，圖像檢索系統(tǒng)10，能夠針對大致相同的被攝體，使用從不同的視點拍攝到的 圖像數(shù)據(jù)作為輸入圖像，生成三維形狀模型820及改變視點后的二維圖像數(shù)據(jù)830或835， 對相似圖像進行檢索。以上，使用本發(fā)明的實施方式來進行了說明，但本發(fā)明不局限于上述實施方式。對 上述實施方式，能夠加入各種的變更或改良。例如，作為上述圖9的示例中的輸入圖像，雖 然針對采用兩張來自不同視點的圖像進行了說明，但本發(fā)明不局限于此，作為輸入圖像來 使用的來自不同視點的圖像的個數(shù)也可以是兩張以上，并且，只要能夠安裝則不設置任何 限制。同樣地，作為輸入圖像，也可以采用整體圖像和部分圖像來生成三維形狀模型。照相 機100在攝像模式的動作或再現(xiàn)模式的動作中，在圖像存儲部36等中存儲大致相同的被攝 體的任意個數(shù)的整體圖像或部分圖像，并適當?shù)仫@示在顯示部34中，將這些圖像及SIFT特 征量等的附帶信息發(fā)送給檢索引擎服務器300，請求相似圖像的檢索。與所述圖9所示的示 例相同，檢索引擎服務器300也可以設置為響應該請求，由這些任意個數(shù)的整體圖像或部 分圖像的輸入圖像，生成三維形狀模型870及投影圖。[將整體圖像及部分圖像作為輸入圖像的實施例]圖10是表示由整體圖像和部分圖像生成三維形狀模型的一個示例的圖。與所述 圖9所示的改變視點后的二維圖像的生成相同，輸入圖像-1 (861)、輸入圖像-2(862)及輸 入圖像_N(868)，是從不同視點拍攝到的大致相同的建筑物等的數(shù)字照片。這些輸入圖像， 適當包括大致相同的被攝體的整體圖像或部分圖像。N是任意的自然數(shù)。照相機100在拍 攝模式的動作或再現(xiàn)模式的動作下，能夠將這些圖像存儲在圖像存儲部36等中，并在顯示部34中適當?shù)仫@示。照相機100將這些圖像及SIFT特征量等附帶信息發(fā)送給檢索引擎服 務器300，并請求相似圖像的檢索。與所述圖9所述的示例相同，檢索引擎服務器300響應該請求，由這些輸入圖像生 成三維形狀模型870。而且，檢索引擎服務器300生成來自與這些輸入圖像的攝像方向不同 方向的投影圖。因此，與這些輸入圖像的攝像方向不同方向的投影圖，例如，被生成為改變 視點后的二維圖像數(shù)據(jù)880或882等。如此，在本發(fā)明的相似圖像檢索中，用于生成三維形狀模型的輸入圖像，可以是大 致相同的被攝體的整體圖像或部分圖像。而且在上述實施方式中，雖然針對使用一臺照相機100和無線中繼站430的情況 進行了說明，但本發(fā)明不局限于此，在圖像檢索系統(tǒng)中，可以采用包括具有攝像功能的手機 等的任意多個照相機，而且，也可以采用任意個數(shù)的無線中繼站。此外，也可以與具有讀取 圖像的掃描儀、定點設備、讀取描繪圖像的圖形輸入板等的終端連接，且用戶例如使用掃描 儀來讀取圖像，對鼠標或專用筆等定點設備進行操作，用于檢索在圖形輸入板上描繪的圖 像等。檢索引擎服務器300與這些多個照相機、終端的通信可以是各種方式，例如，可以采 用經(jīng)由服務提供機構、無線中繼站等的有線、無線網(wǎng)絡，該網(wǎng)絡也可以不僅是互聯(lián)網(wǎng)等廣域 網(wǎng)，而也可以采用局域網(wǎng)(LAN)或者它們的組合等。檢索引擎服務器300對來自這些照相機的圖像數(shù)據(jù)是否處于規(guī)定的范圍內(nèi)的位 置或時刻存在進行判定，針對判定為大致相同的情況，能夠作為相同被攝體的輸入圖像來 進行圖像檢索。而且，通過與網(wǎng)絡連接的終端等的操作，能夠對這些多個無線通信照相機進行控 制，在規(guī)定范圍內(nèi)的位置或時刻從不同的視點拍攝相同被攝體，發(fā)送給檢索引擎服務器 300。通過與網(wǎng)絡連接的終端，能夠獲取檢索引擎服務器300進行的檢索結果。而且，在上述實施方式中，雖然將檢索引擎服務器300與照相機100作為分別的結 構進行了說明，但照相機也可以具有檢索引擎服務器的功能。具體而言，也可以采用照相機 具有的硬件資源的一部分，例如，執(zhí)行檢索引擎服務器300中的三維圖像模型的制成及來 自三維圖像模型的二維圖像數(shù)據(jù)生成等。此時，如圖7所示的檢索引擎服務器300的動作 的各階段，由照相機100來執(zhí)行。如此，合并了檢索引擎服務器300的功能的照相機與檢索 引擎服務器300同樣，能夠由輸入圖像生成三維圖像模型及二維圖像數(shù)據(jù)，并將所生成的 二維圖像數(shù)據(jù)用作用于檢索相似圖像的檢索關鍵信息，從圖像數(shù)據(jù)庫500提取圖像。由此，本發(fā)明的圖像檢索系統(tǒng)能夠通過內(nèi)置有檢索引擎服務器300的功能的照相 機來實現(xiàn)。此外，該照相機并不將圖像檢索服務器300的全部功能內(nèi)置，例如，對于由輸入 圖像生成三維圖像模型及二維圖像數(shù)據(jù)、并將所生成的二維圖像數(shù)據(jù)用作用于檢索相似圖 像的檢索關鍵信息的相似圖像檢索處理，以另一個檢索引擎服務器300執(zhí)行的方式等，也 可以部分地內(nèi)置檢索引擎服務器300的功能。而且，檢索引擎服務器300的功能也可以部分地內(nèi)置于與網(wǎng)絡連接的其它終端 中。此外，服務器裝置不僅以單體方式執(zhí)行檢索引擎服務器300的功能，還能分擔到多個終 端來實現(xiàn)。具體而言，也可以將參照圖7來說明的本發(fā)明的檢索引擎服務器300的動作的 各階段分擔到多個終端來執(zhí)行。在上述實施方式中，作為一個示例，采用數(shù)字照相機作為照相機來進行了說明，
17但本發(fā)明不局限于數(shù)字照相機，例如，也能適用于帶有照相機的手機或具有PDA (Personal Digital Assistant)等攝像功能的攝像裝置。而且，本發(fā)明的圖像檢索系統(tǒng)，能夠通過將包 括CPU和存儲器的攝像裝置具有的計算機作為上述各單元來發(fā)揮功能的圖像檢索程序來 動作。圖像檢索程序，能夠經(jīng)由通信線來發(fā)布，也能夠通過寫入到⑶-ROM等記錄介質(zhì)中來 進行發(fā)布。本發(fā)明的用于控制檢索引擎服務器的功能的程序，能夠任意地使用本領域公知 的語言來進行記述，例如，也可以作為照相機或終端等硬件上進行動作的虛擬機來實現(xiàn)。
權利要求
一種圖像檢索系統(tǒng)，由通信終端和處于該通信終端外部的檢索裝置構成，所述通信終端，包括存儲單元，其將包含被攝體像的圖像數(shù)據(jù)與所述圖像數(shù)據(jù)的攝像方位及特征信息建立關聯(lián)而進行多個存儲；選擇檢測單元，其從所述存儲單元所存儲的多個圖像數(shù)據(jù)中對特定的圖像數(shù)據(jù)的選擇進行檢測；第一檢索單元，其針對由所述選擇檢測單元檢測出選擇的特定的圖像數(shù)據(jù)，根據(jù)與其建立了關聯(lián)的特征信息，來檢索相似的圖像數(shù)據(jù)；和第一發(fā)送單元，其將由所述選擇檢測單元檢測出選擇的圖像數(shù)據(jù)和作為所述第一檢索單元的檢索結果而獲取到的圖像數(shù)據(jù)中的至少一個的攝像方位及特征信息發(fā)送給所述檢索裝置，所述檢索裝置，具有接收單元，其接收由所述第一發(fā)送單元從所述通信終端發(fā)送來的攝像方位及特征信息；推測單元，其根據(jù)由所述接收單元接收到的特征信息及攝像方位，對所述圖像數(shù)據(jù)中包含的被攝體像的三維形狀進行推測；第二檢索單元，其根據(jù)由所述推測單元推測出的被攝體像的所述三維形狀來檢索信息公開網(wǎng)，獲取包含將與所述接收到的攝像方位不同的方位作為攝像方位的所述被攝體像的圖像的圖像數(shù)據(jù)；和第二發(fā)送單元，其將由所述第二檢索單元獲取到的圖像數(shù)據(jù)發(fā)送給所述通信終端。
2.根據(jù)權利要求1所述的圖像檢索系統(tǒng)，其特征在于， 所述通信終端，還具有攝像單元，其對被攝體進行攝像來獲取圖像數(shù)據(jù)； 方位獲取單元，其獲取所述攝像單元攝像時的攝像方位；特征信息獲取單元，其獲取與所述攝像單元攝像而獲取到的圖像數(shù)據(jù)相關的特征信 息；和存儲控制單元，其將所述攝像單元獲取到的圖像數(shù)據(jù)、所述方位獲取單元獲取到的攝 像方位及所述特征信息獲取單元獲取到的特征信息建立關聯(lián)而存儲到所述存儲單元中。
3.根據(jù)權利要求1所述的圖像檢索系統(tǒng)，其特征在于，所述選擇檢測單元，對作為圖像數(shù)據(jù)而在規(guī)定的范圍的位置或時刻所拍攝到的至少兩 個數(shù)字照片數(shù)據(jù)被選擇為特定的圖像數(shù)據(jù)進行檢測。
4.根據(jù)權利要求1所述的圖像檢索系統(tǒng)，其特征在于，隨著所述選擇檢測單元選擇的圖像數(shù)據(jù)被追加，所述第二檢索單元對檢索的對象進一 步限定。
5.一種圖像檢索方法，包括選擇檢測步驟，從將包含被攝體像的圖像數(shù)據(jù)與所述圖像數(shù)據(jù)的攝像方位及特征信息 建立關聯(lián)而進行多個存儲的存儲器中，對特定的圖像數(shù)據(jù)的選擇進行檢測；第一檢索步驟，針對在所述選擇檢測步驟中檢測出選擇的特定的圖像數(shù)據(jù)，根據(jù)與其 建立了關聯(lián)的特征信息，檢索相似圖像數(shù)據(jù)；推測步驟，根據(jù)所述選擇檢測步驟中檢測出選擇的圖像數(shù)據(jù)和作為第一檢索步驟中的 檢索結果而獲取到的圖像數(shù)據(jù)中的至少一個的攝像方位及特征信息，對所述圖像數(shù)據(jù)中包 含的被攝體像的三維形狀進行推測；第二檢索步驟，根據(jù)所述推測步驟中推測出的被攝體像的所述三維形狀，對信息公開 網(wǎng)進行檢索，獲取包含將所述存儲器中未存儲的方位作為攝像方位的所述被攝體像的圖像 的圖像數(shù)據(jù)；以及 圖像數(shù)據(jù)獲取步驟，獲取所述被攝體像的圖像數(shù)據(jù)作為所述第二檢索步驟中的檢索結^ O
全文摘要
本發(fā)明提供一種圖像檢索系統(tǒng)及圖像檢索方法。該圖像檢索系統(tǒng)由照相機(100)和處于該照相機(100)外部的檢索引擎服務器(300)構成，照相機(100)具有將包含被攝體像的圖像數(shù)據(jù)與所述圖像數(shù)據(jù)的攝像方位及特征信息建立關聯(lián)而進行多個存儲的圖像存儲部(36)的圖像數(shù)據(jù)管理表格；從該圖像存儲部(36)所存儲的多個圖像數(shù)據(jù)中對特定的圖像數(shù)據(jù)的選擇進行檢測，并針對檢測出該選擇的特定的圖像數(shù)據(jù)，根據(jù)與其建立了關聯(lián)的特征信息來檢索相似的圖像數(shù)據(jù)的控制部(42)；和將檢測出選擇的圖像數(shù)據(jù)和作為檢索結果而獲取到的圖像數(shù)據(jù)中的至少一個的攝像方位及特征信息發(fā)送給檢索引擎服務器(300)的通信部(36)。檢索引擎服務器(300)具有通過上述處理接收從照相機(100)發(fā)送來的攝像方位及特征信息的通信I/F(340)；和根據(jù)接收到的特征信息及攝像方位，來推測所述圖像數(shù)據(jù)中所包含的被攝體像的三維形狀，并根據(jù)所推測出的被攝體像的三維形狀來檢索信息公開網(wǎng)，獲取包括將與所述接收到的攝像方位不同的方位作為攝像方位的所述被攝體像的圖像的圖像數(shù)據(jù)的CPU(303)，而且，通信I/F(340)將上述獲取到的圖像數(shù)據(jù)發(fā)送給照相機(100)。
文檔編號G06F17/30GK101853268SQ20101015642
公開日2010年10月6日 申請日期2010年3月30日 優(yōu)先權日2009年3月30日
發(fā)明者喜多一記 申請人:卡西歐計算機株式會社