專利名稱：信息終端的制作方法
技術領域：
本發(fā)明涉及識別標記的信息終端。
背景技術：
在USP6， 577， 249號公報中公開有一種相關信息呈現(xiàn)裝置，其在拍 攝被攝體而成的圖像上的對應位置處重疊顯示上述被攝體各部的相關信 息。在該相關信息呈現(xiàn)裝置中，圖像輸入單元輸入拍攝上述被攝體而成 的圖像，且在拍攝時將顯示有表示上述被攝體的4點以上的位置信息的 圖案的標記包含在攝像范圍內(nèi)。位置信息管理單元從上述所輸入的圖像 中讀取上述圖案，而獲得上述位置信息。位置信息取得單元根據(jù)上述位 置信息求出上述圖像輸入單元的位置及姿勢。相關信息生成單元根據(jù)上 述圖像輸入單元的位置及姿勢求出上述被攝體的各部在上述圖像上的位 置。信息重疊顯示單元在基于已求出的上述圖像上的位置的對應位置上 重疊顯示上述相關信息。
此外，在日本特開2003-67742號公報中公開有一種從圖像中確定關 注圖像的圖像處理裝置。在該圖像處理裝置中，記號圖像確定部從圖像 中確定可識別關注圖像中的特定方向的記號圖像。關注圖像確定部利用 表示該記號圖像和關注圖像之間的位置關系的相對位置信息、和從記號 圖像中識別出的特定方向，來確定關注圖像。
在上述USP6， 577, 249號公報所公開的對標記進行識別的信息呈現(xiàn) 裝置中，對于標記而言，四方框那樣的基準圖案和作為標記的辨認用特 征結(jié)構(gòu)(texture)的圖像(圖案)成為一體。即，進行模式匹配的辨認用 特征結(jié)構(gòu)內(nèi)含在基準圖案中。由此，設計和配置標記時的自由度小。此 外，具有基準圖案的識別概率和辨認用特征結(jié)構(gòu)的識別概率之間有時存 在差異這樣的缺陷。 此外，在上述日本特開2003-67742號公報中公開有如下技術使用 配置在黑板的4個角處的記號，從照片中提取關注部分(黑板)。但是， 在該公報所公開的技術中，無法根據(jù)記號來檢測攝像裝置的位置姿勢， 且無法使用位置姿勢信息進行信息呈現(xiàn)。

發(fā)明內(nèi)容
本發(fā)明正是鑒于上述問題而完成的，其目的在于提供一種信息終端， 即使將基準圖案和用于辨認標記的圖像分體構(gòu)成標記，也能夠識別標記， 從而可擴大設計和配置標記時的自由度。
作為本發(fā)明的信息終端的一種方式，其特征在于，該信息終端具有
圖像輸入部，其輸入圖像；
基準圖案檢測部，其檢測由上述圖像輸入部輸入的圖像中的基準圖
辨認單元，其辨認與基準圖案處于預定位置關系的區(qū)域內(nèi)的圖像， 其中，該基準圖案在由上述圖像輸入部輸入的圖像中、且由上述基準圖 案檢測部檢測到；以及
處理部，其進行與由上述辨認單元所辨認的圖像相關的處理。


圖1是表示本發(fā)明的第1實施例的信息終端的結(jié)構(gòu)的圖。
圖2是表示基準圖案的例子的圖。
圖3是表示基準圖案的另一個例子的圖。
圖4是表示基準圖案的再一個例子的圖。
圖5是表示本發(fā)明的第2實施例的信息終端的結(jié)構(gòu)的圖。
圖6是用于說明作為相關信息而重疊顯示拍攝時位于視野外的用來 顯示景色特征的顯著標記(landmark)的例子的圖。
圖7是用于說明作為相關信息而重疊顯示拍攝時位于視野外的用來 顯示景色特征的顯著標記的例子的圖。
圖8是用于說明作為相關信息而重疊顯示拍攝時位于視野外的用來
顯示景色特征的顯著標記的例子的圖。
圖9是用于說明作為相關信息而重疊顯示拍攝后經(jīng)過修整的部分的 例子的圖。
具體實施例方式
以下，參照

用于實施本發(fā)明的優(yōu)選方式。 [第1實施例]
在本實施例中，將標記分離為基準圖案和辨認用特征結(jié)構(gòu)(texture), 分別進行生成和管理。而且，信息終端首先識別上述基準圖案，接著利 用相對于上述基準圖案處于預定位置關系的上述辨認用特征結(jié)構(gòu)來進行 上述標記的辨認。
如圖1所示，本發(fā)明的第1實施例的信息終端具有圖像輸入部10、 基準圖案檢測部12、預定位置關系存儲部14、圖像辨認部16、辨認用特 征結(jié)構(gòu)DB (數(shù)據(jù)庫)18以及處理部20。
上述圖像輸入部10是拍攝圖像進行輸入的照相機。或者，上述圖像 輸入部10也可以從存儲裝置或介質(zhì)讀出由照相機拍攝到的圖像而進行輸 入。并且，上述圖像輸入部IO也可以經(jīng)由網(wǎng)絡輸入這樣的圖像。上述基 準圖案檢測部12檢測由上述圖像輸入部10輸入的圖像中的基準圖案。 此外，上述預定位置關系存儲部14存儲有關于基準圖案的預定位置關系。 而且，上述基準圖案檢測部12根據(jù)存儲在上述預定位置關系存儲部14 中的上述預定位置關系，提取由上述圖像輸入部IO輸入的圖像中的、相 對于上述檢測到的基準圖案處于預定位置關系的區(qū)域、即辨認用特征結(jié) 構(gòu)區(qū)域的圖像，作為辨認用特征結(jié)構(gòu)圖像。
在上述辨認用特征結(jié)構(gòu)DB 18中登記有多個辨認用特征結(jié)構(gòu)數(shù)據(jù)。 而且，上述圖像辨認部16對該登記在辨認用特征結(jié)構(gòu)DB 18中的各個辨 認用特征結(jié)構(gòu)數(shù)據(jù)和上述提取出的辨認用特征結(jié)構(gòu)區(qū)域內(nèi)的辨認用特征 結(jié)構(gòu)圖像進行匹配處理。上述圖像辨認部16通過該匹配處理辨認該辨認 用特征結(jié)構(gòu)圖像是哪個。另外，匹配處理有將特征結(jié)構(gòu)圖像的預定區(qū)域 作為圖案數(shù)據(jù)進行匹配處理的方法、和使用包含在特征結(jié)構(gòu)圖像中的特
征點組進行匹配處理的方法等。在本實施例中，當然可以采用其中任一 種方法，也可以采用將這些方法組合而成的方法。而且，上述處理部20 進行與由該圖像辨認部16所辨認的辨認用特征結(jié)構(gòu)圖像相關聯(lián)的處理。
作為該相關聯(lián)的處理，包括如下的各種處理例如從相關的Web網(wǎng)站取
得信息、收發(fā)相關的電子郵件、啟動相關的應用軟件、或者將相關的信
息例如URL傳送給應用軟件。
在此，上述基準圖案只要具有例如對比度差異、明暗差異、顏色差 異、特征結(jié)構(gòu)差異等可對圖案和圖案的外側(cè)周邊部之間進行識別的差異， 則可以是任意圖案。
例如，基準圖案可采用圖2所示的結(jié)構(gòu)。g卩，在基座30上安裝數(shù)字 時鐘，在可更換照片或圖片等的像框中，將該數(shù)字時鐘的外框用作基準 圖案31。內(nèi)部的數(shù)字時鐘的數(shù)字在該情況下不用于辨認。并且，作為應 辨認的圖像的辨認用特征結(jié)構(gòu)32可以采用在該像框上可更換的照片或圖 片。在該情況下，相對于基準圖案31已客觀確定了辨認用特征結(jié)構(gòu)32 的位置，所以只要在預定位置關系存儲部14中預先存儲該位置關系即可。
此外，如圖3所示，也可以將基準圖案31構(gòu)成為大頭針的一部分， 該大頭針將作為辨認用特征結(jié)構(gòu)32的照片等固定在黑板上。在該情況下， 辨認用特征結(jié)構(gòu)32的位置也已相對于基準圖案31客觀確定，所以只要 在預定位置關系存儲部14中預先存儲該位置關系即可。
或者，如圖4所示，也可以將可容納和替換作為待辨認的圖像的辨 認用特征結(jié)構(gòu)32的像框設為基準圖案31。這樣，通過將插入照片等辨認 用特征結(jié)構(gòu)32的框設為基準圖案31，從而可更換辨認用特征結(jié)構(gòu)32。
另夕卜，在圖2和圖4中，辨認用特征結(jié)構(gòu)32不限于照片和圖片，例 如也可以構(gòu)成為通過采用顯示在液晶顯示器上的圖像而使得可進行更 換。
在此，先簡單說明辨認用特征結(jié)構(gòu)區(qū)域的提取方法。 艮口，基準圖案檢測部12根據(jù)由圖像輸入部10輸入的圖像來檢查圖 像內(nèi)是否存在基準圖案31 (在本例子中為四邊框)。預先將該四邊框的4 個角的位置信息(世界坐標系下的坐標值)與對應特征結(jié)構(gòu)的模板信息
一起記錄到信息終端內(nèi)。由此，通過檢測四邊框并進行特征結(jié)構(gòu)的辨認，
可估計圖像輸入部io在世界坐標系下的位置及姿勢。
首先，通過提取圖像內(nèi)的四邊框，可以求出基準圖案坐標系下的圖 像輸入部10的位置姿勢。根據(jù)該基準圖案31求出圖像輸入部10的位置
姿努^的方法公開在"A High Accurasy Realtime 3D Measuring Method of Marker for VR Interface by Monocular Vision" (VR界面高精度單目視覺實 時3D標記測量方法)(3D Image Conference'96 Proceeding pp. 167-172， Akira Takahashi, Ikuo Ishii， Hideo Makino, Makoto Nakashizuka， 1996)中。
并且，四邊框即基準圖案31和對應的辨認用特征結(jié)構(gòu)32被置于預 定關系的位置上。預先將相對于該特征結(jié)構(gòu)的上述四邊框的相對位置信 息(基準圖案坐標值)記錄到預定位置關系存儲部14中。
辨認用特征結(jié)構(gòu)32例如設為正方形的形狀，上述相對位置信息(xo, yo， z。)設為以基準圖案31的左上角點為原點時的特征結(jié)構(gòu)的左上角點 的坐標。如果作為大小信息給出一邊的長度a，則求出其他3個角相對于 左上角點的相對位置信息(辨認用特征結(jié)構(gòu)坐標值)。相對位置信息分別 為左上角點(0， 0, 0)、右上角點(a， 0， 0)、左下角點(0， a， 0)、 右下角點(a， a， 0)。
在此，辨認用特征結(jié)構(gòu)坐標值可通過下述式1轉(zhuǎn)換成基準圖案坐標 值。另外，在該式中，(xwp， ywp， zwp)分別表示相對于左上角點的基準 圖案31的相對位置(基準圖案坐標值)。此外，(xlp， ylp， zlp)表示以特 征結(jié)構(gòu)左上角點為基準的辨認用特征結(jié)構(gòu)坐標系下的坐標。
x〗p

一 1 _ 1 ,
在此，L表示下述式2的行列式，在該式中，Rot表示辨認用特征結(jié) 構(gòu)32在基準圖案坐標系下的姿勢，(tx， ty， tz)表示特征結(jié)構(gòu)左上角點在 基準圖案坐標系下的坐標值。
8
<formula>formula see original document page 9</formula>將辨認用特征結(jié)構(gòu)32的左上角位置相對于基準圖案31的相對位置 信息設為(xk， yk， zk)，說明從特征結(jié)構(gòu)坐標系的XYZ軸平行移動基準 圖案坐標系的XYZ軸的情況，當忽略旋轉(zhuǎn)要素時，辨認用特征結(jié)構(gòu)32 在基準圖案坐標系下的絕對值坐標如下這樣求出
ywp—ywwp+yk
Zwp—Z\vwp+Zk
可使用該坐標進行辨認用特征結(jié)構(gòu)區(qū)域的提取。 如果能夠這樣地進行辨認用特征結(jié)構(gòu)區(qū)域的提取，則在圖像辨認部
16中，可通過通常的模板匹配來辨認辨認用特征結(jié)構(gòu)32是何種標記的特 征結(jié)構(gòu)。
并且，通過進行辨認還可辨認基準圖案31在世界坐標系下的坐標 值，圖像輸入部IO在世界坐標系下的坐標值也可唯一地確定。而且，如 果圖像輸入部10固定地設置在該信息終端上，則該信息終端在世界坐標 系下的坐標值也必然可唯一地確定。這樣，圖像辨認部16具有位置及姿 勢判定部16A，該位置及姿勢判定部16A根據(jù)由上述圖像輸入部10輸入 的圖像，檢測該信息終端在基準坐標系下的位置及姿勢。
如圖5所示，在本實施例的信息終端中，由相關信息生成部201、 相關信息存儲DB 202以及信息顯示部203構(gòu)成上述處理部20。
在此，相關信息存儲DB 202登記有與各種標記對應的相關信息。此 夕卜，相關信息生成部201按照由上述圖像辨認部16所辨認的圖像搜索上 述相關信息存儲DB202，生成與上述所辨認的圖像相關的相關信息。然 后，在液晶顯示器等信息顯示部203上呈現(xiàn)由上述相關信息生成部201 生成的相關信息。
在該情況下，相關信息生成部201還可以構(gòu)成為，根據(jù)由上述基準
圖案檢測部12檢測到的基準圖案31的種類，不僅使呈現(xiàn)在上述信息顯 示部上的相關信息不同，而且還使呈現(xiàn)該相關信息的位置不同。
此外，在信息顯示部203上呈現(xiàn)相關信息的呈現(xiàn)方式可以是顯示相 關信息，也可以是在由上述圖像輸入部IO輸入的圖像上重疊顯示相關信 息那樣的呈現(xiàn)方式。另外，在該相關信息的顯示中，相關信息生成部201 根據(jù)在上述第1實施例中說明的、從由上述圖像輸入部IO輸入的圖像中 檢測到的基準坐標系下的該信息終端的位置及姿勢，修正所生成的相關 信息的位置及姿勢，而給予信息顯示部203。由此，能夠以與該信息終端 的位置及姿勢對應的方式顯示該相關信息。這樣的與位置及姿勢對應的 相關信息的顯示特別適用于如后者那樣重疊顯示相關信息的情況。
另外，作為上述相關信息，例如可以是生成作為上述辨認用特征結(jié) 構(gòu)32的圖像時、即拍攝照片時的圖像輸入設備的書志信息。即，在數(shù)字 照相機等圖像輸入設備中，使用機種或攝影條件等書志信息也可以與圖 像一起輸入。因此，只要將這樣的書志信息預先存儲到相關信息存儲DB 202中，就可以將與由圖像輸入部IO輸入的圖像對應的書志信息設為相 關信息。
此外，上述相關信息還可以設為與拍攝作為上述辨認用特征結(jié)構(gòu)32 的圖像(照片)的風景或位置相關的信息。例如，如圖6所示，拍攝包 括風景的一部分在內(nèi)的攝影圖像40。然后，如圖7所示，將該攝影圖像 40放入將圖4所示的框用作基準圖案31的像框中而設為辨認用特征結(jié)構(gòu) 32。在該情況下，只要在辨認用特征結(jié)構(gòu)DB 18中具有與該辨認用特征 結(jié)構(gòu)32中的上述風景的一部分匹配的模板，就可以呈現(xiàn)以下那樣的信息。 即，在該情況下，只要在相關信息存儲DB202中存儲有用來顯示景色特 征的顯著標記的數(shù)據(jù)，就可以如圖8所示，將該用來顯示景色特征的顯 著標記的數(shù)據(jù)作為相關信息202A，在信息顯示部畫面203A上與輸入圖 像重疊而進行呈現(xiàn)。在該情況下，當然可使用圖像輸入部IO的位置姿勢 將可見方向的二維圖像生成為相關信息202A。
此外，上述相關信息還可以設為視野周圍的景觀，該視野是生成作
為上述辨認用特征結(jié)構(gòu)32的圖像的圖像輸入設備的攝影視野、或者拍攝
后進行切取處理而成的視野。例如，如圖9所示，將對修整攝影圖像40 的一部分而成的照片進行打印輸出后的圖像作為辨認用特征結(jié)構(gòu)32，放 入將圖4所示的框用作基準圖案31的像框中，并且，將該修整后的照片 登記到辨認用特征結(jié)構(gòu)DB18中。此外，預先將原來的攝影圖像40登記 到相關信息存儲DB 202中。在該情況下，能夠進行如下的顯示。即，在 該情況下，在由信息終端50的圖像輸入裝置51 (對應于圖像輸入部IO) 拍攝到其像框時，能夠在信息終端50的信息顯示部畫面52 (對應于信息 顯示部畫面203A)上將修整后的部分作為相關信息202B重疊顯示。
此外，上述相關信息不限于與由上述圖像辨認部16所辨認的辨認用 特征結(jié)構(gòu)32的圖像的情景相關的照片，也可以是聲音或動畫、數(shù)字內(nèi)容 等任意的信息。
根據(jù)以上實施例說明了本發(fā)明，但本發(fā)明不限于上述實施例，當然 可以在本發(fā)明的宗旨的范圍內(nèi)進行各種變形和應用。
例如，設為在預定位置關系存儲部14中預先存儲基準圖案31和辨 認用特征結(jié)構(gòu)32之間的位置關系，但也可以例如將基準圖案31構(gòu)成為 一維或者二維條形碼等碼，從檢測出的基準圖案31讀出上述位置關系等。 即，基準圖案31和辨認用特征結(jié)構(gòu)32之間的位置關系只要能夠根據(jù)基 準圖案31而知道，則可以以任意的方式來提供。
另外，在以上的實施例中，示出了基準圖案為矩形那樣的幾何學樣 式的例子，但基準圖案的圖案設計不限于此。只要是滿足確定辨認用特 征結(jié)構(gòu)的位置這樣的基準圖案的功能的方式，則可以是任意的形式。例 如，如自然風景照片或吉祥物的插圖那樣，即使在不是幾何學圖案設計 的情況下，只要可通過使用特征點組的匹配處理辨認至少3個對應的特 征點，就可以辨認基準圖案和攝影圖像的位置及姿勢。此外，當特征點 作為張量(tensor)而保持有面的信息的情況下，只需1點即可辨認基準 圖案和攝影圖像的位置及姿勢。由此，還可以辨認辨認用特征結(jié)構(gòu)的位 置。
所謂圖像中的特征點是指與其他像素的差異在一定水平以上，其特
征量例如包括明暗的對比度、顏色、周圍的像素分布、微分分量值、特 征點之間的配置等。提取這些特征點，并按照每個對象物預先登記。
利用時在輸入圖像中進行搜索，提取特征點，并與已完成登記的數(shù) 據(jù)進行比較。在表示相似程度的數(shù)值(特征點之間的各分量的差異)超 過預先設定的閾值時判定為相似特征點，并且，將多個特征點一致的對 象物判斷為與輸入圖像的對象物相同。
權(quán)利要求
1.一種信息終端，其特征在于，該信息終端具有圖像輸入部(10、51)，其輸入圖像；基準圖案檢測部(12)，其檢測由上述圖像輸入部(10、51)輸入的圖像中的基準圖案(31)；辨認單元(16)，其辨認與基準圖案(31)處于預定位置關系的區(qū)域內(nèi)的圖像，其中，該基準圖案(31)在由上述圖像輸入部(10、51)輸入的圖像中、且由上述基準圖案檢測部(12)檢測到；以及處理部(20)，其進行與由上述辨認單元(16)所辨認的圖像相關的處理。
2. 根據(jù)權(quán)利要求l所述的信息終端，其特征在于， 上述處理部(20)進行的處理是信息的顯示， 上述處理部(20)具有相關信息生成部(201)，其生成與由上述辨認單元(16)所辨認的 圖像相關的相關信息；以及信息呈現(xiàn)部(203、 52)，其呈現(xiàn)由上述相關信息生成部(201)生成 的相關信息。
3. 根據(jù)權(quán)利要求1所述的信息終端，其特征在于，上述基準圖案(31) 具有可識別圖案和該圖案的外側(cè)周邊部之間的差異。
4. 根據(jù)權(quán)利要求1所述的信息終端，其特征在于，上述預定位置關 系是預先定義的。
5. 根據(jù)權(quán)利要求l所述的信息終端，其特征在于，上述預定位置關 系可根據(jù)上述基準圖案(31)而知道。
6. 根據(jù)權(quán)利要求1所述的信息終端，其特征在于，上述基準圖案(31) 是可容納和替換待辨認圖像的框。
7. 根據(jù)權(quán)利要求2所述的信息終端，其特征在于，根據(jù)由上述基準 圖案檢測部(12)檢測到的基準圖案(31)的種類，在上述信息呈現(xiàn)部(203、 52)上呈現(xiàn)的信息和/或呈現(xiàn)信息的位置不同。
8. 根據(jù)權(quán)利要求2所述的信息終端，其特征在于，在上述信息呈現(xiàn)部(203、 52)上呈現(xiàn)的相關信息是生成待辨認圖像時的圖像輸入設備的書志fe息。
9. 根據(jù)權(quán)利要求2所述的信息終端，其特征在于，在上述信息呈現(xiàn) 部(203、 52)上呈現(xiàn)的相關信息是與拍攝了待辨認圖像的風景或者位置 相關的信息。
10. 根據(jù)權(quán)利要求2所述的信息終端，其特征在于，在上述信息呈 現(xiàn)部(203、 52)上呈現(xiàn)的相關信息是視野周圍的景觀，其中，該視野是 生成待辨認圖像的圖像輸入部(10、 51)的攝影視野、或者拍攝后進行 切取處理而成的視野。
11. 根據(jù)權(quán)利要求2所述的信息終端，其特征在于，在上述信息呈 現(xiàn)部(203、 52)上呈現(xiàn)的相關信息是與由上述辨認單元(16)所辨認的 圖像的情景相關的聲音、照片以及數(shù)字內(nèi)容中的至少一個。
12. 根據(jù)權(quán)利要求2 11中的任意一項所述的信息終端，其特征在于，該信息終端還具有位置及姿勢判定部(16A)，該位置及姿勢判定部 (16A)根據(jù)由上述圖像輸入部(10、51)輸入的圖像檢測該信息終端(50) 在基準坐標系下的位置及姿勢，上述相關信息以基于上述位置及姿勢判定部(16A)的檢測結(jié)果的位 置及姿勢，呈現(xiàn)在顯示在上述信息呈現(xiàn)部(203)上的由上述圖像輸入部 (10、 51)輸入的圖像中。
全文摘要
本發(fā)明提供一種信息終端。該信息終端由如下部分構(gòu)成圖像輸入部(10)，其輸入圖像；基準圖案檢測部(12)，其檢測由該圖像輸入部(10)輸入的圖像中的基準圖案(31)；圖像辨認部(16)，其辨認與基準圖案處于預定位置關系的區(qū)域內(nèi)的圖像，其中，該基準圖案在由上述圖像輸入部(10)輸入的圖像中、且由上述基準圖案檢測部(12)檢測到；以及處理部(20)，其進行與由該圖像辨認部(16)所辨認的圖像相關的處理。
文檔編號G06T11/80GK101180657SQ20068001753
公開日2008年5月14日 申請日期2006年3月20日 優(yōu)先權(quán)日2006年3月20日
發(fā)明者古橋幸人, 柴崎隆男, 赤塚祐一郎, 齊藤明人 申請人:奧林巴斯株式會社