專利名稱：圖像處理設(shè)備、圖像處理方法、以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備、圖像處理方法、以及程序。
背景技術(shù)：
近來，一種被稱為增強現(xiàn)實(AR)的技術(shù)正受到關(guān)注，其中處理并隨后向用戶呈現(xiàn) 通過對真實空間進行成像獲得的圖像。在AR技術(shù)中，例如可以插入與輸入圖像中呈現(xiàn)的真 實空間中的物理對象有關(guān)的有用信息以生成輸出圖像并且輸出該輸出圖像。即，在AR技術(shù) 中，通常，向用戶呈現(xiàn)的圖像的大部分示出了真實空間，并且可以根據(jù)目的處理圖像的一部 分。這種特性使它與使用計算機圖形學(CG)構(gòu)成輸出圖像的整體(或大部分)的虛擬現(xiàn) 實形成對比。通過使用AR技術(shù)，例如，可以提供諸如用戶容易識別真實空間的情形或者基 于輸出圖像的操作支持等優(yōu)點。在AR技術(shù)中，為了向用戶呈現(xiàn)實際有用的信息，計算機準確地識別真實空間的情 形是重要的。因此，開發(fā)了作為AR技術(shù)的基礎(chǔ)的、旨在識別真實空間的情形的技術(shù)。例 如，日本專利申請?zhí)亻_平No. 2008-304268公開了如下方法通過應(yīng)用能夠同時估算攝像 機的位置和姿態(tài)(posture)以及攝像機的圖像中示出的特征點的位置、被稱為同時定位與 地圖構(gòu)建(SLAM)的技術(shù)動態(tài)地生成代表真實空間中存在的物理對象的三維位置的環(huán)境地 圖° 另夕卜，在 Andrew J. Davison's,"Real-Time SimultaneousLocalization and Mapping with a Single Camera, "Proceedings of the 9thIEEE International Conference on Computer Vision Volume 2，2003，第1403至1410頁中公開了使用單目攝像機的SLAM技 術(shù)的基本原理。近來，信息通信技術(shù)已廣泛用于一般用戶之中，并且用戶使用了各種通信手段，諸 如使用移動終端的蜂窩通信、家庭網(wǎng)絡(luò)中的有線或無線局域網(wǎng)(LAN)、寬帶通信、以及紅外 線通信等。另外，存在采用這些通信手段的多種通信業(yè)務(wù)。

發(fā)明內(nèi)容
然而，一般地，只使用諸如屏幕上的簡單圖標等圖像或文本信息把用戶使用的通 信手段中通信的狀態(tài)通知用戶。另外，在一些應(yīng)用中，存在如下示例在屏幕上顯示由Post Pet (注冊商標)代表的虛擬動作者(agent)，但是這種動作者只在封閉在終端設(shè)備的屏幕 中的虛擬空間中工作。此外，如果能夠通過應(yīng)用上述環(huán)境地圖通過顯示如同執(zhí)行涉及真實空間中的實體 的通信一樣的信息來表示通信的狀態(tài)，則預期用戶可以直觀地識別通信的狀態(tài)并且還可以 向用戶提供通信中的娛樂。鑒于以上內(nèi)容，期望提供一種新型的和改進的圖像處理設(shè)備、圖像處理方法、以及 程序，能夠如同執(zhí)行涉及真實空間中的實體的通信一樣顯示用戶使用的通信手段中通信的 狀態(tài)。根據(jù)本發(fā)明的一個實施例，提供了一種圖像處理設(shè)備，包括數(shù)據(jù)存儲單元，其中存儲有特征數(shù)據(jù)，特征數(shù)據(jù)表示一個或者更多個物理對象的外觀特征；環(huán)境地圖建立單元， 用于基于通過使用成像設(shè)備對真實空間進行成像獲得的輸入圖像以及數(shù)據(jù)存儲單元中存 儲的特征數(shù)據(jù)建立環(huán)境地圖，環(huán)境地圖表示真實空間中存在的物理對象的位置；信息生成 單元，用于使用環(huán)境地圖建立單元建立的環(huán)境地圖來生成用于在屏幕上顯示經(jīng)由通信接口 的通信的狀態(tài)動畫數(shù)據(jù)；以及圖像疊加單元，用于通過在輸入圖像上疊加根據(jù)信息生成單 元生成的動畫數(shù)據(jù)的動畫生成輸出圖像。信息生成單元可以根據(jù)環(huán)境地圖表示的真實空間中物理對象的位置確定動畫的 運動。信息生成單元可以根據(jù)通信方的位置確定動畫的移動方向。信息生成單元可以根據(jù)通信的速率確定動畫的運動或動畫的類型。通信是可以無線通信，以及，信息生成單元可以根據(jù)通信中無線電信號的接收電 平來確定動畫的運動或動畫的類型。信息生成單元可以根據(jù)通信是否成功來改變動畫的運動。信息生成單元可以根據(jù)通過通信實現(xiàn)的通信業(yè)務(wù)的類型確定動畫的運動或動畫 的類型。動畫可以是表示虛擬角色的動畫。圖像處理設(shè)備還可以包括檢測單元，用于基于輸入圖像和特征數(shù)據(jù)動態(tài)地檢測成 像設(shè)備在真實空間中的位置，并且可以根據(jù)檢測單元檢測的成像設(shè)備在真實空間中的位置 計算在輸入圖像中疊加動畫的位置。根據(jù)本發(fā)明的另一個實施例，提供了一種圖像處理設(shè)備中的圖像處理方法，圖像 處理設(shè)備包括其中存儲有特征數(shù)據(jù)的存儲介質(zhì)，特征數(shù)據(jù)表示一個或者更多個物理對象的 外觀特征，所述方法包括以下步驟獲取通過使用成像設(shè)備對真實空間進行成像獲得的輸 入圖像；基于輸入圖像和特征數(shù)據(jù)建立環(huán)境地圖，環(huán)境地圖表示真實空間中存在的物理對 象的位置；使用環(huán)境地圖來生成用于在屏幕上顯示經(jīng)由通信接口的通信的狀態(tài)的動畫數(shù) 據(jù)；以及通過在輸入圖像上疊加根據(jù)動畫數(shù)據(jù)的動畫生成輸出圖像。根據(jù)本發(fā)明的另一個實施例，提供了一種程序，用于使得控制圖像處理設(shè)備的計 算機功能如下，其中圖像處理設(shè)備包括其中存儲有特征數(shù)據(jù)的存儲介質(zhì)，特征數(shù)據(jù)表示一 個或者更多個物理對象的外觀特征環(huán)境地圖建立單元，用于基于通過使用成像設(shè)備對真 實空間進行成像獲得的輸入圖像以及特征數(shù)據(jù)建立環(huán)境地圖，環(huán)境地圖表示真實空間中存 在的物理對象的位置；信息生成單元，用于使用環(huán)境地圖建立單元建立的環(huán)境地圖來生成 用于在屏幕上顯示經(jīng)由通信接口的通信的狀態(tài)的動畫數(shù)據(jù)；以及圖像疊加單元，用于通過 在輸入圖像上疊加根據(jù)信息生成單元生成的動畫數(shù)據(jù)的動畫生成輸出圖像。如上所述，根據(jù)本發(fā)明的實施例中的圖像處理設(shè)備、圖像處理方法、以及程序，可 以如同執(zhí)行涉及真實空間中的實體的通信一樣顯示用戶使用的通信手段中通信的狀態(tài)。


圖1是示出了根據(jù)實施例的圖像處理設(shè)備的示意圖；圖2是示出了可以在圖1中所示的環(huán)境中獲取的輸入圖像的示例的說明圖；圖3是示出了圖像處理設(shè)備的另一個示例的示意圖4是示出了根據(jù)實施例的圖像處理設(shè)備的配置示例的框圖；圖5是示出了根據(jù)實施例的自身位置檢測處理的流程示例的流程圖；圖6是示出了對象上設(shè)置的特征點的說明圖；圖7是示出了特征點的添加的說明圖；圖8是示出了預測模型的示例的說明圖；圖9是示出了特征數(shù)據(jù)的配置示例的說明圖；圖10是示出了根據(jù)實施例的對象識別處理的流程示例的流程圖；圖11是示出了通信業(yè)務(wù)與每個通信業(yè)務(wù)中的狀態(tài)之間的對應(yīng)的示例的示例圖；圖12是示出了根據(jù)實施例的動畫數(shù)據(jù)生成處理的流程示例的流程圖；圖13是示出了根據(jù)實施例的信息生成單元所進行的動畫類型確定的說明圖；圖14是示出了根據(jù)實施例的信息生成單元所進行的動畫起點和終點確定的說明 圖；圖15是示出了根據(jù)實施例的信息生成單元可以確定的動畫路線的第一示例的說 明圖；圖16是示出了根據(jù)實施例的信息生成單元可以確定的動畫路線的第二示例的說 明圖；圖17是示出了根據(jù)實施例的信息生成單元所進行的根據(jù)通信速率或接收電平的 動畫改變的說明圖；圖18是示出了根據(jù)實施例的圖像處理設(shè)備輸出的輸出圖像的第一示例的說明 圖；圖19是示出了根據(jù)實施例的圖像處理設(shè)備輸出的輸出圖像的第二示例的說明 圖；以及圖20是示出了通用計算機的硬件配置的示例的框圖。
具體實施例方式在下文中，將參照附圖詳細描述本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖 中，功能和結(jié)構(gòu)基本上相同的結(jié)構(gòu)元件用相同的參考標號表示，并略去了對這些結(jié)構(gòu)元件 的重復說明。另外，將按如下次序描述“具體實施方式
”。1.圖像處理設(shè)備的概述2.根據(jù)實施例的圖像處理設(shè)備的配置2-1.成像單元2-2.環(huán)境地圖生成單元2-3.輸出圖像生成單元2-4.輸出圖像的示例3.硬件配置的示例4.應(yīng)用示例5.結(jié)論<1.圖像處理設(shè)備的概述〉
圖1是示出了根據(jù)本發(fā)明的實施例的圖像處理設(shè)備的概況的示意圖。在圖1中， 示出了環(huán)境1作為根據(jù)本發(fā)明的實施例的圖像處理設(shè)備100所在的真實空間。參照圖1，桌子11、咖啡杯12、碗柜13、無線接入點(AP) 14、窗口 15、以及圖像處理 設(shè)備100存在于環(huán)境1中。桌子11安裝在作為環(huán)境1的底部的地板上?？Х缺?2和圖像 處理設(shè)備100位于桌子11上。碗柜13沿著環(huán)境1的墻壁安裝在地板上。無線AP 14位于 碗柜13上。窗口 15安裝在環(huán)境1的墻壁上。圖像處理設(shè)備100使用成像設(shè)備102對作為示例的這種環(huán)境1進行成像并獲取一 組輸入圖像。根據(jù)將在后面描述的實施例，圖像處理設(shè)備100使用屏幕104顯示通過在獲 取的輸入圖像上疊加信息而生成的輸出圖像。圖像處理設(shè)備100還包括通信接口 182。上 述輸出圖像例如是用于向用戶呈現(xiàn)經(jīng)由通信接口 182的通信的狀態(tài)的圖像。圖2是示出了作為示例的、使用成像設(shè)備102通過圖像處理設(shè)備100獲取的輸入 圖像106的說明圖。參照圖2，在輸入圖像106中示出了圖1中所示的環(huán)境1中存在的桌子 11、咖啡杯12、碗柜13、無線AP 14、以及窗口 15。雖然在圖1中示出了個人計算機(PC)作為圖像處理設(shè)備100的示例，但圖像處理 設(shè)備100不限于這一示例。例如，如圖3中所示，圖像處理設(shè)備100可以是包括成像設(shè)備和 顯示設(shè)備的移動電話終端。另外，圖像處理設(shè)備100可以在其中具有成像設(shè)備和顯示設(shè)備， 或者可以從外部連接到這些設(shè)備。另外，成像設(shè)備和顯示設(shè)備可以實現(xiàn)為放置到用戶頭部 的頭戴顯示器。將在下一部分中詳細描述本部分中描述的圖像處理設(shè)備100的配置的示 例。<2.根據(jù)實施例的圖像處理設(shè)備的配置〉圖4是示出了根據(jù)本發(fā)明的實施例的圖像處理設(shè)備100的配置示例的框圖。參照 圖4，圖像處理設(shè)備100包括成像單元102、環(huán)境地圖生成單元110、以及輸出圖像生成單元 180。[2-1.成像單元]成像單元102例如可以實現(xiàn)為具有諸如電荷耦合器件(CXD)或互補金屬氧化物半 導體(CM0Q等成像元件的成像設(shè)備。成像單元102可以設(shè)置在圖像處理設(shè)備100外部。成 像單元102把通過對諸如圖1中示出的環(huán)境1的真實空間進行成像獲取的圖像輸出到環(huán)境 地圖生成單元110和輸出圖像生成單元180作為輸入圖像。[2-2.環(huán)境地圖生成單元]環(huán)境地圖生成單元110基于第一存儲單元130中存儲的后面將要描述的對象的特 征數(shù)據(jù)以及從成像單元102輸入的輸入圖像，生成表示例如真實空間中存在的一個或者更 多個物理對象的位置的環(huán)境地圖。如圖4中所示，在此實施例中，環(huán)境地圖生成單元110包 括自身位置檢測單元120、第一存儲單元130、圖像識別單元140、環(huán)境地圖建立單元150和 環(huán)境地圖存儲單元152。(1)自身位置檢測單元自身位置檢測單元120基于第一存儲單元130中存儲的特征數(shù)據(jù)以及從成像單 元102輸入的輸入圖像，動態(tài)地檢測對輸入圖像進行成像的成像設(shè)備的位置。例如，即 使在成像設(shè)備具有單目攝像機的情形中，自身位置檢測單元120也可以通過應(yīng)用Andrew J.Davison‘ s，“Real—TimeSimultaneous Localization and Mapping with a SingleCamera,"Proceedings of the 9th IEEE International Conference on ComputerVision Volume 2，2003，第1403至1410頁中公開的SLAM技術(shù)針對每個幀確定攝像機的位置和姿 態(tài)以及攝像機的成像平面上特征點(FP)的位置。首先，將參照圖5描述應(yīng)用了 SLAM技術(shù)的自身位置檢測單元120中的自身位置檢 測處理的整體流程。接下來，將參照圖6至圖8詳細描述自身位置檢測處理。圖5是示出了應(yīng)用了 SLAM技術(shù)的自身位置檢測單元120中的自身位置檢測處理 的流程示例的流程圖。在圖5中，當自身位置檢測處理開始時，自身位置檢測單元120首先 初始化狀態(tài)變量(步驟S102)。在此實施例中，狀態(tài)變量是包括攝像機的位置和姿態(tài)(旋轉(zhuǎn) 角度)、攝像機的移動速度和角速度以及一個或更多個FP的位置作為元素的向量。自身位 置檢測單元120從成像單元102按順序獲取輸入圖像(步驟SlU)。可以對每個輸入圖像 (即，每個幀)重復步驟Sl 12至步驟Sl 18的處理。在步驟S114中，自身位置檢測單元120跟蹤輸入圖像中呈現(xiàn)的FP。例如，自身位置 檢測單元120從輸入圖像中檢測預先存儲在第一存儲單元130中的每個FP的區(qū)塊(patch) (例如FP周圍3X3 = 9個像素的小圖像)。后面使用這里檢測的區(qū)塊的位置、即FP的位 置更新狀態(tài)變量。在步驟S116中，自身位置檢測單元120基于給定的預測模型生成例如下一幀的狀 態(tài)變量的預測值。另外，在步驟S118中，自身位置檢測單元120使用步驟S116中生成的狀 態(tài)變量的預測值以及根據(jù)步驟S114中檢測的FP的位置的觀測值更新狀態(tài)變量。自身位置 檢測單元120基于擴展卡爾曼濾波器的原理執(zhí)行步驟S116和S118中的處理。作為這種處理的結(jié)果，輸出針對每個幀更新后的狀態(tài)變量的值。在下文中，將更 具體地描述跟蹤FP (步驟S114)、狀態(tài)變量的預測(步驟S116)以及更新狀態(tài)變量(步驟 S118)的各個處理的內(nèi)容。(I-I)FP 的跟蹤在此實施例中，第一存儲單元130預先存儲表示可以存在于真實空間中的物理對 象所對應(yīng)的對象的特征的特征數(shù)據(jù)。特征數(shù)據(jù)包括小圖像，即關(guān)于一個或更多個FP的區(qū) 塊，每一個例如代表每個對象的外觀特征。區(qū)塊例如可以是由FP周圍3X3 = 9個像素組 成的小圖像。圖6示出了對象的兩個示例以及每個對象上設(shè)置的FP和區(qū)塊的示例。圖6中左 邊的對象是表示碗柜的對象(見圖6a)。在對象上設(shè)置包括特征點FPl的多個FP。另外， 把區(qū)塊Pthl定義成與特征點FPl相關(guān)聯(lián)。另一方面，圖6中右邊的對象是表示日歷的對象 (見圖6b)。在對象上設(shè)置包括特征點FP2的多個FP。此外，把區(qū)塊Pth2定義成與特征點 FP2相關(guān)聯(lián)。當從成像單元102獲取了輸入圖像時，自身位置檢測單元120將輸入圖像中包括 的部分圖像與第一存儲單元130中預先存儲的圖6中示出的每個FP的區(qū)塊進行匹配。隨 后自身位置檢測單元120指定輸入圖像中包括的每個FP的位置(例如檢測區(qū)塊的中心像 素的位置)作為匹配的結(jié)果。此外，在FP的跟蹤(圖5中的步驟S114)過程中，可以不預先在第一存儲單元130 中存儲關(guān)于要跟蹤的所有FP的數(shù)據(jù)。例如，在圖7的示例中在時間T = t-Ι處在輸入圖像 中檢測到六個FP (見圖7a)。接下來，當攝像機的位置或姿態(tài)在時間T = t處改變時，輸入圖像中只呈現(xiàn)在時間T = t-Ι處在輸入圖像中呈現(xiàn)的六個FP中的兩個FP。在此情形中，自 身位置檢測單元120可以在呈現(xiàn)輸入圖像的特性像素模式的位置中新設(shè)置FP以及在后續(xù) 幀的自身位置檢測處理中使用新FP。例如，在圖7中所示的示例中，在時間T = t處在對象 上設(shè)置四個新FP(見圖7b)。這是SLAM技術(shù)的特性，相應(yīng)地，使用大量添加的FP可以降低 預先設(shè)置所有FP的成本并且可以提高處理的準確性。(1-2)狀態(tài)變量的預測在該實施例中，自身位置檢測單元120使用下式中所示的狀態(tài)變量X作為要應(yīng)用 于擴展卡爾曼濾波器的狀態(tài)變量。[式1]
權(quán)利要求
1.一種圖像處理設(shè)備，包括數(shù)據(jù)存儲單元，其中存儲有特征數(shù)據(jù)，所述特征數(shù)據(jù)表示一個或更多個物理對象的外 觀特征；環(huán)境地圖建立單元，用于基于通過使用成像設(shè)備對真實空間進行成像獲得的輸入圖像 以及所述數(shù)據(jù)存儲單元中存儲的所述特征數(shù)據(jù)建立環(huán)境地圖，所述環(huán)境地圖代表所述真實 空間中存在的物理對象的位置；信息生成單元，用于使用所述環(huán)境地圖建立單元建立的所述環(huán)境地圖生成用于在屏幕 上顯示經(jīng)由通信接口的通信的狀態(tài)的動畫數(shù)據(jù)；以及圖像疊加單元，用于通過在所述輸入圖像上疊加根據(jù)所述信息生成單元生成的動畫數(shù) 據(jù)的動畫來生成輸出圖像。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述信息生成單元根據(jù)所述環(huán)境地圖代表的真實空間中物理對象的位置來確定 所述動畫的運動。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述信息生成單元根據(jù)通信方的位置確定所述動畫的移動方向。
4.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述信息生成單元根據(jù)通信的速率確定所述動畫的運動或所述動畫的類型。
5.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述通信是無線通信，以及所述信息生成單元根據(jù)所述通信中無線電信號的接收電平來確定所述動畫的運動或 所述動畫的類型。
6.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述信息生成單元根據(jù)所述通信是否成功來改變所述動畫的運動。
7.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述信息生成單元根據(jù)通過所述通信實現(xiàn)的通信服務(wù)的類型來確定所述動畫的 運動或所述動畫的類型。
8.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述動畫是代表虛擬角色的動畫。
9.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述圖像處理設(shè)備還包括檢測單元，用于基于所述輸入圖像和所述特征數(shù)據(jù)動 態(tài)地檢測所述成像設(shè)備在所述真實空間中的位置，以及根據(jù)所述檢測單元檢測出的所述成像設(shè)備在所述真實空間中的位置來計算所述輸入 圖像中疊加所述動畫的位置。
10.一種圖像處理設(shè)備中的圖像處理方法，所述圖像處理設(shè)備包括其中存儲有特征數(shù) 據(jù)的存儲介質(zhì)，所述特征數(shù)據(jù)表示一個或更多個物理對象的外觀特征，所述方法包括以下 步驟獲取通過使用成像設(shè)備對真實空間進行成像獲得的輸入圖像；基于所述輸入圖像和所述特征數(shù)據(jù)建立環(huán)境地圖，所述環(huán)境地圖代表所述真實空間中 存在的物理對象的位置；使用所述環(huán)境地圖生成用于在屏幕上顯示經(jīng)由通信接口的通信的狀態(tài)的動畫數(shù)據(jù)；以及通過在所述輸入圖像上疊加根據(jù)所述動畫數(shù)據(jù)的動畫來生成輸出圖像。
11. 一種程序，用于使得控制圖像處理設(shè)備的計算機運行如下，其中所述圖像處理設(shè)備 包括其中存儲有特征數(shù)據(jù)的存儲介質(zhì)，所述特征數(shù)據(jù)表示一個或更多個物理對象的外觀特 征環(huán)境地圖建立單元，用于基于通過使用成像設(shè)備對真實空間進行成像獲得的輸入圖像 以及所述特征數(shù)據(jù)建立環(huán)境地圖，所述環(huán)境地圖代表所述真實空間中存在的物理對象的位 置；信息生成單元，用于使用所述環(huán)境地圖建立單元建立的所述環(huán)境地圖生成用于在屏幕 上顯示經(jīng)由通信接口的通信的狀態(tài)的動畫數(shù)據(jù)；以及圖像疊加單元，用于通過在所述輸入圖像上疊加根據(jù)所述信息生成單元生成的動畫數(shù) 據(jù)的動畫來生成輸出圖像。
全文摘要
本發(fā)明提供了一種圖像處理設(shè)備、圖像處理方法以及程序。所述圖像處理設(shè)備包括數(shù)據(jù)存儲單元，其中存儲有特征數(shù)據(jù)，特征數(shù)據(jù)表示一個或更多個物理對象的外觀特征；環(huán)境地圖建立單元，用于基于通過使用成像設(shè)備對真實空間進行成像獲得的輸入圖像以及數(shù)據(jù)存儲單元中存儲的特征數(shù)據(jù)建立環(huán)境地圖，環(huán)境地圖代表真實空間中存在的物理對象的位置；信息生成單元，用于使用環(huán)境地圖建立單元建立的環(huán)境地圖來生成用于在屏幕上顯示經(jīng)由通信接口的通信的狀態(tài)的動畫數(shù)據(jù)；以及圖像疊加單元，用于通過在輸入圖像上疊加根據(jù)信息生成單元生成的動畫數(shù)據(jù)的動畫生成輸出圖像。
文檔編號G06T13/00GK102142081SQ201110031430
公開日2011年8月3日 申請日期2011年1月26日 優(yōu)先權(quán)日2010年2月2日
發(fā)明者周藤泰廣, 多井堅一郎, 松田晃一, 福地正樹, 郭晶晶 申請人:索尼公司