專利名稱：圖像處理設備、圖像處理方法和程序的制作方法
技術領域：
本公開文件涉及圖像處理設備、圖像處理方法和程序。
背景技術：
近年來，一種稱作增強現實(AR)的技術贏得了關注，該技術將附加信息疊加到真實世界并將其呈現給用戶。在AR技術中要呈現給用戶的信息可以通過利用各種類型的虛擬對象來可視化。例如，在利用AR技術以使注意力集中于真實世界中的對象的情況下，用于使注意力集中于該對象的虛擬對象(例如，記號)可以被疊加到真實世界的對象上(或 該對象周圍)等并且可以顯示該虛擬對象。用戶可以通過觀看虛擬對象而將他/她的注意力轉向需要關注的對象。需要關注的對象可以是例如公告、廣告等?？梢曰谕ㄟ^成像設備捕獲真實世界而獲得的捕獲圖像來識別這樣的對象。此處，不是在所有時間都使用同一識別方法作為對象識別的方法，而可以根據情況適當地改變識別方法。例如，披露了以下技術，通過評估對象識別的精確性并且例如基于評估結果修改識別所使用的參數或改變識別算法來增大對象識別的精確性(例如，參見JP2001-175860A)。

發(fā)明內容
然而，到目前為止沒有披露給予用戶關于使用了哪種識別方法的反饋的技術。各識別方法在處理成本或能達到的精確性方面有所不同。相應地，如果給予用戶關于識別方法的反饋，則尤其在存在可能使用的多種識別方法的情況下有用。作為一個示例，用戶可以基于該反饋來判斷當前顯示的虛擬對象的位置或姿態(tài)、或者所呈現的信息內容的可靠性。作為另一示例，用戶根據該反饋可以等待直到可以預期具有高識別精確性的識別方法變得可用為止，然后對虛擬對象進行操作。因此，希望實現以下技術，該技術能夠容易地給予用戶關于對象識別時所使用的識別方法的反饋。根據本公開文件的實施例，提供了一種圖像處理設備，該圖像處理設備包括圖像獲取單元，用于獲取輸入圖像；選擇單元，用于從多種識別方法中選擇輸入圖像中示出的對象的識別方法；識別單元，用于利用選擇單元所選擇的識別方法來識別輸入圖像中示出的對象；以及顯示控制單元，用于將與識別單元識別出的對象相關聯的虛擬對象疊加到輸入圖像上并顯示虛擬對象。顯示控制單元根據選擇單元所選擇的識別方法來改變虛擬對象的顯不。如上所述，根據本公開文件，可以容易地給予用戶關于在對象識別時所使用的識別方法的反饋。


圖I是用于描述根據本公開文件的實施例的圖像處理設備的概況的示圖；圖2是示出根據該實施例的圖像處理設備的硬件配置的框圖3是示出控制單元所實現的功能的結構的示例的框圖；圖4是用于描述從多種識別方法中選擇識別方法的功能的示圖；圖5是示出控制單元所實現的功能的結構的另一示例的框圖；圖6是用于描述關于多種識別方法的第一示例的示圖；圖7是用于描述關于多種識別方法的第二示例的示圖；圖8是用于描述關于多種識別方法的第三示例的示圖；圖9是示出對象的識別處理的流程的流程圖；圖10是示出根據所選擇的識別方法的虛擬對象的示例性顯示的示圖；圖11是示出根據所選擇的識別方法的虛擬對象的示例性顯示的示圖；以及圖12是示出輸出圖像的顯示控制處理的流程的流程圖。
具體實施例方式在下文中，將參照附圖來詳細描述本公開文件的優(yōu)選實施例。要注意，在本說明書和附圖中，用相同的參考標號來標示基本具有相同的功能和配置的結構元件，并且省略對這些結構元件的重復闡述。此外，將按照下述順序來給出闡述。I.圖像處理設備的概況2.示例性硬件配置3.信息處理設備的功能3-1.圖像獲取單元3-2.檢測單元3-3.選擇單元3-4.識別單元3-5.識別處理的流程3-6.顯示控制單元3-7.顯示控制處理的流程4.總結〈I.圖像處理設備的概況〉圖I是用于描述根據本公開文件的實施例的圖像處理設備的概況的示圖。在圖I中示出了具有根據本公開文件的實施例的圖像處理設備100的用戶所存在的真實空間I。參照圖1，對象Obj存在于真實空間I內。對象Obj是例如用戶應當關注的對象，并且如圖I所示通常是表示目的地等的位置的標記，但是對象Obj也可以是給產品或事件做廣告的廣告等或者其他對象。此外，在圖I所示的示例中，對象Obj被安裝在墻上，但是對象Obj也可以被安裝在天花板、地板等上。此外，真實空間I不限于圖I所示的示例，而、可以是室內環(huán)境或室外環(huán)境。圖像處理設備100捕獲真實空間的內部并執(zhí)行稍后描述的根據本實施例的圖像處理。在圖I中，攝像機被示出為圖像處理設備100的示例，但是圖像處理設備100不限于這樣的示例。例如，圖像處理設備100可以是能夠從成像裝置如攝像機獲取圖像的信息處理設備，如個人電腦(PC)、移動終端或數碼家電。此外，圖像處理設備100不一定如圖I所示的那樣被用戶手持。例如，圖像處理設備可以被固定地安裝在任意位置，或者可以被安裝在用相機作為視覺的機器人等中。當所捕獲的圖像被當作輸入圖像并且圖像處理設備100基于該輸入圖像識別出對象Obj時，與識別出的對象Obj相關聯的虛擬對象可以被疊加在輸入圖像上并被顯示。虛擬對象是例如用于將注意力集中于所識別出的對象Obj的虛擬對象(例如，記號)，并且可以被疊加在輸入圖像中的對象Obj等上(或被疊加在對象Obj的外圍上)。通過觀看虛擬對象，用戶可以將他/她的注意力集中于需要關注的對象Obj。不是在所有時間都使用同一識別方法作為對象識別方法，而可以根據情況適當地改變識別方法。根據本公開文件的實施例的圖像處理設備100能夠通過以下部分詳細描述的機制來使用戶感知對象識別方法。<2.硬件配置的示例>
圖2是示出根據本公開文件的實施例的圖像處理設備100的硬件配置的示例的框圖。參照圖2，圖像處理設備100包括成像單元102、傳感器單元104、輸入單元106、存儲單元108、顯示單元112、連接端口 114、總線116和控制單元118。(成像單元)成像單元102是與例如成像裝置對應的相機模塊。成像單元102通過利用圖像傳感器如CCD (電荷耦合器件)或CMOS (互補金屬氧化物半導體)捕獲真實空間I來生成捕獲的圖像。在本公開文件的該實施例中成像單元102被假設為圖像處理設備100的一部分，但是成像單元102也可以與圖像處理設備100單獨配置。(傳感器單元) 傳感器單元104是一組用于支持對圖像處理設備100的位置和姿態(tài)(attitude)(成像單元102的位置和姿態(tài))的識別的傳感器。例如，傳感器單元104可以包括GPS傳感器，GPS傳感器接收GPS (全球定位系統(tǒng))信號并測量圖像處理設備100的緯度、經度和海拔。此外，傳感器單元104可以包括定位傳感器，定位傳感器基于從無線接入點接收到的無線電信號的強度來測量圖像處理設備100的位置。此外，傳感器單元104可以包括測量圖像處理設備100的傾角的回轉儀傳感器、測量三軸(three-axis)加速度的加速度傳感器、或測量方位的地磁傳感器。此外，在圖像處理設備100具有基于圖像識別的位置估計功能和姿態(tài)估計功能的情況下，在圖像處理設備100的配置中可以省略傳感器單元104。(輸入單元)輸入單元106是用戶用來操作圖像處理設備100或將信息輸入到圖像處理設備100的輸入裝置。輸入單元106可以包括例如鍵盤、小鍵盤、鼠標、按鈕、開關或觸摸面板。輸入單元106可以包括姿勢識別模塊，姿勢識別模塊識別在輸入圖像中示出的用戶的姿勢。此外，輸入單元106可以包括視線檢測模塊，視線檢測模塊檢測佩戴頭戴顯示器(HMD)的用戶的視線作為用戶輸入。(存儲單元)存儲單元108通過利用存儲介質如半導體存儲器或硬盤來存儲圖像處理設備100進行的處理所使用的程序和數據。例如，存儲單元108存儲從成像單元102輸出的圖像數據以及從傳感器單元104輸出的傳感器數據。此外，存儲單元108存儲用于對象識別的特征詞典和虛擬對象數據，虛擬對象數據是作為顯示目標的虛擬對象的數據。此外，存儲單元108存儲作為對象識別的結果而生成的識別結果。(顯示單元)顯示單元112是由IXD(液晶顯示器)、OLED(有機發(fā)光二極管)、CRT(陰極射線管)等配置的顯示模塊。輸出圖像(輸出圖像是由圖像處理設備100疊加了虛擬對象的輸入圖像)被顯示在顯示單元112的屏幕上。顯示單元112可以是圖像處理設備100的一部分，或者可以與圖像處理設備100單獨地配置。此外，顯示單元112可以是用戶佩戴的HMD。(連接端口)連接端口 114是用于將圖像處理設備100連接到外圍裝置或網絡的端口。例如，可拆卸介質可以連接到連接端口 114作為附加存儲介質。此外，有線或無線通信接口可以連接到連接端口 114。例如，圖像處理設備100由此能夠從網絡上的服務器獲取圖像。
(總線)總線116將成像單元102、傳感器單元104、輸入單元106、存儲單元108、顯示單元112、連接端口 114和控制單元118互連起來。(控制單元)控制單元118與處理器對應，處理器例如CPU(中央處理單元)、DSP (數字信號處理器)等。控制單元118通過執(zhí)行存儲在存儲單元108或其他存儲介質中的程序而使得稍后描述的圖像處理設備100操作各種功能。<3.信息處理設備的功能>圖3是示出圖2所示的圖像處理設備100的控制單元118所實現的功能的結構的示例的框圖。參照圖3,控制單元118包括圖像獲取單元120、檢測單元130、選擇單元140、識別單元150和顯示控制單元160。[3-1.圖像獲取單元]圖像獲取單元120獲取示出了利用成像單元102 (或其他成像裝置)捕獲的真實空間的輸入圖像。輸入圖像是示出虛擬對象放置在真實空間中的位置的圖像或是示出對象的圖像。圖像獲取單元120將獲取到的輸入圖像輸出到檢測單元130和顯示控制單元160。可替換地，如稍后描述的，圖像獲取單元120不一定將獲取到的輸入圖像輸出到檢測單元130。例如，在成像單元102(或其他成像裝置)連續(xù)地捕獲真實空間的情況下，圖像獲取單元120可以連續(xù)地獲取輸入圖像。[3-2.檢測單元]檢測單元130檢測與從圖像獲取單元120輸入的輸入圖像中示出的對象的運動有關的參數。例如，檢測單元130檢測到的參數是與圖像處理設備100和輸入圖像中示出的對象之間的相對移動的量對應的參數。例如,檢測單元130可以通過光學流程(opticalflow)等來獲取輸入圖像中的每個區(qū)域中的移動量，并計算每個區(qū)域中的移動量的總和作為相對移動量。例如，可以用向量表達移動量。例如，可以預先確定輸入圖像的每個區(qū)域。例如，輸入圖像的每個區(qū)域可以是整個輸入圖像中的一塊(像素集合)、或者整個輸入圖像中的一個像素?？商鎿Q地，可以不必預先確定輸入圖像的每個區(qū)域。例如，檢測單元130還可以通過光學流程等獲取輸入圖像中所示的對象的移動量，并計算對象的移動量作為相對移動量。作為光學流程，例如，可以采用諸如塊匹配方法或梯度方法的方法。
[3-3.選擇單元]圖4是用于描述從多種識別方法中選擇識別方法的功能的示圖。將參照圖4來描述在存在用于識別對象的多種方法的情況下，從多種識別方法中選擇輸入圖像中所示的對象的識別方法的功能。選擇單元140可以從多種識別方法中選擇至少一種識別方法。在檢測單元130檢測到的參數表示在輸入圖像中沒有示出以超過預定水平的水平而移動的對象的情況下，選擇單元140選擇具有更高處理成本的識別方法。例如，假設如下情況，圖像獲取單元120獲取到的輸入圖像從圖像ImOA轉變到圖像ImlA。在該情況下，由于檢測單元130計算出的移動量不超過預定的移動量，因而選擇單元140可以確定該參數表示在輸入圖像中沒有示出以超過預定水平的水平而移動的對象。另一方面，在檢測單元130檢測到的參數表示在輸入圖像中示出以超過預定水平的水平而移動的對象的情況下，選擇單元140選擇具有更低處理成本的識別方法。例如，假設如下情況，圖像獲取單元120獲取到的輸入圖像從圖像ImOA轉變到圖像ImlA’。在該情況下，由于檢測單元130計算出的移動量超過預定的移動量,選擇單元140可以確定該參數 表示在輸入圖像中示出以超過預定水平的水平而移動的對象。選擇單元140將所選擇的識別方法輸出到識別單元150和顯示控制單元160。此夕卜，諸如“具有更高處理成本的識別方法”和“具有更低處理成本的識別方法”的表述僅僅表達了處理成本相對于相對關系的相對高或低，而不表示處理成本的絕對高或低。即，它表示，當比較兩個處理成本時,一個處理成本高于另一個處理成本。通過以該方式選擇識別方法，可以根據參數來改變用于對象識別的處理成本。例如，在輸入圖像中示出以超過預定水平的水平而移動的對象的情況下，假設輸入圖像非常模糊(輸入圖像相對不清楚)，相比于對象識別的精度而言，將重點更多地放在用于對象識別的處理速度上。然后，選擇單元140將選擇具有更低處理成本的識別方法。另一方面，例如，在輸入圖像中沒有示出以超過預定水平的水平而移動的對象的情況下，假設輸入圖像不太模糊(輸入圖像相對清楚)，則相比于用于對象識別的處理速度而言，將重點更多地放在對象識別的精度上。然后，選擇單元140將選擇具有更高處理成本的識別方法。圖5是示出圖2所示的圖像處理設備100的控制單元118所實現的功能的結構的另一示例的框圖。將參照圖5來描述在存在多種用于識別對象的多種方法的情況下，從多種識別方法中選擇輸入圖像中示出的對象的識別方法的功能的另一示例。如上所述，檢測單元130檢測與從圖像獲取單元120輸入的輸入圖像中示出的對象的運動有關的參數。例如，檢測單元130檢測到的參數是與圖像處理設備100的絕對移動的量對應的參數。在該情況下，檢測單元130可以檢測傳感器單元104檢測到的傳感器數據作為圖像處理設備100的絕對移動量。此外，如上所述，在檢測單元130檢測到的參數表示在輸入圖像中沒有示出以超過預定水平的水平移動的對象的情況下，選擇單元140選擇具有更高處理成本的識別方法。例如，在過去檢測到的多條傳感器數據的平均值和當前檢測到的傳感器數據的值之間的差超過預定值的情況下，可以確定該參數表示在輸入圖像中沒有示出以超過預定水平的水平而移動的對象?？商鎿Q地，在過去檢測到的傳感器數據的值和當前檢測到的傳感器數據的值之間的差超過預定值的情況下，也可以確定該參數表示在輸入圖像中沒有示出以超過預定水平的水平而移動的對象。另一方面，如上所述，在檢測單元130檢測到的參數表示在輸入圖像中示出以超過預定水平的水平而移動的對象的情況下，選擇單元140選擇具有更低處理成本的識別方法。例如，在過去檢測到的多條傳感器數據的平均值和當前檢測到的傳感器數據的值之間的差不超過預定值的情況下，可以確定該參數表示在輸入圖像中示出以超過預定水平的水平而移動的對象?？商鎿Q地，在過去檢測到的傳感器數據的值和當前檢測到的傳感器數據的值之間的差不超過預定值的情況下，也可以確定該參數表示在輸入圖像中示出以超過預定水平的水平而移動的對象。[3-4.識別單元] 識別單元150通過利用選擇單元140所選擇的識別方法來識別輸入圖像中示出的對象。識別單元150可以通過將從輸入圖像中提取的每個特征與特征詞典進行核對來識別輸入圖像中示出的對象，特征詞典是已知對象圖像的特征的集合。例如，在特征詞典中存在與從輸入圖像中提取的特征相匹配的特征的情況下，識別單元150可以通過獲取與該特征相關聯的對象ID以及該對象的位置和姿態(tài)來識別該對象。此處使用的特征詞典可以被預先存儲在存儲單元108中，或者可以從另一裝置傳送過來。此外，從輸入圖像中提取的特征的數量可以是一個或多個。例如，可以通過識別單元150來執(zhí)行從輸入圖像中提取每個特征的處理。特征詞典包括用于標識對象的對象ID和對象圖像的特征的組合，并且該組合的數量可以是一個或多個。在以下描述中，主要基于識別出對象Obj作為輸入圖像中示出的對象的示例來給出闡述，但是也可以識別輸入圖像中示出的多于一個的對象。識別單元150將識別結果輸出到顯示控制單元160。更具體地，例如，識別單元150根據任意已知方法如快速特征檢測方法來提取輸入圖像內的特征點。然后，識別單元150將檢測到的特征點與特征詞典中包括的對象的頂點進行核對。結果，識別單元150識別在輸入圖像中示出了哪個對象以及所識別出的每個對象被示出在哪個位置以及具有什么姿態(tài)。在所識別出的對象是包括在真實空間模型中的對象的情況下，在真實空間模型中示出對象的三維位置和姿態(tài)。在所識別出的對象是包括在對象模型中的對象的情況下，可以通過根據小孔模型(pinhole model)將對象在圖像平面上的一組頂點的二維位置轉換為真實空間中的三維位置來獲得對象的三維位置和姿態(tài)(例如，參見JP 2008-304268A)。在選擇單元140選擇具有更低處理成本的識別方法的情況下，識別單元150通過利用具有更低處理成本的識別方法來識別輸入圖像中示出的對象Obj。此外，在選擇單元140選擇具有更高處理成本的識別方法的情況下，識別單元150通過利用具有更高處理成本的識別方法來識別輸入圖像中示出的對象Obj。這兩種識別方法(具有更低處理成本的識別方法和具有更高處理成本的識別方法)的處理成本有所不同，這是因為用于從輸入圖像中提取特征的算法不同，或者因為要核對的數據量不同。在以下描述中，將主要基于因為要核對的數據量不同而導致兩個識別方法的處理成本不同的示例來給出闡述。圖6是用于描述與多種識別方法有關的第一示例的示圖。如圖6所示，在選擇單元140選擇具有更低處理成本的識別方法的情況下，例如，識別單元150可以減小輸入圖像ImlA的尺寸并從減小后的圖像ImlB中提取要與特征詞典進行核對的每個特征。然后，識別單元150可以通過將提取的每個特征與特征詞典進行核對來識別輸入圖像中示出的對象Obj0
另一方面，在選擇單元140選擇具有更高處理成本的識別方法的情況下，例如，識別單元150可以在不減小輸入圖像ImlA的尺寸的情況下從輸入圖像ImlA中提取要與特征詞典進行核對的每個特征。然后，識別單元150可以通過將提取的每個特征與特征詞典進行核對來識別輸入圖像中示出的對象Obj。如所描述的，在與多種識別方法有關的第一示例中，在選擇單元140選擇具有更低處理成本的識別方法(第一識別方法)的情況下，識別單元150可以從具有更小尺寸的圖像中提取每個特征。因此，在選擇單元140選擇具有更低處理成本的識別方法的情況下，因為要核對的數據量變得更小，所以識別單元150可以通過利用具有更低處理成本的識別方法來識別輸入圖像中示出的對象Obj。此外，此處假設識別方法150在選擇單元140選擇具有更低處理成本的識別方法的情況下減小輸入圖像ImlA的尺寸，但是在選擇單元140選擇具有更高處理成本的識別方法的情況下不減小輸入圖像ImlA的尺寸。然而，不限于這樣的示例，并且在選擇單元140選擇具有更低處理成本的識別方法的情況下，與選擇單元140選擇具有更高處理成本的識別方法時相比，可以從具有更小尺寸的圖像中提取每個特征。圖7是用于描述與多種識別方法有關的第二示例的示圖。如圖7所示，在選擇單元140選擇具有更低處理成本的識別方法的情況下，識別單元150可以從輸入圖像ImlA中提取每個特征，忽略所提取的每個特征的高頻分量以及特征詞典的高頻分量，并將每個特征與特征詞典進行核對。例如，在從輸入圖像ImlA中提取的每個特征和特征詞典的每個特征中，識別單元150截去作為高頻分量的超過預定頻率的部分。識別單元150可以基于這樣的核對來識別輸入圖像中示出的對象Obj。另一方面，在選擇單元140選擇具有更高處理成本的識別方法的情況下，識別單元150可以從輸入圖像ImlA中提取每個特征，并將所提取的每個特征與特征詞典進行核對。識別單元150可以基于這樣的核對來識別輸入圖像中示出的對象Obj。如所描述的，在關于多種識別方法的第二示例中，在選擇單元140選擇具有更低處理成本的識別方法(第二識別方法)的情況下，識別單元150可以在忽略每個特征的高頻分量的同時核對每個特征。相應地，在選擇單元140選擇具有更低處理成本的識別方法的情況下，因為要核對的數據量變得更小，所以識別單元150可以通過利用具有更低處理成本的識別方法來識別輸入圖像中示出的對象Obj。此外，此處假設在選擇單元選140擇具有更低處理成本的識別方法的情況下，識別單元150在忽略從輸入圖像ImlA中提取的每個特征和特征詞典的每個特征的高頻分量的同時執(zhí)行核對。然而，不限于這樣的示例，并且在選擇單元140選擇具有更低處理成本的識別方法的情況下，與選擇單元140選擇具有更高處理成本的識別方法時相比，可以從每個特征中截去更寬范圍的頻率分量。圖8是用于描述與多種識別方法有關的第三示例的示圖。如圖8所示，在選擇單元140選擇具有更低處理成本的識別方法的情況下，識別單元150可以從輸入圖像ImlA中提取每個特征，并將所提取的每個特征與具有更小的數據量的特征詞典進行核對。識別單元150可以通過這樣的核對來識別輸入圖像中示出的對象Obj。另一方面，在選擇單元140選擇具有更高處理成本的識別方法的情況下，識別單元150可以從輸入圖像ImlA中提取每個特征，并將所提取的每個特征與具有更大的數據量的特征詞典進行核對。識別單元150可以通過這樣的核對來識別輸入圖像中示出的對象Obj0如所描述的，在與多種識別方法有關的第三示例中，在選擇單元140選擇具有更低處理成本的識別方法(第三識別方法)的情況下，識別單元150可以用更小的數據量利用特征詞典執(zhí)行核對。此外，在選擇單元140選擇具有更低處理成本的識別方法的情況下， 因為要核對的數據量變得更小，識別單元150可以通過利用具有更低處理成本的識別方法來識別輸入圖像中示出的對象Obj。此外，諸如“具有更大的數據量的特征詞典”和“具有更小的數據量的特征詞典”的表述僅僅表達了特征詞典相對于相對關系的數據量的大小，而不表示數據量的絕對大小。即，它意味著，當比較兩個特征詞典的數據量時，一個特征詞典的數據量小于另一個特征詞典的數據量。[3-5.識別處理的流程]圖9是示出對象的識別處理的流程的流程圖。將參照圖9來描述對象的識別處理的流程。如圖9所示，首先，圖像獲取單元120獲取示出了利用成像單元102 (或其他成像裝置)所捕獲的真實空間的輸入圖像(SlOl)。此外，檢測單元130檢測與從圖像獲取單元120輸入的輸入圖像中示出的對象的運動有關的參數(S102)。接下來，選擇單元140分析該參數并確定處理成本(S103)。在確定要選擇具有更低處理成本的識別方法的情況下(S103 處理成本低”)，選擇單元140選擇具有更低處理成本的識別方法(S104)。另一方面，在確定要選擇具有更高處理成本的識別方法的情況下(S103 處理成本高”)，選擇單元140選擇具有更高處理成本的識別方法(S105)。然后，識別單元150利用選擇單元140所選擇的識別方法來識別輸入圖像中示出的對象(S106)。選擇單元140將所選擇的識別方法輸出到顯示控制單元160，并且識別單元150將識別結果輸出到顯示控制單元160(S107)?？刂茊卧?18返回以獲取輸入圖像(SlOl)，并且再次執(zhí)行從圖像獲取單元120進行的圖像獲取(SlOl)到識別方法和識別結果的輸出(S107)的處理。[3-6.顯示控制單元]顯示控制單元160將與識別單元150識別的對象相關聯的虛擬對象疊加到輸入圖像上并顯示疊加后的圖像。關于虛擬對象，例如，對象ID和虛擬對象數據相互關聯的數據被存儲在存儲單元108中。S卩，顯示控制單元160可以從存儲單元108中獲取與識別單元150獲取的對象ID相關聯的虛擬對象數據，并基于獲取到的虛擬對象數據來顯示虛擬對象。圖10和11是示出根據選擇單元140所選擇的識別方法來顯示的虛擬對象的示例性顯示的示圖。如圖10所示，顯示控制單元160可以將與識別單元150識別出的對象相關聯的虛擬對象疊加到輸入圖像ImlA上，并顯示疊加后的圖像。此外，顯示控制單元160可以在任意位置以任意姿態(tài)顯示該虛擬對象。例如，顯示控制單元160可以在識別單元150獲取到的對象位置處(或者在該對象的周圍)以識別單元150獲取到的姿態(tài)顯示該虛擬對象。例如，在選擇單元140選擇具有更低處理成本的識別方法的情況下，因為識別單元150利用具有更低處理成本的識別方法來識別輸入圖像ImlA中示出的對象Obj，所以顯示控制單元160可能減小虛擬對象的顯示清晰性。在圖10中所示的示例中，在時間tl，選擇單元140選擇具有更低處理成本的識別方法作為輸入圖像ImlA中示出的對象的識別方法，因而顯示控制單元160顯示不太清晰的虛擬對象VI。然后，如圖10所示，假設在時間t2用戶將圖像處理設備100的方向移動到左。在該情況下，預計選擇單元140會選擇具有更低處理成本的識別方法，從而使得顯示控制單元160能夠進一步減小虛擬對象的顯示清晰性。在圖10所示的示例中,在時間t2,選擇單元140選擇具有更低處理成本的識別方法作為輸入圖像Im2A中示出的對象的識別方法，因 而顯示控制單元160顯示不太清晰的虛擬對象V2。在選擇單元140選擇具有更低處理成本的識別方法的情況下，顯示控制單元160可能顯示虛擬對象的余像(afterimage)。在圖10所示的示例中，選擇單元140選擇具有更低處理成本的識別方法作為輸入圖像Im2A中示出的對象的識別方法，因而顯示控制單元160顯示虛擬對象Vl的余像。以該方式，通過使過去顯示的虛擬對象Vl的余像與虛擬對象V2 —起顯示,看到該余像的用戶可以反轉圖像處理設備100的方向并將對象Obj的顯示位置恢復到期望位置。然后，如圖11所示，假設在時間t3用戶將圖像處理設備100的方向移動到右。在該情況下，預計選擇單元140會選擇具有更低處理成本的識別方法，從而使得顯示控制單元160能夠進一步減小虛擬對象的顯示清晰性。在圖11所示的示例中，在時間t3,選擇單元140選擇具有更低處理成本的識別方法作為輸入圖像Im3A中示出的對象的識別方法，因而顯示控制單元160顯示不太清晰的虛擬對象V3。此外，也在時間t3，選擇單元140選擇具有更低處理成本的識別方法作為輸入圖像Im3A中示出的對象的識別方法，因而顯示控制單元160顯示虛擬對象V2的余像。以該方式，通過使在過去顯示的虛擬對象V2的余像與虛擬對象V3 —起顯示，看到該余像的用戶可以反轉圖像處理設備100的方向并將對象Obj的顯示位置恢復到期望位置。然后，如圖11所示，假設在時間t4用戶固定了圖像處理設備100的方向。在該情況下，預計選擇單元140會選擇具有更高處理成本的識別方法，從而使得顯示控制單元160能夠增大虛擬對象的顯示清晰性。在圖11所示的示例中，在時間t4,選擇單元140選擇具有更高處理成本的識別方法作為輸入圖像Im4A中示出的對象的識別方法，因而顯示控制單元160顯示更清晰的虛擬對象V4。如所描述的，顯示控制單元160可以根據選擇單元140所選擇的識別方法來改變虛擬對象的顯示。根據這樣的控制，用戶能夠感知到與虛擬對象相關聯的對象的識別方法。[3-7 顯示控制處理的流程]圖12是示出輸出圖像的顯示控制處理的流程的流程圖。將參照圖12來描述輸出圖像的顯示控制處理的流程。如圖12所示，首先顯示控制單元160從圖像獲取單元120獲取輸入圖像(S201)。此外，顯示控制單元160獲取選擇單元140輸出的識別方法和識別單元150輸出的識別結果(S202)。接下來，顯示控制單元160通過根據識別方法將與識別出的對象相關聯的虛擬對象疊加到輸入圖像上來生成輸出圖像(S203)。然后，顯示控制單元160顯示輸出圖像(S204)。控制單元118返回以獲取輸入圖像(S201)，并再次執(zhí)行從圖像獲取單元120進行的圖像獲取(S201)到將輸出圖像輸出(S204)的處理。<4.總結〉如上所述，根據本公開文件的實施例，圖像處理設備可以使得用戶能夠感知到與虛擬對象相關聯的對象的識別方法。從而用戶在觀看顯示的虛擬對象時能夠感知到例如以什么樣的處理成本水平執(zhí)行了與虛擬對象相關聯的對象的識別。如已描述的，例如，基于識別方法可以改變虛擬對象的清晰性。此外，根據本公開文件的實施例，圖像處理設備可以使過去顯示的虛擬對象的余像連同與當前識別的對象相關聯的虛擬對象一起顯示。從而看到余像的用戶可以反轉圖像處理設備的方向并將對象的顯示位置恢復到期望位置。 本領域技術人員應當理解到，只要各種修改、組合、子組合和替換處于所附權利要求及其等同物的范圍內，則可以取決于設計要求和其他因素來進行這些修改、組合、子組合和替換。例如，根據本說明書的圖像處理設備的處理步驟不一定根據流程圖描述的順序按照時間順序來進行。例如，也可以按照與流程圖描述的順序不同的順序來進行圖像處理設備的處理步驟，或者可以并行地進行圖像處理設備的處理步驟。此外，本說明書中描述的圖像處理設備所進行的控制處理系列可以通過利用軟件、硬件、或軟件和硬件的組合來實現。構成軟件的程序被預先存儲在設置在每個裝置內部或外部的存儲介質中。例如，在執(zhí)行時由RAM(隨即存取存儲器)讀取每個程序，并由處理器如CPU (中央處理單元)執(zhí)行每個程序。此外，還可以如下地配置本技術。(I) 一種圖像處理設備，包括圖像獲取單元，用于獲取輸入圖像；選擇單元，用于從多種識別方法中選擇所述輸入圖像中示出的對象的識別方法；識別單元，用于利用所述選擇單元所選擇的所述識別方法來識別所述輸入圖像中示出的對象；以及顯示控制單元，用于將與所述識別單元識別出的對象相關聯的虛擬對象疊加到所述輸入圖像上并顯示所述虛擬對象，其中所述顯示控制單元根據所述選擇單元所選擇的所述識別方法來改變所述虛擬對象的顯示。(2)根據(I)所述的圖像處理設備，其中所述識別單元通過將從所述輸入圖像中提取出的特征與特征詞典進行核對來識別所述輸入圖像中示出的對象，所述特征詞典是已知對象圖像的特征的集合。(3)根據(I)或(2)所述的圖像處理設備，其中所述多種識別方法是所述識別單元要核對的數據量不同的方法。(4)根據(I)至(3)中任一項所述的圖像處理設備，其中所述識別單元根據第一識別方法從尺寸減小的所述輸入圖像中提取要與所述特征詞典核對的特征。
(5)根據(I)至(3)中任一項所述的圖像處理設備，其中所述識別單元根據第二識別方法在忽略每個特征的高頻分量的同時核對特征。(6)根據⑴至(3)中任一項所述的圖像處理設備，其中所述識別單元根據第三識別方法而利用多個特征詞典中的具有更小數據量的特征詞典。(7)根據(2)所述的圖像處理設備，其中所述多種識別方法是所述識別單元的用于特征的提取算法不同的方法。(8)根據⑴至(7)中任一項所述的圖像處理設備，還包括
檢測單元，用于檢測與所述輸入圖像中示出的對象的運動有關的參數；其中，在所述檢測單元檢測到的所述參數表示在所述輸入圖像中示出以超過預定水平的水平而移動的對象的情況下，所述選擇單元選擇具有更低處理成本的識別方法。(9)根據(8)所述的圖像處理設備，其中所述參數是與所述圖像處理設備和所述輸入圖像中示出的對象之間的相對移動量對應的參數。(10)根據(8)所述的圖像處理設備，其中所述參數是與所述圖像處理設備的絕對移動量對應的參數。(11)根據(I)至(10)中任一項所述的圖像處理設備，其中所述顯示控制單元根據所述選擇單元選擇的所述識別方法來改變所述虛擬對象的顯示清晰性。(12)根據⑴至(11)所述的圖像處理設備，其中，在所述選擇單元選擇具有更低處理成本的識別方法的情況下，所述顯示控制單元使所述虛擬對象的余像被顯示。(13) —種圖像處理方法，包括獲取輸入圖像；從多種識別方法中選擇在所述輸入圖像中示出的對象的識別方法；利用所述識別方法識別在所述輸入圖像中示出的所述對象；將與識別出的對象相關聯的虛擬對象疊加到所述輸入圖像上并顯示所述虛擬對象；以及根據所選擇的識別方法來改變所述虛擬對象的顯示。(14) 一種使計算機用作圖像處理設備的程序，包括圖像獲取單元，用于獲取輸入圖像；選擇單元，用于從多種識別方法中選擇所述輸入圖像中示出的對象是識別方法；識別單元，用于利用所述選擇單元所選擇的識別方法來識別所述輸入圖像中示出的對象；以及顯示控制單元，用于將與所述識別單元識別出的對象相關聯的虛擬對象疊加到所述輸入圖像上并顯示所述虛擬對象，其中所述顯示控制單元根據所述選擇單元所選擇的識別方法來改變所述虛擬對象的顯示。本公開文件包括與2011年4月19日在日本專利局提交的日本在先專利申請JP2011-093089中披露的主題內容有關的主題內容，其全部內容通過引用結合于此。
權利要求
1.一種圖像處理設備，包括 圖像獲取單元，用于獲取輸入圖像； 選擇單元，用于從多種識別方法中選擇所述輸入圖像中示出的對象的識別方法； 識別單元，用于利用所述選擇單元所選擇的識別方法來識別所述輸入圖像中示出的對象；以及 顯示控制單元，用于將與所述識別單元識別出的對象相關聯的虛擬對象疊加到所述輸入圖像上并顯示所述虛擬對象， 其中所述顯示控制單元根據所述選擇單元所選擇的識別方法來改變所述虛擬對象的顯不。
2.根據權利要求I所述的圖像處理設備，其中所述識別單元通過將從所述輸入圖像中提取出的特征與特征詞典進行核對來識別所述輸入圖像中示出的對象，所述特征詞典是已 知對象圖像的特征的集合。
3.根據權利要求2所述的圖像處理設備，其中所述多種識別方法是所述識別單元要核對的數據量不同的方法。
4.根據權利要求3所述的圖像處理設備，其中所述識別單元根據第一識別方法從尺寸減小的所述輸入圖像中提取要與所述特征詞典核對的特征。
5.根據權利要求3所述的圖像處理設備，其中所述識別單元根據第二識別方法在忽略每個特征的高頻分量的同時核對特征。
6.根據權利要求3所述的圖像處理設備，其中所述識別單元根據第三識別方法而利用多個特征詞典中的具有更小數據量的特征詞典。
7.根據權利要求2所述的圖像處理設備，其中所述多種識別方法是所述識別單元的用于特征的提取算法不同的方法。
8.根據權利要求I所述的圖像處理設備，還包括 檢測單元，用于檢測與所述輸入圖像中示出的對象的運動有關的參數； 其中，在所述檢測單元檢測到的參數表示在所述輸入圖像中示出以超過預定水平的水平而移動的對象的情況下，所述選擇單元選擇具有更低處理成本的識別方法。
9.根據權利要求8所述的圖像處理設備，其中所述參數是與所述圖像處理設備和所述輸入圖像中示出的對象之間的相對移動量對應的參數。
10.根據權利要求8所述的圖像處理設備，其中所述參數是與所述圖像處理設備的絕對移動量對應的參數。
11.根據權利要求I所述的圖像處理設備，其中所述顯示控制單元根據所述選擇單元所選擇的識別方法來改變所述虛擬對象的顯示清晰性。
12.根據權利要求I所述的圖像處理設備，其中，在所述選擇單元選擇具有更低處理成本的識別方法的情況下，所述顯示控制單元使所述虛擬對象的余像被顯示。
13.一種圖像處理方法，包括 獲取輸入圖像； 從多種識別方法中選擇在所述輸入圖像中示出的對象的識別方法； 利用所選擇的識別方法識別在所述輸入圖像中示出的所述對象； 將與識別出的對象相關聯的虛擬對象疊加到所述輸入圖像上并顯示所述虛擬對象；以及 根據所選擇的識別方法來改變所述虛擬對象的顯示。
14.一種使計算機用作圖像處理設備的程序，包括 圖像獲取單元，用于獲取輸入圖像； 選擇單元，用于從多種識別方法中選擇所述輸入圖像中示出的對象的識別方法； 識別單元，用于利用所述選擇單元所選擇的識別方法來識別所述輸入圖像中示出的對象；以及 顯示控制單元，用于將與所述識別單元識別出的對象相關聯的虛擬對象疊加到所述輸入圖像上并顯示所述虛擬對象， 其中所述顯示控制單元根據所述選擇單元所選擇的識別方法來改變所述虛擬對象的顯示。
全文摘要
本發(fā)明涉及圖像處理設備、圖像處理方法和程序。所提供的圖像處理設備包括圖像獲取單元，用于獲取輸入圖像；選擇單元，用于從多種識別方法中選擇輸入圖像中示出的對象的識別方法；識別單元，用于利用選擇單元所選擇的識別方法來識別輸入圖像中示出的對象；以及顯示控制單元，用于將與識別單元識別出的對象相關聯的虛擬對象疊加到輸入圖像上并顯示虛擬對象。顯示控制單元選擇單元所選擇的識別方法來改變虛擬對象的顯示。
文檔編號G06K9/46GK102750536SQ20121010700
公開日2012年10月24日 申請日期2012年4月12日 優(yōu)先權日2011年4月19日
發(fā)明者笠原俊一 申請人:索尼公司