圖像處理設(shè)備、圖像處理方法、程序、印刷介質(zhì)和印刷介質(zhì)套件的制作方法
【專利摘要】本發(fā)明涉及圖像處理設(shè)備、圖像處理方法、程序、印刷介質(zhì)和印刷介質(zhì)套件。一種圖像處理設(shè)備，所述圖像處理設(shè)備包括：圖像獲取單元，被配置成獲取示出真實對象的圖像，所述真實對象包括主識別目標和次識別目標；以及控制單元，被配置成基于所述主識別目標的圖像識別，設(shè)置與所述圖像關(guān)聯(lián)的增強真實空間，并且被配置成根據(jù)基于所述主識別目標的圖像識別而識別的所述次識別目標，決定在所述增強真實空間中將布置的增強真實對象。
【專利說明】圖像處理設(shè)備、圖像處理方法、程序、印刷介質(zhì)和印刷介質(zhì)套件
[0001]相關(guān)申請的交叉引用
[0002]本申請要求2013年6月17日的日本優(yōu)先權(quán)專利申請JP 2013-126616的權(quán)益，該申請的全部內(nèi)容以引用方式并入本文。

【技術(shù)領(lǐng)域】
[0003]本公開涉及圖像處理設(shè)備、圖像處理方法、程序、印刷介質(zhì)和印刷介質(zhì)套件。

【背景技術(shù)】
[0004]近年來受人關(guān)注的增強現(xiàn)實(AR)技術(shù)布置與其中示出真實空間的圖像關(guān)聯(lián)的AR空間中的虛擬對象(AR對象)，并且致使布置有AR對象的圖像和真實空間的圖像一起在屏幕上顯示。因此，在屏幕上，用戶被提供以下體驗:用戶感覺AR對象好像存在于真實空間中。將要顯示的AR對象預(yù)先被固定地限定或者根據(jù)被成像的真實對象的種類進行選擇。
[0005]例如，JP 2013-092964A公開了一種AR應(yīng)用，其用于當對示出動物的圖畫書進行成像時在AR空間中布置代表所拍攝圖像上示出的動物的AR對象。在該AR應(yīng)用中，與各個AR對象對應(yīng)的動物的已知圖像的特征量被預(yù)先注冊在數(shù)據(jù)庫中。隨后，作為將所拍攝圖像的特征量與已知圖像的特征量進行匹配的結(jié)果，決定在所拍攝圖像中示出的是哪種動物以及顯示哪種動物的AR對象。


【發(fā)明內(nèi)容】

[0006]所顯示的AR對象越多變，AR應(yīng)用越有吸引力。然而，為了增強AR對象的多樣性，必須識別許多種類的真實對象。因此，要進行匹配的特征數(shù)據(jù)增加，處理成本一定大。為此原因，在現(xiàn)有方法中，對處理資源的限制防止AR對象的多樣性增加。
[0007]期望提供一種抑制處理成本增加并且可增強能顯示的AR對象的多樣性的機制。
[0008]根據(jù)本公開的實施例，提供了一種圖像處理設(shè)備，所述圖像處理設(shè)備包括:圖像獲取單元，被配置成獲取示出真實對象的圖像，所述真實對象包括主識別目標和次識別目標；以及控制單元，被配置成基于所述主識別目標的圖像識別，設(shè)置與所述圖像關(guān)聯(lián)的增強真實空間，并且被配置成根據(jù)基于所述主識別目標的圖像識別而識別的所述次識別目標，決定在所述增強真實空間中將布置的增強真實對象。
[0009]根據(jù)本公開的實施例，提供了一種圖像處理方法，所述圖像處理方法包括:獲取示出包括主識別目標和次識別目標的真實對象的圖像；基于所述主識別目標的圖像識別，設(shè)置與所述圖像關(guān)聯(lián)的增強真實空間；以及根據(jù)基于所述主識別目標的圖像識別而識別的所述次識別目標，決定在所設(shè)置的增強真實空間中將布置的增強真實對象。
[0010]根據(jù)本公開的實施例，提供了一種致使控制圖像處理設(shè)備的計算機用作以下部分的程序:圖像獲取單元，被配置成獲取示出真實對象的圖像，所述真實對象包括主識別目標和次識別目標；以及控制單元，被配置成基于所述主識別目標的圖像識別，設(shè)置與所述圖像關(guān)聯(lián)的增強真實空間，并且被配置成根據(jù)基于所述主識別目標的圖像識別而識別的所述次識別目標，決定在所述增強真實空間中將布置的增強真實對象。
[0011]根據(jù)本公開的實施例，提供了一種包括印刷表面的印刷介質(zhì)，所述印刷介質(zhì)包括:主識別目標，被印刷到所述印刷表面上并且用于將示出所述印刷介質(zhì)的圖像與增強真實空間關(guān)聯(lián)；以及次識別目標和用于次識別目標的編輯區(qū)中的一個，被印刷到所述印刷表面上并且用于決定在增強真實空間中將布置的增強真實對象。
[0012]根據(jù)本公開的實施例，提供了一種印刷介質(zhì)套件，所述套件包括多個印刷介質(zhì)。所述印刷介質(zhì)中的兩個或更多個分別包括具有同樣外觀的主識別目標和其中編碼有不同值的次識別目標。
[0013]根據(jù)本公開的實施例，可抑制處理成本的增加，并且可增強能顯示的AR對象的多樣性。

【專利附圖】

【附圖說明】
[0014]圖1是示出根據(jù)實施例的圖像處理系統(tǒng)的概況的說明性示圖；
[0015]圖2A是示出一對主識別目標和次識別目標的第一實例的第一說明性示圖；
[0016]圖2B是示出一對主識別目標和次識別目標的第一實例的第二說明性示圖；
[0017]圖3A是示出一對主識別目標和次識別目標的第二實例的第一說明性示圖；
[0018]圖3B是示出一對主識別目標和次識別目標的第二實例的第二說明性示圖；
[0019]圖4A是示出用戶對次識別目標執(zhí)行編輯的第一實例的說明性示圖；
[0020]圖4B是示出用戶對次識別目標執(zhí)行編輯的第二實例的說明性示圖；
[0021]圖5是示出復(fù)合次識別目標的實例的說明性示圖；
[0022]圖6是示出根據(jù)實施例的圖像處理設(shè)備的硬件構(gòu)造實例的框圖；
[0023]圖7是示出根據(jù)實施例的圖像處理設(shè)備的邏輯功能的配置實例的框圖；
[0024]圖8A是示出識別字典數(shù)據(jù)的配置的第一實例的說明性示圖；
[0025]圖SB是示出識別字典數(shù)據(jù)的配置的第二實例的說明性示圖；
[0026]圖SC是示出識別字典數(shù)據(jù)的配置的第三實例的說明性示圖；
[0027]圖9是示出識別字典數(shù)據(jù)的數(shù)據(jù)項的含義的說明性示圖；
[0028]圖10是示出對象數(shù)據(jù)的配置實例的說明性示圖；
[0029]圖1lA是示出主識別目標的識別實例的說明性示圖；
[0030]圖1lB是示出次識別目標的識別實例的說明性示圖；
[0031]圖1lC是示出AR對象的決定和布置的實例的說明性示圖；
[0032]圖12是示出推薦改變視角的顯示對象的實例的說明性示圖；
[0033]圖13是將識別狀態(tài)通知用戶的顯示對象的實例的說明性示圖；
[0034]圖14是示出根據(jù)實施例的圖像處理流程的實例的流程圖；
[0035]圖15是示出具有刮層的印刷介質(zhì)的實例的說明性示圖；
[0036]圖16是示出圖像處理設(shè)備的修改的說明性示圖；以及
[0037]圖17是示出多個設(shè)備的協(xié)作的說明性示圖。

【具體實施方式】
[0038]下文中，將參照附圖詳細描述本公開的優(yōu)選實施例。注意的是，在本說明書和附圖中，用相同的參考標號表示具有基本相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件，省去對這些結(jié)構(gòu)元件的重復(fù)說明。
[0039]注意的是，將按以下次序提供描述。
[0040]1.概況
[0041]1-1.系統(tǒng)的立體圖
[0042]1-2.識別目標的實例
[0043]2.圖像處理設(shè)備的構(gòu)造實例
[0044]2-1.硬件配置
[0045]2-2.功能配置
[0046]2-3.處理流程
[0047]3.應(yīng)用實例
[0048]3-1.真實對象的實例
[0049]3-2.HMD 的使用
[0050]3-3.多個設(shè)備的協(xié)作
[0051]4.結(jié)論
[0052]〈1.概況〉
[0053]首先，通過使用圖1至圖5，將說明根據(jù)本公開的實施例的圖像處理系統(tǒng)的概況。
[0054][1.1系統(tǒng)的立體圖]
[0055]圖1是示出根據(jù)本公開的實施例的圖像處理系統(tǒng)的概況的說明性示圖。參照圖1，示出用戶Ua持有的圖像處理設(shè)備100。圖像處理設(shè)備100包括相機102和顯示器110，相機102對真實空間I進行成像。如圖1的實例中所示，在真實空間I中存在桌子11、咖啡杯
12、卡片集13和書14。圖像處理設(shè)備100的相機102對這種真實空間I進行成像并且產(chǎn)生構(gòu)成表現(xiàn)真實空間I中的真實對象的視頻圖像的系列圖像。隨后，圖像處理設(shè)備100使用相機102產(chǎn)生的拍攝圖像作為輸入圖像執(zhí)行圖像處理，并且產(chǎn)生輸出圖像。在這個實施例中，輸出圖像通常是通過將AR對象覆蓋在輸入圖像上產(chǎn)生的。圖像處理設(shè)備100的顯示器110順序地顯示所產(chǎn)生的輸出圖像。注意的是，圖1中示出的真實空間I只是實例。圖像處理設(shè)備100可處理表現(xiàn)任何真實對象的圖像。
[0056]圖1示出作為圖像處理設(shè)備100實例的智能電話。然而，圖像處理設(shè)備100不限于此。例如，圖像處理設(shè)備100可以是移動裝置，諸如平板計算機、筆記本、便攜式游戲控制臺、便攜式導(dǎo)航裝置(PND)或數(shù)碼相機。圖像處理設(shè)備100也可以是諸如頭戴顯示器(HMD)裝置的可穿戴裝置。
[0057][1-2.識別目標的實例]
[0058]在本公開的實施例中，表現(xiàn)具有主識別目標和次識別目標的真實對象的圖像被獲取作為用于AR應(yīng)用的輸入圖像。圖像處理設(shè)備100識別主識別目標，以計算真實對象相對于成像表面的相對布置。在本說明書中，術(shù)語“布置”包括關(guān)于二維或三維坐標系的位置(平行位移)、姿勢(旋轉(zhuǎn))和尺寸(縮放)中的至少一個?；谥髯R別目標的圖像識別，與輸入圖像關(guān)聯(lián)地設(shè)置AR空間。圖像處理設(shè)備100基于主識別目標的圖像識別來識別次識別目標。根據(jù)識別的次識別目標決定將要布置在AR空間中的AR對象。
[0059](I)第一實例
[0060]圖2A和圖2B是示出一對主識別目標和次識別目標的第一實例的說明性示圖。在第一實例中，主識別目標是起標記作用的設(shè)計(所謂的天然標記)。次識別目標是可見代碼。主識別目標和次識別目標被印刷到卡(真實對象)的印刷表面上。預(yù)先固定地限定次識別目標相對于主識別目標的相對布置。
[0061]在圖2A的左手側(cè)，示出包括在卡片集13中的卡13a。主識別目標Gla和次識別目標G2a被印刷到卡13a的印刷表面上。主識別目標Gla是呈現(xiàn)機器人型符號的外觀的設(shè)計。次識別目標G2a是具有三個矩形區(qū)域的可見代碼。在圖2A的實例中，三個區(qū)域都是空白的。例如，圖像處理設(shè)備100將從表現(xiàn)卡13a的輸入圖像中提取的多個特征點與主識別目標Gla的已知圖像的特征點集合進行匹配。因此，圖像處理設(shè)備100可識別主識別目標Gla在輸入圖像中是如何布置和示出的。另外，圖像處理設(shè)備100對次識別目標G2a執(zhí)行識別處理，并且識別次識別目標G2a的代碼值。接著，圖像處理設(shè)備100將與識別的代碼值對應(yīng)的AR對象布置在AR空間中。在圖2A的實例中，符號31a被決定為將要布置在AR空間中的AR對象。
[0062]在圖2B的左手側(cè)，示出包括在卡片集13中的卡13b。主識別目標Gla和次識別目標G2b被印刷到卡13b的印刷表面上。由于對于卡13a和卡13b而言主識別目標Gla具有同樣的外觀，因此圖像處理設(shè)備100可通過使用特征點的單個集合識別卡13a在輸入圖像中的布置，并且還可通過使用該特征點的單個集合識別卡13b在輸入圖像中的布置。如同圖2A中示出的次識別目標G2b —樣，次識別目標G2b是具有三個矩形區(qū)域的可見代碼。在圖2B的實例中，三個區(qū)域中有兩個是被填滿的。圖像處理設(shè)備100對次識別目標G2b執(zhí)行識別處理，并且識別次識別目標G2b的代碼值。接著，圖像處理設(shè)備100將與識別的代碼值對應(yīng)的AR對象布置在AR空間中。在圖2B的實例中，符號31b被決定為將要布置在AR空間中的AR對象。
[0063](2)第二實例
[0064]圖3A和圖3B是示出一對主識別目標和次識別目標的第二實例的說明性示圖。在第二實例中，主識別目標是圖案化圖(所謂的人工標記)。次識別目標是可見代碼。主識別目標和次識別目標被印刷到書(真實對象)的印刷表面上。預(yù)先固定地限定次識別目標相對于主識別目標的相對布置。
[0065]在圖3A的左手側(cè)，示出書14的書頁14a。主識別目標G3a和次識別目標G4a被印刷到書頁14a的印刷表面上。主識別目標G3a是包圍其中畫上獅子的設(shè)計16a的框。次識別目標G4a是條形碼。例如，圖像處理設(shè)備100可在表現(xiàn)書頁14a的輸入圖像中檢測關(guān)于主識別目標G3a的已知圖案，并且可基于檢測到的圖案的形狀和尺寸來識別主識別目標G3a在輸入圖像中是如何布置和示出的。另外，圖像處理設(shè)備100對次識別目標G4a執(zhí)行識別處理(換句話講，掃描條形碼)，并且識別次識別目標G4a的代碼值。接著，圖像處理設(shè)備100將與識別的代碼值對應(yīng)的AR對象布置在AR空間中。在圖3A的實例中，符號32a被決定為將要布置在AR空間中的AR對象。
[0066]在圖3B的左手側(cè)，示出書14的書頁14b。主識別目標G3a和次識別目標G4a被印刷到書頁14b的印刷表面上。由于對于書頁14a和書頁14b而目主識別目標G3a具有同樣的外觀，因此圖像處理設(shè)備100可通過使用單個已知圖案識別書頁14a在輸入圖像中的布置，并且還可通過使用該單個已知圖案識別書頁14b在輸入圖像中的布置。如同圖3A中示出的次識別目標G4a—樣，次識別目標G4b是條形碼。圖像處理設(shè)備100對次識別目標G4b執(zhí)行識別處理(換句話講，掃描條形碼)，并且識別次識別目標G4b的代碼值。接著，圖像處理設(shè)備100將與識別的代碼值對應(yīng)的AR對象布置在AR空間中。在圖3B的實例中，符號32b被決定為將要布置在AR空間中的AR對象。
[0067]用作主識別目標的標記不限于圖2A至圖3B中示出的實例。標記可以是任何圖、符號、字符串或設(shè)計、或它們的組合。例如，可使用諸如CyberCode (注冊商標)的二維代碼作為主識別目標。
[0068](3)用于對次識別目標執(zhí)行編輯
[0069]用戶能編輯次識別目標的代碼。圖4A是示出用戶對次識別目標執(zhí)行編輯的第一實例的說明性示圖。圖4A再次示出圖2A的卡13a。在第一實例中，用戶Ua使用筆填充次識別目標G2a的區(qū)域，并且重寫次識別目標G2a的代碼值。
[0070]圖4B是示出用戶對次識別目標執(zhí)行編輯的第二實例的說明性示圖。圖4B再次示出圖2A的卡13a。在第二實例中，用戶Ua將張貼物17置于次識別目標G2a的區(qū)域上，并且重寫次識別目標G2a的代碼值。
[0071]關(guān)于圖4A和圖4B的實例，當對經(jīng)編輯的次識別目標G2a執(zhí)行識別處理時，根據(jù)如何編輯次識別目標G2a來識別不同代碼值。響應(yīng)于識別，布置在AR空間中的AR對象改變。例如，在次識別目標具有三個區(qū)域的情況下(區(qū)域各自是黑或白)，可識別8( = 23)個不同的AR對象。區(qū)域的數(shù)量可以是任何數(shù)量，只要該數(shù)量大于或等于I即可。這些區(qū)域可具有三種或更多種顏色。另一方面，對于這兩個實例，卡13a的主識別目標Gla是同樣的。因此，圖像處理設(shè)備100只將主識別目標Gla的特征點的單個集合與從輸入圖像中提取的特征點匹配，以計算輸入圖像中示出的卡13a的布置。
[0072](4)復(fù)合次識別目標
[0073]單個真實對象可包括由多個部分構(gòu)成的復(fù)合次識別目標。圖5是示出復(fù)合次識別目標的實例的說明性示圖。參照圖5，真實對象14c包括主識別目標G5、次識別目標G6和用于次識別目標的編輯區(qū)G7。主識別目標G5是起人工標記作用的框。在該框中，可印刷任何種類的內(nèi)容。次識別目標G6是其中預(yù)先編碼了給定代碼值的條形碼。編輯區(qū)G7可根據(jù)用戶執(zhí)行的編輯而包括不同代碼值。預(yù)先限定次識別目標G6和編輯區(qū)G7相對于主識別目標G5的相對布置。圖像處理設(shè)備100可基于主識別目標G5的圖像識別來設(shè)置AR空間，并且可根據(jù)從次識別目標G6識別的代碼值和從經(jīng)編輯的編輯區(qū)G7識別的代碼值的組合，確定將要布置在AR空間中的AR對象。
[0074]根據(jù)在這個部分中說明的機制，抑制了設(shè)置AR空間所需的圖像識別的處理成本的增加，并且可增強將要顯示的各種AR對象。在下一部分中，將說明實現(xiàn)這種機制的圖像處理設(shè)備100的具體構(gòu)造的實例。
[0075]<2.圖像處理設(shè)備的構(gòu)造實例>
[0076][2-1.硬件配置]
[0077]圖6是示出根據(jù)實施例的圖像處理設(shè)備100的硬件配置實例的框圖。參照圖6，圖像處理設(shè)備100包括相機102、傳感器104、輸入接口 106、存儲器108、顯示器110、通信接口112、總線116和處理器118。
[0078](I)相機
[0079]相機102是拍攝圖像的相機模塊。相機102使用諸如電荷耦合器件(CXD)或互補型金屬氧化物半導(dǎo)體(CMOS)的圖像傳感器對真實對象進行成像，以產(chǎn)生拍攝圖像。相機102產(chǎn)生的一系列拍攝圖像構(gòu)成視頻圖像。
[0080](2)傳感器
[0081]傳感器104可包括諸如定位傳感器、加速度傳感器和陀螺傳感器的各種傳感器。傳感器104可測量的圖像處理設(shè)備100的位置、姿勢或移動可用于各種目的，諸如，支持隨后描述的相機的位置和姿勢的識別，獲取指定全球定位的數(shù)據(jù)，或識別來自用戶的指令。注意的是，在圖像處理設(shè)備100的構(gòu)造中可省略傳感器104。
[0082](3)輸入接口
[0083]輸入接口 106是用戶用來操作圖像處理設(shè)備100或?qū)⑿畔⑤斎氲綀D像處理設(shè)備100中所使用的輸入裝置。例如，輸入接口 106可包括檢測用戶在顯示器110屏幕上進行的觸摸的觸摸傳感器。另外，輸入接口 106可包括諸如鍵盤、鍵區(qū)、按鈕或開關(guān)的輸入裝置。輸入接口 106還可包括用于語音輸入和語音識別模塊的麥克風(fēng)。
[0084](4)存儲器
[0085]存儲器108是諸如半導(dǎo)體存儲器或硬盤驅(qū)動器的存儲介質(zhì)。存儲器108存儲用于圖像處理設(shè)備100執(zhí)行的處理的程序和數(shù)據(jù)。例如，存儲器108存儲的數(shù)據(jù)可包括隨后描述的拍攝圖像數(shù)據(jù)、傳感器數(shù)據(jù)和各種數(shù)據(jù)庫(DB)中的數(shù)據(jù)。注意的是，作為被存儲在存儲器108中的替代，可從外部數(shù)據(jù)源(例如，數(shù)據(jù)服務(wù)器、網(wǎng)絡(luò)存儲器或外部存儲器)獲取本說明書中描述的程序和數(shù)據(jù)中的一些。
[0086](5)顯不器
[0087]顯示器110是包括表現(xiàn)圖像的顯示器的顯示模塊。例如，顯示器110可以是液晶顯示器(IXD)、有機發(fā)光二極管(OLED)、陰極射線管(CRT)等。例如，顯示器110顯示覆蓋有AR對象的輸出圖像，AR對象是由圖像處理設(shè)備100產(chǎn)生的。
[0088](6)通信接口
[0089]通信接口 112是用作圖像處理設(shè)備100與另一設(shè)備的通信的中介裝置的通信接口。通信接口 112支持任意的無線通信協(xié)議或有線通信協(xié)議并且創(chuàng)建與其它設(shè)備的通信連接。
[0090](7)總線
[0091]總線116將相機102、傳感器104、輸入接口 106、存儲器108、顯示器110、通信接口112和處理器118相互連接。
[0092](8)處理器
[0093]處理器118對應(yīng)于諸如中央處理單元(CPU)或數(shù)字信號處理器(DSP)的處理器。通過執(zhí)行存儲器108或另一存儲介質(zhì)中存儲的程序，控制單元118致使圖像處理設(shè)備100以隨后描述的各種方式工作。
[0094][2-2.功能配置]
[0095]圖7是示出通過圖6中示出的圖像處理設(shè)備100的存儲器108和處理器118實現(xiàn)的邏輯功能配置的實例的框圖。如圖7中所示，圖像處理設(shè)備100包括圖像獲取單元140、識別數(shù)據(jù)庫(DB) 150、識別單元160、對象數(shù)據(jù)庫170和控制單元180。
[0096](I)圖像獲取單元
[0097]圖像獲取單元140獲取相機102拍攝的圖像作為輸入圖像。通常，輸入圖像是構(gòu)成視頻的一系列幀中的各幀。在這個實施例中，輸入圖像是其中表現(xiàn)包括主識別目標和次識別目標的真實對象的圖像。隨后，圖像獲取單元140將獲取的輸入圖像輸出到識別單元160和控制單元180。
[0098](2)識別數(shù)據(jù)庫
[0099]識別數(shù)據(jù)庫150是隨后描述的存儲識別單元160使用的識別字典數(shù)據(jù)的數(shù)據(jù)庫。例如，識別字典數(shù)據(jù)包括針對每個或多個主識別目標定義主識別目標的特征的特征數(shù)據(jù)。識別字典數(shù)據(jù)還包括定義次識別目標相對于主識別目標的相對布置的布置數(shù)據(jù)。
[0100]圖8A是示出可存儲在識別數(shù)據(jù)庫150中的識別字典數(shù)據(jù)的配置的第一實例的說明性示圖。如圖8A中所示，識別字典數(shù)據(jù)151a包括主代碼ID152、特征數(shù)據(jù)153和次代碼布置數(shù)據(jù)154a。次代碼布置數(shù)據(jù)154a包括代碼類型155、位置偏移156、旋轉(zhuǎn)157和尺寸158。參照圖9，以下將描述識別字典數(shù)據(jù)151a中的各數(shù)據(jù)項的含義。
[0101]主代碼ID152是用于唯一標識主識別目標的標識符。特征數(shù)據(jù)153定義各主識別目標的已知特征。在主識別目標是圖2A和圖2B中示出的設(shè)計的情況下，特征數(shù)據(jù)153可預(yù)先定義從設(shè)計的已知圖像中提取的特征點的集合。例如，特征點的集合可包括特征點的位置坐標和亮度，位置坐標是真實對象的印刷表面上二維坐標系中多個特征點中的每個的位置坐標。參照圖9，星星代表二維坐標系CMf中包括特征點FPl的多個特征點的位置。在主識別目標是如圖3A和圖3B中示出的圖案化圖的情況下，特征數(shù)據(jù)153可限定已知圖案的形狀和尺寸。
[0102]代碼類型155定義次識別目標的類型。參照圖9，示出兩種代碼類型Tl和T2。代碼類型Tl表明次識別目標是包括彼此并列的三個矩形區(qū)域的代碼。代碼類型T2表明次識別目標是條形碼。這兩種代碼都是可見代碼。位置偏移156定義從主識別目標的參考位置(例如，二維坐標系Cref的原點)到次識別目標的參考位置的偏移。在圖9中，位置偏移156等于位置坐標0F1，位置坐標OFl代表環(huán)繞次識別目標的限位框的左上頂點。旋轉(zhuǎn)157定義次識別目標圍繞參考位置的旋轉(zhuǎn)量(例如，印刷表面上真實對象的旋轉(zhuǎn)量)。在圖9的實例中，因為次識別目標不旋轉(zhuǎn)，所以可省略旋轉(zhuǎn)157。尺寸158定義二維坐標系Cref中的次識別目標的尺寸。圖9的實例中，尺寸158指示圍繞次識別目標的限位框的寬度Wl和高度H1。
[0103]圖SB是示出可存儲在識別數(shù)據(jù)庫150中的識別字典數(shù)據(jù)的第二實例的說明性示圖。如圖SB中所示，識別字典數(shù)據(jù)151b包括主代碼ID152、特征數(shù)據(jù)153和次代碼布置數(shù)據(jù)154b。次代碼布置數(shù)據(jù)154b只包括位置偏移156。例如，在只有單個類型的次識別目標并且次識別目標不旋轉(zhuǎn)并且次識別目標的尺寸固定的情況下，可如本文描述地簡單地定義次識別目標的相對布置。
[0104]圖SC是示出可存儲在識別數(shù)據(jù)庫150中的識別字典數(shù)據(jù)的配置的第三實例的說明性示圖。如圖8C中所示，識別字典數(shù)據(jù)151c包括主代碼ID152、特征數(shù)據(jù)153和次代碼布置數(shù)據(jù)154c。次代碼布置數(shù)據(jù)154c包括代碼數(shù)字159和代碼數(shù)字159所指示的數(shù)字的布置數(shù)據(jù)集合。布置數(shù)據(jù)的第一集合包括代碼類型155a、位置偏移156a和尺寸158a。布置數(shù)據(jù)的第二集合包括代碼類型155b、位置偏移156b和尺寸158b。在如圖5中所示地使用復(fù)合次識別目標的情況下，可通過使用這種數(shù)據(jù)格式定義單個次識別目標的類型和布置。
[0105](3)識別單元
[0106]識別單元160通過對主識別目標執(zhí)行圖像識別，識別主識別目標在輸入圖像中的布置。例如，識別單元160可通過將從輸入圖像中提取的圖像特征量與識別數(shù)據(jù)庫150中存儲的已知特征量集合進行匹配，識別輸入圖像中示出的主識別目標。另一方面，識別單元160可通過將輸入圖像中包括的圖案與識別數(shù)據(jù)庫150中存儲的已知圖案進行匹配，識別輸入圖像中示出的主識別目標。另外，識別單元160基于檢測到的特征點之間的位置關(guān)系或檢測到的圖案的形狀和尺寸，識別主識別目標在輸入圖像中如何布置和示出。
[0107]圖1lA是示出主識別目標的識別實例的說明性示圖。圖11的左手側(cè)示出用戶Ua將圖像處理設(shè)備100保持在卡13b上方的情景。圖像獲取單元140獲取拍攝卡13b的輸入圖像頂11。在輸入圖像頂11中，示出從上方傾斜成像的主識別目標Gla。識別單元160根據(jù)諸如Harris法或Moravec法的公知角點檢測法,從輸入圖像IMll中提取特征點(處理P1)。圖1lA中的星星指示從輸入圖像頂11中提取的多個特征點。識別單元160通過將包括特征點的位置坐標的特征量與預(yù)先記錄在識別數(shù)據(jù)庫150中的主識別目標Gla的特征量的集合進行匹配，識別到在輸入圖像頂11中示出主識別目標Gla。識別單元160還識別主識別目標Gla的三維布置。例如，可用與成像表面對應(yīng)的三維屏幕坐標系Cs。中的齊次變換矩陣Wpk和成像表面的深度代表識別的三維布置(處理P2)。齊次變換矩陣Wpk基本上代表拍攝輸入圖像的相機102相對于真實對象13b的相對布置。以此方式，圖像識別單元將與識別的主識別目標的標識符(主卡ID)對應(yīng)的齊次變換矩陣輸出到控制單元180。
[0108]基于主識別目標的上述圖像識別，圖像識別單元160還識別次識別目標。例如，識別單元160對從輸入圖像獲取的次識別目標的部分圖像執(zhí)行識別處理。通過使用主識別目標的圖像識別的結(jié)果和上述布置數(shù)據(jù)，確定其中示出次識別目標的部分。在次識別目標的類型存在兩種或更多種候選者的情況下，將要識別的次識別目標的類型也通過上述布置數(shù)據(jù)來定義，并且可參照定義選擇將要執(zhí)行的識別處理。在如圖2A和圖2B中所示次識別目標包括多個區(qū)域的情況下，識別單元160從部分圖像中讀取參數(shù)(諸如，各區(qū)域的亮度或顏色)，并且決定與讀取的參數(shù)的組合對應(yīng)的代碼值。在如圖3A和圖3B中所示次識別目標是條形碼的情況下，識別單元160執(zhí)行通用條形碼讀取處理并且對代碼值進行解碼。
[0109]圖1lB是示出次識別目標的識別實例的說明性示圖。圖1lB的左手側(cè)再次示出參照圖1lA說明的輸入圖像頂11。當輸入圖像頂11經(jīng)歷使用齊次變換矩陣Wpk的逆矩陣WpiT1進行的逆變換時，產(chǎn)生轉(zhuǎn)換圖像頂12(處理P3)，轉(zhuǎn)換圖像IM12以真實對象13b的印刷表面面對成像表面的方式變換。根據(jù)識別字典數(shù)據(jù)中包括的次代碼布置數(shù)據(jù)，基于主識別目標Gla的布置確定次識別目標G2b在轉(zhuǎn)換圖像頂12中的布置(處理P4)。識別單元160對以此方式確定的次識別目標G2b的部分圖像執(zhí)行與次識別目標G2b的類型對應(yīng)的識別處理。隨后，識別單元160將作為識別處理結(jié)果而識別的代碼值輸出到控制單元180。
[0110](4)對象數(shù)據(jù)庫
[0111]對象數(shù)據(jù)庫170是用于存儲隨后描述的控制單元180使用的對象數(shù)據(jù)的數(shù)據(jù)庫。對象數(shù)據(jù)定義AR空間中布置的各個AR對象和對應(yīng)于次識別目標的代碼值之間的映射?？赏ㄟ^主識別目標的各個候選者定義對象數(shù)據(jù)。
[0112]圖10是示出可存儲在對象數(shù)據(jù)庫170中的對象數(shù)據(jù)的配置實例的說明性示圖。如圖10中所示，對象數(shù)據(jù)171包括主代碼ID172、次代碼值173、對象ID174、位置175、姿勢176和圖形數(shù)據(jù)177。主代碼ID172是用于標識主識別目標的各個候選者的標識符。次代碼值173指示次識別目標可識別的代碼值的候選者。對象ID174是用于唯一標識AR對象的標識符。位置175定義在AR空間中布置的AR對象的三維位置。姿勢176定義在AR空間中布置的AR對象的三維姿勢。例如，基于與對應(yīng)主識別目標的相對關(guān)系，定義AR對象在AR空間中的位置和姿勢。圖形數(shù)據(jù)177是用于產(chǎn)生AR對象圖像的數(shù)據(jù)，圖形數(shù)據(jù)177可定義例如多邊形、紋理、動畫和其它顯示屬性。
[0113](5)控制單元
[0114]控制單元180基于識別單元160對主識別目標執(zhí)行的圖像識別的結(jié)果，設(shè)置與輸入圖像關(guān)聯(lián)的AR空間。例如，控制單元180可將輸入圖像中真實對象的印刷表面設(shè)置為AR空間中的水平面，該水平面被用作AR對象的姿勢或移動的基礎(chǔ)。印刷表面關(guān)于圖像表面的相對姿勢可通過識別單元160輸入的齊次變換矩陣Wra來表達。另一方面，控制單元180還可將輸入圖像中主識別目標的位置設(shè)置為在AR空間中布置AR對象的參考位置。主識別目標在AR空間中的位置也可通過齊次變換矩陣Wpk來表達。
[0115]控制單元還根據(jù)識別單元160識別的次識別目標的代碼值，決定哪個對象布置在AR空間中。例如，控制單元180使用識別數(shù)據(jù)庫150中存儲的布置數(shù)據(jù)，并且根據(jù)識別單元160識別的主識別目標的布置，確定在同一真實對象上將要識別的次識別目標的布置。在用布置數(shù)據(jù)定義次識別目標的類型的情況下，控制單元180可基于用布置數(shù)據(jù)定義的次識別目標的類型(代碼類型)選擇識別單元160將要執(zhí)行的識別處理?？刂茊卧?80致使識別單元160對輸入圖像中示出的次識別目標執(zhí)行識別處理。接著，當從識別單元160輸入通過識別處理識別的次識別目標的代碼值時，控制單元180決定映射至對象數(shù)據(jù)177中的代碼值的AR對象作為將要布置在AR空間中的AR對象。在主識別目標存在多個候選者的情況下，控制單元180使用多個候選者之中與識別單元160識別的主識別目標對應(yīng)的對象數(shù)據(jù)來決定AR對象。
[0116]當參照對象數(shù)據(jù)決定將要布置的AR對象時，控制單元180按照對象數(shù)據(jù)中的定義將AR對象布置在AR空間中。另外，控制單元180基于識別單元160進行圖像識別的結(jié)果，產(chǎn)生從相機102的角度看到的AR對象的圖像。隨后，通過將AR對象的圖像覆蓋在輸入圖像上，控制單元180產(chǎn)生輸出圖像并且致使產(chǎn)生的輸出圖像顯示在顯示器110的屏幕上。
[0117]圖1lC是示出AR對象的決定和布置的實例的說明性示圖。圖1lC的左手側(cè)再次示出參照圖1lB說明的轉(zhuǎn)換圖像頂12。例如，在轉(zhuǎn)換圖像頂12中示出的主識別目標Gla的主代碼ID是“PCI”。通過對轉(zhuǎn)換圖像頂12中示出的次識別目標G2b執(zhí)行識別處理而讀取的次識別目標G2b的代碼值是例如“101”?？刂茊卧?80參照對象數(shù)據(jù)171中的與主代碼ID “PCI”對應(yīng)的子集中的具有次代碼值“101”的記錄，然后決定將具有對象ID “AR15”的AR對象31b布置在AR空間中(處理P5)。另外，控制單元180將AR對象31b布置在輸入圖像中的主識別目標Gla的位置上，好像AR對象31b在真實對象13b的印刷表面上一樣，并且布置的AR對象31b的圖像覆蓋在輸入圖像上(處理P6)。
[0118]例如，控制單元180可根據(jù)使用布置數(shù)據(jù)確定的次識別目標的布置，確定將要識別的次識別目標是否在輸入圖像中充分示出。在次識別目標的主要部分存在于輸入圖像外部的情況下，控制單元180確定次識別目標沒有在輸入圖像中充分示出。在控制單元180確定次識別目標沒有在輸入圖像中充分示出的情況下，控制單元180可致使在屏幕上顯示推薦改變視角的顯示對象。例如，如圖12中所示，顯示對象ALl和AL2覆蓋在圖像頂21上。在圖像IM21中，示出真實對象13b。然而，真實對象13b的次識別目標G2b的一個或多個區(qū)域在右側(cè)部分超出圖像IM21的視角。顯示對象ALl是文本框，用于顯示推薦用戶改變視角的消息。顯示對象AL2是指示移動視角的方向的三角形圖標。按照顯示對象ALl和AL2，用戶向右移動視角(或通過縮小來加寬視角)，并且對整個次識別目標進行成像，以成功地顯示AR對象。
[0119]控制單元180會致使在顯示器110的屏幕上顯示主識別目標的識別狀態(tài)和次識別目標的識別狀態(tài)中的至少一個。例如，如圖13中所示，顯示對象AL3和AL4覆蓋在圖像頂22上。顯示對象AL3是圍繞被成功識別的主識別目標的框。作為圍繞主識別目標的框的替代(或除了該框之外)，可顯示指示從圖像頂22中提取的特征點的圖標。顯示對象AL4是識別狀態(tài)的指示符。在圖13中示出的實例中，指示符示出百分之五十的進度。這表明，成功進行了對主識別目標的識別，但沒有完成對次識別目標的識別。通過看到這種識別狀態(tài)，用戶可實時得知AR應(yīng)用的狀態(tài)。在對次識別目標的識別完成之后，可自動地隱藏識別狀態(tài)的顯示，以不干擾AR應(yīng)用的可視性。
[0120]2-3.處理的流程
[0121]圖14是示出根據(jù)實施例的圖像處理設(shè)備100執(zhí)行的圖像處理流程的實例的流程圖。針對相機102拍攝的一系列輸入圖像中的每個，重復(fù)進行圖14中示出的處理。
[0122]參照圖14，首先，圖像獲取單元140從相機102獲取示出具有主識別目標和次識別目標的真實對象的輸入圖像(步驟S102)。隨后，圖像獲取單元140將獲取的輸入圖像輸出到識別單元160和控制單元180。
[0123]接著，識別單元160使用識別數(shù)據(jù)庫150中存儲的識別字典數(shù)據(jù)對主識別目標執(zhí)行圖像識別(步驟S104)。在這個實施例中，識別字典數(shù)據(jù)包括主識別目標的特征數(shù)據(jù)，主識別目標的數(shù)量少于可顯示的AR對象的數(shù)量。因此，這里執(zhí)行的圖像識別的處理成本降至低水平。
[0124]隨后，識別單元160確定是否識別到任何主識別目標(步驟S106)。在沒有識別到主識別目標的情況下，處理返回到步驟S102并且獲取下一個圖像。在識別到主識別目標的情況下，識別單元160計算向相機102指示主識別目標(或真實對象)的三維布置的變換矩陣(例如，齊次變換矩陣)(步驟S108)。接著，識別單元160將識別到的主識別目標的標識符和計算出的變換矩陣輸出到控制單元180。
[0125]控制單元180通過使用從識別單元160輸入的變換矩陣的逆矩陣，對輸入圖像執(zhí)行逆變換，并且產(chǎn)生以主識別目標和次識別目標面對成像表面的方式變換的經(jīng)變換圖像(步驟S110)。接著，控制單元180通過使用包括在識別字典數(shù)據(jù)中的布置數(shù)據(jù)，確定經(jīng)變換圖像中的次識別目標的布置(步驟S112)。
[0126]隨后，基于決定的次識別目標的布置，控制單元180確定次識別目標是否在輸入圖像中充分示出(步驟S114)。在確定次識別目標沒有在輸入圖像中充分示出的情況下，控制單元180致使在屏幕上顯示推薦改變視角的顯示對象(步驟S116)。此后，處理返回到步驟S102。另一方面，在確定次識別目標在輸入圖像中充分示出的情況下，控制單元180基于通過布置數(shù)據(jù)定義的次識別目標的代碼類型選擇識別單元160要執(zhí)行的識別處理(S118)。接著，控制單元180致使識別單元160對輸入圖像中示出的次識別目標執(zhí)行所選擇的識別處理(步驟S120)。識別單元160將作為識別處理結(jié)果識別到的代碼值輸出到控制單元180。
[0127]接著，控制單元I80通過使用識別單元160識別的代碼值(主識別目標的標識符)，參照對象數(shù)據(jù)庫170中存儲的對象，并且決定要顯示的AR對象(步驟S122)。注意的是，控制單元180還可參照經(jīng)由通信接口 112連接的數(shù)據(jù)服務(wù)器(而非對象數(shù)據(jù)庫170)上的對象數(shù)據(jù)。隨后，控制單元180基于主識別目標的圖像識別的結(jié)果，產(chǎn)生決定的AR對象的圖像(步驟S124)。接著，控制單元180致使輸出圖像在顯示器110的屏幕上顯示，輸出圖像是通過將AR對象的圖像覆蓋在輸入圖像上產(chǎn)生的(步驟S126)。
[0128]〈3.應(yīng)用實例〉
[0129][3-1.真實對象的實例]
[0130]本公開的實施例中使用的真實對象可以是在其表面上具有識別目標的任何種類的真實對象。例如，諸如海報、廣告牌、宣傳單、雜質(zhì)、報紙、書、集換卡的各種印刷介質(zhì)可通過將主識別目標和次識別目標或用于次識別目標的編輯區(qū)印刷到每個印刷介質(zhì)的印刷表面上來用作本公開的實施例的真實對象。在印刷表面上，可印刷指南，指南引導(dǎo)用戶將與AR應(yīng)用協(xié)作的成像設(shè)備(例如，圖像處理設(shè)備100的相機102)保持在印刷介質(zhì)上方。
[0131]印刷介質(zhì)的一個目的是用于卡牌游戲的集換卡。例如，在多個卡上印刷具有同樣外觀的主識別目標(例如，游戲人物的設(shè)計)，在卡上分別印刷其中編碼有不同代碼值的次識別目標。主識別目標用于將AR空間與示出印刷介質(zhì)的圖像關(guān)聯(lián)。次識別目標用于決定在AR空間中將布置的AR對象。在印刷表面中，次識別目標相對于主識別目標的相對布置是固定的。購買卡的用戶將圖像處理設(shè)備100的相機102保持在所購買卡的上方。因此，在屏幕上顯示與卡上印刷的人物關(guān)聯(lián)的AR對象。每個AR對象包括根據(jù)從次識別目標識別的代碼值而不同的屬性。這里，屬性可以是與AR對象的外觀關(guān)聯(lián)的屬性、或者影響游戲進程的另一屬性(例如，人物的級別)。當實現(xiàn)這種集換卡時，可以增強AR對象的多樣性并且激發(fā)用戶的購買意圖或收集欲望，而沒有增加圖像識別的處理成本。在卡上印刷次識別目標的編輯區(qū)而非次識別目標時，用戶可通過在得到卡之后編輯次識別目標來改變將要顯示的AR對象的屬性。因此，可防止卡牌游戲的單調(diào)化。集換卡可被一次一張地分給各用戶，或者作為一組分給各用戶。
[0132]印刷介質(zhì)的另一個目的是廣告海報。例如，在多個海報上印刷具有同樣外觀的主識別目標(例如，產(chǎn)品的照片)，在海報上分別印刷其中編碼有不同代碼值的次識別目標。用戶在諸如購物中心或車站的地方發(fā)現(xiàn)海報，將圖像處理設(shè)備100的相機102保持在所發(fā)現(xiàn)的海報上方。因此，在屏幕上顯示與海報上印刷的產(chǎn)品對應(yīng)的AR對象。AR對象中的每個包括根據(jù)從次識別目標識別的代碼值而不同的屬性?？梢愿鶕?jù)海報的位置改變代碼值，為到訪該地方的各用戶提供包括適于該地方的屬性的AR對象。當實現(xiàn)這種廣告海報時，圖像識別的處理成本沒有增加，AR對象的多樣性增強，引起用戶對產(chǎn)品的注意，廣告效果增加。廣告海報可被一次一張地提供給各商業(yè)運營者，或者可被作為一組提供給各商業(yè)運營者。
[0133]至于集換卡或任何其它目的，印刷介質(zhì)還可包括在印刷表面上的覆蓋次識別目標的位置上形成的刮層。圖15是示出具有刮層的印刷介質(zhì)的實例的說明性示圖。圖15示出作為實例的集換卡15。集換卡15包括印刷在印刷表面上的主識別目標G7和層合在印刷表面上的刮層SCI。刮層SCl形成在覆蓋次識別目標的位置。當用戶刮開刮層SCl時，次識別目標被暴露并且變得可見。例如，在次識別目標GSa被暴露的情況下，AR應(yīng)用的輸出圖像示出AR對象33a。在次識別目標G8b被暴露的情況下，AR應(yīng)用的輸出圖像示出AR對象33b。在次識別目標G8c被暴露的情況下，AR應(yīng)用的輸出圖像示出AR對象33c。當實現(xiàn)這種刮型集換卡時，圖像識別的處理成本沒有增加，使AR對象變得難以預(yù)知，用戶的好奇度增加。
[0134][3-2.HMD 的使用]
[0135]如上所述，本公開的實施例可被實現(xiàn)為HMD裝置。圖16是示出圖像處理設(shè)備的修改形式的說明性示圖。在圖16的實例中，圖像處理設(shè)備200是安裝在用戶頭上的眼鏡型HMD裝置。圖像處理設(shè)備200包括主框架201、相機202、接觸表面206、一對屏幕210a和210b。主框架201包括支承屏幕210a和210b的框架和設(shè)置在用戶頭部側(cè)面的所謂鏡腳。在鏡腳中，包含包括用于圖像處理的處理器和存儲器的許多模塊。這些模塊包括與圖7中示出的圖像處理設(shè)備100的各種邏輯功能類似的功能。相機202被布置成使得鏡片的光學(xué)軸基本上平行于用戶的視線，并且相機202用于拍攝圖像。接觸表面206是用于檢測用戶執(zhí)行的觸摸的表面，并且用于致使圖像處理設(shè)備200接收用戶輸入。屏幕210a和屏幕210b是透視型顯示器或非透視型顯示器，并且被分別布置在用戶的左眼和右眼前方。
[0136][3-3.多個設(shè)備的協(xié)作]
[0137]可通過彼此協(xié)作的多個設(shè)備實現(xiàn)本公開的實施例。例如，可通過物理上與圖像處理設(shè)備100或200不同的設(shè)備執(zhí)行識別單元160和控制單元180的一部分功能。
[0138]圖17是不出多個設(shè)備的協(xié)作的說明性不圖。圖17不出圖像處理設(shè)備100和與圖像處理設(shè)備100通信的服務(wù)器設(shè)備300。服務(wù)器設(shè)備300可以是在用戶附近創(chuàng)建的個人網(wǎng)絡(luò)或家庭網(wǎng)絡(luò)，或者可以是諸如互聯(lián)網(wǎng)的遠程網(wǎng)絡(luò)。圖像處理設(shè)備100將輸入圖像發(fā)送到服務(wù)器設(shè)備300，例如(SIGl)。服務(wù)器設(shè)備300是具有圖7中示出的識別單元160和控制單元180的功能的設(shè)備。服務(wù)器設(shè)備300對從圖像處理設(shè)備100接收的輸入圖像執(zhí)行圖像識別，并且識別主識別目標和次識別目標。隨后，基于識別結(jié)果，服務(wù)器設(shè)備300決定AR空間中將布置的AR對象，并且將所決定的AR對象的圖像或圖形數(shù)據(jù)發(fā)送到圖像處理設(shè)備100 (SIG2)。通過使用從服務(wù)器設(shè)備300接收的數(shù)據(jù)，圖像處理設(shè)備100在屏幕上顯示其中覆蓋了 AR對象的輸出圖像。根據(jù)這種配置，即使圖像處理設(shè)備100具有少量處理資源，也可為用戶提供AR應(yīng)用。
[0139]<4.結(jié)論〉
[0140]參照圖1至圖17，以上已經(jīng)詳細描述了本公開的實施例。根據(jù)這些實施例，對輸入圖像中示出的真實對象的主識別目標執(zhí)行圖像識別，基于圖像識別進一步識別同一真實對象的次識別目標。隨后，基于主識別目標的圖像識別設(shè)置AR空間。根據(jù)次識別目標，決定布置在AR空間中的AR對象。因此，抑制了重量級處理(諸如，用于設(shè)置AR空間的特征數(shù)據(jù)匹配)的處理成本的增加,次識別目標的多樣性增加,將要顯示的AR對象的多樣性增加。
[0141]此外，根據(jù)實施例，次識別目標相對于主識別目標的相對布置被固定地限定，可基于輸入圖像中的主識別目標的布置，決定將要識別的次識別目標的布置。根據(jù)這種配置，不必執(zhí)行在輸入圖像中搜索其布置預(yù)先未知的次識別目標的處理。因此，識別次識別目標的處理成本急劇降低。
[0142]此外，根據(jù)實施例，可通過對根據(jù)布置數(shù)據(jù)獲取的部分圖像執(zhí)行識別處理，識別次識別目標。可通過利用通用識別模塊(諸如，條形碼讀取器模塊)以小開發(fā)成本實現(xiàn)上述機制。在提供定義次識別目標類型的數(shù)據(jù)和可通過使用該數(shù)據(jù)切換次識別目標的識別處理的情況下，變得可以根據(jù)AR應(yīng)用的目的靈活地選擇次識別目標的形式。因此，通過使用同樣的機制，AR應(yīng)用可被應(yīng)用于廣泛用途，諸如，廣告、游戲和教育。
[0143]此外，根據(jù)實施例，次識別目標包括用戶可編輯的可視代碼，AR對象可被映射至從經(jīng)編輯的次識別目標讀取的代碼。在這種情況下，可根據(jù)用戶如何編輯次識別目標來顯示不同的AR對象。因此，可防止AR應(yīng)用單調(diào)化并且可保持用戶對AR應(yīng)用的關(guān)注。
[0144]通?？捎密浖崿F(xiàn)本說明書中描述的各設(shè)備執(zhí)行的一系列處理。構(gòu)成實現(xiàn)這一系列處理的這種軟件的程序可被預(yù)先存儲在例如設(shè)置在設(shè)備內(nèi)部或外部的存儲介質(zhì)(非暫態(tài)介質(zhì))上。在執(zhí)行期間，這種程序被寫入隨機存取存儲器(RAM)并且由諸如CPU的處理器執(zhí)行。
[0145]注意的是，本說明書中參照流程圖描述的處理不一定按流程圖中示出的次序執(zhí)行。一些處理步驟可并行地執(zhí)行。另外，可采用一些額外步驟，或者可省略一些處理步驟。
[0146]本領(lǐng)域的技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計要求和其它因素，可想到組合形式、子組合形式和替代形式，達到這些形式在所附權(quán)利要求書或其等同物的范圍內(nèi)。
[0147]另外，還可如下地配置本技術(shù)。
[0148](I) 一種圖像處理設(shè)備，所述圖像處理設(shè)備包括:
[0149]圖像獲取單元，被配置成獲取示出真實對象的圖像，所述真實對象包括主識別目標和次識別目標；以及
[0150]控制單元，被配置成基于所述主識別目標的圖像識別，設(shè)置與所述圖像關(guān)聯(lián)的增強真實空間，并且被配置成根據(jù)基于所述主識別目標的圖像識別而識別的所述次識別目標，決定在所述增強真實空間中將布置的增強真實對象。
[0151](2)根據(jù)(I)所述的圖像處理設(shè)備，其中，根據(jù)所述主識別目標在所述圖像中的布置，所述控制單元通過使用定義所述次識別目標相對于所述主識別目標的相對布置的布置數(shù)據(jù)，確定將要識別的所述次識別目標的布置。
[0152](3)根據(jù)(2)所述的圖像處理設(shè)備，其中，在根據(jù)所述次識別目標的布置確定所述次識別目標沒有在所述圖像中充分示出的情況下，所述控制單元致使在屏幕上顯示推薦改變視角的顯示對象。
[0153](4)根據(jù)(2)或(3)所述的圖像處理設(shè)備，其中，通過對按照所述次識別目標的布置而獲取的部分圖像執(zhí)行識別處理來識別所述次識別目標。
[0154](5)根據(jù)(4)所述的圖像處理設(shè)備，其中，所述布置數(shù)據(jù)還定義所述次識別目標的類型，以及基于通過使用所述布置數(shù)據(jù)確定的所述次識別目標的類型，選擇用于識別所述次識別目標的識別處理。
[0155](6)根據(jù)⑴至(5)中的任一項所述的圖像處理設(shè)備，其中，所述次識別目標包括由用戶編輯的可視代碼，以及通過使用其中用于識別所述次識別目標的代碼被映射至對應(yīng)的增強真實對象的對象數(shù)據(jù)，所述控制單元決定將在增強真實空間中布置的增強真實對象。
[0156](7)根據(jù)(6)所述的圖像處理設(shè)備，其中，針對所述主識別目標的多個候選者中的每個，定義所述對象數(shù)據(jù)，以及為了決定增強真實對象，所述控制單元使用與從所述多個候選者之中識別的主識別目標對應(yīng)的對象數(shù)據(jù)。
[0157](8)根據(jù)⑴至(7)中的任一項所述的圖像處理設(shè)備，其中，所述主識別目標是已知圖像或已知圖案，以及所述圖像處理設(shè)備還包括識別單元，所述識別單元通過將所述圖像與一個或多個已知圖像或已知圖案的特征數(shù)據(jù)匹配來執(zhí)行圖像識別。
[0158](9)根據(jù)⑴至⑶中的任一項所述的圖像處理設(shè)備，其中，所述控制單元致使在屏幕上顯示所述主識別目標的識別狀態(tài)和所述次識別目標的識別狀態(tài)中的至少一個。
[0159](10)根據(jù)(2)至(5)中的任一項所述的圖像處理設(shè)備，其中，所述布置包括識別目標的位置、姿勢和尺寸中的至少一個。
[0160](11) 一種圖像處理方法，所述圖像處理方法包括:
[0161]獲取示出包括主識別目標和次識別目標的真實對象的圖像；
[0162]基于所述主識別目標的圖像識別，設(shè)置與所述圖像關(guān)聯(lián)的增強真實空間；以及
[0163]根據(jù)基于所述主識別目標的圖像識別而識別的所述次識別目標，決定在所設(shè)置的增強真實空間中將布置的增強真實對象。
[0164](12) 一種致使控制圖像處理設(shè)備的計算機用作以下部分的程序:
[0165]圖像獲取單元，被配置成獲取示出真實對象的圖像，所述真實對象包括主識別目標和次識別目標；以及
[0166]控制單元，被配置成基于所述主識別目標的圖像識別，設(shè)置與所述圖像關(guān)聯(lián)的增強真實空間，并且被配置成根據(jù)基于所述主識別目標的圖像識別而識別的所述次識別目標，決定在所述增強真實空間中將布置的增強真實對象。
[0167](13) 一種包括印刷表面的印刷介質(zhì),所述印刷介質(zhì)包括:
[0168]主識別目標，被印刷到所述印刷表面上并且用于將示出所述印刷介質(zhì)的圖像與增強真實空間關(guān)聯(lián)；以及
[0169]次識別目標和用于次識別目標的編輯區(qū)中的一個，被印刷到所述印刷表面上并且用于決定在增強真實空間中將布置的增強真實對象。
[0170](14) 一種印刷介質(zhì)套件，所述套件包括:
[0171]多個根據(jù)(13)所述的印刷介質(zhì)，
[0172]其中，所述印刷介質(zhì)中的兩個或更多個分別包括具有同樣外觀的主識別目標和其中編碼有不同值的次識別目標。
[0173](15)根據(jù)(14)所述的印刷介質(zhì)套件，其中，在兩個或更多個所述印刷介質(zhì)的印刷表面上，所述次識別目標相對于所述主識別目標的相對布置是固定的。
[0174](16)根據(jù)(13)所述的印刷介質(zhì)套件，還包括:
[0175]所述次識別目標；
[0176]刮層，形成在所述印刷表面上的覆蓋所述次識別目標的位置處。
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 圖像獲取單元，被配置成獲取示出真實對象的圖像，所述真實對象包括主識別目標和次識別目標；以及 控制單元，被配置成基于所述主識別目標的圖像識別，設(shè)置與所述圖像關(guān)聯(lián)的增強真實空間，并且被配置成根據(jù)基于所述主識別目標的圖像識別而識別的所述次識別目標，決定在所述增強真實空間中將布置的增強真實對象。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，根據(jù)所述主識別目標在所述圖像中的布置，所述控制單元通過使用定義所述次識別目標相對于所述主識別目標的相對布置的布置數(shù)據(jù)，確定將要識別的所述次識別目標的布置。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，在根據(jù)所述次識別目標的布置確定所述次識別目標沒有在所述圖像中充分示出的情況下，所述控制單元致使在屏幕上顯示推薦改變視角的顯示對象。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，通過對按照所述次識別目標的布置而獲取的部分圖像執(zhí)行識別處理來識別所述次識別目標。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中，所述布置數(shù)據(jù)還定義所述次識別目標的類型，以及 基于通過使用所述布置數(shù)據(jù)確定的所述次識別目標的類型，選擇用于識別所述次識別目標的識別處理。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述次識別目標包括由用戶編輯的可視代碼，以及 通過使用其中用于識別所述次識別目標的代碼被映射至對應(yīng)的增強真實對象的對象數(shù)據(jù)，所述控制單元決定將在增強真實空間中布置的增強真實對象。
7.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中，針對所述主識別目標的多個候選者中的每個，定義所述對象數(shù)據(jù)，以及 為了決定增強真實對象，所述控制單元使用與從所述多個候選者之中識別的主識別目標對應(yīng)的對象數(shù)據(jù)。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述主識別目標是已知圖像或已知圖案，以及 所述圖像處理設(shè)備還包括識別單元，所述識別單元通過將所述圖像與一個或多個已知圖像或已知圖案的特征數(shù)據(jù)匹配來執(zhí)行圖像識別。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述控制單元致使在屏幕上顯示所述主識別目標的識別狀態(tài)和所述次識別目標的識別狀態(tài)中的至少一個。
10.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述布置包括識別目標的位置、姿勢和尺寸中的至少一個。
11.一種圖像處理方法,包括: 獲取示出包括主識別目標和次識別目標的真實對象的圖像； 基于所述主識別目標的圖像識別，設(shè)置與所述圖像關(guān)聯(lián)的增強真實空間；以及 根據(jù)基于所述主識別目標的圖像識別而識別的所述次識別目標，決定在所設(shè)置的增強真實空間中將布置的增強真實對象。
12.—種致使控制圖像處理設(shè)備的計算機用作以下單元的程序: 圖像獲取單元，被配置成獲取示出真實對象的圖像，所述真實對象包括主識別目標和次識別目標；以及 控制單元，被配置成基于所述主識別目標的圖像識別，設(shè)置與所述圖像關(guān)聯(lián)的增強真實空間，并且被配置成根據(jù)基于所述主識別目標的圖像識別而識別的所述次識別目標，決定在所述增強真實空間中將布置的增強真實對象。
13.—種包括印刷表面的印刷介質(zhì)，所述印刷介質(zhì)包括: 主識別目標，被印刷到所述印刷表面上并且用于將示出所述印刷介質(zhì)的圖像與增強真實空間關(guān)聯(lián)；以及 次識別目標和用于次識別目標的編輯區(qū)中的一個，被印刷到所述印刷表面上并且用于決定在增強真實空間中將布置的增強真實對象。
14.一種印刷介質(zhì)套件,所述套件包括: 多個根據(jù)權(quán)利要求13所述的印刷介質(zhì)， 其中，所述印刷介質(zhì)中的兩個或更多個分別包括具有同樣外觀的主識別目標和其中編碼有不同值的次識別目標。
15.根據(jù)權(quán)利要求14所述的印刷介質(zhì)套件，其中，在兩個或更多個所述印刷介質(zhì)的印刷表面上，所述次識別目標相對于所述主識別目標的相對布置是固定的。
16.根據(jù)權(quán)利要求14所述的印刷介質(zhì)，還包括: 所述次識別目標；以及 刮層，形成在所述印刷表面上的覆蓋所述次識別目標的位置處。
【文檔編號】G06T19/00GK104243952SQ201410254909
【公開日】2014年12月24日 申請日期:2014年6月10日 優(yōu)先權(quán)日:2013年6月17日
【發(fā)明者】田原哲雄, 塩野崎敦 申請人:索尼公司