專利名稱：顯示控制設(shè)備、顯示控制方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及一種顯示控制設(shè)備、顯示控制方法和程序。
背景技術(shù)：
近來，圖像識別技術(shù)變得更加先進，使得能夠識別包含在來自成像設(shè)備的輸入圖像中的真實物體(例如，如招牌或者建筑物的物體)的姿態(tài)或位置。已知AR(增強現(xiàn)實)應(yīng)用作為該物體識別的一種應(yīng)用示例。根據(jù)AR應(yīng)用，將與真實物體相關(guān)聯(lián)的虛擬物體(例 如，廣告信息、導航信息或游戲的信息)疊加到包含在真實空間圖像中的真實物體上是可能的。要注意的是，例如，在日本未審查專利申請公開第2010-49158號中公開了 AR應(yīng)用。然而，虛擬物體趨向于以相對于真實物體統(tǒng)一的姿態(tài)被添加到真實物體。因此，虛擬物體的可視性在根據(jù)真實物體的姿態(tài)的一些情況中被削弱。

發(fā)明內(nèi)容
針對上述情況，本公開提出一種新穎的和改進的顯示控制設(shè)備、顯示控制方法和程序，其使得能夠改進虛擬物體的可視性。本發(fā)明的方面包括一種顯示控制設(shè)備，其包括被配置成確定在真實空間圖像中的真實物體的定向的確定單元。該設(shè)備還可以包括控制單元，該控制單元被配置成基于真實物體定向來在虛擬物體的第一和第二定向之間進行選擇，并且基于所選擇的定向輸出虛擬物體的圖像以顯示在相關(guān)聯(lián)的顯示設(shè)備上，其中第一或第二虛擬物體定向之一將虛擬物體與真實物體定向?qū)?。本發(fā)明的方面還包括一種方法，其包括確定在真實空間圖像中的真實物體的定向。方法還可以包括基于真實物體定向在虛擬物體的第一和第二定向之間進行選擇，并且基于所選擇的定向輸出虛擬物體的圖像以顯示在相關(guān)聯(lián)的顯示設(shè)備上，其中第一或第二虛擬物體定向之一將虛擬物體與真實物體定向?qū)省１景l(fā)明的方面還包括存儲下述指令的有形呈現(xiàn)的非暫態(tài)計算機可讀介質(zhì)，所述指令當由處理器執(zhí)行時執(zhí)行下述方法，該方法包括確定在真實空間圖像中的真實物體的定向，基于真實物體定向在虛擬物體的第一和第二定向之間進行選擇，并且基于所選擇的定向輸出虛擬物體的圖像以顯示在相關(guān)聯(lián)的顯示設(shè)備上，其中第一或第二虛擬物體定向中的一個將虛擬物體與真實物體定向?qū)?。如上面說明，根據(jù)本發(fā)明的實施例的顯示控制設(shè)備、顯示控制方法和程序使得能夠改進虛擬物體的可視性。


圖I是示出根據(jù)本公開的AR系統(tǒng)的配置的說明圖；圖2是示出添加有虛擬物體的真實空間圖像的具體示例的說明圖；圖3是示出本公開的比較示例的說明圖；圖4是示出移動終端的硬件配置的說明圖；圖5是示出根據(jù)第一實施例的移動終端的配置的方框圖；圖6是示出真實物體的正面面對狀態(tài)的說明圖；圖7是示出真實物體的平面圍繞I軸線旋轉(zhuǎn)的狀態(tài)的視圖；圖8是示出將標簽圖形添加到根據(jù)第一實施例的真實空間圖像的示例的視圖；
圖9是示出將標簽圖形添加到根據(jù)第一實施例的真實空間圖像的另一示例的視圖；圖10是示出當存在多個真實物體時添加標簽圖形的視圖；圖11是示出真實物體的平面圍繞X軸線旋轉(zhuǎn)的狀態(tài)的視圖；圖12是示出將標簽圖形添加到根據(jù)第一實施例的真實空間圖像的示例的視圖；圖13是示出根據(jù)第一實施例的移動終端的操作的流程圖；圖14是示出根據(jù)本公開的第二實施例的AR系統(tǒng)的配置的視圖；圖15是示出根據(jù)本公開的第二實施例的移動終端的配置的方框圖；圖16是示出將標簽圖形添加到根據(jù)第二實施例的真實空間圖像的示例的視圖；圖17是示出將標簽圖形添加到根據(jù)第二實施例的另一真實空間圖像的示例的視圖；圖18是示出將標簽圖形添加到根據(jù)第二實施例的替選示例的真實空間圖像的示例的視圖；以及圖19是示出根據(jù)本公開的第三實施例的AR系統(tǒng)的配置的視圖。
具體實施例方式此后，將通過參考附圖來詳細說明本公開的實施例。注意的是，在該說明書和附圖中，具有基本上相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件以相同的附圖標記來表示，并且省略這些結(jié)構(gòu)元件的重復說明。在該說明書和附圖中，在一些情況中，通過將不同的字母附于相同的附圖標記來區(qū)分具有基本上相同功能的多個結(jié)構(gòu)元件的每一個。然而，當不特別需要在具有基本上相同的功能的多個結(jié)構(gòu)元件之間進行區(qū)分時，其僅以相同的附圖標記來表示。 此外，將以下述順序提供“實施例的描述”。I. AR系統(tǒng)的概述2.實施例的描述2-1.第一實施例2-2.第二實施例2-3.第三實施例3.總結(jié)I. AR系統(tǒng)的概述作為說明，根據(jù)本公開的AR系統(tǒng)可以以如在“2-1.第一實施例”到“2-3.第三實施例”中詳細地說明的多種實施例中來實施。此外，組成根據(jù)每個實施例的AR系統(tǒng)的顯示控制設(shè)備(移動終端20，AR服務(wù)器30)可以包括A.控制單元(241、242)，可以控制與包含在真實空間圖像中的真實物體對應(yīng)的虛擬物體的顯示，以及B.控制單元可以根據(jù)在真實空間圖像中的真實物體的姿態(tài)改變相對于真實物體的虛擬物體的姿態(tài)(或等同地，“定向”)，此后，首先通過參考圖I和2說明每個實施例共有的、AR系統(tǒng)的基本配置。圖I是示出根據(jù)本公開的AR系統(tǒng)的配置的視圖。如圖I所示，根據(jù)本公開的AR系統(tǒng)可以包括具有成像功能的移動終端20。移動終端20可以捕獲真實空間圖像，將與包含在真實空間圖像中的真實物體對應(yīng)的虛擬物體添加到真實空間圖像，并且將添加有虛擬物體的真實空間圖像顯示在顯示器26上。 例如，當由移動終端20捕獲的真實物體是如在圖I中示出的、示出列車時刻的時刻表40A時，移動終端20可以在顯示器26上顯示添加有相應(yīng)于時刻表40A的虛擬物體的真實空間圖像。此后，參考圖2具體說明添加有虛擬物體的真實空間圖像。圖2是示出添加有虛擬物體的真實空間圖像的示例的視圖。如示出在圖2中，真實空間圖像P包含作為真實物體的時刻表40A和作為添加到時刻表40A的虛擬物體的標簽圖形50A。如示出在圖2中，例如，標簽圖形50A可以添加在與時刻表40A相同的平面上。通過查看添加有虛擬物體的真實空間圖像，可以向用戶通知無法直接地從真實空間中獲取的信息(在圖2的情況中，例如，指示真實物體是時刻表的信息)。此外，用戶可以通過在顯示屏上實施操作來改變包含在真實空間圖像中的虛擬物體的顯示。例如，當多個虛擬物體與一個真實物體相關(guān)聯(lián)時，移動終端20可以根據(jù)例如用戶操作而在多個虛擬物體中切換要顯示的虛擬物體。更具體的是，當示出區(qū)域地圖的虛擬物體和標簽圖形50A與時刻表40A相關(guān)聯(lián)時，移動終端20可以根據(jù)用戶操作將示出區(qū)域地圖的虛擬物體疊加到時刻表40A的顯示上。注意，當如上面說明，多個虛擬物體與一個真實物體相關(guān)聯(lián)時，移動終端20可以將例如標識相關(guān)聯(lián)的虛擬物體的標簽圖形(如標記圖形)添加到真實物體。例如，除了標簽圖形50A之外，移動終端20可以將包含文本信息“區(qū)域地圖”的標記圖形添加到時刻表40A。盡管上面說明貼在墻上的時刻表40A作為真實物體的示例，但是在圖I中示出的放置在地板上的出口指示40B可以以相同的方式視為真實物體。此外，真實物體可以是如招牌、建筑物、車輛、食品或者玩具的物體或如QR碼或者AR標記的標識圖案。此外，盡管在圖I中智能電話被示為移動終端20的示例，但是移動終端20不限于智能電話。例如，移動終端20可以是PDA(個人數(shù)字助理)、移動電話、便攜式音樂播放設(shè)備、便攜式視頻處理設(shè)備、或便攜式游戲機或者具有顯示能力的多種其他適當設(shè)備。此外，移動終端20僅是顯示控制設(shè)備的示例，并且顯示控制設(shè)備可以是安裝在網(wǎng)絡(luò)側(cè)的服務(wù)器。附帶地，當上面說明的標簽圖形50添加在與真實物體40相同的平面上時，標簽圖形50的可視性和可操作性在一些情況中被削弱。例如，在形成時刻表40A的平面和真實空間圖像的成像光軸之間的角度很小的情況中，當將標簽圖形50’添加在與時刻表40A相同的平面上時，標簽圖形50’的顯示由于大的傾斜而很小，這使得可視性劣化。此外，當標簽圖形50’包括接受用戶操作的區(qū)域時，如果標簽圖形50’的顯示很小，則操作確定區(qū)域顯著減小。根據(jù)本公開的實施例，改進虛擬物體的可視性和可操作性是可能的。此后，按照參考圖4對移動終端20的硬件配置的描述，詳細地順序說明本公開的實施例。(移動終端的硬件配置)圖4是示出移動終端20的硬件配置的視圖。如在圖3中示出，移動終端20可以包括CPU (中央處理單元)201、ROM (只讀存儲器)202、RAM (隨機存取存儲器)203、輸入設(shè)備208、輸出設(shè)備210、存儲設(shè)備211、驅(qū)動器212、成像設(shè)備213和通信設(shè)備215。CPU 201充當處理設(shè)備和控制設(shè)備，并且其根據(jù)多種程序控制在移動終端20中的總體操作。CPU 201可以是微處理器。ROM 202存儲要由CPU 201所使用的程序、處理參數(shù)等。RAM 203暫時地存儲要使用在CPU201上的執(zhí)行中的程序、在執(zhí)行期間變化的參數(shù)等。 CPU 201、ROM 202和RAM 203通過可以是CPU總線等的主機總線連接。例如，輸入設(shè)備208可以由用于用戶輸入信息的輸入裝置(如鼠標、鍵盤、觸摸板、按鈕、麥克風、開關(guān)或者操作桿)和基于用于輸入來生成輸入信號并且將其輸出到CPU 201的輸入控制電路組成。移動終端20的用戶可以操控輸入設(shè)備208，由此輸入多種數(shù)據(jù)或者指導對移動終端20的處理操作。輸出設(shè)備210可以包括如IXD(液晶顯示器)設(shè)備、OLED(有機發(fā)光二極管)設(shè)備或者燈的顯不設(shè)備。此外，輸出設(shè)備210可以包括如揚聲器或耳機的聲音輸出設(shè)備。例如，顯示設(shè)備顯示所捕獲的圖像、所生成的圖像等。另一方面，聲音輸出設(shè)備可以將聲音數(shù)據(jù)等轉(zhuǎn)換成聲音并且輸出該聲音。存儲設(shè)備211可以包括配置為根據(jù)實施例的移動終端20的存儲單元的示例的、用于數(shù)據(jù)存儲的設(shè)備。存儲設(shè)備211可以包括存儲介質(zhì)、將數(shù)據(jù)記錄到存儲介質(zhì)中的記錄設(shè)備、從存儲介質(zhì)中讀取數(shù)據(jù)的讀取設(shè)備、刪除記錄在存儲介質(zhì)中的數(shù)據(jù)的刪除設(shè)備等。存儲設(shè)備211存儲要由CPU201執(zhí)行的程序和多種數(shù)據(jù)。驅(qū)動器212可以包括用于存儲介質(zhì)的讀寫器，并且其可以置于移動終端20中或者在外部附接到移動終端20。驅(qū)動器212讀取記錄在附接到驅(qū)動器212的、如磁盤、光盤、磁光盤或者半導體存儲器的可拆卸存儲介質(zhì)24上的信息，并且將信息輸出給RAM 203。此外，驅(qū)動器212可以將信息寫入到可拆卸存儲介質(zhì)24中。成像設(shè)備213可以包括如聚集光的取像鏡頭或者變焦鏡頭的成像光學系統(tǒng)以及如CCD (電荷耦合裝置)或CMOS (互補金屬氧化物半導體)的信號轉(zhuǎn)換器。成像光學系統(tǒng)聚集從對象發(fā)射的光并且在信號轉(zhuǎn)換器上形成對象圖像，并且信號轉(zhuǎn)換器將形成的對象圖像轉(zhuǎn)換成電圖像信號。例如，通信設(shè)備215可以包括由通信設(shè)備等組成的通信接口以與網(wǎng)絡(luò)12形成連接。通信設(shè)備215可以是與無線LAN(局域網(wǎng))兼容的通信設(shè)備、與LTE(長期演進)兼容的通信設(shè)備、或者是進行有線通信的有線通信設(shè)備。注意，網(wǎng)絡(luò)12可以包括信息的有線或者無線傳輸通道，該信息從與網(wǎng)絡(luò)12連接的設(shè)備傳輸。例如，網(wǎng)絡(luò)12可以包括如因特網(wǎng)、電話線網(wǎng)絡(luò)或者衛(wèi)星通信網(wǎng)絡(luò)的公共網(wǎng)絡(luò)、包括以太網(wǎng)(注冊商標)的多種LAN(局域網(wǎng))、WAN(廣域網(wǎng))等。此外，網(wǎng)絡(luò)12可以包括如IP-VPN(因特網(wǎng)協(xié)議-虛擬專用網(wǎng)絡(luò))的租用專線網(wǎng)。
2.實施例的描述上面，通過參考附圖I至4說明了根據(jù)本公開的AR系統(tǒng)的基本配置。此后，參考附圖5至19詳細說明本公開的第一實施例至第三實施例。2-1.第一實施例移動終端的配置圖5是示出根據(jù)第一實施例的移動終端20-1的配置的方框圖。如在圖5中示出，根據(jù)第一實施例的移動終端20-1可以包括顯示器26、觸摸板27、成像設(shè)備213、特征值DB220，圖像識別單元224 (或者，等同地，“確定單元”)、虛擬物體DB 228、虛擬物體獲取單元232和控制單元241。
顯示器26可以包括由IXD、0LED等組成的顯示模塊。顯示器26根據(jù)控制單元241的控制顯示各種畫面。例如，顯示器26顯示由成像設(shè)備213所捕獲的真實空間圖像和相應(yīng)于真實物體所添加的虛擬物體。此外，盡管在圖5中示出其中將顯示器26安裝為移動終端20-1的一部分的示例，但是顯示器26可以為與移動終端20-1分開的構(gòu)件。替選地，顯示器26可以包括安裝在用戶頭部上的HMD (頭戴顯示器)。觸摸板27可以包括安裝到顯示器26上的操作檢測單元。觸摸板27可以檢測如用戶手指或者觸摸筆的操作體的接近或者接觸。注意，觸摸板27僅是操作檢測單元的示例，并且移動終端20-1可以包括如鍵盤和按鈕的其他操作部件。如上面參考圖4說明的，成像設(shè)備213可以包括成像光學系統(tǒng)和信號轉(zhuǎn)換器，并且根據(jù)控制單元241的控制來捕獲真實空間圖像(移動圖像或者靜止圖像)。注意，成像設(shè)備213可以分別包括用于對移動圖像成像的部件和用于對靜止圖像成像的部件。特征值DB 220可以包括存儲真實物體圖像的特征值數(shù)據(jù)的數(shù)據(jù)庫。具體地，在特征值DB 220中，用于標識每個真實物體的標識信息和每個真實物體的特征值數(shù)據(jù)彼此關(guān)聯(lián)。特征值數(shù)據(jù)可以為從使用例如SIFT或者隨機蕨算法(Random Ferns)學習真實物體的圖像而確定的一組特征值。圖像識別單元224可以識別包含在由成像設(shè)備213所捕獲的真實空間圖像中的真實物體以及在真實空間圖像中的真實物體的位置和姿態(tài)。例如，圖像識別單元224通過相對于存儲在特征值DB 220中的每個真實物體的特征值來檢查從真實空間圖像確定的特征值，識別包含在真實空間圖像中的真實物體。具體地，圖像識別單元224根據(jù)如SIFT或者隨機蕨算法的特征值確定方法來確定在真實空間圖像中的真實物體的特征值，并且相對于存儲在數(shù)據(jù)庫220中的每個真實物體的特征值來檢查所確定的特征值。然后，圖像識別單元224識別與特征值相關(guān)聯(lián)的真實物體的標識信息，并且可以確定或者識別在真實空間圖像中的真實物體的位置和姿態(tài)，其中該特征值與真實空間圖像中的真實物體的特征值匹配。注意，圖像識別單元224可以識別如已知圖形或者符號、人工標記(例如條形碼或者QR碼)或者自然標記的真實物體，并且基于在真實空間圖像中的真實物體的大小和形狀識別真實物體的位置和姿態(tài)。此外，盡管上面說明了其中通過圖像處理來識別包含在真實空間圖像中的真實物體的示例，但是識別真實物體的方法不限于圖像處理。例如，可行的是，檢測成像設(shè)備213所指向的方向和移動終端20-1的當前位置，并且基于檢測結(jié)果估計包含在真實空間圖像中的真實物體和真實空間圖像中的真實物體的位置和姿態(tài)。虛擬物體DB 228可以包括存儲要添加到真實物體的虛擬物體的數(shù)據(jù)庫。具體地，在虛擬物體DB 228中，虛擬物體的標識信息、真實物體的標識信息、指示相對于真實物體的顯示位置的設(shè)定信息、和要呈現(xiàn)給用戶的虛擬物體彼此相關(guān)聯(lián)。例如，虛擬物體是如之前參考圖2所說明的標簽圖形50 ;然而，標簽圖形50僅是虛擬物體的示例。虛擬物體可以為文本格式或者圖像格式。虛擬物體獲取單元232可以獲取相應(yīng)于由圖像識別單元224所識別的真實物體的設(shè)定信息和虛擬物體。例如，虛擬物體獲取單元232從虛擬物體DB 228獲取與圖像識別單元224所識別的真實物體的標識信息相關(guān)聯(lián)的設(shè)定信息和虛擬物體。控制單元241可以控制移動終端20-1的總體操作。例如，控制單元241將虛擬物體獲取單元232所獲取的虛擬物體添加到真實空間圖像并且將添加有虛擬物體的真實空間圖像顯示在顯示器26上?？刂茊卧?41可以根據(jù)在真實空間圖像中的真實物體的姿態(tài)來相對于真實物體·改變虛擬物體的姿態(tài)(或者等同地，“定向”)。例如，根據(jù)真實物體的平面圍繞著與真實空間圖像的成像光軸相交的軸線的旋轉(zhuǎn)角度，控制單元241將虛擬物體添加到與真實物體平面相同的平面(其包括平坦平面和彎曲的平面；同樣適用于下面的詞“平面”)、平行于真實物體平面的平面、與真實物體平面成給定關(guān)系的平面、不同于真實物體平面的平面等。具體地，在參照真實物體的正面面對狀態(tài)的、上面說明的圍繞軸線的旋轉(zhuǎn)角度小于一定值的情況中，控制單元241可以將虛擬物體添加到與真實物體平面相同或平行的平面上。另一方面，在參照正面面對狀態(tài)的、上面說明的圍繞軸線的旋轉(zhuǎn)角度大于或者等于該值的情況中，控制單元241可以將虛擬物體添加到不同于真實物體平面的平面上。下面詳細地說明控制單元241的這種功能。(正面面對狀態(tài))首先，參考圖6說明真實物體的正面面對狀態(tài)。圖6是示出真實物體的正面面對狀態(tài)的視圖。注意，在該說明書中使用的z軸線是真實空間圖像的成像光軸，X軸線是沿著真實空間圖像的水平方向的軸線，y軸線是沿著真實空間圖像的垂直方向的軸線，并且X軸線、y軸線和z軸線彼此正交。如在圖6中示出，正面面對狀態(tài)是真實物體40的平面正交于作為成像光軸的z軸線的狀態(tài)。注意，在圖6中示出的真實物體40的平面可以不同于真實物體40的實際平面，并且其可以是事先為真實物體40定義的平面。在下文討論參照正面面對狀態(tài)的、真實物體40的平面的旋轉(zhuǎn)軸線。然而，充當用于旋轉(zhuǎn)軸線的基準的狀態(tài)不限制于正面面對狀態(tài)，并且真實物體的其他姿態(tài)可以視為基準狀態(tài)。(圍繞y軸線的旋轉(zhuǎn)角度a)圖7是示出真實物體40的平面圍繞著y軸線旋轉(zhuǎn)的狀態(tài)的視圖。在該說明書中，如在圖7中示出，參照正面面對狀態(tài)的、圍繞著I軸線的真實物體40的平面的旋轉(zhuǎn)角度稱作ct。在旋轉(zhuǎn)角度a小于一定值的情況中，控制單元241可以將作為虛擬物體的標簽圖形添加到與真實物體平面相同或平行的平面上。另一方面，在旋轉(zhuǎn)角度a大于或等于該值的情況中，控制單元241可以將標簽圖形添加到不同于真實物體平面的平面上。此后，這具體地通過參考圖8至10來說明。圖8是示出將標簽圖形添加到根據(jù)第一實施例的真實空間圖像的示例的視圖。如在圖8中示出，當時刻表40A的旋轉(zhuǎn)角度a等于或者大于一定值時，控制單元241可以將標簽圖形50A添加到正交于時刻表40A的平面上(即關(guān)于在x-z平面上的時刻表40A以90度或者270度定向的平面)。在該配置中，可以減小相對于正面面對狀態(tài)的傾角以及增加標簽圖形50A的顯示區(qū)域，并且因此可以增加標簽圖形50A的可視性。此外，通過如在圖8中示出的、將如標簽圖形50A的虛擬物體添加到與真實物體沒有交疊的位置，可以增加真實物體的可視性。注意，當由于真實物體的旋轉(zhuǎn)角度a變得大于一定值，控制單元241改變標簽圖形50A的相對姿態(tài)時，控制單元241可以使用動畫表示姿態(tài)的改變過程，使得用戶可以識別該改變。 圖9是示出將標簽圖形添加到根據(jù)第一實施例的真實空間圖像的另一示例的視圖。如在圖9中示出，當時刻表40A的旋轉(zhuǎn)角度a等于或者大于一定值時，控制單元241可以將標簽圖形50A添加到與作為成像光軸的z軸線正交的平面(即x-y平面)上。還在該配置中，可以增加標簽圖形50A的可視性。注意，當如在圖10中示出在真實空間圖像中包含多個真實物體40L、40M和40N時，控制單元241可以添加分別相應(yīng)于真實物體40標簽圖形50L、50M和50N，使得標簽圖形50沒有交疊。在該配置中，可以增加標簽圖形50的可視性。盡管在上面參考圖7至10說明了在真實物體40的平面圍繞著y軸線旋轉(zhuǎn)的情況中的顯示控制，但是在真實物體40的平面圍繞著X軸線旋轉(zhuǎn)的情況中，也可以以相同的方式執(zhí)行顯示控制。(圍繞X軸線的旋轉(zhuǎn)角度3)圖11是示出真實物體40的平面圍繞著X軸線旋轉(zhuǎn)的狀態(tài)的視圖。在該說明書中，如在圖11中示出，參照正面面對狀態(tài)的圍繞著X軸線的真實物體40的平面的旋轉(zhuǎn)角度稱作3。(基于旋轉(zhuǎn)角度P的顯示控制)在旋轉(zhuǎn)角度P小于一定值(該值可以與對于旋轉(zhuǎn)角a的值相同或不同)的情況中，控制單元241可以將標簽圖形添加到與真實物體平面相同或平行的平面上。另一方面，在旋轉(zhuǎn)角度0等于或者大于該值的情況中，控制單元241可以將標簽圖形添加到不同于真實物體平面的平面上。此后，這具體地通過參考圖12來說明。圖12是示出將標簽圖形添加到根據(jù)第一實施例的真實空間圖像的示例的視圖。如在圖12中示出，當出口指示40B的旋轉(zhuǎn)角度P等于或者大于一定值時，控制單元241可以將標簽圖形50B添加到與作為成像光軸的z軸線正交的平面(即x-y平面)上。在該配置中，顯示在正面面對狀態(tài)的標簽圖形50B以及增加標簽圖形50B的顯示區(qū)域是可能的，并且因此可以增加標簽圖形50B的可視性。注意，當出口指示40B的旋轉(zhuǎn)角度P等于或者大于一定值時，控制單元241可以將標簽圖形50B添加到正交于出口指示40B的平面上(即相對于在y_z平面上的出口指示40B以90度或者270度定向的平面)。還在該配置中，可以增加標簽圖形50B的可視性。可以存在已經(jīng)在真實空間圖像中可識別的真實物體由于與移動終端20-1的位置關(guān)系的改變而變得不可識別的情況。例如，當在圖8中示出的真實物體40A的平面進一步圍繞著y軸線以逆時針方向旋轉(zhuǎn)時，真實物體40A的平面可以不再包含在真實空間圖像中，并且因此圖像識別單元224無法再識別真實物體40A。因此，標簽圖形從屏幕中消失。然而，要考慮的是，隨著顯示在真實空間圖像上的真實物體的識別變得更加困難，通知用戶關(guān)于真實物體的信息的重要性更高。因此，當已經(jīng)可識別的真實物體變得不可識別時，控制單元241可以基于之前的識別結(jié)果保持相應(yīng)于真實物體的標簽圖形。例如，控制單元241可以將標簽圖形在一段時間內(nèi)保持在與緊挨在真實物體變得不可識別之前的真實物體的位置和姿態(tài)對應(yīng)的位置和姿態(tài)。在該配置中，通知用戶關(guān)于很難在真實空間圖像中觀察的真實物體的信息是可能的。控制單元關(guān)注的旋轉(zhuǎn)角度盡管上面說明了其中當圍繞著y軸線的旋轉(zhuǎn)角度a和圍繞著X軸線的旋轉(zhuǎn)角度^的任一等于或者大于一定值時，控制單元241改變相對于真實物體的標簽圖形的姿態(tài)的 示例，但是本技術(shù)不限制于此。存在如下情況在所添加的標簽圖形的某個位置或定向，甚至當圍繞著特定坐標軸線的旋轉(zhuǎn)角度較大時，施加于標簽圖形的可視性和可操作性的影響也很小。例如，如在圖2中示出，在標簽圖形50A添加在沿著真實物體40A的y軸線方向的側(cè)的情況中，圍繞著X軸線的真實物體40A的旋轉(zhuǎn)角度對于標簽圖形50A的可視性的影響相對小。因此，當真實物體的平面處于正面面對狀態(tài)時，控制單元241可以關(guān)注沿著添加有標簽圖形的側(cè)的方向的坐標軸線，并且根據(jù)圍繞著該坐標軸線的旋轉(zhuǎn)角度是否等于或者大于一定值來控制標簽圖形的姿態(tài)。例如，因為當出口指示40B的平面處于正面面對狀態(tài)時，將在圖12中示出的標簽圖形50B添加到沿著X軸線方向的側(cè)，因此控制單元241可以僅關(guān)注用于標簽圖形50B的姿態(tài)控制的、圍繞X軸線的旋轉(zhuǎn)角度。注意，可以由如圍繞著X軸線的旋轉(zhuǎn)角度、圍繞著I軸線的旋轉(zhuǎn)角度和圍繞著z軸線的旋轉(zhuǎn)角度的每個分量來表示真實物體40A的姿態(tài)。移動終端的操作在上面通過參考圖5至12說明了根據(jù)第一實施例的移動終端20-1的配置。此后，通過參考圖13說明根據(jù)第一實施例的移動終端20-1的操作。圖13是示出根據(jù)第一實施例的移動終端20-1的操作的流程圖。如在圖13中示出，當通過成像設(shè)備213捕獲真實空間圖像時，圖像識別單元224標識包含在真實空間圖像中的真實物體并且識別真實物體的位置、姿態(tài)、比例等(S310)。接下來，虛擬物體獲取單元232基于圖像識別單元224的識別結(jié)果來獲取相應(yīng)于真實物體的虛擬物體(S320)。之后，控制單元241確定參照由圖像識別單元224所識別的真實物體的正面面對狀態(tài)的旋轉(zhuǎn)角度是否等于或者大于一定值(S330)。當旋轉(zhuǎn)角度小于該值時(在S330中為否)，控制單元241將虛擬物體添加到與真實物體平面相同或平行的平面上(S340)。另一方面，當旋轉(zhuǎn)角度等于或者大于該值時(在S330中為是)，控制單元241將虛擬物體添加到不同于真實物體平面的平面上(S350)。例如，當旋轉(zhuǎn)角度等于或者大于該值時(在S330中為是)，控制單元241可以將虛擬物體添加到正交于作為成像光軸的z軸線的平面上。在該配置中，可以以正面面對狀態(tài)顯示虛擬物體，并且因此改進標簽圖形50B的可視性是可能的。2-2.第二實施例上面通過參考圖5至13說明了本公開的第一實施例。此后，通過參考圖14至18說明本公開的第二實施例。在本公開的第二實施例中，提出在真實物體具有多個平面的情況中的虛擬物體的顯示方法。(根據(jù)第二實施例的AR系統(tǒng))圖14是示出根據(jù)本公開的第二實施例的AR系統(tǒng)的配置的視圖。根據(jù)第二實施例的AR系統(tǒng)包括移動終端20-2，并且其應(yīng)用于移動終端20-2捕獲如在圖14中示出的牛奶盒40C的、具有多個平面的真實物體的圖像的情況。在圖14中示出的牛奶盒40C具有其上印刷有商品名稱的第一平面42和其上印刷有配料的第二平面44作為多個平面。(根據(jù)第二實施例的移動終端的配置)圖15是示出根據(jù)第二實施例的移動終端20-2的配置的方框圖。如在圖15中示出，根據(jù)第二實施例的移動終端20-2包括顯示器26、觸摸板27、成像設(shè)備213、特征值DB220，圖像識別單元224、虛擬物體DB 228、虛擬物體獲取單元232和控制單元242。顯示器 26、觸摸板27、成像設(shè)備213、特征值DB 220、圖像識別單元224、虛擬物體DB 228以及虛擬物體獲取單元232的功能與在第一實施例中說明的這些一樣，并且下面主要說明不同于第一實施例中的元件。除了根據(jù)第一實施例的控制單元241的功能的全部或者一些之外，控制單元242具有主平面確定單元250的功能和根據(jù)主平面確定單元250的確定結(jié)果添加一定姿態(tài)的虛擬物體的功能。當包含在真實空間圖像中的真實物體具有多個平面時，主平面確定單元250在個平面中確定主平面。例如，主平面確定單元250可以在多個平面中將圖像識別單元224所識別的具有最大識別面積的平面確定為主平面。替選地，主平面確定單元250可以在多個平面中將具有相對于作為成像光軸的z軸線的最高正交性的平面(最接近正面面對狀態(tài)的平面)確定為主平面。此外，事先可以為每個真實物體定義主平面?？刂茊卧?42將相應(yīng)于真實物體的標簽圖形(虛擬物體)添加到由主平面確定單元250所確定的主平面。此后，這具體地通過參考圖16來說明。圖16是示出將標簽圖形添加到根據(jù)第二實施例的真實空間圖像的示例的視圖。在圖16中示出的真實空間圖像中，牛奶盒40C的第一平面42具有大于第二平面44的識別面積并且更接近于正面面對狀態(tài)。因此，主平面確定單元250在牛奶盒40C的第一平面42和第二平面44中將第一平面42確定為主平面。因此，控制單元242將標簽圖形50C添加到主平面確定單元250確定為主平面的第一平面42。注意的是，盡管在圖16的示例中標簽圖形50C為價格顯示，但是標簽圖形50C不限于價格顯示。例如，標簽圖形50C可以是包括過期日期信息、優(yōu)惠券信息和廣告信息的、與牛奶盒40C相關(guān)聯(lián)的任何信息。圖17是示出將標簽圖形添加到根據(jù)第二實施例的另一真實空間圖像的示例的視圖。在圖17中示出的真實空間圖像中，牛奶盒40C的第二平面44具有大于第一平面42的識別面積并且更接近于正面面對狀態(tài)。因此，主平面確定單元250在牛奶盒40C的第一平面42和第二平面44中將第二平面44確定為主平面。
因此，控制單元242將標簽圖形50C添加到由主平面確定單元250確定為主平面的第二平面44。注意，如在圖16和17中示出，相對于牛奶盒40C的標簽圖形50C的姿態(tài)根據(jù)添加有標簽圖形50C的平面而改變。盡管上面說明了其中無論哪個平面是主平面都添加相同的標簽圖形的示例，但是實施例不限制于此。作為另一示例，在虛擬物體DB 228中標簽圖形可以與真實物體的每個平面相關(guān)聯(lián)，并且，在該情況中，如在圖18中示出，控制單元242可以根據(jù)主平面來添加不同的標簽圖形。圖18是示出將標簽圖形添加到根據(jù)第二實施例的替選示例的真實空間圖像的示例的視圖。如在圖18中示出，當?shù)诙矫?4為主平面時，控制單元242可以將表示過期日期的標簽圖形50C’添加到第二平面44，其中該標簽圖形50C’不同于當?shù)谝黄矫?2為主平面時所添加的標簽圖形50C。在該配置中，可以根據(jù)對真實物體進行成像的角度來呈現(xiàn)給用戶多種信息。
為了達到相同的效果，控制單元242可以將相應(yīng)于每個平面的標簽圖形添加到多個平面的全部，此外，控制單元242可以根據(jù)添加有標簽圖形50C的平面的旋轉(zhuǎn)角度來改變相對于牛奶盒40C的標簽圖形50C的姿態(tài)。2-3.第三實施例上面說明了本公開的第二實施例。此后，說明本公開的第三實施例。盡管在第一和第二實施例中說明了單個移動終端構(gòu)成AR的示例，但是移動終端和安裝在網(wǎng)絡(luò)側(cè)的服 務(wù)器可以組合構(gòu)成AR作為本公開的第三實施例。圖19是示出根據(jù)第三實施例的AR系統(tǒng)的配置的視圖。如在圖19中示出，根據(jù)第三實施例的AR系統(tǒng)包括移動終端20-3、網(wǎng)絡(luò)12和AR服務(wù)器30。根據(jù)第三實施例，可以通過將用于AR的一些功能并入到AR服務(wù)器30中來實施云計算。例如，虛擬物體DB和虛擬物體獲取單元的功能可以并入到AR服務(wù)器30中。在該情況中，移動終端20-3可以通過將真實物體的識別結(jié)果作為虛擬物體的獲取請求傳送到AR服務(wù)器30，從AR服務(wù)器30中接收相應(yīng)于真實物體的虛擬物體。此外，圖像識別單元和特征值DB的功能也可以并入到AR服務(wù)器30中。在該情況中，移動終端20-3可以將由成像設(shè)備213所捕獲的圖像傳送給AR服務(wù)器30，并且AR服務(wù)器30可以執(zhí)行真實物體的識別和虛擬物體的獲取并然后將虛擬物體傳送到移動終端20-3。此外，將虛擬物體添加到真實空間圖像的功能可以并入到AR服務(wù)器30中。在該情況中，移動終端20-3可以將由成像設(shè)備213所捕獲的真實空間圖像傳送到AR服務(wù)器30，并且AR服務(wù)器30可以執(zhí)行真實物體的識別、虛擬物體的獲取和虛擬物體的添加，并且然后將添加有虛擬物體的真實空間圖像傳送到移動終端20-3。在將虛擬物體添加到真實空間圖像的功能并入到AR服務(wù)器30中的情況中，AR服務(wù)器30充當顯示控制設(shè)備。3.總結(jié)如上面說明的，根據(jù)本公開的實施例的移動終端20根據(jù)在真實空間圖像中的真實物體的姿態(tài)，將標簽圖形添加到與真實物體平面相同的平面或者不同于真實物體平面的平面。在該配置中，改進標簽圖形的可視性和可操作性是可能的。盡管上面參考

了本公開的優(yōu)選實施例，然而本公開不限制于此。應(yīng)該理解的是，在所附權(quán)利要求或者等同方案的范圍之內(nèi)，根據(jù)設(shè)計要求和其他的因素，本領(lǐng)域的技術(shù)人員可以做出多種修改、組合、子組合和變更。例如，不需要總是按根據(jù)在流程圖中示出的序列的時間先后順序執(zhí)行本說明書中的的移動終端20的處理中的步驟。例如,在移動終端20的處理中的步驟可以以不同于示出在流程圖中的序列的序列來處理或者并行地來處理。此外，可行的是，創(chuàng)建計算機程序，其使得例如CPU、ROM和RAM的硬件并入到移動終端20或者AR服務(wù)器30中以執(zhí)行與上面說明的AR服務(wù)器30或移動終端20的元件的等同的功能。此外，還可以提供其中存儲有這種計算機程序的存儲介質(zhì)。此外，本技術(shù)還可以如下配置。(I) 一種顯示控制設(shè)備，包括控制單元，其控制相應(yīng)于包含在真實空間圖像中的真實物體的虛擬物體的顯示， 其中控制單元根據(jù)在真實空間圖像中的真實物體的姿態(tài)來改變相對于真實物體的虛擬物體的姿態(tài)。(2)根據(jù)⑴所述的顯示控制設(shè)備，其中控制單元根據(jù)在真實空間圖像中的真實物體的姿態(tài)，將虛擬物體添加到與真實物體平面相同的平面、平行于真實物體平面的平面、與真實物體平面成給定關(guān)系的平面、或者不同于真實物體平面的平面。(3)根據(jù)⑴或⑵所述的顯示控制設(shè)備，其中控制單元以根據(jù)圍繞著與真實空間圖像的成像光軸相交的軸線的、真實物體平面的旋轉(zhuǎn)角度的相對姿態(tài)，將虛擬物體添加到真實物體平面。(4)根據(jù)⑶所述的顯示控制設(shè)備，其中當參照真實物體平面正交于成像光軸的正面面對狀態(tài)的、圍繞著相交軸線的旋轉(zhuǎn)角度小于預(yù)定值時，控制單元將虛擬物體添加到與真實物體平面相同或平行的平面，并且當參照正面面對狀態(tài)的、圍繞著相交軸線的旋轉(zhuǎn)角度等于或者大于預(yù)定值時，將虛擬物體添加到不同于真實物體平面的平面。(5)根據(jù)⑷所述的顯示控制設(shè)備，其中當參照正面面對狀態(tài)的、圍繞著相交軸線的旋轉(zhuǎn)角度等于或者大于預(yù)定值時，控制單元將虛擬物體添加到正交于真實物體平面的平面或正交于成像光軸的平面。(6)根據(jù)(3)至(5)中的任一所述的顯示控制設(shè)備，其中添加虛擬物體以相應(yīng)于組成真實物體平面的任意側(cè)，并且其中當真實物體平面在正面面對狀態(tài)時，相交軸線是沿著添加有虛擬物體的側(cè)的方向的軸線。(7)根據(jù)(I)至(6)中的任一所述的顯示控制設(shè)備，其中控制單元將虛擬物體添加到與真實物體沒有交疊的位置。(8)根據(jù)(I)至(7)中的任一所述的顯示控制設(shè)備，其中當在真實空間圖像中包含多個真實物體時，控制單元添加每個虛擬物體，以使得分別相應(yīng)于多個真實物體的虛擬物體沒有交疊。(9)根據(jù)(I)至(8)中的任一所述的顯示控制設(shè)備，其中當控制單元改變虛擬物體的相對姿態(tài)時，控制單元將改變的過程顯示在顯示設(shè)備上。
(10)根據(jù)⑴至(9)中的任一所述的顯示控制設(shè)備，其中當從真實物體中刪除多個平面時，控制單元將虛擬物體添加到多個平面中的
主平面。(11)根據(jù)(10)所述的顯示控制設(shè)備，其中控制單元根據(jù)充當主平面的平面將不同的虛擬物體添加到主平面。(12)根據(jù)(10)所述的顯示控制設(shè)備，其中主平面是在多個平面中具有相對于成像光軸的最高正交性的平面。 (13)根據(jù)(10)所述的顯示控制設(shè)備，其中主平面是在多個平面中具有在真實空間圖像中的最大的識別面積的平面。(14)根據(jù)(10)所述的顯示控制設(shè)備，其中主平面是在多個平面中事先定義的平面。(15) —種顯示控制方法，包括根據(jù)在真實空間圖像中的真實物體的姿態(tài)，相對于真實物體改變相應(yīng)于包含在真實空間圖像中的真實物體的虛擬物體的姿態(tài)。(16) 一種使得計算機用作如下單元的程序控制單元，控制相應(yīng)于包含在真實空間圖像中的真實物體的虛擬物體的顯示，并且根據(jù)在真實空間圖像中的真實物體的姿態(tài)，相對于真實物體改變虛擬物體的姿態(tài)。(17)根據(jù)(16)所述的程序，其中控制單元根據(jù)在真實空間圖像中的真實物體的姿態(tài)，將虛擬物體添加到與真實物體平面相同的平面、平行于真實物體平面的平面、與真實物體平面成給定關(guān)系的平面、或不同于真實物體平面的平面。(18)根據(jù)(16)或(17)所述的程序，其中控制單元以根據(jù)圍繞著與真實空間圖像的成像光軸相交的軸線的真實物體平面的旋轉(zhuǎn)角度的相對姿態(tài)，將虛擬物體添加到真實物體平面。(19)根據(jù)(18)所述的程序，其中當參照真實物體平面正交于成像光軸的正面面對狀態(tài)的、圍繞著相交軸線的旋轉(zhuǎn)角度小于預(yù)定值時，控制單元將虛擬物體添加到與真實物體平面相同或平行的平面，并且當參照正面面對狀態(tài)的、圍繞著相交軸線的旋轉(zhuǎn)角度等于或者大于預(yù)定值時，將虛擬物體添加到不同于真實物體平面的平面。(20)根據(jù)(16)至(19)中的任一所述的程序，其中當從真實物體中刪除多個平面時，控制單元將虛擬物體添加到多個平面中的
主平面。本公開包括與2011年4月8日提交日本專利局的日本優(yōu)先權(quán)專利申請JP2011-086679中公開的主題相關(guān)的主題，其全部內(nèi)容通過引用而合并于此。
權(quán)利要求
1.一種顯示控制設(shè)備，包括 確定單元，被配置成確定在真實空間圖像中的真實物體的定向； 控制單元，被配置成 基于所述真實物體定向在虛擬物體的第一定向和第二定向之間進行選擇，所述第一或第二虛擬物體定向之一將所述虛擬物體與所述真實物體定向?qū)?；以? 基于所選擇的定向輸出所述虛擬物體的圖像以顯示在相關(guān)聯(lián)的顯示設(shè)備上。
2.根據(jù)權(quán)利要求I所述的設(shè)備，其中將所述虛擬物體圖像與所述真實物體定向?qū)蔬M一步包括將所述虛擬物體與和所述真實物體相關(guān)聯(lián)的第一平面對準。
3.根據(jù)權(quán)利要求2所述的設(shè)備，其中所述第一平面為下述中的至少一個 相對于所述真實物體的表面成一定角度定向； 相對于所述真實物體的所述表面彎曲； 平行于所述真實物體的所述表面；或者 與所述真實物體的所述表面共面。
4.根據(jù)權(quán)利要求2所述的設(shè)備，進一步被配置成至少部分地基于在所述第一平面和所述真實圖像的光軸之間的角度，從與所述真實物體相關(guān)聯(lián)的多個平面中選擇所述第一平面。
5.根據(jù)權(quán)利要求I所述的設(shè)備，其中在第一定向和第二定向之間進行選擇進一步包括 當在所述第一定向和所述真實物體定向之間的角度小于或者等于閾值時，選擇所述第一定向；以及 當所述第一定向和所述真實物體定向之間的所述角度大于所述閾值時，選擇所述第二定向。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中所述第一平面平行于所述真實物體的表面。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其中所述第二定向?qū)⑺鎏摂M物體與正交于所述真實物體的所述表面或者正交于光軸的第二平面對準。
8.根據(jù)權(quán)利要求2所述的設(shè)備，其中顯示單元顯示沿著所述真實物體的平行于所述第一平面的側(cè)的所述虛擬物體圖像。
9.根據(jù)權(quán)利要求2所述的設(shè)備，其中顯示單元顯示所述虛擬物體圖像，使得所述虛擬物體圖像不與在所述真實空間圖像中的所述真實物體交疊。
10.根據(jù)權(quán)利要求2所述的設(shè)備，其中 所述真實物體包括第一真實物體和第二真實物體； 所述虛擬物體包括第一標簽圖形和第二標簽圖形， 所述第一標簽圖形與在所述真實空間圖像中的所述第一真實物體相關(guān)聯(lián)； 所述第二標簽圖形與在所述真實空間圖像中的所述第二真實物體相關(guān)聯(lián)；并且 所述第一標簽圖形被定位成使得所述第一標簽圖形不與所述第二標簽圖形交疊。
11.根據(jù)權(quán)利要求I所述的設(shè)備，其中輸出所述虛擬物體的圖像包括輸出從所述第一定向到所述第二定向的轉(zhuǎn)變的動畫。
12.根據(jù)權(quán)利要求2所述的設(shè)備，進一步被配置成從與所述真實物體相關(guān)聯(lián)的多個平面中選擇所述第一平面。
13.根據(jù)權(quán)利要求12所述的設(shè)備，其中，所述第一平面是所述真實物體的主平面。
14.根據(jù)權(quán)利要求12所述的設(shè)備，其中所述虛擬物體包括標簽圖形。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其中基于所述第一平面的選擇來挑選所述標簽圖形的內(nèi)容。
16.根據(jù)權(quán)利要求12所述的設(shè)備，其中所述 第一平面是在所述多個平面中的相對于所述真實圖像的光軸的定向最接近正交的平面。
17.根據(jù)權(quán)利要求12所述的設(shè)備，其中所述第一平面是在所述多個平面中與所述虛擬物體的對準會導致最大的圖像識別面積的平面。
18.根據(jù)權(quán)利要求12所述的設(shè)備，其中基于所述真實物體的類型選擇所述第一平面。
19.一種顯不控制方法,包括 確定在真實空間圖像中的真實物體的定向； 基于所述真實物體定向在虛擬物體的第一定向和第二定向之間進行選擇，所述第一或第二虛擬物體定向之一將所述虛擬物體與所述真實物體定向?qū)?；以? 基于所選擇的定向輸出所述虛擬物體的圖像以顯示在相關(guān)聯(lián)的顯示設(shè)備上。
20.一種有形呈現(xiàn)的非暫態(tài)計算機可讀介質(zhì)，其存儲指令，所述指令當由處理器執(zhí)行時執(zhí)行以下方法，所述方法包括 確定在真實空間圖像中的真實物體的定向； 基于所述真實物體定向在虛擬物體的第一定向和第二定向之間進行選擇，所述第一或第二虛擬物體定向之一將所述虛擬物體與所述真實物體定向?qū)?；以? 基于所選擇的定向輸出所述虛擬物體的圖像以顯示在相關(guān)聯(lián)的顯示設(shè)備上。
全文摘要
本發(fā)明公開了一種顯示控制設(shè)備、顯示控制方法和程序，該顯示控制設(shè)備包括被配置成確定在真實空間圖像中的真實物體定向的確定單元。該設(shè)備還可以包括控制單元，該控制單元被配置成基于真實物體定向在虛擬物體的第一和第二定向之間進行選擇，并且基于所選擇的定向輸出虛擬物體的圖像以顯示在相關(guān)聯(lián)的顯示設(shè)備上，其中第一或第二虛擬物體定向之一將虛擬物體與真實物體定向?qū)省?br> 文檔編號G06F3/14GK102750118SQ20121009641
公開日2012年10月24日 申請日期2012年4月1日 優(yōu)先權(quán)日2011年4月8日
發(fā)明者笠原俊一 申請人:索尼公司