信息處理設(shè)備、信息處理方法及程序的制作方法
【專利摘要】【問題】為了能夠更精確地識(shí)別實(shí)際空間的表面的姿態(tài)并將所識(shí)別的姿態(tài)用于AR技術(shù)?！窘鉀Q方案】提供了一種信息處理設(shè)備，該信息處理設(shè)備包括：數(shù)據(jù)獲取單元，該數(shù)據(jù)獲取單元獲取指示施加在圖像捕捉設(shè)備上的重力方向的傳感器數(shù)據(jù)，該圖像捕捉設(shè)備對(duì)描繪實(shí)際空間的圖像進(jìn)行捕捉；確定單元，該確定單元基于該傳感器數(shù)據(jù)來確定在該圖像中實(shí)際空間的表面的相對(duì)姿態(tài)；以及轉(zhuǎn)換單元，該轉(zhuǎn)換單元使用由確定單元確定的姿態(tài)，在該表面上的給定點(diǎn)的三維位置與該圖像中的對(duì)應(yīng)二維位置之間執(zhí)行轉(zhuǎn)換。
【專利說明】信息處理設(shè)備、信息處理方法及程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息處理設(shè)備、信息處理方法及程序。
【背景技術(shù)】
[0002]近年來，一種將上面疊加有附加信息的物理空間呈現(xiàn)給用戶的被稱為增強(qiáng)現(xiàn)實(shí)(AR)的技術(shù)變得突出。在AR技術(shù)中向用戶呈現(xiàn)的信息也被稱為注解，可以使用例如文本、圖標(biāo)、動(dòng)畫等各種形式的虛擬對(duì)象將注解可視化。通?；趯?duì)投影在圖像中的物理空間的三維結(jié)構(gòu)的識(shí)別，將這種注解布置在AR空間中。作為用于識(shí)別物理空間的這種三維結(jié)構(gòu)的技術(shù)，例如，已知SfM (由運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from Motion))方法和SLAM (同時(shí)定位與地圖構(gòu)建)方法。在SfM方法中，使用利用視差的圖像來識(shí)別投影在變化視角時(shí)所成像的多個(gè)圖像中的物理空間的三維結(jié)構(gòu)。在下文所指出的非專利文獻(xiàn)I中提供了對(duì)SLAM方法的描述。在下文所指出的非專利文獻(xiàn)I公開了使用SfM方法對(duì)在SLAM方法的初始化期間所選擇的特征點(diǎn)的三維位置執(zhí)行識(shí)別的技術(shù)。
[0003]引用列表
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)I JP2009-237845A
[0006]非專利文獻(xiàn)
[0007]非專利文獻(xiàn)1:Andrew J.Davison,“Real-Time Simultaneous Localization andMapping with a Single Camera”,關(guān)于計(jì)算機(jī)視覺的第9屆IEEE國際會(huì)議期刊2003年第2卷，第1403頁至第1410頁

【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]在識(shí)別物理空間的三維結(jié)構(gòu)時(shí)，通常，可以識(shí)別在圖像的成像平面上在物理空間中存在的對(duì)象(或者物理空間本身)的位置和姿態(tài)。然而，在例如SfM方法的用于圖像識(shí)別的技術(shù)中，存在難以達(dá)到滿意的識(shí)別精度的情況。特別是在很少出現(xiàn)由視差引起的圖像變化的二維平面中(例如水平平面,例如地面、地板表面或天花板,或者垂直平面,例如建筑物的墻面)，SfM方法的識(shí)別精度很容易劣化。然而，由于在很多AR應(yīng)用中根據(jù)平面來布置注解，因此在AR技術(shù)中首要的是強(qiáng)烈需要改進(jìn)識(shí)別平面姿態(tài)的精度。
[0010]因此，本公開內(nèi)容提出了一種能夠更精確地至少識(shí)別物理空間中的平面的姿態(tài)并且使所識(shí)別的姿態(tài)用于AR技術(shù)的技術(shù)。
[0011]問題的解決方案
[0012]根據(jù)本公開內(nèi)容的實(shí)施方式，提供一種信息處理設(shè)備，包括:數(shù)據(jù)獲取單元，該數(shù)據(jù)獲取單元被配置成獲取用于指示施加在成像設(shè)備上的重力的方向的傳感器數(shù)據(jù)，該成像設(shè)備被配置為成像出這樣的圖像:在所述圖像中，物理空間被投影；決定單元，該決定單元被配置成基于傳感器數(shù)據(jù)來決定物理空間中的平面關(guān)于所述圖像的相對(duì)姿態(tài)；以及轉(zhuǎn)換單元，該轉(zhuǎn)換單元被配置成使用由決定單元決定的姿態(tài)，在所述平面上的給定點(diǎn)的三維位置與對(duì)應(yīng)圖像中的二維位置之間執(zhí)行轉(zhuǎn)換。
[0013]根據(jù)本公開內(nèi)容的實(shí)施方式，提供一種被配置成控制信息處理設(shè)備的計(jì)算機(jī)的信息處理方法，該方法包括:獲取用于指示施加在成像設(shè)備上的重力的方向的傳感器數(shù)據(jù)，該成像設(shè)備被配置為成像出這樣的圖像:在所述圖像中，物理空間被投影；基于傳感器數(shù)據(jù)來決定物理空間中的平面關(guān)于所述圖像的相對(duì)姿態(tài)；以及使用所決定的姿態(tài)，在平面上的給定點(diǎn)的三維位置與對(duì)應(yīng)圖像中的二維位置之間執(zhí)行轉(zhuǎn)換。
[0014]根據(jù)本公開內(nèi)容的實(shí)施方式，提供一種使被配置成控制信息處理設(shè)備的計(jì)算機(jī)起如下作用的程序:數(shù)據(jù)獲取單元，該數(shù)據(jù)獲取單元被配置成獲取用于指示施加在成像設(shè)備上的重力的方向的傳感器數(shù)據(jù)，該成像設(shè)備被配置為成像出這樣的圖像:在所述圖像中，物理空間被投影；決定單元，該決定單元被配置成基于傳感器數(shù)據(jù)來決定物理空間中的平面關(guān)于所述圖像的相對(duì)姿態(tài)；以及轉(zhuǎn)換單元，該轉(zhuǎn)換單元被配置成使用由決定單元決定的姿態(tài)，在平面上的給定點(diǎn)的三維位置與對(duì)應(yīng)圖像中的二維位置之間執(zhí)行轉(zhuǎn)換。
[0015]本發(fā)明的有益效果
[0016]根據(jù)本公開內(nèi)容的實(shí)施方式，可以精確地識(shí)別物理空間中的平面的姿態(tài)，并且將所識(shí)別的姿態(tài)用于AR技術(shù)。
【專利附圖】

【附圖說明】
[0017]圖1是用于描述根據(jù)本公開內(nèi)容的實(shí)施方式的信息處理設(shè)備的概述的第一示例性圖。
[0018]圖2是用于描述根據(jù)另一實(shí)施方式的信息處理設(shè)備的概述的第二示例性圖。
[0019]圖3是示出了根據(jù)第一實(shí)施方式的信息處理設(shè)備的硬件配置的示例的框圖。
[0020]圖4是示出了根據(jù)第一實(shí)施方式的信息處理設(shè)備的邏輯功能的配置的示例的框圖。
[0021]圖5是用于描述成像平面、水平平面與重力方向之間的關(guān)系的示例性圖。
[0022]圖6是用于描述與水平平面的3D結(jié)構(gòu)有關(guān)的參數(shù)的示例性圖。
[0023]圖7是示出了由圖4中所例示的決定單元執(zhí)行的平面決定處理的流程的第一示例的流程圖。
[0024]圖8是用于描述仰角和俯角以及方位角的示例性圖。
[0025]圖9是用于描述決定垂直平面的姿態(tài)的技術(shù)的示例的示例性圖。
[0026]圖10是用于描述使用戶能夠在地圖上指定垂直平面的用戶界面的示例的示例性圖。
[0027]圖11是示出了由圖4中所例示的決定單元執(zhí)行的平面決定處理的流程的第二示例的流程圖。
[0028]圖12A是示出了使用戶能夠指定任意平面的姿態(tài)的用戶界面的示例的示例性圖。
[0029]圖12B是示出了使用戶能夠指定任意平面的姿態(tài)的用戶界面的另一示例的示例性圖。
[0030]圖13是示出了由圖4中所例示的決定單元執(zhí)行的平面決定處理的流程的第三示例的流程圖。[0031]圖14是示出了由圖4中所例示的SLAM算術(shù)運(yùn)算單元執(zhí)行的SLAM算術(shù)運(yùn)算處理的流程的示例的流程圖。
[0032]圖15是示出了在圖14中所例示的SLAM算術(shù)運(yùn)算處理中所包括的初始化處理的流程的示例的流程圖。
[0033]圖16是用于描述在真實(shí)對(duì)象上所設(shè)定的特征點(diǎn)的示例性圖。
[0034]圖17是用于描述添加特征點(diǎn)的示例性圖。
[0035]圖18是用于描述預(yù)測(cè)模型的示例的示例性圖。
[0036]圖19是用于描述特征數(shù)據(jù)的構(gòu)成的示例的示例性圖。
[0037]圖20是示出了由根據(jù)第一實(shí)施方式的信息處理設(shè)備執(zhí)行的總體處理的流程的示例的流程圖。
[0038]圖21是示出了根據(jù)第二實(shí)施方式的信息處理設(shè)備的邏輯功能的配置的示例的框圖。
[0039]圖22是示出了由根據(jù)第二實(shí)施方式的信息處理設(shè)備執(zhí)行的總體處理的流程的示例的流程圖。
[0040]圖23是用于描述調(diào)整平面的比例的第一技術(shù)的示例性圖。
[0041]圖24是用于描述調(diào)整平面的比例的第二技術(shù)的示例性圖。
[0042]圖25是用于描述調(diào)整平面的比例的第三技術(shù)的第一示例性圖。
[0043]圖26是用于描述調(diào)整平面的比例的第三技術(shù)的第二示例性圖。
【具體實(shí)施方式】
[0044]在下文中，將參考附圖對(duì)本發(fā)明的優(yōu)選實(shí)施方式執(zhí)行詳細(xì)描述。請(qǐng)注意，在本說明書和附圖中，具有基本上相同功能和結(jié)構(gòu)的元件用相同的附圖標(biāo)記來表示，并且省略了重復(fù)的說明。
[0045]此外，將按以下順序提供描述。
[0046]1.設(shè)備的概述
[0047]2.第一實(shí)施方式的詳情
[0048]2-1.硬件配置
[0049]2-2.功能配置
[0050]2-3.處理流程
[0051]2-4.第一實(shí)施方式的結(jié)論
[0052]3.第二實(shí)施方式的詳情
[0053]3-1.功能配置
[0054]3-2.處理流程
[0055]3-3.第二實(shí)施方式的結(jié)論
[0056]4.比例的調(diào)整
[0057]4-1.第一技術(shù)
[0058]4-2.第二技術(shù)
[0059]4-3.第三技術(shù)
[0060]5.回顧[0061]〈1.設(shè)備的概述〉
[0062]首先，將使用圖1和圖2來描述根據(jù)本公開內(nèi)容的信息處理設(shè)備的概述。
[0063]圖1是用于描述根據(jù)本公開內(nèi)容的實(shí)施方式的信息處理設(shè)備100的概述的第一示例性圖。參考圖1，描繪了由用戶Ua持有的信息處理設(shè)備100。信息處理設(shè)備100具有面向物理空間10的成像單元102和顯示單元110。在圖1的示例中，在物理空間10中存在道路12、建筑物的墻面13a以及另一建筑物的墻面13b。作為示例，信息處理設(shè)備100具有用于導(dǎo)航的AR應(yīng)用，以及用于在由成像單元102成像的圖像ImOl上導(dǎo)航的所疊加的注解All和A12。注解Al是告知用戶Ua方向的箭頭形狀的注解，并且沿著投影在圖像ImOl中的道路12布置在水平平面上。注解A12是向用戶Ua提供給定的信息性消息的注解，并且沿著投影在圖像ImOl中的墻面13a布置在垂直平面上。
[0064]圖1示出了移動(dòng)終端作為信息處理設(shè)備100的示例。然而，信息處理設(shè)備100不限于該示例。信息處理設(shè)備100可以是例如PC (個(gè)人計(jì)算機(jī))、PDA (個(gè)人數(shù)字助理)、智能電話、游戲終端、PND (便攜式導(dǎo)航設(shè)備)、內(nèi)容播放器以及數(shù)字家用電器等。
[0065]圖2是用于描述信息處理設(shè)備100的概述的第二示例性圖。參考圖2，信息處理設(shè)備100是連接到由用戶Ua持有的終端設(shè)備20的服務(wù)器設(shè)備。終端設(shè)備20具有面向物理空間10的成像單元22和顯示單元24。在圖2的示例中，物理空間10中存在桌子14。信息處理設(shè)備100將注解A2疊加在由終端設(shè)備20成像的圖像Im02上。注解A2是在桌子14上跑動(dòng)的虛擬汽車形狀的注解，并且沿著投影在圖像Im02中的桌子14的表面布置在水平平面上。
[0066]為了將注解適當(dāng)?shù)夭贾迷趫D1和圖2中所例示的AR應(yīng)用中，重要的是盡可能精確地決定物理空間的平面相對(duì)于輸入圖像的相對(duì)姿態(tài)。然而，在使用基于圖像識(shí)別的現(xiàn)有技術(shù)，例如SfM方法時(shí)，難以在對(duì)于二維平面的識(shí)別中總是達(dá)到滿意的精度。在SLAM方法的初始化期間的狀態(tài)變量的選擇顯著地影響選擇后物理空間的三維結(jié)構(gòu)的識(shí)別，然而，在采用這種基于圖像識(shí)別的現(xiàn)有技術(shù)用于初始化時(shí)，在精確地識(shí)別二維平面方面也會(huì)產(chǎn)生類似的問題。由此，如將通過兩個(gè)實(shí)施方式在以下部分詳細(xì)描述的，本公開內(nèi)容的目的在于能夠更精確地識(shí)別物理空間中的二維平面的姿態(tài)，并且將所識(shí)別的平面的姿態(tài)用于AR技術(shù)中。
[0067]<2.第一實(shí)施方式的詳情>
[0068][2-1.硬件配置]
[0069]圖3是示出了根據(jù)第一實(shí)施方式的信息處理設(shè)備100的硬件配置的示例的框圖。參考圖3，信息處理設(shè)備100設(shè)置有成像單元102、傳感器單元104、輸入單元106、存儲(chǔ)單元108、顯示單元110、通信單元112、總線116以及控制單元118。
[0070](I)成像單元
[0071]成像單元102是執(zhí)行圖像的成像的相機(jī)模塊。成像單元102使用圖像傳感器，例如CXD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)將物理空間成像，從而生成成像圖像。這種由成像單元102生成的成像圖像在由控制單元118執(zhí)行的圖像處理中用作為輸入圖像。請(qǐng)注意，成像單元102可以不一定是信息處理設(shè)備100的一部分。例如，可以將以有線或無線方式連接到信息處理設(shè)備100的成像設(shè)備視為成像單元102。
[0072](2)傳感器單元
[0073]傳感器單元104可以包括用于支持由信息處理設(shè)備100做出的平面姿態(tài)的決定的各種傳感器。例如，傳感器單元104包括對(duì)施加在成像單元102上的重力加速度進(jìn)行測(cè)量的三軸加速度傳感器。三軸加速度傳感器對(duì)施加在成像單元102上的重力加速度進(jìn)行測(cè)量，從而生成三維地表達(dá)重力加速度的大小和方向的傳感器數(shù)據(jù)(加速度數(shù)據(jù))。此外，傳感器單元104還可以包括測(cè)量地磁的方向的地磁傳感器。地磁傳感器生成表達(dá)在成像單元102的坐標(biāo)系中的地磁方向的傳感器數(shù)據(jù)(地磁數(shù)據(jù))。而且，傳感器單元104還可以包括測(cè)量信息處理設(shè)備100的位置的定位傳感器(例如，GPS (全球定位系統(tǒng))傳感器)。定位傳感器生成表達(dá)物理空間中的信息處理設(shè)備100的經(jīng)度和緯度的傳感器數(shù)據(jù)(定位數(shù)據(jù))。請(qǐng)注意，傳感器單元104可以不一定是信息處理設(shè)備100的一部分。
[0074](3)輸入單元
[0075]輸入單元106是由用戶使用以操作信息處理設(shè)備100或者向信息處理設(shè)備100輸入信息的輸入設(shè)備。輸入單元106可以包括例如檢測(cè)用戶在顯示單元110的屏幕上的觸摸的觸摸傳感器。替代地(或另外)，輸入單元106可以包括指示設(shè)備，例如鼠標(biāo)或觸摸板。而且，輸入單元106可以包括其它種類的輸入設(shè)備，例如鍵盤、小鍵盤、按鈕或開關(guān)。
[0076](4)存儲(chǔ)單元
[0077]存儲(chǔ)單元108由存儲(chǔ)介質(zhì)，例如半導(dǎo)體存儲(chǔ)器或硬盤來配置，并且存儲(chǔ)由信息處理設(shè)備100執(zhí)行的處理的程序和數(shù)據(jù)。要存儲(chǔ)到存儲(chǔ)單元108中的數(shù)據(jù)可以包括例如所捕捉的圖像數(shù)據(jù)、傳感器數(shù)據(jù)以及稍后要描述數(shù)據(jù)庫(DB)中的各種類型的數(shù)據(jù)。請(qǐng)注意，本說明書中所描述的程序和數(shù)據(jù)中的一些程序和數(shù)據(jù)可以從外部數(shù)據(jù)源(例如，數(shù)據(jù)服務(wù)器、網(wǎng)絡(luò)存儲(chǔ)器、外部存儲(chǔ)器等)獲取，而不是存儲(chǔ)在存儲(chǔ)單元108中。
[0078](5)顯示單元
[0079]顯示單元110是包括例如IXD (液晶顯示器)、0LED (有機(jī)發(fā)光二極管)或CRT (陰極射線管)的顯示器的顯示模塊。顯示單元110用于例如顯示由信息處理設(shè)備100生成的AR應(yīng)用的圖像。請(qǐng)注意，顯示單元110可以不一定是信息處理設(shè)備100的一部分。例如，可以將以有線或無線方式連接到信息處理設(shè)備100的顯示設(shè)備視為顯示單元110。
[0080](6)通信單元
[0081]通信單元112是連接信息處理設(shè)備100與另一設(shè)備的通信的通信接口。通信單元112支持任意無線通信協(xié)議或有線通信協(xié)議，以建立與其他設(shè)備的通信連接。
[0082](7)總線
[0083]總線116將成像單元102、傳感器單元104、輸入單元106、存儲(chǔ)單元108、顯示單元110、通信單元112以及控制單元118相互連接。
[0084](8)控制單元
[0085]控制單元118對(duì)應(yīng)于CPU (中央處理單元)、DSP (數(shù)字信號(hào)處理器)等?？刂茊卧?18通過執(zhí)行存儲(chǔ)在存儲(chǔ)單元108或其他存儲(chǔ)介質(zhì)中的程序，使稍后將描述的信息處理設(shè)備100的各種功能被運(yùn)行。
[0086][2-2.功能配置]
[0087]圖4是示出了由圖3中所示出的信息處理設(shè)備100的存儲(chǔ)單元108和控制單元118實(shí)現(xiàn)的邏輯功能的配置的示例的框圖。參考圖4，信息處理設(shè)備100包括圖像獲取單元120、數(shù)據(jù)獲取單元125、決定單元130、三維(3D)結(jié)構(gòu)DB135、轉(zhuǎn)換單元140、SLAM算術(shù)運(yùn)算單元145、對(duì)象DB150、圖像識(shí)別單元156、注解DB160、顯示控制單元165以及用戶界面單元170。
[0088](I)圖像獲取單元
[0089]圖像獲取單元120獲取由成像單元102生成的所捕捉的圖像作為輸入圖像。由圖像獲取單元120獲取的輸入圖像是將物理空間進(jìn)行投影的圖像。輸入圖像可以是靜止圖像或者構(gòu)成運(yùn)動(dòng)圖像的每個(gè)幀。圖像獲取單元120將所獲取的輸入圖像輸出給SLAM算術(shù)運(yùn)算單元145、圖像識(shí)別單元156以及顯示控制單元165。
[0090](2)數(shù)據(jù)獲取單元
[0091]數(shù)據(jù)獲取單元125獲取用于由決定單元130執(zhí)行的平面決定處理的數(shù)據(jù)。例如，數(shù)據(jù)獲取單元125獲取傳感器數(shù)據(jù)，該傳感器數(shù)據(jù)可以包括由傳感器單元104生成的加速度數(shù)據(jù)、地磁數(shù)據(jù)以及定位數(shù)據(jù)中的至少一種。此外，數(shù)據(jù)獲取單元125可以從由信息處理設(shè)備100事先存儲(chǔ)的數(shù)據(jù)庫或外部數(shù)據(jù)服務(wù)器來獲取定位數(shù)據(jù)中所指示的位置的周圍區(qū)域的地圖數(shù)據(jù)。然后，數(shù)據(jù)獲取單元125將所獲取的數(shù)據(jù)輸出給決定單元130。
[0092](3)決定單元
[0093]決定單元130基于由數(shù)據(jù)獲取單元125獲取的傳感器數(shù)據(jù)來決定物理空間的平面相對(duì)于輸入圖像的成像平面的相對(duì)姿態(tài)。此處，首先將對(duì)決定水平平面的姿態(tài)的技術(shù)進(jìn)行詳細(xì)描述，然后對(duì)決定垂直平面和其他平面的姿態(tài)進(jìn)行描述。
[0094](3-1)水平平面的姿態(tài)的決定
[0095]圖5是用于描述成像平面、水平平面與重力的方向之間的關(guān)系的示例性圖。參考圖5，示出了輸入圖像的成像平面IP與物理空間的水平平面HP。水平平面HP可以是實(shí)際存在的平面，例如地面、地板表面或者天花板，或者可以是假想平面。水平平面HP與重力的方向正交。水平平面HP相對(duì)于成像平面IP的姿態(tài)(或者成像平面IP相對(duì)于水平平面HP的姿態(tài))可以根據(jù)成像單元102的姿態(tài)而變化。由此，決定單元130根據(jù)由上述傳感器數(shù)據(jù)指示的重力方向矢量\來決定水平平面HP相對(duì)于成像平面IP的相對(duì)姿態(tài)。請(qǐng)注意，當(dāng)傳感器數(shù)據(jù)(的三軸加速度傳感器)的三維坐標(biāo)系與成像平面的三維坐標(biāo)系(以及成像平面的深度方向)不一致時(shí)，決定單元130可以執(zhí)行旋轉(zhuǎn)轉(zhuǎn)換和縮放轉(zhuǎn)換，以使得對(duì)于重力方向矢量\吸收坐標(biāo)系的差異。
[0096]圖6是用于描述與水平平面的3D結(jié)構(gòu)有關(guān)的參數(shù)的示例性圖。參考圖6，示出了在成像單元102的坐標(biāo)系中指示水平平面的姿態(tài)的法向矢量VN。使用圖5所示出的重力方向矢量Ve來決定法向矢量VN。在不執(zhí)行坐標(biāo)系的轉(zhuǎn)換時(shí)，是可以的。請(qǐng)注意，重力方向矢量Ve的大小被設(shè)定成歸一化。例如，當(dāng)成像單元102的光軸面向下時(shí)，可以選擇VN=-Ve。水平平面HP在這種情況下可以對(duì)應(yīng)于比成像單元102的焦點(diǎn)定位更低的地面、地板表面等。另一方面，當(dāng)成像單元102的光軸面向上時(shí),可以選擇VN=Ve。水平平面HP在這種情況下可以對(duì)應(yīng)于比成像單元102的焦點(diǎn)定位更高的天花板表面等。
[0097]如果法向矢量Vn被設(shè)定為在成像單元102的坐標(biāo)系(x，y，z)中的(nx，ny，nz)處，那么使用從原點(diǎn)到水平平面HP的距離D將水平平面HP的平面方程表達(dá)為nxx+nyy+nzz=D。距離D根據(jù)物理空間中的水平平面的位置而變化。此外，當(dāng)距離D變化時(shí)，輸入圖像中的水平平面的比例會(huì)變化。在本實(shí)施方式中，在例如對(duì)于距離D，D=1的假設(shè)之下，決定單元130決定假想水平平面，該假想水平平面具有基于傳感器數(shù)據(jù)而決定的姿態(tài)VN和試驗(yàn)位置。然后，決定單元130使3D結(jié)構(gòu)DB135將如上述決定的平面方程nxx+nyy+nzz=D存儲(chǔ)作為水平平面HP的3D結(jié)構(gòu)。
[0098]圖7是示出了由決定單元130執(zhí)行的平面決定處理的流程的第一示例的流程圖。在第一示例中，決定了水平平面的姿態(tài)。參考圖7，數(shù)據(jù)獲取單元125首先獲取傳感器數(shù)據(jù)，該傳感器數(shù)據(jù)指示施加在成像單元102上的重力的方向(步驟SI)。接著，決定單元130基于由數(shù)據(jù)獲取單元125獲取的傳感器數(shù)據(jù)來決定水平平面的姿態(tài)(上述法向矢量Vn)(步驟S2)。在這種情況下，可以根據(jù)成像單元102面向上方向還是下方向來決定水平平面的定向。接著，決定單元130使用事先定義為平面方程的常數(shù)項(xiàng)的試驗(yàn)值(例如D=I)來決定水平平面的平面方程nxx+nyy+nzz=D (步驟S3)。
[0099](3-2)垂直平面的姿態(tài)的決定
[0100]如上所述，可以僅使用指示重力方向的加速度數(shù)據(jù)來決定水平平面的姿態(tài)。另一方面，可以用任何限制、另外的傳感器數(shù)據(jù)或者用戶輸入來決定垂直平面的姿態(tài)。通常，物理空間的平面的姿態(tài)由仰角分量和俯角分量以及方位角分量構(gòu)成。仰角和俯角(仰角)是在相對(duì)于水平平面的上/下方向上的角，并且通常具有-90°至90°的范圍的值(圖8中的矢量Vtl的角Θ)。方位角(方位角)是在相對(duì)于垂直平面的東、西、南和北方向上的角，并且通常具有0°至360°的范圍的值(圖8中的矢量Vtl的角Φ)。關(guān)于這一點(diǎn)，可以使用與決定水平平面的姿態(tài)的相同技術(shù)來決定仰角分量和俯角分量?？梢杂萌舾煞N技術(shù)來決定剩下的方位角分量。
[0101]在第一技術(shù)中，決定單元130基于加速度數(shù)據(jù)和預(yù)定義的方向的限制來決定垂直平面的姿態(tài)。預(yù)定義的方向的限制可以是例如成像平面與目標(biāo)垂直平面面對(duì)面(或者將相機(jī)設(shè)置成使得平面面對(duì)面)的限制。在這種情況下，決定單元130可以在與基于重力方向所決定的水平平面的法向矢量正交的單位矢量之中將與相機(jī)的光軸最接近的矢量(例如，和面向光軸相反方向的矢量具有最大內(nèi)積的矢量)決定為目標(biāo)垂直平面的法向矢量。
[0102]在第二技術(shù)中，決定單元130基于加速度數(shù)據(jù)和定位數(shù)據(jù)來決定垂直平面的姿態(tài)。更具體而言，決定單元130經(jīng)由數(shù)據(jù)獲取單元125獲取由定位數(shù)據(jù)所指示的信息處理設(shè)備100的位置的周圍區(qū)域的地圖數(shù)據(jù)(圖9的左上方部分)。此處所獲取的地圖數(shù)據(jù)指示成像單元102與定位于信息處理設(shè)備100周圍的一個(gè)或更多個(gè)垂直平面之間的位置關(guān)系。此外，決定單元130基于地磁數(shù)據(jù)計(jì)算成像單元102的光軸的方位角(圖9的右上方部分)。接著，決定單元130從地圖數(shù)據(jù)中的一個(gè)或更多個(gè)垂直平面中指定進(jìn)入成像單元102的視角的垂直平面。此處所指定的垂直平面可以是基于定位數(shù)據(jù)所指示作為原點(diǎn)的位置在地圖上首先與沿成像單元102的光軸方向延伸的直線部分相抵碰的平面(建筑物的墻面等)(圖9中的下部分)。決定單元130從地圖數(shù)據(jù)獲取在物理空間的坐標(biāo)系中所指定的垂直平面的方位角，并且使用由地磁數(shù)據(jù)指示的地磁的方向，將所指定的垂直平面的方位角轉(zhuǎn)換成成像單元102的坐標(biāo)系中的方位角。然后，決定單元130可以在與水平平面的法向矢量正交的單位矢量之中決定最接近轉(zhuǎn)換后的垂直平面的方位角的矢量，作為(在成像單元102的坐標(biāo)系中)垂直平面的三維法向矢量。
[0103]作為第二技術(shù)的修改示例，決定單元130可以允許用戶使用基于地磁數(shù)據(jù)所計(jì)算的光軸的方位角來指定投影在輸入圖像中的垂直平面，而不是在地圖上指定投影在輸入圖像中的垂直平面。參考圖10，地圖MP疊加在顯示單元110的屏幕上的圖像Im03上。地圖MP示出了由定位數(shù)據(jù)所指示的位置的周圍區(qū)域中存在的建筑物等的墻面的位置。用戶通過例如觸摸地圖MP等的操作來指定投影在輸入圖像中的垂直平面。據(jù)此，決定單元130可以識(shí)別地圖上的哪個(gè)垂直平面被投影在輸入圖像中。作為另一修改示例，決定單元130可以通過將建筑物的現(xiàn)有圖像與輸入圖像相匹配來識(shí)別地圖上的哪個(gè)垂直平面被投影在輸入圖像中。
[0104]圖11是示出了由決定單元130執(zhí)行的平面決定處理的流程的第二示例的流程圖。在第二示例中，使用上述第二技術(shù)來決定垂直平面的姿態(tài)。參考圖11，數(shù)據(jù)獲取單元125首先獲取可以包括加速度數(shù)據(jù)、定位數(shù)據(jù)以及地磁數(shù)據(jù)的傳感器數(shù)據(jù)(步驟SI)。接著，決定單元130基于指示重力方向的加速度數(shù)據(jù)來決定水平平面的法向矢量(步驟S2 )。此外，決定單元130獲取由定位數(shù)據(jù)所指示的位置的周圍區(qū)域的地圖數(shù)據(jù)(步驟S4)。接著，決定單元130使用例如地磁數(shù)據(jù)在地圖上指定投影在輸入圖像中的垂直平面(步驟S5)。此處，可以使用用戶輸入或圖像匹配來代替地磁數(shù)據(jù)。接著，決定單元130決定與步驟S2中所指定的水平平面的法向矢量正交的所指定的垂直平面的法向矢量(步驟S6)。接著，決定單元130使用被事先定義為平面方程的常數(shù)項(xiàng)的試驗(yàn)值來決定所指定的垂直平面的平面方程(步驟S7)。
[0105](3-3)另一平面的姿態(tài)的決定
[0106]既不是水平平面又不是垂直平面的平面(在下文中稱為任意平面)的姿態(tài)不是根據(jù)重力的方向和其他傳感器數(shù)據(jù)直接決定的。然而，參考根據(jù)上述技術(shù)所決定的水平平面或垂直平面的姿態(tài)，可以在AR空間中布置使用戶能夠指定任意平面的姿態(tài)的用戶界面。
[0107]圖12A是示出了用于使用戶能夠指定任意平面的姿態(tài)的用戶界面的示例的示例性圖。參考圖12A，具有球形外觀的用戶界面Π1疊加在圖像Im04上。請(qǐng)注意，雖然為了附圖的清楚起見未示出，但是仍然假設(shè)在圖像Im04中顯示投影在輸入圖像中的任意平面。參考平面RP是經(jīng)過用戶界面Π1的球體中心的水平平面。決定單元130根據(jù)用于決定水平平面的姿態(tài)的上述技術(shù)來決定參考平面RP的姿態(tài)。此外，參考參考平面RP的姿態(tài)，由稍后要描述的用戶界面單元170將用戶界面UIl布置在AR空間中。通過跟蹤重力的方向，在多個(gè)幀上在AR空間中保持用戶界面Π1的布置。因此，即使視角改變，用戶界面Π1也被顯示為固定在物理空間中。
[0108]用戶界面ΠI具有經(jīng)過球體中心的圓盤形的操作平面ODl。在初始狀態(tài)下，操作平面ODl可以像參考平面RP那樣水平地布置。與操作平面ODl相關(guān)聯(lián)的兩個(gè)軸AXl和AX2是相互垂直并且平行于操作平面ODl的軸。軸AX3是垂直于軸AXl和AX2的軸。操作平面ODl可由用戶三維地旋轉(zhuǎn)操作。例如，當(dāng)用戶移動(dòng)(拖動(dòng))他的或她的手指以在屏幕上橫向滑動(dòng)時(shí)，操作平面ODl繞著軸AX3旋轉(zhuǎn)。當(dāng)用戶在縱向方向上滑動(dòng)他的或她的手指時(shí)，操作平面ODl繞著軸AX2旋轉(zhuǎn)。通過該操作，用戶使操作平面ODl三維地旋轉(zhuǎn)，以使得投影在輸入圖像中的任意平面平行于操作平面0D1。然后，決定單元130使用操作后的操作平面ODl的姿態(tài)來決定該任意平面的姿態(tài)。在操作后該任意平面的法向矢量具有與軸AX3相同的定向。
[0109]請(qǐng)注意，用于決定任意平面的姿態(tài)的用戶界面不限于圖12A的示例。用戶界面可以具有除球體以外的形狀，并且操作平面可以具有除圓盤形以外的形狀。此外，根據(jù)與使手指滑動(dòng)的操作不同的各種操作(例如，輕敲預(yù)定按鈕、按壓方向鍵等)，操作平面ODl可以設(shè)定成可操作的。此外，可以用垂直平面代替水平平面作為用于布置用戶界面的參考平面。[0110]圖12B是示出了用于使用戶能夠指定任意平面的姿態(tài)的用戶界面的另一示例的示例性圖。參考圖12B，其中出現(xiàn)了動(dòng)物角色的用戶界面UI2疊加在圖像Im05上。用戶界面UI2可以是AR應(yīng)用的一個(gè)注解，而不是用于決定平面的姿態(tài)的專用用戶界面。請(qǐng)注意，雖然為了附圖的清楚起見未示出，但是仍然假設(shè)在圖像Im05中顯示了投影在輸入圖像中的任意平面。決定單元130根據(jù)用于決定水平平面的姿態(tài)的上述技術(shù)來決定參考平面RP的姿態(tài)。然后，參考參考平面RP的姿態(tài)，將用戶界面Π2布置在AR空間中。在初始狀態(tài)中用戶界面UI2具有與參考平面RP平行布置的操作平面0D2。操作平面0D2具有角色陰影的外觀。用戶界面Π2 (角色及其陰影)可由用戶三維地旋轉(zhuǎn)操作。通過該操作，用戶三維地旋轉(zhuǎn)用戶界面UI2，以使得投影在輸入圖像中的任意平面平行于操作平面0D2。然后，決定單元130使用操作后的操作平面0D2的姿態(tài)來決定任意平面的姿態(tài)。
[0111]圖13是示出了由決定單元130執(zhí)行的平面決定處理的流程的第三示例的流程圖。在第三示例中，使用上述用戶界面來決定任意平面的姿態(tài)。參考圖13，數(shù)據(jù)獲取單元125首先獲取指示重力方向的傳感器數(shù)據(jù)(步驟SI)。接著，決定單元130基于傳感器數(shù)據(jù)來決定與水平平面對(duì)應(yīng)的參考平面的姿態(tài)(步驟S2)。接著，參考參考平面的姿態(tài)將圖12A中所例示的用戶界面Π1 (或者圖12B中所例示的用戶界面Π2)布置在AR空間中，并且顯示在屏幕上(步驟S8)?？梢岳^續(xù)顯示用戶界面，直到例如檢測(cè)到指示操作結(jié)束的用戶輸入為止。接著，決定單元130根據(jù)操作后的用戶界面的操作平面的姿態(tài)來決定任意平面的法向矢量，并且進(jìn)一步?jīng)Q定任意平面的平面方程 (步驟S9)。
[0112](4) 3D 結(jié)構(gòu) DB
[0113]3D結(jié)構(gòu)DB135是其中存儲(chǔ)了由成像單元102成像的物理空間的3D結(jié)構(gòu)的數(shù)據(jù)庫。3D結(jié)構(gòu)DB135存儲(chǔ)了例如構(gòu)成平面的平面方程的常數(shù)項(xiàng)和系數(shù)，換言之，存儲(chǔ)了由決定單元130決定的位置和姿態(tài)。此外，3D結(jié)構(gòu)DB135可以存儲(chǔ)由SLAM算術(shù)運(yùn)算單元145另外地識(shí)別的、并且可以隨時(shí)間變化的成像單元102的位置和姿態(tài)。而且，3D結(jié)構(gòu)DB135可以存儲(chǔ)可以由圖像識(shí)別單元156識(shí)別的真實(shí)對(duì)象的位置和姿態(tài)。稍后要描述的顯示控制單元165根據(jù)存儲(chǔ)在3D結(jié)構(gòu)DB135中的真實(shí)對(duì)象的位置和姿態(tài)或者平面的位置和姿態(tài)來決定在AR空間中注解的布置。
[0114](5)轉(zhuǎn)換單元
[0115]轉(zhuǎn)換單元140使用由決定單元130決定的平面的姿態(tài)，在平面上給定點(diǎn)的三維位置與對(duì)應(yīng)于該三維位置的圖像中的(換言之，成像平面上的)二維位置之間執(zhí)行轉(zhuǎn)換。通過轉(zhuǎn)換單元140在三維位置與二維位置之間的轉(zhuǎn)換的計(jì)算處理可以遵照已知的針孔相機(jī)模型(pinhole camera model)來執(zhí)行。將再次參考例示水平平面的圖6對(duì)由轉(zhuǎn)換單元140遵照針孔相機(jī)模型執(zhí)行的計(jì)算處理進(jìn)行描述。
[0116]成像平面上的任意點(diǎn)Ui的坐標(biāo)可以表達(dá)如下。
[0117][數(shù)學(xué)式11
hi
[0118]Ui = V1-⑴
、I y
[0119]使用相機(jī)內(nèi)部參數(shù)矩陣A的逆矩陣A—1’如下所述將點(diǎn)Ui投影在三維空間中的點(diǎn)Qi上:
[0120][數(shù)學(xué)式2]
[0121]Qi=A-1Ui (2)
【權(quán)利要求】
1.一種信息處理設(shè)備,包括: 數(shù)據(jù)獲取單元，所述數(shù)據(jù)獲取單元被配置成獲取用于指示施加在成像設(shè)備上的重力的方向的傳感器數(shù)據(jù)，所述成像設(shè)備被配置為成像出這樣的圖像:在所述圖像中，物理空間被投影； 決定單元，所述決定單元被配置成基于所述傳感器數(shù)據(jù)來決定所述物理空間中的平面關(guān)于所述圖像的相對(duì)姿態(tài)；以及 轉(zhuǎn)換單元，所述轉(zhuǎn)換單元被配置成使用由所述決定單元決定的姿態(tài)，在所述平面上的給定點(diǎn)的三維位置與對(duì)應(yīng)的所述圖像中的二維位置之間執(zhí)行轉(zhuǎn)換。
2.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述平面上的給定點(diǎn)是在同時(shí)定位與地圖構(gòu)建(SLAM)方法的初始化時(shí)所選擇的特征點(diǎn)。
3.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述平面上的給定點(diǎn)是構(gòu)成用于增強(qiáng)現(xiàn)實(shí)的注解的點(diǎn)。
4.根據(jù)權(quán)利要求3所述的信息處理設(shè)備， 其中，所述決定單元決定假想平面，所述假想平面具有基于所述傳感器數(shù)據(jù)而決定的所述姿態(tài)和試驗(yàn)位置， 其中，所述信息處理設(shè)備還包括顯示控制單元，所述顯示控制單元被配置成將所述注解疊加在所述圖像上，以及 其中，所述注解被疊加在由所述轉(zhuǎn)換單元從所述假想平面上的三維位置轉(zhuǎn)換而來的所述圖像中的二維位置。
5.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，還包括: 識(shí)別單元，所述識(shí)別單元被配置成識(shí)別所述圖像中投影的對(duì)象， 其中，所述決定單元還使用由所述識(shí)別單元識(shí)別的所述對(duì)象的真實(shí)尺寸的已知數(shù)據(jù)，來決定所述圖像中投影的所述平面的位置。
6.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述決定單元還使用與所述圖像中投影的所述平面和所述成像設(shè)備之間的距離有關(guān)的數(shù)據(jù)來決定所述平面的位置。
7.根據(jù)權(quán)利要求3所述的信息處理設(shè)備，其中，所述決定單元還使用要顯示的所述注解的顯示尺寸來決定要布置所述注解的所述平面的位置。
8.根據(jù)權(quán)利要求7所述的信息處理設(shè)備，還包括: 用戶界面單元，所述用戶界面單元被配置成使用戶能夠指定所述顯示尺寸。
9.根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中，所述平面是水平平面，以及 其中，所述決定單元基于所述傳感器數(shù)據(jù)來確定所述成像設(shè)備是面向上方向還是下方向，并且根據(jù)所述確定的結(jié)果來決定所述水平平面的姿態(tài)。
10.根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中，所述平面是垂直平面，以及 其中，所述決定單元基于用于指示重力方向的所述傳感器數(shù)據(jù)和預(yù)定義方向的限制來決定所述垂直平面的姿態(tài)。
11.根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中，所述平面是垂直平面，以及其中，所述決定單元基于用于指示重力方向的所述傳感器數(shù)據(jù)和用于指示所述成像設(shè)備與所述垂直平面之間的位置關(guān)系的地圖數(shù)據(jù)來決定所述垂直平面的姿態(tài)。
12.根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其中，所述決定單元使用用于指示地磁方向的傳感器數(shù)據(jù)從包括在所述地圖數(shù)據(jù)中的一個(gè)或更多個(gè)垂直平面候選者中估計(jì)所述圖像中投影的垂直平面，并且基于所述地圖數(shù)據(jù)和所述重力方向來決定所述估計(jì)的垂直平面的姿態(tài)。
13.根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其中，所述決定單元基于所述地圖數(shù)據(jù)和所述重力方向來決定由用戶從包括在所述地圖數(shù)據(jù)中的一個(gè)或更多個(gè)垂直平面候選者中指定的垂直平面的姿態(tài)。
14.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，還包括: 用戶界面單元，所述用戶界面單元被配置成參考基于所述傳感器數(shù)據(jù)決定的水平平面或垂直平面的姿態(tài)，在增強(qiáng)現(xiàn)實(shí)空間中布置使用戶能夠指定所述平面的姿態(tài)的用戶界面。
15.根據(jù)權(quán)利要求14所述的信息處理設(shè)備，其中，在多個(gè)幀上在所述增強(qiáng)現(xiàn)實(shí)空間中保持所述用戶界面的布置。
16.根據(jù)權(quán)利要求15所述的信息處理設(shè)備， 其中，所述用戶界面具有被配置成能夠三維旋轉(zhuǎn)操作的操作平面，以及 其中，所述決定單元使用所述操作平面的姿態(tài)來決定所述平面的姿態(tài)，所述操作平面被用戶操作以與所述平面平行。
17.根據(jù)權(quán)利要求1所述的`信息處理設(shè)備，其中，所述信息處理設(shè)備是終端設(shè)備，所述終端設(shè)備被配置成還具有所述成像設(shè)備以及配置成輸出所述傳感器數(shù)據(jù)的傳感器。
18.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述數(shù)據(jù)獲取單元、所述決定單元以及所述轉(zhuǎn)換單元中至少之一被安裝在云計(jì)算環(huán)境中存在的設(shè)備中，而不是被安裝在所述信息處理設(shè)備中。
19.一種被配置成控制信息處理設(shè)備的計(jì)算機(jī)的信息處理方法，所述方法包括: 獲取用于指示施加在成像設(shè)備上的重力的方向的傳感器數(shù)據(jù)，所述成像設(shè)備被配置為成像出這樣的圖像:在所述圖像中，物理空間被投影； 基于所述傳感器數(shù)據(jù)來決定所述物理空間中的平面關(guān)于所述圖像的相對(duì)姿態(tài)；以及 使用所述決定的姿態(tài)在所述平面上的給定點(diǎn)的三維位置與對(duì)應(yīng)的所述圖像中的二維位置之間執(zhí)行轉(zhuǎn)換。
20.一種使配置成控制信息處理設(shè)備的計(jì)算機(jī)起如下作用的程序: 數(shù)據(jù)獲取單元，所述數(shù)據(jù)獲取單元被配置成獲取用于指示施加在成像設(shè)備上的重力的方向的傳感器數(shù)據(jù)，所述成像設(shè)備被配置為成像出這樣的圖像:在所述圖像中，物理空間被投影； 決定單元，所述決定單元被配置成基于所述傳感器數(shù)據(jù)來決定所述物理空間中的平面關(guān)于所述圖像的相對(duì)姿態(tài)；以及 轉(zhuǎn)換單元，所述轉(zhuǎn)換單元被配置成使用由所述決定單元決定的姿態(tài)，在所述平面上的給定點(diǎn)的三維位置與對(duì)應(yīng)的所述圖像中的二維位置之間執(zhí)行轉(zhuǎn)換。
【文檔編號(hào)】G01B11/00GK103733229SQ201280040105
【公開日】2014年4月16日 申請(qǐng)日期:2012年8月14日 優(yōu)先權(quán)日:2011年8月24日
【發(fā)明者】多井堅(jiān)一郎, 石渡廣行 申請(qǐng)人:索尼公司