本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域,具體涉及增強(qiáng)現(xiàn)實(shí)領(lǐng)域,尤其涉及應(yīng)用于終端的呈現(xiàn)三維地圖的方法和裝置。
背景技術(shù):
增強(qiáng)現(xiàn)實(shí)技術(shù),是一種將真實(shí)世界信息和虛擬世界信息無縫集成的技術(shù),是把原本在現(xiàn)實(shí)世界的一定時(shí)間空間范圍內(nèi)很難體驗(yàn)到的實(shí)體信息,通過計(jì)算機(jī)等科學(xué)技術(shù),模擬仿真后再疊加,將虛擬的信息應(yīng)用到真實(shí)世界,被人類感官所感知,從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到了同一個(gè)畫面或空間。在增強(qiáng)現(xiàn)實(shí)技術(shù)中,三維地圖的構(gòu)建和呈現(xiàn)是十分重要的。
然而,現(xiàn)有的構(gòu)建進(jìn)而呈現(xiàn)三維地圖的方式,存在著呈現(xiàn)效率較低的問題。
技術(shù)實(shí)現(xiàn)要素:
本申請(qǐng)的目的在于提出一種改進(jìn)的應(yīng)用于終端的呈現(xiàn)三維地圖的方法和裝置,來解決以上背景技術(shù)部分提到的技術(shù)問題。
第一方面,本申請(qǐng)實(shí)施例提供了一種應(yīng)用于終端的呈現(xiàn)三維地圖的方法,上述終端配置有前置攝像頭和后置攝像頭,上述方法包括:根據(jù)上述前置攝像頭采集的多幀包括已知實(shí)際尺寸的參照物的圖像的第一環(huán)境圖像,確定用于指示在目標(biāo)時(shí)刻上述終端在前置攝像頭對(duì)應(yīng)的第一坐標(biāo)系中的位置和姿態(tài)的第一絕對(duì)位姿信息;根據(jù)上述第一坐標(biāo)系與上述后置攝像頭對(duì)應(yīng)的第二坐標(biāo)系之間的變換關(guān)系,將上述第一絕對(duì)位姿信息變換為用于表征在上述目標(biāo)時(shí)刻上述終端在上述第二坐標(biāo)系中的位置和姿態(tài)的第二絕對(duì)位姿信息;根據(jù)上述第二絕對(duì)位姿信息和上述后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建標(biāo)注有實(shí)際尺寸的第二三維地圖;采用增強(qiáng)現(xiàn)實(shí)方式,呈現(xiàn)上述第二三維地圖。
在一些實(shí)施例中,上述根據(jù)前置攝像頭采集的多幀包括已知實(shí)際尺寸的參照物的圖像的第一環(huán)境圖像,確定用于指示在目標(biāo)時(shí)刻上述終端在前置攝像頭對(duì)應(yīng)的第一坐標(biāo)系中的位置和姿態(tài)的第一絕對(duì)位姿信息,包括:根據(jù)上述前置攝像頭采集的多幀第一環(huán)境圖像,構(gòu)建包括標(biāo)注有相對(duì)尺寸的實(shí)物模型的第一三維地圖,并確定用于指示在上述目標(biāo)時(shí)刻上述終端在上述第一三維地圖所指示的三維環(huán)境中的位置和姿態(tài)的第一相對(duì)位姿信息,上述第一三維地圖包括上述參照物的標(biāo)注有相對(duì)尺寸的三維模型;根據(jù)上述實(shí)際尺寸和上述三維模型的相對(duì)尺寸,確定第一尺度換算因子,其中,上述第一尺度換算因子用于表征上述實(shí)物模型的相對(duì)尺寸與上述實(shí)物模型對(duì)應(yīng)的實(shí)物的實(shí)際尺寸之間的比例;根據(jù)上述第一尺度換算因子和上述第一相對(duì)位姿信息,確定上述第一絕對(duì)位姿信息。
在一些實(shí)施例中,上述根據(jù)前置攝像頭采集的多幀第一環(huán)境圖像,構(gòu)建標(biāo)注有相對(duì)尺寸的第一三維地圖,包括:采用即時(shí)定位與三維地圖構(gòu)建方式,構(gòu)建標(biāo)注有相對(duì)尺寸的第一三維地圖。
在一些實(shí)施例中,上述參照物包括人臉;以及上述根據(jù)前置攝像頭采集的多幀第一環(huán)境圖像,構(gòu)建標(biāo)注有相對(duì)尺寸的第一三維地圖,還包括:提取所采集的多幀第一環(huán)境圖像中的人臉圖像的特征點(diǎn);根據(jù)所提取的特征點(diǎn),采用三角測(cè)距的方式,構(gòu)建標(biāo)注有相對(duì)尺寸的上述人臉的三維模型;將上述第一三維地圖中的上述人臉的三維模型替換為采用三角測(cè)距的方式構(gòu)建的上述人臉的三維模型。
在一些實(shí)施例中,上述根據(jù)上述第二絕對(duì)位姿信息和上述后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建標(biāo)注有實(shí)際尺寸的第二三維地圖,包括:
根據(jù)上述后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建包括標(biāo)注有相對(duì)尺寸的實(shí)物模型的第二三維地圖,并確定用于指示在上述目標(biāo)時(shí)刻上述終端在上述第二三維地圖所指示的三維環(huán)境中的位置和姿態(tài)的第二相對(duì)位姿信息;根據(jù)上述第二絕對(duì)位姿信息和上述第二相對(duì)位姿信息,確定第二尺度換算因子,其中,上述第二尺度換算因子用于表征第二三維地圖中的實(shí)物模型的相對(duì)尺寸與該實(shí)物模型對(duì)應(yīng)的實(shí)物的實(shí)際尺寸之間的比例;根據(jù)上述第二尺度換算因子和標(biāo)注有相對(duì)尺寸的第二三維地圖,重建標(biāo)注有實(shí)際尺寸的第二三維地圖。
第二方面,本申請(qǐng)?zhí)峁┝艘环N應(yīng)用于終端的呈現(xiàn)三維地圖的裝置,上述終端配置有前置攝像頭和后置攝像頭,上述裝置包括:確定單元,用于根據(jù)上述前置攝像頭采集的多幀包括已知實(shí)際尺寸的參照物的圖像的第一環(huán)境圖像,確定用于指示在目標(biāo)時(shí)刻上述終端在前置攝像頭對(duì)應(yīng)的第一坐標(biāo)系中的位置和姿態(tài)的第一絕對(duì)位姿信息;變換單元,用于根據(jù)上述第一坐標(biāo)系與上述后置攝像頭對(duì)應(yīng)的第二坐標(biāo)系之間的變換關(guān)系,將上述第一絕對(duì)位姿信息變換為用于表征在上述目標(biāo)時(shí)刻上述終端在上述第二坐標(biāo)系中的位置和姿態(tài)的第二絕對(duì)位姿信息;構(gòu)建單元,用于根據(jù)上述第二絕對(duì)位姿信息和上述后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建標(biāo)注有實(shí)際尺寸的第二三維地圖;呈現(xiàn)單元,用于采用增強(qiáng)現(xiàn)實(shí)方式,呈現(xiàn)上述第二三維地圖。
在一些實(shí)施例中,上述確定單元,還用于:根據(jù)上述前置攝像頭采集的多幀第一環(huán)境圖像,構(gòu)建包括標(biāo)注有相對(duì)尺寸的實(shí)物模型的第一三維地圖,并確定用于指示在上述目標(biāo)時(shí)刻上述終端在上述第一三維地圖所指示的三維環(huán)境中的位置和姿態(tài)的第一相對(duì)位姿信息,上述第一三維地圖包括上述參照物的標(biāo)注有相對(duì)尺寸的三維模型;根據(jù)上述實(shí)際尺寸和上述三維模型的相對(duì)尺寸,確定第一尺度換算因子,其中,上述第一尺度換算因子用于表征上述實(shí)物模型的相對(duì)尺寸與上述實(shí)物模型對(duì)應(yīng)的實(shí)物的實(shí)際尺寸之間的比例;根據(jù)上述第一尺度換算因子和上述第一相對(duì)位姿信息,確定上述第一絕對(duì)位姿信息。
在一些實(shí)施例中,上述確定單元,還用于:采用即時(shí)定位與三維地圖構(gòu)建方式,構(gòu)建標(biāo)注有相對(duì)尺寸的第一三維地圖。
在一些實(shí)施例中,上述參照物包括人臉;以及上述確定單元,還用于:提取所采集的多幀第一環(huán)境圖像中的人臉圖像的特征點(diǎn);根據(jù)所提取的特征點(diǎn),采用三角測(cè)距的方式,構(gòu)建標(biāo)注有相對(duì)尺寸的上述人臉的三維模型;將上述第一三維地圖中的上述人臉的三維模型替換為采用三角測(cè)距的方式構(gòu)建的上述人臉的三維模型。
在一些實(shí)施例中,上述構(gòu)建單元,還用于:根據(jù)上述后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建包括標(biāo)注有相對(duì)尺寸的實(shí)物模型的第二三維地圖,并確定用于指示在上述目標(biāo)時(shí)刻上述終端在上述第二三維地圖所指示的三維環(huán)境中的位置和姿態(tài)的第二相對(duì)位姿信息;根據(jù)上述第二絕對(duì)位姿信息和上述第二相對(duì)位姿信息,確定第二尺度換算因子,其中,上述第二尺度換算因子用于表征第二三維地圖中的實(shí)物模型的相對(duì)尺寸與該實(shí)物模型對(duì)應(yīng)的實(shí)物的實(shí)際尺寸之間的比例;根據(jù)上述第二尺度換算因子和標(biāo)注有相對(duì)尺寸的第二三維地圖,重建標(biāo)注有實(shí)際尺寸的第二三維地圖。
第三方面,本申請(qǐng)實(shí)施例提供了一種終端,上述終端包括:一個(gè)或多個(gè)處理器;存儲(chǔ)裝置,用于存儲(chǔ)一個(gè)或多個(gè)程序,前置攝像頭,用于采集第一環(huán)境圖像;后置攝像頭,用于采集第二環(huán)境圖像;當(dāng)上述一個(gè)或多個(gè)程序被上述一個(gè)或多個(gè)處理器執(zhí)行時(shí),使得上述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如第一方面上述的方法。
第四方面,本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面上述的方法。
本申請(qǐng)實(shí)施例利用提供的應(yīng)用于終端的呈現(xiàn)三維地圖的方法和裝置,通過前置攝像頭和后置攝像頭所得出的終端的絕對(duì)位姿有關(guān)聯(lián)這一特征,在利用前置攝像頭確定了終端的第一絕對(duì)位姿的情況下,通過前置攝像頭和后置攝像頭的配合,確定終端的與后置攝像頭對(duì)應(yīng)的第二絕對(duì)位姿,進(jìn)而能夠利用上述第二絕對(duì)位姿構(gòu)建后置攝像頭采集的環(huán)境圖像的三維地圖。因?yàn)槔们爸脭z像頭可以及時(shí)得到后置攝像頭對(duì)應(yīng)的第二絕對(duì)位姿,后置攝像頭可以持續(xù)采集環(huán)境信息而避免了每隔一段時(shí)間中斷以進(jìn)行絕對(duì)尺度校正,所以本實(shí)施方式提高了構(gòu)建三維地圖的效率,進(jìn)而提高了呈現(xiàn)三維地圖的效率。
附圖說明
通過閱讀參照以下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述,本申請(qǐng)的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:
圖1是本申請(qǐng)可以應(yīng)用于其中的示例性系統(tǒng)架構(gòu)圖;
圖2是根據(jù)本申請(qǐng)的應(yīng)用于終端的呈現(xiàn)三維地圖的方法的一個(gè)實(shí)施例的流程圖;
圖3是根據(jù)本申請(qǐng)的應(yīng)用于終端的呈現(xiàn)三維地圖的方法的一個(gè)應(yīng)用場(chǎng)景的示意圖;
圖4a是根據(jù)本申請(qǐng)的應(yīng)用于終端的呈現(xiàn)三維地圖的方法的又一個(gè)實(shí)施例的流程圖;
圖4b是圖4a對(duì)應(yīng)的方法中步驟405的一種實(shí)現(xiàn)方式的流程圖;
圖5是根據(jù)本申請(qǐng)的應(yīng)用于終端的呈現(xiàn)三維地圖的裝置的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖;
圖6是適于用來實(shí)現(xiàn)本申請(qǐng)實(shí)施例的終端設(shè)備的計(jì)算機(jī)系統(tǒng)的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例對(duì)本申請(qǐng)作進(jìn)一步的詳細(xì)說明。可以理解的是,此處所描述的具體實(shí)施例僅僅用于解釋相關(guān)發(fā)明,而非對(duì)該發(fā)明的限定。另外還需要說明的是,為了便于描述,附圖中僅示出了與有關(guān)發(fā)明相關(guān)的部分。
需要說明的是,在不沖突的情況下,本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本申請(qǐng)。本領(lǐng)域技術(shù)人員還將理解的是,雖然本文中可使用用語“第一”、“第二”等來描述各種三維地圖、尺度換算因子、環(huán)境圖像、坐標(biāo)系、絕對(duì)位姿信息、相對(duì)位姿信息等,但是這些三維地圖、尺度換算因子、環(huán)境圖像、坐標(biāo)系、絕對(duì)位姿信息、相對(duì)位姿信息不應(yīng)被這些用語限制。這些用語僅用于將一個(gè)三維地圖、尺度換算因子、環(huán)境圖像、坐標(biāo)系、絕對(duì)位姿信息、相對(duì)位姿信息與其它三維地圖、尺度換算因子、環(huán)境圖像、坐標(biāo)系、絕對(duì)位姿信息、相對(duì)位姿信息區(qū)分開。
圖1示出了可以應(yīng)用本申請(qǐng)的應(yīng)用于終端的呈現(xiàn)三維地圖的方法或應(yīng)用于終端的呈現(xiàn)三維地圖的裝置的實(shí)施例的示例性系統(tǒng)架構(gòu)100。
如圖1所示,系統(tǒng)架構(gòu)100可以包括終端設(shè)備101、102、103,網(wǎng)絡(luò)104和服務(wù)器105、106。網(wǎng)絡(luò)104用以在終端設(shè)備101、102、103和服務(wù)器105、106之間提供通信鏈路的介質(zhì)。網(wǎng)絡(luò)104可以包括各種連接類型,例如有線、無線通信鏈路或者光纖電纜等等。
用戶110可以使用終端設(shè)備101、102、103通過網(wǎng)絡(luò)104與服務(wù)器105、106交互,以接收或發(fā)送消息等。終端設(shè)備101、102、103上可以安裝有各種客戶端應(yīng)用,例如增強(qiáng)現(xiàn)實(shí)類應(yīng)用、視頻播放類應(yīng)用、搜索引擎類應(yīng)用等。
終端設(shè)備101、102、103可以配置有前置攝像頭和后置攝像頭,并且可以是具有顯示屏并且支持交互功能的各種電子設(shè)備,包括但不限于智能手機(jī)、平板電腦、電子書閱讀器、MP3播放器(Moving Picture Experts Group Audio Layer III,動(dòng)態(tài)影像專家壓縮標(biāo)準(zhǔn)音頻層面3)、MP4(Moving Picture Experts Group Audio Layer IV,動(dòng)態(tài)影像專家壓縮標(biāo)準(zhǔn)音頻層面4)播放器、膝上型便攜計(jì)算機(jī)和臺(tái)式計(jì)算機(jī)等等。
服務(wù)器105、106可以是提供各種服務(wù)的服務(wù)器,例如對(duì)終端設(shè)備101、102、103提供支持的后臺(tái)服務(wù)器。后臺(tái)服務(wù)器可以接收終端設(shè)備的應(yīng)用更新請(qǐng)求并根據(jù)應(yīng)用更新請(qǐng)求等數(shù)據(jù)處理,并將處理結(jié)果(例如更新的應(yīng)用的安裝包)反饋給終端設(shè)備。
需要說明的是,本申請(qǐng)實(shí)施例所提供的應(yīng)用于終端的呈現(xiàn)三維地圖的方法一般由終端設(shè)備101、102、103執(zhí)行,相應(yīng)地,輸入裝置一般設(shè)置于終端設(shè)備101、102、103中。
應(yīng)該理解,圖1中的終端設(shè)備、網(wǎng)絡(luò)和服務(wù)器的數(shù)目?jī)H僅是示意性的。根據(jù)實(shí)現(xiàn)需要,可以具有任意數(shù)目的終端設(shè)備、網(wǎng)絡(luò)和服務(wù)器。需要說明的是,在一些情況下,系統(tǒng)構(gòu)架中也可以不設(shè)置服務(wù)器。
繼續(xù)參考圖2,其示出了根據(jù)本申請(qǐng)的應(yīng)用于終端的呈現(xiàn)三維地圖的方法的一個(gè)實(shí)施例的流程200。上述終端配置有前置攝像頭和后置攝像頭,上述的應(yīng)用于終端的呈現(xiàn)三維地圖的方法,包括以下步驟:
步驟201,根據(jù)前置攝像頭采集的多幀包括已知實(shí)際尺寸的參照物的圖像的第一環(huán)境圖像,確定用于指示在目標(biāo)時(shí)刻終端在前置攝像頭對(duì)應(yīng)的第一坐標(biāo)系中的位置和姿態(tài)的第一絕對(duì)位姿信息。
在本實(shí)施例中,應(yīng)用于終端的呈現(xiàn)三維地圖的方法運(yùn)行于其上的電子設(shè)備(例如圖1上述的終端)可以根據(jù)終端上配置的前置攝像頭采集的多幀第一環(huán)境圖像,確定第一絕對(duì)位姿信息。在這里,前置攝像頭所采集的第一環(huán)境圖像包括已知實(shí)際尺寸的參照物的圖像。上述第一絕對(duì)位姿信息用于表征在目標(biāo)時(shí)刻上述終端在前置攝像頭對(duì)應(yīng)的第一坐標(biāo)系中的位置和姿態(tài)。
在本實(shí)施例中,與前置攝像頭對(duì)應(yīng)的第一坐標(biāo)系可以是世界坐標(biāo)系,也可以是為前置攝像頭配置的坐標(biāo)系。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,可以將前置攝像頭和后置攝像頭均配置為單目攝像頭??蛇x地,也可以將前置攝像頭配置為雙目攝像頭,將后置攝像頭配置為單目攝像頭??蛇x地,還可以將前置攝像頭配置和后置攝像頭均配置為雙目攝像頭。
作為示例,參照物可以是人臉、公交卡、已知實(shí)際尺寸的瓶子等。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,在前置攝像頭為雙目攝像頭的情況下,可以利用迭代最近點(diǎn)(Iterative Closest Point,ICP)算法,確定上述第一絕對(duì)位姿信息。
步驟202,根據(jù)第一坐標(biāo)系與后置攝像頭對(duì)應(yīng)的第二坐標(biāo)系之間的變換關(guān)系,將第一絕對(duì)位姿信息變換為用于表征在目標(biāo)時(shí)刻的在第二坐標(biāo)系中的位置和姿態(tài)的第二絕對(duì)位姿信息。
在本實(shí)施例中,上述電子設(shè)備可以根據(jù)上述第一坐標(biāo)系與后置攝像頭對(duì)應(yīng)的第二坐標(biāo)系之間的變換關(guān)系,將第一位姿信息變換為第二位姿信息。在這里,上述第二位姿信息用于表征在上述目標(biāo)時(shí)刻上述終端在上述第二坐標(biāo)系中位置和姿態(tài)。
作為示例,第一坐標(biāo)系和第二坐標(biāo)系可以是同一坐標(biāo)系,那么,第一絕對(duì)位姿信息與第二絕對(duì)位姿信息相同,無需變換。
作為示例,第一坐標(biāo)系和第二坐標(biāo)系均為三維坐標(biāo)系,第一坐標(biāo)系和第二坐標(biāo)系之間可以有兩個(gè)軸方向相同,一個(gè)軸方向相反。例如,第一坐標(biāo)系的x軸和第二坐標(biāo)系的x’軸方向相同,第一坐標(biāo)系的y軸和第二坐標(biāo)系的y’軸方向相同,第一坐標(biāo)系的z軸和第二坐標(biāo)系的z’軸方向相反。
可以理解,雖然在不同坐標(biāo)系中的表征終端位姿的絕對(duì)位姿信息不同,但在同一時(shí)刻,終端的空間中的位姿是一定的。在已知不同坐標(biāo)系的變換關(guān)系的情況下,終端在不同坐標(biāo)系中的絕對(duì)位姿信息之間可以相互變換。
需要說明的是,此處的絕對(duì)位姿信息中的參數(shù)的參數(shù)值與實(shí)際尺寸相同,所以稱為“絕對(duì)位姿信息”,以與下文中相對(duì)位姿信息中的相對(duì)尺寸區(qū)分。
步驟203,根據(jù)第二絕對(duì)位姿信息和后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建標(biāo)注有實(shí)際尺寸的第二三維地圖。
在本實(shí)施例中,上述電子設(shè)備可以根據(jù)上述第二絕對(duì)位姿信息和上述后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建標(biāo)注有實(shí)際尺寸的第二三維地圖。
本領(lǐng)域技術(shù)人員可以理解,確定終端的位姿信息可以理解為對(duì)終端的定位,同時(shí)定位和三維地圖的構(gòu)建是同時(shí)進(jìn)行相互促進(jìn)的過程。在得到絕對(duì)位姿信息后,可以構(gòu)建出具有實(shí)際尺寸的三維地圖;在構(gòu)建出具有實(shí)際尺寸的三維地圖后,可以得到絕對(duì)位姿信息。
需要說明的是,第二三維地圖這一命名用于與后置攝像頭相關(guān)的其他信息(如第二環(huán)境圖像、第二絕對(duì)位姿信息)的命名保持一致,使得全文行文一致。因此,可以理解,第二三維地圖構(gòu)建之前不是必然要構(gòu)建第一三維地圖。
步驟204,采用增強(qiáng)現(xiàn)實(shí)方式,呈現(xiàn)第二三維地圖。
在本實(shí)施例中,上述電子設(shè)備可以采用增強(qiáng)現(xiàn)實(shí)方式,呈現(xiàn)上述第二三維地圖。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,采用增強(qiáng)現(xiàn)實(shí)的方式呈現(xiàn)所構(gòu)建的第二三維地圖,可以是將第二三維地圖呈現(xiàn)至終端的屏幕,并且在終端的位姿變化的時(shí)候,屏幕上呈現(xiàn)的第二三維地圖指示不同角度看到的第二環(huán)境。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,采用增強(qiáng)現(xiàn)實(shí)的方式呈現(xiàn)所構(gòu)建的第二三維地圖,可以是將用戶添加至第二三維地圖的虛擬物的三維模型與第二三維地圖綁定,呈現(xiàn)第二三維地圖的同時(shí)呈現(xiàn)上述虛擬物的三維模型,并且在呈現(xiàn)指示不同角度看到的第二環(huán)境的第二三維地圖時(shí),上述虛擬物相對(duì)于第二三維地圖的位置不變。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,虛擬物的三維模型標(biāo)注有虛擬物的實(shí)際尺寸,將虛擬物的三維模型添加至第二三維地圖后,可以逼真地呈現(xiàn)虛擬物。作為示例,虛擬物可以是虛擬玩偶,用戶選擇將虛擬玩偶的三維模型添加至第二三維地圖,在虛擬玩偶的三維模型和第二三維模型均標(biāo)注有實(shí)際尺寸的情況下,可以將虛擬玩偶放置至三維模型時(shí),使得虛擬玩偶與三維模型中的實(shí)物的三維模型(例如桌子模型)的比例與兩者實(shí)際尺寸的比例一致,使得用戶看到的畫面更為逼真。
繼續(xù)參見圖3,圖3是根據(jù)本實(shí)施例的應(yīng)用于終端的呈現(xiàn)三維地圖的方法的應(yīng)用場(chǎng)景的一個(gè)示意圖。在圖3的應(yīng)用場(chǎng)景中,用戶首先打開具有增強(qiáng)現(xiàn)實(shí)功能的應(yīng)用,終端上配置的前置攝像頭和后置攝像頭同時(shí)開啟;之后,終端可以根據(jù)上述前置攝像頭采集的多幀包括已知實(shí)際尺寸的參照物(例如人臉)的圖像的第一環(huán)境圖像,確定用于指示在目標(biāo)時(shí)刻上述終端在前置攝像頭對(duì)應(yīng)的第一坐標(biāo)系中的位置和姿態(tài)的第一絕對(duì)位姿信息;然后,上述終端可以根據(jù)上述第一坐標(biāo)系與上述后置攝像頭對(duì)應(yīng)的第二坐標(biāo)系之間的變換關(guān)系,將上述第一絕對(duì)位姿信息變換為用于表征在上述目標(biāo)時(shí)刻上述終端在上述第二坐標(biāo)系中的位置和姿態(tài)的第二絕對(duì)位姿信息;再后,上述終端可以根據(jù)上述第二絕對(duì)位姿信息和上述后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建標(biāo)注有實(shí)際尺寸的第二三維地圖(例如包括標(biāo)注有蜜蜂的實(shí)際尺寸的三維模型的三維地圖);最后,上述終端采用增強(qiáng)現(xiàn)實(shí)方式,呈現(xiàn)上述第二三維地圖。
本申請(qǐng)的上述實(shí)施例提供的方法,利用前置攝像頭和后置攝像頭所得出的終端的絕對(duì)位姿有關(guān)聯(lián)這一特征。在利用前置攝像頭確定了終端的第一絕對(duì)位姿的情況下,通過前置攝像頭和后置攝像頭的配合,確定終端與后置攝像頭對(duì)應(yīng)的第二絕對(duì)位姿,進(jìn)而能夠利用上述第二絕對(duì)位姿構(gòu)建后置攝像頭采集的環(huán)境圖像的三維地圖。因?yàn)槔们爸脭z像頭可以及時(shí)得到對(duì)后置攝像頭對(duì)應(yīng)的第二絕對(duì)位姿,后置攝像頭可以持續(xù)采集環(huán)境信息而避免每隔一段時(shí)間中斷以進(jìn)行絕對(duì)尺度校正,所以本實(shí)施方式提高了構(gòu)建三維地圖的效率,進(jìn)而提高了呈現(xiàn)三維地圖的效率。
進(jìn)一步參考圖4a,其示出了應(yīng)用于終端的呈現(xiàn)三維地圖的方法的又一個(gè)實(shí)施例的流程400。上述終端配置有前置攝像頭和后置攝像頭,該應(yīng)用于終端的呈現(xiàn)三維地圖的方法的流程400,包括以下步驟:
步驟401,根據(jù)前置攝像頭采集的多幀第一環(huán)境圖像,構(gòu)建包括標(biāo)注有相對(duì)尺寸的實(shí)物模型的第一三維地圖,并確定第一相對(duì)位姿信息。
在本實(shí)施例中,應(yīng)用于終端的呈現(xiàn)三維地圖的方法運(yùn)行于其上的電子設(shè)備(例如圖1上述的終端)可以根據(jù)前置攝像頭采集的多幀第一環(huán)境圖像,構(gòu)建包括標(biāo)注有相對(duì)尺寸的實(shí)物模型的第一三維地圖,并確定第一相對(duì)位姿信息。
在本實(shí)施例中,前置攝像頭所采集的第一環(huán)境圖像包括人臉圖像。上述第一三維地圖包括標(biāo)注有相對(duì)尺寸的人臉的三維模型。上述第一相對(duì)位姿信息用于指示在上述目標(biāo)時(shí)刻上述終端在上述第一三維地圖所指示的三維環(huán)境中的位置和姿態(tài)。
在本實(shí)施例中,前置攝像頭可以是單目攝像頭,單目攝像頭不能獲取深度信息,所以根據(jù)單目攝像頭所采集到的圖像構(gòu)建的三維地圖中的尺寸都是相對(duì)尺寸,即不是環(huán)境中實(shí)物的實(shí)際尺寸。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,可以采用即時(shí)定位與三維地圖構(gòu)建方式,構(gòu)建標(biāo)注有相對(duì)尺寸的第一三維地圖。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,可以提取所采集的多幀第一環(huán)境圖像中的人臉圖像的特征點(diǎn),其中,上述特征點(diǎn)可以包括以下至少一項(xiàng):內(nèi)眼角位置點(diǎn)、外眼角位置點(diǎn)、嘴角位置點(diǎn)。根據(jù)所提取的特征點(diǎn),采用三角測(cè)距的方式,構(gòu)建標(biāo)注有相對(duì)尺寸的上述人臉的三維模型。將上述第一三維地圖中的上述人臉的三維模型替換為采用三角測(cè)距的方式構(gòu)建的上述人臉的三維模型。
需要說明的是,利用通用的即時(shí)定位與三維地圖構(gòu)建方式所建立的實(shí)物的三維模型,精度可能較低。本實(shí)現(xiàn)方式采用額外的方式對(duì)人臉的關(guān)鍵點(diǎn)再次建模,可以提高人臉模型的精度。將再次建模得到的模型用于與實(shí)際尺寸的比對(duì),可以提高第一尺度轉(zhuǎn)換因子的精度。
步驟402,根據(jù)人臉的實(shí)際尺寸和人臉的三維模型的相對(duì)尺寸,確定第一尺度轉(zhuǎn)換因子。
在本實(shí)施例中,上述電子設(shè)備可以根據(jù)人臉的實(shí)際尺寸和人臉的三維模型的相對(duì)尺寸,確定第一尺度轉(zhuǎn)換因子。在這里,第一尺度轉(zhuǎn)換因子用于表征第一三維環(huán)境地圖中的實(shí)物模型的相對(duì)尺寸與上述實(shí)物模型對(duì)應(yīng)的實(shí)物的實(shí)際尺寸之間的比例。
在這里,人臉的實(shí)際尺寸可以是上述終端的常用用戶的人臉的尺寸,也可以是統(tǒng)計(jì)分析出的人臉的通常的實(shí)際尺寸。
在這里,所比對(duì)的人臉的實(shí)際尺寸和人臉的三維模型的相對(duì)尺寸,可以是人臉總體的尺寸,也可以是人臉中某些特征點(diǎn)之間的尺寸。
步驟403,根據(jù)第一尺度換算因子和第一相對(duì)位姿信息,確定第一絕對(duì)位姿信息。
在本實(shí)施例中,上述電子設(shè)備可以根據(jù)第一尺度換算因子和第一相對(duì)位姿信息,確定第一絕對(duì)位姿信息。在這里,上述第一絕對(duì)位姿信息用于表征在上述目標(biāo)時(shí)刻上述終端在上述第二坐標(biāo)系中的位置和姿態(tài)。
作為示例,可以將第一相對(duì)位姿信息和第一尺度換算因子的參數(shù)值的比值,確定為第一絕對(duì)位姿信息的參數(shù)值。
步驟404,根據(jù)第一坐標(biāo)系與后置攝像頭對(duì)應(yīng)的第二坐標(biāo)系之間的變化關(guān)系,將第一絕對(duì)位姿信息變換為第二絕對(duì)位姿信息。
在本實(shí)施例中,上述電子設(shè)備可以根據(jù)第一坐標(biāo)系與后置攝像頭對(duì)應(yīng)的第二坐標(biāo)系之間的變化關(guān)系,將第一絕對(duì)位姿信息變換為第二絕對(duì)位姿信息。在這里,上述第二絕對(duì)位姿信息用于表征在上述目標(biāo)時(shí)刻上述終端在上述第二坐標(biāo)系中的位置和姿態(tài)。
步驟405,根據(jù)第二絕對(duì)位姿信息和后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建標(biāo)注有實(shí)際尺寸的第二三維地圖。
在本實(shí)施例中,上述電子設(shè)備可以根據(jù)第二絕對(duì)位姿信息和后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建標(biāo)注有實(shí)際尺寸的第二三維地圖。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,如圖4b所示,其示出了步驟405的一種實(shí)現(xiàn)方式的流程。步驟405可以通過步驟4051-步驟4053實(shí)現(xiàn)。
步驟4051,根據(jù)后置攝像頭采集的多幀第二環(huán)境信息,構(gòu)建包括標(biāo)注有相對(duì)尺寸的實(shí)物模型的第二三維地圖,并確定第二相對(duì)位姿信息。
在本實(shí)現(xiàn)方式中,上述電子設(shè)備可以根據(jù)后置攝像頭采集的多幀第二環(huán)境信息,構(gòu)建包括標(biāo)注有相對(duì)尺寸的實(shí)物模型的第二三維地圖,并確定第二相對(duì)位姿信息。在這里,上述第二相對(duì)位姿信息用于指示在上述目標(biāo)時(shí)刻上述終端在上述第二三維地圖所指示的三維環(huán)境中的位置和姿態(tài)。
步驟4052,根據(jù)第二絕對(duì)位姿信息和第二相對(duì)位姿信息,確定第二尺度換算因子。
在本實(shí)現(xiàn)方式中,上述電子設(shè)備可以根據(jù)第二絕對(duì)位姿信息和第二相對(duì)位姿信息,確定第二尺度換算因子。在這里,上述第二尺度換算因子用于表征第二三維地圖中的實(shí)物模型的相對(duì)尺寸與該實(shí)物模型對(duì)應(yīng)的實(shí)物的實(shí)際尺寸之間的比例。
步驟4053,根據(jù)第二尺度換算因子和標(biāo)注有相對(duì)尺寸的第二三維地圖,重建標(biāo)注有實(shí)際尺寸的第二三維地圖。
在本實(shí)現(xiàn)方式中,上述電子設(shè)備可以根據(jù)上述第二尺度換算因子和標(biāo)注有相對(duì)尺寸的第二三維地圖,重建標(biāo)注有實(shí)際尺寸的第二三維地圖。
作為示例,可以將第二三維地圖標(biāo)注的相對(duì)尺寸與第二尺度換算因子的比值,確定為第二三維地圖應(yīng)標(biāo)注的實(shí)際尺寸。
步驟406,采用增強(qiáng)現(xiàn)實(shí)方式,呈現(xiàn)第二三維地圖。
在本實(shí)施例中,上述電子設(shè)備可以采用增強(qiáng)現(xiàn)實(shí)方式,呈現(xiàn)第二三維地圖。步驟406的實(shí)現(xiàn)細(xì)節(jié)和技術(shù)效果可以參考步驟204中的說明,在此不再贅述。
從圖4a中可以看出,與圖2對(duì)應(yīng)的實(shí)施例相比,本實(shí)施例中的應(yīng)用于終端的呈現(xiàn)三維地圖的方法的流程400突出了利用前置攝像頭和人臉確定第一絕對(duì)位姿信息的步驟,并且前置攝像頭為單目攝像頭。由此,本實(shí)施例描述的方案可以應(yīng)用于更為廣泛的終端,并且可以便捷地獲取參照物(例如,人臉),從而可以在現(xiàn)有配置的終端上實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)這一功能。
進(jìn)一步參考圖5,作為對(duì)上述各圖上述方法的實(shí)現(xiàn),本申請(qǐng)?zhí)峁┝艘环N應(yīng)用于終端的呈現(xiàn)三維地圖的裝置的一個(gè)實(shí)施例,上述終端配置有前置攝像頭和后置攝像頭,該裝置實(shí)施例與圖2上述的方法實(shí)施例相對(duì)應(yīng),該裝置具體可以應(yīng)用于各種電子設(shè)備中。
如圖5上述,本實(shí)施例的應(yīng)用于終端的呈現(xiàn)三維地圖的裝置500包括:確定單元501、變換單元502、構(gòu)建單元503和呈現(xiàn)單元504。其中,確定單元501,用于根據(jù)上述前置攝像頭采集的多幀包括已知實(shí)際尺寸的參照物的圖像的第一環(huán)境圖像,確定用于指示在目標(biāo)時(shí)刻上述終端在前置攝像頭對(duì)應(yīng)的第一坐標(biāo)系中的位置和姿態(tài)的第一絕對(duì)位姿信息;變換單元502,用于根據(jù)上述第一坐標(biāo)系與上述后置攝像頭對(duì)應(yīng)的第二坐標(biāo)系之間的變換關(guān)系,將上述第一絕對(duì)位姿信息變換為用于表征在上述目標(biāo)時(shí)刻上述終端在上述第二坐標(biāo)系中的位置和姿態(tài)的第二絕對(duì)位姿信息;構(gòu)建單元503,用于根據(jù)上述第二絕對(duì)位姿信息和上述后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建標(biāo)注有實(shí)際尺寸的第二三維地圖;呈現(xiàn)單元504,用于采用增強(qiáng)現(xiàn)實(shí)方式,呈現(xiàn)上述第二三維地圖。
在本實(shí)施例中,裝置500的確定單元501、變換單元502、構(gòu)建單元503和呈現(xiàn)單元504的具體處理可以參考圖2對(duì)應(yīng)實(shí)施例中的步驟201、步驟202、步驟203以及步驟204,這此不再贅述。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述確定單元,還用于:根據(jù)上述前置攝像頭采集的多幀第一環(huán)境圖像,構(gòu)建包括標(biāo)注有相對(duì)尺寸的實(shí)物模型的第一三維地圖,并確定用于指示在上述目標(biāo)時(shí)刻上述終端在上述第一三維地圖所指示的三維環(huán)境中的位置和姿態(tài)的第一相對(duì)位姿信息,上述第一三維地圖包括上述參照物的標(biāo)注有相對(duì)尺寸的三維模型;根據(jù)上述實(shí)際尺寸和上述三維模型的相對(duì)尺寸,確定第一尺度換算因子,其中,上述第一尺度換算因子用于表征上述實(shí)物模型的相對(duì)尺寸與上述實(shí)物模型對(duì)應(yīng)的實(shí)物的實(shí)際尺寸之間的比例;根據(jù)上述第一尺度換算因子和上述第一相對(duì)位姿信息,確定上述第一絕對(duì)位姿信息。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述確定單元,還用于:采用即時(shí)定位與三維地圖構(gòu)建方式,構(gòu)建標(biāo)注有相對(duì)尺寸的第一三維地圖。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述參照物包括人臉;以及上述確定單元,還用于:提取所采集的多幀第一環(huán)境圖像中的人臉圖像的特征點(diǎn),其中,上述特征點(diǎn)包括以下至少一項(xiàng):內(nèi)眼角位置點(diǎn)、外眼角位置點(diǎn)、嘴角位置點(diǎn);根據(jù)所提取的特征點(diǎn),采用三角測(cè)距的方式,構(gòu)建標(biāo)注有相對(duì)尺寸的上述人臉的三維模型;將上述第一三維地圖中的上述人臉的三維模型替換為采用三角測(cè)距的方式構(gòu)建的上述人臉的三維模型。
在本實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述構(gòu)建單元,還用于:根據(jù)上述后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建包括標(biāo)注有相對(duì)尺寸的實(shí)物模型的第二三維地圖,并確定用于指示在上述目標(biāo)時(shí)刻上述終端在上述第二三維地圖所指示的三維環(huán)境中的位置和姿態(tài)的第二相對(duì)位姿信息;根據(jù)上述第二絕對(duì)位姿信息和上述第二相對(duì)位姿信息,確定第二尺度換算因子,其中,上述第二尺度換算因子用于表征第二三維地圖中的實(shí)物模型的相對(duì)尺寸與該實(shí)物模型對(duì)應(yīng)的實(shí)物的實(shí)際尺寸之間的比例;根據(jù)上述第二尺度換算因子和標(biāo)注有相對(duì)尺寸的第二三維地圖,重建標(biāo)注有實(shí)際尺寸的第二三維地圖。
本實(shí)施例所提供的裝置的各個(gè)單元的實(shí)現(xiàn)細(xì)節(jié)和技術(shù)效果,可以參考本申請(qǐng)其它實(shí)施例中的說明,在此不再贅述。
下面參考圖6,其示出了適于用來實(shí)現(xiàn)本申請(qǐng)實(shí)施例的終端設(shè)備的計(jì)算機(jī)系統(tǒng)600的結(jié)構(gòu)示意圖。圖6示出的終端設(shè)備僅僅是一個(gè)示例,不應(yīng)對(duì)本申請(qǐng)實(shí)施例的功能和使用范圍帶來任何限制。
如圖6所示,計(jì)算機(jī)系統(tǒng)600包括中央處理單元(CPU)601,其可以根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(ROM)602中的程序或者從存儲(chǔ)部分608加載到隨機(jī)訪問存儲(chǔ)器(RAM)603中的程序而執(zhí)行各種適當(dāng)?shù)膭?dòng)作和處理。在RAM 603中,還存儲(chǔ)有系統(tǒng)600操作所需的各種程序和數(shù)據(jù)。CPU 601、ROM 602以及RAM 603通過總線604彼此相連。輸入/輸出(I/O)接口605也連接至總線604。
以下部件連接至I/O接口605:包括鍵盤、鼠標(biāo)、前置攝像頭、后置攝像頭等的輸入部分606;包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚(yáng)聲器等的輸出部分607;包括硬盤等的存儲(chǔ)部分608;以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分609。通信部分609經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動(dòng)器610也根據(jù)需要連接至I/O接口605。可拆卸介質(zhì)611,諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等等,根據(jù)需要安裝在驅(qū)動(dòng)器610上,以便于從其上讀出的計(jì)算機(jī)程序根據(jù)需要被安裝入存儲(chǔ)部分608。
特別地,根據(jù)本公開的實(shí)施例,上文參考流程圖描述的過程可以被實(shí)現(xiàn)為計(jì)算機(jī)軟件程序。例如,本公開的實(shí)施例包括一種計(jì)算機(jī)程序產(chǎn)品,其包括承載在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序,該計(jì)算機(jī)程序包含用于執(zhí)行流程圖所示的方法的程序代碼。在這樣的實(shí)施例中,該計(jì)算機(jī)程序可以通過通信部分609從網(wǎng)絡(luò)上被下載和安裝,和/或從可拆卸介質(zhì)611被安裝。在該計(jì)算機(jī)程序被中央處理單元(CPU)601執(zhí)行時(shí),執(zhí)行本申請(qǐng)的方法中限定的上述功能。需要說明的是,本申請(qǐng)上述的計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可讀信號(hào)介質(zhì)或者計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)或者是上述兩者的任意組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是——但不限于——電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件,或者任意以上的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子可以包括但不限于:具有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式計(jì)算機(jī)磁盤、硬盤、隨機(jī)訪問存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦式可編程只讀存儲(chǔ)器(EPROM或閃存)、光纖、便攜式緊湊磁盤只讀存儲(chǔ)器(CD-ROM)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任意合適的組合。在本申請(qǐng)中,計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是任何包含或存儲(chǔ)程序的有形介質(zhì),該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。而在本申請(qǐng)中,計(jì)算機(jī)可讀的信號(hào)介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號(hào),其中承載了計(jì)算機(jī)可讀的程序代碼。這種傳播的數(shù)據(jù)信號(hào)可以采用多種形式,包括但不限于電磁信號(hào)、光信號(hào)或上述的任意合適的組合。計(jì)算機(jī)可讀的信號(hào)介質(zhì)還可以是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以外的任何計(jì)算機(jī)可讀介質(zhì),該計(jì)算機(jī)可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。計(jì)算機(jī)可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸,包括但不限于:無線、電線、光纜、RF等等,或者上述的任意合適的組合。
附圖中的流程圖和框圖,圖示了按照本申請(qǐng)各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上,流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段、或代碼的一部分,該模塊、程序段、或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意,在有些作為替換的實(shí)現(xiàn)中,方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如,兩個(gè)接連地表示的方框?qū)嶋H上可以基本并行地執(zhí)行,它們有時(shí)也可以按相反的順序執(zhí)行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合,可以用執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn),或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。
描述于本申請(qǐng)實(shí)施例中所涉及到的單元可以通過軟件的方式實(shí)現(xiàn),也可以通過硬件的方式來實(shí)現(xiàn)。所描述的單元也可以設(shè)置在處理器中,例如,可以描述為:一種處理器包括確定單元、變換單元、構(gòu)建單元和呈現(xiàn)單元。其中,這些單元的名稱在某種情況下并不構(gòu)成對(duì)該單元本身的限定,例如,確定單元還可以被描述為“根據(jù)上述前置攝像頭采集的多幀包括已知實(shí)際尺寸的參照物的圖像的第一環(huán)境圖像,確定用于指示在目標(biāo)時(shí)刻上述終端在前置攝像頭對(duì)應(yīng)的第一坐標(biāo)系中的位置和姿態(tài)的第一絕對(duì)位姿信息的單元”。
作為另一方面,本申請(qǐng)還提供了一種計(jì)算機(jī)可讀介質(zhì),該計(jì)算機(jī)可讀介質(zhì)可以是上述實(shí)施例中描述的裝置中所包含的;也可以是單獨(dú)存在,而未裝配入該裝置中。上述計(jì)算機(jī)可讀介質(zhì)承載有一個(gè)或者多個(gè)程序,當(dāng)上述一個(gè)或者多個(gè)程序被該裝置執(zhí)行時(shí),使得該裝置:根據(jù)上述前置攝像頭采集的多幀包括已知實(shí)際尺寸的參照物的圖像的第一環(huán)境圖像,確定用于指示在目標(biāo)時(shí)刻上述終端在前置攝像頭對(duì)應(yīng)的第一坐標(biāo)系中的位置和姿態(tài)的第一絕對(duì)位姿信息;根據(jù)上述第一坐標(biāo)系與上述后置攝像頭對(duì)應(yīng)的第二坐標(biāo)系之間的變換關(guān)系,將上述第一絕對(duì)位姿信息變換為用于表征在上述目標(biāo)時(shí)刻上述終端在上述第二坐標(biāo)系中的位置和姿態(tài)的第二絕對(duì)位姿信息;根據(jù)上述第二絕對(duì)位姿信息和上述后置攝像頭采集的多幀第二環(huán)境圖像,構(gòu)建標(biāo)注有實(shí)際尺寸的第二三維地圖;采用增強(qiáng)現(xiàn)實(shí)方式,呈現(xiàn)上述第二三維地圖。
以上描述僅為本申請(qǐng)的較佳實(shí)施例以及對(duì)所運(yùn)用技術(shù)原理的說明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,本申請(qǐng)中所涉及的發(fā)明范圍,并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案,同時(shí)也應(yīng)涵蓋在不脫離上述發(fā)明構(gòu)思的情況下,由上述技術(shù)特征或其等同特征進(jìn)行任意組合而形成的其它技術(shù)方案。例如上述特征與本申請(qǐng)中公開的(但不限于)具有類似功能的技術(shù)特征進(jìn)行互相替換而形成的技術(shù)方案。