本申請(qǐng)屬于視覺導(dǎo)航技術(shù)領(lǐng)域,尤其涉及一種空間位置追蹤方法、空間位置追蹤裝置及導(dǎo)航系統(tǒng)。
背景技術(shù):
自主導(dǎo)航技術(shù)正成為一個(gè)熱門的研究和開發(fā)領(lǐng)域,越來越多的智能設(shè)備將具備(例如,飛行器、無人駕駛/自動(dòng)駕駛車輛、機(jī)器人,等等)能夠?qū)崿F(xiàn)自主導(dǎo)航的功能。
自主導(dǎo)航是這樣一種技術(shù),其通過多種感測(cè)裝置(也可稱為傳感器),獲取設(shè)備在空間中的位置、方向以及所處環(huán)境的信息等,并運(yùn)用相關(guān)技術(shù)對(duì)所獲信息進(jìn)行分析、處理等來建立環(huán)境模型,識(shí)別并規(guī)劃路徑。自主導(dǎo)航中使用的感測(cè)裝置包括但不限于:攝像頭、全球定位系統(tǒng)gps、加速度計(jì)、陀螺儀、紅外傳感器、深度傳感器、位置和姿態(tài)相關(guān)的傳感器,等等。根據(jù)在導(dǎo)航過程中所起到的不同作用,不同的感測(cè)裝置具有不同的采集/處理數(shù)據(jù)量,也對(duì)應(yīng)著不同的功耗。
技術(shù)實(shí)現(xiàn)要素:
本申請(qǐng)實(shí)施例提供一種功耗較低的導(dǎo)航方案。
在一種可能的實(shí)施方式中,提供了一種空間位置追蹤方法,所述方法包括:
獲取至少一第一傳感器在第一時(shí)刻采集的與目標(biāo)設(shè)備相關(guān)的第一數(shù)據(jù);
至少基于所述第一數(shù)據(jù)以及第一參考數(shù)據(jù),啟動(dòng)至少一第二傳感器;
至少基于所述至少一第二傳感器采集的與所述目標(biāo)設(shè)備相關(guān)的第二數(shù)據(jù),獲取與所述目標(biāo)設(shè)備相關(guān)的三維環(huán)境信息。
在另一種可能的實(shí)施方式中,提供了一種空間位置追蹤裝置,所述裝置包括:
一第一獲取模塊,用于獲取至少一第一傳感器在第一時(shí)刻采集的與目標(biāo)設(shè)備相關(guān)的第一數(shù)據(jù);
一控制模塊,用于至少基于所述第一數(shù)據(jù)以及第一參考數(shù)據(jù),啟動(dòng)至少一第二傳感器;
一第二獲取模塊,用于至少基于所述至少一第二傳感器采集的與所述目標(biāo)設(shè)備相關(guān)的第二數(shù)據(jù),獲取與所述目標(biāo)設(shè)備相關(guān)的三維環(huán)境信息。
在另一種可能的實(shí)施方式中,提供了一種導(dǎo)航系統(tǒng),所述系統(tǒng)包括上述空間位置追蹤裝置;
所述至少一第一傳感器;
所述至少一第二傳感器;以及
一導(dǎo)航模塊,用于基于所述裝置的三維環(huán)境信息,對(duì)所述目標(biāo)設(shè)備進(jìn)行導(dǎo)航。
本申請(qǐng)實(shí)施例提供的方法及裝置通過功耗/數(shù)據(jù)量較高的傳感器的間斷啟動(dòng),能有效地降低空間位置追蹤及導(dǎo)航的功耗。
附圖說明
為了更清楚地說明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請(qǐng)的一些實(shí)施例。
圖1是本申請(qǐng)第一實(shí)施例提供的空間位置追蹤方法的流程圖;
圖2(a)至圖2(c)是本申請(qǐng)第一實(shí)施例的方法的相關(guān)原理示意圖;
圖3(a)至圖3(d)是本申請(qǐng)第二實(shí)施例提供的空間位置追蹤裝置的幾種示例的結(jié)構(gòu)框圖;
圖4是本申請(qǐng)第三實(shí)施例提供的導(dǎo)航系統(tǒng)的一種示例的結(jié)構(gòu)框圖。
具體實(shí)施方式
為使得本申請(qǐng)的發(fā)明目的、特征、優(yōu)點(diǎn)能夠更加的明顯和易懂,下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖,對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本申請(qǐng)一部分實(shí)施例,而非全部實(shí)施例?;诒旧暾?qǐng)中的實(shí)施例,本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本申請(qǐng)保護(hù)的范圍。
本領(lǐng)域技術(shù)人員可以理解,本申請(qǐng)中的“第一”、“第二”等術(shù)語僅用于區(qū)別不同設(shè)備、模塊或參數(shù)等,既不代表任何特定技術(shù)含義,也不表示它們之間的必然邏輯順序。
在本申請(qǐng)各實(shí)施例中,目標(biāo)設(shè)備指飛行器、車輛、機(jī)器人、或者可自主移動(dòng)或在其他可移動(dòng)設(shè)備帶動(dòng)下移動(dòng)的任意其他設(shè)備,且這樣的設(shè)備包括或攜帶本申請(qǐng)各實(shí)施例所描述的傳感器,本申請(qǐng)各實(shí)施例中所提到的位置追蹤、導(dǎo)航的對(duì)象即為所述目標(biāo)設(shè)備。此外,至少一第一傳感器為較長(zhǎng)時(shí)間處于啟動(dòng)狀態(tài)(一直啟動(dòng)、或周期性的啟動(dòng)、或根據(jù)需要啟動(dòng))的傳感器組,該傳感器組可包括一個(gè)或多個(gè)傳感器,包括多個(gè)傳感器時(shí),該多個(gè)傳感器可全部相同、或者不全相同;至少一第二傳感器為基于至少一第一傳感器采集的數(shù)據(jù)而啟動(dòng)或禁用的傳感器組,該傳感器組也可包括一個(gè)或多個(gè)傳感器,包括多個(gè)傳感器時(shí),該多個(gè)傳感器可全部相同、或者不全相同。至少一第二傳感器啟動(dòng)時(shí)采集數(shù)據(jù),禁用時(shí)不采集數(shù)據(jù)。與至少一第一傳感器相比,至少一第二傳感器啟動(dòng)時(shí)的功耗更高、且/或數(shù)據(jù)量更大。
本申請(qǐng)各實(shí)施例中所述的傳感器可為例如空間視覺導(dǎo)航系統(tǒng)中所使用的位置和姿態(tài)傳感器、以及用于感知三維環(huán)境信息(例如,場(chǎng)景深度信息)的三維感知傳感器,等等。對(duì)于這樣的系統(tǒng),在連續(xù)時(shí)間的采集中,三維感知傳感器可能隨著整個(gè)系統(tǒng)的運(yùn)動(dòng)而運(yùn)動(dòng),其感測(cè)的區(qū)域也隨著發(fā)生改變,連續(xù)的三維感知數(shù)據(jù)中,相鄰時(shí)刻獲取的數(shù)據(jù)將可能存在非常大的重復(fù),至少這部分對(duì)應(yīng)的三維數(shù)據(jù)可能是冗余的,如果都存儲(chǔ)下來需要占用很多的系統(tǒng)資源,計(jì)算這些三維數(shù)據(jù)也往往會(huì)消耗大量的計(jì)算資源。因此,可通過合理的禁用三維感知傳感器來實(shí)現(xiàn)整個(gè)系統(tǒng)功耗的顯著降低。本申請(qǐng)正是基于此,提供了一種能夠有效降低導(dǎo)航系統(tǒng)功耗的方案。
請(qǐng)參閱圖1,圖1為本申請(qǐng)第一實(shí)施例提供的空間位置追蹤方法的流程圖。該方法可由任意裝置實(shí)施,這樣的裝置也可以為下文中描述的第一傳感器、第二傳感器、以及目標(biāo)設(shè)備。如圖1所示的,該方法包括步驟:
s120.獲取至少一第一傳感器在第一時(shí)刻采集的與目標(biāo)設(shè)備相關(guān)的第一數(shù)據(jù)。
在本實(shí)施例的方法中,根據(jù)不同的傳感器類型,至少一第一傳感器采集到的第一數(shù)據(jù)可為與所述目標(biāo)設(shè)備相關(guān)的位置和/或姿態(tài)數(shù)據(jù)。這樣的數(shù)據(jù)可包括:所述目標(biāo)設(shè)備的位置、姿態(tài)、位置的變化量、和/或姿態(tài)的變化量數(shù)據(jù)。在一種可能的實(shí)現(xiàn)方式中,該位置數(shù)據(jù)可為具體的坐標(biāo),且該坐標(biāo)可以為目標(biāo)設(shè)備所處空間預(yù)先建立的坐標(biāo)系下的三維坐標(biāo),也即,以該空間內(nèi)的某個(gè)點(diǎn)為預(yù)設(shè)原點(diǎn)建立的坐標(biāo)系;該坐標(biāo)也可以為地球坐標(biāo)系下的三維坐標(biāo),等等。姿態(tài)數(shù)據(jù)可指轉(zhuǎn)動(dòng)角φ(roll)、偏航角ψ(yaw)、以及俯仰角θ(pitch)。該位置/姿態(tài)變化量數(shù)據(jù)可指當(dāng)前(第一)時(shí)刻的位置/姿態(tài)相對(duì)于之前的任一時(shí)刻的位置/姿態(tài)的變化。能夠采集這樣的第一數(shù)據(jù)的傳感器包括但不限于:gps模塊、加速度計(jì)、陀螺儀、紅外傳感器,等等。目標(biāo)設(shè)備為具有傳動(dòng)馬達(dá)的機(jī)器人時(shí),該至少一第一傳感器也可為其自身的傳動(dòng)馬達(dá),根據(jù)傳動(dòng)馬達(dá)的相位輸出也能夠獲取機(jī)器人的位置和姿態(tài)的改變。
s140.至少基于所述第一數(shù)據(jù)以及第一參考數(shù)據(jù),啟動(dòng)至少一第二傳感器。
在本實(shí)施例的方法中,第一參考數(shù)據(jù)可為預(yù)先設(shè)置的,或?yàn)樵谀繕?biāo)設(shè)備移動(dòng)過程中的任意時(shí)刻該至少一第一傳感器采集到的數(shù)據(jù)。例如,第一參考數(shù)據(jù)為該至少第一傳感器啟動(dòng)時(shí)刻所采集到的數(shù)據(jù)。在本實(shí)施例的方法中,參考數(shù)據(jù)的設(shè)置用于觸發(fā)至少一第二傳感器的啟動(dòng),以滿足對(duì)至少一第二傳感器的功能需求而具體設(shè)置。
例如,若至少一第二傳感器為三維感知傳感器,其主要功能是獲取目標(biāo)設(shè)備所在環(huán)境的三維信息(這樣的傳感器包括但不限于:基于結(jié)構(gòu)光的深度攝像頭,基于光飛行時(shí)間的深度攝像頭,以及基于雙目三角測(cè)量得到深度的深度攝像頭)。在連續(xù)的三維環(huán)境感知數(shù)據(jù)中,相鄰的數(shù)據(jù)會(huì)存在非常大的重復(fù)。如(a)所示的,通過至少一第一傳感器采集的數(shù)據(jù)所恢復(fù)的目標(biāo)設(shè)備環(huán)境的二維圖像信息的連續(xù)時(shí)間記錄,這其中,相鄰時(shí)刻對(duì)應(yīng)的三維數(shù)據(jù)會(huì)存在非常大的重復(fù)。而可通過之前某一時(shí)刻的二維圖像對(duì)應(yīng)的數(shù)據(jù)作為參考數(shù)據(jù),并設(shè)置合理的閾值,來觸發(fā)是否啟動(dòng)該至少一第二傳感器。在圖2(a)所示的示例中,若以之前的第三幀圖像數(shù)據(jù)為參考數(shù)據(jù),設(shè)置閾值為兩幀圖像數(shù)據(jù)的差異為50%,其中,第四幀的數(shù)據(jù)與其參考數(shù)據(jù)(也即第一幀的數(shù)據(jù))差異超過50%,可響應(yīng)于此啟動(dòng)至少一第二傳感器。同理可以得到,第七幀與第四幀的數(shù)據(jù)相比具有50%的新數(shù)據(jù),也可響應(yīng)于此啟動(dòng)至少一第二傳感器。需要說明的是,對(duì)于每一時(shí)刻的第一數(shù)據(jù),其對(duì)應(yīng)的參考數(shù)據(jù)可能是不同的,例如,每第三個(gè)時(shí)刻所采集的第一數(shù)據(jù)均可作為參考數(shù)據(jù),或者每個(gè)與其參考數(shù)據(jù)的差異不小于對(duì)應(yīng)的第一閾值的第一數(shù)據(jù)都成為第一參考數(shù)據(jù)。
s160.至少基于所述至少一第二傳感器采集的與所述目標(biāo)設(shè)備相關(guān)的第二數(shù)據(jù),獲取與所述目標(biāo)設(shè)備相關(guān)的三維環(huán)境信息。
在本實(shí)施例的方法中,至少根據(jù)第二數(shù)據(jù)即可恢復(fù)目標(biāo)設(shè)備的場(chǎng)景信息,優(yōu)選地,為目標(biāo)設(shè)備的場(chǎng)景深度信息。例如,第二數(shù)據(jù)為場(chǎng)景三維深度圖像,可以通過統(tǒng)計(jì)當(dāng)前該深度圖像上的所有像素的深度數(shù)據(jù)的平均值,作為該圖像的深度數(shù)據(jù)。
綜上,本實(shí)施例的方法通過功耗/數(shù)據(jù)量較高的傳感器的間斷啟動(dòng),能有效地降低空間位置追蹤的功耗。
如上所述的,至少一第二傳感器的啟動(dòng)與第一參考數(shù)據(jù)有關(guān),具體地,步驟s140可進(jìn)一步包括:
s142.響應(yīng)于所述第一數(shù)據(jù)與所述第一參考數(shù)據(jù)的差異不小于第一閾值,啟動(dòng)所述至少一第二傳感器。
可根據(jù)需要設(shè)置該第一閾值。例如,如結(jié)合圖2(a)所描述的,觸發(fā)三維感知傳感器啟動(dòng)的當(dāng)前圖像幀數(shù)據(jù)與其參考圖像幀數(shù)據(jù)之間的差異也即第一閾值為50%。若三維感知傳感器的視場(chǎng)角為a,第一數(shù)據(jù)包括目標(biāo)設(shè)備的位置變化量δt以及轉(zhuǎn)動(dòng)角變化量δq,則如圖2(b)和2(c)所示的,可設(shè)置與位置變化量δt對(duì)應(yīng)的第一閾值為2*d*s*tan(a/2),與轉(zhuǎn)動(dòng)角變化量δq對(duì)應(yīng)的第一閾值為a*s,其中,d為參考圖像的深度數(shù)據(jù),該深度數(shù)據(jù)可為例如該圖像上的所有像素的深度數(shù)據(jù)的平均值。
s146.獲取所述至少一第二傳感器在第二時(shí)刻采集的所述第二數(shù)據(jù)。
如上所述的,滿足啟動(dòng)該至少一第二傳感器的條件時(shí)的場(chǎng)景為需要追蹤的,此刻,應(yīng)使至少一第一傳感器靜止,使得該至少一第二傳感器能夠采集對(duì)應(yīng)場(chǎng)景的數(shù)據(jù),也即與第一數(shù)據(jù)對(duì)應(yīng)的目標(biāo)設(shè)備的當(dāng)前場(chǎng)景。因此,在步驟s146之前,還可包括步驟:
s144.響應(yīng)于啟動(dòng)所述至少一第二傳感器,使所述至少一第一傳感器靜止。
得到第二數(shù)據(jù)并據(jù)此獲取與所述目標(biāo)設(shè)備相關(guān)的三維環(huán)境信息之后,至少一第一傳感器繼續(xù)工作,而至少一第二傳感器可仍保持啟動(dòng)狀態(tài),或者,可自動(dòng)或根據(jù)下一時(shí)刻至少一第一傳感器采集的數(shù)據(jù)決定是否禁用以啟動(dòng)的至少一第二傳感器,從而進(jìn)一步節(jié)省功耗。具體地,本實(shí)施例的方法還可包括:
s130.獲取至少一第一傳感器在第三時(shí)刻采集的與所述目標(biāo)設(shè)備相關(guān)的第三數(shù)據(jù)。
s150.響應(yīng)于所述第三數(shù)據(jù)與第二參考數(shù)據(jù)的差異不小于第二閾值,禁用所述至少一第二傳感器。
該第二參考數(shù)據(jù)可與所述第一參考數(shù)據(jù)相同也可不同。第二閾值可與第一閾值相同,也可不同,且可為根據(jù)步驟s160所得到的三維環(huán)境信息而相對(duì)于第一閾值而調(diào)整的。例如,根據(jù)第二數(shù)據(jù)獲得的三維環(huán)境信息不夠充分的情況下,可以降低第一閾值為第二閾值。在這樣的實(shí)現(xiàn)方式中,本實(shí)施例的方法還可包括步驟:
s162.至少根據(jù)所述三維環(huán)境信息調(diào)整所述第一閾值,獲得第二閾值。
此外,根據(jù)執(zhí)行本實(shí)施例的方法裝置的功能和角色的不同,在一種可能的實(shí)現(xiàn)方式中,本實(shí)施例的方法還可包括步驟:
s182.發(fā)送所述第二數(shù)據(jù)和/或所述三維環(huán)境信息,以供后續(xù)導(dǎo)航需要。
在另一種可能的實(shí)現(xiàn)方式中,本實(shí)施例的方法還可包括步驟:
s184.存儲(chǔ)所述第二數(shù)據(jù)和/或所述三維環(huán)境信息。
在以上存儲(chǔ)或輸出第二數(shù)據(jù)和/或所述三維環(huán)境信息時(shí),可以事前對(duì)數(shù)據(jù)進(jìn)行整合,進(jìn)而輸入或存儲(chǔ)更為便于使用的數(shù)據(jù)。例如,將第二數(shù)據(jù)中的位置和姿態(tài)信息作為第三環(huán)境信息每一幀內(nèi)容的坐標(biāo)標(biāo)記,使得第三數(shù)據(jù)每一幀都包含一個(gè)第二數(shù)據(jù)中包含的位置信息。在例如,將第二數(shù)據(jù)中的rgb信息與深度信息對(duì)應(yīng)的內(nèi)容進(jìn)行融合,使得第三數(shù)據(jù)是一個(gè)包含色彩信息的三維環(huán)境信息。
綜上,本實(shí)施例的方法有助于實(shí)現(xiàn)功耗較低的導(dǎo)航。
本領(lǐng)域技術(shù)人員可以理解,在本申請(qǐng)具體實(shí)施方式的上述方法中,各步驟的序號(hào)大小并不意味著執(zhí)行順序的先后,各步驟的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定,而不應(yīng)對(duì)本申請(qǐng)具體實(shí)施方式的實(shí)施過程構(gòu)成任何限定。
此外,本申請(qǐng)實(shí)施例還提供了一種計(jì)算機(jī)可讀介質(zhì),包括在被執(zhí)行時(shí)進(jìn)行以下操作的計(jì)算機(jī)可讀指令:執(zhí)行上述圖1中所示實(shí)施方式中的方法的各步驟的操作。
參閱圖3(a),圖3(a)為本申請(qǐng)第二實(shí)施例提供的空間位置追蹤裝置300的結(jié)構(gòu)框圖。該裝置300可為導(dǎo)航系統(tǒng)的一部分或本身即為導(dǎo)航系統(tǒng)。如圖3(a)所示的,該裝置300包括:第一獲取模塊320、控制模塊340、以及第二獲取模塊360。其中,
第一獲取模塊320用于獲取至少一第一傳感器在第一時(shí)刻采集的與目標(biāo)設(shè)備相關(guān)的第一數(shù)據(jù)。
在本實(shí)施例的裝置中,根據(jù)不同的傳感器類型,至少一第一傳感器采集到的第一數(shù)據(jù)可為與所述目標(biāo)設(shè)備相關(guān)的位置和/或姿態(tài)數(shù)據(jù)。這樣的數(shù)據(jù)可包括:所述目標(biāo)設(shè)備的位置、姿態(tài)、位置的變化量、和/或姿態(tài)的變化量數(shù)據(jù)。在一種可能的實(shí)現(xiàn)方式中,該位置數(shù)據(jù)可為具體的坐標(biāo),且該坐標(biāo)可以為目標(biāo)設(shè)備所處空間預(yù)先建立的坐標(biāo)系下的三維坐標(biāo),也即,以該空間內(nèi)的某個(gè)點(diǎn)為預(yù)設(shè)原點(diǎn)建立的坐標(biāo)系;該坐標(biāo)也可以為地球坐標(biāo)系下的三維坐標(biāo),等等。姿態(tài)數(shù)據(jù)可指轉(zhuǎn)動(dòng)角φ(roll)、偏航角ψ(yaw)、以及俯仰角θ(pitch)。該位置/姿態(tài)變化量數(shù)據(jù)可指當(dāng)前(第一)時(shí)刻的位置/姿態(tài)相對(duì)于之前的任一時(shí)刻的位置/姿態(tài)的變化。能夠采集這樣的第一數(shù)據(jù)的傳感器包括但不限于:gps模塊、加速度計(jì)、陀螺儀、紅外傳感器,等等。目標(biāo)設(shè)備為具有傳動(dòng)馬達(dá)的機(jī)器人時(shí),該至少一第一傳感器也可為其自身的傳動(dòng)馬達(dá),根據(jù)傳動(dòng)馬達(dá)的相位輸出也能夠獲取機(jī)器人的位置和姿態(tài)的改變。
控制模塊340用于至少基于所述第一數(shù)據(jù)以及第一參考數(shù)據(jù),啟動(dòng)至少一第二傳感器。
在本實(shí)施例的裝置300中,第一參考數(shù)據(jù)可為預(yù)先設(shè)置的,或?yàn)樵谀繕?biāo)設(shè)備移動(dòng)過程中的任意時(shí)刻該至少一第一傳感器采集到的數(shù)據(jù)。例如,第一參考數(shù)據(jù)為該至少第一傳感器啟動(dòng)時(shí)刻所采集到的數(shù)據(jù)。在本實(shí)施例的裝置中,參考數(shù)據(jù)的設(shè)置用于觸發(fā)至少一第二傳感器的啟動(dòng),以滿足對(duì)至少一第二傳感器的功能需求而具體設(shè)置。
例如,若至少一第二傳感器為三維感知傳感器,其主要功能是獲取目標(biāo)設(shè)備所在環(huán)境的三維信息(這樣的傳感器包括但不限于:基于結(jié)構(gòu)光的深度攝像頭,基于光飛行時(shí)間的深度攝像頭,以及基于雙目三角測(cè)量得到深度的深度攝像頭)。在連續(xù)的三維感知數(shù)據(jù)中,相鄰的數(shù)據(jù)會(huì)存在非常大的重復(fù)。如圖2(a)所示的,通過至少一第一傳感器采集的數(shù)據(jù)所恢復(fù)的目標(biāo)設(shè)備環(huán)境的二維圖像信息的連續(xù)時(shí)間記錄,這其中,相鄰時(shí)刻對(duì)應(yīng)的三維數(shù)據(jù)會(huì)存在非常大的重復(fù)。而可通過之前某一時(shí)刻的二維圖像對(duì)應(yīng)的數(shù)據(jù)作為參考數(shù)據(jù),并設(shè)置合理的閾值,來觸發(fā)是否啟動(dòng)該至少一第二傳感器。在圖2(a)所示的示例中,若以之前的第三幀圖像數(shù)據(jù)為參考數(shù)據(jù),設(shè)置閾值為兩幀圖像數(shù)據(jù)的差異為50%,其中,第四幀的數(shù)據(jù)與其參考數(shù)據(jù)(也即第一幀的數(shù)據(jù))差異超過50%,可響應(yīng)于此啟動(dòng)至少一第二傳感器。同理可以得到,第七幀與第四幀的數(shù)據(jù)相比具有50%的新數(shù)據(jù),也可響應(yīng)于此啟動(dòng)至少一第二傳感器。需要說明的是,對(duì)于每一時(shí)刻的第一數(shù)據(jù),其對(duì)應(yīng)的參考數(shù)據(jù)可能是不同的,例如,每第三個(gè)時(shí)刻所采集的第一數(shù)據(jù)均可作為參考數(shù)據(jù),或者每個(gè)與其參考數(shù)據(jù)的差異不小于對(duì)應(yīng)的第一閾值的第一數(shù)據(jù)都成為第一參考數(shù)據(jù)。
第二獲取模塊360,用于至少基于所述至少一第二傳感器采集的與所述目標(biāo)設(shè)備相關(guān)的第二數(shù)據(jù),獲取與所述目標(biāo)設(shè)備相關(guān)的三維環(huán)境信息。
在本實(shí)施例的裝置300中,第二獲取模塊360至少根據(jù)第二數(shù)據(jù)即可恢復(fù)目標(biāo)設(shè)備的三維環(huán)境信息,優(yōu)選地,為目標(biāo)設(shè)備的場(chǎng)景深度信息。例如,第二數(shù)據(jù)為場(chǎng)景三維深度圖像,第二獲取模塊360可以通過統(tǒng)計(jì)當(dāng)前該深度圖像上的所有像素的深度數(shù)據(jù)的平均值,得到該圖像的深度數(shù)據(jù)。
綜上,本實(shí)施例的裝置通過功耗/數(shù)據(jù)量較高的傳感器的間斷啟動(dòng),能有效地降低空間位置追蹤的功耗。
如上所述的,至少一第二傳感器的啟動(dòng)與第一參考數(shù)據(jù)有關(guān),具體地,如圖3(b)所示,控制模塊340可進(jìn)一步包括控制單元342以及獲取單元344,其中:
控制單元342用于響應(yīng)于所述第一數(shù)據(jù)與所述第一參考數(shù)據(jù)的差異不小于第一閾值,啟動(dòng)所述至少一第二傳感器。
可根據(jù)需要設(shè)置該第一閾值。例如,如結(jié)合圖2(a)所描述的,觸發(fā)三維感知傳感器啟動(dòng)的當(dāng)前圖像幀數(shù)據(jù)與其參考圖像幀數(shù)據(jù)之間的差異也即第一閾值為50%。若三維感知傳感器的視場(chǎng)角為a,第一數(shù)據(jù)包括目標(biāo)設(shè)備的位置變化量δt以及轉(zhuǎn)動(dòng)角變化量δq,則如圖2(b)和2(c)所示的,可設(shè)置與位置變化量δt對(duì)應(yīng)的第一閾值為2*d*s*tan(a/2),與轉(zhuǎn)動(dòng)角變化量δq對(duì)應(yīng)的第一閾值為a*s,其中,d為參考圖像的深度數(shù)據(jù),該深度數(shù)據(jù)可為例如該圖像上的所有像素的深度數(shù)據(jù)的平均值。
獲取單元344用于獲取所述至少一第二傳感器在第二時(shí)刻采集的所述第二數(shù)據(jù)。
如上所述的,滿足啟動(dòng)該至少一第二傳感器的條件時(shí)的場(chǎng)景為需要追蹤的,此刻,應(yīng)使至少一第一傳感器靜止,使得該至少一第二傳感器能夠采集對(duì)應(yīng)場(chǎng)景的數(shù)據(jù),也即與第一數(shù)據(jù)對(duì)應(yīng)的目標(biāo)設(shè)備的當(dāng)前場(chǎng)景。因此,控制單元342還用于響應(yīng)于啟動(dòng)所述至少一第二傳感器,使所述至少一第一傳感器靜止。
在獲取單元344得到第二數(shù)據(jù)并據(jù)此獲取與所述目標(biāo)設(shè)備相關(guān)的三維環(huán)境信息之后,至少一第一傳感器繼續(xù)工作,而控制單元342可控制至少一第二傳感器仍保持啟動(dòng)狀態(tài),或者,可根據(jù)下一時(shí)刻至少一第一傳感器采集的數(shù)據(jù)決定是否禁用已啟動(dòng)的至少一第二傳感器,從而進(jìn)一步節(jié)省功耗。具體地:
第一獲取模塊320還用于獲取至少一第一傳感器在第三時(shí)刻采集的與所述目標(biāo)設(shè)備相關(guān)的第三數(shù)據(jù)。
控制模塊340還用于響應(yīng)于所述第三數(shù)據(jù)與第二參考數(shù)據(jù)的差異不小于第二閾值,禁用所述至少一第二傳感器。
該第二參考數(shù)據(jù)可與所述第一參考數(shù)據(jù)相同也可不同。第二閾值可與第一閾值相同,也可不同,且可為根據(jù)第二獲取模塊360獲得的三維環(huán)境信息而相對(duì)于第一閾值而調(diào)整的。例如,根據(jù)第二數(shù)據(jù)獲得的三維環(huán)境信息不夠充分的情況下,可以降低第一閾值為第三閾值,降低第二閾值為第四閾值。在這樣的實(shí)現(xiàn)方式中,控制模塊340還可用于至少根據(jù)所述三維環(huán)境信息調(diào)整所述第一,第二閾值,獲得第三,第四閾值。
此外,根據(jù)本實(shí)施例的裝置的功能和角色的不同,在一種可能的實(shí)現(xiàn)方式中,如圖3(c)所示,本實(shí)施例的裝置300還可包括:
發(fā)送模塊382,用于發(fā)送所述第二數(shù)據(jù)和/或所述三維環(huán)境信息,以供外部系統(tǒng)在后續(xù)導(dǎo)航中的需要。例如,發(fā)送模塊382可通過例如usb接口、hdmi或者網(wǎng)口等高速接口的形式來發(fā)送,或者發(fā)送模塊382本身即為這樣的接口。
在另一種可能的實(shí)現(xiàn)方式中,如圖3(d)所示,本實(shí)施例的裝置300還可包括步驟:
存儲(chǔ)模塊384,用于存儲(chǔ)所述第二數(shù)據(jù)和/或所述三維環(huán)境信息。
在以上存儲(chǔ)或輸出第二數(shù)據(jù)和/或所述三維環(huán)境信息時(shí),可以事前對(duì)數(shù)據(jù)進(jìn)行整合,進(jìn)而輸入或存儲(chǔ)更為便于使用的數(shù)據(jù)。例如,將第二數(shù)據(jù)中的位置和姿態(tài)信息作為第三環(huán)境信息每一幀內(nèi)容的坐標(biāo)標(biāo)記,使得第三數(shù)據(jù)每一幀都包含一個(gè)第二數(shù)據(jù)中包含的位置信息。在例如,將第二數(shù)據(jù)中的rgb信息與深度信息對(duì)應(yīng)的內(nèi)容進(jìn)行融合,使得第三數(shù)據(jù)是一個(gè)包含色彩信息的三維環(huán)境信息。
綜上,本實(shí)施例的裝置有助于實(shí)現(xiàn)功耗較低的導(dǎo)航。
請(qǐng)參閱圖4,圖4所示為本申請(qǐng)第三實(shí)施例提供的一種導(dǎo)航系統(tǒng)的結(jié)構(gòu)示意圖。如圖4所示,該系統(tǒng)400包括:圖3(a)至圖3(d)任一圖所示的空間位置追蹤裝置300以及導(dǎo)航模塊460。該系統(tǒng)400還包括至少一第一傳感器420以及至少一第二傳感器440。系統(tǒng)400可包括但不限于:基于射頻的空間定位系統(tǒng)、基于圖像的視覺空間定位系統(tǒng)、紅外定位系統(tǒng)、基于圖像的視覺空間定位系統(tǒng)等等
其中,至少一第一傳感器420用于采集目標(biāo)設(shè)備相關(guān)的第一數(shù)據(jù)。如上面結(jié)合圖1的方法所描述的,第一數(shù)據(jù)可包括于目標(biāo)設(shè)備的位置和/或姿態(tài)相關(guān)的數(shù)據(jù)。這樣的至少一第一傳感器420包括但不限于:gps模塊、加速度計(jì)、陀螺儀、基于圖像的視覺空間定位系統(tǒng)雙目/單個(gè)攝像頭、紅外傳感器、傳動(dòng)馬達(dá)、等等。
至少一第二傳感器440用于采集目標(biāo)設(shè)備相關(guān)的第二數(shù)據(jù)。如上面結(jié)合圖1的方法所描述的,該第二數(shù)據(jù)可包括目標(biāo)設(shè)備所在環(huán)境的場(chǎng)景三維數(shù)據(jù),例如,基于結(jié)構(gòu)光的深度攝像頭、基于光飛行時(shí)間的深度攝像頭,基于雙目三角測(cè)量得到深度的深度攝像頭。
該系統(tǒng)400中涉及的與空間位置追蹤裝置300的功能及對(duì)應(yīng)的空間位置追蹤步驟的進(jìn)一步的實(shí)施方式可以參見上述方法及裝置實(shí)施例中對(duì)應(yīng)的描述,這里不再一一贅述。且導(dǎo)航模塊460基于空間位置追蹤300的三維環(huán)境信息進(jìn)行導(dǎo)航的方法也為本領(lǐng)域成熟的技術(shù),在此不再贅述。
在本申請(qǐng)所提供的多個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的系統(tǒng)、終端和方法,可以通過其它的方式實(shí)現(xiàn)。例如,以上所描述的基于空間位置追蹤方法及裝置實(shí)施例僅僅是示意性的,例如,所述模塊的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)模塊或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信鏈接可以是通過一些接口,模塊的間接耦合或通信鏈接,可以是電性,機(jī)械或其它的形式。
所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的,作為模塊顯示的部件可以是或者也可以不是物理模塊,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)模塊上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本申請(qǐng)各個(gè)實(shí)施例中的各功能模塊可以集成在一個(gè)處理模塊中,也可以是各個(gè)模塊單獨(dú)物理存在,也可以兩個(gè)或兩個(gè)以上模塊集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能模塊的形式實(shí)現(xiàn)。
所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?;谶@樣的理解,本申請(qǐng)的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請(qǐng)各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:u盤、移動(dòng)硬盤、只讀存儲(chǔ)器(rom,read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram,randomaccessmemory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。
需要說明的是,對(duì)于前述的各方法實(shí)施例,為了簡(jiǎn)便描述,故將其都表述為一系列的動(dòng)作組合,但是本領(lǐng)域技術(shù)人員應(yīng)該知悉,本申請(qǐng)并不受所描述的動(dòng)作順序的限制,因?yàn)橐罁?jù)本申請(qǐng),某些步驟可以采用其它順序或者同時(shí)進(jìn)行。其次,本領(lǐng)域技術(shù)人員也應(yīng)該知悉,說明書中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例,所涉及的動(dòng)作和模塊并不一定都是本申請(qǐng)所必須的。
在上述實(shí)施例中,對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重,某個(gè)實(shí)施例中沒有詳述的部分,可以參見其它實(shí)施例的相關(guān)描述。
以上為對(duì)本申請(qǐng)所提供的基于圖像的眼鏡識(shí)別方法及裝置的描述,對(duì)于本領(lǐng)域的技術(shù)人員,依據(jù)本申請(qǐng)實(shí)施例的思想,在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處,綜上,本說明書內(nèi)容不應(yīng)理解為對(duì)本申請(qǐng)的限制。