本發(fā)明屬于多智能機器人協(xié)同,具體涉及一種智能機器群體的通信與定位一體化方法。
背景技術:
1、在智能機器人領域,為了讓機器人執(zhí)行安全可靠、高準確性的作業(yè)任務,往往需要其在對應環(huán)境內擁有較高的定位精度。當前的機器人定位方式以基于高精度地圖的slam(同步定位與地圖構建)算法為主流,其通過預先構建場景內的高精度地圖,并在運行過程中基于實時感知數(shù)據(jù)進行地圖級的計算與重定位。
2、為了實現(xiàn)上述目標,由于常用的gps以及慣性測量單元(imu)等設備存在難以滿足精度要求或累積誤差等在設備層面無法避免的問題,目前常用的做法通?;诟呔鹊貓D實現(xiàn),即通過將傳感器數(shù)據(jù)與預先構建的高精度地圖進行匹配以獲取地圖坐標系下的絕對坐標,如經(jīng)緯度。然而,盡管預構建地圖的定位方案能夠幫助提高定位的速度與準確率,但這一完全依賴地圖的方案意味著機器人的協(xié)同算法無法在脫離地圖的條件下直接運行,當由于預構建的地圖與感知數(shù)據(jù)分布之間的偏差,在地下、礦山、山區(qū)等高干擾場景下,受到光照、環(huán)境變化速度快、定位裝置精度不足等限制時,智能機器人難以在此類條件下展開高可靠性的作業(yè),限制了其應用場景。
3、在多機器人群體互聯(lián)協(xié)作的場景下,多機器人系統(tǒng)作業(yè)算法通常更關注機器人間的相對位置關系,而非其在全局坐標系下的絕對位置。而只需要鄰居機器人與主機器人之間的相對位置關系即可完成坐標系的轉換與對齊,進而完成主機器人視角下的智能決策過程。因此,對高精度地圖無依賴的協(xié)同定位算法在自動駕駛領域受到了廣泛的關注與研究。當前的相關工作集中于通過雙方點云進行配準,并由此得出兩點云所處坐標系間的旋轉矩陣以實現(xiàn)無地圖的相對位置定位。但此類工作缺乏對動態(tài)運行狀況的考慮,即在本發(fā)明面向的持續(xù)定位場景下,機器人間的協(xié)同感知過程中共享的點云數(shù)據(jù)存在時序相關性,而對應的相對位置關系同樣存在這一關系,但現(xiàn)有的工作缺少對時序性的考慮,其主要面向單幀的多角度點云完成配準,而在持續(xù)進行相對定位的過程中,由于前后點云幀及相對位置間存在著極強的時序關聯(lián)性,與相對位置存在強相關的連續(xù)時序信息通常被忽略了,在此基礎上為了保證連續(xù)定位的可靠性,往往會導致大量的計算與通信資源浪費。此外,當前的點云配準算法通?;陔p方的原始點云數(shù)據(jù)實現(xiàn),盡管這一信息包含最大的信息量,但是由于點云數(shù)據(jù)量過于龐大的特點,在實際場景下將難以避免導致大量通信資源的問題,難以保證協(xié)同定位的實時性,限制了其在真實場景下的可用性。
4、公開號為cn117870652a的中國發(fā)明專利在2024年4月12日公開了一種基于雷達、慣性、視覺融合的陸空在線協(xié)同定位方法,在相對定位的過程中,無人機和無人車均通過機載雷達、慣性單元融合實現(xiàn)自身定位,同時基于無人機視覺觀測無人車相對位置,隨后采用無人機和無人車點云融合配準的方式實現(xiàn)相對位姿估計。但是該技術方案對感知數(shù)據(jù)的類別需求過多,除雷達點云數(shù)據(jù)外需要多類感知數(shù)據(jù)源及陸空協(xié)同的設備輔助,以完成高穩(wěn)定的相對定位。盡管充分且豐富的感知數(shù)據(jù)能夠為協(xié)同定位帶來更高的精度,但在真實場景下往往需要與設備以及環(huán)境的通信與計算載荷進行權衡。隨著系統(tǒng)內設備數(shù)量的增多,過大的感知數(shù)據(jù)需求一方面意味著系統(tǒng)成本的上升,另一方面意味著系統(tǒng)內峰值通信及計算資源占用量的非線性上升,這在實際場景下往往是難以接受的。
5、公開號為cn117156415a的中國發(fā)明專利申請在2023年12月1日公開了一種車聯(lián)網(wǎng)感知協(xié)同的通信資源管理方法,利用無線感知所得位置估計車輛速度,并根據(jù)感知估計模型預測下一時刻車輛位置,基于預測結果采用分簇方法對車輛用戶終端對應的車輛進行分簇管理,基于分簇管理的結果與可達通信速率計算系統(tǒng)吞吐量,以最大化系統(tǒng)吞吐量為優(yōu)化目標,構建資源分配優(yōu)化問題。該技術方案對通信資源的管理方法以最大化系統(tǒng)吞吐量為優(yōu)化目標,分簇方法僅依賴設備的位置,但在可能存在大量無效通信的場景中,盡管最大化吞吐量的優(yōu)化方式能夠充分利用資源,但卻忽視了對無效通信的關注與管理,這將導致指標難以直接反映通信資源浪費的問題。
6、公開號為cn117930219a的中國發(fā)明專利申請在2024年4月26日公開了一種基于毫米波雷達的集群無人機定位方法,面向導航失效場景,將毫米波雷達技術用于解決無人機集群定位問題,基于失效前集群狀態(tài)估計相對位置期望值,進而結合單設備的雷達與慣性測量單元完成相對定位。但該技術方案是以導航失效場景為前提條件,并依賴導航失效前的集群位置與運動關系進行定位,對于在初始狀態(tài)無高精度地圖或從初始狀態(tài)開始進行相對定位的場景,由于初始期望值無獲取渠道,因此該技術方案難以適配此類場景。
7、公開號為cn116977963a的中國發(fā)明專利申請在2023年10月31日公開了一種基于bev視角的自動駕駛多模態(tài)協(xié)同感知方法及系統(tǒng),為了解決自動駕駛多模態(tài)數(shù)據(jù)在融合過程中的協(xié)同感知效果差的問題,該技術方案從獲取的原始點云數(shù)據(jù)和多視角相機圖像數(shù)據(jù)中提取點云bev特征、圖像bev特征以及深度bev特征,再對各bev特征進行特征融合得到多模態(tài)bev融合特征,通過多任務頭對多模態(tài)bev融合特征進行處理得到三維目標檢測結果和bev視角語義分割結果。該技術方案使用點云與視覺信息融合提取中期特征,提取中期特征的神經(jīng)網(wǎng)絡僅通過下游語義分割與目標檢測的結果完成訓練,其中期融合的監(jiān)督信號為最大化下游任務精度,而忽視了各協(xié)作參與方存在的個性化需求,如自機器人對近距離對象的任務精度需求往往高于遠距離對象的任務精度需求。
8、現(xiàn)有技術通常直接從定位雙方持有的單幀原始感知數(shù)據(jù)出發(fā)運行后續(xù)的配準與定位流程,這在時序化定位場景下將導致較大的計算與通信資源浪費,因此需要構建一套滿足客觀通信條件限制、減少計算與通信資源浪費的智能機器群體通信與定位方法。
技術實現(xiàn)思路
1、針對上述現(xiàn)有技術存在的問題,本發(fā)明提供了一種智能機器群體的通信與定位一體化方法,基于智能機器個體的實際通信能力及定位需求提取通信友好的中期特征,在基站側完成個體協(xié)同定位對象的選擇與調度,智能機器個體基于雙方的點云信息估計機器間的相對位置關系,實現(xiàn)了客觀通信條件限制下的實時運行,在時空維度上融合跨設備特征實現(xiàn)高效高精度的持續(xù)協(xié)同定位,提高了配準精度。
2、本發(fā)明的一種智能機器群體的通信與定位一體化方法,應用場景中包含多臺智能機器與多個基站,在智能機器上均部署有中期特征提取與交互模塊以及時序化相對定位模塊,在基站上均部署有最優(yōu)通信鏈路構建模塊。本發(fā)明方法包括如下步驟:
3、步驟1:智能機器人通過激光雷達進行感知,通過中期特征提取與交互模塊點對當前感知的雷達點云數(shù)據(jù)處理,構建查詢向量并廣播,提取中期特征用于交互。每個智能機器人的中期特征提取與交互模塊對自身感知的雷達點云數(shù)據(jù)構建多分辨率特征圖,再構造查詢向量進行廣播。當機器人a與機器人b交互查詢向量后,機器人a的中期特征提取與交互模塊基于機器人b的查詢向量計算自身的多分辨率特征圖對機器人b的空間重要性,再由多分辨率特征圖生成帶有空間重要性的中期特征;機器人a將中期特征與空間重要性特征拼接作為交互特征,回傳給機器人b。
4、步驟2:基站通過最優(yōu)通信鏈路構建模塊先對智能機器人進行分簇,在簇內進行最優(yōu)通信鏈路分配,之后再補全簇間邊界的通信鏈路。每臺智能機器人初始先廣播式地嘗試連接所有基站,然后僅保留其中信號強度最高的通信鏈路,將連接同一個基站的智能機器人歸為一個簇;最優(yōu)通信鏈路構建模塊基于信號強度和空間重要性計算簇內機器人間的距離分數(shù),再按照最大化簇內智能機器人間雙向距離分數(shù)和的原則為簇內機器人分配協(xié)同定位對象;針對位于簇邊界的機器人,計算與位于相鄰簇邊界的機器人間的距離分數(shù),根據(jù)距離分數(shù)優(yōu)化位于簇邊界的機器人的通信鏈路?;緦f(xié)同定位分配結果反饋給機器人,協(xié)同定位的兩機器人間建立直接通信鏈路。
5、步驟3:智能機器人接收協(xié)同定位對象發(fā)送的中期特征時序,機器人基于自身采集的多分辨率特征圖序列和協(xié)同對象傳輸?shù)闹衅谔卣餍蛄校ㄟ^時序化相對定位模塊進行點云配準,獲取機器人間的相對位置關系。所述的時序化相對定位模塊包括兩個特征提取結構,一個特征融合器以及定位輸出網(wǎng)絡;設機器人a獲取自身在連續(xù)采樣時間的一個多分辨率特征圖序列,從機器人b獲取對應連續(xù)采樣時間的中期特征序列;將多分辨率特征圖序列與中期特征序列分別輸入一個特征提取結構提取聚合的時空特征圖;特征融合器將兩個特征提取結構輸出的聚合時空特征圖進行融合,將融合特征輸入定位輸出網(wǎng)絡;定位輸出網(wǎng)絡輸出兩機器人在當前時刻的相對位置關系。
6、與本發(fā)明接近的現(xiàn)有協(xié)同定位技術中,通常均未考慮對時序化信息的利用問題,為了保證協(xié)同效果而必須引入多傳感器感知或外部觀察者信息,且輸出結果的穩(wěn)定性難以保證。本發(fā)明方法實現(xiàn)了多機器人群體互聯(lián)場景下高效快速的協(xié)同定位與通信,相比現(xiàn)有技術,具有如下優(yōu)點與積極效果:
7、(1)本發(fā)明方法考慮通信帶寬約束的限制,設計了中期特征提取與交互模塊,自適應地結合自機器人的定位需求對原始點云信息完成稀疏化的中期特征提取與交互,以控制協(xié)同定位算法所需的通信規(guī)?!,F(xiàn)有相對定位方法通常需要結合多種傳感器、多種環(huán)境下運行的設備反饋的感知數(shù)據(jù),但在實際應用場景下,由于通信帶寬以及設備計算單元的約束,過多的感知數(shù)據(jù)將導致實時傳輸?shù)臄?shù)據(jù)量超出系統(tǒng)通信與計算承載能力,進而引發(fā)通信與計算瓶頸。因此,本發(fā)明方法提出一種基于協(xié)同方實際任務需求的中期特征提取網(wǎng)絡,并結合定位任務的本地個性化需求完成機器人間稀疏化特征圖的交互與提取,以在保證任務精度的前提下輔助實現(xiàn)通信、計算友好的協(xié)同定位。本發(fā)明方法通過高效的中期特征提取與交互策略,只需通過調整交互過程中特征圖的稀疏性,即可靈活地適應各類通信資源場景。
8、(2)本發(fā)明方法通過基于信號強度與特征空間重要性的最優(yōu)通信鏈路構建模塊,實現(xiàn)局部分簇構建本地最優(yōu)協(xié)作鏈路、全局合簇覆蓋邊界情況,最大限度地避免距離因素導致的通信、計算資源浪費問題。現(xiàn)有的通信鏈路構建方法通常以最優(yōu)化系統(tǒng)吞吐量以及資源利用率為目標構建資源的調度優(yōu)化問題。但是,在本發(fā)明面向的大規(guī)模機器人間相對定位場景下,由于僅通過存在重疊條件的感知數(shù)據(jù)進行相對定位,而大多鏈路由于物理距離原因并不滿足這一條件,從而存在大量通信與計算資源的浪費。本發(fā)明方法考慮到相對定位方法預期實現(xiàn)的目標為最大化系統(tǒng)內機器人得到與通信拓撲中其他機器人相對位置關系的平均有效信息量,該場景下通信鏈路的構建方式應當在基于通信基站直連鏈路進行分簇統(tǒng)一完成簇內通信中繼的基礎上,以簇內最小機器人間相對距離、簇間最優(yōu)化邊緣條件節(jié)點間連通性的策略設計并執(zhí)行連接分配與部分合簇算法。本發(fā)明方法通過最優(yōu)通信鏈路構建模塊,避免了系統(tǒng)內完全點對點通信帶來的巨幅上行帶寬壓力,同時通過簇內調度、簇間補全的方法避免了由于協(xié)同定位算法對數(shù)據(jù)重疊度強依賴導致的大量通信與計算資源浪費問題。
9、(3)本發(fā)明方法通過基于連續(xù)通信幀的時序化相對定位模塊,加入對歷史點云信息、歷史預測結果時序性信息的利用,提高了定位配準的精度?,F(xiàn)有的相對定位方法并未考慮時序信息對定位的影響,主要基于單幀感知數(shù)據(jù)完成點云配準與后續(xù)的定位流程。在機器人運行過程中,實際的感知與相對定位數(shù)據(jù)均存在著極強的時序相關性,這將反映在定位算法的輸入與輸出兩側,僅基于單幀感知信息完成配準的方案完全忽略了連續(xù)幀信息,在信息論角度,為了保證定位算法的性能一致,將需要引入額外的計算量或通信量來彌補信息量損失。同時,本發(fā)明方法在上述通信與中期特征策略的輔助下,機器人能夠高效地接收來自多方的連續(xù)中期特征幀序列,為對時序信息的利用創(chuàng)造了條件。本發(fā)明方法在時空維度上補充并聚合感知信息所含信息量,同時基于歷史預測結果進行基于置信度加權的時間衰減輸出聚合,實現(xiàn)高可靠性的相對定位。
10、(4)本發(fā)明方法實現(xiàn)了在滿足客觀通信條件限制下的實時運行,提高了對單一感知數(shù)據(jù)源信息的利用率,同時基于置信度-時間衰減的輸出聚合策略有效地保障了協(xié)同算法輸出的穩(wěn)定性,擴展了協(xié)同定位的使用場景。