本發(fā)明涉及3d點(diǎn)云智能標(biāo)注，更具體地說，涉及一種3d點(diǎn)云數(shù)據(jù)的智能標(biāo)注方法及系統(tǒng)。

背景技術(shù)：

1、3d點(diǎn)云標(biāo)注是指對三維物體采集得到的點(diǎn)云數(shù)據(jù)進(jìn)行標(biāo)注，并進(jìn)一步用于計(jì)算機(jī)視覺算法的訓(xùn)練和應(yīng)用，點(diǎn)云是由“點(diǎn)”構(gòu)成的“云”，是通過激光雷達(dá)等傳感器采集的大量點(diǎn)的集合，用于表示三維空間中的物體表面。這些點(diǎn)包含了三維坐標(biāo)x、y、z，以及可能的其他信息如顏色、分類值、強(qiáng)度值、時(shí)間等，相比2d圖像數(shù)據(jù)，3d點(diǎn)云數(shù)據(jù)提供了豐富的幾何、形狀和尺度信息，且不易受光照強(qiáng)度變化和其他物體遮擋的影響，能夠更全面具體地還原機(jī)器的周圍環(huán)境，3d點(diǎn)云標(biāo)注為計(jì)算機(jī)視覺算法提供了基礎(chǔ)數(shù)據(jù)，是自動駕駛、機(jī)器人導(dǎo)航、三維建模等領(lǐng)域的重要支撐。

2、在自動駕駛、機(jī)器人導(dǎo)航及三維建模等應(yīng)用中，3d點(diǎn)云數(shù)據(jù)標(biāo)注是至關(guān)重要的一環(huán)，目前在激光雷達(dá)采集的三維空間中，對于目標(biāo)物的判斷以及標(biāo)注通常是又人工手動進(jìn)行，傳統(tǒng)的人工標(biāo)注方法不僅效率低下，且成本高昂，難以滿足大規(guī)模數(shù)據(jù)處理的需求，傳統(tǒng)的標(biāo)注方法是人工采用3d框框選目標(biāo)物，可由于目標(biāo)物的形狀以及尺寸通常是不具有規(guī)律性的，這就導(dǎo)致傳統(tǒng)3d框只能框選目標(biāo)物的大概范圍，不能貼合于目標(biāo)物的輪廓進(jìn)行框選，在此種標(biāo)注方法下訓(xùn)練智能駕駛系統(tǒng)容易造成系統(tǒng)對于目標(biāo)物通過性的判斷產(chǎn)生誤差，進(jìn)而影響車輛的正常工作，鑒于此，我們提出一種3d點(diǎn)云數(shù)據(jù)的智能標(biāo)注方法及系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種3d點(diǎn)云數(shù)據(jù)的智能標(biāo)注方法及系統(tǒng)，以解決當(dāng)前傳統(tǒng)的人工標(biāo)注方法不僅效率低下，且成本高昂，難以滿足大規(guī)模數(shù)據(jù)處理的需求的技術(shù)問題。

2、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種3d點(diǎn)云數(shù)據(jù)的智能標(biāo)注方法，包括以下步驟：

3、s1、精細(xì)化數(shù)據(jù)預(yù)處理；

4、對多源傳感器的原始3d點(diǎn)云數(shù)據(jù)進(jìn)行多層濾波處理，包括體素網(wǎng)格化以減少數(shù)據(jù)量，以及統(tǒng)計(jì)濾波以去除噪聲點(diǎn)；

5、應(yīng)用點(diǎn)云下采樣系統(tǒng)，在保持?jǐn)?shù)據(jù)稀疏性的同時(shí)保留關(guān)鍵特征；

6、對攝像頭圖像數(shù)據(jù)進(jìn)行超分辨率重建、色彩校正及圖像增強(qiáng)處理，以提升圖像質(zhì)量；

7、引入時(shí)間戳同步算法，確保點(diǎn)云數(shù)據(jù)與圖像數(shù)據(jù)的時(shí)間一致性；

8、s2、高精度數(shù)據(jù)對齊；

9、利用外部標(biāo)定參數(shù)和傳感器內(nèi)參，通過最小二乘法優(yōu)化傳感器間的變換矩陣，實(shí)現(xiàn)點(diǎn)云與圖像的精確空間對齊；

10、其中對齊誤差最小化公式如下：

11、

12、其中，r是旋轉(zhuǎn)矩陣，t是平移向量，pi和qi分別是點(diǎn)云和圖像中對應(yīng)點(diǎn)的坐標(biāo)，n是對應(yīng)點(diǎn)對數(shù)；

13、s3、深度學(xué)習(xí)目標(biāo)檢測；

14、部署voxelnet結(jié)合resnet特征提取器的3d目標(biāo)檢測網(wǎng)絡(luò)，對點(diǎn)云數(shù)據(jù)進(jìn)行處理，輸出目標(biāo)的3d邊界框、類別標(biāo)簽及置信度；

15、同時(shí)，利用efficientdet的2d目標(biāo)檢測網(wǎng)絡(luò)對圖像數(shù)據(jù)進(jìn)行處理，輸出目標(biāo)的2d邊界框、類別標(biāo)簽及置信度；

16、s4、復(fù)雜多源數(shù)據(jù)融合；

17、采用基于條件隨機(jī)場crf的概率圖模型的數(shù)據(jù)融合方法，結(jié)合3d和2d檢測結(jié)果，進(jìn)行目標(biāo)間的關(guān)聯(lián)與一致性校驗(yàn)；

18、融合過程中，利用加權(quán)融合算法，權(quán)重計(jì)算考慮置信度、目標(biāo)尺寸、形狀相似度，融合權(quán)重計(jì)算公式如下：

19、

20、其中，m是檢測到的目標(biāo)總數(shù)；

21、s5、精細(xì)化3d框優(yōu)化標(biāo)注；

22、基于融合后的目標(biāo)位置和類別信息，在3d點(diǎn)云上初步標(biāo)注3d框；

23、引入基于形狀的shape-awareicp迭代優(yōu)化算法，結(jié)合點(diǎn)云數(shù)據(jù)的表面法線和曲率等局部幾何特性，對3d框進(jìn)行精細(xì)化調(diào)整，其中優(yōu)化函數(shù)如下：

24、

25、其中，b是待優(yōu)化的3d框參數(shù)，t(b)是變換矩陣，pk是點(diǎn)云中的點(diǎn)，ck(s)是基于形狀參數(shù)s的擬合中心，binit是初始3d框參數(shù)，λ1和λ2是正則化系數(shù)，shapeconstraint(b，s)是形狀約束項(xiàng)；

26、s6、標(biāo)注結(jié)果輸出與后處理；

27、輸出優(yōu)化后的3d框標(biāo)注結(jié)果，包括中心點(diǎn)、尺寸、朝向、類別的詳細(xì)3d屬性。

28、一種3d點(diǎn)云數(shù)據(jù)的智能標(biāo)注系統(tǒng)，包括數(shù)據(jù)采集系統(tǒng)；

29、所述數(shù)據(jù)采集系統(tǒng)連接有用于對數(shù)據(jù)進(jìn)行預(yù)處理的預(yù)處理系統(tǒng)，所述預(yù)處理系統(tǒng)連接有高精度空間系統(tǒng)，所述高精度空間對齊系統(tǒng)連接有深度學(xué)習(xí)目標(biāo)檢測系統(tǒng)，所述深度學(xué)習(xí)目標(biāo)檢測系統(tǒng)輸出目標(biāo)數(shù)據(jù)并連接多源數(shù)據(jù)融合與關(guān)聯(lián)系統(tǒng)，所述多源數(shù)據(jù)融合與關(guān)聯(lián)系統(tǒng)連接有3d標(biāo)注與邊緣優(yōu)化系統(tǒng)，所述3d標(biāo)注與邊緣優(yōu)化系統(tǒng)連接有用戶交互與反饋循環(huán)系統(tǒng)，所述用戶交互與反饋循環(huán)系統(tǒng)連接有結(jié)果輸出與后處理系統(tǒng)，所述結(jié)果輸出與后處理系統(tǒng)連接有只能學(xué)習(xí)與自我優(yōu)化系統(tǒng)。

30、優(yōu)選的，所述數(shù)據(jù)采集系統(tǒng)用于從激光雷達(dá)、攝像頭以及imu慣性測量單元的多源傳感器獲取原始數(shù)據(jù)。

31、優(yōu)選的，所述預(yù)處理系統(tǒng)對從數(shù)據(jù)采集系統(tǒng)收集的數(shù)據(jù)進(jìn)行多層濾波、下采樣、超分辨率重建、色彩校正、圖像增強(qiáng)以及時(shí)間戳同步的預(yù)處理操作，確保數(shù)據(jù)的精確性和一致性，并輸出高質(zhì)量的3d點(diǎn)云和圖像數(shù)據(jù)。

32、優(yōu)選的，所述高精度空間對齊系統(tǒng)利用外部標(biāo)定參數(shù)和傳感器內(nèi)參，通過優(yōu)化算法實(shí)現(xiàn)3d點(diǎn)云與圖像數(shù)據(jù)的高精度空間對齊，且高精度空間對齊系統(tǒng)支持實(shí)時(shí)校準(zhǔn)和動態(tài)調(diào)整，以適應(yīng)環(huán)境變化或傳感器位置變動。

33、優(yōu)選的，所述深度學(xué)習(xí)目標(biāo)檢測系統(tǒng)包括部署先進(jìn)的3d和2d深度學(xué)習(xí)目標(biāo)檢測網(wǎng)絡(luò)，分別處理點(diǎn)云和圖像數(shù)據(jù)，處理完成輸出目標(biāo)的邊界框、類別標(biāo)簽及置信度，為多源數(shù)據(jù)融合提供關(guān)鍵信息。

34、優(yōu)選的，所述多源數(shù)據(jù)融合與關(guān)聯(lián)系統(tǒng)采用概率圖模型或加權(quán)融合算法，結(jié)合3d和2d檢測結(jié)果進(jìn)行目標(biāo)關(guān)聯(lián)與一致性校驗(yàn)，考慮目標(biāo)的時(shí)間連續(xù)性，進(jìn)行跨幀追蹤與匹配，提高標(biāo)注的穩(wěn)定性。

35、優(yōu)選的，所述的3d標(biāo)注與邊緣優(yōu)化系統(tǒng)還包括動態(tài)調(diào)整模塊，該模塊能夠根據(jù)目標(biāo)物的運(yùn)動狀態(tài)或環(huán)境變化實(shí)時(shí)調(diào)整優(yōu)化算法的參數(shù)，確保標(biāo)注結(jié)果的實(shí)時(shí)性和準(zhǔn)確性。

36、優(yōu)選的，所述用戶交互與反饋循環(huán)系統(tǒng)提供直觀的用戶界面，允許用戶對標(biāo)注結(jié)果進(jìn)行查看、編輯和驗(yàn)證，接收用戶反饋，并據(jù)此自動調(diào)整標(biāo)注參數(shù)、優(yōu)化算法或重新執(zhí)行部分處理流程，支持實(shí)時(shí)預(yù)覽和逐步修正功能，提高用戶操作的便捷性和效率，且用戶交互與反饋循環(huán)系統(tǒng)還包括標(biāo)注歷史記錄模塊，該模塊能夠記錄用戶的標(biāo)注操作歷史，并支持歷史標(biāo)注的快速檢索和復(fù)用。

37、優(yōu)選的，所述智能學(xué)習(xí)與自我優(yōu)化系統(tǒng)包括知識庫構(gòu)建模塊，該模塊能夠收集并整理歷史標(biāo)注數(shù)據(jù)、用戶反饋及系統(tǒng)優(yōu)化策略，構(gòu)建知識庫以支持系統(tǒng)的智能學(xué)習(xí)和決策過程。

38、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

39、1、本發(fā)明通過設(shè)計(jì)精細(xì)化數(shù)據(jù)預(yù)處理步驟，對多源傳感器獲取的3d點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理，并利用最小二乘法優(yōu)化傳感器件的變換矩陣，實(shí)現(xiàn)云與圖像的精確空間對齊，且部署3d目標(biāo)物檢測網(wǎng)絡(luò)以及2d目標(biāo)檢測網(wǎng)絡(luò)，對點(diǎn)云數(shù)據(jù)進(jìn)行處理，輸出目標(biāo)的3d和2d的邊界框、類別標(biāo)簽及置信度，將目標(biāo)物數(shù)據(jù)引入概率圖模型的數(shù)據(jù)融合方法，結(jié)合3d和2d檢測結(jié)果，進(jìn)行目標(biāo)間的關(guān)聯(lián)與一致性校驗(yàn)，通過權(quán)融合算法生成目標(biāo)位置和類別信息，并在3d點(diǎn)云上初步標(biāo)注3d框，從而實(shí)現(xiàn)了對目標(biāo)物的自動標(biāo)注，解決了傳統(tǒng)的人工標(biāo)注方法不僅效率低下，且成本高昂，難以滿足大規(guī)模數(shù)據(jù)處理的需求的問題。

40、2、本發(fā)明還通過設(shè)計(jì)精細(xì)化3d框優(yōu)化標(biāo)注處理步驟，結(jié)合點(diǎn)云數(shù)據(jù)的表面法線和曲率等局部幾何特性，實(shí)現(xiàn)對3d框的精細(xì)化調(diào)整，從而實(shí)現(xiàn)對目標(biāo)物輪廓形狀的精細(xì)化標(biāo)注，解決了傳統(tǒng)3d框只能框選目標(biāo)物的大概范圍，不能貼合于目標(biāo)物的輪廓進(jìn)行框選的問題。