本發(fā)明屬于點(diǎn)云壓縮技術(shù)范疇，主要探討了幾何點(diǎn)云的壓縮技術(shù)。

背景技術(shù)：

1、點(diǎn)云是由激光雷達(dá)生成的用于表示靜態(tài)和動(dòng)態(tài)的三維物體的幾何坐標(biāo)和相關(guān)屬性(例如顏色和法向量)的三維點(diǎn)集。由于點(diǎn)云具有龐大的數(shù)據(jù)量，在文化遺產(chǎn)、vr/ar和自動(dòng)駕駛等領(lǐng)域都需要進(jìn)行壓縮。然而，如何壓縮稀疏、非結(jié)構(gòu)化的三維點(diǎn)云是一個(gè)具有挑戰(zhàn)性的問(wèn)題。在稀疏的點(diǎn)云中，局部區(qū)域內(nèi)的點(diǎn)可能較少，這會(huì)導(dǎo)致特征提取算法難以準(zhǔn)確地捕捉到局部特征信息。因此，在點(diǎn)云壓縮過(guò)程中對(duì)于局部特征的準(zhǔn)確提取至關(guān)重要。點(diǎn)云幾何壓縮的核心目標(biāo)是減少點(diǎn)的數(shù)量，同時(shí)盡可能保持點(diǎn)云的原始幾何信息和質(zhì)量。

2、基于深度學(xué)習(xí)方法可以分為基于體素的點(diǎn)云壓縮和基于點(diǎn)的點(diǎn)云壓縮兩類?；隗w素的點(diǎn)云壓縮方法通常將非結(jié)構(gòu)化點(diǎn)云轉(zhuǎn)化為具有規(guī)則體積網(wǎng)格結(jié)構(gòu)的體素，然后使用三維卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取點(diǎn)云的內(nèi)在特征。然而，這些基于體素的方法忽略了點(diǎn)云的稀疏性，在體素轉(zhuǎn)化過(guò)程中無(wú)法避免地導(dǎo)致點(diǎn)云結(jié)構(gòu)細(xì)節(jié)的損失。此外，所需的計(jì)算量和內(nèi)存占用會(huì)隨著體素尺寸的增加呈指數(shù)性增長(zhǎng)?；邳c(diǎn)的點(diǎn)云壓縮方法不需要任何體素化，直接使用點(diǎn)作為特征提取網(wǎng)絡(luò)的輸入。最近，transformer在點(diǎn)云壓縮方面有個(gè)別初步的嘗試。transformer的自注意機(jī)制與點(diǎn)云的排列不變性是一致的，能夠從非規(guī)則和無(wú)序的點(diǎn)中捕獲遠(yuǎn)程依賴關(guān)系。

3、現(xiàn)有的基于點(diǎn)的點(diǎn)云壓縮方法總是直接從原始輸入點(diǎn)云中提取單尺度特征，沒(méi)有從多個(gè)尺度提取點(diǎn)云的局部特征，導(dǎo)致點(diǎn)云局部細(xì)節(jié)信息的丟失，從而限制了transformer學(xué)習(xí)點(diǎn)云中的局部上下文相關(guān)表示，無(wú)法高效地捕獲點(diǎn)云的局部上下文。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的主要技術(shù)問(wèn)題在于克服上述現(xiàn)有技術(shù)的缺點(diǎn)，提供一種重建質(zhì)量好、壓縮效率高、計(jì)算成本低的基于多尺度多層次transformer的幾何點(diǎn)云壓縮方法。

2、解決上述技術(shù)問(wèn)題所采用的技術(shù)方案由下述步驟組成：

3、(1)數(shù)據(jù)集預(yù)處理

4、選擇shapenetcorev2點(diǎn)云數(shù)據(jù)集，按4：1劃分為訓(xùn)練集、測(cè)試集。

5、(2)構(gòu)建點(diǎn)云幾何壓縮網(wǎng)絡(luò)

6、點(diǎn)云幾何壓縮網(wǎng)絡(luò)由特征編碼器與熵瓶頸層、特征解碼器依次串聯(lián)構(gòu)成。

7、所述的特征編碼器由編碼塊1與編碼塊2串聯(lián)構(gòu)成。

8、所述的編碼塊1由多尺度局部特征提取模塊與全局特征提取模塊并聯(lián)構(gòu)成。

9、所述的編碼塊2由多尺度transformer模塊與多層次transformer模塊串聯(lián)構(gòu)成。

10、所述的特征解碼器由解碼塊1與解碼塊2串聯(lián)構(gòu)成。

11、(3)訓(xùn)練點(diǎn)云幾何壓縮網(wǎng)絡(luò)

12、1)構(gòu)建率失真優(yōu)化損失函數(shù)

13、按下式構(gòu)建率失真優(yōu)化損失函數(shù)：

14、j＝r+入d

15、

16、其中，r為比特率，λ取值范圍為50～1000，d為倒角距離，s1是原始點(diǎn)云，s2是重建點(diǎn)云，n1表示點(diǎn)云s1的總點(diǎn)數(shù)，n2表示點(diǎn)云s2的總點(diǎn)數(shù)，n1、n2為有限的正整數(shù)，x為原始點(diǎn)云s1中任一點(diǎn)的三維坐標(biāo)向量，x∈s1，y為重建點(diǎn)云s2中任一點(diǎn)的三維坐標(biāo)向量，y∈s2。

17、2)訓(xùn)練點(diǎn)云幾何壓縮網(wǎng)絡(luò)

18、將訓(xùn)練集輸入到點(diǎn)云幾何壓縮網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，熵瓶頸層大小設(shè)置為256，批處理大小為32，初始學(xué)習(xí)率為0.001，訓(xùn)練周期為200，訓(xùn)練至損失函數(shù)收斂。

19、(4)測(cè)試點(diǎn)云幾何壓縮網(wǎng)絡(luò)

20、將測(cè)試集輸入到訓(xùn)練好的點(diǎn)云幾何壓縮網(wǎng)絡(luò)中，得到壓縮后的輸出點(diǎn)云。

21、在本發(fā)明的步驟(2)構(gòu)建點(diǎn)云幾何壓縮網(wǎng)絡(luò)中，所述的多尺度局部特征提取模塊由局部特征提取分支1與局部特征提取分支2、局部特征提取分支3并聯(lián)構(gòu)成。

22、本發(fā)明的局部特征提取分支1由下采樣層與共享多層感知機(jī)、最大池化層依次串聯(lián)構(gòu)成；所述的局部特征提取分支2、局部特征提取分支3的結(jié)構(gòu)與局部特征提取分支1相同；

23、所述的局部特征提取分支1的構(gòu)建方法如下：

24、按式(1)確定近鄰點(diǎn)的歐氏距離d：

25、

26、其中，n表示點(diǎn)的數(shù)量，n取值范圍為32～80，xk、yk為任意兩點(diǎn)；

27、按式(2)將k個(gè)近鄰點(diǎn)的特征進(jìn)行拼接并融合：

28、

29、其中,fi是第i個(gè)點(diǎn)的融合特征，是第i個(gè)點(diǎn)第k個(gè)近鄰點(diǎn)的特征，i取值范圍為256～2048，k取值32～80，concate是特征拼接，mlp是共享多層感知機(jī)。

30、按式(3)確定最大池化層為：

31、

32、其中f是池化窗口大小，取值為2，s是窗口移動(dòng)的步長(zhǎng)，取值為1；

33、局部特征提取分支2、局部特征提取分支3的構(gòu)建方法與局部特征提取分支1的構(gòu)建方法相同。

34、在本發(fā)明的(2)構(gòu)建點(diǎn)云幾何壓縮網(wǎng)絡(luò)中，所述的全局特征提取模塊由共享多層感知機(jī)與最大池化層串聯(lián)構(gòu)成。

35、在本發(fā)明的(2)構(gòu)建點(diǎn)云幾何壓縮網(wǎng)絡(luò)中，所述的多尺度transformer模塊由偏移注意力塊1與偏移注意力塊2、偏移注意力塊3、偏移注意力塊4依次串聯(lián)構(gòu)成。

36、所述的偏移注意力塊1的構(gòu)建方法如下：

37、按下式確定查詢矩陣q、鍵矩陣k、值矩陣v：

38、q＝wq×f0

39、k＝wk×f0

40、v＝wv×f0

41、其中,wq、wk、wv是線性層，f0是多尺度特征提取模塊的輸出特征；

42、按式(4)生成注意力圖a：

43、a＝(αi,j)???(4)

44、

45、其中，m、c分別是a的維度，m取值為1024～8192，c取值為128～512，是a的第i行第j列的元素，i∈(1,m)，j∈(1,c)，exp(·)為以e為底的指數(shù)函數(shù)。

46、偏移注意力輸出特征fout如下式：

47、fou＝mlp(f0-fa)+f0

48、fa＝a×v

49、其中，mlp是共享多層感知機(jī)，f0是多尺度特征提取模塊的輸出特征。

50、偏移注意力塊2、偏移注意力塊3、偏移注意力塊4的構(gòu)建方法與偏移注意力塊1相同。

51、在本發(fā)明的(2)構(gòu)建點(diǎn)云幾何壓縮網(wǎng)絡(luò)中，所述的多層次transformer模塊的構(gòu)建方法如下：

52、按下式構(gòu)建多層次transformer模塊：

53、fmlt＝concate(sa1，sa2，…，saz)+fmst

54、

55、qm＝fmst×wqm

56、km＝fmst×wkm

57、vm＝fmst×wvm

58、其中，concate是拼接操作，fmlt是多層次transformer模塊的輸出特征，fmst是多尺度transformer模塊的輸出特征；softmax是歸一化操作，z是注意頭的數(shù)量，z取值范圍為2～6，m是第m個(gè)頭，m∈(1,z)，wqm、wkm、wvm是線性層。

59、由于本發(fā)明采用多尺度局部特征提取模塊提取多個(gè)尺度的點(diǎn)云局部特征信息的全局，用全局特征提取模塊提取幾何特征，使網(wǎng)絡(luò)有效地學(xué)習(xí)點(diǎn)云多個(gè)尺度的局部區(qū)域信息，保留了豐富的局部細(xì)節(jié)信息；使用多尺度transformer模塊對(duì)多個(gè)尺度的特征進(jìn)行融合，增強(qiáng)了特征的表示能力；采用了多層次transformer學(xué)習(xí)跨層次的特征相互關(guān)系，進(jìn)一步融合點(diǎn)云的幾何和語(yǔ)義信息。經(jīng)對(duì)比實(shí)驗(yàn)結(jié)果表明，本發(fā)明方法提高了點(diǎn)云的重建質(zhì)量，保留了點(diǎn)云更多的空間細(xì)節(jié)，計(jì)算成本低。