本發(fā)明涉及三維成像，特別涉及一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh。

背景技術(shù)：

1、三維網(wǎng)格是由不同頂點(diǎn)和多邊形組成的三維對(duì)象表示，廣泛應(yīng)用于虛擬現(xiàn)實(shí)(vr)、增強(qiáng)現(xiàn)實(shí)(ar)系統(tǒng)等領(lǐng)域。傳統(tǒng)的3d人體網(wǎng)格構(gòu)建技術(shù)依賴于攝像頭或?qū)Ｓ糜布?，這些方法在非視線(nlos)和照明條件差的環(huán)境中表現(xiàn)不佳，且往往需要可穿戴傳感器或標(biāo)記，限制了其應(yīng)用范圍和用戶體驗(yàn)。

2、對(duì)人體三維網(wǎng)絡(luò)的估計(jì)和構(gòu)建在現(xiàn)實(shí)中有很多用途。例如，通過捕捉用戶不同的姿勢(shì)，就可以在娛樂、醫(yī)療保健等領(lǐng)域獲得更真實(shí)的的ar服務(wù)；通過獲取人體的身材或是身材特征，便可以使用基于身份的人員管理系統(tǒng)，為用戶進(jìn)行授權(quán)和認(rèn)證；通過識(shí)別人體連續(xù)的運(yùn)動(dòng)，工廠管理者和監(jiān)督員便可以通過系統(tǒng)方便地確定一個(gè)生產(chǎn)線上的工人的操作是否符合標(biāo)準(zhǔn)。

3、如公開號(hào)為cn116188726a的一種毫米波與圖像融合的人體3d網(wǎng)格模型構(gòu)建方法及系統(tǒng)，利用商用毫米波雷達(dá)awr1443boost和dca1000evm作為毫米波信號(hào)收發(fā)器，進(jìn)行圖像采集，通過融合兩種信號(hào)，提取人體關(guān)鍵點(diǎn)的位置并估計(jì)人體的輪廓，最后回歸出人體的三維網(wǎng)格模型，本發(fā)明對(duì)光照條件無要求，對(duì)極端天氣和其他導(dǎo)致圖像方法失效的條件具有一定魯棒性。

4、上述技術(shù)方案在實(shí)際應(yīng)用中對(duì)硬件設(shè)備的依賴性較強(qiáng)，且其應(yīng)用范圍和用戶體驗(yàn)限制性較強(qiáng)，不利用實(shí)際應(yīng)用。

5、因此，發(fā)明一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh來解決上述問題很有必要。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，以解決上述背景技術(shù)中提出的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，包括信號(hào)發(fā)射模塊、信號(hào)接收模塊、信號(hào)處理模塊、深度學(xué)習(xí)模型以及用戶交互模塊；

3、信號(hào)發(fā)射模塊，所述信號(hào)發(fā)射模塊用于發(fā)射wifi信號(hào)，所述信號(hào)發(fā)射模塊可以朝空間內(nèi)不同方向發(fā)射wifi信號(hào)，并使得wifi信號(hào)在空間內(nèi)以無線電波的形式傳播反射；

4、信號(hào)接收模塊，所述信號(hào)接收模塊設(shè)置有多個(gè)，多個(gè)信號(hào)接收模塊用于接收由人體反射回來的wifi信號(hào)，多個(gè)信號(hào)接收模塊可以從不同的角度接收信號(hào)，以提供多角度的數(shù)據(jù)；

5、信號(hào)處理模塊，所述信號(hào)處理模塊用于處理信號(hào)接收模塊所接收的wifi信號(hào)，并根據(jù)不同角度下接收的wifi信號(hào)特征，計(jì)算出wifi信號(hào)的二維到達(dá)角(2d?aoa)，以確定wifi信號(hào)到達(dá)信號(hào)接收模塊的方向，所述信號(hào)處理模塊與信號(hào)接收模塊之間設(shè)置有通訊模塊，所述通訊模塊設(shè)置為無線信號(hào)傳輸器或有線信號(hào)傳輸器；

6、深度學(xué)習(xí)模型，所述深度學(xué)習(xí)模型用于將信號(hào)處理模塊獲得的二維到達(dá)角(2daoa)數(shù)據(jù)轉(zhuǎn)換為3d網(wǎng)格表示，并在多組數(shù)據(jù)轉(zhuǎn)換的過程中進(jìn)行深度學(xué)習(xí)，以進(jìn)一步的理解人體的形狀和動(dòng)作，提升3d人體網(wǎng)格構(gòu)建的準(zhǔn)確性；

7、用戶交互模塊，所述用戶交互模塊用于用戶和系統(tǒng)進(jìn)行交互，其可以展示深度學(xué)習(xí)模型所構(gòu)建3d網(wǎng)格的可視化結(jié)果，并提供相關(guān)的交互功能。

8、優(yōu)選的，所述信號(hào)發(fā)射模塊設(shè)置為wifi信號(hào)發(fā)射器，所述wifi信號(hào)發(fā)射器安裝在空間內(nèi)。

9、優(yōu)選的，所述信號(hào)接收模塊設(shè)置為接收天線，多個(gè)所述接收天線分散安裝在空間內(nèi)，多個(gè)所述接收天線可以從不同的角度接收wifi信號(hào)。

10、優(yōu)選的，所述信號(hào)處理模塊設(shè)置為信號(hào)處理器，所述信號(hào)處理器可以分析并儲(chǔ)存信號(hào)接收模塊所收到的wifi信號(hào)數(shù)據(jù)，并分析wifi信號(hào)數(shù)據(jù)的特征，以計(jì)算出wifi信號(hào)在遇到人體反射后的二維到達(dá)角(2d?aoa)。

11、優(yōu)選的，所述wifi信號(hào)數(shù)據(jù)的特征為信號(hào)強(qiáng)度和信號(hào)傳播時(shí)間，通過分析wifi信號(hào)數(shù)據(jù)的信號(hào)強(qiáng)度特征可以獲得wifi信號(hào)的反射次數(shù)，通過分析wifi信號(hào)數(shù)據(jù)的信號(hào)傳播時(shí)間特征可以獲得wifi信號(hào)經(jīng)過信號(hào)發(fā)射模塊發(fā)出后到達(dá)人體并反射至信號(hào)接收模塊的時(shí)間。

12、優(yōu)選的，所述深度學(xué)習(xí)模型的深度學(xué)習(xí)包括以下步驟：

13、s1、獲取初始的深度學(xué)習(xí)模型和樣本數(shù)據(jù)；

14、s2、將提取分析后的多組樣本數(shù)據(jù)輸入深度學(xué)習(xí)模型中，并根據(jù)該數(shù)據(jù)前后的相關(guān)數(shù)據(jù)進(jìn)行推斷，以實(shí)現(xiàn)多組二維到達(dá)角(2d?aoa)數(shù)據(jù)的串聯(lián)，將多組二維到達(dá)角(2daoa)數(shù)據(jù)轉(zhuǎn)化為3d網(wǎng)格數(shù)據(jù)，并將3d網(wǎng)格數(shù)據(jù)存儲(chǔ)；

15、s3、將步驟s2中存儲(chǔ)的多組結(jié)果數(shù)據(jù)與真實(shí)數(shù)據(jù)進(jìn)行分析比對(duì)，剔除模型損失較大的數(shù)據(jù)，并保留精度較高的數(shù)據(jù)，以達(dá)到深度學(xué)習(xí)的效果。

16、優(yōu)選的，所述步驟s1中，樣本數(shù)據(jù)為二維到達(dá)角(2d?aoa)數(shù)據(jù)，將二維到達(dá)角(2daoa)數(shù)據(jù)轉(zhuǎn)化為空間和動(dòng)態(tài)信息數(shù)據(jù)，去除冗余信息，并關(guān)注最相關(guān)的特征，推導(dǎo)出代表人體形狀和運(yùn)動(dòng)的向量，以便于深度學(xué)習(xí)模型可以估計(jì)3d網(wǎng)格數(shù)據(jù)。

17、優(yōu)選的，所述步驟s2中，分布式訓(xùn)練包括以下步驟：

18、s21、將多組二維到達(dá)角(2d?aoa)數(shù)據(jù)按照獲取時(shí)間、空間特征進(jìn)行分類，并將分類后的二維到達(dá)角(2d?aoa)數(shù)據(jù)下發(fā)至深度學(xué)習(xí)模型；

19、s22、通過初始深度學(xué)習(xí)模型對(duì)二維到達(dá)角(2d?aoa)數(shù)據(jù)進(jìn)行分析處理，將二維到達(dá)角(2d?aoa)數(shù)據(jù)轉(zhuǎn)化為3d網(wǎng)格數(shù)據(jù)，并將多組數(shù)據(jù)分組儲(chǔ)存。

20、優(yōu)選的，所述步驟s3中，訓(xùn)練結(jié)果數(shù)據(jù)的分析比對(duì)可以采用人工比對(duì)和機(jī)器比對(duì)的方式進(jìn)行，將深度學(xué)習(xí)模型計(jì)算的3d網(wǎng)格數(shù)據(jù)與空間內(nèi)真實(shí)的人體形狀和動(dòng)作數(shù)據(jù)進(jìn)行對(duì)比，以篩選出精度較高的數(shù)據(jù)組。

21、優(yōu)選的，所述用戶交互模塊設(shè)置為用戶交互界面，所述用戶交互界面可以提供用戶對(duì)3d網(wǎng)格數(shù)據(jù)的編輯、保存和分享等交互功能。

22、本發(fā)明的技術(shù)效果和優(yōu)點(diǎn)：

23、1、本發(fā)明通過采用wifi信號(hào)進(jìn)行空間內(nèi)人體的形狀與動(dòng)作進(jìn)行識(shí)別，wifi信號(hào)采用現(xiàn)有的wifi通信設(shè)備實(shí)現(xiàn)收發(fā)，設(shè)備部署簡單，成本效益較高，且wifi信號(hào)不會(huì)受到墻體或其它障礙物的影響，并且wifi信號(hào)的傳播不依賴光線，極大的提升了系統(tǒng)在各種環(huán)境下的應(yīng)用效果，系統(tǒng)通過wifi信號(hào)在遇到人體后的反射進(jìn)行交互，用于無需穿戴任何傳感器或標(biāo)記，極大的提升了系統(tǒng)使用的便利性和舒適度；

24、2、本發(fā)明通過構(gòu)建深度學(xué)習(xí)模型對(duì)數(shù)據(jù)進(jìn)行處理，系統(tǒng)在應(yīng)用過程中，深度學(xué)習(xí)模型不僅可以保證系統(tǒng)的穩(wěn)定運(yùn)行，還可以根據(jù)對(duì)數(shù)據(jù)處理量的堆積不斷提高分析精度，從而可以實(shí)現(xiàn)系統(tǒng)的自主化學(xué)習(xí)，從而有效的提升了系統(tǒng)的精度。

技術(shù)特征：

1.一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，其特征在于，包括信號(hào)發(fā)射模塊、信號(hào)接收模塊、信號(hào)處理模塊、深度學(xué)習(xí)模型以及用戶交互模塊；

2.根據(jù)權(quán)利要求1所述的一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，其特征在于：所述信號(hào)發(fā)射模塊設(shè)置為wifi信號(hào)發(fā)射器，所述wifi信號(hào)發(fā)射器安裝在空間內(nèi)。

3.根據(jù)權(quán)利要求1所述的一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，其特征在于：所述信號(hào)接收模塊設(shè)置為接收天線，多個(gè)所述接收天線分散安裝在空間內(nèi)，多個(gè)所述接收天線可以從不同的角度接收wifi信號(hào)，以獲取人體在不同角度下反射的wifi信號(hào)數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，其特征在于：所述信號(hào)處理模塊設(shè)置為信號(hào)處理器，所述信號(hào)處理器可以分析并儲(chǔ)存信號(hào)接收模塊所收到的wifi信號(hào)數(shù)據(jù)，并分析wifi信號(hào)數(shù)據(jù)的特征，以獲取wifi信號(hào)在遇到人體反射后的二維到達(dá)角(2d?aoa)數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，其特征在于：所述wifi信號(hào)數(shù)據(jù)的特征為信號(hào)強(qiáng)度和信號(hào)傳播時(shí)間，通過分析wifi信號(hào)數(shù)據(jù)的信號(hào)強(qiáng)度特征可以獲得wifi信號(hào)的反射次數(shù)，通過分析wifi信號(hào)數(shù)據(jù)的信號(hào)傳播時(shí)間特征可以獲得wifi信號(hào)經(jīng)過信號(hào)發(fā)射模塊發(fā)出后到達(dá)人體并反射至信號(hào)接收模塊的時(shí)間。

6.根據(jù)權(quán)利要求1所述的一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，其特征在于：所述深度學(xué)習(xí)模型的深度學(xué)習(xí)包括以下步驟：

7.根據(jù)權(quán)利要求6所述的一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，其特征在于：所述步驟s1中，樣本數(shù)據(jù)為二維到達(dá)角(2d?aoa)數(shù)據(jù)，將二維到達(dá)角(2d?aoa)數(shù)據(jù)轉(zhuǎn)化為空間和動(dòng)態(tài)信息數(shù)據(jù)，去除冗余信息，并關(guān)注最相關(guān)的特征，推導(dǎo)出代表人體形狀和運(yùn)動(dòng)的向量，以便于深度學(xué)習(xí)模型可以估計(jì)3d網(wǎng)格數(shù)據(jù)。

8.根據(jù)權(quán)利要求6所述的一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，其特征在于：所述步驟s2中，分布式訓(xùn)練包括以下步驟：

9.根據(jù)權(quán)利要求6所述的一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，其特征在于：所述步驟s3中，訓(xùn)練結(jié)果數(shù)據(jù)的分析比對(duì)可以采用人工比對(duì)和機(jī)器比對(duì)的方式進(jìn)行，將深度學(xué)習(xí)模型計(jì)算的3d網(wǎng)格數(shù)據(jù)與空間內(nèi)真實(shí)的人體形狀和動(dòng)作數(shù)據(jù)進(jìn)行對(duì)比，以篩選出精度較高的數(shù)據(jù)組。

10.根據(jù)權(quán)利要求1所述的一種基于wifi視覺的3d人體網(wǎng)格構(gòu)建系統(tǒng)wi-mesh，其特征在于：所述用戶交互模塊設(shè)置為用戶交互界面，所述用戶交互界面可以提供用戶對(duì)3d網(wǎng)格數(shù)據(jù)的編輯、保存和分享等交互功能。

技術(shù)總結(jié)
本發(fā)明公開了一種基于WiFi視覺的3D人體網(wǎng)格構(gòu)建系統(tǒng)Wi?Mesh，涉及到三維成像技術(shù)領(lǐng)域，包括信號(hào)發(fā)射模塊、信號(hào)接收模塊、信號(hào)處理模塊、深度學(xué)習(xí)模型以及用戶交互模塊。本發(fā)明通過采用wifi信號(hào)進(jìn)行空間內(nèi)人體的形狀與動(dòng)作進(jìn)行識(shí)別，wifi信號(hào)采用現(xiàn)有的wifi通信設(shè)備實(shí)現(xiàn)收發(fā)，設(shè)備部署簡單，成本效益較高，且wifi信號(hào)不會(huì)受到墻體或其它障礙物的影響，并且wifi信號(hào)的傳播不依賴光線，極大的提升了系統(tǒng)在各種環(huán)境下的應(yīng)用效果，系統(tǒng)通過wifi信號(hào)在遇到人體后的反射進(jìn)行交互，用于無需穿戴任何傳感器或標(biāo)記，極大的提升了系統(tǒng)使用的便利性和舒適度。

技術(shù)研發(fā)人員：陳本健
受保護(hù)的技術(shù)使用者：中禹智慧科技（上海）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26