本發(fā)明屬于三維成像，具體為一種基于深度學(xué)習(xí)的單幀實(shí)時(shí)三維成像方法。

背景技術(shù)：

1、人類所處是一個(gè)三維空間，眼睛是感知世界的窗口，但僅能進(jìn)行定性的判斷，無(wú)法實(shí)現(xiàn)定量分析。因此，三維成像與傳感系統(tǒng)應(yīng)運(yùn)而生，通過(guò)重建物體的三維形貌，幫助人們更好地理解物體并進(jìn)行量化分析。結(jié)構(gòu)光投影輪廓術(shù)（structured?light?profilometry,slp）已成為一種重要的光學(xué)三維成像和測(cè)量技術(shù)，它將待測(cè)物體的三維形貌信息存儲(chǔ)在條紋圖案的相位中，通過(guò)解碼相位恢復(fù)三維信息，具有非接觸、易于集成、高精度等優(yōu)勢(shì)，廣泛應(yīng)用于在工業(yè)檢測(cè)、航空航天、生物醫(yī)學(xué)等領(lǐng)域得。

2、隨著光電技術(shù)的發(fā)展，三維形貌測(cè)量的研究逐漸從靜態(tài)、緩變場(chǎng)景擴(kuò)展到復(fù)雜、高速運(yùn)動(dòng)等更加靈活的場(chǎng)景，對(duì)結(jié)構(gòu)光投影三維成像技術(shù)提出了更高的要求。如何在復(fù)雜、高速運(yùn)動(dòng)場(chǎng)景中快速、準(zhǔn)確、無(wú)歧義地獲取三維形貌信息，成為一個(gè)亟待解決的問(wèn)題。slp?測(cè)量速度的主要限制因素之一是每次三維重建所需的圖案數(shù)量，需要減少編碼冗余以提高速度。

3、近年來(lái)，人工智能與深度學(xué)習(xí)技術(shù)飛速發(fā)展為光學(xué)成像技術(shù)打開(kāi)了一扇新的大門。與傳統(tǒng)的基于物理模型驅(qū)動(dòng)的成像方法不同，深度學(xué)習(xí)是一種強(qiáng)大的數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)技術(shù)，通過(guò)深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)多層次的功能學(xué)習(xí)，并在數(shù)據(jù)豐富的應(yīng)用中取得了顯著成功。借助其卓越的非線性擬合能力，深度學(xué)習(xí)可以解決許多傳統(tǒng)光學(xué)成像難以應(yīng)對(duì)的復(fù)雜問(wèn)題。隨著人工智能理論與技術(shù)的進(jìn)步、計(jì)算硬件水平的提高，以及光學(xué)信息處理技術(shù)的發(fā)展，深度學(xué)習(xí)逐漸滲透到光學(xué)三維測(cè)量領(lǐng)域，并展現(xiàn)出巨大的應(yīng)用潛力，具體到結(jié)構(gòu)光三維成像領(lǐng)域，深度學(xué)習(xí)利用單幀條紋圖案進(jìn)行相位分析、條紋去噪、相位展開(kāi)和三維重構(gòu)等，展現(xiàn)了單幀測(cè)量的潛力。然而，到目前為止，這些現(xiàn)有的單幀深度學(xué)習(xí)方法大多處于離線狀態(tài)或僅粗略地展示了初步的可行性。它們都沒(méi)有表現(xiàn)出對(duì)具有復(fù)雜和反射表面或動(dòng)態(tài)場(chǎng)景的樣品實(shí)現(xiàn)實(shí)時(shí)、高精度、魯棒成像的能力，也沒(méi)有在工業(yè)缺陷檢測(cè)和人機(jī)交互等光學(xué)計(jì)量領(lǐng)域展現(xiàn)出全面的實(shí)際應(yīng)用潛力。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的在于提供一種基于深度學(xué)習(xí)的單幀實(shí)時(shí)三維成像方法。

2、實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案為：?一種基于深度學(xué)習(xí)的單幀實(shí)時(shí)三維成像方法，包括：

3、步驟1，構(gòu)建基于物理模型的輕量級(jí)相位恢復(fù)網(wǎng)絡(luò)模型；

4、步驟2，搭建多視覺(jué)結(jié)構(gòu)光條紋投影系統(tǒng)，并完成多視覺(jué)結(jié)構(gòu)光條紋投影系統(tǒng)標(biāo)定；

5、步驟3，構(gòu)建訓(xùn)練數(shù)據(jù)集，完成輕量級(jí)相位恢復(fù)網(wǎng)絡(luò)模型的訓(xùn)練；

6、步驟4，利用tensorrt對(duì)訓(xùn)練好的輕量級(jí)相位恢復(fù)網(wǎng)絡(luò)模型進(jìn)行部署，完成深度學(xué)習(xí)網(wǎng)絡(luò)工程化遷移；

7、步驟5，利用多視覺(jué)結(jié)構(gòu)光條紋投影系統(tǒng)采集多視角下的光柵條紋圖像，利用部署的輕量級(jí)相位恢復(fù)網(wǎng)絡(luò)模型預(yù)測(cè)相位信息；

8、步驟6，通過(guò)多視角幾何約束和立體相位匹配算法，將不同視角在同一時(shí)刻下預(yù)測(cè)的包裹相位展開(kāi)為絕對(duì)相位；

9、步驟7，根據(jù)系統(tǒng)標(biāo)定參數(shù)獲取三維數(shù)據(jù)，結(jié)合彩色圖像獲取的rgb信息進(jìn)行數(shù)據(jù)渲染，得到具體彩色紋理的三維數(shù)據(jù)，并實(shí)現(xiàn)實(shí)時(shí)三維顯示。

10、優(yōu)選地，所述基于物理模型的輕量級(jí)相位恢復(fù)網(wǎng)絡(luò)模型采用編碼器-解碼器結(jié)構(gòu)，編碼器部分包括依次連接的兩個(gè)卷積塊、6個(gè)stdc模塊以及卷積層，原始輸入圖像經(jīng)過(guò)兩個(gè)卷積塊，分別進(jìn)行2倍的下采樣，提取淺層外觀特征信息；然后，由6個(gè)stdc模塊進(jìn)行快速降采樣，獲取不同尺度特征信息；最后，由卷積層輸出編碼器預(yù)測(cè)的特征圖；

11、解碼器部分使用注意力細(xì)化模塊對(duì)編碼器中最后兩個(gè)stdc模塊的輸出進(jìn)行細(xì)化處理，通過(guò)特征融合模塊將細(xì)化后的結(jié)果與編碼器的輸出特征進(jìn)行融合，并對(duì)融合后的結(jié)果進(jìn)行上采樣，獲得輸出。

12、優(yōu)選地，每一個(gè)卷積塊包括一個(gè)卷積層、歸一化函數(shù)和線性整流單元，其中塊的卷積核大小為3，位移為2；每個(gè)stdc模塊按順序包含1個(gè)1×1卷積塊和3個(gè)3×3卷積塊；每次卷積操作后得到的特征圖連接利用跳躍連接結(jié)構(gòu)作為stdc模塊的輸出。

13、優(yōu)選地，搭建的多視覺(jué)結(jié)構(gòu)光條紋投影系統(tǒng)包括主相機(jī)1、輔相機(jī)2、輔相機(jī)4、彩色相機(jī)3和1個(gè)dlp投影儀，主相機(jī)1與投影儀保持設(shè)定距離，輔相機(jī)2位于主相機(jī)1和投影儀之間且靠近投影儀；輔相機(jī)4與主相機(jī)1相對(duì)于投影儀對(duì)稱放置，彩色相機(jī)3與輔相機(jī)2對(duì)稱放置于投影儀兩側(cè)。

14、優(yōu)選地，利用多視覺(jué)結(jié)構(gòu)光條紋投影系統(tǒng)構(gòu)建相位恢復(fù)網(wǎng)絡(luò)所需的訓(xùn)練數(shù)據(jù)集的具體方法為：

15、生成一系列正弦條紋圖案用于投影，并通過(guò)數(shù)字投影儀將正弦條紋圖案投射到目標(biāo)物體上；

16、利用主相機(jī)1、輔相機(jī)2、輔相機(jī)4采集目標(biāo)表面調(diào)制后變形的條紋圖像；

17、使用調(diào)制度函數(shù)定義一個(gè)二進(jìn)制掩碼，對(duì)原始條紋圖像進(jìn)行陰影噪聲檢測(cè)與濾波，去除條紋圖像中的背景噪聲；

18、通過(guò)最小二乘法從去除背景噪聲后的條紋圖像中提取得到包裹相位；

19、將去除背景后的條紋圖像為網(wǎng)絡(luò)輸入，包裹相位反正切函數(shù)的分子項(xiàng)和分母項(xiàng)為網(wǎng)絡(luò)的輸出。

20、優(yōu)選地，利用部署的輕量級(jí)相位恢復(fù)網(wǎng)絡(luò)模型預(yù)測(cè)相位信息的具體方法為：

21、

22、式中，表示第i個(gè)單色相機(jī)采集的圖像對(duì)應(yīng)預(yù)測(cè)的包裹相位，、示第i個(gè)單色相機(jī)采集的圖像對(duì)應(yīng)預(yù)測(cè)的包裹相位反正切函數(shù)的分子項(xiàng)和分母項(xiàng)。

23、優(yōu)選地，通過(guò)多視角幾何約束和立體相位匹配算法，將不同視角在同一時(shí)刻下預(yù)測(cè)的包裹相位展開(kāi)為絕對(duì)相位的具體方法為：

24、對(duì)于主相機(jī)1采集的圖像中的每個(gè)點(diǎn)都有種可能的條紋級(jí)數(shù)k，即絕對(duì)相位的種可能性，對(duì)應(yīng)個(gè)三維候選點(diǎn)；

25、建立絕對(duì)相位與投影儀橫坐標(biāo)的線性映射關(guān)系：

26、

27、其中，是投影儀的橫向分辨率，表示條紋周期的總數(shù)；

28、根據(jù)多視覺(jué)結(jié)構(gòu)光條紋投影系統(tǒng)預(yù)設(shè)深度測(cè)量范圍以及線性映射關(guān)系，將深度測(cè)量范圍外的三維候選點(diǎn)排除，三維候選點(diǎn)的數(shù)量由個(gè)減少到個(gè)；

29、將個(gè)三維候選點(diǎn)投影到輔相機(jī)2中得到對(duì)應(yīng)的二維候選點(diǎn)，計(jì)算出每一個(gè)二維候選點(diǎn)各自對(duì)應(yīng)的包裹相位，并對(duì)這些包裹相位進(jìn)行相似性檢驗(yàn)，為相位差異，將二維候選點(diǎn)以及三維候選點(diǎn)的數(shù)量從降到個(gè)；

30、將個(gè)三維候選點(diǎn)利用極線映射投影到輔相機(jī)4上得到個(gè)二維候選點(diǎn)，對(duì)個(gè)二維候選點(diǎn)進(jìn)行相位相似性檢驗(yàn)，為相位差異，將三維候選點(diǎn)的數(shù)量進(jìn)一步降低到；

31、根據(jù)兩次相位相似性檢驗(yàn)所得到的相位差異，計(jì)算權(quán)重相位差異之和：

32、

33、其中為相位差異權(quán)重之和，?,對(duì)應(yīng)于兩次相位相似性檢驗(yàn)的相位差異,的權(quán)重因子；選取最小的候選點(diǎn)為正確的對(duì)應(yīng)點(diǎn)，確定唯一的條紋級(jí)次，將深度學(xué)習(xí)預(yù)測(cè)的包裹相位進(jìn)行相位展開(kāi)，得到絕對(duì)相位：

34、

35、其中，為主相機(jī)1視角下獲取的絕對(duì)相位，為主相機(jī)1捕獲的圖像對(duì)應(yīng)的包裹相位，為條紋級(jí)次。

36、優(yōu)選地，相位相似性檢驗(yàn)的具體方法為：

37、計(jì)算主相機(jī)1中點(diǎn)的包裹相位與輔相機(jī)2中第個(gè)候選點(diǎn)的包裹相位之間的相位差；

38、

39、判斷相位差是否滿足，將不滿足不等式的二維候選點(diǎn)排除，

40、其中表示主相機(jī)1中點(diǎn)的包裹相位與輔相機(jī)2中第個(gè)候選點(diǎn)的包裹相位之間的相位差。

41、優(yōu)選地，利用極線映射，將主相機(jī)1視角下的三維點(diǎn)映射到輔相機(jī)4中得到主相機(jī)1在輔相機(jī)4中的整像素匹配點(diǎn)，通過(guò)插值運(yùn)算找到細(xì)化后的亞像素匹配點(diǎn)；

42、根據(jù)系統(tǒng)標(biāo)定參數(shù)還原出主相機(jī)1視角下的被測(cè)物體三維重構(gòu)，獲得三維數(shù)據(jù)；

43、根據(jù)得到的三維數(shù)據(jù)求解主相機(jī)1在彩色相機(jī)3上的對(duì)應(yīng)點(diǎn)，獲取對(duì)應(yīng)點(diǎn)的（r,?g,b）彩色紋理信息，完成三維數(shù)據(jù)的真彩色顯示。

44、優(yōu)選地，根據(jù)系統(tǒng)標(biāo)定參數(shù)還原出主相機(jī)1視角下的被測(cè)物體三維點(diǎn)云，具體公式為：

45、

46、

47、其中，為步驟2中計(jì)算的標(biāo)定系數(shù)矩陣；

48、根據(jù)得到的三維數(shù)據(jù)求解主相機(jī)1在彩色相機(jī)3上的對(duì)應(yīng)點(diǎn)，獲取對(duì)應(yīng)點(diǎn)的（r,?g,b）彩色紋理信息，完成三維數(shù)據(jù)的真彩色顯示。

49、本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)在于：（1）設(shè)計(jì)了一個(gè)深度學(xué)習(xí)結(jié)構(gòu)光三維成像綜合框架（dl-sl3d）,?克服了傳統(tǒng)結(jié)構(gòu)光三維成像需要多次拍攝和耗費(fèi)大量計(jì)算資源的局限性，并驗(yàn)證了從單次結(jié)構(gòu)光投影中實(shí)現(xiàn)實(shí)時(shí)、無(wú)偽影的三維重建的可行性，從而更適用于實(shí)時(shí)應(yīng)用場(chǎng)景。（2）提出了基于物理模型的輕量級(jí)相位恢復(fù)網(wǎng)絡(luò)（lpr-net），具備低計(jì)算復(fù)雜度和對(duì)高表面反射特性具有魯棒性的能力，從而實(shí)現(xiàn)了單幀的高效相位檢索。（3）提供了詳細(xì)的深度學(xué)習(xí)模型部署方案和系統(tǒng)實(shí)現(xiàn)，可以即時(shí)顯示重建的高密度三維點(diǎn)云數(shù)據(jù)。相比現(xiàn)有結(jié)構(gòu)光成像系統(tǒng)，該系統(tǒng)通過(guò)單次拍攝實(shí)現(xiàn)了實(shí)時(shí)、高精度的三維成像，且完全不受運(yùn)動(dòng)影響。

50、下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。