本發(fā)明涉及巖土與隧道工程，具體涉及一種多模態(tài)巖性識別方法及系統(tǒng)。

背景技術(shù)：

1、隧道施工中經(jīng)常遭遇斷層、溶洞、暗河等不良地質(zhì)體，誘發(fā)突水、突泥等大型地質(zhì)災(zāi)害。斷層、巖溶等不良地質(zhì)是隧道災(zāi)害發(fā)生的最大元兇和挑戰(zhàn)。通過地質(zhì)預(yù)報(bào)，及時(shí)發(fā)現(xiàn)異常情況，為調(diào)整施工方案提供依據(jù)，有效預(yù)防隧道災(zāi)害性事故發(fā)生，保證施工安全。

2、巖性識別是地質(zhì)學(xué)、資源勘查、隧道施工、巖石力學(xué)與工程等領(lǐng)域基礎(chǔ)而重要的問題，直接影響著施工方案選擇、儲層評價(jià)的可靠程度。傳統(tǒng)的巖性識別方法包括：(1)肉眼觀察、(2)薄片鑒定和(3)物理試驗(yàn)，依靠專業(yè)經(jīng)驗(yàn)、耗時(shí)久。隨著計(jì)算機(jī)技術(shù)的進(jìn)步，人工智能技術(shù)開始應(yīng)用于巖性識別方面，基于數(shù)據(jù)挖掘和圖像識別等的巖性智能識別方法不斷涌現(xiàn)。近年來國內(nèi)外學(xué)者借助圖像識別技術(shù)對巖性識別開展了一系列研究，但尚未建立較為完善的隧道內(nèi)巖性智能識別方法，缺乏針對工程應(yīng)用的便攜式巖性識別設(shè)備，同時(shí)對圍巖巖性識別的準(zhǔn)確度和速度都有待提高。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提供一種多模態(tài)巖性識別方法及系統(tǒng)，能夠根據(jù)采集的巖樣和巖石介觀圖像進(jìn)行實(shí)時(shí)識別，通過遠(yuǎn)程數(shù)據(jù)共享平臺實(shí)現(xiàn)對現(xiàn)場數(shù)據(jù)的高效存儲、共享與協(xié)作，有利于提高現(xiàn)場巖性識別的速度和準(zhǔn)確度。

2、本發(fā)明的技術(shù)方案如下：

3、在本發(fā)明的第一方面，提供了一種多模態(tài)巖性識別方法，包括以下步驟：

4、獲取巖樣圖像和巖石介觀圖像；

5、對獲取的圖像進(jìn)行預(yù)處理，將經(jīng)過預(yù)處理后的巖樣圖像和巖石介觀圖像輸入到訓(xùn)練好的融合模型中進(jìn)行實(shí)時(shí)識別；

6、融合模型輸出巖性識別結(jié)果，根據(jù)識別結(jié)果命名圖像；

7、其中，所述融合模型的建立過程為：采用圖像分類算法，以shufflenet為構(gòu)架，針對巖樣圖像采用基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)自動提取顏色、紋理和形狀的特征，針對巖石介觀圖像采用卷積神經(jīng)網(wǎng)絡(luò)自動提取晶體結(jié)構(gòu)、孔隙分布和顆粒大小的特征，使用加權(quán)特征拼接方法將兩種特征進(jìn)行融合，然后使用softmax激活函數(shù)進(jìn)行多類別分類，得到整合特征提取和融合的cnn模型。

8、在本發(fā)明的一些實(shí)施方式中，所述基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)通過在卷積層引入注意力機(jī)制，使網(wǎng)絡(luò)能夠在提取特征時(shí)更加注重圖像中的顏色、紋理信息，同時(shí)通過增加權(quán)重來強(qiáng)化表征顏色、紋理的特征圖。

9、在本發(fā)明的一些實(shí)施方式中，加權(quán)特征拼接方法通過對提取到的顏色、紋理特征賦予權(quán)重，再將所有特征進(jìn)行拼接，從而得到一個(gè)側(cè)重于顏色、紋理特征的統(tǒng)一特征表示，具體公式如下：

10、xconcat＝[x1；x2；…；xn]

11、[；]表示連接操作，通過水平連接將x1，x2…,xn拼接在一起，形成一個(gè)新的特征向量xconcat。

12、在本發(fā)明的一些實(shí)施方式中，融合模型的訓(xùn)練過程包括：采用訓(xùn)練集中的數(shù)據(jù)對融合模型進(jìn)行訓(xùn)練，并采用反向傳播算法和梯度下降的優(yōu)化算法對模型參數(shù)進(jìn)行更新，再采用測試集中的數(shù)據(jù)對訓(xùn)練好的模型進(jìn)行性能評估，并根據(jù)評估結(jié)果對模型進(jìn)行調(diào)優(yōu)，最后將優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于實(shí)際巖性識別任務(wù)中，實(shí)現(xiàn)對巖石類型的自動識別。

13、在本發(fā)明的一些實(shí)施方式中，圖像的預(yù)處理過程為：調(diào)整圖像的亮度、對比度和色彩平衡。

14、在本發(fā)明的一些實(shí)施方式中，所述巖樣圖像通過攝像頭進(jìn)行獲取，所述巖石介觀圖像通過電子放大鏡進(jìn)行獲取。

15、在本發(fā)明的第二方面，提供了一種多模態(tài)巖性識別系統(tǒng)，包括：

16、圖像采集模塊，被配置為：獲取巖樣圖像和巖石介觀圖像；

17、巖性識別模塊，被配置為：對獲取的圖像進(jìn)行預(yù)處理，將經(jīng)過預(yù)處理后的巖樣圖像和巖石介觀圖像輸入到訓(xùn)練好的融合模型中進(jìn)行實(shí)時(shí)識別；

18、數(shù)據(jù)交互模塊，被配置為：融合模型輸出巖性識別結(jié)果，根據(jù)識別結(jié)果命名圖像；

19、其中，所述融合模型的建立過程為：采用圖像分類算法，以shufflenet為構(gòu)架，針對巖樣圖像采用基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)自動提取顏色、紋理和形狀的特征，針對巖石介觀圖像采用卷積神經(jīng)網(wǎng)絡(luò)自動提取晶體結(jié)構(gòu)、孔隙分布和顆粒大小的特征，使用加權(quán)特征拼接方法將兩種特征進(jìn)行融合，然后使用softmax激活函數(shù)進(jìn)行多類別分類，得到整合特征提取和融合的cnn模型。

20、在本發(fā)明的一些實(shí)施方式中，所述圖像采集模塊、巖性識別模塊和數(shù)據(jù)交互模塊設(shè)置在手持式盒型設(shè)備上，其中，圖像采集模塊包括攝像頭和電子放大鏡，所述巖性識別模塊采用nano核心板及載板，所述數(shù)據(jù)交互模塊采用顯示屏及hdmi驅(qū)動板。

21、在本發(fā)明的一些實(shí)施方式中，所述nano核心板及載板用于提供算力，通過將訓(xùn)練好的融合模型部署到nano開發(fā)板實(shí)現(xiàn)巖性識別功能，其中，具體部署步驟如下：

22、環(huán)境配置，完成nano開發(fā)板的基本環(huán)境配置；

23、模型轉(zhuǎn)換，將pytorch訓(xùn)練的原始模型轉(zhuǎn)換為適用于nano開發(fā)板的tensorrt模型；

24、模型調(diào)用，采用python或c++api調(diào)用tensorrt模型，實(shí)現(xiàn)模型推理。

25、在本發(fā)明的一些實(shí)施方式中，還包括wifi模塊，所述wifi模塊將手持式盒型設(shè)備與遠(yuǎn)程數(shù)據(jù)共享平臺連接。

26、本發(fā)明一個(gè)或多個(gè)技術(shù)方案具有以下有益效果：

27、(1)本發(fā)明建立基于巖石圖像的深度學(xué)習(xí)模型對圍巖巖性進(jìn)行識別，能夠?qū)r石特征進(jìn)行自動提取，并對應(yīng)巖性關(guān)系形成映射，從而達(dá)到自動識別的目的，該方法識別準(zhǔn)確度高、速度快、成本低，降低了對施工人員專業(yè)知識和鑒別經(jīng)驗(yàn)的要求。

28、(2)本發(fā)明通過特征融合的方法，能夠?qū)r樣圖像的顏色、紋理和形狀等特征與巖石介觀圖像的晶體結(jié)構(gòu)、孔隙分布和顆粒大小等特征進(jìn)行融合，從而提供更全面、更綜合的地質(zhì)信息，有助于深入分析巖石的組成和結(jié)構(gòu)，提高模型的魯棒性，使得模型在面對多樣化數(shù)據(jù)時(shí)更加穩(wěn)健和可靠。

29、(3)本發(fā)明將多模態(tài)巖性識別系統(tǒng)集成為便攜式手持設(shè)備，在工作過程中不影響tbm施工，能減少隧道內(nèi)昏暗、潮濕和多粉塵等不良工作環(huán)境對識別的影響，為現(xiàn)場施工提供輕便靈活、準(zhǔn)確高效的巖性識別技術(shù)，實(shí)現(xiàn)了自動化識別。

30、(4)本發(fā)明利用遠(yuǎn)程數(shù)據(jù)共享平臺，實(shí)現(xiàn)對現(xiàn)場圖像的實(shí)時(shí)存儲、共享與協(xié)作，讓數(shù)據(jù)資源得到充分的利用，減少圖像采集、資料收集等重復(fù)勞動和相應(yīng)費(fèi)用，提高了系統(tǒng)的應(yīng)用范圍。

技術(shù)特征：

1.一種多模態(tài)巖性識別方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的多模態(tài)巖性識別方法，其特征在于，所述基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)通過在卷積層引入注意力機(jī)制，使網(wǎng)絡(luò)能夠在提取特征時(shí)更加注重圖像中的顏色、紋理信息，同時(shí)通過增加權(quán)重來強(qiáng)化表征顏色、紋理的特征圖。

3.如權(quán)利要求2所述的多模態(tài)巖性識別方法，其特征在于，加權(quán)特征拼接方法通過對提取到的顏色、紋理特征賦予權(quán)重，再將所有特征進(jìn)行拼接，從而得到一個(gè)側(cè)重于顏色、紋理特征的統(tǒng)一特征表示，具體公式如下：

4.如權(quán)利要求1所述的多模態(tài)巖性識別方法，其特征在于，融合模型的訓(xùn)練過程包括：采用訓(xùn)練集中的數(shù)據(jù)對融合模型進(jìn)行訓(xùn)練，并采用反向傳播算法和梯度下降的優(yōu)化算法對模型參數(shù)進(jìn)行更新，再采用測試集中的數(shù)據(jù)對訓(xùn)練好的模型進(jìn)行性能評估，并根據(jù)評估結(jié)果對模型進(jìn)行調(diào)優(yōu)，最后將優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于實(shí)際巖性識別任務(wù)中，實(shí)現(xiàn)對巖石類型的自動識別。

5.如權(quán)利要求1所述的多模態(tài)巖性識別方法，其特征在于，圖像的預(yù)處理過程為：調(diào)整圖像的亮度、對比度和色彩平衡。

6.如權(quán)利要求1所述的多模態(tài)巖性識別方法，其特征在于，所述巖樣圖像通過攝像頭進(jìn)行獲取，所述巖石介觀圖像通過電子放大鏡進(jìn)行獲取。

7.一種多模態(tài)巖性識別系統(tǒng)，其特征在于，包括：

8.如權(quán)利要求7所述的多模態(tài)巖性識別系統(tǒng)，其特征在于，所述圖像采集模塊、巖性識別模塊和數(shù)據(jù)交互模塊設(shè)置在手持式盒型設(shè)備上，其中，圖像采集模塊包括攝像頭和電子放大鏡，所述巖性識別模塊采用nano核心板及載板，所述數(shù)據(jù)交互模塊采用顯示屏及hdmi驅(qū)動板。

9.如權(quán)利要求8所述的多模態(tài)巖性識別系統(tǒng)，其特征在于，所述nano核心板及載板用于提供算力，通過將訓(xùn)練好的融合模型部署到nano開發(fā)板實(shí)現(xiàn)巖性識別功能，其中，具體部署步驟如下：

10.如權(quán)利要求8所述的多模態(tài)巖性識別系統(tǒng)，其特征在于，還包括wifi模塊，所述wifi模塊將手持式盒型設(shè)備與遠(yuǎn)程數(shù)據(jù)共享平臺連接。

技術(shù)總結(jié)
本發(fā)明公開了一種多模態(tài)巖性識別方法及系統(tǒng)，所述方法包括以下步驟：獲取巖樣圖像和巖石介觀圖像；對獲取的圖像進(jìn)行預(yù)處理，將經(jīng)過預(yù)處理后的巖樣圖像和巖石介觀圖像輸入到訓(xùn)練好的融合模型中進(jìn)行實(shí)時(shí)識別；融合模型輸出巖性識別結(jié)果，根據(jù)識別結(jié)果命名圖像；本發(fā)明通過建立基于深度學(xué)習(xí)的融合模型對圍巖巖性進(jìn)行識別，該融合模型能夠?qū)r樣圖像的顏色、紋理和形狀等特征與巖石介觀圖像的晶體結(jié)構(gòu)、孔隙分布和顆粒大小等特征進(jìn)行融合，對應(yīng)巖性關(guān)系形成映射，從而達(dá)到自動識別的目的，深度學(xué)習(xí)的巖性智能識別方法識別速度快、成本低、準(zhǔn)確度高、自動化程度高，降低了對施工人員的專業(yè)知識和鑒別經(jīng)驗(yàn)的要求。

技術(shù)研發(fā)人員：許振浩,馬文,于東曉,鄭艷偉,趙新鵬,王旭龍,林鵬,李術(shù)才
受保護(hù)的技術(shù)使用者：山東大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19