本發(fā)明涉及隧道監(jiān)控與檢測，特別是指一種隧道軌道式巡檢機器人環(huán)境下的事件監(jiān)測方法。

背景技術：

1、隨著隧道建設在交通和基礎設施中的普及，隧道環(huán)境的安全性和維護需求日益增加。隧道內部空間有限，環(huán)境復雜且條件惡劣，容易出現(xiàn)滲水、裂縫、異物侵入、火災隱患等問題，威脅到隧道的結構安全和通行人員的生命安全。傳統(tǒng)的隧道巡檢通常依賴人工進行，但隧道環(huán)境往往光線不足，且存在高濕、高溫、毒氣等惡劣條件，人工巡檢的工作環(huán)境和效率受到極大限制，難以做到及時、全面的監(jiān)測，存在安全隱患。

2、如中國專利公開了“一種智能交通巡檢車車載監(jiān)測系統(tǒng)”（專利號：cn118247761b）。通過交通巡檢車搭載的視頻系統(tǒng)，采用目標檢測算法實時監(jiān)測道路與車輛動態(tài)，該系統(tǒng)會對捕獲的圖像實施網(wǎng)格化處理，并重繪車輛輪廓，進而分析圖像數(shù)據(jù)中的車輛距離、時間及速度信息。對于識別出的車距過近情況，系統(tǒng)會發(fā)出預警并特別標注，可應用于交通違法行為、事故及道路狀況的監(jiān)測。該方法基于二維技術實現(xiàn)，缺乏對目標三維空間實際物理坐標和距離的估計，因此無法為后續(xù)處置工作提供目標的位置信息。

3、如中國專利公開了“面向交通巡檢的無人機云臺調節(jié)控制系統(tǒng)及方法”（專利號：cn118759833a）。對目標位置計算的技術方案為：利用無人機在低空對交通基礎設施進行遙感拍攝，獲取圖像后進行校正處理。隨后，將校正后的圖像輸入至mask-rcnn模型中，以識別交通基礎設施沿線的特征元素。通過此模型能夠獲取目標對象的邊界框坐標，并據(jù)此計算出整個目標圖像的中心點，以及目標對象在該圖像中的中心位置。但該方法計算的位置為2d平面的位置，未能判定目標物理空間中的位置信息。

4、如中國專利公開了“一種基于無人機視角的交通擁堵判斷方法”（專利號：cn118038673a）?；趛olov8目標檢測算法等識別環(huán)境圖像中的車輛，對識別出的車輛進行跟蹤，并獲取當前車輛在兩個關鍵幀圖像中的位差，進而計算出車輛的移動速度。此方法在無人機靜止時應用，無法適應動態(tài)環(huán)境。

5、如中國專利公開了“一種基于無人機巡檢實時圖像的車輛違停檢測方法”（專利號：cn117593673a）。利用無人機對高速公路進行巡航，其拍攝的視頻流被送至后臺進行逐幀處理，利用深度學習模型檢測視頻幀中的車輛，得到車輛檢測框的左上角坐標、右下角坐標，分割出車道線分割區(qū)域、高速公路分割區(qū)域和車輛分割區(qū)域；結合yolov5模型和stdc模型的預測結果，并依據(jù)車輛違停的具體判定規(guī)則，判定車輛是否違停。此方法應用雙模型，計算復雜度較高，實時性較差，且未能提供3d空間信息。

6、如中國專利公開了“一種基于無人機多傳感融合的環(huán)境巡查系統(tǒng)”（專利號：cn118687630a）。采用了定位模塊、激光雷達采集模塊、圖像獲取模塊、紅外熱成像模塊、煙霧檢測模塊，可按常規(guī)路徑規(guī)劃策略或應急路徑規(guī)劃策略自動巡查，圖像獲取模塊、紅外熱成像模塊、煙霧檢測模塊通訊以獲取是否產(chǎn)生應急事件，若產(chǎn)生應急事件，定位模塊和激光雷達采集模塊同步工作獲取事件發(fā)生地點。此方法設備成本較高，不便于大范圍應用。

7、因此，研發(fā)一種基于軌道式巡檢機器人的事件監(jiān)測方法，能夠在隧道環(huán)境下精準識別各類安全隱患，并及時觸發(fā)報警，對提升隧道安全性、減少巡檢盲區(qū)具有重要意義。

技術實現(xiàn)思路

1、為了解決現(xiàn)有技術中隧道環(huán)境巡檢方法在復雜環(huán)境下難以實現(xiàn)實時、全面且精準的事件監(jiān)測和位置判定的技術問題，本發(fā)明提供了一種隧道軌道式巡檢機器人環(huán)境下的事件監(jiān)測方法。

2、本發(fā)明提供的技術方案如下：

3、本發(fā)明提供的一種隧道軌道式巡檢機器人環(huán)境下的事件監(jiān)測方法，包括：

4、s1、在軌道安裝單目攝像頭并實時拍攝路面圖像，將所述路面圖像調整為尺寸后進行預處理，所述預處理包括歸一化處理；

5、s2、將預處理后的圖像輸入cspdarknet獲取圖像初步特征表示，之后通過跳躍連接和特征金字塔網(wǎng)絡提取不同尺度特征，再根據(jù)不同尺度特征構建三個檢測頭和一個分割頭，輸入圖像數(shù)據(jù)經(jīng)過置信度值和非極大值抑制剔除置信度低和重疊比例較高的目標，最終輸出有效預測目標的邊界框、分割掩膜坐標、類別標簽和特征點；

6、s3、從前后兩幀圖像a和b中高置信度且標簽一致的分割掩膜點中提取角點和加權中心點，對每個所述掩膜點在后幀圖像中找到最近的 k個點，利用歐式距離計算最近鄰和次近鄰之間的距離比，并判斷匹配的有效性，若有效則結合imu數(shù)據(jù)，利用相機的運動和旋轉信息來預測相機的位姿變化；

7、s4、截取檢測到的目標最大邊界范圍作為有效圖像，采用編碼器-解碼器的方式對有效圖像進行深度值預估，將有效圖像通過resnet50編碼器進行圖像特征提取，得到深度多層次特征，之后將提取的多層次特征進行反卷積和上采樣運算，生成深度圖，計算前后兩幀圖像a和b對于場景中的視差，所述視差包括角度和位置變化，之后使用網(wǎng)絡生成的深度圖將輸入圖像重投影到其他視角，在結合相機姿態(tài)和內參輸出目標每個像素的深度值；

8、s5、根據(jù)在前步驟得到的攝像頭的信息和目標物體的信息檢測路面上的目標對象，并自動分析和進行相應的事件警報。

9、本發(fā)明提供的技術方案帶來的有益效果至少包括：

10、在本發(fā)明中，通過改進單目視覺攝像頭的運動姿態(tài)估計和物體深度估計，提升了事件檢測的準確性。通過目標檢測與分割獲取物體特征點，并結合knnmatch和imu精準預測攝像頭運動姿態(tài)，克服了單目視覺系統(tǒng)在深度估計上的不足。同時，利用圖像編碼-解碼模型生成深度圖并重投影至不同視角，精確計算物體三維坐標，實現(xiàn)了對隧道內各類交通事件的精準監(jiān)測。

技術特征：

1.一種隧道軌道式巡檢機器人環(huán)境下的事件監(jiān)測方法，其特征在于，包括：

2.根據(jù)權利要求1所述的一種隧道軌道式巡檢機器人環(huán)境下的事件監(jiān)測方法，其特征在于，所述s3具體包括：

3.根據(jù)權利要求2所述的一種隧道軌道式巡檢機器人環(huán)境下的事件監(jiān)測方法，其特征在于，所述預測相機位姿變化包括：

4.根據(jù)權利要求3所述的一種隧道軌道式巡檢機器人環(huán)境下的事件監(jiān)測方法，其特征在于，包括：

5.根據(jù)權利要求1所述的一種隧道軌道式巡檢機器人環(huán)境下的事件監(jiān)測方法，其特征在于，所述s4具體包括：

6.根據(jù)權利要求1所述的一種隧道軌道式巡檢機器人環(huán)境下的事件監(jiān)測方法，其特征在于，所述s5具體包括：

技術總結
本發(fā)明提供一種隧道軌道式巡檢機器人環(huán)境下的事件監(jiān)測方法，涉及隧道監(jiān)控與檢測技術領域，方法包括：S1、在軌道上安裝單目攝像頭，實時拍攝并預處理路面圖像；S2、通過CSPDarknet網(wǎng)絡提取圖像特征，利用檢測頭和分割頭獲取目標邊界框、分割掩膜坐標等信息；S3、對前后幀的分割掩膜點進行最近鄰匹配并結合IMU數(shù)據(jù)預測相機姿態(tài)變化；S4、基于編碼器?解碼器模型估算深度圖，生成多視角深度信息；S5、依據(jù)攝像頭及目標物體信息檢測隧道事件并觸發(fā)警報。本發(fā)明改進單目攝像頭的運動姿態(tài)和深度估計，提升事件檢測準確性。通過目標檢測、KNNMatch和IMU數(shù)據(jù)獲取物體特征點并預測攝像頭運動，同時生成深度圖重投影至多視角，精確監(jiān)測隧道事件。

技術研發(fā)人員：史故臣,伍一帆,柳念
受保護的技術使用者：杭州中威電子股份有限公司
技術研發(fā)日：
技術公布日：2024/12/19