本發(fā)明涉及地表火監(jiān)測識別，特別是涉及一種微功耗狀態(tài)機視覺智能地表火監(jiān)測識別系統(tǒng)。

背景技術(shù)：

1、當前，地表火監(jiān)測技術(shù)已經(jīng)在森林防火、環(huán)境保護等方面得到了廣泛應用。傳統(tǒng)地表火監(jiān)測方法主要依賴于人工巡查、衛(wèi)星監(jiān)測以及各類傳感器網(wǎng)絡。然而，人工巡查方法效率低，成本高，受天氣、地形等條件的限制較大；衛(wèi)星監(jiān)測雖然覆蓋面廣，但存在監(jiān)測周期長、實時性差等問題；各類傳感器網(wǎng)絡雖然能夠提供較為實時的監(jiān)測數(shù)據(jù)，但在大面積監(jiān)測場景中，傳感器布設和維護成本高昂，且傳感器電池壽命有限。

2、近年來，隨著微電子技術(shù)和人工智能技術(shù)的進步，基于圖像識別技術(shù)的地表火監(jiān)測方法逐漸興起。然而，傳統(tǒng)的圖像識別方法在應用于地表火監(jiān)測時，存在以下問題：

3、1.功耗高：傳統(tǒng)攝像頭和處理單元在持續(xù)工作模式下功耗較高，不適合應用于長時間、無人值守的監(jiān)測場景。

4、2.實時性差：現(xiàn)有的一些基于云端計算的圖像識別方法，需要將拍攝的圖像或視頻流上傳至云端進行處理，存在一定的網(wǎng)絡延時，無法滿足實時火災報警的要求。

5、3.識別精度不足：一些簡單的圖像處理算法無法準確識別地表火，容易產(chǎn)生誤報或漏報。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供的一種微功耗狀態(tài)機視覺智能地表火監(jiān)測識別系統(tǒng)，能夠在保障監(jiān)測精度的同時，大幅降低系統(tǒng)功耗。

2、為達到上述目的，本發(fā)明提供的一種微功耗狀態(tài)機視覺智能地表火監(jiān)測識別系統(tǒng)，其關(guān)鍵是：設置有微功耗攝像模組、mcu微控制器、通信模塊與報警模塊，所述mcu微控制器分別與微功耗攝像模組和通信模塊雙向連接，所述通信模塊與報警模塊連接，所述mcu微控制器中設置有深度學習算法模塊；

3、所述mcu微控制器控制微功耗攝像模組獲取圖像數(shù)據(jù)并傳遞給深度學習算法模塊，所述深度學習算法模塊對所述圖像數(shù)據(jù)進行分類識別，得到分類識別結(jié)果，當所述分類識別結(jié)果為異常情況時，所述mcu微控制器激活通信模塊，將火警警報和關(guān)鍵視頻證據(jù)上傳至云端，觸發(fā)報警模塊進行報警；

4、所述mcu微控制器中構(gòu)建有開機、關(guān)機、半工和全工四種工作模式的狀態(tài)機。

5、通過上述設計，所述mcu微控制器負責整個系統(tǒng)的核心控制，其內(nèi)部構(gòu)建了關(guān)機、開機、半工、全工四種工作模式的狀態(tài)機，以動態(tài)調(diào)整系統(tǒng)的運行狀態(tài)，實現(xiàn)高效的功耗管理和監(jiān)測功能。

6、通過mcu微控制器控制微功耗攝像模組，并在mcu微控制器中構(gòu)建四種工作模式的狀態(tài)機，結(jié)合mobilenetv4訓練的深度學習算法模型，實現(xiàn)高效、低功耗的地表火監(jiān)測識別。

7、通信與報警機制確保了火情信息的快速傳遞與處理。一旦系統(tǒng)確認地表火異常，mcu即刻激活通信模塊，將火警警報與關(guān)鍵視頻證據(jù)上傳至云端，觸發(fā)實時報警流程。這一即時響應機制對于加速火災應對措施的實施至關(guān)重要，有助于最大限度減輕火災可能造成的損害。

8、作為優(yōu)選：所述微功耗攝像模組設置有微功耗和全功率兩種工作模式，在微功耗模式下，所述微功耗攝像模組拍攝單張照片，進行低頻次的周期性檢測；在全功率模式下，所述微功耗攝像模組連續(xù)拍攝視頻流，進行高頻次的深度監(jiān)測和識別。

9、通過上述設計，采用支持微功耗模式和全工作模式的攝像模組，在不同的工作模式下，攝像模組分別以不同的功耗水平進行工作，進一步降低系統(tǒng)整體功耗。在確保地表火檢測識別精度的情況下，有效降低了系統(tǒng)功耗，進而減少了系統(tǒng)運行成本。

10、微功耗攝像模組通過選用具備微功耗與全功率雙模式的攝像組件，系統(tǒng)能根據(jù)實際監(jiān)測需求，智能調(diào)節(jié)攝像模組的工作強度，有效在低頻監(jiān)測與高頻精確識別間自由切換。這一設計不僅提升了能源利用效率，也保證了監(jiān)測任務的靈活性與有效性。

11、作為優(yōu)選：所述深度學習算法模塊中設置有單幀圖像分類識別算法模型ma和視頻流分類識別算法模型mb，所述單幀圖像分類識別算法模型ma用于識別半工模式下的單張照片圖像數(shù)據(jù)，所述視頻流分類識別算法模型mb用于識別全工模式下的視頻流圖像數(shù)據(jù)。

12、采用mobilenetv4訓練建立的單幀圖像分類識別算法模型ma和視頻流分類識別算法模型mb，分別用于單幀圖像和視頻流的地表火監(jiān)測識別，確保識別的準確性和實時性，進而提高地表火識別的精度和可靠性。

13、在識別技術(shù)方面，本發(fā)明融合了先進的深度學習算法，利用mobilenetv4框架定制的ma與mb兩套算法模型，分別針對靜態(tài)圖像的快速初篩與動態(tài)視頻流的深度分析。ma模型以其高速與高準確率，確保了對單幀圖像的即時反應；而mb模型通過引入時間序列分析，加強了對連續(xù)視頻中地表火特征的捕捉能力，提高了識別的精細度與可靠性，兩者協(xié)同作業(yè)，極大增強了系統(tǒng)的監(jiān)測識別效能。

14、作為優(yōu)選：所述單幀圖像分類識別算法模型ma和視頻流分類識別算法模型mb根據(jù)所述圖像數(shù)據(jù)中的火焰傾斜方向和煙霧飄動軌跡識別得到當前的風向信息；所述視頻流分類識別算法模型mb根據(jù)所述視頻流圖像數(shù)據(jù)中的火焰擺動頻率和煙霧擴散速度識別得到當前的風力信息；

15、火焰傾斜方向識別：所述單幀圖像分類識別算法模型ma和視頻流分類識別算法模型mb通過檢測火焰的傾斜方向判斷風向，使用圖像處理算法計算火焰的主要傾斜軸，表達式如下：

16、

17、其中，i表示輸入圖像，f表示火焰區(qū)域，(x,y)表示火焰區(qū)域內(nèi)的像素坐標，θ表示火焰的傾斜角度；

18、煙霧飄動軌跡識別：所述單幀圖像分類識別算法模型ma和視頻流分類識別算法模型mb通過跟蹤視頻中煙霧的移動路徑判斷風向，使用光流算法計算煙霧的移動向量場v，表達式如下：

19、v＝opticalflow(it-1,it)

20、其中it-1表示時間t-1時刻的圖像數(shù)據(jù)，it表示時間t時刻的圖像數(shù)據(jù)，opticalflow表示光流算法；

21、火焰擺動頻率識別：所述視頻流分類識別算法模型mb通過分析火焰的擺動頻率判斷風力，較大的風力會導致火焰頻繁擺動；火焰區(qū)域的重心(xf,yf)的表達式如下：

22、

23、計算火焰重心的擺動頻率f的表達式：

24、f＝frequency({(xf(t),yf(t))})

25、煙霧擴散速度識別：所述視頻流分類識別算法模型mb通過測量煙霧擴散的速度判斷風力，風力越大，煙霧擴散的速度越快；通過光流向量場v計算煙霧擴散的速度v的表達式如下：

26、

27、通過上述設計，根據(jù)火焰傾斜方向和煙霧飄動軌跡來判斷風向，通過火焰擺動頻率和煙霧擴散速度來判斷風力，不僅準確識別了火情，還有效預測了火情蔓延趨勢，為后續(xù)防火救災工作指明了方向。

28、作為優(yōu)選：所述單幀圖像分類識別算法模型ma中設置有依次連接的圖像預處理單元、特征提取和分類判別單元；

29、其中，所述圖像預處理單元用于對抓拍的單幀圖像進行歸一化、尺寸調(diào)整處理，表達式如下：

30、

31、其中，inorm表示處理后圖像，i表示輸入圖像，μ表示圖像的均值，σ表示圖像的標準差；

32、所述特征提取用于提取圖像中的高維特征，捕捉地表火的特征信息，表達式如下：

33、a＝mobilenetv4(inorm)

34、其中，a表示提取到的高維特征向量；

35、所述分類判別單元用于對提取的圖像特征進行分類，判斷圖像中的地表火狀況，將其分類為正?；虍惓顩r，表達式如下：

36、

37、其中，w表示權(quán)重矩陣，b表示偏置向量，表示預測的類別概率分布。

38、所述單幀圖像分類識別算法模型ma用于單幀圖像的初步識別，該算法采用mobilenetv4模型進行訓練，具有較高的識別準確性和較低的計算復雜度。所述圖像預處理模塊對抓拍的單幀圖像進行歸一化、尺寸調(diào)整等預處理操作，以適應mobilenetv4模型的輸入要求。

39、在微功耗模式下，需要在450ms內(nèi)完成圖像抓拍和識別，以保證實時性。

40、作為優(yōu)選：所述視頻流分類識別算法模型mb依次設置有視頻幀預處理單元、特征提取與時間序列分析單元、分類識別單元；

41、其中，所述視頻幀預處理單元用于對視頻流中的每一幀進行歸一化、尺寸調(diào)整處理，表達式如下：

42、

43、其中，it表示第t幀圖像；

44、所述特征提取與時間序列分析單元用于提取每一幀的高維特征，并結(jié)合時間序列分析方法，獲取幀與幀之間的時序關(guān)系特征，表達式如下：

45、at＝mobilenetv4(it)

46、a1:t＝[a1,a2,…,at]

47、其中，at表示第t幀的特征序列，a1:t是從第1幀到第t幀的特征序列；

48、所述分類識別單元用于對視頻流特征進行整體分類，判斷視頻中的地表火狀況，將其分類為正?；虍惓Ｇ闆r，表達式如下：

49、

50、其中，lstm表示長短期記憶網(wǎng)絡，softmax表示激活函數(shù)。

51、所述mcu微控制器在確認異常情況后，控制通信模塊將火警消息和短視頻上傳至云端，進行火災報警。

52、所述視頻流分類識別算法模型mb用于連續(xù)視頻流的深度識別。該算法同樣采用mobilenetv4模型進行訓練，但在此基礎上結(jié)合時間序列分析方法，對視頻流進行更深入的地表火監(jiān)測識別。該算法考慮幀與幀之間的時序關(guān)系，有效提高了地表火分類識別準確性。

53、作為優(yōu)選：所述單幀圖像分類識別算法模型ma和視頻流分類識別算法模型mb由mobilenetv4訓練得到。

54、其中，所述單幀圖像分類識別算法模型ma在mobilenetv4的基礎上，進行了以下優(yōu)化：

55、·數(shù)據(jù)增強：在訓練數(shù)據(jù)中加入不同風向條件下的地表火圖像，以提高模型的泛化能力。

56、·特征融合：在模型中加入火焰傾斜方向和煙霧飄動軌跡的特征，使模型能夠更準確地識別火情和推測風向。

57、·多任務學習：同時訓練火情識別和風向識別任務，使模型能夠在識別火情的同時判斷風向。

58、下面是ma模型大致結(jié)構(gòu)：

59、

60、其中，multiscalefeatures表示多尺度特征，abase表示基礎特征，amulti表示多尺度特征，aflame_angle表示火焰特征，asmoke_trajectory表示煙霧特征，acombined表示綜合特征，表示火情輸出，表示風向輸出，表示風力輸出。

61、所述視頻流分類識別算法模型mb在mobilenetv4的基礎上，進行了以下優(yōu)化：

62、·時間序列分析：結(jié)合時間序列分析方法，使用長短期記憶網(wǎng)絡(lstm)，以捕捉視頻中火焰和煙霧的動態(tài)變化，提高風力和風向的預測精度。

63、·多尺度特征提?。涸谀Ｐ椭屑尤攵喑叨忍卣魈崛∧K，以捕捉不同尺度下的火焰和煙霧特征，增強模型對風向和風力的識別能力。

64、·光流特征：在模型中加入光流特征，分析視頻中煙霧和火焰的運動軌跡，從而更準確地推測風向和風力。

65、下面是mb模型大致結(jié)構(gòu)：

66、

67、

68、作為優(yōu)選：在關(guān)機模式下，mcu微控制器處于ua級休眠狀態(tài)，微功耗攝像模組處于0功耗關(guān)機狀態(tài)，通信模塊處于工作狀態(tài)，關(guān)機模式下的功耗表達式如下：

69、poff＝0

70、其中，poff表示關(guān)機模式下的功耗；

71、在開機模式下，mcu微控制器處于ma級工作狀態(tài)，mcu微控制器控制微功耗攝像模組抓拍照片并進行初步識別，開機模式下的功耗表達式如下：

72、pon＝pmcu+pcamera

73、其中，pon表示開機模式下的功耗，pmcu是微控制器單元的功耗，pcamera是攝像模組的功耗；

74、在半工模式下：當單幀圖像分類識別算法模型ma的識別結(jié)果為正常狀態(tài)時，mcu微控制器進入休眠模式，微功耗攝像模組進入微功耗模式，mcu微控制每間隔1-3秒定時喚醒微功耗攝像模組進行圖像拍攝，并對所述圖像進行分類識別，半工模式下的功耗表達式如下：

75、phalf＝pmcu+pcamera,low

76、其中，phalf表示半工模式下的功耗，pcamera,low表示攝像模組在微功耗模式下的功耗；

77、在全工模式下：當單幀圖像分類識別算法模型ma的識別結(jié)果為異常狀態(tài)時，mcu微控制器控制微功耗攝像模組進入全功率模式，mcu微控制器控制微功耗攝像模組連續(xù)拍攝視頻流，并對所述視頻流進行深度識別和報警處理，全工模式下的功耗表達式如下：

78、pfull＝pmcu+pcamera,high

79、其中，pfull表示全工模式下的功耗，pcamera,high表示微功耗攝像模組在全功率模式下的功耗；

80、狀態(tài)機工作模式的轉(zhuǎn)換條件可以用如下條件表示：

81、

82、其中，tno?activity表示沒有活動的時間，toff是關(guān)機的時間閾值，是分類器的輸出。

83、通過在mcu微控制器內(nèi)部構(gòu)建包含關(guān)機、開機、半工、全工四種模式的狀態(tài)機，系統(tǒng)能夠靈活響應網(wǎng)絡指令，動態(tài)調(diào)整運行狀態(tài)。這不僅實現(xiàn)了從超低功耗休眠到高強度監(jiān)測的無縫切換，還確保了系統(tǒng)功耗與監(jiān)測效能的最優(yōu)平衡。例如，系統(tǒng)能在無監(jiān)控需求時自動進入關(guān)機模式，極大限度降低能耗；而在必要時迅速轉(zhuǎn)換至全工模式，提供連續(xù)視頻流捕捉及高級別火情識別與報警，充分適應不同安全需求場景。

84、作為優(yōu)選：所述微功耗攝像模組設置有n個攝像頭，n個攝像頭陣列分布在待檢測區(qū)域內(nèi)，當一個或多個攝像頭拍攝的圖像被所述單幀圖像分類識別算法模型ma識別為異常狀態(tài)時，所述mcu微控制器喚醒該異常狀態(tài)攝像頭及其周邊攝像頭進入全功率模式，連續(xù)拍攝視頻流進行檢測；若周邊攝像頭也檢測到異常情況，所述mcu微控制器進一步擴大喚醒范圍，使更大范圍內(nèi)的攝像頭進入全功率模式；

85、所述攝像模組的喚醒策略如下：

86、(1)檢測火情：設i表示輸入圖像，f(i)表示火情檢測函數(shù)；當f(i)＝1?時，表示檢測到火情，進入全工模式；否則，保持在微功耗模式；

87、(2)初始喚醒：設ci表示第i個攝像頭，r(ci)表示以ci為中心的初始喚醒范圍，包含m個攝像頭,喚醒范圍內(nèi)的攝像頭集合為{cj|cj∈r(ci)}，其中，cj表示第j個攝像頭；

88、(3)逐步擴展：設t表示時間步，初始時刻t＝0，當存在cj∈r(ci)且f(cj)＝1，則擴展喚醒范圍r(ci,t+1)＝r(ci,t)+δr，其中δr表示擴展的范圍；在時間步0到t之間擴展的所有喚醒范圍的攝像頭集合為：

89、

90、通過上述設計，在檢測到異常情況后，系統(tǒng)會優(yōu)先喚醒一定范圍內(nèi)的攝像頭進行進一步監(jiān)測。如果新喚醒的攝像頭也檢測到異常情況，系統(tǒng)將繼續(xù)擴大監(jiān)測范圍，喚醒更多的攝像頭進行協(xié)同監(jiān)控和識別。這種逐步擴展的喚醒機制確保了監(jiān)測范圍的動態(tài)調(diào)整，既能夠在火情初期及時捕捉和識別火災，又能在火情擴展時提供更廣泛的監(jiān)控覆蓋，提升整體監(jiān)測系統(tǒng)的效率和準確性。

91、通過設置逐步擴展的機制能夠根據(jù)火情的實際蔓延情況靈活調(diào)整監(jiān)測范圍，確保監(jiān)控系統(tǒng)覆蓋火情影響的所有區(qū)域，該喚醒策略不僅提升了監(jiān)控的實時性和準確性，還有效降低了系統(tǒng)的整體功耗，確保系統(tǒng)在關(guān)鍵時刻能夠迅速響應和處理火情。

92、作為優(yōu)選：所述視頻流分類識別算法模型mb根據(jù)視頻流圖像數(shù)據(jù)中火焰傾斜方向或煙霧飄動軌跡及其水平位移，結(jié)合對應攝像頭的位置信息，綜合判斷環(huán)境風向信息；所述環(huán)境風向信息包括環(huán)境風向及風向偏移角度，判斷過程如下：

93、所述視頻流分類識別算法模型mb從異常狀態(tài)攝像頭中選取一個攝像頭作為正向攝像頭，并獲取所述正向攝像頭的朝向信息，然后根據(jù)所述朝向信息，判斷該正向攝像頭攝取的視頻流圖像數(shù)據(jù)中的火焰傾斜方向、火焰高度或煙霧飄動方向、煙霧高度，并根據(jù)所述火焰傾斜方向、火焰高度或煙霧飄動方向、煙霧高度判斷火焰或煙霧的正向水平位移；

94、將正向攝像頭攝取的視頻流圖像數(shù)據(jù)中火焰或煙霧高度作為標準高度，選擇朝向信息靠近所述火焰傾斜方向或煙霧飄動方向，且與當前攝像頭朝向信息相垂直的攝像頭作為側(cè)向攝像頭，判斷該側(cè)向攝像頭攝取的視頻流圖像數(shù)據(jù)中的火焰或煙霧在所述標準高度下，火焰或煙霧的側(cè)向水平位移；

95、根據(jù)所述正向水平位移和側(cè)向水平位移，判斷環(huán)境風向及風向偏移角度，所述風向偏移角度的計算公式如下：

96、

97、其中，α表示風向偏移角度，h1表示火焰或煙霧的正向水平位移，h2表示火焰或煙霧的側(cè)向水平位移。

98、通過上述設計，可綜合判斷得到具體的環(huán)境風向信息，并實時了解環(huán)境風向變化。風向的變化直接影響火的蔓延方向，因此，了解和適應風向的變化是提高滅火救援效率、保障人員安全的關(guān)鍵。

99、本發(fā)明的有益效果：通過在mcu微控制器上實現(xiàn)狀態(tài)機控制和高效的圖像識別算法，顯著降低了系統(tǒng)功耗，并提升了監(jiān)測識別的準確性和實時性，不僅能檢測火情，進行火情報警，還能檢測當前環(huán)境風向、風力，預測火情蔓延趨勢，為后續(xù)防火救災提供方向。

100、本發(fā)明通過綜合運用智能狀態(tài)機控制、微功耗管理、深度學習識別，以及高效的通信報警系統(tǒng)，為地表火監(jiān)測領域提供了一套全面且高效的解決方案，體現(xiàn)了技術(shù)創(chuàng)新在提升公共安全及環(huán)境保護方面的巨大潛力。