本發(fā)明涉及一種煙霧監(jiān)測方法，尤其是一種基于深度卷積神經網絡的堆場煙霧監(jiān)測及在線模型更新方法。

背景技術：

火災是危害公眾安全和社會發(fā)展的一類最為普遍和最為重要的災害?；馂牟粌H毀壞物質財產，還嚴重威脅著人的生命健康和安全，一旦發(fā)生會給我們造成不可挽回的損失。2015年8月12日，天津港發(fā)生火災爆炸事故，造成165人遇難，798人受傷，已核定的直接經濟損失達68.66億元。堆場的安全問題，尤其是火災預警一直是消防安全領域的一個重要課題。如果能夠在火災發(fā)生初期及早發(fā)現，并將其撲滅就可以最大限度的降低火災造成的危害?！盁煘榛鹗肌?，火災發(fā)生的前期通常會產生煙霧，因此如果能夠及時地檢測到煙霧，那么可以提供更早的火災預警，減少人員傷亡和財產損失。

煙霧的檢測從本質上來說是一個模式識別問題，煙霧特征的充分獲取是識別精度和模型泛化能力的保證?，F有的煙霧識別方法中，多是利用單一特征(如顏色特征等)，但是由于煙霧本身存在著形狀、顏色不固定等特點，存在著特征充分提取困難的問題，造成模型分類精度不佳，影響煙霧實時檢測，因而有必要尋找新的特征提取手段。

顏色、紋理、運動檢測是目前煙霧檢測方法使用的三種主要特征。顏色特征是最為廣泛的視覺特征，目前通常是尋找合適的顏色空間進行煙霧區(qū)域分割，如rgb顏色空間、his顏色空間等。紋理特征是一種反映圖像中同質現象的視覺特征，主要有統(tǒng)計型紋理特征、模型型紋理特征、信號處理型紋理特征、結構型紋理特征等四種。運動特征首先要提取運動矢量，如基于塊匹配的相關技術、光流法等。一方面，這些方法使用時難以剔除類煙物體的干擾，例如使用顏色特征時云霧的干擾等。另一方面，這些方面不能較好的描述煙霧的本質，對環(huán)境變化的適應能力不強，比如光照對運動檢測的影響，不能確保選用的特征對于不同堆場環(huán)境下的適用性。在如何充分提取煙霧特征，并同時滿足視頻監(jiān)控條件下煙霧監(jiān)測的實時性和高分類精度仍存在改進的空間。

技術實現要素：

本發(fā)明的目的是克服現有技術中存在的不足，提供一種基于深度卷積神經網絡的堆場煙霧監(jiān)測及在線模型更新方法，其能夠實現在堆場環(huán)境視頻監(jiān)控條件下進行實時煙霧檢測，同時根據漏報、誤報情況實現模型的在線更新，進一步提升檢測精度，實現火災預警，減少財產損失，穩(wěn)定性更高，使用更加方便。

按照本發(fā)明提供的技術方案，所述基于深度卷積神經網絡的堆場煙霧監(jiān)測及在線模型更新方法，其特征是，包括以下步驟：

(1)將收集的視頻數據轉為圖片序列，并對煙霧區(qū)域進行位置、類標標注，將位置、類標信息保存為類標文件夾，圖片與位置、類標信息兩個文件夾組成了初始正負樣本集y；

(2)將步驟(1)獲得的初始正負樣本集y按設定的比例分為訓練集y11、測試集y2和驗證集y12；將訓練集y11和驗證集y12放入通用的深度卷積神經網絡模型進行訓練，對通用模型進行參數微調，不斷進行迭代訓練同時計算損失函數，根據損失函數挑選多個初始模型，通過對測試集y2進行測試，根據roc曲線挑選最優(yōu)初始模型x；

(3)利用步驟(2)得到的初始模型x，對堆場環(huán)境下視頻監(jiān)控進行煙霧檢測，同時保存檢測結果及置信值，每隔一段時間根據檢測結果更新正負樣本集并進行模型更新得到更新模型x'，通過測試模型精度進行評價。

進一步的，所述步驟(1)包含以下步驟：

步驟1.1、將收集的視頻數據轉為圖片序列，將所有圖片中存在煙霧的區(qū)域以矩形框的形式標注出來，并打上smoke的類標；

步驟1.2、圖片中矩形框的位置以及類標信息以標準voc2007格式保存在位置、類標文件夾中，名字與對應圖片同名，圖片與位置、類標信息兩個文件夾組成了初始正負樣本集y。

進一步的，所述步驟(2)包含以下步驟：

步驟2.1、將初始正負樣本集y按9:1的比例以隨機的方式分為訓練集y1和測試集y2，將訓練集y1同樣按9:1的比例隨機方式分為訓練集y11與驗證集y12；

步驟2.2、將訓練集y1放入通用的深度卷積神經網絡模型中訓練，訓練集y11用來微調模型參數，驗證集y12用來確定模型結構，同時根據模型的檢測結果與實際結果的分類誤差lcls以及位置偏差lloc加權計算損失函數評價訓練模型，損失函數l的計算公式為：

步驟2.3、選取幾個損失函數低的模型作為初始模型，使用測試集y2來測試模型精度，評估標準以漏報率和誤報率的roc曲線為準，選擇最好的模型作為初始模型x。

進一步的，所述步驟(3)包含以下步驟：

步驟3.1、利用初始模型x，對堆場環(huán)境下視頻監(jiān)控進行實時煙霧檢測，在實時檢測界面顯示現場環(huán)境，若模型認為有煙霧出現，則標注煙霧區(qū)域并顯示置信值，保存模型檢測到的煙霧區(qū)域及置信值；

步驟3.2、每隔一段時間將置信值為0～0.2的檢測結果作為負樣本集z1，將置信值為0.2以上的檢測結果作為正樣本集z2，并將負樣本集z1、正樣本集z2與訓練集y1合并為訓練集z；

步驟3.3、將訓練集z放入通用的深度卷積神經網絡模型中訓練，重復步驟(2)中的步驟2.2、步驟2.3獲得更新模型x'，將更新模型x'與初始模型x比較，測試集y2作為測試樣本，選擇較好的模型作為初始模型x繼續(xù)進行實時煙霧檢測。

本發(fā)明所述基于深度卷積神經網絡的堆場煙霧監(jiān)測及在線模型更新方法，能夠實現在堆場環(huán)境視頻監(jiān)控條件下進行實時煙霧檢測，同時根據漏報、誤報情況實現模型的在線更新，進一步提升檢測精度，實現火災預警，減少財產損失，穩(wěn)定性更高，使用更加方便。

附圖說明

圖1為本發(fā)明所述堆場煙霧監(jiān)測及在線模型更新方法的流程圖。

圖2為煙霧圖片的標注示意圖。

圖3為深度卷積神經網絡模型提取的圖片特征可視化圖。

圖4為模型漏報率與誤報率的roc曲線圖。

圖5為堆場環(huán)境視頻監(jiān)控的實時煙霧檢測圖。

具體實施方式

下面結合具體附圖對本發(fā)明作進一步說明。

如圖1所示，本發(fā)明所述基于深度卷積神經網絡的堆場煙霧監(jiān)測及在線模型更新方法，包括以下步驟：

(1)將收集的煙霧視頻轉為圖片序列，對轉換工具以及圖片格式沒有特殊要求，本實施例中，轉換工具采用自制python工具，圖片格式為jpg格式；

(2)對圖片中存在煙霧的區(qū)域以矩形框的形式標注出來，并打上smoke的類標(如圖2所示)，對于類煙物體，類標為likesmoke，對標注工具沒有特殊要求，本實施例中，標注工具采用自制python工具；

(3)將標注完的圖片中矩形框的位置以及類標信息以標準voc2007格式保存在位置、類標文件夾中，名字與對應圖片同名；

(4)初始正負樣本集y由圖片與位置、類標信息兩個文件夾組成，jpegimages為圖片集，annotations為位置、類標信息文件夾；

(5)將初始正負樣本集y按9:1的比例以隨機的方式分為訓練集y1和測試集y2，將訓練集y1同樣按9:1的比例隨機方式分為訓練集y11與驗證集y12；test.txt是測試集，train.txt是訓練集，val.txt是驗證集，trainval.txt是訓練和驗證集；

(6)將訓練集y1放入通用的深度卷積神經網絡模型中訓練，得到的多種更高層特征可視化圖如圖3所示；

(7)根據模型的檢測結果與實際結果的分類誤差lcls以及位置偏差lloc加權計算損失函數評價訓練模型，損失函數l的計算公式為：

其中，ncls為圖片集中圖片的張數；nloc為檢測出來的矩形框的個數；p表示檢測結果與實際結果的判斷，正確為1，錯誤為0；t表示矩形框的位置；

選取幾個損失函數低的模型作為初始模型，使用測試集y2來測試模型精度，評估標準以漏報率和誤報率的roc曲線為準(如圖4所示)，曲線越接近原點說明模型的誤報率和漏報率越低，選擇最好的模型作為初始模型x；

(8)利用初始模型x，對堆場環(huán)境下視頻監(jiān)控進行煙霧檢測，在實時檢測界面顯示現場環(huán)境，若模型認為有煙霧出現，則標注煙霧區(qū)域并顯示置信值(如圖5所示)，保存模型檢測到的煙霧區(qū)域及置信值；

本發(fā)明認為置信值為0～0.2的檢測結果是比較類似煙霧的物體，將這些物體當做負樣本，置信值為0.2以上的檢測結果是煙霧目標，將這些物體當做正樣本，更新正、負樣本后重新訓練更新模型，如果更新模型x'比起初始模型x對初始正負樣本集y的檢測效果更好，那么這次模型更新是有效的；具體步驟如下：

a、每隔一段時間將置信值為0～0.2的檢測結果作為負樣本集z1，將置信值為0.2以上的檢測結果作為正樣本集z2，并將負樣本集z1、正樣本集z2與訓練集y1合并為訓練集z；

b、將訓練集z放入通用的深度卷積神經網絡模型中訓練，重復模型訓練步驟更新模型x'，將更新模型x'與初始模型x比較，測試集y2作為測試樣本，選擇較好的模型作為初始模型x繼續(xù)進行實時煙霧檢測。