本發(fā)明涉及圖像識(shí)別的方法，屬于基于計(jì)算機(jī)視覺的行為識(shí)別的應(yīng)用技術(shù)領(lǐng)域，目的是獲得穩(wěn)定、準(zhǔn)確的檢測(cè)結(jié)果。

背景技術(shù)：

安全檢測(cè)技術(shù)是一種利用計(jì)算機(jī)系統(tǒng)來代替人工進(jìn)行目標(biāo)檢測(cè)的新興技術(shù)，安全檢測(cè)的過程是計(jì)算機(jī)通過獲取到視頻并對(duì)視頻信息進(jìn)行處理和分析，在視頻圖像中找到獨(dú)立的目標(biāo)，在后續(xù)的視頻中檢測(cè)出目標(biāo)區(qū)域位置并且標(biāo)記出來。視覺理解是計(jì)算機(jī)視覺系統(tǒng)的一個(gè)重要處理環(huán)節(jié)。計(jì)算機(jī)視覺涉及到圖像處理、機(jī)器學(xué)習(xí)、模式識(shí)別等多個(gè)領(lǐng)域，它的最終目標(biāo)是模擬人的視覺能力，可以完成識(shí)別任務(wù)。在學(xué)術(shù)界，來自MIT、ETH Zurich、WSU、Intel與微軟研究院等多家研究機(jī)構(gòu)的許多學(xué)者都對(duì)視覺理解相關(guān)問題展開了積極的探索。在工業(yè)界，基于計(jì)算機(jī)視覺的安全檢測(cè)已經(jīng)被運(yùn)用于視屏監(jiān)控、車輛輔助駕駛、智能機(jī)器人等多種應(yīng)用中。

隨著社會(huì)安全與科學(xué)技術(shù)的發(fā)展，越來越多地需要對(duì)場(chǎng)景進(jìn)行視頻監(jiān)控，根據(jù)視頻圖像中的信息做出相應(yīng)的反應(yīng)。然而，大多數(shù)的監(jiān)控任務(wù)具有時(shí)間久、高精度等特點(diǎn)。為了更高效的完成監(jiān)控任務(wù)，采用計(jì)算機(jī)視覺的方法成為了解決問題的一個(gè)重要的研究方向，同時(shí)越來越多的學(xué)者對(duì)目標(biāo)行為的檢測(cè)產(chǎn)生了極大的熱情，也取得了巨大的進(jìn)步。

傳統(tǒng)的模式識(shí)別一般采用兩個(gè)步驟：特征提取和特征分類。首先，原始輸入進(jìn)入特征提取模塊，特征提取模塊將原始輸入模式轉(zhuǎn)換得到特征。由于特征提取模塊與具體應(yīng)用直接相關(guān)，并沒有從計(jì)算機(jī)角度去理解圖像，因此十分依賴人工設(shè)計(jì)，大大增加了難度。卷積神經(jīng)網(wǎng)絡(luò)作為一種前饋神經(jīng)網(wǎng)絡(luò)，能夠?qū)Υ罅坑袠?biāo)簽的數(shù)據(jù)進(jìn)行自動(dòng)學(xué)習(xí)，并從中提取復(fù)雜的特征，只需對(duì)原始圖像進(jìn)行少量的預(yù)處理就能夠從像素中識(shí)別出視覺模式，并且對(duì)較多變化的識(shí)別對(duì)象也有較好的識(shí)別效果，同時(shí)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別能力不受圖像的畸變或簡(jiǎn)單的幾何變換的影響。因此采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行安全檢測(cè)能夠提供穩(wěn)定、準(zhǔn)確的檢測(cè)結(jié)果，還可以對(duì)檢測(cè)過程中發(fā)現(xiàn)的問題進(jìn)行分析和分類。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種計(jì)算機(jī)視覺和深度學(xué)習(xí)相結(jié)合的檢測(cè)方法，用于解決當(dāng)前安全檢測(cè)需求持久性、高精度的問題。該方法用梯度直方圖(HOG)來描述行人的特征，同時(shí)結(jié)合SVM來分類。找出行人之后，再用深度學(xué)習(xí)分析行人的行為，最終給出分析結(jié)果。本發(fā)明可明顯提高精度，并降低所需要的人力和硬件成本。

為解決上述安全檢測(cè)需求持久性、高精度的問題，本發(fā)明提出的技術(shù)方案為一種基于計(jì)算機(jī)視覺的安全檢測(cè)方法，具體包括如下步驟：

步驟1：使用者用攝像頭捕捉原始視頻數(shù)據(jù)；

步驟2：將原始圖像灰度化，對(duì)輸入圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化，調(diào)節(jié)圖像的對(duì)比度，降低圖像局部的陰影和光照變化所造成的影響，抑制噪音的干擾；

步驟3：計(jì)算圖像每個(gè)像素的梯度，捕獲輪廓信息，進(jìn)一步弱化光照的干擾；

步驟4：將圖像劃分成小cells(單元格)，將每幾個(gè)cells組成一個(gè)block(塊)，將一個(gè)block內(nèi)所有cells的特征descriptor(描述符)串聯(lián)起來，生產(chǎn)該block的HOG特征descriptor；

步驟5：將圖像image內(nèi)的所有block的HOG特征descriptor串聯(lián)起來，生成該image的HOG特征descriptor，并用訓(xùn)練好的SVM(支持向量機(jī))分類器篩選出圖像行人信息；

步驟6：將上述篩選出的圖像行人信息輸入到深度卷積神經(jīng)網(wǎng)絡(luò)中，對(duì)行人進(jìn)行行為分析，如果不符合安全規(guī)范則發(fā)出安全警報(bào)信息。

進(jìn)一步，上述步驟2中所述顏色空間的標(biāo)準(zhǔn)化是通過Gamma(伽碼)校正法實(shí)施。

進(jìn)一步，上述步驟3中所述梯度包括大小和方向信息。

進(jìn)一步，構(gòu)建上述步驟6中所述卷積神經(jīng)網(wǎng)絡(luò)的分類器包含以下步驟：

1.建立數(shù)據(jù)集；

2.建立卷積神經(jīng)網(wǎng)絡(luò)，包含以下步驟：

1)確定層數(shù)及結(jié)構(gòu)；

2)選擇損失函數(shù)；

3)確定Dropout層，以及Dropout比例；

4)選擇輸出層方程。

3.開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)，包含以下步驟：

1)初始化權(quán)重；

2)設(shè)置迭代結(jié)束條件。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

1，本發(fā)明能夠充分利用現(xiàn)有硬件設(shè)備，如攝像頭和服務(wù)器等，因此本方案可以作為一個(gè)插件嵌入到原有的系統(tǒng)中，最大可能減少了對(duì)原有系統(tǒng)的改動(dòng)。

2，識(shí)別技術(shù)與淺層的機(jī)器學(xué)習(xí)算法相比，深度學(xué)習(xí)能夠理解更多圖像的細(xì)節(jié)，能夠理解各種顏色的安全帽和人體之間的關(guān)系，有著更高的識(shí)別率。

3，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)環(huán)境、光線敏感等噪聲敏感較小，一次訓(xùn)練可以在各個(gè)環(huán)境下運(yùn)行，泛化能力好。

附圖說明

圖1是卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖。

圖2是本發(fā)明的方法流程圖。

具體實(shí)施方式

現(xiàn)結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式做進(jìn)一步詳細(xì)的說明。本發(fā)明提出的基于計(jì)算機(jī)視覺的安全檢測(cè)方法，首先通過攝像頭對(duì)檢測(cè)區(qū)域?qū)崟r(shí)采取圖像信息，然后對(duì)采取到的圖像的每個(gè)像素點(diǎn)進(jìn)行梯度計(jì)算。用已經(jīng)訓(xùn)練好的支持向量機(jī)SVM分類器對(duì)整幅圖像進(jìn)行遍歷，得到行人所在圖像位置的信息，截取行人圖像的上半部分，輸入到已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中，得到最終的安全行為識(shí)別的結(jié)果。

方法流程：

本發(fā)明設(shè)定人在工地上的日常行人包括兩種狀態(tài)，一種是正確佩戴了安全帽，另外一種是沒有正確佩戴安全帽，其中，沒有正確佩戴安全帽包括把安全帽拿在手里這種情況。

現(xiàn)進(jìn)一步細(xì)化，基于計(jì)算機(jī)視覺的安全檢測(cè)方法該方法包括如下步驟：

步驟1：

使用者用攝像頭捕捉原始視頻數(shù)據(jù)。

步驟2：

將原始圖像灰度化，并用Gamma校正法對(duì)輸入圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化(歸一化)來調(diào)節(jié)圖像的對(duì)比度，降低圖像局部的陰影和光照變化所造成的影響，同時(shí)可以抑制噪音的干擾。

步驟3：

計(jì)算圖像每個(gè)像素的梯度(包括大小和方向)；主要是為了捕獲輪廓信息，同時(shí)進(jìn)一步弱化光照的干擾。

步驟4：

將圖像劃分成小cells(例如6*6像素/cell)。將每幾個(gè)cell組成一個(gè)block(例如3*3個(gè)cell/block)，一個(gè)block內(nèi)所有cell的特征descriptor串聯(lián)起來便得到該block的HOG特征descriptor。

步驟5：

將圖像image內(nèi)的所有block的HOG特征descriptor串聯(lián)起來就可以得到該image的HOG特征descriptor了。并用訓(xùn)練好的SVM分類器篩選出行人。

步驟6：

將圖像行人信息輸入到深度卷積神經(jīng)網(wǎng)絡(luò)中，對(duì)行人進(jìn)行行為分析。如果不符合安全規(guī)范則發(fā)出安全警報(bào)信息。

如圖1所示，為本發(fā)明的一個(gè)實(shí)施例，其包括如下步驟：

1.用HOG進(jìn)行特征提取。

a.圖像灰度化，攝像頭采集到的RGB圖像彩色圖像灰度化為0-255的黑白圖像。

b.采用Gamma(I(x,y)＝I(x,y)^gamma)校正算法對(duì)輸入圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化，調(diào)節(jié)圖像的對(duì)比度，降低圖像局部的陰影和光照變化所造成的影響，同時(shí)抑制噪聲。

c.計(jì)算圖像梯度。

計(jì)算圖像橫坐標(biāo)和縱坐標(biāo)方向的梯度，并據(jù)此計(jì)算每個(gè)像素位置的梯度方向值。圖像中像素點(diǎn)(x，y)的梯度為：

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

式中G_x＝(x,y),G_y(x,y),H(x,y)分別表示輸入圖像中像素點(diǎn)(x,y)處的水平方向梯度、垂直方向梯度和像素值。像素點(diǎn)(x,y)處的梯度幅值和梯度方向分別為：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

d.構(gòu)建圖像descriptor。

將圖像劃分成小cells(如6*6像素/cell)，我們用9個(gè)方向直方圖來統(tǒng)計(jì)這6*6個(gè)像素的梯度信息，也就是將cell的梯度分為9個(gè)方向塊。

把細(xì)胞單元組合成大的塊(block)，塊內(nèi)歸一化梯度直方圖。一個(gè)block內(nèi)所有的cell的特征向量串聯(lián)起來便得到該block的特征向量，并將它們作為SVM分類使用。

2.構(gòu)建SVM分類器。

選取1000張行人作為正樣本，和1000張非行人作為負(fù)樣本，并歸一化到64*128像素大小。用1中的方法得到每幅圖片的特征描述子descriptor，這樣我們就能達(dá)到2000份待訓(xùn)練的兩類數(shù)據(jù)集。我們將訓(xùn)練集打上標(biāo)簽投入到SVM分類器訓(xùn)練。經(jīng)過幾輪訓(xùn)練以后我們可以得到一個(gè)訓(xùn)練好的模型。

3.構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)分類器。

a.數(shù)據(jù)集建立。

選取1200張戴安全帽行人照片，截取上半身，切割成128*128大小的正方形圖片作為正樣本，再選取1200張沒有佩戴安全帽行人照片，用同樣的方法截取作為負(fù)樣本。將樣本進(jìn)行水平反射，這樣數(shù)據(jù)集會(huì)增大一倍。我們將所有的照片打上標(biāo)簽，正樣本為1，負(fù)樣本為0。并將所有的樣本打亂，從中任意選擇800張打好標(biāo)簽的樣本作為測(cè)試樣本。

b.卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的整體結(jié)構(gòu)。

如圖1所示，共有10層。其中三個(gè)卷積層，每個(gè)卷積層后面是pooling層，最后一個(gè)pooling層后面是一個(gè)1*1的卷積層，緊接是個(gè)全連接的隱藏層，全連接層的輸出被送到一個(gè)2維的Softmax層，其產(chǎn)生一個(gè)覆蓋兩個(gè)標(biāo)簽的概率分布。我們的網(wǎng)絡(luò)使得多分類的Logistic回歸目標(biāo)最大化，這相當(dāng)于最大化了預(yù)測(cè)分布下訓(xùn)練樣本中正確標(biāo)簽的對(duì)數(shù)概率平均值。

c.損失函數(shù)的選擇。

$C=-\frac{1}{n}\underset{x_j}{\mathrm{\Σ}}\[y_j{\mathrm{lna}}_j^L+(1-y_j)ln(1-a_j^L)\]+\frac{\mathrm{\λ}}{2n}\underset{w}{\mathrm{\Σ}}{w}^2$

其中n表示訓(xùn)練集包含的實(shí)例個(gè)數(shù)，λ＞0表示regularization參數(shù)，y表示樣本的真實(shí)值，x表示輸入值，w表示當(dāng)前神經(jīng)網(wǎng)絡(luò)的權(quán)重，a表示神經(jīng)網(wǎng)絡(luò)正向傳播計(jì)算出來的值。我們通過按比例減去權(quán)重來鼓勵(lì)比較小的權(quán)重來減少噪聲污染。

d.權(quán)重的初始化。

建立一個(gè)圖1神經(jīng)網(wǎng)絡(luò)每一層有相同輸入維數(shù)和相同深度的RBM神經(jīng)網(wǎng)絡(luò)，我們把數(shù)據(jù)集放到RBM神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，經(jīng)過100輪訓(xùn)練之后，我們把每層訓(xùn)練好的權(quán)重以及偏向取出來，放到卷積神經(jīng)網(wǎng)絡(luò)中相應(yīng)的位置。

e.在神經(jīng)網(wǎng)絡(luò)輸出層前面一層我們選用Dropout來減少overfitting。

當(dāng)滿足迭代條件：

Step1：隱藏層隨機(jī)選取一半的神經(jīng)元?jiǎng)h掉；

Step2：在刪除過的神經(jīng)網(wǎng)絡(luò)上面進(jìn)行正向和反向更新；

Step3：恢復(fù)之前刪除過的神經(jīng)元，重復(fù)Step1，Step2，直到不滿足迭代條件為止。

最后學(xué)習(xí)出來的神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都是在只有一半神經(jīng)元的基礎(chǔ)上學(xué)習(xí)。當(dāng)?shù)Y(jié)束時(shí)，我們把隱藏層所有的權(quán)重減半。Dropout每次隨機(jī)扔掉一半的隱藏層神經(jīng)元，相當(dāng)于我們?cè)诓煌纳窠?jīng)網(wǎng)絡(luò)上進(jìn)行訓(xùn)練，減少了神經(jīng)網(wǎng)絡(luò)的依賴性，也就是每個(gè)神經(jīng)元不能依賴于某個(gè)或者幾個(gè)其他的神經(jīng)元，迫使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)與其他神經(jīng)元聯(lián)合起來更加健碩。

f.輸出層的輸出方程Softmax。

最終的輸出需要分成兩類，即行為安全和行為不安全。輸出層前一個(gè)神經(jīng)元的輸出為我們將最后一層輸出層的輸出用如下公式進(jìn)行計(jì)算得到安全和不安全的概率，我們用概率最大的那個(gè)輸出作為檢測(cè)結(jié)果。

g.訓(xùn)練過程。

使用隨機(jī)梯度下降法和一批大小為128，動(dòng)力為0.9，權(quán)重衰減為0.0005的樣本。對(duì)于權(quán)重的w的更新規(guī)則為

$v_{i+1}=0.9\·v_i-0.0005\·\mathrm{\ϵ}\·w_i-\mathrm{\ϵ}\·\<\frac{\∂L}{\∂w}|w_i{\>}_{D_i}$

w_i+1＝w_i+v_i+1

其中i是迭代次數(shù)，v是動(dòng)力變量，ε是學(xué)習(xí)率。

第一階段，向前傳播階段:

從樣本集中取一個(gè)樣本(X,Y_p)，將X輸入網(wǎng)絡(luò)；

計(jì)算相應(yīng)的實(shí)際輸出O_p。在此階段，信息從輸入層經(jīng)過逐級(jí)的變換，傳送到輸出層。這個(gè)過程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運(yùn)行時(shí)執(zhí)行的過程。在此過程中，網(wǎng)絡(luò)執(zhí)行的是計(jì)算(實(shí)際上就是輸入與每層的權(quán)值矩陣相點(diǎn)乘，得到最后的輸出結(jié)果)：

O_p＝F_n(…(F₂(F₁(X_pw(1))w(2))…)w(n))

第二階段，向后傳播階段：

a)算實(shí)際輸出O_p與相應(yīng)的理想輸出Y_p的差

b)按極小化誤差的方法反向傳播調(diào)整權(quán)

結(jié)束條件：

可以選取二個(gè)條件滿足結(jié)束訓(xùn)練神經(jīng)網(wǎng)絡(luò)：1.迭代滿足一定的設(shè)定的輪數(shù)；2.當(dāng)學(xué)習(xí)率小于設(shè)定的數(shù)字并穩(wěn)定在設(shè)定的輪數(shù)。

以上所述僅為本發(fā)明的一個(gè)具體實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。