本發(fā)明涉及人群密度估計(jì)方法，尤其涉及一種基于Mixed-Pooling的卷積神經(jīng)網(wǎng)絡(luò)的人群密度估計(jì)方法。

背景技術(shù)：

近年來，隨著經(jīng)濟(jì)水平的快速發(fā)展，人們的生活水平逐步提高，越來越多的人們會(huì)在假期選擇出游，造成各個(gè)風(fēng)景區(qū)游覽人數(shù)的劇烈增長，同時(shí)由于人群過于擁擠而帶來的安全隱患越發(fā)明顯，發(fā)生的安全事故也越來越多。因此，如何使用計(jì)算機(jī)視覺等技術(shù)對(duì)人群進(jìn)行智能監(jiān)控及時(shí)做出預(yù)警，并采取有效的措施，對(duì)于保障社會(huì)穩(wěn)定和人民生命財(cái)產(chǎn)安全具有重大意義。目前人群密度估計(jì)方法主要分為兩種方式：

1、基于行人檢測的方法：目前采用基于行人檢測的方法對(duì)人群密度進(jìn)行估計(jì)，其首先在于對(duì)于人群中的每一個(gè)個(gè)體進(jìn)行檢測，然后對(duì)其計(jì)數(shù)從而獲得人群密度。Dollar等人(Dalal N，Triggs B。Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition，2005。CVPR 2005。IEEE Computer Society Conference on。IEEE，2005，1：886-893。)首先采用HOG(Histograms of Oriented Gradients)進(jìn)行特征提取，然后利用SVM分類器訓(xùn)練正負(fù)樣本。Stefan Walk等人(Walk S，Majer N，Schindler K，et al。New features and insights for pedestrian detection[C]//Computer vision and pattern recognition(CVPR)，2010IEEE conference on。IEEE，2010：1030-1037。)利用HOG和CSS(color self similarity)聯(lián)合提取特征，然后利用HIK SVM分類器進(jìn)行正負(fù)樣本分類器的訓(xùn)練。Dollar等人(Dollár P，Tu Z，Perona P，et al。Integral channel features[J]。2009。)提出了積分通道特征，通過對(duì)輸入圖像做各種線性和非線性的變換，諸如局部求和、直方圖、harr-like以及它們的變種之類的特征便可以通過積分圖來快速計(jì)算出來，然后利用分類器進(jìn)行訓(xùn)練出檢測模型。Shanshan Zhang等人(Zhang S，Benenson R，Schiele B。Filtered channel features for pedestrian detection[C]//Computer Vision and Pattern Recognition(CVPR)，2015IEEE Conference on。IEEE，2015：1751-1760。)提出了一種棋盤式的濾波器(Checkboard)。濾波器形狀包含一系列簡單的形狀，如單個(gè)正方形、各種可能的水平和豎直方向的梯度(±1)、棋盤形狀等。濾波器的大小4*4，4*3，3*3，2*2等(單位為cell)，每一種類型對(duì)應(yīng)的濾波器數(shù)目為61，39，25，7。

2、直接對(duì)人群密度估計(jì)：采用直接對(duì)人群密度估計(jì)的方法都是直接將其看為一個(gè)整體直接進(jìn)行特征提取和分類。Anthnoy C。Davies等人(Davies A C，Yin J H，Velastin S A。Crowd monitoring using image processing[J]。Electronics&Communication Engineering Journal，1995，7(1)：37-47。)提出使用背景去除以及對(duì)靜態(tài)人群的邊緣檢測同時(shí)利用光流場對(duì)動(dòng)態(tài)的人群進(jìn)行密度估計(jì)。Marana等人(Marana A N，Velastin S A，Costa L F，et al。Automatic estimation of crowd density using texture[J]。Safety Science，1998，28(3)：165-175。)提出通過獲取圖片基于灰度共生矩陣(Gary Level Dependence Matrix，GLDM)的紋理信息，然后將提取的紋理特征利用自組織神經(jīng)網(wǎng)絡(luò)訓(xùn)練分類器，從而實(shí)現(xiàn)對(duì)人群密度的估計(jì)。HuangYang(Yang H，Su H，Zheng S，et al。The large-scale crowd density estimation based on sparse spatiotemporal local binary pattern[C]//Multimedia and Expo(ICME)，2011IEEE International Conference on。IEEE，2011：1-6。)等人提出使用稀疏時(shí)空局部二進(jìn)制模式(sparse spatiotemporal local binary pattern，SST-LBP)算子來提取人群的動(dòng)態(tài)紋理特征，然后利用SVM對(duì)其進(jìn)行訓(xùn)練分類器，實(shí)現(xiàn)對(duì)人群密度的估計(jì)分級(jí)。Wenhua Ma等人提出了一種靈活的人群密度估計(jì)方法，方法提出第一步先將輸入圖片分成不同的patch小塊，然后根據(jù)每個(gè)小塊的紋理特征劃定密度分級(jí)標(biāo)簽，最后利用局部信息來對(duì)整體區(qū)域人群密度進(jìn)行估計(jì)分類。Min Fu(Fu M，Xu P，Li X，et al。Fast crowd density estimation with convolutional neural networks[J]。Engineering Applications of Artificial Intelligence，2015，43：81-88。)等人提出基于卷積神經(jīng)網(wǎng)絡(luò)的人群密度估計(jì)方法，并采用了Multi-Stage的訓(xùn)練方案。針對(duì)過去的人群密度估計(jì)研究方法，其中利用行人檢測的方案中，難以應(yīng)付人群過于密集帶來的人與人之間個(gè)體的遮擋，并且對(duì)大密度的人群進(jìn)行每個(gè)個(gè)體的檢測所需的時(shí)間也非常長。而在直接對(duì)人群進(jìn)行估計(jì)的方案中，其很難做到針對(duì)多個(gè)背景復(fù)雜的場景進(jìn)行密度估計(jì)，其準(zhǔn)確不能達(dá)到特別理想的狀態(tài)，并且采用大部分采用人工提取特征的方法，其較為繁瑣。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于，針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的人群密度估算方法，用以克服復(fù)雜場景背景干擾以及行人遮擋等問題，進(jìn)而實(shí)現(xiàn)對(duì)場景中人群密度的準(zhǔn)確估計(jì)。

為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案。

一種基于卷積神經(jīng)網(wǎng)絡(luò)的人群密度估算方法，其包括有如下步驟：步驟S1，建立訓(xùn)練樣本集：獲取視頻監(jiān)控幀圖像，對(duì)所獲取的圖像進(jìn)行多種預(yù)處理，同時(shí)采用人工方式確定圖像范圍內(nèi)的人群數(shù)量；步驟S2，構(gòu)建基于Mixed-Pooling的卷積神經(jīng)網(wǎng)絡(luò)模型：卷積神經(jīng)網(wǎng)絡(luò)模型包含兩個(gè)卷積層、兩個(gè)Mixed-Pooling層、兩個(gè)全連接層、兩個(gè)ReLU層以及Dropout層；步驟S3，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型：初始化后，采用隨機(jī)梯度下降法對(duì)步驟S2中構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，每迭代一次檢測一次梯度以及損失函數(shù)的值，以獲得網(wǎng)絡(luò)結(jié)構(gòu)中各權(quán)重值W和偏置值b的最優(yōu)解，迭代多次后得到本次訓(xùn)練的最優(yōu)卷積神經(jīng)網(wǎng)絡(luò)模型；步驟S4，人群密度估計(jì)檢測：將通過步驟S3獲得的關(guān)于遠(yuǎn)近兩個(gè)分區(qū)的卷積神經(jīng)網(wǎng)絡(luò)分類模型，按照檢測分類策略對(duì)整體區(qū)域的人群密度進(jìn)行估計(jì)。

優(yōu)選地，所述步驟S1包括如下步驟：步驟S10，首先劃定場景的興趣區(qū)域，然后針對(duì)監(jiān)控幀圖像中不動(dòng)景部分添加Mask處理，并按照行人所占像素與區(qū)域面積比相等的原則進(jìn)行遠(yuǎn)近分塊，然后采用人工方式分別確定遠(yuǎn)近兩塊區(qū)域的人數(shù)，將兩個(gè)區(qū)域按照規(guī)定的人數(shù)范圍分為五個(gè)級(jí)別：非常稀疏、稀疏、中等密度、密集、非常密集；步驟S11，對(duì)所有樣本圖片進(jìn)行去噪圖像增強(qiáng)預(yù)處理，然后將圖像大小統(tǒng)一為256*144，利用所有訓(xùn)練圖像的均值對(duì)圖像進(jìn)行歸一化處理。

優(yōu)選地，所述步驟S2中：卷積層與池化層交替鏈接，并將ReLU層連接于卷積層頂端，在最后一個(gè)池化層后依次連接兩個(gè)全連接層，并利用Dropout層防止其訓(xùn)練過擬合；卷積層中：每個(gè)卷積層的特征映射圖都可以使用多個(gè)卷積核，通過對(duì)前一層得到的特征映射圖進(jìn)行卷積操作，然后組合得出；池化層中：池化層中輸出的N個(gè)特征圖譜與其輸入的N個(gè)特征圖譜相對(duì)應(yīng)。

優(yōu)選地，所述步驟S3中，卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法包括兩個(gè)階段：第一階段是前向傳播階段，訓(xùn)練樣本經(jīng)過預(yù)處理直接輸入到網(wǎng)絡(luò)的數(shù)據(jù)層，經(jīng)過網(wǎng)絡(luò)中各種隱含層進(jìn)行逐層變換、逐層映射，直到輸出層；第二階段是反向傳播階段，用帶有標(biāo)簽的原始數(shù)據(jù)進(jìn)一步對(duì)整個(gè)卷積神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行監(jiān)督優(yōu)化。

優(yōu)選地，所述步驟S4中，人群密度估計(jì)檢測過程中，首先將獲取的監(jiān)控視頻按照?qǐng)鼍扒闆r對(duì)不動(dòng)景部分添加Mask掩模，然后利用按照遠(yuǎn)近分別訓(xùn)練得到的密度估計(jì)分類器，對(duì)兩區(qū)域進(jìn)行分別檢測。

本發(fā)明公開的基于卷積神經(jīng)網(wǎng)絡(luò)的人群密度估算方法，其首先通過監(jiān)控?cái)z像頭獲取監(jiān)控視頻的幀圖像，之后根據(jù)場景情況不同對(duì)周邊不動(dòng)景添加Mask區(qū)域，然后將人群監(jiān)控區(qū)域按照遠(yuǎn)近分為兩個(gè)分塊，其次采用Mixed-Pooling作為卷積神經(jīng)網(wǎng)絡(luò)中的池化層，利用大量經(jīng)過預(yù)處理的圖片，通過設(shè)計(jì)好的卷積神經(jīng)網(wǎng)絡(luò)對(duì)遠(yuǎn)近兩個(gè)分塊分別進(jìn)行訓(xùn)練分類模型，最后利用提出的分類檢測策略對(duì)整體區(qū)域人群密度進(jìn)行估計(jì)。相比現(xiàn)有技術(shù)而言，本發(fā)明較好地克服了復(fù)雜場景背景干擾以及行人遮擋等問題，實(shí)現(xiàn)了對(duì)場景中人群密度的準(zhǔn)確估計(jì)。

附圖說明

圖1為本發(fā)明人群密度估算方法的主程序流程圖。

圖2為針對(duì)訓(xùn)練樣本的分塊過程示意圖。

圖3為構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型過程示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作更加詳細(xì)的描述。

本發(fā)明公開了一種基于卷積神經(jīng)網(wǎng)絡(luò)的人群密度估算方法，結(jié)合圖1至圖3所示，其包括有如下步驟：

步驟S1，建立訓(xùn)練樣本集：獲取視頻監(jiān)控幀圖像，對(duì)所獲取的圖像進(jìn)行多種預(yù)處理，同時(shí)采用人工方式確定圖像范圍內(nèi)的人群數(shù)量；

步驟S2，構(gòu)建基于Mixed-Pooling的卷積神經(jīng)網(wǎng)絡(luò)模型：卷積神經(jīng)網(wǎng)絡(luò)模型包含兩個(gè)卷積層、兩個(gè)Mixed-Pooling層、兩個(gè)全連接層、兩個(gè)ReLU層以及Dropout層；

步驟S3，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型：初始化后，采用隨機(jī)梯度下降(SGD)法對(duì)步驟S2中構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，每迭代一次檢測一次梯度以及損失函數(shù)的值，以獲得網(wǎng)絡(luò)結(jié)構(gòu)中各權(quán)重值W和偏置值b的最優(yōu)解，迭代多次后得到本次訓(xùn)練的最優(yōu)卷積神經(jīng)網(wǎng)絡(luò)模型；

步驟S4，人群密度估計(jì)檢測：將通過步驟S3獲得的關(guān)于遠(yuǎn)近兩個(gè)分區(qū)的卷積神經(jīng)網(wǎng)絡(luò)分類模型，按照檢測分類策略對(duì)整體區(qū)域的人群密度進(jìn)行估計(jì)。

進(jìn)一步地，所述步驟S1包括如下步驟S10和S11：

步驟S10，首先劃定場景的興趣區(qū)域，然后針對(duì)監(jiān)控幀圖像中不動(dòng)景部分添加Mask處理，并按照行人所占像素與區(qū)域面積比相等的原則進(jìn)行遠(yuǎn)近分塊，然后采用人工方式分別確定遠(yuǎn)近兩塊區(qū)域的人數(shù)，將兩個(gè)區(qū)域按照規(guī)定的人數(shù)范圍分為五個(gè)級(jí)別：非常稀疏(very low)、稀疏(low)、中等密度(middle)、密集(high)、非常密集(very high)；

該步驟S10中，進(jìn)行遠(yuǎn)近兩個(gè)區(qū)域的分塊后，其按照如下公式確定分界位置：

$\frac{s1+s3}{(AB+EF)*h1}=\frac{s2+s3}{(CD+EF)*h2}$

$s3=s1+\frac{s2-s1}{h}*h1$

h＝h1+h2

$EF=AB+\frac{(CD-AB)*h1}{h1+h2}$

其中，AB和CD是場景邊界處最近端與最遠(yuǎn)端的長度，二者可通過測量得出，S1和S2表示同一行人處于近端和遠(yuǎn)端時(shí)所占的像素大小，h表示場景區(qū)域的高度，EF為需要確定的分界線位置，S3表示行人在EF處所占像素大小，通過對(duì)遠(yuǎn)近兩個(gè)區(qū)域進(jìn)行人工計(jì)數(shù)，確定區(qū)域內(nèi)最大容納人數(shù)N。

步驟S11，對(duì)所有樣本圖片進(jìn)行去噪圖像增強(qiáng)預(yù)處理，然后將圖像大小統(tǒng)一為256*144，利用所有訓(xùn)練圖像的均值對(duì)圖像進(jìn)行歸一化處理。

作為一種優(yōu)選方式，所述步驟S2中：卷積層與池化層交替鏈接，并將ReLU層連接于卷積層頂端，在最后一個(gè)池化層后依次連接兩個(gè)全連接層，并利用Dropout層防止其訓(xùn)練過擬合；卷積層中：每個(gè)卷積層的特征映射圖都可以使用多個(gè)卷積核，通過對(duì)前一層得到的特征映射圖進(jìn)行卷積操作，然后組合得出；

池化層中：池化層中輸出的N個(gè)特征圖譜與其輸入的N個(gè)特征圖譜相對(duì)應(yīng)。進(jìn)一步地，對(duì)同一級(jí)的卷積層中進(jìn)行卷積操作時(shí)會(huì)存在重復(fù)卷積的部分，因此獲得的特征映射圖中會(huì)存在一定的冗余信息，對(duì)前一層的特征映射圖采取下采樣(池化)操作可以迅速降低特征映射的維度，減少數(shù)據(jù)量，并去除其中的重疊信息，同時(shí)池化層中輸出的N個(gè)特征圖譜與其輸入的N個(gè)特征圖譜相對(duì)應(yīng)，只是經(jīng)過其操作后的特征映射圖都會(huì)變小。

作為一種優(yōu)選方式，在該步驟S2中，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中采用池化層，其中池化層常用的池化方法為Max-Pooling和Average-Pooling，該兩種池化方法如下公式：

其中，y_kij表示根據(jù)第kth個(gè)特征映射圖進(jìn)行池化操作后的輸出結(jié)果，x_kpq表示在卷積核覆蓋的區(qū)域(p,q)內(nèi)的特征映射圖的特征元素值；

Mixed-Pooling表示為：

y_kij＝λave-pooling+(1-λ)max-pooling

其中，λ為隨機(jī)取值，其值可取0或1。

作為一種優(yōu)選方式，所述步驟S3中，卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法包括兩個(gè)階段：

第一階段是前向傳播階段，訓(xùn)練樣本經(jīng)過預(yù)處理直接輸入到網(wǎng)絡(luò)的數(shù)據(jù)層，經(jīng)過網(wǎng)絡(luò)中各種隱含層進(jìn)行逐層變換、逐層映射，直到輸出層；

第二階段是反向傳播階段，用帶有標(biāo)簽的原始數(shù)據(jù)進(jìn)一步對(duì)整個(gè)卷積神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行監(jiān)督優(yōu)化。反向傳播過程包括：在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的反向傳播過程中進(jìn)行權(quán)值更新，由i到i+1次，卷積層更新神經(jīng)元權(quán)值如以下公式：

$w(i+1)=w\left(i\right)+\mathrm{\α}\frac{\∂E}{\∂w\left(t\right)}$

下采樣層神經(jīng)元更新權(quán)值為：

$\mathrm{\β}(i+1)=\mathrm{\β}\left(i\right)+\mathrm{\α}\frac{\∂E}{\∂\mathrm{\β}\left(i\right)}$

其中，α表示卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)定的學(xué)習(xí)速率，E表示在多分類問題中，存在c類共N個(gè)訓(xùn)練樣本時(shí)的平方誤差代價(jià)函數(shù)，如以下公式：

$E=\frac{1}{2}\underset{n=1}{\overset{N}{\Σ}}\underset{k=1}{\overset{c}{\Σ}}{(t_k^n-y_k^n)}^2$

其中：表示第n個(gè)樣本對(duì)應(yīng)的標(biāo)簽的第k維，表示第n個(gè)樣本對(duì)應(yīng)的網(wǎng)絡(luò)輸出的第k個(gè)輸出。而網(wǎng)絡(luò)訓(xùn)練過程就是要讓最后得到的誤差代價(jià)函數(shù)的值盡可能小，通過極小化誤差反向傳播調(diào)整權(quán)值矩陣，不斷循環(huán)直到得到最佳值。

作為一種優(yōu)選方式，所述步驟S4中，人群密度估計(jì)檢測過程中，首先將獲取的監(jiān)控視頻按照?qǐng)鼍扒闆r對(duì)不動(dòng)景部分添加Mask掩模，然后利用按照遠(yuǎn)近分別訓(xùn)練得到的密度估計(jì)分類器，對(duì)兩區(qū)域進(jìn)行分別檢測。

該步驟S4中，將通過步驟S3獲得的關(guān)于遠(yuǎn)近兩個(gè)分區(qū)的卷積神經(jīng)網(wǎng)絡(luò)分類模型按照提出的新的檢測分類策略對(duì)整體區(qū)域的人群密度進(jìn)行估計(jì)。其中，分類策略如下：

1、將整個(gè)區(qū)域人群密度分為3個(gè)級(jí)別：high，middle，low，然后將其按照遠(yuǎn)近比例劃分為兩個(gè)區(qū)域，并將其分別劃分為五個(gè)級(jí)別：very high、high、middle、low、very low。

2、將W設(shè)置成整個(gè)區(qū)域的密度估計(jì)結(jié)果，C1和C2設(shè)置成遠(yuǎn)近兩個(gè)區(qū)域的密度估計(jì)結(jié)果。

本發(fā)明公開的基于卷積神經(jīng)網(wǎng)絡(luò)的人群密度估算方法，通過使用Mixed-Pooling對(duì)卷積神經(jīng)網(wǎng)絡(luò)的特征提取進(jìn)行優(yōu)化，降低了環(huán)境等干擾因素造成對(duì)分類識(shí)別準(zhǔn)確性的影響，同時(shí)利用所提出的分類策略來降低識(shí)別誤差，進(jìn)而提高了整個(gè)區(qū)域人群密度估計(jì)的準(zhǔn)確性。

以上所述只是本發(fā)明較佳的實(shí)施例，并不用于限制本發(fā)明，凡在本發(fā)明的技術(shù)范圍內(nèi)所做的修改、等同替換或者改進(jìn)等，均應(yīng)包含在本發(fā)明所保護(hù)的范圍內(nèi)。