本發(fā)明涉及視頻人群分析
技術(shù)領(lǐng)域：
，更具體地，涉及一種基于改進(jìn)的LBP算子的人群計數(shù)方法。
背景技術(shù)：
：2010年德國LoveParade音樂節(jié)的踩踏事件，導(dǎo)致21人遇難，超過500人受傷。2015年12月31日中國上海市黃浦區(qū)外灘在群眾自發(fā)進(jìn)行的迎新年活動中發(fā)生踩踏事件，大致35人遇難，42人受傷。人口增長所引發(fā)社會安全問題受到了越來越多的關(guān)注。在監(jiān)控安防領(lǐng)域中，及時的掌握公共場所人群的動態(tài)信息根據(jù)這些信息進(jìn)行有效的疏通和調(diào)度變得愈發(fā)重要。早期的視頻監(jiān)控采用人工觀察的方法，這種方法不僅費(fèi)時，繁瑣無聊，容易出現(xiàn)錯漏，而且還要消耗大量的人力物力。人群視頻分析是對人群的動態(tài)信息進(jìn)行建模和分析的一種技術(shù)。在這門技術(shù)運(yùn)用中熱門的一個問題就是對人群中人數(shù)和整個人群的密度估計。雖然有很多針對這個問題的解決方案，但是實時性能好，準(zhǔn)確率高的算法還是比較少的。人群計數(shù)和密度估計：人群計數(shù)的算法大致可以分為兩大類：1)基于檢測的方法，對視頻進(jìn)行分割和檢測每一個行人，得到人數(shù)。)2基于特征的方法：先提取出視頻中圖像的特征，用回歸的方法學(xué)習(xí)到特征和人數(shù)之間的映射關(guān)系。本申請中采用的方法屬于后者。LBP特征描述子：LBP(localBinaryPattern)特征是Ojala教授在1994年提出的一種用來描述圖像局部紋理特征的算子。LBP是一種具有計算簡便、分辨能力強(qiáng)、灰度不變性等顯著優(yōu)勢的算子，但它卻不能滿足不同的尺度、不同的采樣頻率紋理描述的需求。為了解決這個問題，Ojala等對基礎(chǔ)的LBP特征算子進(jìn)行了改進(jìn)，并提出了多尺度的LBP特征、旋轉(zhuǎn)不變的紋理特征、等價模式的LBP特征?；A(chǔ)的LBP特征描述子：基礎(chǔ)的LBP特征描述子，是基于矩形的3*3領(lǐng)域窗口，取窗口中心像素的灰度值為閾值，將周圍像素的灰度值與該閾值進(jìn)行比較，若大于(等于)中心像素的灰度值，則記為0，否則記為0，這樣按順時針方向就得到了一個8位的二進(jìn)制串，這個二進(jìn)制串就是該窗口的LBP的值，如圖1所示。LBPp=Σi=0P-1s(gi-gc)2i]]>s(x)=1,x<00,x>0]]>多尺度的LBP算子：然而，基礎(chǔ)LBP算子僅能覆蓋一個固定的半徑范圍的一個小領(lǐng)域，不能滿足不同尺度的需求。2002年，Ojala等將3*3鄰域擴(kuò)展到任意鄰域，并用圓形鄰域替代矩形區(qū)域，進(jìn)而得到半徑為R的圓形鄰域內(nèi)含有P個采樣點(diǎn)(xp,yp),p∈P為：xp=xc+Rcos(2πp/P)yp=yc+Rcos(2πp/P)]]>其中R為圓形鄰域半徑，P為采樣點(diǎn)的個數(shù)。常見的圖形區(qū)域算子如圖2所示。旋轉(zhuǎn)不變的LBP特征算子：當(dāng)確定了P、R的取值以及獲取二進(jìn)制串的起始位置，算子就有2P種輸出值，也就是2P種二進(jìn)制模式。然而當(dāng)獲取二進(jìn)制的起始位置發(fā)生改變或者當(dāng)圖像經(jīng)過一定角度的旋轉(zhuǎn)操作后，對于同樣的場景信息LBP值將會發(fā)生改變。為了解決這個問題，Ojala等人對LBP算子做了改進(jìn)，提出了下面的定義:LBPP,Rri=min(ROR(LBPPR,i)|i=0,1,...,P-1)]]>其中，為旋轉(zhuǎn)不變的LBP算子，為對二進(jìn)制模式按位右移i為的結(jié)果。由上面的公式可知，一個的值對應(yīng)多個不同的而這些多個不同的值都是由同一個二進(jìn)制模式經(jīng)過旋轉(zhuǎn)得到。等價模式的LBP特征算子：顯然，旋轉(zhuǎn)不變的LBP特征算子的引入，使得特征的維數(shù)大幅度降低，比如當(dāng)P為8時，LBP特征將由原來的256維的特征降低為32維的特征。因為算子分布在32中模式下的頻率差異比較大，因此在旋轉(zhuǎn)不變的基礎(chǔ)上，Ojala等提出了等價模式的LBP特征。Ojala等通過對LBP算子處理圖像的特點(diǎn)的研究，發(fā)現(xiàn)紋理特征最基本的屬性能夠用一些特定的LBP模式來代表，且在對圖像信息的描述方面占了很大的比例，幾乎達(dá)到了90％以上。Ojala等將具備這些基本屬性的LBP算子的二進(jìn)制模式成為等價模式，即二進(jìn)制中0與1之間的跳變次數(shù)不超過兩次。等價模式的判定表示：U(LBPPR)=|s(gP-1-g0)|+Σp=0P-1|s(gp-gc)|]]>若滿足判定為某一個等價不等式，否則，歸入另一個混合模式。此外，降維也是等價模式LBP算子的一大優(yōu)點(diǎn)。對來說，會產(chǎn)生2P種二進(jìn)制模式，模式種類隨著P的增大以指數(shù)的速率增大，這在信息量如此之大，存取如此頻繁的圖像處理等方面的應(yīng)用中，將會產(chǎn)生非常嚴(yán)重的影響。對等價模式LBP算子來說，會產(chǎn)生P(P-1)+2種二進(jìn)制模式，可以看出模式種類大幅度減少。由于特征數(shù)的維數(shù)僅有采樣點(diǎn)的個數(shù)相關(guān)，故可知在鄰域的采樣點(diǎn)越多，等價模式LBP算子的降維效果就越明顯。特征袋模型：特征袋BOF模型是Csurka在2004年引入到視覺處理領(lǐng)域的，本質(zhì)是特征袋模型BOW(BagofWords)在視覺領(lǐng)域中的推廣。BOW模型是用來處理文本信息的，其思想為：用若干文本單詞構(gòu)成的詞袋來描述一個文本的信息。在視覺處理領(lǐng)域，引入基于相同原理的特征袋BOF模型來描述圖像信息，由若干視覺單詞構(gòu)成的特征袋來表示圖像。如圖3中將一副紋理圖像用BOF模型表示的示意圖，采用基于紋理基元的直方圖來表示一副紋理圖像。BOF模型算法的基本步驟：首先，基于訓(xùn)練集，建立視覺單詞庫，對視覺單詞庫采用k-means聚類，形成一個視覺單詞表，表中的每個元素是所聚類的類中心所代表的視覺單詞；其次，對于圖像，提取其視覺單詞特征袋，計算特征袋中的視覺單詞到視覺單詞表中元素的距離，根據(jù)距離判斷其所屬的視覺單詞類，從而形成描述圖像信息的頻率直方圖。技術(shù)實現(xiàn)要素：本發(fā)明為克服上述現(xiàn)有技術(shù)所述的至少一種缺陷，提供一種基于改進(jìn)的LBP算子的人群計數(shù)方法，具有良好的實時性，較好的準(zhǔn)確度，可用于安防監(jiān)控等領(lǐng)域。為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：一種基于改進(jìn)的LBP算子的人群計數(shù)方法，包括以下步驟：S1：采集用于回歸模型訓(xùn)練的訓(xùn)練圖像集；S2：提取訓(xùn)練圖像集中每幅圖像的ASLBP(自適應(yīng)尺度的旋轉(zhuǎn)不變局部二值模式算子)特征向量，提取的步驟包括：(1)對圖像采用基于攝像頭透視關(guān)系的場景自適應(yīng)分塊處理，將場景劃分成子圖像塊；(2)用灰度變化度確定圓形區(qū)域的自適應(yīng)半徑，根據(jù)半徑確定采樣像素點(diǎn)數(shù)目；(3)對于每個子圖像塊，采用自適應(yīng)尺度的旋轉(zhuǎn)不變等價模式的ASLBP特征算子提取場景信息，形成ASLBP特征直方圖；(4)對于每個子圖像塊的ASLBP特征直方圖采用歸一化處理；(5)對歸一化后特征描述符，聯(lián)合特征袋模型的BOF，形成特征描述向量Flbp；S3：回歸模型的訓(xùn)練：對于訓(xùn)練圖像集，視每一幅圖像得到的特征描述向量Flbp為一個訓(xùn)練樣本數(shù)據(jù)Xi，相應(yīng)場景的實際人數(shù)為當(dāng)前標(biāo)簽yi，構(gòu)建樣本數(shù)據(jù)庫并獲得回歸模型SVRmodel；S4：回歸模型的估計：對于待估計的圖像，提取其場景特征描述向量Flbp，采用SVRmodel進(jìn)行估計，得到當(dāng)前場景的人數(shù)npeople。在一種優(yōu)選的方案中，步驟S2中，對圖像采用基于攝像頭透視關(guān)系的場景自適應(yīng)分塊處理的具體過程為：計算透視歸一化圖，得到整個場景的權(quán)重差diff_w＝wH-w1，其中w1是深度為1時的圖像加權(quán)值，wH為深度是H時的像素加權(quán)值；將權(quán)重差diff_w等分為N份來得到自適應(yīng)的尺度，N為正整數(shù)，從深度為1開始，權(quán)重值每增加diff_w/N為一層，并設(shè)定相應(yīng)所增加的深度為此層子圖像塊的高度，每層子圖像的高與寬是一樣的，將整個場景劃分為五層子圖像塊；對于每個層次最后剩余的不完整的子圖像塊，做如下的判定：S=1,Sres/Spatch≥1/20,Sres/Spatch<1/2]]>其中Sres表示每層中劃分完整的子圖像塊后剩余的子圖像的面積，Spatch為每層完整的子圖像塊的面積，當(dāng)在每層中剩余的子圖像的面積超過一個完整的子圖像的面積的一半時，S取值為1，此時最后剩余的子圖像塊向前獲取相應(yīng)的面積形成完整的子圖像塊；當(dāng)在每層中剩余的子圖像塊的面積不足一個完整子圖像塊面積的一半時，S取值為0，放棄這一個不完整的子圖像塊。在一種優(yōu)選的方案中，步驟S2中，用灰度變化度確定圓形區(qū)域的自適應(yīng)半徑，根據(jù)半徑確定采樣像素點(diǎn)數(shù)目，具體過程為：對于自適應(yīng)半徑設(shè)定一個最大閾值R≤4，且R為實數(shù)，若圖像用二維離散函數(shù)來表示，則圖像像素灰度的變化情況為：d(i,j)=|I(i+1,j)-I(i-1,j)2|2+|I(i,j+1)-I(i,j-1)2|2]]>其中I(i,j)表示圖像中(i,j)位置上的灰度值，d(i,j)表示圖像(i,j)位置的灰度變化情況，則在半徑R的鄰域內(nèi)的灰度平均變化度為：f(R)=Σi2+j2≤Rd(i,j)πR2]]>則當(dāng)R的取值使得{f(R)-f(R-1)},R＝1,...,4達(dá)到最大值時，此R為最佳半徑，也就是該圓形區(qū)域中心像素點(diǎn)的自適應(yīng)半徑大小。在一種優(yōu)選的方案中，步驟S2中，采用下面的公式來確定采樣像素點(diǎn)的數(shù)目：P=8*R,R≤324,R>3]]>其中，P表示采樣像素點(diǎn)數(shù)目，R表示自適應(yīng)半徑。在一種優(yōu)選的方案中，步驟S3中，求解下面公式優(yōu)化問題得到最佳回歸面，進(jìn)而獲得回歸模型SVRmodel：min12||W||2+CΣi=1n(ξi+ξi*)]]>st.yi-W·Xi-b≤ϵ+ξiyi-W·Xi-b≥-(ϵ+ξi*)ξi,ξi*≥0]]>SVRmodel:f(X)=Σi=1l(α-αi*)K(Xi,X)+b.]]>與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：本發(fā)明公開一種基于改進(jìn)的LBP算子的人群計數(shù)方法，采用基于圓形領(lǐng)域的自適應(yīng)尺度的旋轉(zhuǎn)不變等價模式的ASLBP算子描述圖像的局部紋理特征實現(xiàn)人群計數(shù)。采用基于透視歸一化圖的自適應(yīng)分塊方案，對塊提取旋轉(zhuǎn)等價不變LBP特征算子，特征提取中用灰度變化度確定自適應(yīng)半徑，根據(jù)半徑確定采樣頻率，最后對塊的歸一化的特征描述符，聯(lián)合BOF特征袋模型，形成場景的特征描述向量；最后用SVR支持向量回歸機(jī)對圖像的特征和場景中的人數(shù)之間的映射關(guān)系進(jìn)行回歸學(xué)習(xí)，用訓(xùn)練得到的模型對未知的圖像中的人數(shù)進(jìn)行預(yù)測。本方法具有良好的實時性，較好的準(zhǔn)確度。可用于安防監(jiān)控等領(lǐng)域。附圖說明圖1為基于改進(jìn)的LBP算子的人群計數(shù)方法的流程圖。圖2為計算透視歸一化圖的方法示意圖。圖3為將整個場景劃分為五層子圖像塊的示意圖。具體實施方式附圖僅用于示例性說明，不能理解為對本專利的限制；為了更好說明本實施例，附圖某些部件會有省略、放大或縮小，并不代表實際產(chǎn)品的尺寸；對于本領(lǐng)域技術(shù)人員來說，附圖中某些公知結(jié)構(gòu)及其說明可能省略是可以理解的。下面結(jié)合附圖和實施例對本發(fā)明的技術(shù)方案做進(jìn)一步的說明。實施例1如圖1所示，一種基于改進(jìn)的LBP算子的人群計數(shù)方法，包括以下步驟：S1：采集用于回歸模型訓(xùn)練的訓(xùn)練圖像集；S2：提取訓(xùn)練圖像集中每幅圖像的ASLBP(自適應(yīng)尺度的旋轉(zhuǎn)不變局部二值模式算子)特征向量；ASLBP特征向量為基于圓形鄰域的自適應(yīng)尺度的旋轉(zhuǎn)不變等價模式的ASLBP算子：旋轉(zhuǎn)不變等價模式LBP算子，就是給等價模式LBP算子增加旋轉(zhuǎn)不變屬性。因此，給出了它的定義：LBPP,Rri=Σi=0P-1s(gi-gc)2i,U(LBPPR)≤2P+1,U(LBPPR)>2]]>其中，表示旋轉(zhuǎn)不變等價算子，ri表示旋轉(zhuǎn)不變(rotationinvariant)，s(x)是符號函數(shù)，gi是第i+1個采樣點(diǎn)的灰度值，gc是采樣區(qū)域中心點(diǎn)灰度值，是等價模式的判定公式。由上面的公式可知，此時模式的種類由原來的P(P-1)+2減少至P+2種，相對于基本的LBP算子2P模式來說，模式的種類是大大的減少。LBP特征算子以及其各種改進(jìn)的版本的算子對于灰度圖像提取紋理特征信息的效果已經(jīng)非常明顯，但是對于具有相近或者相似灰度分布區(qū)域的紋理特征信息卻不能很好的區(qū)分，為了解決這個問題，本申請?zhí)岢隽艘环N基于圓形的自適應(yīng)尺度的旋轉(zhuǎn)不變等價模式的ASLBP特征描述算子。ASLBP特征描述算子提取的步驟包括：(1)對圖像采用基于攝像頭透視關(guān)系的場景自適應(yīng)分塊處理，將場景劃分成子圖像塊；首先，整個場景中任何地方都有可能出現(xiàn)行人，故在此，不做ROI(RegionofInterest，興趣區(qū)域)的規(guī)定；其次，計算場景的歸一化透視圖，本發(fā)明采用的計算透視歸一化圖的方法如圖2，(a)、(b)、(c)中確定參考行人的所占的像素面積以及相應(yīng)的場景深度，比如(a)中參考行人的面積由矩形abcd表示，L1表示矩形abcd高的平分線，用以表示行人的深度，計算|ab|，|bc|，|a1b1|，|b1c1|,|a2b2|,|b2c2|的長度，設(shè)定直線L1上的像素的權(quán)重為1，直線L2的像素的權(quán)重是直線L3上的權(quán)重是這三個權(quán)重和相應(yīng)的L線的深度形成三對信息，通過這三對信息進(jìn)行二次插值的方法估計整個場景的各個像素點(diǎn)的深度權(quán)重值，得到透視圖。根據(jù)透視圖，可以得到整個場景的權(quán)重差diff_w＝wH-w1,其中w1是深度為1時的圖像加權(quán)值，wH為深度是H時的像素加權(quán)值。然后，將權(quán)重差diff_w等分為N份來得到自適應(yīng)的尺度，N為正整數(shù)，從深度為1開始，權(quán)重值每增加diff_w/N為一層，并設(shè)定相應(yīng)所增加的深度為此層子圖像塊的高度，每層子圖像的高與寬是一樣的，如圖3，將整個場景劃分為五層子圖像塊，圖像右側(cè)的數(shù)值為相應(yīng)深度的像素的權(quán)重值。最后對于每個層次最后剩余的不完整的子圖像塊，做如下的判定：S=1,Sres/Spatch≥1/20,Sres/Spatch<1/2]]>其中Sres表示每層中劃分完整的子圖像塊后剩余的子圖像的面積，Spatch為每層完整的子圖像塊的面積，當(dāng)在每層中剩余的子圖像的面積超過一個完整的子圖像的面積的一般時，S取值為1，此時最后剩余的子圖像塊向前獲取相應(yīng)的面積形成完整的子圖像塊，如圖3中第二，三，五層中最后的方框所示；當(dāng)在每層中剩余的子圖像塊的面積不足一個完整子圖像塊面積的一半時，S取值為0，放棄這一個不完整的子圖像塊，如圖3中第一層和第四層剩余子圖像的處理。(2)用灰度變化度確定圓形區(qū)域的自適應(yīng)半徑，根據(jù)半徑確定采樣像素點(diǎn)數(shù)目；自適應(yīng)半徑的確定：本申請ASLBP算子旨在解決具有相近或者相似的灰度分布區(qū)域的紋理特征的區(qū)分，因此半徑的確定應(yīng)該與鄰域中像素灰度值具有明顯變化的區(qū)域相關(guān)，本申請中提出用灰度平均變化度來表示圓形區(qū)域內(nèi)像素灰度的平均變化情況。此外，由于LBP是圖像的局部紋理信息，為了保證LBP算子表示紋理信息的有效性，也為了避免陷入全局搜索，同時保證算法的實時性，因此，對于自適應(yīng)半徑要設(shè)定一個最大閾值R≤4，且R為實數(shù)。若圖像用二維離散函數(shù)來表示，則圖像像素灰度的變化情況為：d(i,j)=|I(i+1,j)-I(i-1,j)2|2+|I(i,j+1)-I(i,j-1)2|2]]>其中I(i,j)表示圖像中(i,j)位置上的灰度值，d(i,j)表示圖像(i,j)位置的灰度變化情況。則在半徑R的鄰域內(nèi)的灰度平均變化度為：f(R)=Σi2+j2≤Rd(i,j)πR2]]>則當(dāng)R的取值使得{f(R)-f(R-1)},R＝1,...,4達(dá)到最大值時，此R為最佳半徑，也就是該圓形區(qū)域中心像素點(diǎn)的自適應(yīng)的半徑大小。采樣像素點(diǎn)數(shù)目的確定利用上述的自適應(yīng)半徑R，來確定采樣像素點(diǎn)數(shù)目P。根據(jù)現(xiàn)有的文獻(xiàn)可知P值的選取不僅與R值有相應(yīng)的關(guān)系，比如當(dāng)R取1.0時，P＝8；當(dāng)R取1.5時，P＝12；當(dāng)R取2.0時，P＝8或者16；而且與二進(jìn)制模式的位數(shù)和種類有關(guān)。綜合這兩方面的考慮，我們采用下面的公式來確定采樣像素點(diǎn)的數(shù)目：P=8*R,R≤324,R>3]]>其中P最大閾值為24的設(shè)定，一是考慮二進(jìn)制模式的位數(shù)，二是考慮到半徑為R的圓周上像素采樣的頻率。(3)對于每個子圖像塊，采用自適應(yīng)尺度的旋轉(zhuǎn)不變等價模式的ASLBP特征算子提取場景信息，形成ASLBP特征直方圖。(4)對于每個子圖像塊的ASLBP特征直方圖采用歸一化處理。(5)對歸一化后特征描述符，聯(lián)合特征袋模型的BOF，形成特征描述向量Flbp。S3：回歸模型的訓(xùn)練：對于訓(xùn)練圖像集，視每一幅圖像得到的特征描述向量Flbp為一個訓(xùn)練樣本數(shù)據(jù)Xi，相應(yīng)場景的實際人數(shù)為當(dāng)前標(biāo)簽yi，構(gòu)建樣本數(shù)據(jù)庫，求解下面公式優(yōu)化問題得到最佳回歸面，進(jìn)而獲得回歸模型SVRmodel：min12||W||2+CΣi=1n(ξi+ξi*)]]>st.yi-W·Xi-b≤ϵ+ξiyi-W·Xi-b≥-(ϵ+ξi*)ξi,ξi*≥0]]>SVRmodel:f(X)=Σi=1l(α-αi*)K(Xi,X)+b.]]>S4：回歸模型的估計：對于一副待估計的圖像，用步驟S2中的方法提取其場景特征向量Flbp，然后采用SVRmodel進(jìn)行估計，得到當(dāng)前場景的人數(shù)npeople，即：npeoplelbp=f(Flbp).]]>相同或相似的標(biāo)號對應(yīng)相同或相似的部件；附圖中描述位置關(guān)系的用語僅用于示例性說明，不能理解為對本專利的限制；顯然，本發(fā)明的上述實施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非是對本發(fā)明的實施方式的限定。對于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明權(quán)利要求的保護(hù)范圍之內(nèi)。當(dāng)前第1頁1 2 3