一種多模式行為識別與描述的視頻信號預(yù)處理方法
【專利摘要】本發(fā)明公布了一種多模式行為識別與描述的視頻信號預(yù)處理方法，先提取訓(xùn)練圖像并轉(zhuǎn)換得到第一灰度圖像，獲取第一灰度圖像的梯度方向直方圖和LBP直方圖并聯(lián)立起來得到訓(xùn)練直方圖，將訓(xùn)練直方圖放入分類器中進(jìn)行訓(xùn)練獲得分類識別數(shù)據(jù)，再提取待測圖像并轉(zhuǎn)換得到第二灰度圖像，獲得第二灰度圖像的梯度方向直方圖和LBP直方圖并聯(lián)立起來得到識別直方圖，將識別直方圖與分類識別數(shù)據(jù)進(jìn)行卷積得到一個結(jié)果的輸出，如果輸出為1，則表明是人；如果輸出為0，則表明為車輛；如果輸出是-1，則表明是其它運(yùn)動物體；優(yōu)點(diǎn)是能夠很好區(qū)分檢測視頻中運(yùn)動物體的類型，剔除沒有用的信息，也避免了無意義的后續(xù)工作。
【專利說明】一種多模式行為識別與描述的視頻信號預(yù)處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種視頻信號的處理方法，尤其是涉及一種多模式行為識別與描述的視頻信號預(yù)處理方法。
【背景技術(shù)】
[0002]在智能交通事件檢測系統(tǒng)中，大多將具有交通違章檢測、識別及處理功能智能視頻檢測系統(tǒng)的作為智能交通系統(tǒng)的子系統(tǒng)。目前主要的智能視頻檢測技術(shù)是通過背景建模的方式，將運(yùn)動目標(biāo)從視頻中提取出來。為了達(dá)到這個目的，首先需要通過幀差法、背景統(tǒng)計模型法、編碼本模型法等方法學(xué)習(xí)背景模型，然后將背景模型和當(dāng)前圖像進(jìn)行比較，從而得到前景的運(yùn)動目標(biāo)。由于背景建模算法目前已經(jīng)比較成熟，現(xiàn)有的智能視頻檢測技術(shù)能夠很好地檢測出運(yùn)動目標(biāo)，但這些檢測技術(shù)并未進(jìn)一步辨別檢測到的運(yùn)動目標(biāo)具體是人、車輛或者其他物體，這就對后續(xù)的分析和處理造成了不便，過多的運(yùn)動目標(biāo)造成了無用信息的堆積，系統(tǒng)無法識別有意義的目標(biāo)，從而會對所有目標(biāo)都會進(jìn)行跟蹤分析，加大了不必要的計算負(fù)擔(dān)。

【發(fā)明內(nèi)容】

[0003]本發(fā)明所要解決的技術(shù)問題是提供一種可以明確區(qū)分人、車輛或其他物體的多模式行為識別與描述的視頻信號預(yù)處理方法。
[0004]本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為:一種多模式行為識別與描述的視頻信號預(yù)處理方法，包括以下步驟:
[0005]①提取視頻中任意一幅包含人、車和其他運(yùn)動物體的視頻圖像作為訓(xùn)練圖像，將所述的訓(xùn)練圖像轉(zhuǎn)換成灰度圖像，將所述的灰度圖像記為第一灰度圖像；
[0006]②獲得所述的第一灰度圖像的梯度方向直方圖，所述的第一灰度圖像的梯度方向直方圖的維度記為X ；
[0007]③獲得所述的第一灰度圖像的LBP值，通過統(tǒng)計所述的第一灰度圖像的LBP值獲得第一灰度圖像的LBP直方圖，所述的第一灰度圖像的LBP直方圖的維度記為y ；
[0008]④將所述的第一灰度圖像的梯度方向直方圖和LBP直方圖聯(lián)立起來得到維度為x+y的訓(xùn)練直方圖，所述的訓(xùn)練直方圖中維度為0至X的直方圖對應(yīng)所述的第一灰度圖像的梯度方向直方圖，所述的訓(xùn)練直方圖中維度為X至x+y的直方圖對應(yīng)所述的第一灰度圖像的LBP直方圖；
[0009]⑤將所述的訓(xùn)練直方圖放入分類器中進(jìn)行訓(xùn)練，獲得分類識別數(shù)據(jù)；
[0010]⑥提取視頻中的待測圖像，將所述的待測圖像轉(zhuǎn)換成第二灰度圖像，將所述的灰度圖像記為第二灰度圖像；
[0011]⑦獲得所述的第二灰度圖像的梯度方向直方圖，所述的第二灰度圖像的梯度方向直方圖的維度記為m ；
[0012]⑧獲得所述的第二灰度圖像的LBP值，通過統(tǒng)計所述的第二灰度圖像的LBP值獲得第二 LBP直方圖，所述的第二灰度圖像的LBP直方圖的維度記為n ；
[0013]⑨將所述的第二灰度圖像的梯度方向直方圖和LBP直方圖聯(lián)立起來得到維度為m+n的識別直方圖，所述的識別直方圖中維度為0至m的直方圖對應(yīng)所述的第二灰度圖像的梯度方向直方圖，所述的訓(xùn)練直方圖中的維度為m至m+n的直方圖對應(yīng)所述的第二灰度圖像的LBP直方圖；
[0014]⑩將所述的識別直方圖與所述的分類識別數(shù)據(jù)進(jìn)行卷積，得到一個結(jié)果的輸出，如果輸出為I，則表明是人；如果輸出為0，則表明為車輛；如果輸出是_1，則表明是其它運(yùn)動物體。
[0015]與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于:現(xiàn)有的檢測技術(shù)采用了背景建模的方式來檢測視頻中的運(yùn)動目標(biāo)，然而背景建模的方式無法區(qū)分人、車和其他的物體。在本方法中，梯度方向直方圖環(huán)節(jié)使得本發(fā)明能夠區(qū)分不同檢測目標(biāo)的形狀，而不受圖像幾何形變或者光學(xué)形變的影響，從而為判斷是行人、車輛還是灑落物提供了基本條件；局部二值模式環(huán)節(jié)的添加可以讓算法對目標(biāo)物的紋理具有更強(qiáng)大的辨別力，從而提高了本發(fā)明的判斷精度；SVM環(huán)節(jié)可以讓本方法在用到較少的訓(xùn)練圖像的前提下，快速準(zhǔn)確地對運(yùn)動目標(biāo)進(jìn)行分類識別。運(yùn)用非背景建模的方式，能夠很好區(qū)分檢測視頻中各個運(yùn)動物體的類型，對于目標(biāo)的跟蹤有更好的意義，可以把有用的信息保留下來，剔除沒有用的信息，也避免了無意義的后續(xù)工作。
【具體實(shí)施方式】
[0016]以下結(jié)合實(shí)施例對本發(fā)明作進(jìn)一步詳細(xì)描述。
[0017]一種多模式行為識別與描述的視頻信號預(yù)處理方法，包括以下步驟:
[0018]①提取視頻中任意一幅包含人、車和其他運(yùn)動物體的視頻圖像作為訓(xùn)練圖像，將訓(xùn)練圖像轉(zhuǎn)換成灰度圖像，將灰度圖像記為第一灰度圖像；
[0019]②獲得第一灰度圖像的梯度方向直方圖，第一灰度圖像的梯度方向直方圖的維度記為X ；
[0020]③獲得第一灰度圖像的LBP值，LBP指局部二值模式，通過統(tǒng)計第一灰度圖像的LBP值獲得第一灰度圖像的LBP直方圖，第一灰度圖像的LBP直方圖的維度記為y ；
[0021]④將第一灰度圖像的梯度方向直方圖和LBP直方圖聯(lián)立起來得到維度為x+y的訓(xùn)練直方圖，訓(xùn)練直方圖中維度為0至X的直方圖對應(yīng)第一灰度圖像的梯度方向直方圖，訓(xùn)練直方圖中維度為X至x+y的直方圖對應(yīng)第一灰度圖像的LBP直方圖；
[0022]⑤將訓(xùn)練直方圖放入分類器中進(jìn)行訓(xùn)練，獲得分類識別數(shù)據(jù)；
[0023]⑥提取視頻中的待測圖像，將待測圖像轉(zhuǎn)換成第二灰度圖像，將灰度圖像記為第二灰度圖像；
[0024]⑦獲得第二灰度圖像的梯度方向直方圖，第二灰度圖像的梯度方向直方圖的維度記為m ；
[0025]⑧獲得第二灰度圖像的LBP值，通過統(tǒng)計第二灰度圖像的LBP值獲得第二 LBP直方圖，第二灰度圖像的LBP直方圖的維度記為n ；
[0026]⑨將第二灰度圖像的梯度方向直方圖和LBP直方圖聯(lián)立起來得到維度為m+n的識別直方圖，識別直方圖中維度為0至m的部分對應(yīng)第二灰度圖像的梯度方向直方圖，訓(xùn)練直方圖中維度為m至m+n的直方圖對應(yīng)第二灰度圖像的LBP直方圖；
[0027]⑩將識別直方圖與分類識別數(shù)據(jù)進(jìn)行卷積，得到一個結(jié)果的輸出，如果輸出為1，則表明是人；如果輸出為0，則表明為車輛；如果輸出是-1，則表明是其它運(yùn)動物體。
[0028]本實(shí)施例中，步驟②中得到第一灰度圖像的梯度方向直方圖的步驟為:
[0029]a利用水平梯度模板計算第一灰度圖像上每一個待檢測像素的水平梯度值，利用垂直梯度模板計算第一灰度圖像上每一個待檢測像素的垂直梯度值；
[0030]b通過水平梯度值和垂直梯度值計算待檢測像素點(diǎn)在第一灰度圖像中所處位置的梯度方向和梯度大小，以梯度大小為幅度，以梯度方向?yàn)榫S度，將維度劃分成九個區(qū)間，統(tǒng)計獲得每一個待檢測像素的直方圖；
[0031]c將第一灰度圖像劃分成多個塊，將塊的數(shù)量記為r，將塊內(nèi)的待檢測像素的直方圖合并得到分塊直方圖，將分塊直方圖的維度記為t，再將分塊直方圖聯(lián)立起來得到維度為rXt的第一灰度圖像的梯度方向直方圖，第一灰度圖像的梯度方向直方圖中每一段維度為t的直方圖都對應(yīng)一個分塊直方圖。
[0032]本實(shí)施例中，步驟⑦中得到第二灰度圖像的梯度方向直方圖的步驟為:
[0033]a利用水平梯度模板計算第二灰度圖像上每一個待檢測像素的水平梯度值，利用垂直梯度模板計算第二灰度圖像上每一個待檢測像素的垂直梯度值；
[0034]b通過水平梯度值和垂直梯度值計算待檢測像素點(diǎn)在第二灰度圖像中所處位置的梯度方向和梯度大小，以梯度大小為幅度，以梯度方向?yàn)榫S度，將維度劃分為九個區(qū)間，統(tǒng)計獲得每一個待檢測像素的直方圖；
[0035]c將第二灰度圖像劃分成多個塊，將塊的數(shù)量記為W，將塊內(nèi)的待檢測像素的直方圖合并得到分塊直方圖，將分塊直方圖的維度記為q，再將分塊直方圖聯(lián)立起來得到維度為qXw的第一灰度圖像的梯度方向直方圖，第一灰度圖像的梯度方向直方圖中每一段維度為q的直方圖都對應(yīng)一個分塊直方圖。
[0036]本實(shí)施例中，步驟③中得到第一灰度圖像的LBP直方圖的步驟為:取第二灰度圖像中的待檢測像素，獲取每一個待檢測像素周邊相鄰的多個像素，根據(jù)公式
【權(quán)利要求】
1.一種多模式行為識別與描述的視頻信號預(yù)處理方法，其特征在于包括以下步驟: ①提取視頻中任意一幅包含人、車和其他運(yùn)動物體的視頻圖像作為訓(xùn)練圖像，將所述的訓(xùn)練圖像轉(zhuǎn)換成灰度圖像，將所述的灰度圖像記為第一灰度圖像； ②獲得所述的第一灰度圖像的梯度方向直方圖，所述的第一灰度圖像的梯度方向直方圖的維度記為X ; ③獲得所述的第一灰度圖像的LBP值，通過統(tǒng)計所述的第一灰度圖像的LBP值獲得第一灰度圖像的LBP直方圖，所述的第一灰度圖像的LBP直方圖的維度記為y ； ④將所述的第一灰度圖像的梯度方向直方圖和LBP直方圖聯(lián)立起來得到維度為x+y的訓(xùn)練直方圖，所述的訓(xùn)練直方圖中維度為O至X的直方圖對應(yīng)所述的第一灰度圖像的梯度方向直方圖，所述的訓(xùn)練直方圖中維度為X至x+y的直方圖對應(yīng)所述的第一灰度圖像的LBP直方圖； ⑤將所述的訓(xùn)練直方圖放入分類器中進(jìn)行訓(xùn)練，獲得分類識別數(shù)據(jù)； ⑥提取視頻中的待測圖像，將所述的待測圖像轉(zhuǎn)換成第二灰度圖像，將所述的灰度圖像記為第二灰度圖像； ⑦獲得所述的第二灰度圖像的梯度方向直方圖，所述的第二灰度圖像的梯度方向直方圖的維度記為m ; ⑧獲得所述的第二灰度圖像的LBP值，通過統(tǒng)計所述的第二灰度圖像的LBP值獲得第二 LBP直方圖，所述的第二灰度圖像的LBP直方圖的維度記為n ； ⑨將所述的第二灰度圖像的梯度方向直方圖和LBP直方圖聯(lián)立起來得到維度為m+n的識別直方圖，所述的識別直方圖中維度為O至m的直方圖對應(yīng)所述的第二灰度圖像的梯度方向直方圖，所述的訓(xùn)練直方 圖中的維度為m至m+n的直方圖對應(yīng)所述的第二灰度圖像的LBP直方圖； ⑩將所述的識別直方圖與所述的分類識別數(shù)據(jù)進(jìn)行卷積，得到一個結(jié)果的輸出，如果輸出為1，則表明是人；如果輸出為O，則表明為車輛；如果輸出是-1，則表明是其它運(yùn)動物體。
2.按照權(quán)利要求1所述的一種多模式行為識別與描述的視頻信號預(yù)處理方法，其特征在于所述的步驟②中得到第一灰度圖像的梯度方向直方圖的步驟為: a利用水平梯度模板計算第一灰度圖像上每一個待檢測像素的水平梯度值，利用垂直梯度模板計算第一灰度圖像上每一個待檢測像素的垂直梯度值； b通過所述的水平梯度值和所述的垂直梯度值計算待檢測像素點(diǎn)在第一灰度圖像中所處位置的梯度方向和梯度大小，以所述的梯度大小為幅度，以所述的梯度方向?yàn)榫S度，將所述的維度劃分成多個區(qū)間，統(tǒng)計獲得每一個待檢測像素的直方圖； c將所述的第一灰度圖像劃分成多個塊，將所述的塊的數(shù)量記為r，將塊內(nèi)的待檢測像素的直方圖合并得到分塊直方圖，將所述的分塊直方圖的維度記為t，再將所述的分塊直方圖聯(lián)立起來得到維度為rXt的第一灰度圖像的梯度方向直方圖，所述的第一灰度圖像的梯度方向直方圖中每一段維度為t的直方圖都對應(yīng)一個所述的分塊直方圖。
3.按照權(quán)利要求1所述的一種多模式行為識別與描述的視頻信號預(yù)處理方法，其特征在于所述的步驟⑦中得到第二灰度圖像的梯度方向直方圖的步驟為: a利用水平梯度模板計算第二灰度圖像上每一個待檢測像素的水平梯度值，利用垂直梯度模板計算第二灰度圖像上每一個待檢測像素的垂直梯度值； b通過所述的水平梯度值和所述的垂直梯度值計算待檢測像素點(diǎn)在第二灰度圖像中所處位置的梯度方向和梯度大小，以所述的梯度大小為幅度，以所述的梯度方向?yàn)榫S度，將所述的維度劃分為多個區(qū)間，統(tǒng)計獲得每一個待檢測像素的直方圖； C將所述的第二灰度圖像劃分成多個塊，將所述的塊的數(shù)量記為W，將塊內(nèi)的待檢測像素的直方圖合并得到分塊直方圖，將所述的分塊直方圖的維度記為q，再將所述的分塊直方圖聯(lián)立起來得到維度為qXw的第一灰度圖像的梯度方向直方圖，所述的第一灰度圖像的梯度方向直方圖中每一段維度為q的直方圖都對應(yīng)一個所述的分塊直方圖。
4.按照權(quán)利要求2或3所述的一種多模式行為識別與描述的視頻信號預(yù)處理方法，其特征在于所述的步驟b中所述的維度劃分為九個區(qū)間時效果最好。
5.按照權(quán)利要求1所述的一種多模式行為識別與描述的視頻信號預(yù)處理方法，其特征在于所述的步驟③中得到第一灰度圖像的LBP直方圖的步驟為:取所述的第二灰度圖像中的待檢測像素，獲取每一個所述的待檢測像素周邊相鄰的多個像素，根據(jù)公式
6.按照權(quán)利要求1所述的一種多模式行為識別與描述的視頻信號預(yù)處理方法，其特征在于所述的步驟⑧中得到第二灰度圖像的LBP直方圖的步驟為:取所述的第二灰度圖像中的待檢測像素，獲取每一個所述的待檢測像素周邊相鄰的多個像素，根據(jù)公式
7.按照權(quán)利要求1所述的一種多模式行為識別與描述的視頻信號預(yù)處理方法，其特征在于所述的分類器為SUV分類器、神經(jīng)網(wǎng)絡(luò)分類器或adaboost分類器。
【文檔編號】H04N7/18GK103442218SQ201310379382
【公開日】2013年12月11日 申請日期:2013年8月27日 優(yōu)先權(quán)日:2013年8月27日
【發(fā)明者】姜永櫟 申請人:寧波海視智能系統(tǒng)有限公司