本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，具體而言，涉及一種行為識別方法及裝置。

背景技術(shù)：

隨著人們安全意識的提高，社會所面臨的各種突發(fā)事件(比如，火災(zāi))的增多，安全監(jiān)控越來越受到社會、機構(gòu)和個人的重視。傳統(tǒng)的安全監(jiān)控系統(tǒng)主要通過人工監(jiān)控的方式來實現(xiàn)對場景的監(jiān)視，不具備實時、主動地環(huán)境監(jiān)控能力。

比如，在發(fā)生火災(zāi)時，只能后續(xù)通過視頻查找發(fā)生火災(zāi)的原因，火災(zāi)包括人為主動放火、電氣或設(shè)備老化等引起的火災(zāi)。而傳統(tǒng)方法不能有效預(yù)測場景中人員的行為特性、無法判斷被監(jiān)控人員是否有違法、違規(guī)行為，同時無法起到實時監(jiān)測和報警的目的。因此，如何根據(jù)監(jiān)控視頻自動識別人的行為是本領(lǐng)域技術(shù)人員繼續(xù)解決的問題。

技術(shù)實現(xiàn)要素：

為了克服現(xiàn)有技術(shù)中的上述不足，本發(fā)明所要解決的技術(shù)問題是提供一種行為識別方法及裝置，其能夠?qū)D像中的行人自動進行行為識別，以預(yù)防突發(fā)事件的發(fā)生。

本發(fā)明較佳實施例提供了一種行為識別方法，應(yīng)用于計算設(shè)備，所述計算設(shè)備包括用于進行行為識別的識別模型，所述方法包括：

對采集的可見光圖像及紅外圖像進行圖像處理得到待跟蹤目標區(qū)域；

檢測所述待跟蹤目標區(qū)域是否包括行人；

在包括行人時，對行人進行跟蹤，并在跟蹤過程中檢測行人邊緣以從所述待跟蹤目標區(qū)域中獲得行人待識別區(qū)域；

將所述行人待識別區(qū)域輸入到識別模型中得到所述行人的行為識別結(jié)果。

本發(fā)明較佳實施例還提供了一種行為識別裝置，應(yīng)用于計算設(shè)備，所述計算設(shè)備包括用于進行行為識別的識別模型，所述裝置包括：

處理模塊，用于對采集的可見光圖像及紅外圖像進行圖像處理得到待跟蹤目標區(qū)域；

檢測模塊，用于檢測所述待跟蹤目標區(qū)域是否包括行人；

處理模塊，還用于在包括行人時，對行人進行跟蹤，并在跟蹤過程中檢測行人邊緣以從所述待跟蹤目標區(qū)域中獲得行人待識別區(qū)域；

識別模塊，用于將所述行人待識別區(qū)域輸入到識別模型中得到所述行人的行為識別結(jié)果。

相對于現(xiàn)有技術(shù)而言，本發(fā)明具有以下有益效果：

本發(fā)明較佳實施例提供一種行為識別方法及裝置。所述方法應(yīng)用于計算設(shè)備，所述計算設(shè)備包括用于進行行為識別的識別模型。在獲取可見光圖像及紅外圖像后，對獲得圖像進行圖像處理得到待跟蹤目標區(qū)域。當檢測到所述待跟蹤目標區(qū)域包括行人時，對行人進行跟蹤，并在跟蹤過程中檢測行人邊緣以得到行人待識別區(qū)域。通過將所述行人待識別區(qū)域輸入到識別模型中，即可得到行人的行為識別結(jié)果。由此，對圖像中的行人自動進行行為識別，可預(yù)防突發(fā)事件的發(fā)生。

為使發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉本發(fā)明較佳實施例，并配合所附附圖，作詳細說明如下。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應(yīng)當理解，以下附圖僅示出了本發(fā)明的某些實施例，因此不應(yīng)被看作是對范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1是本發(fā)明較佳實施例提供的計算設(shè)備的方框示意圖。

圖2是本發(fā)明較佳實施例提供的行為識別方法的流程示意圖之一。

圖3是圖2中步驟s120包括的子步驟的流程示意圖。

圖4是圖3中子步驟s123包括的子步驟的流程示意圖。

圖5是圖2中步驟s150包括的子步驟的流程示意圖。

圖6是圖5中子步驟s154包括的子步驟的流程示意圖。

圖7是本發(fā)明較佳實施例提供的行為識別方法的流程示意圖之二。

圖8是本發(fā)明較佳實施例提供的行為識別方法的流程示意圖之三。

圖9是圖8中步驟s110包括的部分子步驟的流程示意圖。

圖10是圖8中步驟s110包括的另一部分子步驟的流程示意圖。

圖11是本發(fā)明較佳實施例提供的行為識別裝置的方框示意圖。

圖標：100-計算設(shè)備；110-存儲器；120-存儲控制器；130-處理器；200-行為識別裝置；220-處理模塊；230-檢測模塊；250-識別模塊。

具體實施方式

下面將結(jié)合本發(fā)明實施例中附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發(fā)明實施例的組件可以以各種不同的配置來布置和設(shè)計。因此，以下對在附圖中提供的本發(fā)明的實施例的詳細描述并非旨在限制要求保護的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實施例?；诒景l(fā)明的實施例，本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

應(yīng)注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步定義和解釋。同時，在本發(fā)明的描述中，術(shù)語“第一”、“第二”等僅用于區(qū)分描述，而不能理解為指示或暗示相對重要性。

下面結(jié)合附圖，對本發(fā)明的一些實施方式作詳細說明。在不沖突的情況下，下述的實施例及實施例中的特征可以相互組合。

請參照圖1，圖1是本發(fā)明較佳實施例提供的計算設(shè)備100的方框示意圖。本發(fā)明實施例中所述計算設(shè)備100可以是，但不限于，電腦、服務(wù)器等。如圖1所示，所述計算設(shè)備100包括：存儲器110、存儲控制器120、處理器130以及行為識別裝置200。

所述存儲器110、存儲控制器120及處理器130各元件之間直接或間接地電性連接，以實現(xiàn)數(shù)據(jù)的傳輸或交互。例如，這些元件相互之間可通過一條或多條通訊總線或信號線實現(xiàn)電性連接。存儲器110中存儲有行為識別裝置200，所述行為識別裝置200包括至少一個可以軟件或固件(firmware)的形式存儲于所述存儲器110中的軟件功能模塊。所述處理器130通過運行存儲在存儲器110內(nèi)的軟件程序以及模塊，如本發(fā)明實施例中的行為識別裝置200，從而執(zhí)行各種功能應(yīng)用以及數(shù)據(jù)處理，即實現(xiàn)本發(fā)明實施例中的行為識別方法。

其中，所述存儲器110可以是，但不限于，隨機存取存儲器(randomaccessmemory，ram)，只讀存儲器(readonlymemory，rom)，可編程只讀存儲器(programmableread-onlymemory，prom)，可擦除只讀存儲器(erasableprogrammableread-onlymemory，eprom)，電可擦除只讀存儲器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存儲器110用于存儲程序，所述處理器130在接收到執(zhí)行指令后，執(zhí)行所述程序。所述處理器130以及其他可能的組件對存儲器110的訪問可在所述存儲控制器120的控制下進行。

所述處理器130可能是一種集成電路芯片，具有信號的處理能力。上述的處理器130可以是通用處理器，包括中央處理器(centralprocessingunit，cpu)、網(wǎng)絡(luò)處理器(networkprocessor，np)等。還可以是數(shù)字信號處理器(dsp)、專用集成電路(asic)、現(xiàn)場可編程門陣列(fpga)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件?？梢詫崿F(xiàn)或者執(zhí)行本發(fā)明實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。

可以理解，圖1所示的結(jié)構(gòu)僅為示意，計算設(shè)備100還可包括比圖1中所示更多或者更少的組件，或者具有與圖1所示不同的配置。圖1中所示的各組件可以采用硬件、軟件或其組合實現(xiàn)。

請參照圖2，圖2是本發(fā)明較佳實施例提供的行為識別方法的流程示意圖之一。所述方法應(yīng)用于所述計算設(shè)備100。下面對行為識別方法的具體流程進行詳細闡述。

步驟s120，對采集的可見光圖像及紅外圖像進行圖像處理得到待跟蹤目標區(qū)域。

在本實施例中，所述計算設(shè)備100可以分別與可見光攝像機及紅外攝像機通信連接。由此，所述計算設(shè)備100得到可見光圖像及紅外圖像。

請參照圖3，圖3是圖2中步驟s120包括的子步驟的流程示意圖。所述步驟s120可以包括子步驟s121、子步驟s122及子步驟s123。

子步驟s121，采集多幀可見光背景圖像以建立第一背景圖像，對當前幀圖像及第一背景圖像進行處理，得到第一目標運動可疑區(qū)域。

在本實施例中，所述計算設(shè)備100將采集的多幀可見光圖像采用采用高斯模型建立第一背景圖像，從而根據(jù)當前幀圖像與第一背景圖像得到第一目標運動可疑區(qū)域。同時，在跟蹤過程中，可以根據(jù)接收的更新指令或定時(比如，0.5s)自動更新所述第一背景圖像。

其中，高斯模型就是用高斯概率密度函數(shù)(正態(tài)分布曲線)精確地量化事物，將一個事物分解為若干的基于高斯概率密度函數(shù)(正態(tài)分布曲線)形成的模型。

下面以舉例子的方式介紹如何根據(jù)當前幀圖像與第一背景圖像得到第一目標運動可疑區(qū)域。

比如，在視頻監(jiān)控區(qū)域兩側(cè)(即進、出口)一定區(qū)域內(nèi)計算當前幀圖像與第一背景圖像的差分。將計算得到的差分與預(yù)設(shè)差分閾值進行比較，根據(jù)比較結(jié)果進行處理。在計算得到的差分大于預(yù)設(shè)差分閾值時，將大于預(yù)設(shè)差分閾值的區(qū)間作為第一目標運動可疑區(qū)域。在計算得到的差分小于預(yù)設(shè)差分閾值時，不再進行后續(xù)處理。其中，所述預(yù)設(shè)差分閾值可疑根據(jù)實際情況進行設(shè)置(比如，10個亮度值)。

圖像差分是指兩幅圖像的對應(yīng)像素值相減，以削弱圖像的相似部分，突出顯示圖像的變化部分。比如，差分圖像往往能夠檢測出運動目標的輪廓，能夠提取出閃爍導(dǎo)管的軌跡等。

子步驟s122，采集多幀紅外背景圖像以建立第二背景圖像，對當前紅外幀圖像及第二背景圖像進行處理，得到第二目標運動可疑區(qū)域。

在本實施例中，通過與得到第一目標運動可疑區(qū)域相同的方式得到第二目標運動可疑區(qū)域，在此不再贅述。

子步驟s123，通過所述第一目標運動可疑區(qū)域與所述第二目標運動可疑區(qū)域得到待跟蹤目標區(qū)域。

請參照圖4，圖4是圖3中子步驟s123包括的子步驟的流程示意圖。所述子步驟s123可以包括子步驟s1231、子步驟s1232、子步驟s1233及子步驟s1234。

子步驟s1231，計算所述第一目標運動可疑區(qū)域與所述第二目標運動可疑區(qū)域的重疊度。

在本實施例中，由于紅外圖像與溫度有關(guān)，因此可以通過第二目標可疑運動區(qū)域輔助判斷第一目標運動可疑區(qū)域中是否有行人。首先計算第一目標運動區(qū)域與所述第二目標運動可疑區(qū)域的重疊度，然后將得到的重疊度與預(yù)設(shè)重疊度進行比較。

子步驟s1232，判斷所述重疊度是否大于預(yù)設(shè)重疊度。

其中，所述預(yù)設(shè)重疊度可疑根據(jù)實際情況進行設(shè)定(比如，30％)。

若所述重疊度大于預(yù)設(shè)重疊度，執(zhí)行子步驟s1233。

子步驟s1233，對所述第一目標運動可疑區(qū)域與所述第二目標運動可疑區(qū)域的重疊區(qū)域進行處理，得到待跟蹤目標區(qū)域。

所述重疊度大于預(yù)設(shè)重疊度，可根據(jù)所述第二目標運動可疑區(qū)域調(diào)整所述第一目標運動可疑區(qū)域的覆蓋范圍。進而采用形態(tài)學(xué)技術(shù)填充第一目標運動可疑區(qū)域的空洞和去除面積小于預(yù)設(shè)重疊度的區(qū)域，以得到待跟蹤目標。再計算攝像頭安裝位置、圖像分辨率和待跟蹤目標在圖像中的位置、及行人高度和寬度等特征初步確定待跟蹤目標區(qū)域。

若所述重疊度小于預(yù)設(shè)重疊度，執(zhí)行子步驟s1234。

子步驟s1234，停止跟蹤判斷。

所述重疊度小于預(yù)設(shè)重疊度，表征所述第一目標運動可疑區(qū)域為虛假區(qū)域，對虛假區(qū)域不做后續(xù)處理。

步驟s130，檢測所述待跟蹤目標區(qū)域是否包括行人。

在本實施例中，采用hog算法檢測所述待跟蹤目標區(qū)域是否包括行人。hog(方向梯度直方圖，histogramoforientedgradient)特征是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述子。它通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。其主要思想是：在邊緣具體位置未知的情況下，邊緣方向的分布也可以很好的表示行人目標的外形輪廓。由此，可以檢測得到圖像中是否包括行人。若不包括行人，則不再進行后續(xù)步驟。若包括行人，則進行步驟s140。

步驟s140，在包括行人時，對行人進行跟蹤，并在跟蹤過程中檢測行人邊緣以從所述待跟蹤目標區(qū)域中獲得行人待識別區(qū)域。

在本實施例中，在包括行人時，可以采用mean-shift算法跟蹤每個行人，由此監(jiān)測區(qū)間的運動情況。mean-shift算法是基于均值漂移的目標跟蹤算法通過分別計算目標區(qū)域和候選區(qū)域內(nèi)像素的特征值概率得到關(guān)于目標模型和候選模型的描述，然后利用相似函數(shù)度量初始幀目標模型和當前幀的候選模版的相似性，選擇使相似函數(shù)最大的候選模型并得到關(guān)于目標模型的meanshift向量，這個向量正是目標由初始位置向正確位置移動的向量。由于均值漂移算法的快速收斂性，通過不斷迭代計算meanshift向量，算法最終將收斂到目標的真實位置，達到跟蹤的目的。

同時，在跟蹤過程中可以采用snake算法檢測所述待跟蹤目標區(qū)域中行人的行人邊緣，進而得到行人待識別區(qū)域。snake算法在給出初始的輪廓(比如，待跟蹤目標區(qū)域)的基礎(chǔ)上，進行迭代，使輪廓沿能量降低的方向靠近，最后得到一個優(yōu)化的邊界。

步驟s150，將所述行人待識別區(qū)域輸入到識別模型中得到所述行人的行為識別結(jié)果。

請參照圖5，圖5是圖2中步驟s150包括的子步驟的流程示意圖。所述識別模型包括第一識別模型。所述步驟s150可以包括以下子步驟。

子步驟s151，將所述行人待識別區(qū)域輸入到第一識別模型中，得到第一輸出結(jié)果，第一輸出結(jié)果包括多個行為及每個行為對應(yīng)的權(quán)重。

在本實施例中，將所述行人待識別區(qū)域輸入到第一識別模型中，使第一識別模型計算在該區(qū)域中相對每種行為的權(quán)重，然后得到第一輸出結(jié)果。所述第一輸出結(jié)果包括多個行為及每個行為對應(yīng)的權(quán)重。其中，第一輸出結(jié)果的行為可以按照行為對應(yīng)的權(quán)重以降序或升序進行排列。比如：正常行走0.5；跨步走0.3等。

子步驟s152，將大于預(yù)設(shè)權(quán)重閾值的權(quán)重所對應(yīng)的行為作為第一備選結(jié)果。

在本實施例中，所述預(yù)設(shè)權(quán)重閾值可以根據(jù)實際情況進行設(shè)定。

子步驟s153，若所述第一備選結(jié)果只包括一個行為，則該行為作為識別結(jié)果。

子步驟s154，若所述第一備選結(jié)果包括多個行為，從多個行為中確定識別結(jié)果。

在本實施例的一種實施方式中，第一輸出結(jié)果中的行為以降序排列。在第一輸出結(jié)果中預(yù)設(shè)數(shù)量(比如，2個)行為的權(quán)重之間的差值(比如，最大權(quán)重及與最大權(quán)重相鄰的權(quán)重之間的差值)大于預(yù)設(shè)權(quán)重差值(比如，0.4)時，將最大權(quán)重值對應(yīng)的行為作為識別結(jié)果。第一輸出結(jié)果中預(yù)設(shè)數(shù)量行為的權(quán)重之間的差值小于預(yù)設(shè)權(quán)重差值時，從預(yù)設(shè)數(shù)量行為中確定識別結(jié)果。

請參照圖6，圖6是圖5中子步驟s154包括的子步驟的流程示意圖。所述識別模型還包括第二識別模型。所述子步驟s154可以包括子步驟s1541、子步驟s1542、子步驟s1543及子步驟s1544。

子步驟s1541，根據(jù)所述行人待識別區(qū)域的邊緣及形心，提取所述行人待識別區(qū)域的第一特征集。

在本實施例中，計算所述行人待識別區(qū)域的邊緣及形心，得到邊緣到形心的距離。以形心水平方向為起點，順時針旋轉(zhuǎn)，每30度為一個區(qū)間，計算此區(qū)間內(nèi)邊緣到形心距離平均值，由此得到所述行人待識別區(qū)域的第一特征集。其中，所述第一特征集可以包括12個特征。

其中，形心是針對抽象幾何體而言的，對于密度均勻的實物體，質(zhì)心和形心重合。

子步驟s1542，計算所述行人待識別區(qū)域的幾何矩，提取所述行人待識別區(qū)域的第二特征集。

矩特征主要表征了圖像區(qū)域的幾何特征，又稱為幾何矩，幾何矩是具有旋轉(zhuǎn)、平移、尺度等特性的不變特征。其中，幾何矩包括hu矩，hu矩利用二階和三階中心矩構(gòu)造了七個不變矩陣，它們在連續(xù)圖像條件下可保持平移、縮放和旋轉(zhuǎn)不變，由此得到第二特征集。其中，第二特征集可以包括7個特征。

子步驟s1543，將所述第一特征集及第二特征集輸入到第二識別模型中，得到第二輸出結(jié)果。

子步驟s1544，根據(jù)所述第二輸出結(jié)果從多個行為中確定識別結(jié)果。

在本實施例的實施方式中，將所述第二輸出結(jié)果中最大權(quán)重對應(yīng)的行為作為第二備選結(jié)果。若所述第二備選結(jié)果為所述多個行為中的其中一個行為時，將該行為作為識別結(jié)果。若所述第二備選結(jié)果不包括所述多個行為中的任何一個行為時，將該圖像中的目標作為重點監(jiān)控目標，在下一陣圖像中繼續(xù)監(jiān)測和判斷。

重復(fù)預(yù)設(shè)次數(shù)(比如，3次)進行行為識別，若重復(fù)預(yù)設(shè)次數(shù)依然無法得到行為識別結(jié)果，生成報警提示。其中，預(yù)設(shè)次數(shù)可以根據(jù)實際情況進行設(shè)定。

請參照圖7，圖7是本發(fā)明較佳實施例提供的行為識別方法的流程示意圖之二。所述方法還可以包括步驟s160。

步驟s160，根據(jù)所述識別結(jié)果執(zhí)行預(yù)設(shè)策略。

在本實施例中，根據(jù)識別結(jié)果判斷是否滿足預(yù)設(shè)異常行為條件。其中，預(yù)設(shè)異常行為可以包括，但不限于，點打火機、踹等行為。若所述識別結(jié)果不滿足預(yù)設(shè)異常行為條件，則停止對該識別結(jié)果對應(yīng)的行為進行重點監(jiān)視。若所述識別結(jié)果滿足預(yù)設(shè)異常行為條件，表征所述識別結(jié)果對應(yīng)的行人有破壞傾向，則對所述識別結(jié)果對應(yīng)的行人進行重點監(jiān)視，并生成報警提示。

比如，在消防系統(tǒng)中，采用所述識別模型對行人的行為進行行為識別。在根據(jù)識別結(jié)果判定場景中的行人存在破壞傾向時，及時提示監(jiān)控人員，從而對識別結(jié)果對應(yīng)的行人進行重點關(guān)注和/或采取防護措施。

請參照圖8，圖8是本發(fā)明較佳實施例提供的行為識別方法的流程示意圖之三。所述方法在步驟s120之前還可以包括步驟s110。

步驟s110，訓(xùn)練得到識別模型。

請參照圖9，圖9是圖8中步驟s110包括的部分子步驟的流程示意圖。所述步驟s110可以包括子步驟s111、子步驟s112、子步驟s113及子步驟s114。

子步驟s111，采集行人不同行為的行為圖像作為樣本圖像。

在本實施例中，可以根據(jù)監(jiān)控的場合及目標采集不同的行為圖像。比如，應(yīng)用于消防系統(tǒng)，則可以針對消防采集不同的行為，包括正常行走、跨步走、單腿蹦、雙腿蹦、彎腰、伸展手臂、踢腿、出拳、身體碰撞等。

子步驟s112，對所述樣本圖像進行圖像處理得到包括行人的第一行人區(qū)域。

在本實施例中，通過hog算法檢測樣本圖像中的行人區(qū)間，從而得到第一行人區(qū)域。還可以通過人工檢測對所述第一行人區(qū)域進行校正。

子步驟s113，檢測所述第一行人區(qū)域中行人的行人邊緣，基于所述行人邊緣得到第二行人區(qū)域，將第二行人區(qū)域作為預(yù)處理后的樣本圖像。

在本實施例中，可以采用snake模型進一步檢測行人的行人邊緣，從而去除背景區(qū)域的干擾，可以將背景區(qū)域設(shè)置為0。還可以通過人工檢測對所述行人邊緣進行校正。

還可以再采用水平及垂直投影技術(shù)確定行人上、下、左、右區(qū)間位置。區(qū)間位置可以用bi(i＝0、1、2、3)表示。

子步驟s114，由預(yù)處理后的樣本圖像建立模型庫，根據(jù)模型庫中各個行為對應(yīng)的預(yù)處理后的樣本圖像進行訓(xùn)練以得到第一識別模型。

在本實施例中，由預(yù)設(shè)處理后的樣本圖像組成邊緣位置信息歸一化模型庫。根據(jù)歸一化模型庫中的樣本圖像建立不同行為特性樣本模型庫dataj(j＝0，…，n-1)，n表示行為樣本種類總數(shù)。每類可以選取多個樣本(比如，100個)。將每個模型庫dataj中的部分樣本(比如，模型庫dataj樣本總量的4/5)輸入到cnn模型中以進行訓(xùn)練，從而得到初始第一識別模型。其中，訓(xùn)練好的cnn模型可以提取圖像的特征。

然后通過模型庫dataj中的剩余部分樣本對所述初始第一識別模型進行驗證，若第一識別錯誤率大于第一錯誤率閾值，則根據(jù)驗證部分的樣本對初始第一識別模型進行調(diào)整，以得到滿足要求的第一識別模型。其中，第一錯誤率閾值可以根據(jù)實際情況進行設(shè)定。

請參照圖10，圖10是圖8中步驟s110包括的另一部分子步驟的流程示意圖。所述步驟s110還可以包括子步驟s116及子步驟s117。

子步驟s116，分別提取預(yù)處理后的樣本圖像的第一特征集及第二特征集。

獲得每個模型庫dataj(j＝0，…，n-1)中樣本的邊緣及圖像形心，計算邊緣到形心距離。以形心水平方向為起點，順時針旋轉(zhuǎn)，每30度為一個區(qū)間，計算此區(qū)間內(nèi)邊緣到形心距離平均值，作為樣本sij(i＝0～m，j＝0～n)特征，即第一特征集，第一特征集可以包括12個特征，表示如下fi(i＝0，…，11)。其中，m為每類中樣本數(shù)量，n為樣本種類總數(shù)。

計算樣本的幾何矩，以得到樣本的第二特征集。所述第二特征集可以包括7個特征，表示如下fi(i＝12，…，18)。

子步驟s117，根據(jù)各個行為對應(yīng)的第一特征集及第二特征集進行訓(xùn)練以得到第二識別模型。

將由第一特征集及第二特征集組成的特征fi(i＝0，…，18)訓(xùn)練樣本。利用每個模型庫dataj中的部分樣本(比如，模型庫dataj樣本總量的4/5)訓(xùn)練隨機森林，得到一個隨機森林模型。然后通過模型庫dataj中的剩余部分樣本對所述隨機森林模型進行驗證及調(diào)整，以得到第二識別模型。

請參照圖11，圖11是本發(fā)明較佳實施例提供的行為識別裝置200的方框示意圖。所述行為識別裝置200應(yīng)用于計算設(shè)備100。其中，所述計算設(shè)備100包括用于進行行為識別的識別模型。所述行為識別裝置200包括：處理模塊220、檢測模塊230及識別模塊250。

處理模塊220，用于對采集的可見光圖像及紅外圖像進行圖像處理得到待跟蹤目標區(qū)域。

在本實施例中，所述處理模塊220用于執(zhí)行圖2中的步驟s120，關(guān)于所述處理模塊220的具體描述可以參照圖2中步驟s120的描述。

檢測模塊230，用于檢測所述待跟蹤目標區(qū)域是否包括行人。

在本實施例中，所述檢測模塊230用于執(zhí)行圖2中的步驟s130，關(guān)于所述檢測模塊230的具體描述可以參照圖2中步驟s130的描述。

處理模塊220，還用于在包括行人時，對行人進行跟蹤，并在跟蹤過程中檢測行人邊緣以從所述待跟蹤目標區(qū)域中獲得行人待識別區(qū)域。

在本實施例中，所述處理模塊220還用于執(zhí)行圖2中的步驟s140，關(guān)于所述處理模塊220的具體描述可以參照圖2中步驟s140的描述。

識別模塊250，用于將所述行人待識別區(qū)域輸入到識別模型中得到所述行人的行為識別結(jié)果。

在本實施例中，所述識別模塊250用于執(zhí)行圖2中的步驟s150，關(guān)于所述識別模塊250的具體描述可以參照圖2中步驟s150的描述。

綜上所述，本發(fā)明提供一種行為識別方法及裝置。所述方法應(yīng)用于計算設(shè)備，所述計算設(shè)備包括用于進行行為識別的識別模型。在獲取可見光圖像及紅外圖像后，對獲得圖像進行圖像處理得到待跟蹤目標區(qū)域。當檢測到所述待跟蹤目標區(qū)域包括行人時，對行人進行跟蹤，并在跟蹤過程中檢測行人邊緣以得到行人待識別區(qū)域。通過將所述行人待識別區(qū)域輸入到識別模型中，即可得到行人的行為識別結(jié)果。由此，對圖像中的行人自動進行行為識別，可預(yù)防突發(fā)事件的發(fā)生，減少危害。

以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。