本發(fā)明涉及領(lǐng)域智能分析技術(shù)，尤其涉及一種人群視頻分析方法及系統(tǒng)。

背景技術(shù)：

現(xiàn)有技術(shù)中，在分析頻繁聚集人員之間關(guān)系時(shí)通常采用兩種模式，第一種模式是針對(duì)一幀或者相鄰幾幀數(shù)據(jù)內(nèi)在指定區(qū)域內(nèi)出現(xiàn)人群的數(shù)量進(jìn)行判斷，判斷的結(jié)果只是單一結(jié)果，只能用于報(bào)警類(lèi)產(chǎn)品；另外一種應(yīng)用模式是對(duì)進(jìn)入指定區(qū)域的人群進(jìn)行人臉識(shí)別或者人員特征分析，用于VIP客戶(hù)、廣告投放用途。

上述兩種模式都沒(méi)有長(zhǎng)時(shí)間的視頻采集以及分析，不能提取出指定區(qū)域內(nèi)的人員特征，也不能對(duì)跨區(qū)域的人員特征進(jìn)行比較從而確定屬于同一團(tuán)體或者熟悉的人群，在例如火車(chē)站抓捕黃牛的應(yīng)用場(chǎng)景中，采用上述兩種模式無(wú)法在一天的視頻里分析得出黃牛人群，也不能通過(guò)不同區(qū)域里出現(xiàn)的人群特征來(lái)尋找人員的交集。

因此，有必要基于現(xiàn)有的視頻監(jiān)控系統(tǒng)提出一種新型的視頻分析方法，以能夠有效分析頻繁聚集人員的相互關(guān)系。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種人群視頻分析方法及系統(tǒng)，用于對(duì)海量視頻數(shù)據(jù)進(jìn)行持續(xù)分析，判斷人與人之間的關(guān)系以及人與特定區(qū)域的關(guān)系。

根據(jù)本發(fā)明的一個(gè)方面，一種人群視頻分析方法，包括：

步驟S1，采集預(yù)定時(shí)間內(nèi)的人體屬性及對(duì)應(yīng)的時(shí)空信息；

步驟S2，基于時(shí)空信息對(duì)人體屬性進(jìn)行分類(lèi)；

步驟S3，提取出具有時(shí)空相關(guān)性或行為相關(guān)性的人。

其中，所述人體屬性包括人臉特征、人體特征和/或行為方式；以及所述對(duì)應(yīng)的時(shí)空信息是人出現(xiàn)的時(shí)間和地點(diǎn)。

其中，所述基于時(shí)空信息對(duì)人體屬性進(jìn)行分類(lèi)的步驟包括：將在相近或相同時(shí)間和相近或相同地點(diǎn)的出現(xiàn)次數(shù)超過(guò)一定閾值的人歸為一類(lèi)。

其中，所述時(shí)空相關(guān)性是指在相近或相同時(shí)間和相近或相同地點(diǎn)的出現(xiàn)次數(shù)超過(guò)一定閾值的人及其對(duì)應(yīng)的人體屬性；以及所述行為相關(guān)性是指發(fā)生相近或相同行為的次數(shù)超過(guò)一定閾值的人。

其中，所述步驟S1進(jìn)一步包括：

步驟S11，采集指定區(qū)域的視頻信息；

步驟S12，從視頻信息中提取人體屬性；

步驟S13，獲取并保存人體屬性對(duì)應(yīng)的時(shí)空信息；

步驟S14，重復(fù)步驟S12-S13直至達(dá)到預(yù)定時(shí)間長(zhǎng)度。

其中，所述步驟S2進(jìn)一步包括：

步驟S21，調(diào)用分類(lèi)算法對(duì)采集的人體屬性及對(duì)應(yīng)的時(shí)空信息進(jìn)行訓(xùn)練；

步驟S22，按照時(shí)間和地點(diǎn)對(duì)出現(xiàn)的人進(jìn)行分類(lèi)；

步驟S23，調(diào)用分類(lèi)算法對(duì)出現(xiàn)在相近時(shí)間和相近地點(diǎn)的人進(jìn)行分類(lèi)整合；以及

步驟S24，迭代分類(lèi)算法提取在相近時(shí)間出現(xiàn)在相近地點(diǎn)的人。

其中，所述步驟S3進(jìn)一步包括：

步驟S31，提取出在相同時(shí)間和相同地點(diǎn)出現(xiàn)次數(shù)超過(guò)第一預(yù)定閾值的人；

步驟S32，提取出行為方式相關(guān)次數(shù)超過(guò)第二預(yù)定閾值的人。

根據(jù)本發(fā)明的另一方面，提供了目標(biāo)個(gè)體關(guān)聯(lián)分析方法，包括：

步驟S10，獲取預(yù)定時(shí)間內(nèi)的目標(biāo)個(gè)體的特征屬性及對(duì)應(yīng)的時(shí)空信息；

步驟S20，統(tǒng)計(jì)目標(biāo)個(gè)體之間具有相同或相近的時(shí)空信息的次數(shù)；

步驟S30，判斷所述次數(shù)是否超過(guò)預(yù)設(shè)次數(shù)；

步驟S40，若所述次數(shù)超過(guò)預(yù)設(shè)次數(shù)，則判定所述目標(biāo)個(gè)體之間存在關(guān)聯(lián)關(guān)系。

其中，所述相同或相近的時(shí)空信息包括：

至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)時(shí)間相同，和/或至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)地點(diǎn)的距離差值為0；或者

至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)時(shí)間差值小于時(shí)間閾值，和/或至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)地點(diǎn)的距離差值小于距離閾值。

其中,所述距離由所述至少兩個(gè)目標(biāo)個(gè)體在圖像幀的位置坐標(biāo)進(jìn)行確定。

其中,所述目標(biāo)個(gè)體的出現(xiàn)時(shí)間由所述至少兩個(gè)目標(biāo)個(gè)體出現(xiàn)在圖像幀中的時(shí)間進(jìn)行確定。

其中，所述步驟S10進(jìn)一步包括，對(duì)目標(biāo)個(gè)體進(jìn)行行為和/或聲音識(shí)別，以分析目標(biāo)個(gè)體之間是否存在肢體接觸和/或交談的行為方式。

其中，所述步驟S40進(jìn)一步包括，根據(jù)目標(biāo)個(gè)體之間已確定的統(tǒng)計(jì)次數(shù)和行為方式出現(xiàn)的次數(shù)，確定目標(biāo)個(gè)體之間的關(guān)聯(lián)程度。

其中，所述關(guān)聯(lián)程度用數(shù)值表示，由所述統(tǒng)計(jì)次數(shù)和所述行為方式次數(shù)加權(quán)計(jì)算來(lái)確定；其中，數(shù)值越高，則表示對(duì)應(yīng)的目標(biāo)個(gè)體之間關(guān)聯(lián)程度越高。

其中，所述步驟S20進(jìn)一步包括：

步驟S201，調(diào)用分類(lèi)算法對(duì)采集的目標(biāo)個(gè)體的特征屬性及對(duì)應(yīng)的時(shí)空信息進(jìn)行訓(xùn)練；

步驟S202，按照時(shí)間和地點(diǎn)對(duì)出現(xiàn)的目標(biāo)個(gè)體進(jìn)行分類(lèi)；

步驟S203，調(diào)用分類(lèi)算法對(duì)出現(xiàn)在相近時(shí)間和相近地點(diǎn)的目標(biāo)個(gè)體進(jìn)行分類(lèi)整合；以及

步驟S204，迭代分類(lèi)算法提取在相近時(shí)間出現(xiàn)在相近地點(diǎn)的目標(biāo)個(gè)體。

根據(jù)本發(fā)明的另一方面，提供了人群視頻分析系統(tǒng)，包括視頻信息采集模塊、信息分類(lèi)模塊和信息提取模塊；

所述視頻信息采集模塊，用于采集預(yù)定時(shí)間內(nèi)的人體屬性及對(duì)應(yīng)的時(shí)空信息；

所述信息分類(lèi)模塊，用于基于時(shí)空信息對(duì)人體屬性進(jìn)行分類(lèi)；

所述信息提取模塊，用于提取出具有時(shí)空相關(guān)性或行為相關(guān)性的人。

其中，所述人體屬性包括人臉特征、人體特征和/或行為方式；以及所述對(duì)應(yīng)的時(shí)空信息是人出現(xiàn)的時(shí)間和地點(diǎn)。

其中，所述信息分類(lèi)模塊將在相近或相同時(shí)間和相近或相同地點(diǎn)的出現(xiàn)次數(shù)超過(guò)一定閾值的人歸為一類(lèi)。

其中，所述時(shí)空相關(guān)性是指在相近或相同時(shí)間和相近或相同地點(diǎn)的出現(xiàn)次數(shù)超過(guò)一定閾值的人及其對(duì)應(yīng)的人體屬性；以及所述行為相關(guān)性是指發(fā)生相近或相同行為的次數(shù)超過(guò)一定閾值的人。

其中，所述視頻信息采集模塊包括視頻信息采集單元、人體屬性提取單元、信息處理單元和循環(huán)單元；

所述視頻信息采集單元，用于采集指定區(qū)域的視頻信息；

所述人體屬性提取單元，用于從視頻信息中提取人體屬性；

所述信息處理單元，用于獲取并保存人體屬性對(duì)應(yīng)的時(shí)空信息；

所述循環(huán)單元，用于重復(fù)執(zhí)行人體屬性提取單元和信息處理單元直至達(dá)到預(yù)定時(shí)間長(zhǎng)度。

其中，所述信息提取模塊包括相同時(shí)空提取單元和行為方式提取單元；

所述相同時(shí)空提取單元，用于提取出在相同時(shí)間和相同地點(diǎn)出現(xiàn)次數(shù)超過(guò)第一預(yù)定閾值的人；

所述行為方式提取單元，用于提取出行為方式相關(guān)次數(shù)超過(guò)第二預(yù)定閾值的人。

本發(fā)明通過(guò)采用數(shù)據(jù)挖掘、聚類(lèi)算法等對(duì)所有指定區(qū)域的視頻數(shù)據(jù)進(jìn)行 持續(xù)分析，通過(guò)對(duì)每幀數(shù)據(jù)提取人體特征和人體行為特征的方式，識(shí)別出人員之間以及人與特定區(qū)域的關(guān)系；其中指定區(qū)域的劃分保證了視頻數(shù)據(jù)的完整性，并有助于識(shí)別人與特定分析區(qū)域的關(guān)系；長(zhǎng)時(shí)間的監(jiān)控以及采集數(shù)據(jù)可以保證最后判斷的準(zhǔn)確性；調(diào)用人臉智能算法提取進(jìn)行人體特征以及調(diào)用行為分析算法提取人體行為特征可以提高對(duì)人體識(shí)別的精確性；調(diào)用分類(lèi)算法適于對(duì)大量數(shù)據(jù)進(jìn)行準(zhǔn)確快速分類(lèi)。

附圖說(shuō)明

圖1是本發(fā)明的人群視頻分析方法的流程圖；

圖2是根據(jù)本發(fā)明一實(shí)施方式的視頻信息采集方法流程圖；

圖3是根據(jù)本發(fā)明另一實(shí)施方式的信息分類(lèi)方法流程圖；

圖4是根據(jù)本發(fā)明實(shí)施方式的信息提取方法流程圖；

圖5是根據(jù)本發(fā)明的目標(biāo)個(gè)體關(guān)聯(lián)分析方法流程圖；

圖6是本發(fā)明的人群視頻分析系統(tǒng)的結(jié)構(gòu)示意圖；

圖7是本發(fā)明的視頻信息采集模塊的結(jié)構(gòu)示意圖；

圖8是本發(fā)明的信息提取模塊的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明了，下面結(jié)合具體實(shí)施方式并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。應(yīng)該理解，這些描述只是示例性的，而并非要限制本發(fā)明的范圍。此外，在以下說(shuō)明中，省略了對(duì)公知結(jié)構(gòu)和技術(shù)的描述，以避免不必要地混淆本發(fā)明的概念。

聚類(lèi)分析是一種重要的人類(lèi)行為，其是研究(樣品或指標(biāo))分類(lèi)問(wèn)題的一種統(tǒng)計(jì)分析方法，同時(shí)也是數(shù)據(jù)挖掘的一個(gè)重要算法。聚類(lèi)就是按照某個(gè)特定標(biāo)準(zhǔn)(如距離準(zhǔn)則)把一個(gè)數(shù)據(jù)集分割成不同的類(lèi)或簇，使得同一個(gè)簇內(nèi)的數(shù)據(jù)對(duì)象的相似性盡可能大，同時(shí)不在同一個(gè)簇中的數(shù)據(jù)對(duì)象的差異性也盡可能地大。即聚類(lèi)后同一類(lèi)的數(shù)據(jù)盡可能聚集到一起，不同數(shù)據(jù)盡量分離。

圖1是本發(fā)明的人群視頻分析方法的流程圖。

如圖1所示，本發(fā)明的人群視頻分析方法包括下述步驟。

步驟S1，采集預(yù)定時(shí)間內(nèi)的人體屬性及對(duì)應(yīng)的時(shí)空信息。

本步驟涉及采集視頻信息，具體來(lái)說(shuō)，采集視頻信息中的人體屬性及對(duì)應(yīng)的時(shí)空信息。這里，人體屬性包括人臉特征、人體特征等人體物理屬性，也包括行為方式等人體行為屬性。對(duì)應(yīng)的時(shí)空信息是指視頻信息中人出現(xiàn)的時(shí)間和地點(diǎn)。

具體執(zhí)行步驟參見(jiàn)下文圖2所示示例。

步驟S2，基于時(shí)空信息對(duì)人體屬性進(jìn)行分類(lèi)。

本步驟中，使用分類(lèi)算法按照時(shí)間和地點(diǎn)對(duì)人體屬性進(jìn)行分類(lèi)，得到經(jīng)常出現(xiàn)(或出現(xiàn)次數(shù)超過(guò)一定閾值)在相近(或相同)時(shí)間和相近(或相同)地點(diǎn)的人，進(jìn)一步，可以得到這些人中行為方式具有相關(guān)性的兩人或多人。

步驟S3，提取出具有時(shí)空相關(guān)性或行為相關(guān)性的人。

本步驟中，在步驟S2進(jìn)行分類(lèi)的基礎(chǔ)上，提取出在相近(或相同)時(shí)間和相近(或相同)地點(diǎn)經(jīng)常出現(xiàn)的人(或出現(xiàn)次數(shù)超過(guò)一定閾值的人)，以及行為方式相關(guān)次數(shù)超過(guò)一定閾值的人。這樣，根據(jù)提取結(jié)果可以判斷出人與人之間的關(guān)系，人與特定區(qū)域的關(guān)系等。具體執(zhí)行步驟參見(jiàn)下文圖4所示示例。

本發(fā)明中，時(shí)空相關(guān)性是指在相近(或相同)時(shí)間和相近(或相同)地點(diǎn)經(jīng)常出現(xiàn)的人(或出現(xiàn)次數(shù)超過(guò)一定閾值的人)及其對(duì)應(yīng)的人體屬性，體現(xiàn)了人與時(shí)間、地點(diǎn)之間的關(guān)系。行為相關(guān)性是指發(fā)生相近或相同行為的次數(shù)超過(guò)一定閾值的人，行為方式例如是說(shuō)話(huà)口型、手勢(shì)、眼神等特征，從而體現(xiàn)出人與人之間的關(guān)系。

圖2是根據(jù)本發(fā)明一實(shí)施方式的視頻信息采集方法流程圖。

如圖2所示，本發(fā)明一實(shí)施方式的視頻信息采集方法主要用于采集預(yù)定時(shí)間內(nèi)的人體屬性及對(duì)應(yīng)的時(shí)空信息，即前述步驟S1所示步驟的執(zhí)行流程，其包括下述步驟：

步驟S11，采集指定區(qū)域的視頻信息。

通過(guò)多個(gè)攝像頭對(duì)指定區(qū)域進(jìn)行視頻監(jiān)控，采集指定區(qū)域的視頻信息。通常，指定區(qū)域比較大的情況下，會(huì)將指定區(qū)域劃分成多個(gè)片區(qū)，片區(qū)的形狀可以為矩形、正方形或大致圓形等，每個(gè)片區(qū)構(gòu)成一個(gè)分析區(qū)域，對(duì)這些多個(gè)分析區(qū)域分別進(jìn)行視頻監(jiān)控和視頻信息采集。

步驟S12，從視頻信息中提取人體屬性。

以某個(gè)分析區(qū)域?yàn)榉治瞿繕?biāo)，對(duì)單位時(shí)間(例如每天)內(nèi)的視頻信息進(jìn)行取流、解碼，然后調(diào)用，采用特定的算法提取分析區(qū)域視頻信息中的人體屬性。這里，人體屬性包括人臉特征、人體特征等人體物理屬性，也包括行為方式等人體行為屬性。人臉特征例如是人面部的五官形狀及位置、膚色或其他特征，人體特征例如是身高、體型、紋身、發(fā)型、衣著等特征，行為方式例如是說(shuō)話(huà)口型、手勢(shì)、眼神等特征，以及發(fā)生該行為時(shí)與該人體相關(guān)的一個(gè)或多個(gè)其他人體，從而體現(xiàn)出人與人之間的關(guān)系。

本發(fā)明中，可以采用人臉智能算法提取人臉特征和人體特征，以及采用行為分析算法提取行為方式特征。

其中，人臉智能算法(或人臉識(shí)別算法)是指在檢測(cè)到人臉并定位面部關(guān)鍵特征點(diǎn)之后，主要的人臉區(qū)域就可以被裁剪出來(lái)，經(jīng)過(guò)預(yù)處理之后，饋入后端的識(shí)別算法。識(shí)別算法要完成人臉特征的提取，并與庫(kù)存的已知人臉進(jìn)行比對(duì)，完成最終的分類(lèi)。具體來(lái)說(shuō)，人臉識(shí)別(Facial Recognition)，就是通過(guò)視頻采集設(shè)備獲取用戶(hù)的面部圖像，再利用核心的算法對(duì)其臉部的五官位置、臉型和角度進(jìn)行計(jì)算分析，進(jìn)而和自身數(shù)據(jù)庫(kù)里已有的范本進(jìn)行比對(duì)，后判斷出用戶(hù)的真實(shí)身份。

其中，行為分析算法(或智能分析算法)的主要特征是采用計(jì)算機(jī)視覺(jué)的方法，在幾乎不需要人為干預(yù)的情況下，通過(guò)對(duì)攝像機(jī)拍錄的圖像序列盡享定位、識(shí)別和跟蹤，并在此基礎(chǔ)上分析和判斷目標(biāo)的行為，從而做到既能完成日常管理又能在異常情況發(fā)生的時(shí)候及時(shí)作出反應(yīng)。主要優(yōu)勢(shì)有：群體行為分析、入侵檢測(cè)和運(yùn)動(dòng)目標(biāo)跟蹤、有效擴(kuò)展視頻資源的用途、滯留物和 搬移報(bào)警、對(duì)攝像機(jī)保護(hù)、降低人力成本。具體來(lái)說(shuō)，行為分析算法是通過(guò)采用先進(jìn)的智能圖像處理算法，辨別不同環(huán)境中監(jiān)控物體的行為，例如拌線(xiàn)、入侵、滯留、徘徊等，可以連續(xù)追蹤移動(dòng)或靜止的物體，并具有焰火煙霧檢測(cè)等功能。

步驟S13，獲取并保存人體屬性對(duì)應(yīng)的時(shí)空信息。

對(duì)于提取的每個(gè)人的人體屬性，獲取并保存該人體出現(xiàn)的時(shí)間和地點(diǎn)，將人體屬性與對(duì)應(yīng)的時(shí)空信息相關(guān)聯(lián)的保存在數(shù)據(jù)庫(kù)中。時(shí)間信息可以根據(jù)需要具體到某一天，甚至該天內(nèi)具體的小時(shí)、分、秒等，該時(shí)間信息可以體現(xiàn)出某個(gè)人體與特定時(shí)間之間的關(guān)系?？臻g信息至少包括監(jiān)控的指定區(qū)域，該指定區(qū)域中的某個(gè)分析區(qū)域等，該空間信息可以體現(xiàn)出某個(gè)人體與特定區(qū)域之間的關(guān)系。

這里，步驟S12和步驟S13可以先后執(zhí)行，也可以同時(shí)執(zhí)行，即在提取人體屬性的同時(shí)提取人體屬性對(duì)應(yīng)的時(shí)空信息。

步驟S14，重復(fù)步驟S12-S13直至達(dá)到預(yù)定時(shí)間長(zhǎng)度。

重復(fù)執(zhí)行前述步驟S12-S13，持續(xù)的采集、提取并存儲(chǔ)數(shù)據(jù)，當(dāng)數(shù)據(jù)庫(kù)中保存了預(yù)定時(shí)間長(zhǎng)度的數(shù)據(jù)(人臉特征、人體特征、行為方式特征、時(shí)間和地點(diǎn))后，即可執(zhí)行后續(xù)的步驟以進(jìn)行數(shù)據(jù)分析和分類(lèi)。這里，數(shù)據(jù)庫(kù)中保存預(yù)定時(shí)間長(zhǎng)度的數(shù)據(jù)的含義，是指當(dāng)需要存儲(chǔ)的數(shù)據(jù)量超過(guò)該預(yù)定時(shí)間長(zhǎng)度時(shí)，即執(zhí)行后續(xù)的步驟以進(jìn)行數(shù)據(jù)分析和分類(lèi)。數(shù)據(jù)庫(kù)中保存的以前的數(shù)據(jù)并不會(huì)自動(dòng)刪除，每次進(jìn)行數(shù)據(jù)分析時(shí)，都是基于全部數(shù)據(jù)或者指定時(shí)間段內(nèi)的數(shù)據(jù)進(jìn)行分析。

舉例來(lái)說(shuō)，如果預(yù)定時(shí)間長(zhǎng)度是6個(gè)月，當(dāng)達(dá)到預(yù)定時(shí)間長(zhǎng)度后，在進(jìn)行數(shù)據(jù)分析時(shí)，基于該6個(gè)月的數(shù)據(jù)進(jìn)行分析和分類(lèi)，或者可以指定某個(gè)時(shí)間段的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和分類(lèi)，例如指定時(shí)間段為2014年6月-2015年6月。

本發(fā)明的實(shí)施例中，所述預(yù)定時(shí)間長(zhǎng)度可以根據(jù)需要設(shè)置，例如可以為幾個(gè)月，也可以為一年或幾年。

圖3是根據(jù)本發(fā)明另一實(shí)施方式的信息分類(lèi)方法流程圖。

如圖3所示，前述步驟S2的基于時(shí)空信息對(duì)人體屬性進(jìn)行分類(lèi)的方法中，按照時(shí)間和地點(diǎn)對(duì)人體屬性進(jìn)行分類(lèi)，得到經(jīng)常出現(xiàn)在相同時(shí)間和相同地點(diǎn)的人以及這些人中行為方式具有相關(guān)性的兩人或多人，所述方法包括下述步驟：

步驟S21，調(diào)用分類(lèi)算法對(duì)采集的人體屬性及對(duì)應(yīng)的時(shí)空信息進(jìn)行訓(xùn)練。

調(diào)用分類(lèi)算法，將前述采集存儲(chǔ)的海量數(shù)據(jù)投入分類(lèi)算法中進(jìn)行訓(xùn)練。訓(xùn)練過(guò)程中，基于人體屬性中的人體物理屬性可以識(shí)別出是否屬于同一個(gè)人。

步驟S22，按照時(shí)間和地點(diǎn)對(duì)出現(xiàn)的人進(jìn)行分類(lèi)。

按照時(shí)間和地點(diǎn)對(duì)每一幀數(shù)據(jù)出現(xiàn)的人進(jìn)行分類(lèi)，標(biāo)示出每幀出現(xiàn)的人的出現(xiàn)時(shí)間和出現(xiàn)地點(diǎn)。

步驟S23，調(diào)用分類(lèi)算法對(duì)出現(xiàn)在相近時(shí)間和相近地點(diǎn)的人進(jìn)行分類(lèi)整合。

本步驟中，調(diào)用分類(lèi)算法對(duì)出現(xiàn)在相近時(shí)間、相近地點(diǎn)的人進(jìn)行類(lèi)別整合，整合出在相近時(shí)間或相近地點(diǎn)反復(fù)出現(xiàn)的一個(gè)或多個(gè)人。

這里，所謂的“相近時(shí)間”或“相近地點(diǎn)”，可以根據(jù)實(shí)際情況設(shè)定，在一定的冗余范圍內(nèi)均可以視為相近。

步驟S24，迭代分類(lèi)算法提取在相近時(shí)間出現(xiàn)在相近地點(diǎn)的人。

本步驟中，通過(guò)迭代分類(lèi)算法，提取并確定出經(jīng)常在相近時(shí)間出現(xiàn)在相近地點(diǎn)的一個(gè)或多個(gè)人。優(yōu)選的，可以確定出經(jīng)常在同一時(shí)間出現(xiàn)在同一地點(diǎn)的人群。本發(fā)明中，所采用的分類(lèi)算法可以使現(xiàn)有技術(shù)中已有的任何一種算法，只能能基于時(shí)間、空間信息對(duì)具有不同人體屬性的人進(jìn)行分類(lèi)即可，分類(lèi)算法本身不在本發(fā)明的考慮范圍內(nèi)。

本實(shí)施例中，當(dāng)擁有海量數(shù)據(jù)后，可以調(diào)用分類(lèi)算法把出現(xiàn)的人員信息分析，例如按照人臉、出現(xiàn)時(shí)間戳、出現(xiàn)在同一個(gè)區(qū)域或者相鄰區(qū)域的次數(shù)、說(shuō)話(huà)口型、手勢(shì)方向等等條件進(jìn)行分類(lèi)，訓(xùn)練完全結(jié)束后對(duì)分類(lèi)信息進(jìn)行統(tǒng)計(jì)。

圖4是根據(jù)本發(fā)明實(shí)施方式的信息提取方法流程圖。

如圖4所示，前述步驟S3用于提取出具有時(shí)空相關(guān)性或行為相關(guān)性的人，用于判斷出人與人之間的關(guān)系，人與特定區(qū)域的關(guān)系，所述方法包括下述步驟：

步驟S31，提取出在相近時(shí)間和相近地點(diǎn)出現(xiàn)次數(shù)超過(guò)第一預(yù)定閾值的人。

本步驟用于判斷出人與特定區(qū)域和時(shí)間的關(guān)系。具體來(lái)說(shuō)，基于時(shí)空信息對(duì)人體屬性進(jìn)行分類(lèi)的分類(lèi)結(jié)果，在經(jīng)常出現(xiàn)在相近時(shí)間和相近地點(diǎn)的人群中，提取出在相近(或相同)時(shí)間和相近(或相同)地點(diǎn)出現(xiàn)次數(shù)超過(guò)第一預(yù)定閾值的一個(gè)或多個(gè)人。這里，所述第一預(yù)定閾值可以根據(jù)具體情況預(yù)先設(shè)置。具有這種特征的人群通常具有特定行為目的，例如執(zhí)勤人員，或者是小偷等。

步驟S32，提取出行為方式相關(guān)次數(shù)超過(guò)第二預(yù)定閾值的人。本步驟用于判斷人與人之間的關(guān)系。具體來(lái)說(shuō)，通過(guò)行為方式特征的相關(guān)性，在相近(或相同)時(shí)間和相近(或相同)地點(diǎn)出現(xiàn)次數(shù)超過(guò)第一預(yù)定閾值的人群中，提取出行為方式具有相關(guān)性的次數(shù)超過(guò)第二預(yù)定閾值的兩個(gè)或多個(gè)人。這里，所述第二預(yù)定閾值可以根據(jù)具體情況預(yù)先設(shè)置。具有這種特征的人群通常具有特定行為目的，例如相識(shí)的執(zhí)勤人員，或者是小偷同伙等。

圖5是本發(fā)明的目標(biāo)關(guān)聯(lián)分析方法流程圖。

如圖5所示，本發(fā)明的目標(biāo)關(guān)聯(lián)分析方法包括下述步驟：

步驟S10，獲取預(yù)定時(shí)間內(nèi)的目標(biāo)個(gè)體的特征屬性及對(duì)應(yīng)的時(shí)空信息。

具體來(lái)說(shuō)，獲取視頻信息中的目標(biāo)個(gè)體的特征屬性及對(duì)應(yīng)的時(shí)空信息。這里，所述目標(biāo)個(gè)體的特征屬性包括目標(biāo)個(gè)體的行為和聲音。對(duì)應(yīng)的時(shí)空信息是指視頻信息中目標(biāo)個(gè)體出現(xiàn)的時(shí)間和地點(diǎn)。

在本步驟中，對(duì)獲取的預(yù)定時(shí)間內(nèi)的目標(biāo)個(gè)體的特征屬性，即行為和聲音進(jìn)行識(shí)別，以分析目標(biāo)個(gè)體之間是否存在肢體接觸和/或交談的行為方式。

步驟S20，統(tǒng)計(jì)目標(biāo)個(gè)體之間具有相同或相近的時(shí)空信息的次數(shù)。

本步驟中，使用分類(lèi)算法按照時(shí)間和地點(diǎn)對(duì)目標(biāo)個(gè)體的特征屬性進(jìn)行分類(lèi)，得到經(jīng)常出現(xiàn)(或出現(xiàn)次數(shù)超過(guò)一定閾值)在相同(或相近)時(shí)間和相同(或相近)地點(diǎn)的人，進(jìn)一步，可以得到這些人中行為方式具有相關(guān)性的兩人或多人，統(tǒng)計(jì)這些人中具有相同或相近的時(shí)空信息的次數(shù)。

其中，所述相同或相近的時(shí)空信息包括：至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)時(shí)間相同，和/或至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)地點(diǎn)的距離差值為0；或者至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)時(shí)間差值小于時(shí)間閾值，和/或至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)地點(diǎn)的距離差值小于距離閾值。

也即，至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)時(shí)間相同和至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)地點(diǎn)的距離差值為0，或者至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)時(shí)間相同，或者至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)地點(diǎn)的距離差值為0，或者至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)時(shí)間差值小于時(shí)間閾值和至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)地點(diǎn)的距離差值小于距離閾值，或者至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)時(shí)間差值小于時(shí)間閾值，或者至少兩個(gè)目標(biāo)個(gè)體的出現(xiàn)地點(diǎn)的距離差值小于距離閾值。

其中，所述距離由所述至少兩個(gè)目標(biāo)個(gè)體在圖像幀的位置坐標(biāo)進(jìn)行確定。所述目標(biāo)個(gè)體的出現(xiàn)時(shí)間由所述至少兩個(gè)目標(biāo)個(gè)體出現(xiàn)在圖像幀中的時(shí)間進(jìn)行確定。

步驟S30，判斷所述次數(shù)是否超過(guò)預(yù)設(shè)次數(shù)。

本步驟中，統(tǒng)計(jì)出目標(biāo)個(gè)體之間具有相同或相近時(shí)空信息的次數(shù)，將所述次數(shù)與預(yù)設(shè)的次數(shù)進(jìn)行比較。

步驟S40，若所述次數(shù)超過(guò)預(yù)設(shè)次數(shù)，則判定所述目標(biāo)個(gè)體之間存在關(guān)聯(lián)關(guān)系。

本步驟中，首先將統(tǒng)計(jì)出的所述次數(shù)和預(yù)設(shè)的次數(shù)進(jìn)行比較，如果所述統(tǒng)計(jì)出的次數(shù)超過(guò)預(yù)設(shè)的次數(shù)，則判定所述目標(biāo)個(gè)體之間存在關(guān)聯(lián)關(guān)系。最后，將確定的所述目標(biāo)個(gè)體之間的關(guān)聯(lián)關(guān)系，統(tǒng)計(jì)次數(shù)以及目標(biāo)個(gè)體的特征屬性進(jìn)行存儲(chǔ)。最后，根據(jù)統(tǒng)計(jì)的目標(biāo)個(gè)體之間的統(tǒng)計(jì)次數(shù)和行為方式出現(xiàn)的次數(shù)，確定目標(biāo)個(gè)體之間的關(guān)聯(lián)程度。所述關(guān)聯(lián)程度用數(shù)值表示，由所述 統(tǒng)計(jì)次數(shù)和所述行為方式次數(shù)通過(guò)加權(quán)計(jì)算來(lái)確定。其中，數(shù)值越高，則表示對(duì)應(yīng)的目標(biāo)個(gè)體之間關(guān)聯(lián)程度越高。例如，火車(chē)站廣場(chǎng)里黃牛之間互相較為熟悉，每天會(huì)聚集在一起聊天，他們之間的相關(guān)度，即關(guān)聯(lián)程度必然較陌生人高。

如圖3所示，本發(fā)明的目標(biāo)個(gè)體的關(guān)聯(lián)分析方法中的前述步驟S20同樣包括：

步驟S201，調(diào)用分類(lèi)算法對(duì)采集的目標(biāo)個(gè)體的特征屬性及對(duì)應(yīng)的時(shí)空信息進(jìn)行訓(xùn)練。具體描述參見(jiàn)前述步驟S21。

步驟S202，按照時(shí)間和地點(diǎn)對(duì)出現(xiàn)的目標(biāo)個(gè)體進(jìn)行分類(lèi)。具體描述參見(jiàn)前述步驟S22。

步驟S203，調(diào)用分類(lèi)算法對(duì)出現(xiàn)在相近時(shí)間和相近地點(diǎn)的目標(biāo)個(gè)體進(jìn)行分類(lèi)整合。具體描述參見(jiàn)前述步驟S23。

步驟S204，迭代分類(lèi)算法提取在相近時(shí)間出現(xiàn)在相近地點(diǎn)的目標(biāo)個(gè)體。

具體描述參見(jiàn)前述步驟S24。

下面是本發(fā)明的一具體示例。

這里，以火車(chē)站廣場(chǎng)為例，以火車(chē)站廣場(chǎng)為指定區(qū)域，假設(shè)該廣場(chǎng)是正方形的，等分面積后切分成若干個(gè)正方形的小方塊，這些小方塊就是所謂的分析區(qū)域，這里假設(shè)切分為500份，即500個(gè)分析區(qū)域，對(duì)這500個(gè)分析區(qū)域里的每一個(gè)分析區(qū)域均從東南西北四個(gè)方向安裝攝像頭，對(duì)該區(qū)域?qū)嵭?*24小時(shí)監(jiān)控。

針對(duì)每天的監(jiān)控視頻都采用人臉智能算法和行為分析算法進(jìn)行分析，提取出人臉模型、行為特征、人體屬性、時(shí)間和地點(diǎn)并存儲(chǔ)在數(shù)據(jù)庫(kù)中，隨著數(shù)據(jù)庫(kù)中數(shù)據(jù)的不斷積累，幾年時(shí)間里不斷在廣場(chǎng)里出現(xiàn)的人一定是和廣場(chǎng)有密切關(guān)系的人，例如火車(chē)站工作人員、倒賣(mài)車(chē)票的黃牛、拉客的酒店服務(wù)人員等等，而經(jīng)常出現(xiàn)在同一個(gè)畫(huà)面里的人之間互相可能有關(guān)系。

可以通過(guò)行為分析算法分析兩個(gè)人之間的行為方式，例如針對(duì)某兩人之間的眼神、手勢(shì)方向，可以判斷該兩人是在打招呼或者是在對(duì)話(huà)；例如打招 呼，如果不斷出現(xiàn)兩個(gè)人打招呼的動(dòng)作，即能夠確認(rèn)兩個(gè)人或者多個(gè)人之間的某種關(guān)系，例如朋友、同伙等；當(dāng)擁有一定時(shí)間長(zhǎng)度的數(shù)據(jù)后，可以調(diào)用分類(lèi)算法把出現(xiàn)的人員進(jìn)行信息分析，按照人臉、出現(xiàn)時(shí)間戳、出現(xiàn)在同一個(gè)分析區(qū)域或者相鄰分析區(qū)域的次數(shù)、說(shuō)話(huà)口型、手勢(shì)方向等等條件進(jìn)行分類(lèi)，訓(xùn)練完全結(jié)束后對(duì)分類(lèi)信息進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果可以判斷出人與人之間的關(guān)系，人與特定區(qū)域的關(guān)系等，然后根據(jù)該判斷結(jié)果有針對(duì)性的應(yīng)用，例如若要在火車(chē)站抓黃牛或者黑車(chē)司機(jī)，由于這些人群長(zhǎng)期在火車(chē)站廣場(chǎng)活動(dòng)，互相之間認(rèn)識(shí)，每天也會(huì)聚會(huì)幾次或者打招呼，經(jīng)過(guò)長(zhǎng)時(shí)間的視頻分析，根據(jù)判斷結(jié)果可以逐漸找出這些團(tuán)伙性組織的領(lǐng)頭人以及成員。

圖6是本發(fā)明的人群視頻分析系統(tǒng)的結(jié)構(gòu)示意圖。

如圖6所示，所述人群視頻分析系統(tǒng)，包括視頻信息采集模塊1、信息分類(lèi)模塊2和信息提取模塊3。

視頻信息采集模塊1用于采集預(yù)定時(shí)間內(nèi)的人體屬性及對(duì)應(yīng)的時(shí)空信息。具體來(lái)說(shuō)，采集一段時(shí)間內(nèi)的視頻信息中的人體屬性及對(duì)應(yīng)的時(shí)空信息，即該人體出現(xiàn)的時(shí)間和地點(diǎn)，該時(shí)空信息可以體現(xiàn)出某個(gè)人體與特定時(shí)間、特定空間之間的關(guān)系。這里，人體屬性包括人臉特征、人體特征等人體物理屬性，也包括行為方式等人體行為屬性。人臉特征例如是人面部的五官形狀及位置、膚色或其他特征，人體特征例如是身高、體型、紋身、發(fā)型、衣著等特征，行為方式例如是說(shuō)話(huà)口型、手勢(shì)、眼神等特征，以及發(fā)生該行為時(shí)與該人體相關(guān)的一個(gè)或多個(gè)其他人體，從而體現(xiàn)出人與人之間的關(guān)系。

信息分類(lèi)模塊2連接到所述采集模塊1，用于基于時(shí)空信息對(duì)人體屬性進(jìn)行分類(lèi)。具體來(lái)說(shuō)，使用分類(lèi)算法按照時(shí)間和地點(diǎn)對(duì)人體屬性進(jìn)行分類(lèi)，得到經(jīng)常出現(xiàn)在相近(或相同)時(shí)間和相近(或相同)地點(diǎn)的人以及這些人中行為方式具有相關(guān)性的兩人或多人。

信息提取模塊3連接到所述視頻信息采集模塊1和所述分類(lèi)模塊2，用于提取出具有時(shí)空相關(guān)性或行為相關(guān)性的人。具體來(lái)說(shuō)，從已經(jīng)分類(lèi)的人群中，提取出在相近(或相同)時(shí)間和相近(或相同)地點(diǎn)出現(xiàn)次數(shù)超過(guò)第一 預(yù)定閾值的人，以及行為方式相關(guān)次數(shù)超過(guò)第二預(yù)定閾值的人。這樣，根據(jù)提取結(jié)果可以判斷出人與人之間的關(guān)系，人與特定區(qū)域的關(guān)系等。

圖7是本發(fā)明的視頻信息采集模塊的結(jié)構(gòu)示意圖。

如圖7所示，所述視頻信息采集模塊1包括：視頻信息采集單元11、人體屬性提取單元12和信息處理單元13。

視頻信息采集單元11用于采集指定區(qū)域的視頻信息，并發(fā)送給人體屬性提取單元12和信息處理單元13。通過(guò)多個(gè)攝像頭對(duì)指定區(qū)域進(jìn)行視頻監(jiān)控，采集指定區(qū)域的視頻信息。通常，指定區(qū)域比較大的情況下，會(huì)將指定區(qū)域劃分成多個(gè)片區(qū)，片區(qū)的形狀可以為矩形、正方形或大致圓形等，每個(gè)片區(qū)構(gòu)成一個(gè)分析區(qū)域，對(duì)這些多個(gè)分析區(qū)域分別進(jìn)行視頻監(jiān)控和視頻信息采集。

人體屬性提取單元12連接到所述視頻信息采集單元11，用于從視頻信息中提取人體屬性并發(fā)送給信息處理單元13。人體屬性提取單元12以某個(gè)分析區(qū)域?yàn)榉治瞿繕?biāo)，對(duì)單位時(shí)間(例如每天)內(nèi)的視頻信息進(jìn)行取流、解碼，然后調(diào)用，采用特定的算法提取分析區(qū)域視頻信息中的人體屬性。這里，人體屬性包括人臉特征、人體特征等人體物理屬性，也包括行為方式等人體行為屬性。

信息處理單元13連接到所述視頻信息采集單元11和所述人體屬性提取單元12，用于獲取并保存人體屬性對(duì)應(yīng)的時(shí)空信息。具體的說(shuō)，對(duì)于提取的每個(gè)人的人體屬性，獲取并保存該人體出現(xiàn)的時(shí)間和地點(diǎn)，將人體屬性與對(duì)應(yīng)的時(shí)空信息相關(guān)聯(lián)的保存在數(shù)據(jù)庫(kù)中。

圖8是本發(fā)明的信息提取模塊的結(jié)構(gòu)示意圖。

如圖8所示，所述信息提取模塊3包括時(shí)空信息提取單元31和行為方式提取單元32。

時(shí)空信息提取單元31用于提取出在相近時(shí)間和相近地點(diǎn)出現(xiàn)次數(shù)超過(guò)第一預(yù)定閾值的人。具體來(lái)說(shuō)，時(shí)空信息提取單元31基于時(shí)空信息對(duì)人體屬性進(jìn)行分類(lèi)的分類(lèi)結(jié)果，在經(jīng)常出現(xiàn)在相近時(shí)間和相近地點(diǎn)的人群中，提取出在相近(或相同)時(shí)間和相近(或相同)地點(diǎn)出現(xiàn)次數(shù)超過(guò)第一預(yù)定閾值 的一個(gè)或多個(gè)人，從而判斷出人與特定區(qū)域和時(shí)間的關(guān)系。

行為方式提取單元32連接到所述相同時(shí)空提取單元31，用于提取出行為方式相關(guān)次數(shù)超過(guò)第二預(yù)定閾值的人。具體來(lái)說(shuō)，通過(guò)行為方式特征的相關(guān)性，在相近(或相同)時(shí)間和相近(或相同)地點(diǎn)出現(xiàn)次數(shù)超過(guò)第一預(yù)定閾值的人群中，提取出行為方式具有相關(guān)性的次數(shù)超過(guò)第二預(yù)定閾值的兩個(gè)或多個(gè)人，從而便于判斷人與人之間的關(guān)系。

本發(fā)明通過(guò)采用數(shù)據(jù)挖掘、聚類(lèi)算法等對(duì)所有指定區(qū)域的視頻數(shù)據(jù)進(jìn)行持續(xù)分析，通過(guò)對(duì)每幀數(shù)據(jù)提取人體特征和人體行為特征的方式，識(shí)別出人員之間以及人與特定區(qū)域的關(guān)系；其中指定區(qū)域的劃分保證了視頻數(shù)據(jù)的完整性，并有助于識(shí)別人與特定分析區(qū)域的關(guān)系；長(zhǎng)時(shí)間的監(jiān)控以及采集數(shù)據(jù)可以保證最后判斷的準(zhǔn)確性；調(diào)用人臉智能算法提取進(jìn)行人體特征以及調(diào)用行為分析算法提取人體行為特征可以提高對(duì)人體識(shí)別的精確性；調(diào)用分類(lèi)算法適于對(duì)大量數(shù)據(jù)進(jìn)行準(zhǔn)確快速分類(lèi)。

應(yīng)當(dāng)理解的是，本發(fā)明的上述具體實(shí)施方式僅僅用于示例性說(shuō)明或解釋本發(fā)明的原理，而不構(gòu)成對(duì)本發(fā)明的限制。因此，在不偏離本發(fā)明的精神和范圍的情況下所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。此外，本發(fā)明所附權(quán)利要求旨在涵蓋落入所附權(quán)利要求范圍和邊界、或者這種范圍和邊界的等同形式內(nèi)的全部變化和修改例。