視頻監(jiān)控方法和視頻監(jiān)控系統(tǒng)的制作方法
【專利摘要】本公開涉及視頻監(jiān)控方法和視頻監(jiān)控系統(tǒng)。所述視頻監(jiān)控方法包括：獲取分別經(jīng)由第一視頻采集模塊和第二視頻采集模塊同時(shí)采集的監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)；基于第一視頻數(shù)據(jù)，檢測(cè)至少一個(gè)目標(biāo)對(duì)象，并確定至少一個(gè)目標(biāo)對(duì)象在第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息，參數(shù)信息包括第一位置；基于第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系，根據(jù)第一位置確定至少一個(gè)目標(biāo)對(duì)象在第二視頻數(shù)據(jù)中的對(duì)應(yīng)幀中的第二位置；以及基于第二視頻數(shù)據(jù)，提取處于第二位置的至少一個(gè)目標(biāo)對(duì)象的特征信息，其中，第一視頻采集模塊與第二視頻采集模塊相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，并且第一視頻采集模塊和第二視頻采集模塊包含深度視頻數(shù)據(jù)采集模塊。
【專利說明】
視頻監(jiān)控方法和視頻監(jiān)控系統(tǒng)
技術(shù)領(lǐng)域
[0001 ]本公開涉及視頻監(jiān)控領(lǐng)域，更具體地，本公開涉及一種視頻監(jiān)控方法和使用該視頻監(jiān)控方法的視頻監(jiān)控系統(tǒng)。
【背景技術(shù)】
[0002]對(duì)于監(jiān)控視頻中的行人跟蹤以及行人身份分析對(duì)于很多應(yīng)用領(lǐng)域有著非常大的價(jià)值。例如，對(duì)于智能零售來說，店鋪希望能了解每個(gè)客戶在店鋪中的完整軌跡，同時(shí)又能知道每個(gè)客戶的大致年齡、穿著等身份屬性以及在店鋪觸摸過哪些商品這樣的動(dòng)作行為。此外，對(duì)于安防監(jiān)控領(lǐng)域，在敏感場(chǎng)景下，需要監(jiān)控場(chǎng)景中的每個(gè)行人，以判斷每個(gè)行人是否有異常行為等動(dòng)作。因此，需要對(duì)場(chǎng)景中行人的準(zhǔn)確位置定位跟蹤，并且還希望通過跟蹤行人來獲得一些關(guān)于行人的身份屬性信息以及行人的動(dòng)作分析。
[0003]目前使用單一視角的監(jiān)控視頻采集設(shè)備都不能很好解決此問題。例如，在使用頂視攝像機(jī)的情況下，雖然因?yàn)闆]有行人與行人之間的遮擋，可以很好的定位行人在每一幀中的位置，但是由于頂視視角本身的限制，很難看到每個(gè)行人除了頭部之外的信息，從而無法實(shí)現(xiàn)對(duì)行人身份屬性以及行人可能的動(dòng)作的分析。另一個(gè)方面，在使用俯視攝像機(jī)的情況下，雖然能很大程度上看清每個(gè)行人的外觀，但由于存在行人之間的遮擋，所以對(duì)行人本身的檢測(cè)以及跟蹤造成困難。

【發(fā)明內(nèi)容】

[0004]鑒于上述問題而提出了本公開。本公開提供了一種視頻監(jiān)控方法和使用該視頻監(jiān)控方法的視頻監(jiān)控系統(tǒng)，其通過融合頂視和俯視兩個(gè)視角監(jiān)控信息，實(shí)現(xiàn)完整的行人檢測(cè)跟蹤，以及身份特征和動(dòng)作特征的精確識(shí)別。
[0005]根據(jù)本公開的一個(gè)實(shí)施例，提供了一種視頻監(jiān)控方法，包括:獲取分別經(jīng)由第一視頻采集模塊和第二視頻采集模塊同時(shí)采集的監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù);基于所述第一視頻數(shù)據(jù)，檢測(cè)至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息，所述參數(shù)信息包括第一位置;基于所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系，根據(jù)所述第一位置確定所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的對(duì)應(yīng)幀中的第二位置；以及基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息，其中，所述第一視頻采集模塊與所述第二視頻采集模塊相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，并且所述第一視頻采集模塊和所述第二視頻采集模塊包含深度視頻數(shù)據(jù)采集模塊。
[0006]此外，根據(jù)本公開的一個(gè)實(shí)施例的視頻監(jiān)控方法，還包括:配置所述第一視頻采集模塊和所述第二視頻采集模塊，并且確定所述第一視頻采集模塊的第一坐標(biāo)參數(shù)和所述第二視頻采集模塊的第二坐標(biāo)參數(shù)；以及基于所述第一坐標(biāo)參數(shù)和所述第二坐標(biāo)參數(shù)，確定所述坐標(biāo)變換關(guān)系，其中，所述第一視頻采集模塊和所述第二視頻采集模塊配置在不同位置，并且所述第一視頻采集模塊為頂視視頻采集模塊，所述第二視頻采集模塊為俯視視頻采集模塊。
[0007]此外，根據(jù)本公開的一個(gè)實(shí)施例的視頻監(jiān)控方法，其中基于所述第一視頻數(shù)據(jù)，檢測(cè)所述至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息的步驟包括:獲取包括其深度信息不同于所述監(jiān)控場(chǎng)景的地面深度信息的像素點(diǎn)的區(qū)域?yàn)榍熬昂蜻x區(qū)域;根據(jù)深度信息將所述前景候選區(qū)域分為多個(gè)前景候選子區(qū)域；以及基于第一面積閾值和/或第一高度閾值過濾所述多個(gè)前景候選子區(qū)域，以獲得多個(gè)前景子區(qū)域。
[0008]此外，根據(jù)本公開的一個(gè)實(shí)施例的視頻監(jiān)控方法，其中基于所述第一視頻數(shù)據(jù)，檢測(cè)所述至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息的步驟還包括:對(duì)所述多個(gè)前景子區(qū)域?yàn)V波，確定其中大于第二高度閾值的候選峰值位置；以及利用訓(xùn)練好的分類器確定所述候選峰值位置是否對(duì)應(yīng)于所述至少一個(gè)目標(biāo)對(duì)象的頭部。
[0009]此外，根據(jù)本公開的一個(gè)實(shí)施例的視頻監(jiān)控方法，還包括:根據(jù)檢測(cè)到的所述頭部位置，在所述第一視頻數(shù)據(jù)中的至少兩幀之間關(guān)聯(lián)以確定所述至少一個(gè)目標(biāo)對(duì)象在第一視頻數(shù)據(jù)各幀中的所述第一位置，以獲得所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)態(tài)特征信息。
[0010]此外，根據(jù)本公開的一個(gè)實(shí)施例的視頻監(jiān)控方法，其中基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息的步驟包括:獲得所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的所述對(duì)應(yīng)幀，其中，所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中位于所述第二位置;經(jīng)由第一神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取所述至少一個(gè)目標(biāo)對(duì)象的對(duì)應(yīng)幀第一特征信息；以及經(jīng)由第二神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第一特征信息以及所述對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的身份特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的身份特征信息。
[0011 ]此外，根據(jù)本公開的一個(gè)實(shí)施例的視頻監(jiān)控方法，其中基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息的步驟還包括:經(jīng)由第三神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取所述至少一個(gè)目標(biāo)對(duì)象的對(duì)應(yīng)幀第三特征信息；以及經(jīng)由第四神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第三特征信息、所述獲取的所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的身份特征信息以及所述對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)作特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的動(dòng)作特征信息。
[0012]此外，根據(jù)本公開的一個(gè)實(shí)施例的視頻監(jiān)控方法，其中，所述動(dòng)作特征信息包括骨骼信息和動(dòng)作屬性信息，其中，所述骨骼信息包括所述目標(biāo)對(duì)象骨骼上的多個(gè)關(guān)鍵點(diǎn)，所述第四神經(jīng)網(wǎng)絡(luò)輸出所述多個(gè)關(guān)鍵點(diǎn)在所述對(duì)應(yīng)幀中的坐標(biāo)位置。
[0013]根據(jù)本公開的另一個(gè)實(shí)施例，提供了一種視頻監(jiān)控系統(tǒng)，包括:第一視頻采集模塊，用于采集監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù);第二視頻采集模塊，用于與所述第一視頻采集模塊同時(shí)采集所述監(jiān)控場(chǎng)景的第二視頻數(shù)據(jù)，所述第一視頻采集模塊與所述第二視頻采集模塊相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，其中，所述第一視頻采集模塊和所述第二視頻采集模塊包含深度視頻采集模塊；以及視頻監(jiān)控模塊，用于基于所述視頻數(shù)據(jù)監(jiān)控所述視頻中的至少一個(gè)目標(biāo)對(duì)象，其包含:監(jiān)控目標(biāo)對(duì)象確定單元，用于基于所述第一視頻數(shù)據(jù)，檢測(cè)所述至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息，所述參數(shù)信息包括第一位置;視頻坐標(biāo)變換單元，用于基于所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系，根據(jù)所述第一位置確定所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的第二位置；以及特征信息提取單元，用于基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息。
[0014]此外，根據(jù)本公開的另一個(gè)實(shí)施例的視頻監(jiān)控系統(tǒng)，其中所述第一視頻采集模塊和所述第二視頻采集模塊配置在不同位置，并且所述第一視頻采集模塊為頂視視頻采集模塊，所述第二視頻采集模塊為俯視視頻采集模塊，所述視頻坐標(biāo)變換單元確定所述第一視頻采集模塊的第一坐標(biāo)參數(shù)和所述第二視頻采集模塊的第二坐標(biāo)參數(shù)，并且基于所述第一坐標(biāo)參數(shù)和所述第二坐標(biāo)參數(shù)，確定所述坐標(biāo)變換關(guān)系。
[0015]此外，根據(jù)本公開的另一個(gè)實(shí)施例的視頻監(jiān)控系統(tǒng)，其中所述監(jiān)控目標(biāo)對(duì)象確定單元獲取包括其深度信息不同于所述監(jiān)控場(chǎng)景的地面深度信息的像素點(diǎn)的區(qū)域?yàn)榍熬昂蜻x區(qū)域;根據(jù)深度信息將所述前景候選區(qū)域分為多個(gè)前景候選子區(qū)域；以及基于第一面積閾值和/或第一高度閾值過濾所述多個(gè)前景候選子區(qū)域，以獲得多個(gè)前景子區(qū)域。
[0016]此外，根據(jù)本公開的另一個(gè)實(shí)施例的視頻監(jiān)控系統(tǒng)，其中所述監(jiān)控目標(biāo)對(duì)象確定單元對(duì)所述多個(gè)前景子區(qū)域?yàn)V波，確定其中大于第二高度閾值的候選峰值位置;并且利用訓(xùn)練好的分類器確定所述候選峰值位置是否對(duì)應(yīng)于所述至少一個(gè)目標(biāo)對(duì)象的頭部。
[0017]此外，根據(jù)本公開的另一個(gè)實(shí)施例的視頻監(jiān)控系統(tǒng)，其中所述監(jiān)控目標(biāo)對(duì)象確定單元根據(jù)檢測(cè)到的所述頭部位置，在所述第一視頻數(shù)據(jù)中的至少兩幀之間關(guān)聯(lián)以確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)各幀中的所述第一位置，以獲得所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)態(tài)特征信息。
[0018]此外，根據(jù)本公開的另一個(gè)實(shí)施例的視頻監(jiān)控系統(tǒng)，其中所述特征信息提取單元獲得所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的所述對(duì)應(yīng)幀，其中，所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中位于所述第二位置;所述特征信息提取單元經(jīng)由第一神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取所述至少一個(gè)目標(biāo)對(duì)象的對(duì)應(yīng)幀第一特征信息；以及經(jīng)由第二神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第一特征信息以及所述對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的身份特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的身份特征信息。
[0019]此外，根據(jù)本公開的另一個(gè)實(shí)施例的視頻監(jiān)控系統(tǒng)，其中所述特征信息提取單元還經(jīng)由第三神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取所述至少一個(gè)目標(biāo)對(duì)象的對(duì)應(yīng)幀第三特征信息；以及經(jīng)由第四神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第三特征信息、所述獲取的所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的身份特征信息以及所述對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)作特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的動(dòng)作特征信息。
[0020]此外，根據(jù)本公開的另一個(gè)實(shí)施例的視頻監(jiān)控系統(tǒng)，其中，所述動(dòng)作特征信息包括骨骼信息和動(dòng)作屬性信息，其中，所述骨骼信息包括骨骼上的多個(gè)關(guān)鍵點(diǎn)，所述第四神經(jīng)網(wǎng)絡(luò)輸出所述多個(gè)關(guān)鍵點(diǎn)在所述對(duì)應(yīng)幀中的坐標(biāo)位置。
[0021]根據(jù)本公開的又一個(gè)實(shí)施例，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)了計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被計(jì)算機(jī)運(yùn)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行以下步驟:
[0022]獲取分別經(jīng)由第一視頻采集模塊和第二視頻采集模塊同時(shí)采集的監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù);基于所述第一視頻數(shù)據(jù)，檢測(cè)至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息，所述參數(shù)信息包括第一位置;基于所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系，根據(jù)所述第一位置確定所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的對(duì)應(yīng)幀中的第二位置;以及基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息，其中，所述第一視頻采集模塊與所述第二視頻采集模塊相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，并且所述第一視頻采集模塊和所述第二視頻采集模塊包含深度視頻數(shù)據(jù)采集模塊。
[0023]要理解的是，前面的一般描述和下面的詳細(xì)描述兩者都是示例性的，并且意圖在于提供要求保護(hù)的技術(shù)的進(jìn)一步說明。
【附圖說明】
[0024]通過結(jié)合附圖對(duì)本公開實(shí)施例進(jìn)行更詳細(xì)的描述，本公開的上述以及其它目的、特征和優(yōu)勢(shì)將變得更加明顯。附圖用來提供對(duì)本公開實(shí)施例的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本公開實(shí)施例一起用于解釋本公開，并不構(gòu)成對(duì)本公開的限制。在附圖中，相同的參考標(biāo)號(hào)通常代表相同部件或步驟。
[0025]圖1是概述根據(jù)本公開實(shí)施例的視頻監(jiān)控方法的流程圖。
[0026]圖2是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控系統(tǒng)的功能性框圖。
[0027]圖3A和3B是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控系統(tǒng)的視頻采集模塊的示意圖。
[0028]圖4是進(jìn)一步圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法中的目標(biāo)對(duì)象檢測(cè)及其動(dòng)態(tài)特征信息跟蹤處理的流程圖。
[0029]圖5是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法中的目標(biāo)對(duì)象檢測(cè)的示意圖。
[0030]圖6是進(jìn)一步圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法中的目標(biāo)對(duì)象的身份特征信息和動(dòng)作特征信息獲取處理的流程圖。
[0031]圖7是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法中的目標(biāo)對(duì)象的身份特征信息獲取的示意圖。
[0032]圖8是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法中的目標(biāo)對(duì)象的動(dòng)作特征信息獲取的示意圖。
[0033]圖9是進(jìn)一步圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法獲取的骨骼信息的示意圖。
[0034]圖10是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控系統(tǒng)的示意性框圖。
【具體實(shí)施方式】
[0035]為了使得本公開的目的、技術(shù)方案和優(yōu)點(diǎn)更為明顯，下面將參照附圖詳細(xì)描述根據(jù)本公開的示例實(shí)施例。顯然，所描述的實(shí)施例僅僅是本公開的一部分實(shí)施例，而不是本公開的全部實(shí)施例，應(yīng)理解，本公開不受這里描述的示例實(shí)施例的限制。基于本公開中描述的本公開實(shí)施例，本領(lǐng)域技術(shù)人員在沒有付出創(chuàng)造性勞動(dòng)的情況下所得到的所有其它實(shí)施例都應(yīng)落入本公開的保護(hù)范圍之內(nèi)。
[0036]以下，將參考附圖詳細(xì)描述本公開的實(shí)施例。
[0037]圖1是概述根據(jù)本公開實(shí)施例的視頻監(jiān)控方法的流程圖。如圖1所示，根據(jù)本公開實(shí)施例的視頻監(jiān)控方法包括以下步驟。
[0038]在步驟SlOl中，獲取同時(shí)采集的監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)。
[0039]如下將參照附圖詳細(xì)描述的，在本公開的一個(gè)實(shí)施例中，獲取分別經(jīng)由第一視頻采集模塊和第二視頻采集模塊同時(shí)采集的監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)。所述第一視頻采集模塊與所述第二視頻采集模塊相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，并且所述第一視頻采集模塊和所述第二視頻采集模塊包含深度視頻數(shù)據(jù)采集模塊，使得所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)包括深度視頻數(shù)據(jù)和RGB彩色視頻數(shù)據(jù)。更具體地，所述第一視頻采集模塊和所述第二視頻采集模塊配置在不同位置，且相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，并且所述第一視頻采集模塊為頂視視頻采集模塊，其視角為垂直向下拍攝;所述第二視頻采集模塊為俯視視頻采集模塊，其視角為俯視地面。第一視頻采集模塊和所述第二視頻采集模塊配置為可以覆蓋相同或至少部分相同的監(jiān)控場(chǎng)景。此后，處理進(jìn)到步驟S102o
[0040]在步驟S102中，基于第一視頻數(shù)據(jù)，檢測(cè)至少一個(gè)目標(biāo)對(duì)象，確定至少一個(gè)目標(biāo)對(duì)象在第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息，所述參數(shù)信息包括第一位置。
[0041]如下將參照附圖詳細(xì)描述的，在本公開的一個(gè)實(shí)施例中，利用第一視頻采集模塊(頂視視頻采集模塊)采集的所述第一視頻數(shù)據(jù)，由于視頻采集視角為垂直向下拍攝，其中不存在行人之間的相互遮擋，所以對(duì)于監(jiān)控場(chǎng)景中的作為目標(biāo)對(duì)象的每個(gè)行人，可以精確地檢測(cè)出其準(zhǔn)確的位置(第一位置)，作為目標(biāo)對(duì)象在第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息。進(jìn)一步地，可以將每一幀視頻數(shù)據(jù)中的目標(biāo)對(duì)象進(jìn)行關(guān)聯(lián)，以跟蹤連續(xù)多幀中的每個(gè)行人，從而確定每個(gè)行人在第一視頻數(shù)據(jù)每一幀中的位置并將確定的位置作為目標(biāo)對(duì)象在第一視頻數(shù)據(jù)中的每一幀中的第一位置，以實(shí)現(xiàn)對(duì)于諸如其運(yùn)動(dòng)軌跡的動(dòng)態(tài)特征信息的獲取。此后，處理進(jìn)到步驟S103。
[0042]在步驟S103中，基于第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系，根據(jù)第一位置確定至少一個(gè)目標(biāo)對(duì)象在第二視頻數(shù)據(jù)中的對(duì)應(yīng)幀中的第二位置。
[0043]如下將參照附圖詳細(xì)描述的，在本公開的一個(gè)實(shí)施例中，基于所述第一視頻采集模塊(頂視視頻采集模塊)與所述第二視頻采集模塊(俯視視頻采集模塊)的相對(duì)位置關(guān)系，確定第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系。進(jìn)一步地，基于該坐標(biāo)變換關(guān)系，可以將在步驟S102中確定的至少一個(gè)目標(biāo)對(duì)象在第一視頻數(shù)據(jù)(頂視視頻數(shù)據(jù))中的第一位置轉(zhuǎn)換到該至少一個(gè)目標(biāo)對(duì)象在第二視頻數(shù)據(jù)(俯視視頻數(shù)據(jù))中的對(duì)應(yīng)幀中的相應(yīng)位置(第二位置)。通過基于第一視頻數(shù)據(jù)(頂視視頻數(shù)據(jù))的目標(biāo)對(duì)象的位置檢測(cè)，避免了利用第二視頻數(shù)據(jù)(俯視視頻數(shù)據(jù))檢測(cè)目標(biāo)對(duì)象時(shí)由于行人之間的相互遮擋而可能導(dǎo)致的漏檢或錯(cuò)檢。此后，處理進(jìn)到步驟SI 04。
[0044]在步驟S104中，基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息。
[0045]如下將參照附圖詳細(xì)描述的，在本公開的一個(gè)實(shí)施例中，基于所述第二視頻數(shù)據(jù)，使用神經(jīng)網(wǎng)絡(luò)(例如，卷積神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò))提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息。至少一個(gè)目標(biāo)對(duì)象的特征信息包括但不限于身份特征信息和動(dòng)作特征信息等。所述身份特征信息包括但不限于性別、年齡、穿衣風(fēng)格、身高、體重、頭發(fā)顏色、頭發(fā)長短等屬性信息等。進(jìn)一步地，對(duì)于每個(gè)身份特征屬性信息，可以量化為一個(gè)多元的分類問題。例如，對(duì)于年齡這一身份特征屬性信息，其可以量化為:小孩(O)、少年(I)、青年(2)、中年(3)、老年(4)等;對(duì)于性別這一身份特征屬性信息，可以量化為:男性(O)和女性(I);對(duì)于穿衣風(fēng)格，可以量化為:商務(wù)(O)、休閑(I)、運(yùn)動(dòng)(2)、制服⑶等;身高可以量化為:高(0)、矮(I)等;體重可以量化為:偏重(0)、正常(1)、偏瘦(2)等;頭發(fā)顏色可以量化為黑色
(0)、白色(1)、其它顏色(2)等;頭發(fā)長短可以量化為:長發(fā)(0)、中長發(fā)(1)、短發(fā)(2)、超短發(fā)
(3)等，從而實(shí)現(xiàn)每個(gè)身份特征屬性信息的多元分類。所述動(dòng)作特征信息包括但不限于骨骼信息和動(dòng)作信息。與所述身份特征信息類似，對(duì)于每一種動(dòng)作特征信息也可以量化為一個(gè)多元的分類問題。例如，對(duì)于目標(biāo)對(duì)象在店鋪中的動(dòng)作行為可以量化為:觀看商品(0)、停留
(1)、體驗(yàn)商品(2)等。因此，對(duì)于提取諸如身份特征信息和動(dòng)作特征信息的對(duì)象的特征信息的多元分類問題，可以分別使用對(duì)應(yīng)的誤差函數(shù)來調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)、對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在一個(gè)實(shí)施例中，使用第一神經(jīng)網(wǎng)絡(luò)(例如，第一卷積神經(jīng)網(wǎng)絡(luò))和第二神經(jīng)網(wǎng)絡(luò)(例如，第二反饋神經(jīng)網(wǎng)絡(luò))基于所述第二視頻數(shù)據(jù)，提取目標(biāo)對(duì)象的身份特征信息。在訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)的過程中，可以將每種身份特征屬性信息計(jì)算得到的損失函數(shù)整合在一起，去調(diào)整第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)，以得到訓(xùn)練好的第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)用于提取目標(biāo)對(duì)象的身份特征信息。在一個(gè)實(shí)施例中，使用第三神經(jīng)網(wǎng)絡(luò)(例如，第三卷積神經(jīng)網(wǎng)絡(luò))和第四神經(jīng)網(wǎng)絡(luò)(例如，第四反饋神經(jīng)網(wǎng)絡(luò))基于所述第二視頻數(shù)據(jù)，提取目標(biāo)對(duì)象的動(dòng)作特征信息。在訓(xùn)練第三神經(jīng)網(wǎng)絡(luò)和第四神經(jīng)網(wǎng)絡(luò)的過程中，可以將每種動(dòng)作特征信息計(jì)算得到的損失函數(shù)整合在一起，去調(diào)整第三神經(jīng)網(wǎng)絡(luò)和第四神經(jīng)網(wǎng)絡(luò)，以得到訓(xùn)練好的第三神經(jīng)網(wǎng)絡(luò)和第四神經(jīng)網(wǎng)絡(luò)用于提取目標(biāo)對(duì)象的動(dòng)作特征信息。
[0046]應(yīng)該理解的是，上述身份特征信息和動(dòng)作特征信息及其分類量化僅是示例性的，可以根據(jù)實(shí)際應(yīng)用的需求，采用不同的身份特征信息和動(dòng)作特征信息并對(duì)其進(jìn)行分類量化。
[0047]上述根據(jù)本公開實(shí)施例的視頻監(jiān)控方法，通過頂視視頻采集模塊與俯視視頻采集模塊的配合，首先利用不存在目標(biāo)對(duì)象之間的相互遮擋的頂視視頻數(shù)據(jù)對(duì)于監(jiān)控場(chǎng)景中的目標(biāo)對(duì)象進(jìn)行精確檢測(cè)和跟蹤，以獲取目標(biāo)對(duì)象在頂視視頻數(shù)據(jù)(即第一視頻數(shù)據(jù))中的第一位置信息;通過頂視視頻數(shù)據(jù)和俯視視頻數(shù)據(jù)之間的坐標(biāo)變換關(guān)系，獲取目標(biāo)對(duì)象在俯視視頻數(shù)據(jù)(即第二視頻數(shù)據(jù))中的相應(yīng)的第二位置并進(jìn)行跟蹤;對(duì)于已經(jīng)在俯視視頻數(shù)據(jù)中精確定位的每個(gè)目標(biāo)對(duì)象，利用俯視視頻數(shù)據(jù)能夠提供目標(biāo)對(duì)象更多特征信息的優(yōu)勢(shì)，實(shí)現(xiàn)對(duì)于監(jiān)控場(chǎng)景中的目標(biāo)對(duì)象的諸如身份特征信息和動(dòng)作特征信息的特征信息的獲取。也就是說根據(jù)本公開實(shí)施例的視頻監(jiān)控方法通過融合頂視和俯視兩個(gè)視角監(jiān)控信息，實(shí)現(xiàn)完整的行人檢測(cè)跟蹤，以及身份特征和動(dòng)作特征的精確識(shí)別。
[0048]以下，將參照?qǐng)D2進(jìn)一步描述執(zhí)行上述視頻監(jiān)控方法的一種視頻監(jiān)控系統(tǒng)。
[0049]圖2是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控系統(tǒng)的功能性框圖。如圖2所示，根據(jù)本公開實(shí)施例的視頻監(jiān)控系統(tǒng)20包括第一視頻采集模塊21、第二視頻采集模塊22和視頻監(jiān)控模塊23。
[0050]具體地，所述第一視頻采集模塊21用于采集監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù);所述第二視頻采集模塊22用于與所述第一視頻采集模塊同時(shí)采集所述監(jiān)控場(chǎng)景的第二視頻數(shù)據(jù)。所述第一視頻采集模塊21與所述第二視頻采集模塊22相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，所述第一視頻采集模塊21和所述第二視頻采集模塊22包含深度視頻采集模塊。在本公開的一個(gè)實(shí)施例中，所述第一視頻采集模塊21和所述第二視頻采集模塊22配置在不同位置且相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，所述第一視頻采集模塊21和所述第二視頻采集模塊被配置以覆蓋相同或至少部分相同的監(jiān)控場(chǎng)景，并且所述第一視頻采集模塊21為頂視視頻采集模塊，所述第二視頻采集模塊22為俯視視頻采集模塊。將參照?qǐng)D3A和3B描述所述第一視頻采集模塊21和所述第二視頻采集模塊22的配置。
[0051]圖3A和3B是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控系統(tǒng)的視頻采集模塊的示意圖。圖3A示出所述第一視頻采集模塊21 (頂視視頻采集模塊)，并且圖3B示出所述第二視頻采集模塊22 (俯視視頻采集模塊)。
[0052]如圖3A所示，所述第一視頻采集模塊21(頂視視頻采集模塊)為深度視頻采集模塊，其安裝高度為2.5-4米，其視角為垂直向下拍攝(如圖3A示意性所示)。在本公開的一個(gè)實(shí)施例中，所述第一視頻采集模塊21可以是深度相機(jī)，例如深度彩色雙鏡頭相機(jī)。在深度彩色雙鏡頭相機(jī)的情況下，需要對(duì)相機(jī)進(jìn)行校準(zhǔn)，使得兩個(gè)鏡頭得到的圖像相對(duì)應(yīng)和同步。此夕卜，對(duì)于安裝后的所述第一視頻采集模塊21，確定其離基準(zhǔn)面的實(shí)際高度和角度等坐標(biāo)參數(shù)。選擇預(yù)定基準(zhǔn)面上的多個(gè)基準(zhǔn)點(diǎn)，如圖3A所示，所述預(yù)定基準(zhǔn)面可以是地平面，選擇的基準(zhǔn)點(diǎn)的數(shù)目越大(例如，大于等于5個(gè))，精度越高?；谶x擇的多個(gè)基準(zhǔn)點(diǎn)的坐標(biāo)信息，確定所述第一視頻采集模塊21的相機(jī)坐標(biāo)系統(tǒng)與世界坐標(biāo)系統(tǒng)的變換關(guān)系?？梢酝ㄟ^選擇的多個(gè)基準(zhǔn)點(diǎn)，基于最小二乘法來估計(jì)相機(jī)坐標(biāo)系統(tǒng)到世界坐標(biāo)系統(tǒng)的轉(zhuǎn)換矩陣，即相機(jī)坐標(biāo)系統(tǒng)與世界坐標(biāo)系統(tǒng)的變換關(guān)系。通過利用所述變換關(guān)系，將相機(jī)坐標(biāo)系統(tǒng)轉(zhuǎn)換到世界坐標(biāo)系統(tǒng)，可以確定所述第一視頻采集模塊21的實(shí)際高度和角度等坐標(biāo)參數(shù)。同樣地，將所述第一視頻采集模塊21采集的視頻中的像素點(diǎn)轉(zhuǎn)換到世界坐標(biāo)系統(tǒng)，可以確定視頻監(jiān)控場(chǎng)景中的完整地平面位置。
[0053]如圖3B所示，所述第二視頻采集模塊22(俯視視頻采集模塊)為深度視頻采集模塊，其安裝高度為2.5-3.5米，其視角為俯視地面(如圖3B示意性所示)。在本公開的一個(gè)實(shí)施例中，所述第二視頻采集模塊22可以是深度相機(jī)，例如彩色雙鏡頭相機(jī)。類似地，對(duì)于所述第二視頻采集模塊22，需要對(duì)相機(jī)進(jìn)行校準(zhǔn)，使得兩個(gè)鏡頭得到的圖像相對(duì)應(yīng)和同步。此夕卜，也需要執(zhí)行第二視頻采集模塊22的相機(jī)坐標(biāo)系統(tǒng)與世界坐標(biāo)系統(tǒng)的變換。
[0054]此外，在本公開的一個(gè)實(shí)施例中，還需要建立頂視視角與俯視視角的映射關(guān)系，SP統(tǒng)一所述第一視頻采集模塊21 (頂視視頻采集模塊)和所述第二視頻采集模塊2 2 (俯視視頻采集模塊)所使用的世界坐標(biāo)系統(tǒng)。具體地，在同一場(chǎng)景的頂視視頻數(shù)據(jù)和俯視視頻數(shù)據(jù)中選擇N對(duì)匹配點(diǎn)，例如預(yù)先讓單個(gè)測(cè)試對(duì)象在場(chǎng)景中移動(dòng)，記錄所述測(cè)試對(duì)象每個(gè)時(shí)刻在頂視視頻數(shù)據(jù)和俯視視頻數(shù)據(jù)中的位置，由于場(chǎng)景中僅存在單個(gè)測(cè)試對(duì)象，而不存在遮擋等問題，所以容易精確確定所述測(cè)試對(duì)象在N個(gè)時(shí)間點(diǎn)在頂視視頻數(shù)據(jù)和俯視視頻數(shù)據(jù)中的位置點(diǎn)，并將確定的頂視視頻數(shù)據(jù)和俯視視頻數(shù)據(jù)中的位置點(diǎn)作為N對(duì)匹配點(diǎn)。例如，在頂視視頻數(shù)據(jù)和俯視視頻數(shù)據(jù)中的N對(duì)匹配點(diǎn)分別為:
[0055]X_ti= (x_ti,y_ti,z_ti)
[0056]X_bi= (x_bi，y_bi,z_bi), i = I,...N
[0057]假設(shè)所述第一視頻采集模塊21(頂視視頻采集模塊)所使用的世界坐標(biāo)系統(tǒng)可以經(jīng)由旋轉(zhuǎn)和平移轉(zhuǎn)換到所述第二視頻采集模塊22(俯視視頻采集模塊)所使用的世界坐標(biāo)系統(tǒng)。假設(shè)所述旋轉(zhuǎn)由旋轉(zhuǎn)矩陣R表示，所述平移由平移矩陣T表示，那么RXjAT = XJ3l。進(jìn)一步地，通過使用最小二乘法，可以獲得所述旋轉(zhuǎn)矩陣R和平移矩陣T的近似估計(jì)，從而建立頂視視角與俯視視角的映射關(guān)系，即第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系。
[0058]返回參照?qǐng)D2。由所述第一視頻采集模塊21和第二視頻采集模塊22分別同時(shí)采集的監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)提供給所述視頻監(jiān)控模塊23。所述第一視頻采集模塊21和第二視頻采集模塊22可以與其后的所述視頻監(jiān)控模塊23物理上分離，或者物理上位于同一位置甚至位于同一機(jī)殼內(nèi)部。在所述第一視頻采集模塊21和第二視頻采集模塊22與其后的所述視頻監(jiān)控模塊23物理上分離的情況下，所述第一視頻采集模塊21和第二視頻采集模塊22進(jìn)一步經(jīng)由有線或者無線方式將分別獲取的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)發(fā)送給其后的模塊。在所述第一視頻采集模塊21和第二視頻采集模塊22與其后的所述視頻監(jiān)控模塊23物理上位于同一位置甚至位于同一機(jī)殼內(nèi)部的情況下，所述第一視頻采集模塊21和第二視頻采集模塊22經(jīng)由內(nèi)部總線將分別獲取的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)發(fā)送給其后的模塊。在經(jīng)由有線或者無線方式或者經(jīng)由內(nèi)部總線發(fā)送所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)之前，可以將其預(yù)定格式進(jìn)行編碼和壓縮為圖像數(shù)據(jù)包，以減少發(fā)送需要占用的通信量和帶寬。
[0059]所述視頻監(jiān)控模塊23用于基于所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)監(jiān)控所述視頻中的至少一個(gè)目標(biāo)對(duì)象。所述視頻監(jiān)控模塊23進(jìn)一步包括監(jiān)控目標(biāo)對(duì)象確定單元231、視頻坐標(biāo)變換單元232和特征信息提取單元233。
[0060]所述監(jiān)控目標(biāo)對(duì)象確定單元231用于基于所述第一視頻數(shù)據(jù)，檢測(cè)所述至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息，所述參數(shù)信息包括第一位置。如上所述，利用所述第一視頻采集模塊21 (頂視視頻采集模塊)采集的所述第一視頻數(shù)據(jù)，由于其中不存在行人之間的相互遮擋，所以對(duì)于監(jiān)控場(chǎng)景中的作為目標(biāo)對(duì)象的每個(gè)行人，可以精確地檢測(cè)出其準(zhǔn)確的位置，作為目標(biāo)對(duì)象在第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息。
[0061]所述視頻坐標(biāo)變換單元232用于基于所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系，根據(jù)所述第一位置確定所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)的第二位置。如上所述，通過基于第一視頻數(shù)據(jù)(頂視視頻數(shù)據(jù))的目標(biāo)對(duì)象的位置檢測(cè)，避免了利用第二視頻數(shù)據(jù)(俯視視頻數(shù)據(jù))檢測(cè)目標(biāo)對(duì)象時(shí)由于行人之間的相互遮擋而可能導(dǎo)致的漏檢或錯(cuò)檢。
[0062]所述特征信息提取單元233用于基于所述第二視頻數(shù)據(jù)提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息。在一個(gè)實(shí)施例中，所述特征信息提取單元233用于基于所述第二視頻數(shù)據(jù)，使用神經(jīng)網(wǎng)絡(luò)提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息。如上所述，至少一個(gè)目標(biāo)對(duì)象的特征信息包括但不限于身份特征信息和動(dòng)作特征信息等。對(duì)于提取諸如身份特征信息和動(dòng)作特征信息的對(duì)象的特征信息的多元分類問題，可以分別使用對(duì)應(yīng)的誤差函數(shù)來調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)、對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。例如，在一個(gè)實(shí)施例中，所述特征信息提取單元233使用第一神經(jīng)網(wǎng)絡(luò)(例如，第一卷積神經(jīng)網(wǎng)絡(luò))和第二神經(jīng)網(wǎng)絡(luò)(例如，第二反饋神經(jīng)網(wǎng)絡(luò))基于所述第二視頻數(shù)據(jù)，提取目標(biāo)對(duì)象的身份特征信息。在訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)的過程中，可以將每種身份特征屬性信息計(jì)算得到的損失函數(shù)整合在一起，去調(diào)整第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)，以得到訓(xùn)練好的第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)用于提取目標(biāo)對(duì)象的身份特征信息。在一個(gè)實(shí)施例中，所述特征信息提取單元233使用第三神經(jīng)網(wǎng)絡(luò)(例如，第三卷積神經(jīng)網(wǎng)絡(luò))和第四神經(jīng)網(wǎng)絡(luò)(例如，第四反饋神經(jīng)網(wǎng)絡(luò))基于所述第二視頻數(shù)據(jù)，提取目標(biāo)對(duì)象的動(dòng)作特征信息。在訓(xùn)練第三神經(jīng)網(wǎng)絡(luò)和第四神經(jīng)網(wǎng)絡(luò)的過程中，可以將每種動(dòng)作特征信息計(jì)算得到的損失函數(shù)整合在一起，去調(diào)整第三神經(jīng)網(wǎng)絡(luò)和第四神經(jīng)網(wǎng)絡(luò)，以得到訓(xùn)練好的第三神經(jīng)網(wǎng)絡(luò)和第四神經(jīng)網(wǎng)絡(luò)用于提取目標(biāo)對(duì)象的動(dòng)作特征信息。
[0063]以上，參照?qǐng)D1到圖3B描述了根據(jù)本公開實(shí)施例的視頻監(jiān)控方法以及執(zhí)行該視頻監(jiān)控方法的視頻監(jiān)控系統(tǒng)。以下，將參照流程圖和示意圖，進(jìn)一步詳細(xì)描述根據(jù)本公開實(shí)施例的視頻監(jiān)控方法。
[0064]圖4是進(jìn)一步圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法中的目標(biāo)對(duì)象檢測(cè)及其動(dòng)態(tài)特征信息跟蹤處理的流程圖。圖5是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法中的目標(biāo)對(duì)象檢測(cè)的示意圖。
[0065]如圖4所示，在圖1所示的步驟SlOl中獲取同時(shí)采集的監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)之后，處理進(jìn)到步驟S401，以便執(zhí)行目標(biāo)對(duì)象檢測(cè)及其動(dòng)態(tài)特征信息跟蹤處理。
[0066]在步驟S401，獲取包括其深度信息不同于所述監(jiān)控場(chǎng)景的地面深度信息的像素點(diǎn)的區(qū)域?yàn)榍熬昂蜻x區(qū)域。
[0067]在本公開的一個(gè)實(shí)施例中，預(yù)先在監(jiān)控場(chǎng)景中不存在任何目標(biāo)的情況下，獲取此時(shí)由所述第一視頻采集模塊21捕獲的監(jiān)控場(chǎng)景中每個(gè)位置的地面深度信息，將其保存為矩陣D(x，y)，其代表在每個(gè)圖像坐標(biāo)(x，y)處的地面深度值。獲取由所述第一視頻采集模塊21實(shí)時(shí)捕獲的監(jiān)控場(chǎng)景的當(dāng)前深度值C(x，y)，從而計(jì)算圖像空間中每個(gè)像素位置的深度信息差A(yù)D = C(X，y)_D(X，y)。進(jìn)一步地，確定包括深度信息差大于第一預(yù)定閾值的像素點(diǎn)的區(qū)域?yàn)榍熬昂蜻x區(qū)域。在本公開的一個(gè)實(shí)施例中，在所述監(jiān)控場(chǎng)景的地面基本水平?jīng)]有明顯起伏的情況下，每個(gè)位置的地面深度信息是統(tǒng)一的，那么就可以將實(shí)時(shí)捕獲的監(jiān)控場(chǎng)景中其深度信息不同于所述監(jiān)控場(chǎng)景的地面深度信息的像素點(diǎn)的區(qū)域?yàn)榍熬昂蜻x區(qū)域。此后，處理進(jìn)到步驟S402。
[0068]在步驟S402中，根據(jù)深度信息將所述前景候選區(qū)域分為多個(gè)前景候選子區(qū)域。例如，根據(jù)深度信息，可以將深度信息相同或相近的區(qū)域劃分在一個(gè)前景候選子區(qū)域內(nèi)。此后，處理進(jìn)到步驟S403。
[0069]在步驟S403中，基于第一面積閾值和/或第一高度閾值過濾所述多個(gè)前景候選子區(qū)域，以獲得多個(gè)前景子區(qū)域。所述第一面積閾值用于將多個(gè)前景候選子區(qū)域中面積過小而不可能是目標(biāo)對(duì)象的候選子區(qū)域過濾掉。所述第一高度閾值用于將多個(gè)前景候選子區(qū)域中離地面高度過小的候選子區(qū)域過濾掉。此后，處理進(jìn)到步驟S404中。
[0070]在步驟S404中，對(duì)所述多個(gè)前景子區(qū)域?yàn)V波，確定其中大于第二高度閾值的候選峰值位置。
[0071]將參照?qǐng)D5進(jìn)一步詳細(xì)描述對(duì)所述多個(gè)前景子區(qū)域?yàn)V波，確定其中大于第二高度閾值的候選峰值位置，即確定候選目標(biāo)對(duì)象頭部的位置。圖5是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法中的目標(biāo)對(duì)象檢測(cè)的示意圖。
[0072]對(duì)于多個(gè)前景子區(qū)域，由于在擁擠的情況下，可能存在多個(gè)目標(biāo)對(duì)象處于一個(gè)前景子區(qū)域中的情況。如圖5所示的是多個(gè)前景子區(qū)域的深度示意圖?？梢圆捎玫姆逯邓阉饕詸z出所有峰值位置。例如，在深度圖中搜索最高的峰值，例如圖5中的峰i。在該峰:附近進(jìn)行過濾，過濾峰:到谷i和谷2中的所有點(diǎn)，直到找到下一個(gè)峰值位置，如圖5中的峰3，如果峰3的幅值(距離山腰的高度)大于第一閾值，則將峰3視為山峰;否則，過濾掉。繼續(xù)找下一個(gè)峰值的位置，如圖5中的峰2，如果峰2的幅值(距離山腰的高度)大于第一閾值，則將峰2視為山峰;否則，過濾掉。按照同樣的方法將所有峰值找到，對(duì)于深度圖中搜索到的所有峰值，將其高度值與預(yù)定第二高度閾值比較，認(rèn)為大于該預(yù)定第二高度閾值的峰值位置存在目標(biāo)對(duì)象的頭部。如此，可以檢出所述多個(gè)前景子區(qū)域中可能存在目標(biāo)對(duì)象的頭部的峰值位置，并且過濾掉由目標(biāo)對(duì)象肩部等造成的噪聲i到噪聲4。
[0073]返回參照?qǐng)D4，在獲得大于第二高度閾值的候選峰值位置后，處理進(jìn)到步驟S405。
[0074]在步驟S405中，判斷候選峰值位置是否對(duì)應(yīng)于至少一個(gè)目標(biāo)對(duì)象的頭部。在本公開的一個(gè)實(shí)施例中，利用訓(xùn)練好的分類器確定所述候選峰值位置是否對(duì)應(yīng)于所述至少一個(gè)目標(biāo)對(duì)象的頭部。例如，對(duì)于利用深度圖像獲得的候選峰值位置，可以利用RGB圖像進(jìn)行進(jìn)一步驗(yàn)證。從對(duì)應(yīng)于該候選峰值位置的RGB圖像中提取出預(yù)定區(qū)域(例如，矩形區(qū)域)，用預(yù)先訓(xùn)練好的行人頭部分類器進(jìn)行分類，判斷該預(yù)定區(qū)域是否對(duì)應(yīng)于行人頭部。
[0075]如果在步驟S405獲得否定結(jié)果，即候選峰值位置不對(duì)應(yīng)于至少一個(gè)目標(biāo)對(duì)象的頭部，則處理返回步驟S401，以便繼續(xù)基于深度視頻數(shù)據(jù)確定候選峰值位置。
[0076]相反地，如果在步驟S405獲得肯定結(jié)果，即候選峰值位置對(duì)應(yīng)于至少一個(gè)目標(biāo)對(duì)象的頭部，則處理進(jìn)到步驟S406。
[0077]在步驟S406中，檢測(cè)到至少一個(gè)目標(biāo)對(duì)象的頭部位置。也就是說，確定并且記錄對(duì)應(yīng)于至少一個(gè)目標(biāo)對(duì)象的頭部的峰值位置為該至少一個(gè)目標(biāo)對(duì)象的第一位置，并將此第一位置作為目標(biāo)對(duì)象的參數(shù)信息。此后，處理進(jìn)到步驟S407。
[0078]在步驟S407中，在第一視頻數(shù)據(jù)的中至少兩幀之間關(guān)聯(lián)以確定至少一個(gè)目標(biāo)對(duì)象在各幀中的第一位置，以獲得至少一個(gè)目標(biāo)對(duì)象的動(dòng)態(tài)特征信息。在本公開的一個(gè)實(shí)施例中，假設(shè)在第t幀檢測(cè)到至少一個(gè)目標(biāo)對(duì)象，對(duì)于在第(t+Ι)幀中檢測(cè)到的目標(biāo)對(duì)象，可以使用空間位置關(guān)系以及目標(biāo)對(duì)象頭部的高度大小顏色等信息求出第t幀和第(t+i)幀中目標(biāo)對(duì)象的相似度關(guān)系，即連接第t幀中每一個(gè)目標(biāo)對(duì)象的頭部和第(t+1)幀中每個(gè)目標(biāo)對(duì)象的頭部的每條邊的權(quán)重。根據(jù)匈牙利算法或者網(wǎng)絡(luò)流算法，計(jì)算出權(quán)重最大的邊，并將權(quán)重最大的邊所連接的目標(biāo)對(duì)象的頭部作為同一個(gè)目標(biāo)對(duì)象的頭部，從而確定目標(biāo)對(duì)象在連續(xù)幀中的位置，從而可以更新其位置、速度等動(dòng)態(tài)特征信息，并且獲得目標(biāo)對(duì)象在監(jiān)控場(chǎng)景中的整體運(yùn)動(dòng)軌跡。
[0079]以上，通過圖4中的步驟S401到S407，基于所述第一視頻采集模塊21(頂視視頻采集模塊)采集的所述第一視頻數(shù)據(jù)，檢測(cè)至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息(步驟S102)，從而實(shí)現(xiàn)精確檢測(cè)和跟蹤監(jiān)控場(chǎng)景中的目標(biāo)對(duì)象。以下，將進(jìn)一步描述通過頂視視頻采集模塊與俯視視頻采集模塊的配合，對(duì)于檢測(cè)和跟蹤監(jiān)控場(chǎng)景中的目標(biāo)對(duì)象進(jìn)一步獲取諸如身份特征信息和動(dòng)作特征信息的特征信息。
[0080]圖6是進(jìn)一步圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法中的目標(biāo)對(duì)象的身份特征信息和動(dòng)作特征信息獲取處理的流程圖。
[0081]如圖6所示，在圖1所示的步驟S103中基于第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系，根據(jù)第一位置確定至少一個(gè)目標(biāo)對(duì)象在第二視頻數(shù)據(jù)中的對(duì)應(yīng)幀中的第二位置之后，處理進(jìn)到步驟S601?S605，實(shí)現(xiàn)基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息(步驟S104)。在下文中，將詳細(xì)描述基于所述第二視頻數(shù)據(jù)，使用神經(jīng)網(wǎng)絡(luò)提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息。
[0082]在步驟S601中，獲得所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的所述對(duì)應(yīng)幀，其中，所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中位于第二位置。如上所述，位于第二位置的至少一個(gè)目標(biāo)對(duì)象的所述對(duì)應(yīng)幀視頻數(shù)據(jù)也包括深度視頻數(shù)據(jù)。此后，處理進(jìn)到步驟S602o
[0083]在步驟S602中，經(jīng)由第一神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取至少一個(gè)目標(biāo)對(duì)象的所述對(duì)應(yīng)幀第一特征信息。所述第一特征信息用于表示對(duì)應(yīng)幀中的視頻數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，所述第一神經(jīng)網(wǎng)絡(luò)是預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)(CNN)。此后，處理進(jìn)到步驟S603。
[0084]在步驟S603中，經(jīng)由第二神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第一特征信息以及對(duì)應(yīng)幀之前任一幀中獲得的至少一個(gè)目標(biāo)對(duì)象的身份特征信息，獲取至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的身份特征信息。
[0085]參照?qǐng)D7進(jìn)一步描述上述步驟S602和S603。圖7是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法中的目標(biāo)對(duì)象的身份特征信息獲取的示意圖。
[0086]如圖7所示，將第二視頻數(shù)據(jù)的對(duì)應(yīng)幀(例如，第t幀)視頻數(shù)據(jù)輸入第一神經(jīng)網(wǎng)絡(luò)71(該第t幀視頻數(shù)據(jù)中，所述目標(biāo)對(duì)象位于第二位置)，第一神經(jīng)網(wǎng)絡(luò)71可以包括卷積神經(jīng)網(wǎng)絡(luò)CNN711。經(jīng)由第一神經(jīng)網(wǎng)絡(luò)71中的CNN 711獲得第t幀第一特征信息。進(jìn)一步地，將由CNN 711提取的單幀信息輸入第二神經(jīng)網(wǎng)絡(luò)72，此外將對(duì)于前一幀(第(t-Ι)幀)已經(jīng)獲得的中間結(jié)果(第(t-Ι)幀身份特征信息)也輸入所述第二神經(jīng)網(wǎng)絡(luò)72。所述第二神經(jīng)網(wǎng)絡(luò)72可以包括兩個(gè)反饋神經(jīng)網(wǎng)絡(luò)GRU(Gated Recurrent Unit)(GRU 721 和GRU 722)。其中GRU 721用于基于第(t-Ι)幀身份特征信息和第t幀第一特征信息輸出每種身份特征屬性信息的分類結(jié)果，而GRU 722把所有信息再一次結(jié)合以輸出目標(biāo)對(duì)象在第t幀中的身份特征屬性信息，從而使輸出的每種身份特征屬性信息更加準(zhǔn)確。
[0087]此外，如上所述，所述身份特征屬性信息包括但不限于性別、年齡、穿衣風(fēng)格、身高、體重、頭發(fā)長短、頭發(fā)顏色等屬性信息等。進(jìn)一步地，對(duì)于每個(gè)身份特征屬性信息，可以量化為一個(gè)多元的分類問題。也就是說，在所述第二神經(jīng)網(wǎng)絡(luò)72的輸出端存在多個(gè)分類輸出，每個(gè)分類輸出對(duì)應(yīng)于一種身份特征屬性信息。
[0088]圖7中所示為基于所述對(duì)應(yīng)幀(第t幀)的前一幀(第(t-Ι)幀)的身份特征信息獲得對(duì)應(yīng)幀(第t幀)的身份特征信息，應(yīng)當(dāng)理解的是，還可以基于當(dāng)對(duì)應(yīng)幀之前的任一幀(第(t-n)幀)的身份特征信息獲得對(duì)應(yīng)幀(第t幀)的身份特征信息。
[0089]返回參照?qǐng)D6，在步驟S603中獲得至少一個(gè)目標(biāo)對(duì)象的身份特征信息之后，處理進(jìn)到步驟S604。
[0090]在步驟S604中，經(jīng)由第三神經(jīng)網(wǎng)絡(luò)，基于對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取至少一個(gè)目標(biāo)對(duì)象的對(duì)應(yīng)幀第三特征信息。所述對(duì)應(yīng)幀第三特征信息用于表示對(duì)應(yīng)幀中的視頻數(shù)據(jù)。在本公開的一個(gè)實(shí)施例中，所述第三神經(jīng)網(wǎng)絡(luò)是預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)(CNN)。此后，處理進(jìn)到步驟S605。
[0091]在步驟S605中，經(jīng)由第四神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第三特征信息、所述獲取的對(duì)應(yīng)幀中的身份特征信息以及對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)作特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的動(dòng)作特征信息。
[0092]參照?qǐng)D8和圖9進(jìn)一步描述上述步驟S604和S605。圖8是圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法中的目標(biāo)對(duì)象的動(dòng)作特征信息獲取的示意圖。
[0093]如圖8所示，在將第二視頻數(shù)據(jù)的對(duì)應(yīng)幀(例如，第t幀)視頻數(shù)據(jù)輸入第三神經(jīng)網(wǎng)絡(luò)81，第三神經(jīng)網(wǎng)絡(luò)81包括卷積神經(jīng)網(wǎng)絡(luò)CNN811。經(jīng)由第三神經(jīng)網(wǎng)絡(luò)81中的CNN 811獲得第t幀第三特征信息之后，進(jìn)一步地，將由CNN 811提取的單幀信息輸入第四神經(jīng)網(wǎng)絡(luò)82，所述第四神經(jīng)網(wǎng)絡(luò)82同樣可以包括兩個(gè)反饋神經(jīng)網(wǎng)絡(luò)GRU(GRU 821和GRU 822)。此外，將對(duì)于前一幀(第(t-Ι)幀)已經(jīng)獲得的中間結(jié)果(第(t-Ι)幀動(dòng)作特征信息)和由第二神經(jīng)網(wǎng)絡(luò)72輸出的第t幀身份特征信息也輸入所述第四神經(jīng)網(wǎng)絡(luò)82，這是由于目標(biāo)對(duì)象的動(dòng)作特征信息跟目標(biāo)對(duì)象的身份特征信息有關(guān)，比如目標(biāo)對(duì)象的身高體重信息可能導(dǎo)致目標(biāo)對(duì)象不同的動(dòng)作產(chǎn)生不同的姿態(tài)。所述第四神經(jīng)網(wǎng)絡(luò)82基于所述對(duì)應(yīng)幀第三特征信息、所述獲取的對(duì)應(yīng)幀身份特征信息以及對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)作特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀(例如，第t幀)中的動(dòng)作特征信息。
[0094]圖8中所示為基于對(duì)應(yīng)幀的前一幀(第(t-Ι)幀)的動(dòng)作特征信息獲得對(duì)應(yīng)幀(第t幀)的動(dòng)作特征信息，應(yīng)當(dāng)理解的是，還可以基于對(duì)應(yīng)幀之前的任一幀(第(t-n)幀)的動(dòng)作特征信息獲得對(duì)應(yīng)幀(第t幀)的動(dòng)作特征信息。
[0095]在本公開的一個(gè)實(shí)施例中，動(dòng)作特征信息可以包括但不限于骨骼信息和動(dòng)作信息。類似于上述身份特征信息的分類，所述動(dòng)作特征信息同樣屬于多元的分類問題。此外，對(duì)于骨骼信息和動(dòng)作信息兩者，比如骨骼決定了目標(biāo)對(duì)象的姿態(tài)，姿態(tài)又進(jìn)一步?jīng)Q定了目標(biāo)對(duì)象當(dāng)前的動(dòng)作，反之亦然。因此，類似于上述身份特征信息的分類，所述動(dòng)作特征信息的分類同樣屬于多任務(wù)學(xué)習(xí)過程，可以把兩部分的監(jiān)督信號(hào)結(jié)合起來，使得監(jiān)督信號(hào)更完整，信息量更大。例如，在訓(xùn)練第三神經(jīng)網(wǎng)絡(luò)81和第四神經(jīng)網(wǎng)絡(luò)82的過程中，可以將基于骨骼信息和動(dòng)作信息得到的損失函數(shù)整合起來調(diào)整第三神經(jīng)網(wǎng)絡(luò)81和第四神經(jīng)網(wǎng)絡(luò)82的參數(shù)，從而實(shí)現(xiàn)兩部分的監(jiān)督信號(hào)的結(jié)合，得到訓(xùn)練好的第三神經(jīng)網(wǎng)絡(luò)81和第四神經(jīng)網(wǎng)絡(luò)82用于提取目標(biāo)對(duì)象的動(dòng)作特征信息，所述動(dòng)作特征信息包括骨骼信息和動(dòng)作信息。
[0096]圖9是進(jìn)一步圖示根據(jù)本公開實(shí)施例的視頻監(jiān)控方法獲取的骨骼信息的示意圖。在圖9所示的示意圖中，選取目標(biāo)對(duì)象上的15個(gè)關(guān)鍵點(diǎn)，輸出每個(gè)關(guān)鍵點(diǎn)在視頻圖像中的位置坐標(biāo)作為骨骼信息，基于所述骨骼信息，可以輔助獲得所述動(dòng)作信息。
[0097]圖10是圖示根據(jù)本發(fā)明實(shí)施例的視頻監(jiān)控系統(tǒng)的示意性框圖。如圖10所示，根據(jù)本發(fā)明實(shí)施例的視頻監(jiān)控系統(tǒng)100包括:處理器101、存儲(chǔ)器102、以及在所述存儲(chǔ)器102的中存儲(chǔ)的計(jì)算機(jī)程序指令103。
[0098]所述計(jì)算機(jī)程序指令103在所述處理器101運(yùn)行時(shí)可以實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的視頻監(jiān)控系統(tǒng)的各個(gè)功能模塊的功能，并且/或者可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的視頻監(jiān)控方法的各個(gè)步驟。
[0099]具體地，在所述計(jì)算機(jī)程序指令103被所述處理器101運(yùn)行時(shí)，可以使得視頻監(jiān)控系統(tǒng)100執(zhí)行以下步驟:獲取分別經(jīng)由第一視頻采集模塊和第二視頻采集模塊同時(shí)采集的監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù);基于所述第一視頻數(shù)據(jù)，檢測(cè)至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息，所述參數(shù)信息包括第一位置;基于所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系，根據(jù)所述第一位置確定所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的對(duì)應(yīng)幀中的第二位置；以及基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息，其中，所述第一視頻采集模塊與所述第二視頻采集模塊相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，并且所述第一視頻采集模塊和所述第二視頻采集模塊包含深度視頻數(shù)據(jù)采集模塊。
[0100]此外，在所述計(jì)算機(jī)程序指令103被所述處理器101運(yùn)行時(shí)，可以使得視頻監(jiān)控系統(tǒng)100執(zhí)行:配置所述第一視頻采集模塊和所述第二視頻采集模塊，并且確定所述第一視頻采集模塊的第一坐標(biāo)參數(shù)和所述第二視頻采集模塊的第二坐標(biāo)參數(shù)，以及基于所述第一坐標(biāo)參數(shù)和所述第二坐標(biāo)參數(shù)，確定所述坐標(biāo)變換關(guān)系，其中，所述第一視頻采集模塊和所述第二視頻采集模塊配置在不同位置，并且所述第一視頻采集模塊為頂視視頻采集模塊，所述第二視頻采集模塊為俯視視頻采集模塊。
[0101]此外，在所述計(jì)算機(jī)程序指令103被所述處理器101運(yùn)行時(shí)，可以使得視頻監(jiān)控系統(tǒng)100執(zhí)行:獲取包括其深度信息不同于所述監(jiān)控場(chǎng)景的地面深度信息的像素點(diǎn)的區(qū)域?yàn)榍熬昂蜻x區(qū)域;根據(jù)深度信息將所述前景候選區(qū)域分為多個(gè)前景候選子區(qū)域；以及基于第一面積閾值和/或第一高度閾值過濾所述多個(gè)前景候選子區(qū)域，以獲得多個(gè)前景子區(qū)域。
[0102]此外，在所述計(jì)算機(jī)程序指令103被所述處理器101運(yùn)行時(shí)，可以使得視頻監(jiān)控系統(tǒng)100執(zhí)行:對(duì)所述多個(gè)前景子區(qū)域?yàn)V波，確定其中大于第二高度閾值的候選峰值位置；以及利用訓(xùn)練好的分類器確定所述候選峰值位置是否對(duì)應(yīng)于所述至少一個(gè)目標(biāo)對(duì)象的頭部。
[0103]此外，在所述計(jì)算機(jī)程序指令103被所述處理器101運(yùn)行時(shí)，可以使得視頻監(jiān)控系統(tǒng)100執(zhí)行:根據(jù)檢測(cè)到的所述頭部位置，在所述第一視頻數(shù)據(jù)中的至少兩幀之間關(guān)聯(lián)以確定所述至少一個(gè)目標(biāo)對(duì)象在第一視頻數(shù)據(jù)各幀中的所述第一位置，以獲得所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)態(tài)特征信息。
[0104]此外，在所述計(jì)算機(jī)程序指令103被所述處理器101運(yùn)行時(shí)，可以使得視頻監(jiān)控系統(tǒng)100執(zhí)行:獲得所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的所述對(duì)應(yīng)幀，其中，所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中位于所述第二位置;經(jīng)由第一神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取所述至少一個(gè)目標(biāo)對(duì)象的對(duì)應(yīng)幀第一特征信息；以及經(jīng)由第二神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第一特征信息以及所述對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的身份特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的身份特征信息。
[0105]此外，在所述計(jì)算機(jī)程序指令103被所述處理器101運(yùn)行時(shí)，可以使得視頻監(jiān)控系統(tǒng)100執(zhí)行:經(jīng)由第三神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取所述至少一個(gè)目標(biāo)對(duì)象的對(duì)應(yīng)幀第三特征信息；以及經(jīng)由第四神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第三特征信息、所述獲取的所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的身份特征信息以及所述對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)作特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的動(dòng)作特征信息。
[0106]根據(jù)本公開實(shí)施例的視頻監(jiān)控系統(tǒng)中的各模塊可以通過根據(jù)本公開實(shí)施例的視頻監(jiān)控系統(tǒng)中的處理器運(yùn)行在存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序指令來實(shí)現(xiàn)，或者可以在根據(jù)本公開實(shí)施例的計(jì)算機(jī)程序產(chǎn)品的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)的計(jì)算機(jī)指令被計(jì)算機(jī)運(yùn)行時(shí)實(shí)現(xiàn)。
[0107]所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以包括智能電話的存儲(chǔ)卡、平板電腦的存儲(chǔ)部件、個(gè)人計(jì)算機(jī)的硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(R0M)、可擦除可編程只讀存儲(chǔ)器(EPROM)、便攜式緊致盤只讀存儲(chǔ)器(CD-ROM)、USB存儲(chǔ)器、或者上述存儲(chǔ)介質(zhì)的任意組入口 ο
[0108]根據(jù)本公開的又一個(gè)實(shí)施例，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)了計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被計(jì)算機(jī)運(yùn)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行以下步驟:
[0109]獲取分別經(jīng)由第一視頻采集模塊和第二視頻采集模塊同時(shí)采集的監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù);基于所述第一視頻數(shù)據(jù)，檢測(cè)至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息，所述參數(shù)信息包括第一位置;基于所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系，根據(jù)所述第一位置確定所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的對(duì)應(yīng)幀中的第二位置;以及基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息，其中，所述第一視頻采集模塊與所述第二視頻采集模塊相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，并且所述第一視頻采集模塊和所述第二視頻采集模塊包含深度視頻數(shù)據(jù)采集模塊。
[0110]在上面詳細(xì)描述的本公開的示例實(shí)施例僅僅是說明性的，而不是限制性的。本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離本公開的原理和精神的情況下，可對(duì)這些實(shí)施例進(jìn)行各種修改，組合或子組合，并且這樣的修改應(yīng)落入本公開的范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種視頻監(jiān)控方法，包括: 獲取分別經(jīng)由第一視頻采集模塊和第二視頻采集模塊同時(shí)采集的監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)； 基于所述第一視頻數(shù)據(jù)，檢測(cè)至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息，所述參數(shù)信息包括第一位置； 基于所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系，根據(jù)所述第一位置確定所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的對(duì)應(yīng)幀中的第二位置;以及 基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息， 其中，所述第一視頻采集模塊與所述第二視頻采集模塊相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，并且所述第一視頻采集模塊和所述第二視頻采集模塊包含深度視頻數(shù)據(jù)采集模塊。2.如權(quán)利要求1所述的視頻監(jiān)控方法，還包括: 配置所述第一視頻采集模塊和所述第二視頻采集模塊，并且確定所述第一視頻采集模塊的第一坐標(biāo)參數(shù)和所述第二視頻采集模塊的第二坐標(biāo)參數(shù);以及 基于所述第一坐標(biāo)參數(shù)和所述第二坐標(biāo)參數(shù)，確定所述坐標(biāo)變換關(guān)系， 其中，所述第一視頻采集模塊和所述第二視頻采集模塊配置在不同位置，并且所述第一視頻采集模塊為頂視視頻采集模塊，所述第二視頻采集模塊為俯視視頻采集模塊。3.如權(quán)利要求1所述的視頻監(jiān)控方法，其中基于所述第一視頻數(shù)據(jù)，檢測(cè)所述至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息的步驟包括: 獲取包括其深度信息不同于所述監(jiān)控場(chǎng)景的地面深度信息的像素點(diǎn)的區(qū)域?yàn)榍熬昂蜻x區(qū)域； 根據(jù)深度信息將所述前景候選區(qū)域分為多個(gè)前景候選子區(qū)域；以及基于第一面積閾值和/或第一高度閾值過濾所述多個(gè)前景候選子區(qū)域，以獲得多個(gè)前景子區(qū)域。4.如權(quán)利要求3所述的視頻監(jiān)控方法，其中基于所述第一視頻數(shù)據(jù)，檢測(cè)所述至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息的步驟還包括: 對(duì)所述多個(gè)前景子區(qū)域?yàn)V波，確定其中大于第二高度閾值的候選峰值位置；以及 利用訓(xùn)練好的分類器確定所述候選峰值位置是否對(duì)應(yīng)于所述至少一個(gè)目標(biāo)對(duì)象的頭部。5.如權(quán)利要求4所述的視頻監(jiān)控方法，還包括: 根據(jù)檢測(cè)到的所述頭部位置，在所述第一視頻數(shù)據(jù)中的至少兩幀之間關(guān)聯(lián)以確定所述至少一個(gè)目標(biāo)對(duì)象在第一視頻數(shù)據(jù)各幀中的所述第一位置，以獲得所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)態(tài)特征信息。6.如權(quán)利要求1所述的視頻監(jiān)控方法，其中基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息的步驟包括: 獲得所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的所述對(duì)應(yīng)幀，其中，所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中位于所述第二位置； 經(jīng)由第一神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取所述至少一個(gè)目標(biāo)對(duì)象的對(duì)應(yīng)幀第一特征信息；以及 經(jīng)由第二神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第一特征信息以及所述對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的身份特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的身份特征信息。7.如權(quán)利要求6所述的視頻監(jiān)控方法，其中基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息的步驟還包括: 經(jīng)由第三神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取所述至少一個(gè)目標(biāo)對(duì)象的對(duì)應(yīng)幀第三特征信息；以及 經(jīng)由第四神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第三特征信息、所述獲取的所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的身份特征信息以及所述對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)作特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的動(dòng)作特征信息。8.如權(quán)利要求7所述的視頻監(jiān)控方法，其中，所述動(dòng)作特征信息包括骨骼信息和動(dòng)作屬性信息，其中，所述骨骼信息包括所述目標(biāo)對(duì)象骨骼上的多個(gè)關(guān)鍵點(diǎn)，所述第四神經(jīng)網(wǎng)絡(luò)輸出所述多個(gè)關(guān)鍵點(diǎn)在所述對(duì)應(yīng)幀中的坐標(biāo)位置。9.一種視頻監(jiān)控系統(tǒng)，包括: 第一視頻采集模塊，用于采集監(jiān)控場(chǎng)景的第一視頻數(shù)據(jù)； 第二視頻采集模塊，用于與所述第一視頻采集模塊同時(shí)采集所述監(jiān)控場(chǎng)景的第二視頻數(shù)據(jù)，所述第一視頻采集模塊與所述第二視頻采集模塊相對(duì)于地平面采集視頻數(shù)據(jù)的方向不同，其中，所述第一視頻采集模塊和所述第二視頻采集模塊包含深度視頻采集模塊;以及 視頻監(jiān)控模塊，用于基于所述視頻數(shù)據(jù)監(jiān)控所述視頻中的至少一個(gè)目標(biāo)對(duì)象，其包含: 監(jiān)控目標(biāo)對(duì)象確定單元，用于基于所述第一視頻數(shù)據(jù)，檢測(cè)所述至少一個(gè)目標(biāo)對(duì)象，并確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)中的至少一幀中的參數(shù)信息，所述參數(shù)信息包括第一位置； 視頻坐標(biāo)變換單元，用于基于所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)的坐標(biāo)變換關(guān)系，根據(jù)所述第一位置確定所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的第二位置；以及 特征信息提取單元，用于基于所述第二視頻數(shù)據(jù)，提取處于所述第二位置的所述至少一個(gè)目標(biāo)對(duì)象的特征信息。10.如權(quán)利要求9所述的視頻監(jiān)控系統(tǒng)，其中所述第一視頻采集模塊和所述第二視頻采集模塊配置在不同位置，并且所述第一視頻采集模塊為頂視視頻采集模塊，所述第二視頻采集模塊為俯視視頻采集模塊， 所述視頻坐標(biāo)變換單元確定所述第一視頻采集模塊的第一坐標(biāo)參數(shù)和所述第二視頻采集模塊的第二坐標(biāo)參數(shù)，并且基于所述第一坐標(biāo)參數(shù)和所述第二坐標(biāo)參數(shù)，確定所述坐標(biāo)變換關(guān)系。11.如權(quán)利要求9所述的視頻監(jiān)控系統(tǒng)，其中所述監(jiān)控目標(biāo)對(duì)象確定單元獲取包括其深度信息不同于所述監(jiān)控場(chǎng)景的地面深度信息的像素點(diǎn)的區(qū)域?yàn)榍熬昂蜻x區(qū)域;根據(jù)深度信息將所述前景候選區(qū)域分為多個(gè)前景候選子區(qū)域；以及基于第一面積閾值和/或第一高度閾值過濾所述多個(gè)前景候選子區(qū)域，以獲得多個(gè)前景子區(qū)域。12.如權(quán)利要求11所述的視頻監(jiān)控系統(tǒng)，其中所述監(jiān)控目標(biāo)對(duì)象確定單元對(duì)所述多個(gè)前景子區(qū)域?yàn)V波，確定其中大于第二高度閾值的候選峰值位置;并且利用訓(xùn)練好的分類器確定所述候選峰值位置是否對(duì)應(yīng)于所述至少一個(gè)目標(biāo)對(duì)象的頭部。13.如權(quán)利要求12所述的視頻監(jiān)控系統(tǒng)，其中所述監(jiān)控目標(biāo)對(duì)象確定單元根據(jù)檢測(cè)到的所述頭部位置，在所述第一視頻數(shù)據(jù)中的至少兩幀之間關(guān)聯(lián)以確定所述至少一個(gè)目標(biāo)對(duì)象在所述第一視頻數(shù)據(jù)各幀中的所述第一位置，以獲得所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)態(tài)特征?目息O14.如權(quán)利要求9所述的視頻監(jiān)控系統(tǒng)，其中所述特征信息提取單元獲得所述至少一個(gè)目標(biāo)對(duì)象在所述第二視頻數(shù)據(jù)中的所述對(duì)應(yīng)幀，其中，所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中位于所述第二位置； 所述特征信息提取單元經(jīng)由第一神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取所述至少一個(gè)目標(biāo)對(duì)象的對(duì)應(yīng)幀第一特征信息；以及經(jīng)由第二神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第一特征信息以及所述對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的身份特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的身份特征信息。15.如權(quán)利要求14所述的視頻監(jiān)控系統(tǒng)，其中所述特征信息提取單元還經(jīng)由第三神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀視頻數(shù)據(jù)，獲取所述至少一個(gè)目標(biāo)對(duì)象的對(duì)應(yīng)幀第三特征信息；以及經(jīng)由第四神經(jīng)網(wǎng)絡(luò)，基于所述對(duì)應(yīng)幀第三特征信息、所述獲取的所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的身份特征信息以及所述對(duì)應(yīng)幀之前任一幀中獲得的所述至少一個(gè)目標(biāo)對(duì)象的動(dòng)作特征信息，獲取所述至少一個(gè)目標(biāo)對(duì)象在所述對(duì)應(yīng)幀中的動(dòng)作特征信息。16.如權(quán)利要求15所述的視頻監(jiān)控系統(tǒng)，其中，所述動(dòng)作特征信息包括骨骼信息和動(dòng)作屬性信息，其中，所述骨骼信息包括骨骼上的多個(gè)關(guān)鍵點(diǎn)，所述第四神經(jīng)網(wǎng)絡(luò)輸出所述多個(gè)關(guān)鍵點(diǎn)在所述對(duì)應(yīng)幀中的坐標(biāo)位置。
【文檔編號(hào)】G06K9/00GK105872477SQ201610366216
【公開日】2016年8月17日
【申請(qǐng)日】2016年5月27日
【發(fā)明人】俞剛, 李超, 何奇正, 陳牧歌, 印奇
【申請(qǐng)人】北京曠視科技有限公司, 北京小孔科技有限公司