一種多相機(jī)語(yǔ)義關(guān)聯(lián)目標(biāo)跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于智能監(jiān)控視頻處理技術(shù)領(lǐng)域，涉及一種多相機(jī)語(yǔ)義關(guān)聯(lián)目標(biāo)跟蹤方 法。
【背景技術(shù)】
[0002] 目前，安防監(jiān)控系統(tǒng)的網(wǎng)絡(luò)監(jiān)控模式已經(jīng)非常普及，但是，如果不充分利用網(wǎng)絡(luò)間 的相機(jī)關(guān)聯(lián)特性，將會(huì)導(dǎo)致如果在一個(gè)時(shí)間點(diǎn)，在一個(gè)相機(jī)監(jiān)控視域中發(fā)現(xiàn)了關(guān)注目標(biāo)，要 在另外的時(shí)間段，或者其他的相機(jī)監(jiān)控視域中進(jìn)行檢索跟蹤，就不得不重新再看一次錄制 的視頻，這樣所增加的搜尋工作量將是巨大的，適應(yīng)度低、有效性差，嚴(yán)重影響了搜尋相關(guān) 視頻的效率。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是提供一種多相機(jī)語(yǔ)義關(guān)聯(lián)目標(biāo)跟蹤方法，解決了現(xiàn)有技術(shù)中的目 標(biāo)跟蹤方法，由于在監(jiān)控網(wǎng)絡(luò)的各個(gè)相機(jī)間沒(méi)有充分利用相機(jī)間的關(guān)聯(lián)特性，目標(biāo)在不同 時(shí)間段，不同相機(jī)中重復(fù)識(shí)別時(shí)，需要發(fā)布到采集到的各個(gè)視頻中搜尋，導(dǎo)致適應(yīng)度低、有 效性差，工作量巨大的問(wèn)題。
[0004] 本發(fā)明所采用的技術(shù)方案是，一種多相機(jī)語(yǔ)義關(guān)聯(lián)目標(biāo)跟蹤方法，具體按照以下 步驟實(shí)施：
[0005] 步驟1、對(duì)監(jiān)控網(wǎng)絡(luò)中的多個(gè)相機(jī)的位置進(jìn)行關(guān)聯(lián)定義；
[0006] 步驟2、檢測(cè)運(yùn)動(dòng)目標(biāo)，并生成目標(biāo)鏈；
[0007] 步驟3、生成目標(biāo)鏈的語(yǔ)義特征；
[0008] 步驟4、根據(jù)用戶確定的關(guān)注目標(biāo)進(jìn)行多相機(jī)關(guān)聯(lián)匹配，給出候選目標(biāo)；
[0009] 步驟5、確定關(guān)聯(lián)相機(jī)中的相同目標(biāo)，即成。
[0010] 本發(fā)明的有益效果是，方法步驟簡(jiǎn)單，便于實(shí)施，計(jì)算量小，結(jié)果準(zhǔn)確性高，給出的 結(jié)果能夠正確描述目標(biāo)在監(jiān)控網(wǎng)絡(luò)中的行為表述。
【附圖說(shuō)明】
[0011] 圖1是本發(fā)明監(jiān)控網(wǎng)絡(luò)相機(jī)位置關(guān)聯(lián)示意圖。
【具體實(shí)施方式】
[0012] 下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。
[0013]本發(fā)明是一種多相機(jī)語(yǔ)義關(guān)聯(lián)目標(biāo)跟蹤方法，整體上步驟包括：步驟1，標(biāo)記監(jiān)控 網(wǎng)絡(luò)中的相鄰關(guān)聯(lián)相機(jī)；步驟2、檢測(cè)運(yùn)動(dòng)目標(biāo)，并生成目標(biāo)鏈；步驟3、生成目標(biāo)鏈的語(yǔ)義 特征；步驟4、根據(jù)用戶確定的關(guān)注目標(biāo)，提取關(guān)聯(lián)相機(jī)的目標(biāo)鏈，進(jìn)行相似匹配，并給出相 似度高的前若干目標(biāo)作為候選目標(biāo)；步驟5、從候選目標(biāo)中確定與步驟4的關(guān)注目標(biāo)屬于同 一目標(biāo)的目標(biāo)鏈，輸出其語(yǔ)義特征中的行為特征，完成對(duì)目標(biāo)的多相機(jī)關(guān)聯(lián)跟蹤。
[0014] 本發(fā)明的多相機(jī)語(yǔ)義關(guān)聯(lián)目標(biāo)跟蹤方法，具體按照以下步驟實(shí)施：
[0015] 步驟1、對(duì)監(jiān)控網(wǎng)絡(luò)中的多個(gè)相機(jī)的位置進(jìn)行關(guān)聯(lián)定義
[0016] 將一個(gè)監(jiān)控區(qū)域內(nèi)的多個(gè)相機(jī)的位置以數(shù)字表示，之后，構(gòu)建一個(gè)相機(jī)關(guān)聯(lián)數(shù)據(jù)
[0017] 其中，Rk為第k個(gè)相機(jī)的關(guān)聯(lián)表，M為監(jiān)控網(wǎng)絡(luò)覆蓋區(qū)域內(nèi)的相機(jī)個(gè)數(shù)，earner^ 為與第k個(gè)相機(jī)相關(guān)聯(lián)的第q個(gè)相機(jī)的標(biāo)號(hào)，q= 1，2,. . .，mk，mk為第k個(gè)相機(jī)相關(guān)聯(lián)的相 機(jī)個(gè)數(shù)，為與之有道路連接的具有相鄰關(guān)系的相機(jī)。
[0018] 參照?qǐng)D1，實(shí)施例中設(shè)置有10個(gè)相機(jī)，代號(hào)①②③......⑩分別表不第一個(gè)相機(jī)、第 二個(gè)相機(jī)、第三個(gè)相機(jī)……第十個(gè)相機(jī)，各個(gè)相機(jī)位置基本上按照從上到下，從左到右的順 序設(shè)置，然后個(gè)別相機(jī)位置有些打亂，目的是模擬網(wǎng)絡(luò)中新增相機(jī)的編號(hào)。
[0019]第1個(gè)相機(jī)的關(guān)聯(lián)數(shù)據(jù)表札={2, 4}，即第1個(gè)相機(jī)與第2個(gè)、第4個(gè)相機(jī)關(guān)聯(lián)；
[0020] 同理，第2個(gè)相機(jī)的關(guān)聯(lián)數(shù)據(jù)表R2= {1，3}，表明第2個(gè)相機(jī)與第1個(gè)、第3個(gè)相 機(jī)關(guān)聯(lián)；
[0021] 第3個(gè)相機(jī)的關(guān)聯(lián)數(shù)據(jù)表R3= {2, 6, 8}，表明第3個(gè)相機(jī)與第2個(gè)、第6個(gè)、第8 個(gè)相機(jī)關(guān)聯(lián)；
[0022] 第4個(gè)相機(jī)的關(guān)聯(lián)數(shù)據(jù)表R4= {1，5}，表明第4個(gè)相機(jī)與第1個(gè)、第5個(gè)相機(jī)關(guān) 聯(lián)；
[0023] 第5個(gè)相機(jī)的關(guān)聯(lián)數(shù)據(jù)表R5= {4, 9}，表明第5個(gè)相機(jī)與第4個(gè)、第9個(gè)相機(jī)關(guān) 聯(lián)；
[0024]第6個(gè)相機(jī)的關(guān)聯(lián)數(shù)據(jù)表R6= {3, 10}，表明第6個(gè)相機(jī)與第3個(gè)、第10個(gè)相機(jī)關(guān) 聯(lián)；
[0025] 第7個(gè)相機(jī)的關(guān)聯(lián)數(shù)據(jù)表R7= {8, 10}，表明第7個(gè)相機(jī)與第8個(gè)、第10個(gè)相機(jī)關(guān) 聯(lián)；
[0026] 第8個(gè)相機(jī)的關(guān)聯(lián)數(shù)據(jù)表R8= {3, 7}，表明第8個(gè)相機(jī)與第3個(gè)、第7個(gè)相機(jī)關(guān) 聯(lián)；
[0027]第9個(gè)相機(jī)的關(guān)聯(lián)數(shù)據(jù)表R9= {5}，表明第9個(gè)相機(jī)與第5個(gè)相機(jī)關(guān)聯(lián)；
[0028]第10個(gè)相機(jī)的關(guān)聯(lián)數(shù)據(jù)表R1(l= {6, 7}，表明第10個(gè)相機(jī)與第6個(gè)、第7個(gè)相機(jī) 關(guān)聯(lián)；
[0029] 將該相機(jī)關(guān)聯(lián)數(shù)據(jù)表預(yù)存在數(shù)據(jù)庫(kù)中。
[0030] 步驟2、檢測(cè)運(yùn)動(dòng)目標(biāo)，并生成目標(biāo)鏈
[0031]對(duì)網(wǎng)絡(luò)中的每個(gè)攝像頭錄制的監(jiān)控視頻，按照錄制時(shí)間，進(jìn)行分段，設(shè)基本段的幀 數(shù)為△t，考慮到計(jì)算復(fù)雜度等問(wèn)題，優(yōu)選以兩個(gè)小時(shí)的錄制視頻為一個(gè)基本段，從每個(gè)基 本段中，分別提取其運(yùn)動(dòng)目標(biāo)鏈，方法如下：
[0032] 設(shè)某個(gè)視頻基本段為以，其中，k表示網(wǎng)絡(luò)中的第k個(gè)相機(jī)，tk為該視頻基本段的 起始時(shí)刻，持續(xù)幀數(shù)為△t后，該視頻基本段的終止時(shí)刻為tk+△t(為描述方便起見(jiàn)，這里 以幀數(shù)的多少來(lái)描述時(shí)刻在時(shí)間軸上的移動(dòng)），
[0033] 2. 1)按照背景差分法（在相關(guān)的專業(yè)書(shū)籍及論文中均可查到），從以中的每一幀 都檢測(cè)出運(yùn)動(dòng)目標(biāo)，
[0034] t為所在視頻基本段中的幀序號(hào)，nt為在第t幀檢測(cè)出的目標(biāo)個(gè)數(shù)，
[0035] 那么對(duì)于在第t幀檢測(cè)出nt個(gè)目標(biāo)連通域，則以目標(biāo)連通域的最小外接矩形的左 上角坐標(biāo)(<，<)和右下角坐標(biāo)(<)，./ = 1,2....，％來(lái)表示目標(biāo)，在第t幀中檢測(cè)出的 運(yùn)動(dòng)目標(biāo)連通域所構(gòu)成的集合表達(dá)式為：
[0036]
[0037] 2. 2)初始化
[0038] 令t=tk，取視頻基本段的首幀為當(dāng)前處理幀，得到的首幀目標(biāo)連通域集合 為對(duì)⑴刀乂)，…,<(m，則視頻基本段的目標(biāo)鏈的個(gè)數(shù)Nk就為首幀目標(biāo)鏈的個(gè)數(shù)，即 K=?\個(gè)，目標(biāo)鏈的長(zhǎng)度為f=1，〖=1，2,…，
[0039] 2. 3)按照相鄰幀連通域的重疊面積最大認(rèn)定為同一目標(biāo)的方式生成目標(biāo)鏈，設(shè)由 步驟2.1)得到的第〖+1幀目標(biāo)連通域集合為財(cái)(/ + 1)，〇> + 1)，...，<(〃1)丨，被認(rèn)定為與 第t幀相同目標(biāo)的連通域假設(shè)有m個(gè)，未被認(rèn)定為與前一幀相同目標(biāo)的連通域假設(shè)有沉個(gè)， 兩+肌=氣.！，則更新目標(biāo)鏈的個(gè)數(shù)為％ = \ +瓦，更新目標(biāo)鏈的鏈長(zhǎng)//，i=\m 新公式如下：
[0040]
[0041] 重新循環(huán)2. 2)，直到所有視頻基本段內(nèi)的全部目標(biāo)鏈生成完畢，即獲得以中的Nk 個(gè)目標(biāo)鏈-K7<，G^;，…，〇<;。
[0042] 步驟3、生成目標(biāo)鏈的語(yǔ)義特征
[0043] 設(shè)由步驟2得到的以中的Nk個(gè)目標(biāo)鏈為{C%f，G^，…，C/^ }，將其語(yǔ)義特征定義 為：
[0044]
[0045] 其中，
[0046] (<，_>〇是第i個(gè)目標(biāo)鏈起始幀的目標(biāo)連通域的最小外接矩形的左上角坐標(biāo)；
[0047] (.<，<)是第i個(gè)目標(biāo)鏈起始幀的目標(biāo)連通域的最小外接矩形的右下角坐標(biāo)；
[0048] 是第i個(gè)目標(biāo)鏈的起始幀的幀序號(hào)；
[0049] /f是第i個(gè)目標(biāo)鏈的鏈長(zhǎng)；
[0050] /mmef是第i個(gè)目標(biāo)鏈的關(guān)鍵幀，取目標(biāo)鏈的+/f/2處的目標(biāo)連通域所示的目 標(biāo)為關(guān)鍵幀；
[0051] ('〇/〇/?/是第i個(gè)目標(biāo)鏈關(guān)鍵幀的目標(biāo)連通域的顏色直方圖，（顏色直方圖的求解 方法在相關(guān)的專業(yè)書(shū)籍及論文中均有介紹）；
[0052] 夂是第i個(gè)目標(biāo)鏈的行為參數(shù)，采用一組二進(jìn)制布爾量來(lái)描述，表達(dá)式為： ..,<]，其中的七個(gè)優(yōu)選參數(shù)分別表示安防監(jiān)控對(duì)人物行為的描述要 求，具體定義如下：
[0053] 3. 1)判定蹲下與否的行為
[0054] 根據(jù)人身高的先驗(yàn)高寬比，如果外接矩形高寬比小于站立時(shí)的比例數(shù)值，即認(rèn)定 目標(biāo)為蹲下姿態(tài)；否則認(rèn)為沒(méi)有蹲下，表達(dá)式如下：
[0055]
[0056] 3. 2)判定是否站立的行為
[0057] 根據(jù)目標(biāo)鏈中的起始幀到終止幀的外接矩形的位置變化來(lái)確定，如果位置變化可 忽略不計(jì)，即判斷為站立姿態(tài)；否則判斷為沒(méi)有站立，表達(dá)式如下：
[0058]
[0059] 3. 3)判定是否步行的行為
[0060] 根據(jù)目標(biāo)鏈中的起始幀到終止幀的外接矩形的位置變化來(lái)確定，如果位置變化朝 著某個(gè)方向按照一定的速度變化，即判斷為步行；否則判斷為不是步行狀態(tài)，表達(dá)式如下：[0061]
[0062] 3. 4)判定是否奔跑的行為
[0063] 根據(jù)目標(biāo)鏈中的起始幀到終止幀的外接矩形的位置變化來(lái)確定，如果位置變化朝 著某個(gè)方向按照較快的速度變化，即判斷為奔跑；否則判斷為不是奔跑狀態(tài)，表達(dá)式如下：
[0064]
[0065] 3. 5)判定是否徘徊的行為
[0066] 根據(jù)目標(biāo)鏈中的起始幀到終止幀的外接矩形的位置變化來(lái)確定，如果位置變化是 來(lái)回折返的，即判斷為徘徊；否則判斷為不是徘徊狀態(tài)，表達(dá)式如下：
[0067]
[0068] 3. 6)判定是否左顧右盼的行為
[0069] 根據(jù)目標(biāo)鏈中的起始幀到終止幀中，目標(biāo)頭部面向鏡頭的頭部膚色區(qū)域變化（臉 部面對(duì)鏡頭的程度）來(lái)確定