本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,特別涉及一種基于視頻分析的廣告牌監(jiān)測(cè)方法、裝置及電子設(shè)備。
背景技術(shù):
隨著社會(huì)經(jīng)濟(jì)的發(fā)展,室內(nèi)及戶外廣告作為一種較大市場(chǎng)沖擊力的媒介傳播手段,越來(lái)越備受關(guān)注和青睞。室內(nèi)及戶外廣告基本的特征是在高覆蓋率下,它不但可以讓觀眾對(duì)廣告產(chǎn)品有即時(shí)反應(yīng),還可以在多次信息重復(fù)后對(duì)觀眾產(chǎn)生長(zhǎng)期的影響。室內(nèi)及戶外廣告可以增加即時(shí)覆蓋率,在此之后,它可以用業(yè)增加瞬間知名度。
然而,企業(yè)在室內(nèi)及戶外的廣告牌投放后,通常無(wú)法衡量其投放廣告的效果。由于無(wú)法有效統(tǒng)計(jì)投放出去的廣告牌前通過(guò)的客流及車流等信息,使得企業(yè)很難客觀的評(píng)價(jià)一次廣告投放的效果。目前有關(guān)廣告的投放效果仍然是借助于人工抽樣調(diào)查、借助其他數(shù)據(jù)估算等進(jìn)行評(píng)估。因?yàn)槿斯こ闃诱{(diào)查存在一定的局限性,估算的方法無(wú)法客觀準(zhǔn)確的描述數(shù)據(jù),所以廣告投放效果目前無(wú)法客觀準(zhǔn)確評(píng)估。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供一種基于視頻分析的廣告牌監(jiān)測(cè)方法、裝置及電子設(shè)備,使得廣告投放效果可以客觀準(zhǔn)確的評(píng)估。
為解決上述技術(shù)問(wèn)題,本發(fā)明的實(shí)施方式提供了一種基于視頻分析的廣告牌監(jiān)測(cè)方法,包括以下步驟:
獲取待檢測(cè)圖像幀組及標(biāo)定參數(shù);所述待檢測(cè)圖像幀組包括至少一幀圖像;
根據(jù)所述標(biāo)定參數(shù),對(duì)所述待檢測(cè)圖像幀組中的各個(gè)幀圖像進(jìn)行圖像采集區(qū)域塊劃分,獲取所述待檢測(cè)圖像幀組中的各個(gè)幀圖像的圖像采集區(qū)域塊及檢測(cè)模型;
根據(jù)所述圖像采集區(qū)域塊及檢測(cè)模型,對(duì)所述待檢測(cè)圖像幀組中幀圖像進(jìn)行檢測(cè)跟蹤,獲取目標(biāo)的軌跡集合。
其中,所述根據(jù)所述標(biāo)定參數(shù),對(duì)所述待檢測(cè)圖像幀組中的各個(gè)幀圖像進(jìn)行圖像采集區(qū)域塊劃分,獲取所述待檢測(cè)圖像幀組中的各個(gè)幀圖像的圖像采集區(qū)域塊及檢測(cè)模型的步驟,具體包括:
獲取待檢測(cè)場(chǎng)景圖像標(biāo)定幀;
根據(jù)所述標(biāo)定參數(shù),獲取所述待檢測(cè)場(chǎng)景圖像標(biāo)定幀中的消逝點(diǎn)位置信息及圖像采集裝置的標(biāo)定信息;
根據(jù)所述待檢測(cè)場(chǎng)景圖像標(biāo)定幀中的消逝點(diǎn)位置信息及圖像采集裝置的標(biāo)定信息,對(duì)所述待檢測(cè)圖像幀組中的各個(gè)幀圖像進(jìn)行圖像采集區(qū)域塊劃分;
根據(jù)所述檢測(cè)模型,調(diào)整所述圖像采集區(qū)域塊的尺度,以便所述圖像采集區(qū)域塊的尺度與所述檢測(cè)模型的尺度相匹配。
其中,所述標(biāo)定參數(shù)包括:圖像中平行線段的標(biāo)定位置參數(shù),圖像中標(biāo)定物體的位置參數(shù)及該物體在三維空間中的實(shí)際長(zhǎng)度,圖像傳感器的參數(shù),視頻采集裝置的安裝高度及俯仰角度;所述圖像采集裝置的標(biāo)定信息包括:視頻采集裝置的內(nèi)參矩陣及外參矩陣;
所述根據(jù)所述標(biāo)定參數(shù),獲取所述待檢測(cè)場(chǎng)景圖像標(biāo)定幀中的消逝點(diǎn)位置信息及圖像采集裝置的標(biāo)定信息的步驟,具體包括:
根據(jù)所述圖像中平行線段的標(biāo)定位置參數(shù),獲取所述待檢測(cè)圖像幀組中的各個(gè)幀圖像的消逝點(diǎn)位置信息;
根據(jù)所述圖像中標(biāo)定物體的位置參數(shù)及該物體在三維空間中的實(shí)際長(zhǎng)度,圖像傳感器的參數(shù),視頻采集裝置的安裝高度及俯仰角度,獲取所述視頻采集裝置的內(nèi)參矩陣及外參矩陣。
其中,所述根據(jù)所述圖像采集區(qū)域塊及檢測(cè)模型,對(duì)所述待檢測(cè)圖像幀組中幀圖像進(jìn)行檢測(cè)跟蹤,獲取目標(biāo)的軌跡集合步驟,具體包括:
根據(jù)所述圖像采集區(qū)域塊及檢測(cè)模型,對(duì)所述待檢測(cè)圖像幀組中的圖像幀中各個(gè)圖像采集區(qū)域塊進(jìn)行檢測(cè),獲取各個(gè)檢測(cè)圖像幀中目標(biāo)的檢測(cè)信息及其對(duì)應(yīng)置信度;
預(yù)設(shè)初始待檢測(cè)圖像幀組;
獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)的檢測(cè)信息及其對(duì)應(yīng)置信度;
跟蹤所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo),獲取所述目標(biāo)的軌跡集合。
其中,所述跟蹤所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo),獲取所述目標(biāo)的軌跡集合步驟,具體包括:
獲取匹配閾值;
通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息;
獲取所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中目標(biāo)的檢測(cè)信息及其置信度;所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中目標(biāo)包括:所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像目標(biāo)和所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中新增目標(biāo);
判斷所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息與所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息是否在所述匹配閾值范圍內(nèi);
如果所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息不在所述匹配閾值范圍內(nèi),則所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息采用所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息;
如果所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息與所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息都不在所述匹配閾值范圍內(nèi),則所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息通過(guò)在先軌跡幀的檢測(cè)信息采用線性預(yù)測(cè)的方法進(jìn)行線性預(yù)測(cè)獲??;
獲取所述目標(biāo)的軌跡集合;所述目標(biāo)的軌跡集合包括:至少一個(gè)目標(biāo)的軌跡;所述目標(biāo)的軌跡包括:同一目標(biāo)在至少一個(gè)圖像幀內(nèi)的檢測(cè)信息及其對(duì)應(yīng)置信度的集合。
其中,該方法還包括:
預(yù)置所述置信度的衰減系數(shù);
當(dāng)采用所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息時(shí),所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息對(duì)應(yīng)的置信度為初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)的檢測(cè)信息對(duì)應(yīng)的置信度與所述置信度的衰減系數(shù)的乘積。
其中,該方法還包括:預(yù)置所述置信度閾值;
判斷所述目標(biāo)的檢測(cè)信息對(duì)應(yīng)的置信度是否低于所述置信度閾值;
如果低于所述置信度閾值,則停止所述目標(biāo)的軌跡跟蹤。
其中,該方法還包括:
獲取所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中新增目標(biāo)的檢測(cè)信息及其置信度;
將所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中新增目標(biāo)的檢測(cè)信息及其置信度添加到所述目標(biāo)的軌跡集合。
其中,該方法還包括:
獲取所述目標(biāo)的軌跡集合的篩選規(guī)則;
根據(jù)所述目標(biāo)的軌跡集合的篩選規(guī)則,進(jìn)行目標(biāo)統(tǒng)計(jì)。
本發(fā)明的實(shí)施方式還提供了一種基于視頻分析的廣告牌監(jiān)測(cè)裝置,包括:信息獲取單元,用于獲取待檢測(cè)圖像幀組及標(biāo)定參數(shù);所述待檢測(cè)圖像幀組包括至少一幀圖像;
信息處理單元,用于根據(jù)所述標(biāo)定參數(shù),對(duì)所述待檢測(cè)圖像幀組中的各個(gè)幀圖像進(jìn)行圖像采集區(qū)域塊劃分,獲取所述待檢測(cè)圖像幀組中的各個(gè)幀圖像的圖像采集區(qū)域塊及檢測(cè)模型;
目標(biāo)統(tǒng)計(jì)單元,用于根據(jù)所述圖像采集區(qū)域塊及檢測(cè)模型,對(duì)所述待檢測(cè)圖像幀組中幀圖像進(jìn)行檢測(cè)跟蹤,獲取目標(biāo)的軌跡集合。
本發(fā)明的實(shí)施方式還提供了一種電子設(shè)備,包括:包括:殼體、處理器、存儲(chǔ)器、電路板和電源電路,其中,電路板安置在殼體圍成的空間內(nèi)部,處理器和存儲(chǔ)器設(shè)置在電路板上;電源電路,用于為上述電子設(shè)備的各個(gè)電路或器件供電;存儲(chǔ)器用于存儲(chǔ)可執(zhí)行程序代碼;處理器通過(guò)讀取存儲(chǔ)器中存儲(chǔ)的可執(zhí)行程序代碼來(lái)運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序,用于執(zhí)行前述所述的基于視頻分析的廣告牌監(jiān)測(cè)方法。
本發(fā)明實(shí)施方式相對(duì)于現(xiàn)有技術(shù)而言,通過(guò)獲取待檢測(cè)圖像幀組及標(biāo)定參數(shù);所述待檢測(cè)圖像幀組包括至少一幀圖像;根據(jù)所述標(biāo)定參數(shù),對(duì)所述待檢測(cè)圖像幀組中的各個(gè)幀圖像進(jìn)行圖像采集區(qū)域塊劃分,獲取所述待檢測(cè)圖像幀組中的各個(gè)幀圖像的圖像采集區(qū)域塊及檢測(cè)模型;根據(jù)所述圖像采集區(qū)域塊及檢測(cè)模型,對(duì)所述待檢測(cè)圖像幀組中幀圖像進(jìn)行檢測(cè)跟蹤,獲取目標(biāo)的軌跡集合。本發(fā)明技術(shù)方案通過(guò)有效的檢測(cè)跟蹤所述待檢測(cè)圖像幀組中的目標(biāo),為廣告的投放效果評(píng)估提供了客觀準(zhǔn)確評(píng)估依據(jù),使得廣告的投放效果評(píng)估更加準(zhǔn)確,客觀。
附圖說(shuō)明
圖1是本發(fā)明實(shí)施例提供的一種基于視頻分析的廣告牌監(jiān)測(cè)方法流程圖;
圖2是本發(fā)明實(shí)施例提供的另一種基于視頻分析的廣告牌監(jiān)測(cè)方法流程圖;
圖3是本發(fā)明實(shí)施例提供的一種基于視頻分析的廣告牌監(jiān)測(cè)裝置結(jié)構(gòu)示意圖;
圖4是本發(fā)明實(shí)施例提供的一種電子設(shè)備結(jié)構(gòu)示意圖;
圖5是本發(fā)明實(shí)施例提供的一種基于視頻分析的廣告牌監(jiān)測(cè)方法中區(qū)域塊劃分的示意圖。
具體實(shí)施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖對(duì)本發(fā)明的各實(shí)施方式進(jìn)行詳細(xì)的闡述。然而,本領(lǐng)域的普通技術(shù)人員可以理解,在本發(fā)明各實(shí)施方式中,為了使讀者更好地理解本申請(qǐng)而提出了許多技術(shù)細(xì)節(jié)。但是,即使沒(méi)有這些技術(shù)細(xì)節(jié)和基于以下各實(shí)施方式的種種變化和修改,也可以實(shí)現(xiàn)本申請(qǐng)各權(quán)利要求所要求保護(hù)的技術(shù)方案。
本發(fā)明的第一實(shí)施方式涉及一種基于視頻分析的廣告牌監(jiān)測(cè)方法。具體流程如圖1所示。該方法包括:
101:獲取待檢測(cè)圖像幀組及標(biāo)定參數(shù);所述待檢測(cè)圖像幀組包括至少一幀圖像;
102:根據(jù)所述標(biāo)定參數(shù),對(duì)所述待檢測(cè)圖像幀組中的各個(gè)幀圖像進(jìn)行圖像采集區(qū)域塊劃分,獲取所述待檢測(cè)圖像幀組中的各個(gè)幀圖像的圖像采集區(qū)域塊及檢測(cè)模型;
103:根據(jù)所述圖像采集區(qū)域塊及檢測(cè)模型,對(duì)所述待檢測(cè)圖像幀組中幀圖像進(jìn)行檢測(cè)跟蹤,獲取目標(biāo)的軌跡集合。
本發(fā)明實(shí)施方式相對(duì)于現(xiàn)有技術(shù)而言,通過(guò)獲取待檢測(cè)圖像幀組及標(biāo)定參數(shù);所述待檢測(cè)圖像幀組包括至少一幀圖像;根據(jù)所述標(biāo)定參數(shù),對(duì)所述待檢測(cè)圖像幀組中的各個(gè)幀圖像進(jìn)行圖像采集區(qū)域塊劃分,獲取所述待檢測(cè)圖像幀組中的各個(gè)幀圖像的圖像采集區(qū)域塊及檢測(cè)模型;根據(jù)所述圖像采集區(qū)域塊及檢測(cè)模型,對(duì)所述待檢測(cè)圖像幀組中幀圖像進(jìn)行檢測(cè)跟蹤,獲取目標(biāo)的軌跡集合。本發(fā)明技術(shù)方案通過(guò)有效的檢測(cè)跟蹤所述待檢測(cè)圖像幀組中的目標(biāo),為廣告的投放效果評(píng)估提供了客觀準(zhǔn)確評(píng)估依據(jù),使得廣告的投放效果評(píng)估更加準(zhǔn)確,客觀。
基于以上實(shí)施例,本發(fā)明的第二實(shí)施方式涉及一種基于視頻分析的廣告牌監(jiān)測(cè)方法中圖像采集區(qū)域塊劃分的具體流程;如圖2所示,具體實(shí)現(xiàn)步驟如下:
201:獲取待檢測(cè)場(chǎng)景圖像標(biāo)定幀;所述待檢測(cè)場(chǎng)景圖像標(biāo)定幀為當(dāng)前視頻采集裝置位置及內(nèi)部參數(shù)固定后,由視頻采集裝置采集的任意視頻圖像幀;當(dāng)所述視頻采集裝置位置或者內(nèi)部參數(shù)發(fā)生變化,則需要重新獲取所述待檢測(cè)場(chǎng)景圖像標(biāo)定幀。
202:根據(jù)所述標(biāo)定參數(shù),獲取所述待檢測(cè)場(chǎng)景圖像標(biāo)定幀中的消逝點(diǎn)位置信息及圖像采集裝置的標(biāo)定信息;所述標(biāo)定參數(shù)包括:圖像中平行線段的標(biāo)定位置參數(shù),圖像中標(biāo)定物體的位置參數(shù)及該物體在三維空間中的實(shí)際長(zhǎng)度,圖像傳感器的參數(shù),視頻采集裝置的安裝高度及俯仰角度;所述圖像采集裝置的標(biāo)定信息包括:視頻采集裝置的內(nèi)參矩陣及外參矩陣;所述圖像傳感器的參數(shù)包括:電荷藕合器件圖像傳感器(Charge Coupled Device,簡(jiǎn)稱CCD)的尺寸。該步驟具體為:
根據(jù)所述圖像中平行線段的標(biāo)定位置參數(shù),獲取所述待檢測(cè)圖像幀組中的各個(gè)幀圖像的消逝點(diǎn)位置信息;
根據(jù)所述圖像中標(biāo)定物體的位置參數(shù)及該物體在三維空間中的實(shí)際位置參數(shù)三維空間中的實(shí)際長(zhǎng)度,圖像傳感器的參數(shù),視頻采集裝置的安裝高度及俯仰角度,獲取所述視頻采集裝置的內(nèi)參矩陣及外參矩陣。例如:如圖5所示,設(shè)所述圖像中標(biāo)定物體為標(biāo)定線M在圖像中為線段Pt1Pt2,所述標(biāo)定線M在圖像中標(biāo)定物體的位置參數(shù)為點(diǎn)Pt1與點(diǎn)Pt2的二維坐標(biāo);其在現(xiàn)實(shí)場(chǎng)景中的測(cè)量長(zhǎng)度為L(zhǎng),即所述標(biāo)定線M在三維空間中的實(shí)際位置參數(shù)三維空間中的實(shí)際長(zhǎng)度;根據(jù)消逝點(diǎn)的坐標(biāo)以及攝像機(jī)的圖像傳感器的參數(shù)即CCD大小的寬高比為w0/h0,可以估算出相機(jī)的焦距參數(shù)fx和fy,從而獲得相機(jī)的內(nèi)存矩陣K。在合理的參數(shù)假設(shè)范圍內(nèi),假設(shè)外參矩陣為[R|t],通過(guò)該相機(jī)參數(shù)矩陣能夠?qū)⑷S空間點(diǎn)P(X,Y,Z)映射到二維圖像空間m(u,v,1):即m=K[R|t]P。
利用上述公式,計(jì)算圖像點(diǎn)Pt1和Pt2在現(xiàn)實(shí)場(chǎng)景中的三維空間坐標(biāo)P1和P2,計(jì)算兩點(diǎn)之間的實(shí)際長(zhǎng)度L’=||P1–P2||。使用不同的外參假設(shè)可以分別計(jì)算出對(duì)應(yīng)的測(cè)量線誤差。根據(jù)最小標(biāo)定誤差原則,選擇一組使得e=|L–L’|最小的那一組相機(jī)參數(shù)。
根據(jù)標(biāo)定得到的相機(jī)參數(shù)K,對(duì)于圖像中的每一個(gè)位置Pt(x,y),假設(shè)需要檢測(cè)的物體的實(shí)際尺寸為d,計(jì)算圖像點(diǎn)Pt(x–d/2,y)和Pt(x+d/2,y)在三維空間中的坐標(biāo),從而得到其實(shí)際的尺寸大小。
203:根據(jù)所述待檢測(cè)場(chǎng)景圖像標(biāo)定幀中的消逝點(diǎn)位置信息及圖像采集裝置的標(biāo)定信息,對(duì)所述待檢測(cè)圖像幀組中的各個(gè)幀圖像進(jìn)行圖像采集區(qū)域塊劃分;所述圖像采集區(qū)域塊劃分示意圖如圖5所示。例如:
從場(chǎng)景圖像中計(jì)算的消逝點(diǎn)位置開(kāi)始,將場(chǎng)景分割為若干個(gè)檢測(cè)區(qū)域,每個(gè)檢測(cè)區(qū)域內(nèi)由遠(yuǎn)至近對(duì)應(yīng)的物體尺度逐漸增大,利用利用前面步驟標(biāo)定的攝像機(jī)參數(shù),計(jì)算出使得該檢測(cè)區(qū)域中的最大最小尺度比例為一個(gè)固定值的區(qū)域邊界。根據(jù)分割后的檢測(cè)區(qū)域?qū)?yīng)的尺度變化范圍,確定一個(gè)檢測(cè)時(shí)使用的尺度。具體計(jì)算過(guò)程如下:
假設(shè)需要分割得到的每個(gè)檢測(cè)區(qū)域的尺度變化范圍為k倍(k>1),消逝點(diǎn)在圖像中的Y坐標(biāo)為Vy,若Vy<0,則令Vy=0。令x=圖像寬度W/2。
設(shè)定第一塊檢測(cè)區(qū)域O1的上邊沿為Rt1=Vy,計(jì)算點(diǎn)(x,Vy)的物體尺寸ft,然后逐漸增加Y坐標(biāo),直到點(diǎn)(x,Vy+dy)的物體尺寸fb=k*ft,將第一塊檢測(cè)區(qū)域O1的下邊沿設(shè)定為Rb1=Vy+dy。該檢測(cè)區(qū)域的檢測(cè)尺度設(shè)定為區(qū)域的平均尺寸sqrt(k)*ft。
第二塊檢測(cè)區(qū)域O2的上邊沿設(shè)定在第一塊檢測(cè)區(qū)域的下邊沿之上,保證兩塊檢測(cè)區(qū)域之間有一定的重疊區(qū)域O1,即Rt1=Rb1–O1,程序中重疊區(qū)域O1的選擇使得第二塊區(qū)域O2上邊沿處的物體尺寸為第一塊區(qū)域下邊沿處物體尺寸的m倍,m的一個(gè)比較合理的取值是0.8。
重復(fù)上述過(guò)程,直至計(jì)算得到的檢測(cè)區(qū)域已經(jīng)覆蓋整個(gè)圖像范圍,最終得到一系列的檢測(cè)區(qū)域以及其各自的檢測(cè)尺度。
204:根據(jù)所述檢測(cè)模型,調(diào)整所述圖像采集區(qū)域塊的尺度,以便所述圖像采集區(qū)域塊的尺度與所述檢測(cè)模型的尺度相匹配。具體的講,就是根據(jù)檢測(cè)模型訓(xùn)練的目標(biāo)比例,將圖像采集區(qū)域塊的圖像比例進(jìn)行調(diào)整,以便所述檢測(cè)模型更加精確的進(jìn)行目標(biāo)檢索,獲取目標(biāo)的檢測(cè)信息及其對(duì)應(yīng)置信度。
基于以上第一實(shí)施方式和第二實(shí)施方式,本發(fā)明中所述根據(jù)所述圖像采集區(qū)域塊及檢測(cè)模型,對(duì)所述待檢測(cè)圖像幀組中幀圖像進(jìn)行檢測(cè)跟蹤,獲取目標(biāo)的軌跡集合步驟,具體包括:
根據(jù)所述圖像采集區(qū)域塊及檢測(cè)模型,對(duì)所述待檢測(cè)圖像幀組中的圖像幀中各個(gè)圖像采集區(qū)域塊進(jìn)行檢測(cè),獲取各個(gè)檢測(cè)圖像幀中目標(biāo)的檢測(cè)信息及其對(duì)應(yīng)置信度;
預(yù)設(shè)初始待檢測(cè)圖像幀組;
獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)的檢測(cè)信息及其對(duì)應(yīng)置信度;
跟蹤所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo),獲取所述目標(biāo)的軌跡集合。該步驟具體包括:獲取匹配閾值;通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息;獲取所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中目標(biāo)的檢測(cè)信息及其置信度;所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中目標(biāo)包括:所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像目標(biāo)和所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中新增目標(biāo);判斷所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息與所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息是否在所述匹配閾值范圍內(nèi);如果所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息不在所述匹配閾值范圍內(nèi),則所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息采用所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息;如果所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息與所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息都不在所述匹配閾值范圍內(nèi),則所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息通過(guò)在先軌跡幀的檢測(cè)信息采用線性預(yù)測(cè)的方法進(jìn)行線性預(yù)測(cè)獲??;獲取所述目標(biāo)的軌跡集合;所述目標(biāo)的軌跡集合包括:至少一個(gè)目標(biāo)的軌跡;所述目標(biāo)的軌跡包括:同一目標(biāo)在至少一個(gè)圖像幀內(nèi)的檢測(cè)信息及其對(duì)應(yīng)置信度的集合。
需要說(shuō)明的是,該方法還包括:預(yù)置所述置信度的衰減系數(shù);當(dāng)采用所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息時(shí),所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息對(duì)應(yīng)的置信度為初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)的檢測(cè)信息對(duì)應(yīng)的置信度與所述置信度的衰減系數(shù)的乘積。
還需要說(shuō)明的是,該方法還包括:預(yù)置所述置信度閾值;判斷所述目標(biāo)的檢測(cè)信息對(duì)應(yīng)的置信度是否低于所述置信度閾值;如果低于所述置信度閾值,則停止所述目標(biāo)的軌跡跟蹤。
還需要說(shuō)明的是,該方法還包括:
獲取所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中新增目標(biāo)的檢測(cè)信息及其置信度;
將所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中新增目標(biāo)的檢測(cè)信息及其置信度添加到所述目標(biāo)的軌跡集合。
還需要說(shuō)明的是,該方法還包括:獲取所述目標(biāo)的軌跡集合的篩選規(guī)則;根據(jù)所述目標(biāo)的軌跡集合的篩選規(guī)則,進(jìn)行目標(biāo)統(tǒng)計(jì)。
基于以上實(shí)施例,本發(fā)明技術(shù)方案可以根據(jù)以上獲取到的目標(biāo)統(tǒng)計(jì)結(jié)果,即人、車運(yùn)動(dòng)軌跡,判斷目標(biāo)人、車是否進(jìn)入?yún)^(qū)域、離開(kāi)區(qū)域還是在區(qū)域內(nèi)逗留。從而可以統(tǒng)計(jì)出區(qū)域內(nèi)的人、車的數(shù)量,以及在一段時(shí)間內(nèi)經(jīng)過(guò)或者逗留在該廣告牌的人、車數(shù)量。最后將統(tǒng)計(jì)的數(shù)據(jù)發(fā)送給數(shù)據(jù)中心。
還需要說(shuō)明的是,如果人臉在畫面中呈現(xiàn)的質(zhì)量較高,則還可以運(yùn)用人臉識(shí)別技術(shù)識(shí)別畫面中人的年齡和性別,并將識(shí)別結(jié)果通過(guò)網(wǎng)絡(luò)發(fā)送到數(shù)據(jù)中心。通過(guò)所述人臉識(shí)別,使用深度學(xué)習(xí)方法來(lái)對(duì)人臉的性別和年齡進(jìn)行預(yù)測(cè)分析例如:從每一條匹配得到的人臉模型軌跡中選出檢測(cè)置信度最高的幾個(gè)結(jié)果用于分析,將每張圖像的性別和年齡分類結(jié)果進(jìn)行投票決定最終目標(biāo)人臉的性別和年齡。所述數(shù)據(jù)中心根據(jù)時(shí)間、空間、廣告內(nèi)容、類型進(jìn)行交叉分析,并將廣告效果的分析結(jié)果以可視化圖形的形式呈現(xiàn)。
本發(fā)明第三實(shí)施方式涉及一種基于視頻分析的廣告牌監(jiān)測(cè)裝置,如圖3所示,包括:信息獲取單元301,用于獲取待檢測(cè)圖像幀組及標(biāo)定參數(shù);所述待檢測(cè)圖像幀組包括至少一幀圖像;信息處理單元302,用于根據(jù)所述標(biāo)定參數(shù),對(duì)所述待檢測(cè)圖像幀組中的各個(gè)幀圖像進(jìn)行圖像采集區(qū)域塊劃分,獲取所述待檢測(cè)圖像幀組中的各個(gè)幀圖像的圖像采集區(qū)域塊及檢測(cè)模型;目標(biāo)統(tǒng)計(jì)單元303,用于根據(jù)所述圖像采集區(qū)域塊及檢測(cè)模型,對(duì)所述待檢測(cè)圖像幀組中幀圖像進(jìn)行檢測(cè)跟蹤,獲取目標(biāo)的軌跡集合。
其中,所述信息處理單元,具體用于獲取待檢測(cè)場(chǎng)景圖像標(biāo)定幀;根據(jù)所述標(biāo)定參數(shù),獲取所述待檢測(cè)場(chǎng)景圖像標(biāo)定幀中的消逝點(diǎn)位置信息及圖像采集裝置的標(biāo)定信息;根據(jù)所述待檢測(cè)場(chǎng)景圖像標(biāo)定幀中的消逝點(diǎn)位置信息及圖像采集裝置的標(biāo)定信息,對(duì)所述待檢測(cè)圖像幀組中的各個(gè)幀圖像進(jìn)行圖像采集區(qū)域塊劃分;根據(jù)所述檢測(cè)模型,調(diào)整所述圖像采集區(qū)域塊的尺度,以便所述圖像采集區(qū)域塊的尺度與所述檢測(cè)模型的尺度相匹配。
需要說(shuō)明的是,所述標(biāo)定參數(shù)包括:圖像中平行線段的標(biāo)定位置參數(shù),圖像中標(biāo)定物體的位置參數(shù)及該物體在三維空間中的實(shí)際長(zhǎng)度,圖像傳感器的參數(shù),視頻采集裝置的安裝高度及俯仰角度;所述圖像采集裝置的標(biāo)定信息包括:視頻采集裝置的內(nèi)參矩陣及外參矩陣;
所述信息處理單元,具體還用于根據(jù)所述圖像中平行線段的標(biāo)定位置參數(shù),獲取所述待檢測(cè)圖像幀組中的各個(gè)幀圖像的消逝點(diǎn)位置信息;根據(jù)所述圖像中標(biāo)定物體的位置參數(shù)及該物體在三維空間中的實(shí)際長(zhǎng)度,圖像傳感器的參數(shù),視頻采集裝置的安裝高度及俯仰角度,獲取所述視頻采集裝置的內(nèi)參矩陣及外參矩陣。
還需要說(shuō)明的是,所述目標(biāo)統(tǒng)計(jì)單元,具體用于根據(jù)所述圖像采集區(qū)域塊及檢測(cè)模型,對(duì)所述待檢測(cè)圖像幀組中的圖像幀中各個(gè)圖像采集區(qū)域塊進(jìn)行檢測(cè),獲取各個(gè)檢測(cè)圖像幀中目標(biāo)的檢測(cè)信息及其對(duì)應(yīng)置信度;預(yù)設(shè)初始待檢測(cè)圖像幀組;獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)的檢測(cè)信息及其對(duì)應(yīng)置信度;跟蹤所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo),獲取所述目標(biāo)的軌跡集合;所述目標(biāo)統(tǒng)計(jì)單元,具體用于獲取匹配閾值;通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息;獲取所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中目標(biāo)的檢測(cè)信息及其置信度;所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中目標(biāo)包括:所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像目標(biāo)和所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中新增目標(biāo);判斷所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息與所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息是否在所述匹配閾值范圍內(nèi);如果所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息不在所述匹配閾值范圍內(nèi),則所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息采用所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息;
如果所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息與所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息都不在所述匹配閾值范圍內(nèi),則所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息通過(guò)在先軌跡幀的檢測(cè)信息采用線性預(yù)測(cè)的方法進(jìn)行線性預(yù)測(cè)獲取;獲取所述目標(biāo)的軌跡集合;所述目標(biāo)的軌跡集合包括:至少一個(gè)目標(biāo)的軌跡;所述目標(biāo)的軌跡包括:同一目標(biāo)在至少一個(gè)圖像幀內(nèi)的檢測(cè)信息及其對(duì)應(yīng)置信度的集合。
還需要說(shuō)明的是,該裝置還包括:系數(shù)設(shè)置單元,用于預(yù)置所述置信度的衰減系數(shù),并用于當(dāng)采用所述通過(guò)圖像預(yù)測(cè)算法獲取所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息時(shí),所述初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)在其下一幀圖像的檢測(cè)信息對(duì)應(yīng)的置信度為初始待檢測(cè)圖像幀組中各個(gè)圖像幀中目標(biāo)的檢測(cè)信息對(duì)應(yīng)的置信度與所述置信度的衰減系數(shù)的乘積。
還需要說(shuō)明的是,該裝置還包括:判斷單元,用于預(yù)置所述置信度閾值;判斷所述目標(biāo)的檢測(cè)信息對(duì)應(yīng)的置信度是否低于所述置信度閾值;如果低于所述置信度閾值,則停止所述目標(biāo)的軌跡跟蹤。
還需要說(shuō)明的是,該裝置還包括:添加單元,用于獲取所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中新增目標(biāo)的檢測(cè)信息及其置信度;將所述初始待檢測(cè)圖像幀組的下一幀組中各個(gè)圖像幀中新增目標(biāo)的檢測(cè)信息及其置信度添加到所述目標(biāo)的軌跡集合。
還需要說(shuō)明的是,該裝置還包括:目標(biāo)統(tǒng)計(jì)單元,用于獲取所述目標(biāo)的軌跡集合的篩選規(guī)則;根據(jù)所述目標(biāo)的軌跡集合的篩選規(guī)則,進(jìn)行目標(biāo)統(tǒng)計(jì)。
不難發(fā)現(xiàn),本實(shí)施方式為與第一實(shí)施方式相對(duì)應(yīng)的裝置實(shí)施例,本實(shí)施方式可與第一實(shí)施方式互相配合實(shí)施。第一實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)在本實(shí)施方式中依然有效,為了減少重復(fù),這里不再贅述。相應(yīng)地,本實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)也可應(yīng)用在第一實(shí)施方式中。
值得一提的是,本實(shí)施方式中所涉及到的各模塊均為邏輯模塊,在實(shí)際應(yīng)用中,一個(gè)邏輯單元可以是一個(gè)物理單元,也可以是一個(gè)物理單元的一部分,還可以以多個(gè)物理單元的組合實(shí)現(xiàn)。此外,為了突出本發(fā)明的創(chuàng)新部分,本實(shí)施方式中并沒(méi)有將與解決本發(fā)明所提出的技術(shù)問(wèn)題關(guān)系不太密切的單元引入,但這并不表明本實(shí)施方式中不存在其它的單元。
圖4為本發(fā)明電子設(shè)備一個(gè)實(shí)施例的結(jié)構(gòu)示意圖,可以實(shí)現(xiàn)本發(fā)明圖1-2所示實(shí)施例的流程,如圖4所示,上述電子設(shè)備可以包括:殼體41、處理器42、存儲(chǔ)器43、電路板44和電源電路45,其中,所述電路板44安置在所述殼體41圍成的空間內(nèi)部,所述處理器42和所述存儲(chǔ)器43設(shè)置在所述電路板44上;所述電源電路45,用于為上述電子設(shè)備的各個(gè)電路或器件供電;所述存儲(chǔ)器43用于存儲(chǔ)可執(zhí)行程序代碼;所述處理器42通過(guò)讀取所述存儲(chǔ)器43中存儲(chǔ)的可執(zhí)行程序代碼來(lái)運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序,用于執(zhí)行前述任一實(shí)施例所述的基于視頻分析的廣告牌監(jiān)測(cè)方法。
所述處理器42對(duì)上述步驟的具體執(zhí)行過(guò)程以及所述處理器42通過(guò)運(yùn)行可執(zhí)行程序代碼來(lái)進(jìn)一步執(zhí)行的步驟,可以參見(jiàn)本發(fā)明圖1-2所示實(shí)施例的描述,在此不再贅述。
本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件完成,所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),包括方法實(shí)施例的步驟之一或其組合。
為了描述的方便,描述以上裝置是以功能分為各種單元/模塊分別描述。當(dāng)然,在實(shí)施本發(fā)明時(shí)可以把各單元/模塊的功能在同一個(gè)或多個(gè)軟件和/或硬件中實(shí)現(xiàn)。
通過(guò)以上的實(shí)施方式的描述可知,本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái),該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在存儲(chǔ)介質(zhì)中,如ROM/RAM、磁碟、光盤等,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程,是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成,所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),可包括如上述各方法的實(shí)施例的流程。其中,所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(Read-Only Memory,ROM)或隨機(jī)存儲(chǔ)記憶體(Random Access Memory,RAM)等。
以上所述,僅為本發(fā)明的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到的變化或替換,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。