基于視頻的逆行檢測(cè)方法及其系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及計(jì)算機(jī)視覺(jué)中的圖像理解領(lǐng)域，公開(kāi)了一種基于視頻的逆行檢測(cè)方法及其系統(tǒng)。本發(fā)明中，在幀差圖像中取角點(diǎn)，在原始圖像中進(jìn)行角點(diǎn)光流跟蹤，根據(jù)光流特征矢量分解運(yùn)動(dòng)模式，判斷是否有逆行發(fā)生，提高了逆行檢測(cè)的魯棒性，有效地降低了復(fù)雜場(chǎng)景下逆行檢測(cè)漏報(bào)和誤報(bào)發(fā)生的概率。針對(duì)視頻中的運(yùn)動(dòng)區(qū)域，通過(guò)迭代聚類算法得到不同的運(yùn)動(dòng)模式，可以有效地提取出復(fù)雜場(chǎng)景下對(duì)應(yīng)于不同運(yùn)動(dòng)物體的運(yùn)動(dòng)模式，以便于逆行檢測(cè)分析。采用金字塔分層的思想可以應(yīng)對(duì)圖像塊較大范圍內(nèi)的移動(dòng)，適應(yīng)于逆行檢測(cè)的應(yīng)用場(chǎng)景。
【專利說(shuō)明】基于視頻的逆行檢測(cè)方法及其系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺(jué)中的圖像理解領(lǐng)域，特別涉及基于視頻的逆行檢測(cè)技術(shù)。【背景技術(shù)】
[0002]基于視頻的逆行檢測(cè)，是屬于人群異常行為檢測(cè)的一種。在當(dāng)前社會(huì)中，安全問(wèn)題成為人們?nèi)找骊P(guān)注的問(wèn)題。而人群的行為，包括人群的聚集，打架斗毆，運(yùn)動(dòng)軌跡趨勢(shì)等行為逐漸成為計(jì)算機(jī)視覺(jué)研究人員關(guān)注的新的課題。人群的行為對(duì)于公共安全部門(mén)工作有較好的指導(dǎo)意義。例如:公安部門(mén)可以利用視頻技術(shù)檢測(cè)到人群聚集或者打架斗毆，防止騷亂升級(jí)；交通部門(mén)利用區(qū)域內(nèi)一段時(shí)間人群運(yùn)動(dòng)軌跡統(tǒng)計(jì)來(lái)做一些決策性的指導(dǎo)，比如在擁堵的地方增加交警警力，疏散交通等等。人群中的逆行檢測(cè)同樣有其應(yīng)用的場(chǎng)景，大到比如沙特麥加朝圣，正是一部分人不遵守既定路線行進(jìn)，導(dǎo)致人群踐踏慘劇的發(fā)生；小到在超市或者地鐵的自動(dòng)扶梯，一些人逆行，不單單是缺乏公德的表現(xiàn)，也會(huì)帶來(lái)潛在的危險(xiǎn)。
[0003]現(xiàn)有技術(shù)中，大多考慮利用人體的運(yùn)動(dòng)軌跡或者人體關(guān)節(jié)的運(yùn)動(dòng)軌跡來(lái)檢測(cè)異常行為，這類基于跟蹤的方法往往在簡(jiǎn)單場(chǎng)景下可以取得很好的效果，但是在復(fù)雜場(chǎng)景，人群密度較大，人數(shù)較多的時(shí)候，由于跟蹤失效，隨之而來(lái)帶來(lái)的是大量的漏報(bào)和誤報(bào)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種基于視頻的逆行檢測(cè)方法及其系統(tǒng)，提高了逆行檢測(cè)的魯棒性，有效地降低了復(fù)雜場(chǎng)景下逆行檢測(cè)漏報(bào)和誤報(bào)發(fā)生的概率。
[0005]為解決上述技術(shù)問(wèn)題，本發(fā)明的實(shí)施方式公開(kāi)了一種基于視頻的逆行檢測(cè)方法，包括以下步驟:
[0006]對(duì)視頻中相鄰幀的原始圖像中對(duì)應(yīng)的像素點(diǎn)求差，并對(duì)差值二值化，得到幀差圖像；
[0007]根據(jù)幀差圖像提取運(yùn)動(dòng)區(qū)域；
[0008]在幀差圖像中選取角點(diǎn)；
[0009]以所選取的角點(diǎn)作為光流的初始跟蹤點(diǎn)，在視頻的原始圖像中進(jìn)行角點(diǎn)光流跟蹤，得到光流特征矢量；
[0010]根據(jù)光流的初始跟蹤點(diǎn)與運(yùn)動(dòng)區(qū)域的位置關(guān)系，獲得運(yùn)動(dòng)區(qū)域與光流特征矢量的對(duì)應(yīng)關(guān)系；
[0011]對(duì)于每一個(gè)運(yùn)動(dòng)區(qū)域，分別根據(jù)該運(yùn)動(dòng)區(qū)域中的光流特征矢量分解運(yùn)動(dòng)模式；
[0012]根據(jù)運(yùn)動(dòng)模式的平均速度的大小和方向判斷是否有逆行發(fā)生。
[0013]本發(fā)明的實(shí)施方式還公開(kāi)了一種基于視頻的逆行檢測(cè)系統(tǒng)，包括:
[0014]幀差圖像獲取單元，用于對(duì)視頻中相鄰幀的原始圖像中對(duì)應(yīng)的像素點(diǎn)求差，并對(duì)差值二值化，得到幀差圖像；
[0015]運(yùn)動(dòng)區(qū)域提取單元，用于根據(jù)幀差圖像獲取單元所得到的偵查圖像提取運(yùn)動(dòng)區(qū)域；[0016]角點(diǎn)選取單元，用于在幀差圖像獲取單元所得到的幀差圖像中選取角點(diǎn)；
[0017]光流跟蹤單元，用于以角點(diǎn)選取單元所選取的角點(diǎn)作為光流的初始跟蹤點(diǎn)，在視頻的原始圖像中進(jìn)行角點(diǎn)光流跟蹤，得到光流特征矢量；
[0018]運(yùn)動(dòng)信息獲取單元，用于根據(jù)光流的初始跟蹤點(diǎn)與運(yùn)動(dòng)區(qū)域的位置關(guān)系，獲得運(yùn)動(dòng)區(qū)域與光流特征矢量的對(duì)應(yīng)關(guān)系；
[0019]運(yùn)動(dòng)模式分解單元，用于對(duì)于每一個(gè)運(yùn)動(dòng)區(qū)域，分別根據(jù)該運(yùn)動(dòng)區(qū)域中的光流特征矢量分解運(yùn)動(dòng)模式；
[0020]逆行檢測(cè)單元，用于根據(jù)運(yùn)動(dòng)模式分解單元所分解的運(yùn)動(dòng)模式的平均速度的大小和方向判斷是否有逆行發(fā)生。
[0021]本發(fā)明實(shí)施方式與現(xiàn)有技術(shù)相比，主要區(qū)別及其效果在于:
[0022]在幀差圖像中取角點(diǎn)，在原始圖像中進(jìn)行角點(diǎn)光流跟蹤，根據(jù)光流特征矢量分解運(yùn)動(dòng)模式，判斷是否有逆行發(fā)生，提高了逆行檢測(cè)的魯棒性，有效地降低了復(fù)雜場(chǎng)景下逆行檢測(cè)漏報(bào)和誤報(bào)發(fā)生的概率。
[0023]進(jìn)一步地，針對(duì)視頻中的運(yùn)動(dòng)區(qū)域，通過(guò)迭代聚類算法得到不同的運(yùn)動(dòng)模式，可以有效地提取出復(fù)雜場(chǎng)景下對(duì)應(yīng)于不同運(yùn)動(dòng)物體的運(yùn)動(dòng)模式，以便于逆行檢測(cè)分析。
[0024]進(jìn)一步地，去掉了 RANSAC中隨機(jī)取光流特征矢量求解幾何變換模型，而采用遍歷所有的光流特征矢量求解幾何變換模型的方法，可以避免隨機(jī)數(shù)產(chǎn)生。
[0025]進(jìn)一步地，采用金字塔分層的思想可以應(yīng)對(duì)圖像塊較大范圍內(nèi)的移動(dòng)，適應(yīng)于逆行檢測(cè)的應(yīng)用場(chǎng)景。
[0026]進(jìn)一步地，攝像機(jī)高度要適中，攝像頭太低，人占的面積太大容易誤報(bào)，太高容易漏報(bào)，焦距不能過(guò)大，不然人在視野內(nèi)較大容易誤報(bào)。攝像機(jī)角度盡量垂直，即視野范圍內(nèi)的景深不要過(guò)大，這樣可以減少透視效應(yīng)帶來(lái)的影響，方便算法閾值的設(shè)定。
【專利附圖】

【附圖說(shuō)明】
[0027]圖1是本發(fā)明第一實(shí)施方式中一種基于視頻的逆行檢測(cè)方法的流程示意圖；
[0028]圖2是本發(fā)明第二實(shí)施方式中一種基于視頻的逆行檢測(cè)方法的流程示意圖；
[0029]圖3是本發(fā)明第三實(shí)施方式中一種基于視頻的逆行檢測(cè)系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0030]在以下的敘述中，為了使讀者更好地理解本申請(qǐng)而提出了許多技術(shù)細(xì)節(jié)。但是，本領(lǐng)域的普通技術(shù)人員可以理解，即使沒(méi)有這些技術(shù)細(xì)節(jié)和基于以下各實(shí)施方式的種種變化和修改，也可以實(shí)現(xiàn)本申請(qǐng)各權(quán)利要求所要求保護(hù)的技術(shù)方案。
[0031]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作進(jìn)一步地詳細(xì)描述。
[0032]本發(fā)明第一實(shí)施方式涉及一種基于視頻的逆行檢測(cè)方法。圖1是該基于視頻的逆行檢測(cè)方法的流程示意圖。
[0033]具體地說(shuō)，如圖1所示，該基于視頻的逆行檢測(cè)方法包括以下步驟:
[0034]在步驟101中，對(duì)視頻中相鄰幀的原始圖像中對(duì)應(yīng)的像素點(diǎn)求差，并對(duì)差值二值化，得到幀差圖像。[0035]根據(jù)相鄰兩幀或者多幀圖像相對(duì)應(yīng)的像素點(diǎn)做差如公式(I)所示，其中D(t)為差分圖像，I(t)為當(dāng)前幀圖像，I(t-1)為上一幀圖像。通過(guò)設(shè)定一定的閾值，得到運(yùn)動(dòng)的像素點(diǎn)乃至運(yùn)動(dòng)區(qū)域。其實(shí)獲得運(yùn)動(dòng)區(qū)域的方法多種多樣，包括背景建模方法，光流法等。本發(fā)明采用幀差法是因?yàn)楸旧暾?qǐng)中提出的方法及系統(tǒng)是應(yīng)用在復(fù)雜場(chǎng)景，在這種場(chǎng)景下背景建模方法已經(jīng)失效了 ；而光流法，特別是基于像素點(diǎn)的光流由于計(jì)算量較大，往往在實(shí)際工程中不予采用。幀差閾值的選擇也要合適，太小的話對(duì)噪聲敏感，太大的話真實(shí)目標(biāo)運(yùn)動(dòng)區(qū)域容易破碎。本實(shí)施方式中，根據(jù)大量實(shí)際場(chǎng)景測(cè)試，默認(rèn)值為7。當(dāng)然，這只是一種優(yōu)選值，在本發(fā)明的其它某些實(shí)施方式中，也可以默認(rèn)為其它的值。
[0036]D(t) =I (t)-1 (t-1) (1)
[0037]此后進(jìn)入步驟102，根據(jù)幀差圖像提取運(yùn)動(dòng)區(qū)域。
[0038]進(jìn)一步地，在步驟102中，還包括以下子步驟:
[0039]將幀差圖像的像素做雙向投影，得到水平投影直方圖和垂直投影直方圖。
[0040]通過(guò)對(duì)水平投影直方圖和垂直投影直方圖進(jìn)行自適應(yīng)閾值，得到運(yùn)動(dòng)區(qū)域。
[0041]2004年第29期《計(jì)算機(jī)工程與應(yīng)用》中由袁基煒、史忠科發(fā)表的《一種圖像序列自動(dòng)分割新方法》中對(duì)自適應(yīng)閾值技術(shù)進(jìn)行了介紹，在這里不再詳細(xì)闡述。
[0042]具體地說(shuō)，利用直方圖雙向投影方法如公式(2)和(3)所示，其中C、R為雙向投影得到的直方圖，M為圖像的寬度，N為圖像的高度，P為幀差圖像的像素，然后通過(guò)自適應(yīng)閾值得到幀差分割圖。當(dāng)然也可以利用連通區(qū)域標(biāo)記法。在本申請(qǐng)中，不用連通區(qū)域標(biāo)記法，主要原因是幀差前景在對(duì)比度比較低的場(chǎng)景會(huì)破碎一些，所以有可能得不到完整的區(qū)域。運(yùn)動(dòng)區(qū)域提取的另一個(gè)好處是:相對(duì)于在整幅圖像設(shè)置光流初始點(diǎn)，在運(yùn)動(dòng)區(qū)域設(shè)置初始點(diǎn)減少了計(jì)算量，并且提高了檢測(cè)的效率。
[0043]C = Ic1, (V..cM}其中
【權(quán)利要求】
1.一種基于視頻的逆行檢測(cè)方法，其特征在于，包括以下步驟: 對(duì)視頻中相鄰幀的原始圖像中對(duì)應(yīng)的像素點(diǎn)求差，并對(duì)差值二值化，得到幀差圖像； 根據(jù)所述幀差圖像提取運(yùn)動(dòng)區(qū)域； 在所述幀差圖像中選取角點(diǎn)； 以所選取的角點(diǎn)作為光流的初始跟蹤點(diǎn)，在視頻的原始圖像中進(jìn)行角點(diǎn)光流跟蹤，得到光流特征矢量； 根據(jù)所述光流的初始跟蹤點(diǎn)與所述運(yùn)動(dòng)區(qū)域的位置關(guān)系，獲得所述運(yùn)動(dòng)區(qū)域與所述光流特征矢量的對(duì)應(yīng)關(guān)系； 對(duì)于每一個(gè)運(yùn)動(dòng)區(qū)域，分別根據(jù)該運(yùn)動(dòng)區(qū)域中的光流特征矢量分解運(yùn)動(dòng)模式； 根據(jù)所述運(yùn)動(dòng)模式的平均速度的大小和方向判斷是否有逆行發(fā)生。
2.根據(jù)權(quán)利要求1所述的基于視頻的逆行檢測(cè)方法，其特征在于，在所述對(duì)于每一個(gè)運(yùn)動(dòng)區(qū)域，分別根據(jù)該運(yùn)動(dòng)區(qū)域中的光流特征矢量分解運(yùn)動(dòng)模式的步驟中，包括以下子步驟: A根據(jù)運(yùn)動(dòng)區(qū)域中的光流特征矢量與對(duì)應(yīng)的光流的初始跟蹤點(diǎn)，計(jì)算出幾何變換模型的平移參數(shù)； B利用得到的幾何變換模型去套用其它的光流特征矢量，計(jì)算符合這個(gè)模型的光流特征矢量的個(gè)數(shù)，符合是指某個(gè)光流的初始跟蹤點(diǎn)根據(jù)所述幾何變換模型計(jì)算得到的點(diǎn)與利用角點(diǎn)光流點(diǎn)跟蹤得到的點(diǎn)足夠近； C得到第一幾何變換模型，其中，光流特征矢量符合該模型的個(gè)數(shù)達(dá)到最大，符合該第一幾何變換模型的光流特`征矢量為第一運(yùn)動(dòng)模式； 在不屬于第一運(yùn)動(dòng)模式的光流特征矢量中，按照上述步驟A、B和C，得到第二幾何變換模型，符合該第二幾何變換模型的光流特征矢量為第二運(yùn)動(dòng)模式； 在不屬于第一和第二運(yùn)動(dòng)模式的光流特征矢量中，按照上述步驟A、B和C，得到第三幾何變換模型，符合該第三幾何變換模型的光流特征矢量為第三運(yùn)動(dòng)模式。
3.根據(jù)權(quán)利要求2所述的基于視頻的逆行檢測(cè)方法，其特征在于，采用的是遍歷所有的光流特征矢量求解幾何變換模型。
4.根據(jù)權(quán)利要求3所述的基于視頻的逆行檢測(cè)方法，其特征在于，所述幾何變換模型為仿射變換模型。
5.根據(jù)權(quán)利要求4所述的基于視頻的逆行檢測(cè)方法，其特征在于，在所述根據(jù)所述幀差圖像提取運(yùn)動(dòng)區(qū)域的步驟中，包括以下子步驟: 將幀差圖像的像素做雙向投影，得到水平投影直方圖和垂直投影直方圖； 通過(guò)對(duì)所述水平投影直方圖和垂直投影直方圖進(jìn)行自適應(yīng)閾值，得到運(yùn)動(dòng)區(qū)域。
6.根據(jù)權(quán)利要求5所述的基于視頻的逆行檢測(cè)方法，其特征在于，在所述以所選取的角點(diǎn)作為光流的初始跟蹤點(diǎn)，在視頻的原始圖像中進(jìn)行角點(diǎn)光流跟蹤，得到光流特征矢量的步驟中，采用的是盧卡斯.卡納德光流算法。
7.根據(jù)權(quán)利要求6所述的基于視頻的逆行檢測(cè)方法，其特征在于，選擇Harris角點(diǎn)作為光流的初始跟蹤點(diǎn)。
8.根據(jù)權(quán)利要求7所述的基于視頻的逆行檢測(cè)方法，其特征在于，在所述以所選取的角點(diǎn)作為光流的初始跟蹤點(diǎn)，在視頻的原始圖像中進(jìn)行角點(diǎn)光流跟蹤，得到光流特征矢量的步驟中，利用的是金字塔分層的思想，保存原始圖像的1/4圖像與1/16圖像，角點(diǎn)每次迭代尋找先在圖像1/16處尋找，然后在圖像1/4處尋找，最后在原始圖像尋找匹配特征塊。
9.一種基于視頻的逆行檢測(cè)系統(tǒng)，其特征在于，包括: 幀差圖像獲取單元，用于對(duì)視頻中相鄰幀的原始圖像中對(duì)應(yīng)的像素點(diǎn)求差，并對(duì)差值二值化，得到幀差圖像； 運(yùn)動(dòng)區(qū)域提取單元，用于根據(jù)所述幀差圖像獲取單元所得到的偵查圖像提取運(yùn)動(dòng)區(qū)域； 角點(diǎn)選取單元，用于在所述幀差圖像獲取單元所得到的幀差圖像中選取角點(diǎn)； 光流跟蹤單元，用于以所述角點(diǎn)選取單元所選取的角點(diǎn)作為光流的初始跟蹤點(diǎn)，在視頻的原始圖像中進(jìn)行角點(diǎn)光流跟蹤，得到光流特征矢量； 運(yùn)動(dòng)信息獲取單元，用于根據(jù)所述光流的初始跟蹤點(diǎn)與所述運(yùn)動(dòng)區(qū)域的位置關(guān)系，獲得所述運(yùn)動(dòng)區(qū)域與所述光流特征矢量的對(duì)應(yīng)關(guān)系； 運(yùn)動(dòng)模式分解單元，用于對(duì)于每一個(gè)運(yùn)動(dòng)區(qū)域，分別根據(jù)該運(yùn)動(dòng)區(qū)域中的光流特征矢量分解運(yùn)動(dòng)模式； 逆行檢測(cè)單元，用于根據(jù)所述運(yùn)動(dòng)模式分解單元所分解的運(yùn)動(dòng)模式的平均速度的大小和方向判斷是否有逆行發(fā)生。
10.根據(jù)權(quán)利要 求9所述的基于視頻的逆行檢測(cè)系統(tǒng)，其特征在于，還包括:攝像機(jī)，用于獲取視頻圖像，攝像機(jī)的安裝位置要保證人的高度占圖像高度的1/3至1/2，攝像機(jī)焦距選擇3至9毫米。
【文檔編號(hào)】G06T7/20GK103793920SQ201210419365
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2012年10月26日 優(yōu)先權(quán)日:2012年10月26日
【發(fā)明者】王超, 刁一平, 全曉臣, 蔡巍偉, 任燁 申請(qǐng)人:杭州?？低晹?shù)字技術(shù)股份有限公司