視頻穩(wěn)像方法及其裝置制造方法
【專利摘要】本發(fā)明涉及智能視頻監(jiān)控領(lǐng)域，公開了一種視頻穩(wěn)像方法及其裝置。本發(fā)明中，針對(duì)背景建模的模型，利用輸入圖像維護(hù)其背景，利用矯正圖像維護(hù)其前景，延伸了背景建模的模型中背景與前景只用輸入圖像進(jìn)行維護(hù)的思路，較好地抑制了由于抖動(dòng)造成的虛假前景，減少了漏報(bào)和誤報(bào)現(xiàn)象，提高了視頻監(jiān)控的有效性。在視頻穩(wěn)像過程中，合理地把仿射變換模型、RANSAC算法與最小二乘法結(jié)合起來，這樣較好地描述了由于抖動(dòng)造成的輸入圖像與背景建模的模型中的背景的幾何變換關(guān)系。最小二乘法保證所求的參數(shù)在均方意義下誤差最小，可以進(jìn)一步減少光流匹配帶來的誤差。
【專利說明】視頻穩(wěn)像方法及其裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能視頻監(jiān)控領(lǐng)域，特別涉及視頻穩(wěn)像技術(shù)。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)視覺和模式識(shí)別等技術(shù)的發(fā)展和成熟，智能視頻監(jiān)控(IntelligentVideo Surveillance,簡稱“IVS”)系統(tǒng)逐漸走進(jìn)了人們的視線。IVS是一種基于視頻分析，并提取出語義級(jí)別信息的技術(shù)，它包括前景分割、目標(biāo)跟蹤和事件檢測等幾個(gè)環(huán)節(jié)。相對(duì)于傳統(tǒng)“以人為本”的監(jiān)控模式，IVS系統(tǒng)有以下幾個(gè)特點(diǎn):
[0003]1、傳統(tǒng)監(jiān)控模式需要人通過監(jiān)視器觀察，長時(shí)間特別是同時(shí)觀察多路視頻時(shí)必然會(huì)導(dǎo)致人的疲勞；而基于數(shù)字信號(hào)處理器、電腦或者圖形處理器的IVS系統(tǒng)不會(huì)有“疲勞”的問題。
[0004]2、傳統(tǒng)監(jiān)控模式一般有異常情況發(fā)生以后，都是事后取證，有時(shí)候需要安排人力在海量的數(shù)據(jù)庫中搜索；而IVS可以“事先預(yù)警”、“事中報(bào)警”或者是在數(shù)據(jù)流中利用時(shí)間戳快速定位到事件發(fā)生的時(shí)間，減少了人力搜索的成本。
[0005]3、IVS其實(shí)并非比人類還智能，這樣就難免存在一些漏報(bào)和誤報(bào)，所以它可以作為傳統(tǒng)模式的一種輔助，提高監(jiān)控的有效性。
[0006]如何提升IVS系統(tǒng)在各種實(shí)際應(yīng)用場景的魯棒性，一直是學(xué)術(shù)界、工業(yè)界亟待解決的問題。由于某些IVS應(yīng)用場景攝像頭架設(shè)位置較高，所以大風(fēng)會(huì)導(dǎo)致攝像頭抖動(dòng)，從而導(dǎo)致所拍攝的畫面也存在抖動(dòng)，造成誤報(bào)和漏報(bào)。針對(duì)這種場景，現(xiàn)有技術(shù)中的解決策略通常有以下幾種:
[0007]1、考慮到背景建模前景在頻率上的特征，其中抖動(dòng)位置(一般是紋理較豐富位置)引起的前景頻率較大，所以通過某種概率統(tǒng)計(jì)，針對(duì)這些前景頻率出現(xiàn)較大的位置做一個(gè)處理(比如說屏蔽該區(qū)域，不讓生成前景)。這樣可以大大降低因?yàn)槎秳?dòng)生成的虛假前景，從而降低抖動(dòng)引起的誤報(bào)。但是與之產(chǎn)生的一個(gè)問題是，如果有正常目標(biāo)在這些位置出現(xiàn)，那么正常目標(biāo)也不會(huì)生成前景了。
[0008]2、在IVS處理視頻之前，或者具體說在背景建模處理之前加入一個(gè)視頻穩(wěn)像單元，如圖1所示。這種想法中視頻穩(wěn)像作為單獨(dú)一個(gè)單元，單元間的耦合小，而且確實(shí)有一定效果，能夠減少一部分由于抖動(dòng)引起的虛假前景。該算法的假設(shè)是把攝像機(jī)運(yùn)動(dòng)分解為正常運(yùn)動(dòng)與抖動(dòng)，而抖動(dòng)相對(duì)于正常運(yùn)動(dòng)運(yùn)動(dòng)頻率高，所以該算法把多幀的運(yùn)動(dòng)之和進(jìn)行低通濾波，然后再把需要矯正的那一幀圖像針對(duì)該低頻分量補(bǔ)償回來。但是該算法針對(duì)IVS算法中碰到的抖動(dòng)場景也有不足，首先抖動(dòng)不一定完全是高頻振動(dòng)，也有可能是幅度較大而頻率較低的運(yùn)動(dòng)，這種運(yùn)動(dòng)已經(jīng)與攝像機(jī)正常運(yùn)動(dòng)非常類似了，所以假設(shè)不成立。而且，在這種情況下，由于抖動(dòng)造成的虛假前景點(diǎn)還是很多。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的目的在于提供一種視頻穩(wěn)像方法及其裝置，較好地抑制了由于抖動(dòng)造成的虛假前景，減少了漏報(bào)和誤報(bào)現(xiàn)象，提高了視頻監(jiān)控的有效性。
[0010]為解決上述技術(shù)問題，本發(fā)明的實(shí)施方式公開了一種視頻穩(wěn)像方法，包括以下步驟:
[0011]根據(jù)輸入圖像提取特征點(diǎn)；
[0012]根據(jù)提取的特征點(diǎn)對(duì)背景圖像進(jìn)行光流特征點(diǎn)跟蹤，得到輸入圖像和背景圖像之間相匹配的特征點(diǎn)對(duì)的集合；
[0013]根據(jù)幾何變換模型從特征點(diǎn)對(duì)的集合中選擇有效點(diǎn)的集合；
[0014]利用有效點(diǎn)的集合，計(jì)算出幾何變換模型的最終參數(shù)；
[0015]根據(jù)最終參數(shù)對(duì)輸入圖像進(jìn)行幾何變換，得到矯正圖像；
[0016]將得到的矯正圖像進(jìn)行背景建模得到前景圖像。
[0017]本發(fā)明的實(shí)施方式還公開了一種視頻穩(wěn)像裝置，包括:
[0018]特征點(diǎn)提取單元，用于根據(jù)輸入圖像提取特征點(diǎn)；
[0019]光流算法單元，用于根據(jù)特征點(diǎn)提取單元提取的特征點(diǎn)對(duì)背景圖像進(jìn)行光流特征點(diǎn)跟蹤，得到輸入圖像和背景圖像之間相匹配的特征點(diǎn)對(duì)的集合；
[0020]有效點(diǎn)選擇單元，用于根據(jù)幾何變換模型從光流算法單元輸出的特征點(diǎn)對(duì)的集合中選擇有效點(diǎn)的集合；
[0021]參數(shù)計(jì)算單元，用于利用有效點(diǎn)選擇單元選擇的有效點(diǎn)的集合，計(jì)算出幾何變換模型的最終參數(shù)；
[0022]幾何變換單元，用于根據(jù)參數(shù)計(jì)算單元計(jì)算出的最終參數(shù)對(duì)輸入圖像進(jìn)行幾何變換，得到矯正圖像；
[0023]背景模型單元，用于將幾何變換單元輸出的矯正圖像進(jìn)行背景建模得到前景圖像。
[0024]本發(fā)明實(shí)施方式與現(xiàn)有技術(shù)相比，主要區(qū)別及其效果在于:
[0025]針對(duì)背景建模的模型，利用輸入圖像維護(hù)其背景，利用矯正圖像維護(hù)其前景，延伸了背景建模的模型中背景與前景只用輸入圖像進(jìn)行維護(hù)的思路，較好地抑制了由于抖動(dòng)造成的虛假前景，減少了漏報(bào)和誤報(bào)現(xiàn)象，提高了視頻監(jiān)控的有效性。
[0026]進(jìn)一步地，在視頻穩(wěn)像過程中，合理地把仿射變換模型、RANSAC算法與最小二乘法結(jié)合起來，這樣較好地描述了由于抖動(dòng)造成的輸入圖像與背景建模的模型中的背景的幾何變換關(guān)系。
[0027]進(jìn)一步地，在實(shí)際監(jiān)控過程中，很多抖動(dòng)場景并不是規(guī)律的抖動(dòng)，由于大風(fēng)等影響，有可能攝像機(jī)長期偏向一側(cè)，在這種情況下，重新啟動(dòng)背景建模的模型，進(jìn)一步提到了視頻監(jiān)控的有效性。
[0028]進(jìn)一步地，最小二乘法保證所求的參數(shù)在均方意義下誤差最小，可以進(jìn)一步減少光流匹配帶來的誤差。
【專利附圖】

【附圖說明】
[0029]圖1是現(xiàn)有技術(shù)中一種視頻穩(wěn)像方法的示意圖；
[0030]圖2是本發(fā)明第一實(shí)施方式中一種視頻穩(wěn)像方法的流程示意圖；
[0031]圖3是本發(fā)明第一實(shí)施方式中一種視頻穩(wěn)像方法的示意圖；[0032]圖4是本發(fā)明第一實(shí)施方式中一種視頻穩(wěn)像方法的示意圖；
[0033]圖5是本發(fā)明第三實(shí)施方式中一種視頻穩(wěn)像裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0034]在以下的敘述中，為了使讀者更好地理解本申請(qǐng)而提出了許多技術(shù)細(xì)節(jié)。但是，本領(lǐng)域的普通技術(shù)人員可以理解，即使沒有這些技術(shù)細(xì)節(jié)和基于以下各實(shí)施方式的種種變化和修改，也可以實(shí)現(xiàn)本發(fā)明所要求保護(hù)的技術(shù)方案。
[0035]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作進(jìn)一步地詳細(xì)描述。
[0036]本發(fā)明第一實(shí)施方式涉及一種視頻穩(wěn)像方法。圖2是該視頻穩(wěn)像方法的流程示意圖。
[0037]具體地說，如圖2所示，該視頻穩(wěn)像方法包括以下步驟:
[0038]在步驟201中，根據(jù)輸入圖像提取特征點(diǎn)。
[0039]在IVS系統(tǒng)中，輸入圖像可以為RGB三通道圖像，也可以為YUV三通道圖像。在申請(qǐng)中為了描述方便，且不失普遍的只利用了 Y通道圖像，也就是灰度圖。
[0040]在本實(shí)施方式中，優(yōu)選地，特征點(diǎn)為Harris角點(diǎn)。
[0041]對(duì)于盧卡斯光流跟蹤來說，紋理比較豐富的區(qū)域往往特征點(diǎn)跟蹤效果較好，由于角點(diǎn)選擇的判別準(zhǔn)則與盧卡斯光流跟蹤是否準(zhǔn)確的判別準(zhǔn)則一致，因此，具體操作一般都是選擇Harri s角點(diǎn)作為光流的初始跟蹤點(diǎn)。
【權(quán)利要求】
1.一種視頻穩(wěn)像方法，其特征在于，包括以下步驟:根據(jù)輸入圖像提取特征點(diǎn)；根據(jù)提取的特征點(diǎn)對(duì)背景圖像進(jìn)行光流特征點(diǎn)跟蹤，得到輸入圖像和背景圖像之間相匹配的特征點(diǎn)對(duì)的集合；根據(jù)幾何變換模型從特征點(diǎn)對(duì)的集合中選擇有效點(diǎn)的集合；利用有效點(diǎn)的集合，計(jì)算出幾何變換模型的最終參數(shù)；根據(jù)最終參數(shù)對(duì)輸入圖像進(jìn)行幾何變換，得到矯正圖像；將得到的矯正圖像進(jìn)行背景建模得到前景圖像。
2.根據(jù)權(quán)利要求1所述的視頻穩(wěn)像方法，其特征在于，在所述根據(jù)提取的特征點(diǎn)對(duì)背景圖像進(jìn)行光流特征點(diǎn)跟蹤，得到輸入圖像和背景圖像之間相匹配的特征點(diǎn)對(duì)的集合的步驟之前，還包括以下子步驟:將輸入圖像進(jìn)行背景建模得到背景圖像。
3.根據(jù)權(quán)利要求2所述的視頻穩(wěn) 像方法，其特征在于，在所述利用有效點(diǎn)的集合，計(jì)算出幾何變換模型的最終參數(shù)的步驟之后，還包括以下步驟:判斷幾何變換模型的最終參數(shù)中表示平移的兩個(gè)參數(shù)大于預(yù)設(shè)門限的持續(xù)時(shí)間是否超過閾值，如果是，則對(duì)背景建模的模型重新初始化。
4.根據(jù)權(quán)利要求3所述的視頻穩(wěn)像方法，其特征在于，所述背景建模的方法為高斯背景建模。
5.根據(jù)權(quán)利要求4所述的視頻穩(wěn)像方法，其特征在于，所述特征點(diǎn)為Harris角點(diǎn)。
6.根據(jù)權(quán)利要求5所述的視頻穩(wěn)像方法，其特征在于，在所述根據(jù)提取的特征點(diǎn)對(duì)背景圖像進(jìn)行光流特征點(diǎn)跟蹤，得到輸入圖像和背景圖像之間相匹配的特征點(diǎn)對(duì)的集合的步驟中，采用的是盧卡斯.卡納德光流算法。
7.根據(jù)權(quán)利要求6所述的視頻穩(wěn)像方法，其特征在于，所述幾何變換模型為仿射變換幾何模型。
8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的視頻穩(wěn)像方法，其特征在于，在所述根據(jù)幾何變換模型從特征點(diǎn)對(duì)的集合中選擇有效點(diǎn)的集合的步驟中，包括以下子步驟:在特征點(diǎn)對(duì)中，隨機(jī)選取不共線的3個(gè)點(diǎn)對(duì)，算出仿射變換的6個(gè)參數(shù)；利用得到的仿射變換模型去套用其它的特征點(diǎn)對(duì)，計(jì)算符合這個(gè)模型的點(diǎn)對(duì)的個(gè)數(shù)，符合是指輸入圖像中的某個(gè)特征點(diǎn)根據(jù)所述仿射變換模型計(jì)算得到的點(diǎn)與利用光流特征點(diǎn)跟蹤算法在背景圖像得到的點(diǎn)足夠近；當(dāng)符合某個(gè)仿射變換模型的點(diǎn)對(duì)的個(gè)數(shù)最多時(shí)，符合這個(gè)模型的點(diǎn)對(duì)的集合就是有效點(diǎn)的集合。
9.根據(jù)權(quán)利要求8所述的視頻穩(wěn)像方法，其特征在于，在所述利用有效點(diǎn)的集合，計(jì)算出幾何變換模型的最終參數(shù)的步驟中，是利用最小二乘法計(jì)算仿射變換模型最終的6個(gè)參數(shù)。
10.一種視頻穩(wěn)像裝置，其特征在于，包括:特征點(diǎn)提取單元，用于根據(jù)輸入圖像提取特征點(diǎn)；光流算法單元，用于根據(jù)所述特征點(diǎn)提取單元提取的特征點(diǎn)對(duì)背景圖像進(jìn)行光流特征點(diǎn)跟蹤，得到輸入圖像和背景圖像之間相匹配的特征點(diǎn)對(duì)的集合；有效點(diǎn)選擇單元，用于根據(jù)幾何變換模型從所述光流算法單元輸出的特征點(diǎn)對(duì)的集合中選擇有效點(diǎn)的集合；參數(shù)計(jì)算單元，用于利用所述有效點(diǎn)選擇單元選擇的有效點(diǎn)的集合，計(jì)算出所述幾何變換模型的最終參數(shù)；幾何變換單元，用于根據(jù)所述參數(shù)計(jì)算單元計(jì)算出的最終參數(shù)對(duì)輸入圖像進(jìn)行幾何變換，得到矯正圖像；背景模型單元，用于將所述幾何變換單元輸出的矯正圖像進(jìn)行背景建模得到前景圖像。
11.根據(jù)權(quán)利要求10所述的視頻穩(wěn)像裝置，其特征在于，所述幾何變換模型為仿射變換幾何模型；所述有效點(diǎn)選擇單元還包括以下子單元:仿射變換參數(shù)計(jì)算子單元，用于在所述光流算法單元輸出的特征點(diǎn)對(duì)中，隨機(jī)選取不共線的3個(gè)點(diǎn)對(duì)，算出仿射變換的6個(gè)參數(shù)；符合點(diǎn)對(duì)計(jì)算子單元，用于利用所述仿射變換參數(shù)計(jì)算子單元計(jì)算得到的仿射變換模型去套用所述光流算法單元輸出的特征點(diǎn)對(duì)中其它的點(diǎn)對(duì)，計(jì)算符合這個(gè)模型的點(diǎn)對(duì)的個(gè)數(shù)，符合是指輸入圖像中的某個(gè)特征點(diǎn)根據(jù)所述仿射變換模型計(jì)算得到的點(diǎn)與利用光流特征點(diǎn)跟蹤算法在背景圖像得到的點(diǎn)足夠近；有效點(diǎn)獲取子單元，用于在所述符合點(diǎn)對(duì)計(jì)算子單元計(jì)算出的符合不同仿射變換模型的點(diǎn)對(duì)的個(gè)數(shù)中進(jìn)行選擇，得到一個(gè)符合點(diǎn)對(duì)個(gè)數(shù)最多的仿射變換模型，符合這個(gè)模型的點(diǎn)對(duì)的集合就是有效點(diǎn)的集合。
【文檔編號(hào)】H04N5/14GK103685866SQ201210324508
【公開日】2014年3月26日 申請(qǐng)日期:2012年9月5日 優(yōu)先權(quán)日:2012年9月5日
【發(fā)明者】王超, 全曉臣, 蔡巍偉, 任燁 申請(qǐng)人:杭州?？低晹?shù)字技術(shù)股份有限公司