專利名稱：檢測(cè)圖像序列中的特定對(duì)象的裝置、方法和視頻攝像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識(shí)別領(lǐng)域，涉及圖像處理和計(jì)算機(jī)視覺(jué)等技術(shù)，更具體而言，涉及用于檢測(cè)圖像序列中的特定對(duì)象的裝置、方法和相應(yīng)的視頻攝像設(shè)備。
背景技術(shù)：
對(duì)于視頻圖像序列中的特定對(duì)象進(jìn)行檢測(cè)往往具有重大價(jià)值。例如，如果特定對(duì)象是遺棄物，則這種遺棄物的檢測(cè)對(duì)于維護(hù)公共場(chǎng)所的安全有重要意義。這里所說(shuō)的遺棄物檢測(cè)是指檢測(cè)那些被人有意丟棄、投放在公共場(chǎng)所或某些要害部位，可能裝有爆炸物品的背包、公文包等。通?？植婪肿釉诜胖眠@樣的包裹后，通過(guò)定時(shí)或遙控的方式來(lái)引爆裝在包中的炸彈。這種作案手段成本低、危害大、防范和偵破難度高，逐漸成為犯罪分子進(jìn)行爆炸襲擊的主要方式之一。類似的案件層出不窮，如2004年的西班牙馬德里連環(huán)爆炸案； 2005年英國(guó)倫敦和利物浦的爆炸案等等。目前主要基于視頻進(jìn)行遺棄物檢測(cè)，在檢測(cè)過(guò)程中，利用現(xiàn)場(chǎng)安裝的視頻監(jiān)控設(shè)備，通過(guò)對(duì)攝制到的視頻圖像序列中的圖像內(nèi)容進(jìn)行分析來(lái)探測(cè)遺棄物檢測(cè)事件的發(fā)生。已經(jīng)有較多方法對(duì)基于視頻的遺棄物檢測(cè)進(jìn)行了研究，但目前類似的方法一般需要檢測(cè)出場(chǎng)景中的運(yùn)動(dòng)對(duì)象，然后跟蹤所有運(yùn)動(dòng)對(duì)象，分析是否有運(yùn)動(dòng)對(duì)象從另一個(gè)對(duì)象上分開(kāi)并保持靜止一段時(shí)間，據(jù)此來(lái)檢測(cè)遺棄物。例如，在作者為J.Martinez del Rincon，Jorge Jomez J. Elias HerreroJfI Carlos Orrite Urunela,名禾爾為 “Automatic left luggage detection and tracking using multi-camera UKF"(IEEE International Workshop on Performance Evaluation in Tracking and Surveillance(PETS)，2006)的文獻(xiàn)中所描述的方法，利用背景建模的方法檢測(cè)出運(yùn)動(dòng)對(duì)象，并用卡爾曼濾波方法跟蹤每個(gè)運(yùn)動(dòng)對(duì)象，最后基于一定的規(guī)則判斷是否有特定對(duì)象(即，遺棄物)被遺棄。這些方法都需要跟蹤過(guò)程，而真實(shí)場(chǎng)景往往比較復(fù)雜，想要跟蹤所有的運(yùn)動(dòng)對(duì)象是非常困難的。因此， 這類方法的準(zhǔn)確性較差，難以實(shí)用。發(fā)明名稱為“一種無(wú)需跟蹤過(guò)程的遺棄物檢測(cè)方法”，公開(kāi)號(hào)為CN101635026A，
公開(kāi)日為2010年1月27日的中國(guó)專利申請(qǐng)雖然提出了一種無(wú)需跟蹤過(guò)程的遺棄物檢測(cè)方法，但是該方法并沒(méi)有考慮到真實(shí)場(chǎng)景中的許多難點(diǎn)，比如遮擋等等，因此該方法的誤報(bào)和漏報(bào)很多。

發(fā)明內(nèi)容
鑒于上述情況，亟待提供一種高效和準(zhǔn)確地檢測(cè)圖像序列中的特定對(duì)象(例如遺棄物)的解決方案。本發(fā)明的實(shí)施例提供了用于檢測(cè)圖像序列中特定對(duì)象的裝置和方法。這種裝置和方法無(wú)需跟蹤過(guò)程，通過(guò)實(shí)時(shí)判斷圖像序列的場(chǎng)景中誤報(bào)發(fā)生概率高的區(qū)域(即，誤報(bào)高發(fā)區(qū)域)并對(duì)該誤報(bào)高發(fā)區(qū)域建模，并基于此來(lái)確定通過(guò)前景模板的差分獲得的疑似對(duì)象區(qū)域是否為誤報(bào)高發(fā)區(qū)域或者是否與之匹配，進(jìn)而實(shí)現(xiàn)特定對(duì)象的檢測(cè)。這種裝置和方法能夠提高特定對(duì)象檢測(cè)處理的魯棒性，而且可以大量減少誤報(bào)，顯著改善對(duì)象檢測(cè)的精確性。具體而言，本發(fā)明的實(shí)施例提供一種用于檢測(cè)圖像序列中的特定對(duì)象的裝置，包括疑似對(duì)象區(qū)域檢測(cè)單元，其被配置成針對(duì)包括預(yù)定時(shí)間間隔內(nèi)的多幀圖像的圖像序列、利用背景建模來(lái)構(gòu)建該圖像序列中每一幀圖像的前景模板，并對(duì)所構(gòu)建的前景模板進(jìn)行幀間差分處理；誤報(bào)高發(fā)區(qū)域建模單元，其被配置成在疑似對(duì)象區(qū)域檢測(cè)單元通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域的情況下，將該至少一個(gè)疑似對(duì)象區(qū)域中滿足預(yù)定條件的區(qū)域確定為誤報(bào)高發(fā)區(qū)域，并針對(duì)所確定的誤報(bào)高發(fā)區(qū)域進(jìn)行建模以便構(gòu)建誤報(bào)高發(fā)區(qū)域模型，以及，基于所構(gòu)建的誤報(bào)高發(fā)區(qū)域模型來(lái)生成誤報(bào)高發(fā)區(qū)域模型庫(kù)；以及后處理單元，其被配置成在疑似對(duì)象區(qū)域檢測(cè)單元通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域的情況下，將上述至少一個(gè)疑似對(duì)象區(qū)域中未被確定為是誤報(bào)高發(fā)區(qū)域的每一個(gè)疑似對(duì)象區(qū)域與誤報(bào)高發(fā)區(qū)域模型庫(kù)中相應(yīng)的模型進(jìn)行匹配，并且基于未匹配疑似對(duì)象區(qū)域序列來(lái)檢測(cè)特定對(duì)象。其中，該未匹配疑似對(duì)象區(qū)域序列包括不與誤報(bào)高發(fā)區(qū)域模型庫(kù)中任何模型相匹配的所有未匹配疑似對(duì)象區(qū)域。并且，后處理單元還被配置成在疑似對(duì)象區(qū)域檢測(cè)單元通過(guò)幀間差分處理沒(méi)有檢測(cè)到疑似對(duì)象區(qū)域的情況下，確定在圖像序列中不存在特定對(duì)象。本發(fā)明的實(shí)施例還提供一種用于檢測(cè)圖像序列中的特定對(duì)象的方法，包括利用背景建模來(lái)構(gòu)建包括預(yù)定時(shí)間間隔內(nèi)的多幀圖像的圖像序列中每一幀圖像的前景模板，并對(duì)所構(gòu)建的前景模板進(jìn)行幀間差分處理；如果通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域，則將該至少一個(gè)疑似對(duì)象區(qū)域中滿足預(yù)定條件的區(qū)域確定為誤報(bào)高發(fā)區(qū)域，并針對(duì)所確定的誤報(bào)高發(fā)區(qū)域進(jìn)行建模以便構(gòu)建誤報(bào)高發(fā)區(qū)域模型，以及，基于所構(gòu)建的誤報(bào)高發(fā)區(qū)域模型來(lái)生成誤報(bào)高發(fā)區(qū)域模型庫(kù)；以及如果通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域，則將該至少一個(gè)疑似對(duì)象區(qū)域中未被確定為是誤報(bào)高發(fā)區(qū)域的每一個(gè)疑似對(duì)象區(qū)域與誤報(bào)高發(fā)區(qū)域模型庫(kù)中相應(yīng)的模型進(jìn)行匹配，并且響應(yīng)于匹配結(jié)果，基于包含有不與所述誤報(bào)高發(fā)區(qū)域模型庫(kù)中任何模型相匹配的所有未匹配疑似對(duì)象區(qū)域的未匹配疑似對(duì)象區(qū)域序列來(lái)檢測(cè)特定對(duì)象。如果通過(guò)幀間差分處理沒(méi)有檢測(cè)到疑似對(duì)象區(qū)域，則確定在圖像序列中不存在特定對(duì)象。本發(fā)明的其他實(shí)施例又提供了一種視頻攝像設(shè)備，該視頻攝像設(shè)備包括如上所述的根據(jù)本發(fā)明的實(shí)施例的檢測(cè)圖像序列中的特定對(duì)象的裝置。本發(fā)明的另外的實(shí)施例還提供了一種存儲(chǔ)有機(jī)器可讀取的指令代碼的程序產(chǎn)品， 該指令代碼由機(jī)器讀取并執(zhí)行時(shí)，可執(zhí)行如上所述的根據(jù)本發(fā)明的實(shí)施例的檢測(cè)圖像序列中的特定對(duì)象的方法。本發(fā)明的另外的實(shí)施例還提供了一種承載有上述的程序產(chǎn)品的存儲(chǔ)介質(zhì)。根據(jù)本發(fā)明的實(shí)施例的解決方案通過(guò)構(gòu)建誤報(bào)高發(fā)區(qū)域模型，可以減少圖像序列包括的真實(shí)場(chǎng)景中因?yàn)閳?chǎng)景復(fù)雜而造成的大量誤報(bào)，改善特定對(duì)象檢測(cè)的精確度。此外，所采用的利用前景模板的幀間差分方法來(lái)獲得疑似對(duì)象區(qū)域的手段也能有效避免傳統(tǒng)的幀間差分方法中當(dāng)特定對(duì)象(例如遺棄物)被運(yùn)動(dòng)對(duì)象遮擋時(shí)無(wú)法檢測(cè)出的缺點(diǎn)。


通過(guò)結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式
的描述，本發(fā)明的以上的和其它目的、特點(diǎn)和優(yōu)點(diǎn)將變得清楚。在各附圖中，相同或類似的附圖標(biāo)記表示相同或者類似的功能部件或步驟。在附圖中圖1是示出了根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)圖像序列中的特定對(duì)象的裝置的結(jié)構(gòu)簡(jiǎn)化框圖；圖2是示出了通過(guò)圖1所示的裝置執(zhí)行的特定對(duì)象檢測(cè)過(guò)程的一個(gè)示例的流程示意簡(jiǎn)圖；圖3a_3c是說(shuō)明通過(guò)前景模板的幀間差分獲得前景模板的過(guò)程的一個(gè)示例的示意圖；圖4a4c是說(shuō)明尺寸較大的對(duì)象在現(xiàn)有技術(shù)的檢測(cè)中可能被認(rèn)為是特定對(duì)象而引起誤報(bào)的一個(gè)示例的示意圖；圖5是示出了根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)圖像序列中的特定對(duì)象的裝置執(zhí)行的、確定誤報(bào)高發(fā)區(qū)域并對(duì)其進(jìn)行建模的操作的流程簡(jiǎn)圖；圖6是示出了根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)圖像序列中的特定對(duì)象的裝置執(zhí)行的、基于與誤報(bào)高發(fā)區(qū)域模型進(jìn)行匹配來(lái)檢測(cè)圖像序列中特定對(duì)象的操作的流程簡(jiǎn)圖；圖7是示出了根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)圖像序列中的特定對(duì)象的裝置執(zhí)行的、通過(guò)對(duì)比圖像序列中其他預(yù)定類型的對(duì)象來(lái)檢測(cè)圖像序列中特定對(duì)象的操作的流程簡(jiǎn)圖；圖8是示出了根據(jù)本發(fā)明的實(shí)施例的用于檢測(cè)圖像序列中的特定對(duì)象的方法的流程簡(jiǎn)圖；以及圖9是示出可用于實(shí)施根據(jù)本發(fā)明實(shí)施例的方法和裝置的計(jì)算機(jī)系統(tǒng)的示意性框圖。
具體實(shí)施例方式下面參照附圖來(lái)說(shuō)明本發(fā)明的實(shí)施例。應(yīng)當(dāng)注意，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的設(shè)備結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明關(guān)系不大的其他細(xì)節(jié)。在各附圖中相同或者相似的構(gòu)成元素或部分利用相同或者類似的附圖標(biāo)記來(lái)表示。圖1示出了根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)圖像序列中的特定對(duì)象的裝置100的結(jié)構(gòu)簡(jiǎn)化框圖。如圖1所示，裝置100包括疑似對(duì)象區(qū)域檢測(cè)單元110，其被配置成針對(duì)預(yù)定時(shí)間間隔內(nèi)的多幀圖像的圖像序列、利用背景建模來(lái)構(gòu)建該圖像序列中每一幀圖像的前景模板，并對(duì)所構(gòu)建的前景模板進(jìn)行幀間差分處理；誤報(bào)高發(fā)區(qū)域建模單元120，其被配置成在疑似對(duì)象區(qū)域檢測(cè)單元110通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域的情況下， 將該至少一個(gè)疑似對(duì)象區(qū)域中滿足預(yù)定條件的區(qū)域確定為誤報(bào)高發(fā)區(qū)域，并針對(duì)所確定的誤報(bào)高發(fā)區(qū)域進(jìn)行建模以便構(gòu)建誤報(bào)高發(fā)區(qū)域模型，并且基于所構(gòu)建的誤報(bào)高發(fā)區(qū)域模型來(lái)生成誤報(bào)高發(fā)區(qū)域模型庫(kù)；以及后處理單元130，其被配置成在疑似對(duì)象區(qū)域檢測(cè)單元 110通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域的情況下，將該至少一個(gè)疑似對(duì)象區(qū)域中未被確定為是誤報(bào)高發(fā)區(qū)域的每一個(gè)疑似對(duì)象區(qū)域與誤報(bào)高發(fā)區(qū)域模型庫(kù)中相應(yīng)的模型進(jìn)行匹配，并且基于未匹配疑似對(duì)象區(qū)域序列來(lái)檢測(cè)特定對(duì)象。在此，未匹配疑似對(duì)象區(qū)域序列包括不與誤報(bào)高發(fā)區(qū)域模型庫(kù)中任何模型相匹配的所有未匹配疑似對(duì)象區(qū)域。后處理單元130還可以被配置成在疑似對(duì)象區(qū)域檢測(cè)單元110通過(guò)幀間差分處理沒(méi)有檢測(cè)到疑似對(duì)象區(qū)域的情況下，確定在預(yù)定時(shí)間間隔內(nèi)的多幀圖像，即，圖像序列中不存在特定對(duì)象。圖2是示出了通過(guò)圖1所示的裝置100執(zhí)行的特定對(duì)象檢測(cè)過(guò)程200的一個(gè)示例的流程示意簡(jiǎn)圖。如圖所示，在S220的處理中，基于輸入的圖像序列(例如從視頻監(jiān)視設(shè)備采集的、包括某一預(yù)定時(shí)間間隔內(nèi)多幀圖像的圖像序列)檢測(cè)疑似對(duì)象區(qū)域，即，有可能包括待檢測(cè)的特定對(duì)象(例如遺棄物等)的區(qū)域。在S230的處理中，判斷S220的處理是否檢測(cè)到疑似對(duì)象區(qū)域。如果判斷結(jié)果為“是”，則在S240的處理中，判斷疑似對(duì)象區(qū)域是否為誤報(bào)高發(fā)區(qū)域。如果是，則在S250的處理中對(duì)誤報(bào)高發(fā)區(qū)域進(jìn)行建模，如果不是，則在S260 的處理中對(duì)不是誤報(bào)高發(fā)區(qū)域的疑似對(duì)象區(qū)域進(jìn)行后處理，從而確定該疑似對(duì)象區(qū)域是特定對(duì)象還是誤報(bào)。另外，如果在S230的處理中判斷沒(méi)有檢測(cè)到疑似對(duì)象區(qū)域，則在S250的后處理中，確定在輸入的圖像序列中不存在待檢測(cè)的特定對(duì)象。下面通過(guò)若干具體的示例來(lái)對(duì)裝置100執(zhí)行的特定對(duì)象檢測(cè)過(guò)程200進(jìn)行詳細(xì)描述。首先描述疑似對(duì)象區(qū)域檢測(cè)單元110所進(jìn)行的疑似對(duì)象區(qū)域檢測(cè)處理的示例。在此示例中，以遺棄物作為特定對(duì)象的例子進(jìn)行說(shuō)明。通常遺棄物具備如下兩個(gè)特征(1)遺棄物會(huì)造成被占區(qū)域的背景發(fā)生改變；( 遺棄物在被遺棄后保持靜止。相應(yīng)地，可以通過(guò)如下兩個(gè)步驟來(lái)檢測(cè)包括有多幀圖像的圖像序列的場(chǎng)景中的疑似遺棄物區(qū)域，即疑似對(duì)象區(qū)域第一步是利用基于背景建模的方法，提取出場(chǎng)景中背景發(fā)生改變的區(qū)域?？紤]到遺棄物檢測(cè)處理對(duì)于實(shí)時(shí)性的要求，例如可以采用應(yīng)用廣泛的GMM(高斯混合模型)方法對(duì)背景進(jìn)行建模。通過(guò)GMM方法進(jìn)行背景建模是圖像處理技術(shù)領(lǐng)域中公知的方法，具體細(xì)節(jié)在此不贅述。這種背景建模的方法假設(shè)在圖像中每個(gè)像素點(diǎn)上背景的顏色為多高斯分布， 對(duì)于預(yù)定的時(shí)間間隔(例如最近4秒內(nèi))內(nèi)的圖像序列中每一幀圖像，提取該圖像的顏色信息，通過(guò)對(duì)每個(gè)像素點(diǎn)的顏色信息進(jìn)行混合高斯背景建模使該模型能夠描述對(duì)應(yīng)像素點(diǎn)的背景顏色信息。圖3(b)和圖4(b)示出了利用背景建模方法檢測(cè)出背景發(fā)生改變的區(qū)域 (即，前景模板，foreground mask)。在此，“前景”即指與“背景”相對(duì)的、圖像中的各種對(duì)象(例如，人，車、待檢測(cè)的特定對(duì)象(例如遺棄物)等)。如圖3(b)和圖4(b)所示，所提取出的前景模板表現(xiàn)為二值圖，其中，令值“0”表示黑色(背景)，值“1”表示白色(前景對(duì)象)。當(dāng)然，這只是一種示例而非限制，根據(jù)實(shí)際需要，例如也可以使前景模板具有灰度圖的表現(xiàn)形式。此外，可以根據(jù)具體需要將任意時(shí)間間隔內(nèi)的圖像序列作為處理對(duì)象而不限于是本例中的4秒。在提取的背景發(fā)生改變的區(qū)域(即前景模板)中，利用幀間差分方法對(duì)所得到的前景模板做差分，以便提取出屬于運(yùn)動(dòng)前景同時(shí)又保持前景狀態(tài)預(yù)定的時(shí)間間隔(在本例中為4秒)的像素點(diǎn)。在經(jīng)過(guò)連通域分析后，提取在該預(yù)定時(shí)間間隔內(nèi)圖像序列的場(chǎng)景中的所有疑似遺棄物區(qū)域，從而構(gòu)成疑似遺棄物區(qū)域序列，其包括檢測(cè)到的所有(一個(gè)或多個(gè)， 即，至少一個(gè))疑似遺棄物區(qū)域。其中的連通域分析是圖像處理技術(shù)領(lǐng)域公知和慣用的處理方法，其細(xì)節(jié)在此不再贅述。需要注意，由于是對(duì)前景模板做差分而不是如通常的那樣直接對(duì)圖像序列進(jìn)行幀間差分，因此可以有效避免因?yàn)檫z棄物被遮擋而不能被檢測(cè)的情況。 例如，圖3c示出了遮擋條件下的遺棄物檢測(cè)結(jié)果。如圖3c所示，其中302表示被遮擋的遺棄物，容易理解，如果按照現(xiàn)有的方法簡(jiǎn)單地對(duì)圖像序列進(jìn)行幀間差分，則被其他對(duì)象(在此為人)遮擋的遺棄物302將不能被檢測(cè)到，即，發(fā)生遺棄物漏檢的情況。如上所述，在通過(guò)上述的背景建模和對(duì)前景模板進(jìn)行幀間差分的處理沒(méi)有檢測(cè)到疑似對(duì)象區(qū)域的情況下，則確定在預(yù)定時(shí)間間隔內(nèi)的圖像序列中不包括待檢測(cè)的特定對(duì)象，例如遺棄物。下面主要描述在通過(guò)上述的背景建模和對(duì)前景模板進(jìn)行幀間差分的處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域的情況下所進(jìn)行的后續(xù)處理。將參照?qǐng)D5描述圖1中裝置100的誤報(bào)高發(fā)區(qū)域建模單元120進(jìn)行的確定誤報(bào)高發(fā)區(qū)域并對(duì)其進(jìn)行建模的處理的一個(gè)示例。在上面描述的基于背景建模來(lái)進(jìn)行前景檢測(cè)的處理中，當(dāng)運(yùn)動(dòng)對(duì)象停止并保持一段時(shí)間以后，該運(yùn)動(dòng)對(duì)象會(huì)慢慢融入背景模型而成為背景。因?yàn)檫\(yùn)動(dòng)對(duì)象各個(gè)部分的顏色與背景顏色的區(qū)別不相同，該運(yùn)動(dòng)對(duì)象(即，前景)各個(gè)區(qū)域融入背景的時(shí)間也不相同。在這種情況下，當(dāng)一個(gè)面積比較大的物體(比如車輛)停止一段時(shí)間后，由于逐步融入背景的原因，前景區(qū)域會(huì)被分割為多個(gè)子區(qū)域，此時(shí)因?yàn)楦鱾€(gè)子區(qū)域的特征(如短時(shí)靜止、大小、邊緣等)都滿足遺棄物的特征，它們通常會(huì)被檢測(cè)為遺棄物。如圖4b示出了停止一段時(shí)間后的前景檢測(cè)結(jié)果，大的對(duì)象(在此為車輛)被檢測(cè)成了許多小的區(qū)域。如圖如示出的遺棄物檢測(cè)結(jié)果中，部分子區(qū)域，例如，與圖如中車窗區(qū)域40 所對(duì)應(yīng)的子區(qū)域402c被誤認(rèn)為是待檢測(cè)的特定對(duì)象，在該例中為遺棄物，發(fā)生誤報(bào)。為了消除上述原因所造成的誤檢測(cè)，例如可以根據(jù)如圖5中所示的處理來(lái)確定上述的疑似遺棄物區(qū)域檢測(cè)處理中所檢測(cè)到的疑似遺棄物區(qū)域序列(其包括所檢測(cè)到的至少一個(gè)疑似遺棄物區(qū)域)中是否存在誤報(bào)高發(fā)區(qū)域。如圖5所示，在S510中提取疑似遺棄物區(qū)域序列中第i個(gè)疑似遺棄物區(qū)域的尺寸。在S520，判斷該尺寸是否大于或等于預(yù)定的閾值1。如果判斷結(jié)果為“是”，則在S530確定該第i個(gè)疑似遺棄物區(qū)域?yàn)檎`報(bào)高發(fā)區(qū)域， 并保存該誤報(bào)高發(fā)區(qū)域及其前景模板以備后用。在該例子中，疑似遺棄物區(qū)域的尺寸是該區(qū)域的二維面積。根據(jù)不同的實(shí)際情況，例如可能的遺棄物的類型、外觀等特性，這種尺寸例如也可以是一維的尺寸(例如長(zhǎng)度、寬度等)，三維的體積，等等。在獲取誤報(bào)高發(fā)區(qū)域后，可以構(gòu)建一個(gè)模型來(lái)描述該區(qū)域。在上面的處理S530中得到誤報(bào)高發(fā)區(qū)域的前景模板，在S540-S550的處理中，在該誤報(bào)高發(fā)區(qū)域?qū)?yīng)的前景模板中表示前景(即，模板值為“1”)的每個(gè)像素點(diǎn)處構(gòu)建一個(gè)高斯模型用于描述該像素點(diǎn)處對(duì)象(即，遺棄物)的顏色信息。該高斯模型的均值為此時(shí)像素點(diǎn)的顏色值，方差預(yù)先確定，例如可以是該高斯函數(shù)的初始方差或者是方差的經(jīng)驗(yàn)值。在S520的判斷為“否”的情況下，確認(rèn)該疑似遺棄物區(qū)域不是誤報(bào)高發(fā)區(qū)域，然后接著對(duì)下一個(gè)疑似遺棄物區(qū)域進(jìn)行如上S510-S550中的誤報(bào)高發(fā)區(qū)域確定和建模處理。對(duì)疑似遺棄物區(qū)域序列中的每一個(gè)疑似遺棄物區(qū)域都進(jìn)行類似的處理。通過(guò)進(jìn)行上述S510-S560的一系列處理，能夠確定通過(guò)前景模板的幀間差分所獲得的疑似遺棄物區(qū)域序列中哪些屬于誤報(bào)高發(fā)區(qū)域，并且對(duì)被確定為誤報(bào)高發(fā)區(qū)域的區(qū)域進(jìn)行建模，將誤報(bào)高發(fā)區(qū)域的前景模板及其模型進(jìn)行存儲(chǔ)以創(chuàng)建誤報(bào)高發(fā)區(qū)域庫(kù)，以供后續(xù)處理使用。在圖5示出的處理中，i，j是自然數(shù)，分別表示疑似遺棄物區(qū)域序列中各個(gè)區(qū)域的序號(hào)以及每一個(gè)被確定為誤報(bào)高發(fā)區(qū)域的區(qū)域的前景模板中像素點(diǎn)的序號(hào)。如上所述，通過(guò)將符合預(yù)定條件(例如尺寸大于或等于預(yù)定閾值1)的疑似遺棄物區(qū)域判定為是誤報(bào)高發(fā)區(qū)域，可以避免由誤報(bào)高發(fā)區(qū)域引起的誤報(bào)(例如圖4中示出的由車輛引起的誤報(bào))，提高了遺棄物檢測(cè)的精確度。此外，由于對(duì)所確定的誤報(bào)高發(fā)區(qū)域進(jìn)行建模并保存該模型(例如生成誤報(bào)高發(fā)區(qū)域模型庫(kù))，使得在下一次檢測(cè)處理中可以利用先前檢測(cè)處理中獲得的有關(guān)誤報(bào)高發(fā)區(qū)域的信息，在確保檢測(cè)精確度的同時(shí)還能夠改善處理的魯棒性。下面結(jié)合圖6描述根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)圖像序列中的特定對(duì)象的裝置執(zhí)行的基于與誤報(bào)高發(fā)區(qū)域模型進(jìn)行匹配來(lái)檢測(cè)圖像序列中特定對(duì)象(例如，遺棄物)的操作的一個(gè)示例。如圖6所示，在S610對(duì)于沒(méi)有被確定為是誤報(bào)高發(fā)區(qū)域的疑似遺棄物區(qū)域序列 (可以包括一個(gè)或者多個(gè)，即至少一個(gè)疑似遺棄物區(qū)域)中第m個(gè)疑似遺棄物區(qū)域，將其與從誤報(bào)高發(fā)區(qū)域模型庫(kù)中提取的相應(yīng)的第η個(gè)誤報(bào)高發(fā)區(qū)域模型進(jìn)行匹配處理。作為這種匹配處理的一個(gè)例子，可以統(tǒng)計(jì)該第m個(gè)疑似遺棄物區(qū)域中與第η個(gè)誤報(bào)高發(fā)區(qū)域模型中對(duì)應(yīng)位置的高斯模型相匹配的像素點(diǎn)數(shù)目。例如，如果該第m個(gè)疑似遺棄物區(qū)域中某像素點(diǎn)的顏色值與該第η個(gè)誤報(bào)高發(fā)區(qū)域模型中對(duì)應(yīng)位置處像素點(diǎn)的高斯模型的均值在該高斯模型的兩倍方差之內(nèi)，則可認(rèn)為這兩個(gè)像素點(diǎn)是相互匹配的。當(dāng)然，根據(jù)實(shí)際情況還可以設(shè)定其他任何合適的條件來(lái)判斷像素點(diǎn)是否匹配。例如，在一種可替選的實(shí)施方式中，可在誤報(bào)高發(fā)區(qū)域模型的每個(gè)像素點(diǎn)處，利用核概率密度函數(shù)方法(kernel method)估計(jì)每個(gè)像素點(diǎn)處出現(xiàn)各種顏色的概率密度。在該密度函數(shù)構(gòu)建以后，當(dāng)某個(gè)疑似遺棄物區(qū)域中一個(gè)待匹配像素點(diǎn)的顏色似然值(概率密度函數(shù)值)大于一定閾值時(shí)，則認(rèn)為該待匹配像素點(diǎn)與相應(yīng)的誤報(bào)高發(fā)區(qū)域模型中相應(yīng)的像素點(diǎn)匹配。該閾值可以根據(jù)實(shí)際情況預(yù)先設(shè)定。接著，在S620，判斷匹配的像素點(diǎn)數(shù)與該第m個(gè)疑似遺棄物區(qū)域的面積(例如可以用該區(qū)域中像素點(diǎn)的數(shù)量來(lái)表示)的比值，若該比值大于預(yù)定的閾值2，則在S650，認(rèn)為該第m個(gè)疑似遺棄物區(qū)域與該第η個(gè)誤報(bào)高發(fā)區(qū)域相匹配，說(shuō)明該第m個(gè)疑似遺棄物區(qū)域是某一個(gè)大的運(yùn)動(dòng)對(duì)象停止后產(chǎn)生的誤報(bào)。該閾值2可以根據(jù)實(shí)際情況預(yù)先確定。假設(shè)以車輛作為大的運(yùn)動(dòng)對(duì)象，則例如可以確定車輛中可能成為誤報(bào)的最小的部分(例如車窗)的面積與整個(gè)車輛的區(qū)域的面積之比，作為該閾值2。m，η是自然數(shù)，分別表示疑似遺棄物區(qū)域序列和誤報(bào)高發(fā)區(qū)域模型庫(kù)中各個(gè)模型的序號(hào)。如果在S620判斷該比值小于預(yù)定的閾值2，則在S630，確定該第m個(gè)疑似遺棄物區(qū)域與該第η個(gè)誤報(bào)高發(fā)區(qū)域不匹配。在圖6示出的處理中，對(duì)沒(méi)有被確定為是誤報(bào)高發(fā)區(qū)域的所有疑似遺棄物區(qū)域都逐一判斷是否與誤報(bào)高發(fā)區(qū)域庫(kù)中某個(gè)誤報(bào)高發(fā)區(qū)域模型相匹配，即，在此實(shí)際上是將誤報(bào)高發(fā)區(qū)域庫(kù)中所有的模型作為將要與疑似遺棄物區(qū)域進(jìn)行匹配的相應(yīng)的誤報(bào)高發(fā)區(qū)域模型。但是，在可替選的實(shí)施方式中，也可以預(yù)先確定被認(rèn)為是誤報(bào)高發(fā)區(qū)域的某個(gè)疑似遺棄物區(qū)域可能與誤報(bào)高發(fā)區(qū)域模型庫(kù)中的哪個(gè)或哪些模型相關(guān)，從而只將這些相關(guān)的誤報(bào)高發(fā)區(qū)域模型作為將要與該疑似遺棄物區(qū)域進(jìn)行匹配處理的相應(yīng)的誤報(bào)高發(fā)區(qū)域模型即可。例如，可以通過(guò)比較該疑似遺棄物區(qū)域以及誤報(bào)高發(fā)區(qū)域在圖像序列的場(chǎng)景中的位置關(guān)系等等來(lái)初步判斷該疑似遺棄物區(qū)域與哪個(gè)或哪些誤報(bào)高發(fā)區(qū)域模型相關(guān)。由于無(wú)需窮舉式地與誤報(bào)高發(fā)區(qū)域庫(kù)中所有的誤報(bào)高發(fā)區(qū)域模型進(jìn)行匹配處理，因此可以在一定程度上提高處理速度。從上面的描述可知，在本公開(kāi)中提及的、將要與未被確定為是誤報(bào)高發(fā)區(qū)域的疑似遺棄物區(qū)域進(jìn)行匹配的“相應(yīng)的誤報(bào)高發(fā)區(qū)域模型”，既可以是誤報(bào)高發(fā)區(qū)域模型庫(kù)中所有的模型，也可以是該模型庫(kù)中與該疑似遺棄物區(qū)域相關(guān)的特定的模型。對(duì)于沒(méi)有被確定為是誤報(bào)高發(fā)區(qū)域的疑似遺棄物區(qū)域序列中的每一個(gè)區(qū)域執(zhí)行上述類似的處理。最后，在圖6的S670中，根據(jù)上述S610-S660的匹配處理結(jié)果來(lái)實(shí)現(xiàn)對(duì)特定對(duì)象，即遺棄物的檢測(cè)。例如，可以直接確定不與誤報(bào)高發(fā)區(qū)域庫(kù)中任一個(gè)模型匹配的疑似遺棄物區(qū)域是與需要檢測(cè)的遺棄物對(duì)應(yīng)的區(qū)域。在圖6示出的處理中，m，n是自然數(shù)， 分別表示未被確定為誤報(bào)高發(fā)區(qū)域的疑似遺棄物區(qū)域序列中各個(gè)區(qū)域的序號(hào)以及誤報(bào)高發(fā)區(qū)域模型庫(kù)中模型的序號(hào)。根據(jù)圖6示出的處理可知，通過(guò)將誤報(bào)高發(fā)區(qū)域進(jìn)行建模并且通過(guò)存儲(chǔ)這些模型來(lái)生成誤報(bào)高發(fā)區(qū)域模型庫(kù)，可以在本次遺棄物檢測(cè)處理中使用在前的各次遺棄物檢測(cè)處理中所構(gòu)建的誤報(bào)高發(fā)區(qū)域模型，并且本次遺棄物檢測(cè)處理所構(gòu)建的誤報(bào)高發(fā)區(qū)域模型也可以用于后續(xù)的遺棄物檢測(cè)。由此可以使得根據(jù)本發(fā)明實(shí)施例的裝置所執(zhí)行的特定對(duì)象 (例如遺棄物)檢測(cè)具備類似學(xué)習(xí)的特性，這有利于改善檢測(cè)處理的魯棒性并且提高檢測(cè)精確度。此外，雖然在該示例中是通過(guò)直接存儲(chǔ)誤報(bào)高發(fā)區(qū)域模型來(lái)創(chuàng)建誤報(bào)高發(fā)區(qū)域模型庫(kù)，但是，在其他可替選的實(shí)施中，例如也可以通過(guò)對(duì)所構(gòu)建的各誤報(bào)高發(fā)區(qū)域模型按照特性進(jìn)行分類、分配權(quán)重等方式來(lái)創(chuàng)建誤報(bào)高發(fā)區(qū)域模型庫(kù)。上面已經(jīng)提及，在進(jìn)行特定對(duì)象檢測(cè)的處理中，在誤報(bào)高發(fā)區(qū)域易于產(chǎn)生誤報(bào)，此外，在真實(shí)場(chǎng)景中，有時(shí)候還容易產(chǎn)生如下的誤報(bào)當(dāng)靜止對(duì)象小幅運(yùn)動(dòng)后，又突然停止。此時(shí)利用背景建模所檢測(cè)的前景區(qū)域僅僅為背景發(fā)生改變的區(qū)域，只是該對(duì)象的小部分，又由于該對(duì)象最終停止，因此該部分前景區(qū)域?qū)?huì)被檢測(cè)為特定對(duì)象，例如遺棄物。為了處理因此而產(chǎn)生的誤報(bào)，在一種優(yōu)選實(shí)施方式中，可以對(duì)從前面的處理中獲得的不與誤報(bào)高發(fā)區(qū)域庫(kù)中任一模型匹配的未匹配遺棄物區(qū)域序列進(jìn)行進(jìn)一步處理。圖7是示出了這種處理的一個(gè)示例。如圖7所示，通過(guò)與從輸入圖像序列中檢測(cè)到的其他預(yù)定類型的對(duì)象進(jìn)行對(duì)比來(lái)判斷未匹配遺棄物區(qū)域序列(可包括一個(gè)或多個(gè)未匹配遺棄物區(qū)域)是否為待檢測(cè)的遺棄物。如圖7所示，提取不與誤報(bào)高發(fā)區(qū)域模型匹配的疑似遺棄物區(qū)域序列(即，未匹配疑似遺棄物區(qū)域序列，可包括一個(gè)或者多個(gè)疑似遺棄物區(qū)域)中第k個(gè)區(qū)域，并在S710與從圖像序列中檢測(cè)出的其他預(yù)定類型的對(duì)象區(qū)域序列(可包括一個(gè)或多個(gè)其他預(yù)定類型對(duì)象區(qū)域)中第1個(gè)對(duì)象進(jìn)行比較，以判斷該第k個(gè)疑似遺棄物區(qū)域是否屬于該第1個(gè)其他類型對(duì)象區(qū)域。如果比較結(jié)果為“是”，則在處理S720中將該第k個(gè)疑似遺棄物區(qū)域確定為是由該第1個(gè)其他預(yù)定類型的對(duì)象所引起的誤報(bào)，接著對(duì)未匹配遺棄物區(qū)域序列中下一個(gè)區(qū)域進(jìn)行處理。如果S710的比較結(jié)果為“否”，則處理進(jìn)行到S730，判斷是否已經(jīng)與其他預(yù)定類型對(duì)象序列中所有的對(duì)象進(jìn)行了比較，如果沒(méi)有，則選取另一個(gè)未經(jīng)歷比較處理的其他預(yù)定類型的對(duì)象，重復(fù)S710至S730的處理。如果在S730中判斷已與所有的其他預(yù)定類型對(duì)象都進(jìn)行了比較處理，則確定該第k個(gè)疑似遺棄物區(qū)域與待檢測(cè)的遺棄物區(qū)域相對(duì)應(yīng)。對(duì)未匹配疑似遺棄物區(qū)域序列中所有區(qū)域都進(jìn)行上述處理，最后在S750中輸出針對(duì)該未匹配疑似遺棄物區(qū)域序列的檢測(cè)結(jié)果，即，檢測(cè)到遺棄物或者沒(méi)有檢測(cè)到遺棄物(例如， 發(fā)生誤報(bào))。這種處理可以有效地避免上述的由于靜止對(duì)象小幅運(yùn)動(dòng)后又突然停止而導(dǎo)致的誤報(bào)，因此進(jìn)一步改善了檢測(cè)精確度。關(guān)于輸入圖像序列的各幀圖像中其他預(yù)定類型對(duì)象(例如，車輛，人、動(dòng)物等等) 的檢測(cè)，可以采用各種已知的檢測(cè)圖像中的預(yù)定類型的對(duì)象的方法，例如，可以應(yīng)用發(fā)明名稱為“訓(xùn)練裝置、訓(xùn)練方法及檢測(cè)方法”，公開(kāi)號(hào)為CN101655914，
公開(kāi)日為2010年2月M日的中國(guó)專利申請(qǐng)中公開(kāi)的方法檢測(cè)出輸入圖像序列的場(chǎng)景中所有車輛。當(dāng)然，也可利用現(xiàn)有的各種用于檢測(cè)預(yù)定類型對(duì)象，例如，車輛，人、動(dòng)物等等的公知方法來(lái)實(shí)現(xiàn)對(duì)這些預(yù)定類型的對(duì)象的檢測(cè)。這些其他預(yù)定類型對(duì)象既可以在進(jìn)行遺棄物檢測(cè)時(shí)在線地檢測(cè)，也可以在遺棄物檢測(cè)進(jìn)行之前預(yù)先檢測(cè)出來(lái)備用。在圖7所示的處理中，k，l是自然數(shù)，分別表示未匹配疑似遺棄物區(qū)域序列和其他預(yù)定類型對(duì)象區(qū)域序列中各個(gè)區(qū)域的序號(hào)。需要說(shuō)明，根據(jù)實(shí)際需要，上述各示例中給出的處理方式也可以進(jìn)行任意組合。由于各種處理方式的詳細(xì)過(guò)程已經(jīng)在上面結(jié)合附圖給出，因此各種處理方式的組合形式的具體實(shí)現(xiàn)雖然沒(méi)有在此逐一贅述，但是也應(yīng)當(dāng)認(rèn)為被包含在本說(shuō)明書(shū)的公開(kāi)內(nèi)容中。上面結(jié)合圖1-7所描述的根據(jù)本發(fā)明實(shí)施例的檢測(cè)圖像序列中特定對(duì)象的裝置 100可以作為單獨(dú)的設(shè)備實(shí)現(xiàn)，也可以結(jié)合在視頻圖像監(jiān)控設(shè)備中。例如，在可替選實(shí)施方式中，可將裝置100與視頻攝像設(shè)備集成為一體，因而可使得這種視頻攝像設(shè)備本身能實(shí)現(xiàn)檢測(cè)其所拍攝的圖像序列中的特定對(duì)象(例如遺棄物)的功能。因此，這種視頻攝像設(shè)備也應(yīng)被涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。在根據(jù)本發(fā)明的其他實(shí)施例中，還提供了一種能夠檢測(cè)輸入圖像序列中特定對(duì)象的方法。圖8示出了根據(jù)本發(fā)明的實(shí)施例的用于檢測(cè)圖像序列中的特定對(duì)象的方法800的流程簡(jiǎn)圖。如圖8所示，方法800開(kāi)始于S810。在步驟S820，利用背景建模來(lái)構(gòu)建包括預(yù)定時(shí)間間隔內(nèi)的多幀圖像的圖像序列中每一幀圖像的前景模板，并對(duì)所構(gòu)建的前景模板進(jìn)行幀間差分處理。在步驟S830，如果通過(guò)幀間差分處理生成至少一個(gè)疑似對(duì)象區(qū)域，則將至少一個(gè)疑似對(duì)象區(qū)域中滿足預(yù)定條件的區(qū)域確定為誤報(bào)高發(fā)區(qū)域，并針對(duì)所確定的誤報(bào)高發(fā)區(qū)域進(jìn)行建模以便構(gòu)建誤報(bào)高發(fā)區(qū)域模型，以及，基于所構(gòu)建的誤報(bào)高發(fā)區(qū)域模型來(lái)生成誤報(bào)高發(fā)區(qū)域模型庫(kù)。在步驟S840，如果通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域，則將至少一個(gè)疑似對(duì)象區(qū)域中未被確定為是誤報(bào)高發(fā)區(qū)域的每一個(gè)疑似對(duì)象區(qū)域與誤報(bào)高發(fā)區(qū)域模型庫(kù)中相應(yīng)的模型進(jìn)行匹配，并且響應(yīng)于匹配結(jié)果，基于包含有不與誤報(bào)高發(fā)區(qū)域模型庫(kù)中任何模型相匹配的所有未匹配疑似對(duì)象區(qū)域的未匹配疑似對(duì)象區(qū)域序列來(lái)檢測(cè)特定對(duì)象。如果通過(guò)幀間差分處理沒(méi)有檢測(cè)到任何疑似對(duì)象區(qū)域，則確定在圖像序列中不存在特定對(duì)象。該方法中各步驟的操作例如可以通過(guò)具有如上述圖1-2中所示配置的裝置100來(lái)實(shí)現(xiàn)，具體細(xì)節(jié)可參見(jiàn)上面結(jié)合圖1-2進(jìn)行的描述，在此不再贅述。在圖8中所示方法800的一種具體實(shí)施方式
中，上述的響應(yīng)于匹配結(jié)果檢測(cè)特定對(duì)象的處理可以包括將未匹配疑似對(duì)象區(qū)域序列中的每一個(gè)疑似對(duì)象區(qū)域與從輸入的多幀圖像中檢測(cè)到的其他預(yù)定類型的對(duì)象進(jìn)行比較。如果該未匹配疑似對(duì)象區(qū)域不屬于任何其他預(yù)定類型的對(duì)象，則將該未匹配疑似對(duì)象區(qū)域確定為是與待檢測(cè)的所述特定對(duì)象對(duì)應(yīng)的區(qū)域。在可替選的實(shí)施方式中，也可以直接將未匹配疑似對(duì)象區(qū)域序列中的所有未匹配疑似對(duì)象區(qū)域確定為是與待檢測(cè)的特定對(duì)象對(duì)應(yīng)的區(qū)域。這種實(shí)施方式中各步驟的操作例如可以通過(guò)能夠執(zhí)行如上述圖7中所示處理的裝置100來(lái)實(shí)現(xiàn)，具體細(xì)節(jié)可參見(jiàn)上面結(jié)合圖7進(jìn)行的描述，在此不再贅述。在圖8中所示方法800的另一種具體實(shí)施方式
中，上述的通過(guò)幀間差分來(lái)檢測(cè)疑似對(duì)象區(qū)域的處理可以包括采用混合高斯模型對(duì)輸入圖像序列中多幀圖像進(jìn)行背景建模以構(gòu)建每一幀圖像的前景模板，然后對(duì)所構(gòu)建的前景模板進(jìn)行幀間差分，以提取出屬于運(yùn)動(dòng)前景同時(shí)又在該預(yù)定時(shí)間間隔內(nèi)保持前景狀態(tài)的像素點(diǎn)?；谒崛〉南袼攸c(diǎn)、經(jīng)過(guò)連通域分析來(lái)生成至少一個(gè)疑似對(duì)象區(qū)域。該實(shí)施方式中各步驟的操作例如可以通過(guò)具有如上述圖1-2中所示配置的裝置100來(lái)實(shí)現(xiàn)，具體細(xì)節(jié)可參見(jiàn)上面結(jié)合圖1-2進(jìn)行的描述，在此不再贅述。在圖8中所示方法800的又一種具體實(shí)施方式
中，上述的通過(guò)匹配處理來(lái)檢測(cè)特定對(duì)象的處理包括針對(duì)每一個(gè)疑似對(duì)象區(qū)域，確定該疑似對(duì)象區(qū)域與誤報(bào)高發(fā)區(qū)域模型庫(kù)中相應(yīng)的誤報(bào)高發(fā)區(qū)域模型之間相互匹配的像素點(diǎn)的數(shù)量，如果匹配的像素點(diǎn)的數(shù)量與該疑似對(duì)象區(qū)域中像素點(diǎn)的數(shù)量之比大于預(yù)定的第一閾值，則確定該疑似對(duì)象區(qū)域與該相應(yīng)的誤報(bào)高發(fā)區(qū)域模型相匹配。這種實(shí)施方式中各步驟的操作例如可以通過(guò)能夠執(zhí)行如上述圖6中所示處理的裝置100來(lái)實(shí)現(xiàn)，具體細(xì)節(jié)可參見(jiàn)上面結(jié)合圖6進(jìn)行的描述，在此不再贅述。在圖8中所示方法800的另一種具體實(shí)施方式
中，上述的對(duì)誤報(bào)高發(fā)區(qū)域進(jìn)行建模的處理包括將至少一個(gè)疑似對(duì)象區(qū)域的尺寸與預(yù)定的第二閾值進(jìn)行比較，將尺寸大于或等于該預(yù)定的第二閾值的疑似對(duì)象區(qū)域確定為誤報(bào)高發(fā)區(qū)域，并且在誤報(bào)高發(fā)區(qū)域的前景模板中表示前景的每個(gè)像素點(diǎn)處構(gòu)建一個(gè)高斯模型用于描述該像素點(diǎn)處的對(duì)象的顏色信息。該高斯模型的均值為該像素點(diǎn)的顏色值，方差為該高斯模型的初始方差或者方差經(jīng)驗(yàn)值。可以保存誤報(bào)高發(fā)區(qū)域的前景模板及其高斯模型，以便生成誤報(bào)高發(fā)區(qū)域模型庫(kù)。這種實(shí)施方式中各步驟的操作例如可以通過(guò)能夠執(zhí)行如上述圖5中所示處理的裝置100來(lái)實(shí)現(xiàn)，具體細(xì)節(jié)可參見(jiàn)上面結(jié)合圖5進(jìn)行的描述，在此不再贅述。在圖8中所示方法800的另一種具體實(shí)施方式
中，上述的通過(guò)匹配處理來(lái)檢測(cè)特定對(duì)象的處理包括如果疑似對(duì)象區(qū)域中每一個(gè)像素點(diǎn)的顏色值與相應(yīng)的誤報(bào)高發(fā)區(qū)域模型中對(duì)應(yīng)位置處的像素點(diǎn)的高斯模型的均值之差在高斯模型的兩倍方差之內(nèi)，則確定該兩個(gè)像素點(diǎn)相匹配。在一種可替選的實(shí)施方式中，可以針對(duì)誤報(bào)高發(fā)區(qū)域模型的每個(gè)像素點(diǎn)構(gòu)建顏色概率密度函數(shù)，如果疑似對(duì)象區(qū)域中與所述誤報(bào)高發(fā)區(qū)域模型相應(yīng)的像素點(diǎn)的概率密度函數(shù)值大于預(yù)定的閾值，則確定該兩個(gè)像素點(diǎn)相匹配。在此需要說(shuō)明，篇幅所限，上面列舉的各實(shí)施例和具體應(yīng)用示例都是示意性的而非窮舉性的，也不是意在要對(duì)本發(fā)明構(gòu)成限制。例如，上面各實(shí)施例中示出的各種具體的實(shí)例和具體實(shí)現(xiàn)方式可以分別根據(jù)需要進(jìn)行任意的組合，而不是僅僅限于上面具體實(shí)例和實(shí)現(xiàn)方式給出的組合模式。此外，在上面對(duì)各實(shí)施例和具體實(shí)例的描述中，與數(shù)字有關(guān)的表述 “1”，“2”，“一”，“二”，“第一”，“第二”等等僅僅是為了區(qū)別由這些數(shù)字修飾的部件或者元素， 而不是為了表明這些部件或者元素之間的順序或者重要性程度等等。此外，上述圖1，2，5_7中示出的檢測(cè)圖像序列中特定對(duì)象的裝置中的各個(gè)組成單元、子單元以及部件可以通過(guò)軟件、固件、硬件或其組合的方式進(jìn)行配置。配置可使用的具體手段或方式為本領(lǐng)域技術(shù)人員所熟知，在此不再贅述。在通過(guò)軟件或固件實(shí)現(xiàn)的情況下， 可從存儲(chǔ)介質(zhì)或網(wǎng)絡(luò)向具有專用硬件結(jié)構(gòu)的計(jì)算機(jī)(例如圖9所示的通用計(jì)算機(jī)900)安裝構(gòu)成該軟件的程序，該計(jì)算機(jī)在安裝有各種程序時(shí)，能夠執(zhí)行各種功能等。如圖9所示，中央處理單元(CPU) 901根據(jù)只讀存儲(chǔ)器(ROM) 902中存儲(chǔ)的程序或從存儲(chǔ)部分908加載到隨機(jī)存取存儲(chǔ)器(RAM)903的程序執(zhí)行各種處理。在RAM 903中，還根據(jù)需要存儲(chǔ)當(dāng)CPU 901執(zhí)行各種處理等等時(shí)所需的數(shù)據(jù)。CPU90UR0M 902和RAM 903經(jīng)由總線904彼此連接。輸入/輸出接口 905也連接到總線904。下述部件連接到輸入/輸出接口 905 輸入部分906(包括鍵盤(pán)、鼠標(biāo)等等)、輸出部分907(包括顯示器，比如陰極射線管(CRT)、液晶顯示器(LCD)等，和揚(yáng)聲器等)、存儲(chǔ)部分908(包括硬盤(pán)等)、通信部分909(包括網(wǎng)絡(luò)接口卡比如LAN卡、調(diào)制解調(diào)器等)。通信部分909經(jīng)由網(wǎng)絡(luò)比如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動(dòng)器910也可連接到輸入/輸出接口 905。可拆卸介質(zhì)911比如磁盤(pán)、光盤(pán)、磁光盤(pán)、半導(dǎo)體存儲(chǔ)器等等可以根據(jù)需要被安裝在驅(qū)動(dòng)器910上，使得從中讀出的計(jì)算機(jī)程序根據(jù)需要被安裝到存儲(chǔ)部分908中。在通過(guò)軟件實(shí)現(xiàn)上述系列處理的情況下，從網(wǎng)絡(luò)例如因特網(wǎng)或存儲(chǔ)介質(zhì)例如可拆卸介質(zhì)911安裝構(gòu)成軟件的程序。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲(chǔ)介質(zhì)不局限于圖9所示的其中存儲(chǔ)有程序、與設(shè)備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)911?？刹鹦督橘|(zhì)911的例子包含磁盤(pán)(包含軟盤(pán)(注冊(cè)商標(biāo)))、光盤(pán)(包含光盤(pán)只讀存儲(chǔ)器(⑶-ROM)和數(shù)字通用盤(pán) (DVD))、磁光盤(pán)(包含迷你盤(pán)(MD)(注冊(cè)商標(biāo)))和半導(dǎo)體存儲(chǔ)器?；蛘?，存儲(chǔ)介質(zhì)可以是 ROM 902、存儲(chǔ)部分908中包含的硬盤(pán)等等，其中存有程序，并且與包含它們的設(shè)備一起被分發(fā)給用戶。本發(fā)明還提出一種存儲(chǔ)有機(jī)器可讀取的指令代碼的程序產(chǎn)品。所述指令代碼由機(jī)器讀取并執(zhí)行時(shí)，可執(zhí)行上述根據(jù)本發(fā)明實(shí)施例的對(duì)輸入圖像序列中的特定對(duì)象(例如遺棄物)進(jìn)行檢測(cè)的方法。相應(yīng)地，用于承載上述存儲(chǔ)有機(jī)器可讀取的指令代碼的程序產(chǎn)品的存儲(chǔ)介質(zhì)也包括在本發(fā)明的公開(kāi)中。所述存儲(chǔ)介質(zhì)包括但不限于軟盤(pán)、光盤(pán)、磁光盤(pán)、存儲(chǔ)卡、存儲(chǔ)棒等寸。在上面對(duì)本發(fā)明具體實(shí)施例的描述中，針對(duì)一種實(shí)施方式描述和/或示出的特征可以以相同或類似的方式在一個(gè)或更多個(gè)其它實(shí)施方式中使用，與其它實(shí)施方式中的特征相組合，或替代其它實(shí)施方式中的特征。應(yīng)該強(qiáng)調(diào)，術(shù)語(yǔ)“包括/包含”在本文使用時(shí)指特征、要素、步驟或組件的存在，但并不排除一個(gè)或更多個(gè)其它特征、要素、步驟或組件的存在或附加。此外，根據(jù)本發(fā)明的各實(shí)施例的方法和處理不限于按照說(shuō)明書(shū)中描述的時(shí)間順序來(lái)執(zhí)行，也可以按照其他的時(shí)間順序地、并行地或獨(dú)立地執(zhí)行。因此，本說(shuō)明書(shū)中描述的各種方法和處理的執(zhí)行順序不對(duì)本發(fā)明的技術(shù)范圍構(gòu)成限制。盡管上面已經(jīng)通過(guò)對(duì)本發(fā)明的具體實(shí)施例的描述對(duì)本發(fā)明進(jìn)行了披露，但是應(yīng)該理解，上述的所有實(shí)施例和示例均是示例性的，而非限制性的。本領(lǐng)域的技術(shù)人員可在所附權(quán)利要求的精神和范圍內(nèi)設(shè)計(jì)對(duì)本發(fā)明的各種修改、改進(jìn)或者等同物。這些修改、改進(jìn)或者等同物也應(yīng)當(dāng)被認(rèn)為包括在本發(fā)明的保護(hù)范圍內(nèi)。
權(quán)利要求
1.一種用于檢測(cè)圖像序列中的特定對(duì)象的裝置，包括疑似對(duì)象區(qū)域檢測(cè)單元，其被配置成針對(duì)包括預(yù)定時(shí)間間隔內(nèi)的多幀圖像的圖像序列、利用背景建模來(lái)構(gòu)建該圖像序列中每一幀圖像的前景模板，并對(duì)所構(gòu)建的前景模板進(jìn)行幀間差分處理；誤報(bào)高發(fā)區(qū)域建模單元，其被配置成在所述疑似對(duì)象區(qū)域檢測(cè)單元通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域的情況下，將所述至少一個(gè)疑似對(duì)象區(qū)域中滿足預(yù)定條件的區(qū)域確定為誤報(bào)高發(fā)區(qū)域，并針對(duì)所確定的誤報(bào)高發(fā)區(qū)域進(jìn)行建模以便構(gòu)建誤報(bào)高發(fā)區(qū)域模型，以及，基于所構(gòu)建的誤報(bào)高發(fā)區(qū)域模型來(lái)生成誤報(bào)高發(fā)區(qū)域模型庫(kù)；以及后處理單元，其被配置成在所述疑似對(duì)象區(qū)域檢測(cè)單元通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域的情況下，將所述至少一個(gè)疑似對(duì)象區(qū)域中未被確定為是誤報(bào)高發(fā)區(qū)域的每一個(gè)疑似對(duì)象區(qū)域與所述誤報(bào)高發(fā)區(qū)域模型庫(kù)中相應(yīng)的模型進(jìn)行匹配，并且基于未匹配疑似對(duì)象區(qū)域序列來(lái)檢測(cè)所述特定對(duì)象，其中，所述未匹配疑似對(duì)象區(qū)域序列包括不與所述誤報(bào)高發(fā)區(qū)域模型庫(kù)中任何模型相匹配的所有未匹配疑似對(duì)象區(qū)域，以及，所述后處理單元還被配置成在所述疑似對(duì)象區(qū)域檢測(cè)單元通過(guò)幀間差分處理沒(méi)有檢測(cè)到疑似對(duì)象區(qū)域的情況下，確定在所述圖像序列中不存在特定對(duì)象。
2.如權(quán)利要求1所述的裝置，其中，所述后處理單元被配置成在所述疑似對(duì)象區(qū)域檢測(cè)單元通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域的情況下將所述未匹配疑似對(duì)象區(qū)域序列中的每一個(gè)未匹配疑似對(duì)象區(qū)域與從所述多幀圖像中檢測(cè)到的其他預(yù)定類型的對(duì)象進(jìn)行比較，在所述的未匹配疑似對(duì)象區(qū)域不屬于所述其他預(yù)定類型的對(duì)象中任一種類型的對(duì)象的情況下，將該未匹配疑似對(duì)象區(qū)域確定為是與待檢測(cè)的所述特定對(duì)象對(duì)應(yīng)的區(qū)域；或者將所述未匹配疑似對(duì)象區(qū)域序列中的所有未匹配疑似對(duì)象區(qū)域確定為是與待檢測(cè)的所述特定對(duì)象對(duì)應(yīng)的區(qū)域。
3.如權(quán)利要求1或2所述的裝置，其中，所述疑似對(duì)象區(qū)域檢測(cè)單元被配置成采用混合高斯模型對(duì)所述多幀圖像進(jìn)行背景建模以構(gòu)建每一幀圖像的前景模板，并且通過(guò)對(duì)所構(gòu)建的前景模板進(jìn)行幀間差分，提取出屬于運(yùn)動(dòng)前景同時(shí)又在所述預(yù)定時(shí)間間隔內(nèi)保持前景狀態(tài)的像素點(diǎn)，基于所提取的像素點(diǎn)、經(jīng)過(guò)連通域分析來(lái)生成所述至少一個(gè)疑似對(duì)象區(qū)域。
4.如權(quán)利要求1或2所述的裝置，其中，所述誤報(bào)高發(fā)區(qū)域建模單元被配置成在所述疑似對(duì)象區(qū)域檢測(cè)單元通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域的情況下，將所述至少一個(gè)疑似對(duì)象區(qū)域中尺寸大于或等于預(yù)定的第一閾值的區(qū)域確定為誤報(bào)高發(fā)區(qū)域，并且在所述誤報(bào)高發(fā)區(qū)域的前景模板中表示前景的每個(gè)像素點(diǎn)處構(gòu)建一個(gè)高斯模型用于描述該像素點(diǎn)處的對(duì)象的顏色信息，其中，所述高斯模型的均值為該像素點(diǎn)的顏色值，方差為該高斯模型的初始方差或者方差經(jīng)驗(yàn)值，以及，所述誤報(bào)高發(fā)區(qū)域建模單元還被配置成通過(guò)保存所述誤報(bào)高發(fā)區(qū)域的前景模板及其高斯模型來(lái)生成所述誤報(bào)高發(fā)區(qū)域模型庫(kù)。
5.如權(quán)利要求4所述的裝置，其中所述后處理單元被配置成在所述疑似對(duì)象區(qū)域檢測(cè)單元通過(guò)幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域的情況下，針對(duì)每一個(gè)疑似對(duì)象區(qū)域，確定該疑似對(duì)象區(qū)域與所述誤報(bào)高發(fā)區(qū)域模型庫(kù)中相應(yīng)的誤報(bào)高發(fā)區(qū)域模型之間相互匹配的像素點(diǎn)的數(shù)量，在匹配的像素點(diǎn)的數(shù)量與該疑似對(duì)象區(qū)域中像素點(diǎn)的數(shù)量之比大于預(yù)定的第二閾值的情況下，確定該疑似對(duì)象區(qū)域與該相應(yīng)的誤報(bào)高發(fā)區(qū)域模型相匹配。
6.如權(quán)利要求5所述的裝置，其中所述后處理單元被配置成在所述疑似對(duì)象區(qū)域中每一個(gè)像素點(diǎn)的顏色值與所述相應(yīng)的誤報(bào)高發(fā)區(qū)域模型中對(duì)應(yīng)位置處的像素點(diǎn)的高斯模型的均值之差在所述高斯模型的兩倍方差之內(nèi)的情況下，確定該兩個(gè)像素點(diǎn)相匹配。
7.如權(quán)利要求5所述的裝置，其中，所述后處理單元被配置成針對(duì)誤報(bào)高發(fā)區(qū)域模型的每個(gè)像素點(diǎn)構(gòu)建顏色概率密度函數(shù)，在所述疑似對(duì)象區(qū)域中與所述相應(yīng)的誤報(bào)高發(fā)區(qū)域模型中對(duì)應(yīng)像素點(diǎn)的概率密度函數(shù)值大于預(yù)定的第三閾值時(shí)，確定該兩個(gè)像素點(diǎn)相匹配。
8.一種視頻攝像設(shè)備，其具有如權(quán)利要求1-7中任一項(xiàng)所述的檢測(cè)圖像序列中的特定對(duì)象的裝置。
9.一種用于檢測(cè)圖像序列中的特定對(duì)象的方法，包括利用背景建模來(lái)構(gòu)建包括預(yù)定時(shí)間間隔內(nèi)的多幀圖像的圖像序列中每一幀圖像的前景模板，并對(duì)所構(gòu)建的前景模板進(jìn)行幀間差分處理；如果通過(guò)所述幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域，則將所述至少一個(gè)疑似對(duì)象區(qū)域中滿足預(yù)定條件的區(qū)域確定為誤報(bào)高發(fā)區(qū)域，并針對(duì)所確定的誤報(bào)高發(fā)區(qū)域進(jìn)行建模以便構(gòu)建誤報(bào)高發(fā)區(qū)域模型，以及，基于所構(gòu)建的誤報(bào)高發(fā)區(qū)域模型來(lái)生成誤報(bào)高發(fā)區(qū)域模型庫(kù)；以及如果通過(guò)所述幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域，則將所述至少一個(gè)疑似對(duì)象區(qū)域中未被確定為是誤報(bào)高發(fā)區(qū)域的每一個(gè)疑似對(duì)象區(qū)域與所述誤報(bào)高發(fā)區(qū)域模型庫(kù)中相應(yīng)的模型進(jìn)行匹配，并且響應(yīng)于匹配結(jié)果，基于包含有不與所述誤報(bào)高發(fā)區(qū)域模型庫(kù)中任何模型相匹配的所有未匹配疑似對(duì)象區(qū)域的未匹配疑似對(duì)象區(qū)域序列來(lái)檢測(cè)所述特定對(duì)象，以及，如果通過(guò)所述幀間差分處理沒(méi)有檢測(cè)到疑似對(duì)象區(qū)域，則確定在所述圖像序列中不存在特定對(duì)象。
10.如權(quán)利要求9所述的方法，其中，所述的響應(yīng)于匹配結(jié)果檢測(cè)特定對(duì)象的處理包括比較所述未匹配疑似對(duì)象區(qū)域序列中的每一個(gè)疑似對(duì)象區(qū)域與從所述多幀圖像中檢測(cè)到的其他預(yù)定類型的對(duì)象，如果所述的未匹配疑似對(duì)象區(qū)域不屬于所述其他預(yù)定類型的對(duì)象中任一種類型的對(duì)象，則將該未匹配疑似對(duì)象區(qū)域確定為是與待檢測(cè)的所述特定對(duì)象對(duì)應(yīng)的區(qū)域；或者將所述未匹配疑似對(duì)象區(qū)域序列中的所有未匹配疑似對(duì)象區(qū)域確定為與待檢測(cè)的所述特定對(duì)象對(duì)應(yīng)的區(qū)域。
11.如權(quán)利要求9或者10所述的方法，其中，所述的幀間差分處理包括采用混合高斯模型對(duì)所述多幀圖像進(jìn)行背景建模以構(gòu)建每一幀圖像的前景模板，對(duì)所構(gòu)建的前景模板進(jìn)行幀間差分，提取出屬于運(yùn)動(dòng)前景同時(shí)又在所述預(yù)定時(shí)間間隔內(nèi)保持前景狀態(tài)的像素點(diǎn)，基于所提取的像素點(diǎn)、經(jīng)過(guò)連通域分析來(lái)生成所述至少一個(gè)疑似對(duì)象區(qū)域。
12.如權(quán)利要求9或10所述的方法，其中，所述的對(duì)誤報(bào)高發(fā)區(qū)域進(jìn)行建模的處理包括將每一個(gè)疑似對(duì)象區(qū)域的尺寸與預(yù)定的第一閾值進(jìn)行比較，將尺寸大于或等于該預(yù)定的第一閾值的疑似對(duì)象區(qū)域確定為誤報(bào)高發(fā)區(qū)域，并且在所述誤報(bào)高發(fā)區(qū)域的前景模板中表示前景的每個(gè)像素點(diǎn)處構(gòu)建一個(gè)高斯模型用于描述該像素點(diǎn)處的對(duì)象的顏色信息，其中，所述高斯模型的均值為該像素點(diǎn)的顏色值，方差為該高斯模型的初始方差或者方差經(jīng)驗(yàn)值，以及，保存所述誤報(bào)高發(fā)區(qū)域的前景模板及其高斯模型，以便生成所述誤報(bào)高發(fā)區(qū)域模型庫(kù)。
13.如權(quán)利要求12所述的方法，其中，所述的通過(guò)匹配處理來(lái)檢測(cè)特定對(duì)象的處理包括針對(duì)每一個(gè)疑似對(duì)象區(qū)域，確定該疑似對(duì)象區(qū)域與所述誤報(bào)高發(fā)區(qū)域模型庫(kù)中相應(yīng)的誤報(bào)高發(fā)區(qū)域模型之間相互匹配的像素點(diǎn)的數(shù)量，如果匹配的像素點(diǎn)的數(shù)量與該疑似對(duì)象區(qū)域中像素點(diǎn)的數(shù)量之比大于預(yù)定的第二閾值，則確定該疑似對(duì)象區(qū)域與該相應(yīng)的誤報(bào)高發(fā)區(qū)域模型相匹配。
14.如權(quán)利要求13所述的方法，其中，所述的通過(guò)匹配處理來(lái)檢測(cè)特定對(duì)象的處理包括如果所述疑似對(duì)象區(qū)域中每一個(gè)像素點(diǎn)的顏色值與所述相應(yīng)的誤報(bào)高發(fā)區(qū)域模型中對(duì)應(yīng)位置處的像素點(diǎn)的高斯模型的均值之差在所述高斯模型的兩倍方差之內(nèi)，則確定該兩個(gè)像素點(diǎn)相匹配。
15.如權(quán)利要求13所述的方法，其中，所述的通過(guò)匹配處理來(lái)檢測(cè)特定對(duì)象的處理包括針對(duì)誤報(bào)高發(fā)區(qū)域模型的每個(gè)像素點(diǎn)構(gòu)建顏色概率密度函數(shù)，如果所述疑似對(duì)象區(qū)域中與所述相應(yīng)的誤報(bào)高發(fā)區(qū)域模型中對(duì)應(yīng)像素點(diǎn)的概率密度函數(shù)值大于預(yù)定的第三閾值， 則確定該兩個(gè)像素點(diǎn)相匹配。
全文摘要
提供檢測(cè)圖像序列中的特定對(duì)象的裝置和方法。該裝置包括疑似對(duì)象區(qū)域檢測(cè)單元，針對(duì)預(yù)定時(shí)間間隔內(nèi)的圖像序列中每一幀圖像構(gòu)建前景模板，并對(duì)前景模板進(jìn)行幀間差分處理；誤報(bào)高發(fā)區(qū)域建模單元，若幀間差分處理檢測(cè)到至少一個(gè)疑似對(duì)象區(qū)域，則將至少一個(gè)疑似對(duì)象區(qū)域中滿足預(yù)定條件的區(qū)域確定為誤報(bào)高發(fā)區(qū)域并構(gòu)建誤報(bào)高發(fā)區(qū)域模型，以生成誤報(bào)高發(fā)區(qū)域模型庫(kù)；后處理單元，將未被確定為是誤報(bào)高發(fā)區(qū)域的每一個(gè)疑似對(duì)象區(qū)域與誤報(bào)高發(fā)區(qū)域模型庫(kù)中相應(yīng)的模型進(jìn)行匹配，基于未匹配疑似對(duì)象區(qū)域序列來(lái)檢測(cè)特定對(duì)象；若幀間差分處理未檢測(cè)到疑似對(duì)象區(qū)域，則確定不存在特定對(duì)象。該裝置和方法提高了特定對(duì)象檢測(cè)處理的魯棒性，且改善檢測(cè)的精確性。
文檔編號(hào)G06K9/00GK102411703SQ20101029801
公開(kāi)日2012年4月11日 申請(qǐng)日期2010年9月21日 優(yōu)先權(quán)日2010年9月21日
發(fā)明者劉舟, 吳偉國(guó) 申請(qǐng)人:索尼公司