專利名稱：目標移動對象跟蹤設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及目標移動對象,設(shè)備，更具體地，涉及這樣一種用于利用 攝# 可能的入侵者的設(shè)備。
背景技術(shù)：
存在日益增加的以下需要在門或類似物周圍的限制區(qū)中，借助于攝像 機跟蹤人的活動，并且識別人的活動。為此，現(xiàn)有技術(shù)的,設(shè)備通常被配 置成通過時間序列監(jiān)視圖像的演變，確定每一個監(jiān)視圖像內(nèi)的移動對象區(qū) 域，并且放大如此確定的移動對象區(qū)域。然而，如此確定的移動對象區(qū)域隨 著移動對象移動加快而變得更小，這致使移動對象區(qū)域的放大圖像的分辨率 4艮差。為了解決這個問題，在論文"Human Tracking Using Temporal Averaging Silhouette with an Active Camera" ( Transactions of the Institute of Electronics, Information and Communication Engineers ISSN: 09151923， vol. J88-D-II, No.2， pp 291-301， 2005年2月1日出版)中，提出了確定移 動對象區(qū)域的另一個方案。該論文提出，基于針對連續(xù)監(jiān)視圖像的每一個圖 像中的選定點獲得的運動矢量(光流(叩ticalflow))，確定移動對象區(qū)域。 首先，該方案獲得通過背景判別(background differentiation)而檢測到的 包圍通過圖像判別而檢測到的移動對象的檢測框。然后，該方案進而獲得關(guān) 于在兩個連續(xù)圖像的每一個圖像的檢測框的里面和外面分別選擇的區(qū)域的 運動矢量，基于運動矢量的分析從背景中辨別移動對象區(qū)域，并且提取當前 圖像中的移動對象的輪廓，以確定該移動對象的形狀和中心。盡管發(fā)現(xiàn)這個 方案在預(yù)期只有一個移動對象的環(huán)境中是有效的，但是在攝像機的視野中預(yù) 期有多于一個移動對象的情況下，識別移動對象卻相當困難。為了緩解這個 缺點，依靠模板可能認為是有效的，通過該模板，可以將目標移動對象與其 它移動對象區(qū)別開。由于移動對象的^^廓被定義為具有相同運動矢量的部分 的集合，所以移動對象的精確形狀是相當難以提取的。因此，即使添加模板， 上述方案對實現(xiàn)移動對象的可靠確定也無法令人滿意。

發(fā)明內(nèi)容
考慮到以上問題，作出了本發(fā)明，以便提供能夠以提高的精確性來確定 目標移動對象的目標移動對象踏J宗i殳備，用于目標移動對象的識別。
根據(jù)本發(fā)明的設(shè)備包括畫面圖像存儲器(20)，其被配置用來存儲攝 崇fcMlO)關(guān)于觀察區(qū)所拍攝的真實畫面圖像的時間序列，其中，觀察區(qū)覆 蓋可能的目標移動對象；以及顯示器(30)，其被配置用來以所需的放大率 顯示所述真實畫面圖像中的可選擇的一個或多個真實畫面圖像。在該設(shè)備中 還包括輪廓圖像(outlineimage)處理器(40)，其被配置用來分別從所述 真實畫面圖<緣供輪廓圖像；以及模板存儲器(60)，其被配置用來存儲識 別目標移動對象的模板圖像。該i史備進一步包括移動對象定位器(70)，其 被配置用來將所述輪廓圖像中的每一個輪廓圖像與模板圖H4目比較，以檢測 每個輪廓圖像中與模板圖像匹配的局部區(qū)域，并且基于被檢測到與模板圖像 匹配的所述局部區(qū)域，獲得目標移動對象在觀察區(qū)內(nèi)的位置數(shù)據(jù)。該設(shè)備中 包括放大畫面生成裝置(80)，其用于基于所述位置數(shù)據(jù)，從真實畫面圖像 的與輪廓圖像的被檢測到與模板圖像匹配的局部區(qū)域相對應(yīng)的部分提取放 大的圖像，并且在顯示器上顯示放大的畫面視圖。本發(fā)明的特征在于，移動 對象定位器(70)被配置用來從與被檢測到與模板圖像匹配的局部區(qū)域相對 應(yīng)的輪廓圖像中的每一個提取移動對象輪廓圖像，并J^于提供了模板更新 裝置(62)，用來通過4吏用所述移動對象輪廓圖像中當前的一個與所述移動 對^廓圖像中先前的一個或多個的結(jié)合來替換模板圖像，從而更新模板圖 像。借助于這種配置，模板圖^MC不斷地更新， 一旦當前和先前的輪廓圖像 被檢測到與模板圖像匹配，就很好地反映了當前和先前的輪廓圖像。因此， 對于人體中形狀有些固定不變的部分(亦即與諸如臂或腿等其它部分相比在 人體的運動期間較不易有形狀波動的部分)比如頭或肩的輪廓，模板圖像能 夠累積并加權(quán)，以便為移動對象的可靠識別提供堅實的基礎(chǔ)。另外，所述移 動對象的在移動對象輪廓圖像中的一個中的一部分的任何小的遺漏都能夠
通過所^動對IM^廓圖像中的另一個來補充，從而使得模板圖^^可能接 近目標移動對象，這導(dǎo)致基于輪廓圖像與模板圖像之間的比較而精確確定目 標移動對象。
優(yōu)選地，所述輪廓圖像處理器被配置用來提供由二進制數(shù)據(jù)定義的輪廓 圖像，以便在實現(xiàn)所迷設(shè)備時降低存儲輪廓圖像的存儲器需求。
可替選地，所述輪廓圖像處理器可以被配置用來提供由離^JL級數(shù)據(jù) 定義的輪廓圖像，以便當以足夠的存儲器實現(xiàn)所述設(shè)備時，使得能夠與模板 圖像更加精確地比較，并且提供更加精確的模板圖像。
在這方面，所述輪廓圖像處理器可以被配置用來獲得模板圖像的對比
度，以便當對比度超過預(yù);t^準時提供由二進制數(shù)據(jù)定義的輪廓圖像，并且 當對比度低于所逸基準時提供由M級數(shù)據(jù)所定義的所述輪廓圖像。因此， 所述設(shè)備能夠依靠不斷更新的模板圖像的對比度而最優(yōu)地操作，從而實現(xiàn)對 目標移動對象的始終如一的檢測。
為了確定模板圖像的對比度，輪廓圖像處理器優(yōu)選地檢測平均像素值，
該平均像素值是分別賦給模板圖像的多個分區(qū)(division)中的每一個分區(qū)內(nèi) 的像素的像素值的平均值，并且當所述分區(qū)中的任何一個被檢測到具有低于 閾值的平均像素值時，或者當針對所述分區(qū)中的任何一個檢測到的平均像素 值比針對所述分區(qū)中的另一個檢測的平均像素值低的程度大于預(yù)定程度時， 就判定對比度低于所述基準。
當提供二進制數(shù)據(jù)的輪廓圖像時，輪廓圖像處理器優(yōu)選是提供可變閾 值，用于將所述真實畫面圖像轉(zhuǎn)換成二進制數(shù)據(jù)的輪廓圖像，并且獲得模板 圖像的平均AJL級值，以便當所述平均AJL級值低于 預(yù)定限度時降低所述閾 值。因此，即使當模板圖^M"比度降低時，也可以提供用于成功檢測移動對 象的輪廓圖像。
優(yōu)選地，提供移動對象輪廓圖像存儲器，以便存儲移動對象輪廓圖像的 時間序列。在這方面，模板更新裝置被配置用來從移動對fJ^廓圖像存儲器 中讀取預(yù)定數(shù)目的先前的移動對象輪廓圖像，將這些輪廓圖像與當前的移動 對fj^廓圖^^目結(jié)合，并且通過用所述結(jié)合替換先前的模板圖像來更新先前 的模板圖像。借助于輪廓圖像的這種選擇性結(jié)合，模板圖像能夠被適當?shù)丶?權(quán)，以便成功地檢測目標移動對象。
在模板更新裝置中實現(xiàn)了一種優(yōu)選的加權(quán)方案，其每當新的連續(xù)的一組 移動對象輪廓圖像累積達到預(yù)定數(shù)目時更新模板圖像。
在模板更新裝置處可以實現(xiàn)另一加權(quán)方案，其僅僅結(jié)合根據(jù)預(yù)定準則確 定為有效的移動對象輪廓圖像，從而使得移動對l^險測具有提高的精確性。
為此，模板更新裝置被配置用來計算像素指數(shù)，該像素指數(shù)為在移動對 象輪廓圖像中的每一個中包括的、并且具有大于零的像素值的像素的數(shù)目 i (number)。上述準則被定義成在當前的移動對象輪廓圖像的像素指數(shù)與先 前的移動對象輪廓圖像的像素指數(shù)的差異大于預(yù)定程度時，確定當前的移動 對象輪廓圖像為有效的。
可替選地，以上準則能夠具有不同的定義。在這種情況下，模板更新裝 置被配置用來計算在當前的移動對象輪廓圖像和對應(yīng)的真實畫面圖像中的 一個的^象素值的標準偏差。該準則被定義成當該標準偏差與關(guān)于先前的移動 對象輪廓圖像所計算的標準偏差的差異大于預(yù)定程度時，確定當前的移動對 象輪廓圖像為有效的。
而且，可以依據(jù)構(gòu)成移動對象輪廓圖像中的每一個中的移動對#^廓的 像素的數(shù)目來定義上述準則。在這種情況下，模板更新裝置被配置用來計算 像素的數(shù)目，并且提供以上準則，該準則在關(guān)于當前的移動對象輪廓圖像的 像素數(shù)目與關(guān)于先前的移動對象輪廓圖像的像素數(shù)目的差異大于預(yù)定程度 時，確定當前的移動對象輪廓圖像為有效的。
本發(fā)明還提出使用匹配裝置(71 )，以便參考模板圖像來成功確定目標 移動對象。匹配裝置(71)被配置用來從輪廓圖像中收集不同的局部區(qū)域， 即單元區(qū)域，每個單元區(qū)域與模板圖像具有相同的尺寸；計算關(guān)于每個所述 不同區(qū)域的相關(guān)性；并且將具有最大相關(guān)性的局部區(qū)域確定為與模板圖像匹 配的移動對象輪廓圖像。響應(yīng)于移動對#^廓圖像的確定，模板更新裝置進 行操作以獲得移動對象輪廓圖像中的每個像素的像素值，以便將所述像素值 加到先前的移動對象輪廓圖像中的像素中的每一個對應(yīng)像素上，從而提供更 新的模板圖像。匹配裝置(71)被配置用來提供以上相關(guān)性，該相關(guān)性可以有不同的定 義。例如，該相關(guān)性可以被定義為關(guān)于被選擇來與構(gòu)成輪廓圖像的局部區(qū)域 中的每一個局部區(qū)域內(nèi)的輪廓的像素相對應(yīng)的像素、M板圖像中獲得的像 素值的和或者冪和(powersum)。
而且，相關(guān)性能夠被適當加權(quán)，以提高確定目標移動對象的精確性。在 這種情況下，輪廓圖像處理器被配置用來給出二進制數(shù)據(jù)的輪廓圖像，其中， 像素值"l"城給構(gòu)成輪廓圖像的輪廓的像素，而像素值"0"艦給輪廓圖像 的其余像素。匹配裝置(71)被配置用來從所述模板圖像中選擇與構(gòu)成輪廓 圖像的局部區(qū)域中每一個局部區(qū)域內(nèi)的輪廓的像素相對應(yīng)的像素，并且獲得 每個被選擇像素周圍的具有大于"O，，的像素值的像素的數(shù)目，以便根據(jù)如此 獲得的像素數(shù)目對每個被選擇像素的像素值進行加權(quán)。所述匹配裝置(71) 進一步被配置用來將所述相關(guān)性定義為模板圖像中所選擇像素的如此加權(quán) 的像素值之和。
相關(guān)性可被賦予不同的權(quán)重。例如，匹配裝置(71)被配置用來獲得 所述局部區(qū)域的每一個局部區(qū)域的滿足以下條件的像素的第一數(shù)目，所述條
1
件^J部區(qū)域中的像素和模板圖像中對應(yīng)的像素兩者都具有像素值"1"或者
更大的像素值；以及模板圖像中具有像素值"l，，或者更大的像素值的像素的 第二數(shù)目。然后，匹配裝置(71)定義用于所述局部區(qū)域中的每一個局部區(qū) 域的上述相關(guān)性，其為第一數(shù)目對第二數(shù)目的比率。
匹配裝置(71)可以被配置用來獲得所述局部區(qū)域中的每一個局部區(qū) 域中滿足以下條件的像素的第一數(shù)目，所述M是局部區(qū)域中的像素和模板 圖像中對應(yīng)的像素兩者都具有像素值"l"或更大的像素值；所述局部區(qū)域中 的每一個局部區(qū)域中滿足以下條件的像素的第二數(shù)目，所述M是局部區(qū)域 中的像素和模板圖像中對應(yīng)的像素兩者都具有像素值"O，，；以及模板圖像中 具有像素值"l，，或者更大的像素值的像素的第三數(shù)目.在這種情況下，對于 所述局部區(qū)域中的每一個局部區(qū)域，相關(guān)性被定義為第一數(shù)目加上第二數(shù)目 之后對第三數(shù)目的比率，
而且，匹配裝置(71)可以被配置用來從圍繞模板圖像中的被選#^象素 布置的像素集合中獲得最大的像素值，所述被選擇像素對應(yīng)于構(gòu)成輪廓圖像 的局部區(qū)域中每一個局部區(qū)域內(nèi)的輪廓的像素中的每一個像素。在這種情況 下，在匹配裝置(71)中，湘關(guān)性被定義為分別針對所述局部區(qū)域獲得的最 大值之和。
更進一步，匹配裝置(71)可以被配置用來獲得各種^t，用于基于這 樣的M定義相關(guān)性。所述參數(shù)包括第一行指數(shù)，其為輪廓圖像的每個局 部區(qū)域的每個行中布置的、并且具有大于"O"的像素值的像素的數(shù)目；第一 列指數(shù)，其為輪廓圖像的每個局部區(qū)域的每個列中布置的、并且具有大于"0" 的像素值的像素的數(shù)目；笫二行指數(shù)，其為模板圖像的每個行中布置的、并 且具有大于"O"的像素值的像素的數(shù)目；以及第二列指數(shù)，其為模板圖像的 每個列中布置的、并且具有大于"O，，的像素值的像素的數(shù)目。而且，以第一 行指數(shù)和第二行指數(shù)之間的差得到行數(shù)差，而以第一列指數(shù)和第二列指數(shù)之 間的差得到列數(shù)差。于是，匹配裝置(71)獲得總行值，其為分別關(guān)于行獲 得的行數(shù)差之和；以及總列值，其為分別關(guān)于列獲得的列數(shù)差之和，以便針 對所述局部區(qū)域中的每一個局部區(qū)域，將相關(guān)性定義為總行值和總列值的倒 數(shù)。
本發(fā)明進一步提出將輪廓圖像限定在有限搜索區(qū)域，以便以減少的檢測 時間ilb險測目標移動對象。為此，所述設(shè)備包括位置估計裝置，用于估計輪 廓圖像內(nèi)的用于目標移動對象的檢測的有限搜索區(qū)域。在這方面，移動對象 提取裝置被配置用來基于兩個或更多連續(xù)的輪廓圖像之間的與時間相關(guān)的
差，檢測至少一個可能的移動對象，并且提供覆蓋所述移動對象的尺寸減小
的至少一個遮掩部分。位置估計裝置被配置用來每當移動對象定位器給出 位置信息時，就獲得存儲在位置數(shù)據(jù)存儲器中的位置數(shù)據(jù)的時間序列數(shù)據(jù)； 基于位置信息的兩個或更多連續(xù)時間序列數(shù)據(jù)，計算目標移動對象的估計位 置；在估計位置的周圍設(shè)置預(yù)定尺寸的探測區(qū)；以及提供有限搜索區(qū)域，其 為包括與探測區(qū)重疊的至少一個遮掩部分的最小區(qū)域。結(jié)果，移動對象定位 器被配置用來僅在有限的搜索區(qū)域內(nèi)選擇局部區(qū)域，從而減少了確定目標移 動對象的時間。
位置估計裝置可以被配置用來基于位置信息的兩個或更多連續(xù)時間序 列數(shù)據(jù)，計算移動對象的估計移動速度；以及提供探測區(qū)，所述探測區(qū)的尺 寸與移動對象的估計逸變成比例。
在位置估計裝置處，探測區(qū)可以被確定為具有這樣的尺寸，該尺寸是模 板圖像尺寸的函數(shù)。
為了進一步限定所述有限搜索區(qū)域，位置估計裝貧戰(zhàn)被配置用來獲 得行指數(shù)，其為沿有限搜索區(qū)域的每個行布置、并且具有像，"I"或者更 大的像素值的像素的數(shù)目；選擇一組連續(xù)的行，每個行都具有大于預(yù)定行閾 值的行指數(shù)；獲得列指數(shù)，其為沿有限搜索區(qū)域的每個列布置、并且具有像 素值"l"或者更大的像素值的像素的數(shù)目；選擇一組連續(xù)的列，每個列都具 有大于預(yù)定列閾值的列指數(shù)；以及將有限搜索區(qū)域限定在由選擇的連續(xù)行組 和選擇的連續(xù)列組所P艮制的區(qū)域。
在這方面，位置估計裝置可以被配置用來當選擇了兩個或更多連續(xù)行 組時，僅僅使所述組中更加接近于目標移動對象的估計位置的一組有效；并 且當選擇了兩個或更多連續(xù)列組時，僅僅使所述組中更加接近于目標移動對 象的估計位置的一組有效。
提出了有限搜索區(qū)域的另一種限定，其中，位置估計裝置可以被配置用 來獲得行指數(shù)，其為沿所述有限搜索區(qū)域的每個行布置、并且具有像素值 "l，，或者更大的像素值的像素的數(shù)目；以及選擇至少一個連續(xù)行組，每個行 都具有大于預(yù)定行閾值的行指數(shù)。當選擇了兩個或更多連續(xù)行組時，僅僅使 ^>接近于目標移動對象的所述估計位置的一個連續(xù)行組有效。
關(guān)于由有效的連續(xù)行組所限定的范圍進行計算以獲得列指數(shù),該列指數(shù)為沿 有限搜索區(qū)域的每個列布置的并且具有像素值"l"或者更大的像素值的像素 的數(shù)目。然后，選擇連續(xù)列組，每個列都具有大于預(yù)定列閾值的列指數(shù)，以 便位置估計裝置將有限搜索區(qū)域進一步限定到由選擇的連續(xù)列組和有效的
行組所限制的區(qū)域。這種方案的有利之處在于進一步減少了用于確定移動對 象的計算的數(shù)量。
可替選地，位置估計裝置被配置用來首先分析列指數(shù)，以使單獨的連 續(xù)列組中的一組有效；以及僅參考有效的列組來選擇連續(xù)行組，用于進一步 限制有限搜索區(qū)域。
結(jié)合附圖，根據(jù)優(yōu)選實施例的以下描述，本發(fā)明的這些以及其它有利特 征將會變得更加明顯。


圖1是才Mt本發(fā)明優(yōu)選實施例的目標移動對象,i殳備的框圖2是圖示如何參考模板圖^^移動對象的連續(xù)輪廓圖像中 該 移動對象的示意圖3圖示了輪廓圖像的時間序列數(shù)據(jù)；
圖4圖示了^^板圖《象；
圖5是圖示了所述設(shè)備的基本操作的流程圖6是圖示從輪廓圖像中提取的移動對象輪廓圖像的示意圖7是圖示了與圖6的移動對象輪廓圖^ii行比較的模板圖像的示意
圖8A至8C是分別說明取決于像素值的布置來對模板圖像進行加權(quán) 的方案的示意圖9A和9B是分別圖示輪廓圖像的局部區(qū)域的一部分和模板圖像的 對應(yīng)部分的示意圖10A和10B是分別圖示輪廓圖像的局部區(qū)域的一部分和模板圖像 的對應(yīng)部分的示意圖11是圖示了針對輪廓圖像的用于與模板圖像就像素值分布之間的
相關(guān)性方面進行比較的局部區(qū)域而計算的像素值分布的圖形表示； 圖12是圖示針對模板圖像計算的像素值分布的圖形表示； 圖13至15圖示了提供輪廓圖像內(nèi)的有PILfe索區(qū)域的各個方案； 圖16是圖示如何在有限搜索區(qū)域內(nèi)確定移動對象的說明圖；以及
圖17和18是分別圖示了在存在多個移動對象的情況下如何進一步限 定有限搜索區(qū)域的說明圖.
具體實施例方式
參考圖1 ，示出了根據(jù)本發(fā)明的優(yōu)選實施例的目標移動對象跟蹤設(shè)備。 該設(shè)備用作入侵者監(jiān)視系統(tǒng)，以檢測入侵者或目標移動對象、]^t其運動、 并且以放大的視圖顯示入侵者以便識別該入侵者。
該設(shè)備包括攝膝Kl0,其覆蓋觀察區(qū)以拍攝連續(xù)的畫面，所述畫面通過 A/D轉(zhuǎn)換器12被轉(zhuǎn)換成覆蓋整個視野的真實畫面圖像P的時間序列數(shù)字數(shù) 據(jù)，如圖2所示，并且被存儲在畫面圖傳存儲器20中。該設(shè)備包括顯示器 30，其能夠顯示當前的畫面圖像以及當前圖像中如稍后將要討論的那樣用于 識別目標移動對象的被選#^分的放大的視圖。在該設(shè)備中包括輪廓圖像處 理器40，用;^f艮據(jù)存儲器20中的真實畫面圖像中的每一個來生成輪廓圖像， 并且將作為結(jié)果的輪廓圖像的時間序列數(shù)據(jù)存儲在輪廓圖像存儲器42中。 輪廓圖像或者采用二進制圖像數(shù)據(jù)的形式，或者采用^JL級數(shù)據(jù)的形式。提 供了移動對象提取裝置50，用來為每個輪廓圖像提取局部區(qū)域、亦即包圍移 動對象的單元區(qū)域，其細節(jié)將在稍后討論。首先，局部區(qū)域被饋送到模板存 儲器60并存儲在模板存儲器60中作為過渡^板圖像，其在移動對象定位器 70處與l^的一個輪廓圖^^目比較，以便在該輪廓圖像的框架中定位目標移 動對象。如稍后將要討論的那樣，在該設(shè)備中包括模板更新裝置62，用來通 過使用隨后在移動對象定位器70處被確定包括目標移動對象的選定數(shù)目的 局部區(qū)域的組合來替換模板圖像T而定期更新模板圖像T。輪廓圖像中的這 種被確定包括目標移動對象的局部區(qū)域在下文中被稱為移動對象輪廓圖像。 為此，提供了移動對象輪廓圖^#儲器72，用來儲移動對象輪廓圖像MOl 至M06的時間序列數(shù)據(jù)，它們例如在圖2中圖示，與真實畫面圖像P和模 板圖像T進行比較，并且還在圖3中示出。在這方面要注意的是，更新的模 板圖像T被定義為具有變化的像素值的灰度級圖像。
當移動對象提取裝置50在確定初始模板圖像的時候提取其中每個都包 括可能的移動對象的兩個或更多部分時，4吏得移動對象定位器70將所述部 分中的每個候選部分與預(yù)定數(shù)目的連續(xù)輪廓圖像進行比較，以確定在這些輪 廓圖像中連續(xù)出現(xiàn)的可信的部分，以便模板更新裝置62將這種可信的部分 指定為初始模板圖像。
移動對象定位器70被配置用來針對位于當前輪廓圖像中的每一個輪 廓圖像的框架內(nèi)的移動對象，獲得位置數(shù)據(jù)；并且將位置數(shù)據(jù)傳送到位置數(shù) 據(jù)存儲器74。位置數(shù)據(jù)不斷地由放大畫面生成裝置80讀取，所逸故大畫面 生成裝置80進行響應(yīng)以讀取當前的畫面圖像，從其中選擇一部分，并且以 預(yù)定的放大率生成該部分的放大畫面圖像，用于在顯示器30顯示該放大畫 面圖像，從而以放大的效果向管理員通知目標移動對象。
該設(shè)備進一步包括位置估計裝置76，其基于位置數(shù)據(jù)中的兩個或更多連 續(xù)的時間序列數(shù)據(jù)，計算目標移動對象的估計位置，并且在該估計位置周圍 的輪廓圖像內(nèi)提供有限搜索區(qū)域，用于目標移動對象的檢測，其細節(jié)將在稍 后討論。
簡而言之，該設(shè)備重復(fù)執(zhí)行受控制的循環(huán)，該循環(huán)如圖5所示包括以下 步驟拍攝真實畫面圖像(S1);生成其輪廓圖像(S2);計算移動對象的估 計位置(S3);估計有限搜索區(qū)域(S4);獲得移動對象的位置數(shù)據(jù)(S5 ); 更新模板圖像(S6);以M示移動對象的放大的視圖(S7)。
現(xiàn)在，將在下文中說明該設(shè)備若干部分的細節(jié)。輪廓圖像處理器40被 配置用來每當在更新模板圖像之后，獲得模板圖像T的對比度；以及當對 比度超過預(yù)U準時，提供由二進制數(shù)據(jù)所定義的輪廓圖像，否則提供由灰 度級定義的輪廓圖像。在確定輪廓圖像的種類時，輪廓圖像處理器40檢測 平均像素值，該平均像素值為分別賦給模板圖像的多個預(yù)定分區(qū)中的每一個 分區(qū)內(nèi)的像素的像素值的平均值，并且，當所述分區(qū)中任一分區(qū)被檢測到具 有低于閾值的平均像素值時，或者當針對所述分區(qū)中任一分區(qū)所檢測到的平 均像素值比針對所述分區(qū)中另 一分區(qū)所檢測到的平均像素值低的程度大于 預(yù)定程度時，輪廓圖像處理器40就判定所述對比度在基準之下。當生成二 進制數(shù)據(jù)的輪廓圖像時，輪廓圖像處理器40被配置用來依靠用于將真實畫 面圖像轉(zhuǎn)換成二進制數(shù)據(jù)圖像的可變閾值，并且獲得模板圖像的平均A^級 值，以便當所述平均AJL級值比用于在移動對象定位器70處與模板圖像進 行成功比較的預(yù)定P艮度低時，降低所述閾值。二進制數(shù)據(jù)的輪廓圖像也被稱 作邊緣圖像，其借助于眾所周知的Sobel濾波器或?qū)?yīng)的技術(shù)而獲得。
現(xiàn)在就移動對象4^取裝置50的提取移動輪廓圖像的功能來對移動對象 提取裝置50進^i兌明。針對在時間(T)提取的每個輪廓圖像，移動輪廓圖 像是參考分別在時間(T-AT2)和(T-ATI)提取的兩個先前的輪廊圖像 以及分別在時間(T + AT1)和(T + AT2)提取的兩個隨后的輪廓圖像獲得 的。對分別在時間(T-AT2)和(T + AT2)提取的輪廓圖傳進行與操作，
以給出第一邏輯積圖像PT1，同時對分別在時間(T-ATI)和(T + AT1) 提取的輪廓圖像進行與操作，以給出第二邏輯積圖像PT2。第一邏輯積圖像 PT1被求逆，并且隨后與在時間T提取的輪廓圖像進行與搮作，以給出第三 邏輯積圖像PT3，其包括在T時在輪廓圖像中出現(xiàn)的移動對象的輪廓，在 時間(T-AT2)時隱藏在移動對象后面而在時間(T)時出現(xiàn)的背景輪廓， 以及在時間(T-AT2)時出現(xiàn)而在時間(T + AT2)時隱藏在移動對象后面 的背景輪廓。同樣地，第二邏輯積圖像PT2被求逆，1^被進行與操作，以 給出第四邏輯積圖像(PT4)，其包括在T時在輪廓圖像中出現(xiàn)的移動對 象的輪廓，在時間(T-ATI)時隱藏在移動對象后面而在時間(T)時出現(xiàn) 的背景輪_廓，以及在時間(T-AT1)時出現(xiàn)而在時間(T + AT1)時隱藏在 移動對象后面的背景l(fā)^廓。最后，對笫三和第四邏輯積圖^ii行與操作，以 提取移動對象的輪廓。具有上述功能的移動對象提取裝置在本領(lǐng)域中已經(jīng)是 已知的，例如，如日本專利公布No. 2004-265252中公開的那樣，因此不必 要進行進一步的詳細說明。在這方面，本發(fā)明可以利用各種配置的類似的移 動對象提取裝置。
現(xiàn)在說明模板圖像T的更新。模板更新裝置62被配置用來從移動對象 輪廓圖像存儲器72中讀取預(yù)定數(shù)目的先前的移動對M廓圖像，并且將這 些圖像與在移動對象定位器70處被確定與模板圖像匹配的當前的移動對象 輪廓圖^fe結(jié)合，從而通過用如此結(jié)合的圖像替換先前的模板圖像T來更新 先前的模板圖像T。如圖7中示意性示出的那樣，這種模板圖像T將較高的 像素值賦給人體中諸如頭或肩等特定部分的輪廓，所述特定部分更加固定不 變，亦即與諸如臂或腿等其它部分相比在運動期間較不易產(chǎn)生形狀的變動。 利用該結(jié)果，模板圖像T變得很好地指示了移動對象的主要部分，以便為通 過就模板圖像和移動輪廓圖像之間的相關(guān)性方面與當前的移動對象輪廓圖 像的比較而可靠地確定移動對象提供堅實的基礎(chǔ)，如稍后將要討論的那樣。 而且，如此更新的模板圖像T能夠通過一個或多個其它移動對象輪廓圖像中 對應(yīng)的部分來很好地補償一個移動對象輪廓圖像中的移動對象的一部分的 任何小的遺漏.例如，對于一個移動對象圖像中隱藏在快速搖擺的手后面的 腹部的一部分，能夠用在其它移動對象圖像中出現(xiàn)的對應(yīng)的部分來進行補 充，從而使模板圖#^可能接近目標移動對象，這導(dǎo)致基于輪廓圖^Mp模板 圖像之間的比較，精確地確定目標移動對象。
優(yōu)選地，每當新的連續(xù)的一組移動對象輪廓圖像累積達到預(yù)定數(shù)目時， 就進行更新。而且，模板更新裝置62被配置用來僅僅將根據(jù)預(yù)定準則被確 定為有效的移動對象輪廓圖像進行結(jié)合。所述準則的一個例子基于像素指
數(shù)，該像素指數(shù)為計算出的在所述移動對象輪廓圖像的每一個中包括的、具 有大于零的像素值的像素的數(shù)目。該準則被定義成在當前的移動對象輪廓圖 像的像素指數(shù)與先前的移動對象輪廓圖像的像素指數(shù)的差異大于預(yù)定程度 時，就確定當前的移動對象輪廓圖像為有效的。另一個準則基于當前的移動 對象輪廓圖像和對應(yīng)的真實畫面圖像中的 一個的像素值的標準偏差，并且被 定義成當該標準偏差與關(guān)于先前的移動對象輪廓圖^^計算的標準偏差的差 異大于預(yù)定程度時，就確定當前的移動對象輪廓圖像為有效的。而且，該準 則可以基于計算出的構(gòu)成所述移動對象輪廓圖像中的每一個中的移動對象 的輪廓的《象素的數(shù)目，并且被定義成當關(guān)于當前移動對象^^廓圖《象的所述《象 素數(shù)目與關(guān)于先前移動對象輪廓圖像的所述像素數(shù)目的差異大于預(yù)定程度 時，就確定當前的移動對象輪廓圖像為有效的。
模板更新裝置62可以被配置用來使用以下加權(quán)方程，與結(jié)合的一組先 前的移動輪廓圖^bf目關(guān)地對當前的移動輪廓圖像進行加權(quán)
<formula>formula see original document page 20</formula>
其中，T(x,y)表示模板圖像的每個像素中的像素值，Vn(x,y)表示當前的 移動對象輪廓圖像的每個像素中的像素值，Vp(x, y)表示結(jié)合的 一組先前的移 動對象輪廓圖像的每個像素中的像素值，而K則是加權(quán)系數(shù)。
這樣，通過適當選擇加權(quán)系數(shù)K,與所述結(jié)合的一組先前的移動對^ 廓圖像相關(guān)，能夠使模板圖像T更強或者更弱地反映當前的移動對象輪廓圖 像。
移動對象定位器70包括匹配裝置71，其被配置用來從l^廓圖〗象中的 每個當前輪廓圖像中收集不同的局部區(qū)域，每個局部區(qū)域與模板圖像具有相 同的尺寸；并且關(guān)于不同局部區(qū)域中的每一個局部區(qū)域計算相對于模板圖像 T的相關(guān)性。匹配裝置71進行操作以便通iti^擇不同的局部區(qū)域，亦即通過 在行或列的方向上將局部區(qū)域移動一個像素，從而連續(xù)地掃描輪廓圖像的整 個區(qū)域，以便將具有最大相關(guān)性的局部區(qū)域確定為與模板圖像T匹配的移動 對f^廓圖像。如圖6中示意性示出的那樣，當二進制數(shù)據(jù)的移動對象輪廓 圖像MO被確定為與當前的模板圖像T匹配時，模板更新裝置62進行響應(yīng) 以便獲得匹配的移動對象輪廓圖像MO中的每個像素的像素值，以便將該像 素值加到先前的移動對象輪廓圖像中的每個對應(yīng)的像素上，從而提供更新的 模板圖像T，如圖7中示意性示出的那樣，更新的模板圖像T具有這樣的像 素，所述像素具有對應(yīng)地累積的^j^級數(shù)據(jù)的像素值。
在本發(fā)明中，相關(guān)性從以下說明的從各個定義中適當選擇。 一個例子是
將相關(guān)性定義為對于被選擇來與構(gòu)成輪廓圖像的局部區(qū)域中的每一個局部 區(qū)域內(nèi)的移動對象的輪廓的像素相對應(yīng)的像素，>^#板圖像1中獲得的像素 值的和。另一個例子是將相關(guān)性定義為對于與構(gòu)成l^廓圖像的局部區(qū)域中 的每一個局部區(qū)域內(nèi)的移動對象的輪廓的像素相對應(yīng)的像素，從模板圖像T
中獲得的像素值的冪和。冪和優(yōu)選地為像素值的平方和。
而且，當輪廓圖像處理器40給出二進制數(shù)據(jù)的輪廓圖像(其中，像素 值"l"械給構(gòu)成輪廓圖4綠廓的像素，而像素值"0"則艦給輪廓圖像的其 余像素)時，相關(guān)性可以被加權(quán)。在這種情況下，匹配裝置71被配置用來 >^^^板圖像1中選擇與構(gòu)成輪廓圖像的局部區(qū)域中每一個局部區(qū)域內(nèi)的輪廓 的像素相對應(yīng)的像素，并且獲得每個被選擇像素周圍的具有大于"0"的像素 值的像素的數(shù)目，以便根據(jù)如此獲得的像素數(shù)目對每個被選#^象素的像素值 進行加權(quán)。例如，當圍繞中心像素的全部八(8)個外圍像素都具有像素值"0" 時，如圖8A所示，則中心像素^C給小的權(quán)重"1"。當八個外圍像素中的被 選擇的一個像素具有大于"O"的像素值時，如圖8B所示，則中心像素,給 較大的權(quán)重"2"。當八個外圍像素中的多于一個的像素具有大于"O"的像素值 時，如圖8C所示，則中心像素 給更大的權(quán)重"4"。將每個4象素處的4象素 值"a，，乘以如此確定的權(quán)重，以便匹配裝置71確定作為模板圖像T中的被選 擇像素的加權(quán)像素值之和的相關(guān)性，以對輪廓圖像和模板圖像T進行一致性 匹配?？梢詮纳鲜鲋?l"、 "2"和"4"之外適當?shù)剡x擇權(quán)重的值。
可以根據(jù)特定像素的第 一數(shù)目對特定像素的第二數(shù)目的比率來不同地 定義相關(guān)性。第一數(shù)目是在每一個局部區(qū)域中計數(shù)出的、滿A^部區(qū)域中的 像素和模板圖像中對應(yīng)的像素兩者都具有像素值"l"或更大的像素值的條件 的像素的數(shù)目，而第二數(shù)目則是在模板圖像中計數(shù)出的具有像素值"l，，或更 大的像素值的像素的數(shù)目。當輪廓圖像與模板圖像具有的"O，，像素的數(shù)目的 比例大于"l"或更大的像素的數(shù)目時，如針對輪廓圖像的局部區(qū)域PA的圖 9A和針對模板圖像T的圖9B (其中，黑方塊指示"O"像素，并且白方塊指 示像素值"l"或更大的像素值)中示范性示出的那樣，如此定義的相關(guān)性尤 其有利于將輪廓圖像與模板圖像精確地進行比較。在圖示的情況下，相關(guān)性 表達為比率11/14 ( -79%)，其中，第一數(shù)目為"ll"，并且第二數(shù)目為"14"。 針對輪廓圖像中的每一個局部區(qū)域PA獲得相關(guān)性，以便確定表現(xiàn)出最大相 關(guān)性的局部區(qū)域或移動對象輪廓圖像。利用如此定義的相關(guān)性，能夠使移動 對象的精確檢測相對地免受不構(gòu)成移動對象的輪廓的"O"像素的影響.
可替選地，還可以考慮到在局部區(qū)域PA和模板圖像T兩者中具有像素 值"O"的像素的數(shù)目來定義相關(guān)性，在這種情況下，匹配裝置71被配置用來 獲得
1) 針對局部區(qū)域中的每一個局部區(qū)域計數(shù)出的、滿足局部區(qū)域中的 像素和模板圖像中對應(yīng)的像素兩者都具有像素值"l"或更大的像素值的條 件的像素的第一數(shù)目；
2) 在局部區(qū)域中的每一個局部區(qū)域中計數(shù)出的、滿足局部區(qū)域中的 像素和模板圖像中對應(yīng)的像素兩者都具有像素值"O"的條件的像素的第二 數(shù)目；以及
3 )在模板圖像中計數(shù)出的、具有像素值"l"或更大的像素值的像素的 第三數(shù)目。
匹配裝置71針對局部區(qū)域中的每一個局部區(qū)域定義相關(guān)性，該相關(guān)性 為第一數(shù)目加上第二數(shù)目之后對第三數(shù)目的比率。當將如此定義的相關(guān)性應(yīng) 用于圖9A和9B的示例時，針對圖9A的局部區(qū)域的相關(guān)性為 4.1{=(11+47)/14}。
而且，匹配裝置71可以依賴于考慮到模板圖像中的每一個特定像素周 圍的外圍像素而定義的相關(guān)性。匹配裝置71被配置用來選擇一組輪廓像 素，所述一組輪廓像素構(gòu)成每一個局部區(qū)域中的輪廓；從布置在模板圖l象中 的特定像素周圍的像素集合中獲得最大的l象素值，所述特定4象素對應(yīng)于4^廓 像素中的每一個輪廓像素；以及將相關(guān)性定義為分別針對所述局部區(qū)域獲得 的最大值之和。亦即，如圖10A和10B所示，根據(jù)圍繞模板圖像T中的特 定像素(T3)的外圍像素、亦即具有最大值"6"的像素(Tmax)，估計局部 區(qū)域PA中的輪廓像素中的每一個輪廓像素(P3)。這樣，每個局部區(qū)域, 給這樣的相關(guān)性，該相關(guān)性為如此獲得的最大值之和，每一個最大值是針對 局部區(qū)域中的輪廓像素獲得的，以便匹配裝置71將具有最大相關(guān)性的局部 區(qū)域確定為移動對象輪廓圖像。
更進一步，匹配裝置71可以依賴于考慮到分別針對局部區(qū)域中的每一 個局部區(qū)域PA和模板圖像T獲得的直方圖(Py， Px; Ty， Tx)而定義的相 關(guān)性，如圖11和12所示。對局部區(qū)域中的每一個局部區(qū)域PA獲得兩個直 方圖(Py， Px)， 一個沿著Y軸，而另一個沿著X軸。同樣地，對模板圖像 T獲得兩個直方圖(Tx， Ty)，分別沿著Y軸和X軸。Y軸直方圖(Py)是 第一行指數(shù)的分布，所述第一行指!8blL布置在輪廓圖像的局部區(qū)域PA的每
一個行中、并且具有大于"O"的像素值的像素的數(shù)目，而X軸直方圖(Px) 則是第一列指數(shù)的分布，所述第一列指數(shù)是布置在輪廓圖像的局部區(qū)域PA 的每一個列中、并且具有大于"O"的像素值的像素的數(shù)目。Y軸直方圖(Ty) 是第二行指數(shù)的分布，所述第二行指^M:布置在模板圖像T的每一個行中、 并且具有大于"O"的像素值的像素的數(shù)目，而X軸直方圖(Tx )則是第二列 指數(shù)的分布，所述第二列指數(shù)是布置在模板圖像T的每一個列中、并且具有 大于"O"的像素值的像素的數(shù)目?；谶@些直方圖，匹配裝置71計算出行 數(shù)差，其為第一行指數(shù)與第二行指數(shù)之間的差；列數(shù)差，其為第一列指數(shù)和 第二列指數(shù)之間的差；總行值，其為分別關(guān)于各行獲得的行差之和；以及總
列值，其為分別關(guān)于各列獲得的列差之和。于是，匹配裝置71針對局部區(qū) 域中的每一個局部區(qū)域?qū)⑾嚓P(guān)性定義為總行值和總列值之和的倒數(shù)。因此， 相關(guān)性隨總行值和總列值變得更小而變得更大，即，局部區(qū)域中特定的一個 局部區(qū)域變得更加接近于模板圖像。借助于如此定義的相關(guān)性，當利用將局 部區(qū)域沿著行或列移位一個像素來掃描輪廓圖像的整個區(qū)域時，像素值的計 算能夠大大減少。例如，當局部區(qū)域沿著行移位一個像素時，只有沒被先前 的局部區(qū)域覆蓋的一個新列才需要計算第一列和，而針對剩余列的第 一列和 已可在先前的步驟中得到。這也適用于局部區(qū)域沿著列移位一個像素的情 況，在這種情況下，只有新行才需要計算第一行和。
在本發(fā)明中，基于檢測到的移動對象的移動，對有P艮搜索區(qū)域進行輪廓 圖像的掃描，以便改善檢測移動對象的iiJL為此，位置估計裝置76與移 動對象提取裝置50聯(lián)合在輪廓圖像內(nèi)提供有限搜索區(qū)域，所^動對象提 取裝置50提供覆蓋移動對象的至少一個遮掩部分或尺寸減小的局部部分。 圖13圖示了一個例子，其中移動對象提取裝置50在輪廓圖像OL內(nèi)提供了 四(4)個遮掩部分M1、 M2、 M3和M4。位置估計裝置76被配置用來 每當移動對象定位器70給出位置數(shù)據(jù)時，獲得位置數(shù)據(jù)的時間序列數(shù)據(jù)； 以及基于位置數(shù)據(jù)的兩個或更多連續(xù)的時間序列數(shù)據(jù)，計算目標移動對象的
估計位置PE。然后，位置估計裝置76在估計位置PE的周圍設(shè)置預(yù)定尺寸的
探測區(qū)Z,并且確定有限搜索區(qū)域LSR，該有PIL溲索區(qū)域LSR為包括與探 測區(qū)Z重疊的遮掩部分M1、 M2和M3、并且排除不與探測區(qū)Z重疊的遮掩 部分M4的最小區(qū)域。在確定了有限搜索區(qū)域LSR之后，位置估計裝置76 指示移動對象定位器70僅在有限搜索區(qū)域LSR內(nèi)選擇局部區(qū)域。
在這種情況下，探測區(qū)Z可以具有這樣的尺寸，該尺寸與移動對IM^先 前定位的點(1)移動到點(2)的速度成比例變化。非正方形構(gòu)造的探測區(qū) Z也是可用的，其中，x軸尺寸和y軸尺寸以不同的程度與移動對象的速度
成比例變化。
可替選地，探測區(qū)z可以具有這樣的尺寸，該尺寸為模板圖像尺寸的函
數(shù)。例如，將探測區(qū)Z限定為具有這樣的尺寸，該尺寸是模板圖像尺寸的l
倍以上。而且，可以選擇該倍數(shù)，使其與移動對象的檢測到的速度成比例變
化，并且針對x軸和y軸可以不同。
圖14圖示了借助于過濾區(qū)FZ進一步將有限搜索區(qū)域LSR限制到FLSR 的另一個方案，所述過濾區(qū)FZ形成在估計位置PE的周圍，具有這樣的尺寸， 該尺寸為移動對象的ii;變的函數(shù)。于是，有限搜索區(qū)域LSR被進一步限定 到與過濾區(qū)FZ共有的區(qū)域FLSR。
可替選地，如圖15所示，可以借助于模板過濾區(qū)TFZ將有限搜索區(qū)域 LSR限制到FLSR,所述^^板過濾區(qū)TFZ形成在估計位置PE的周圍,具有這 樣的尺寸，該尺寸為^^板圖4象的尺寸的函數(shù)。
在這方面，要注意的是過濾區(qū)FZ或;j^板過濾區(qū)TFZ可以單獨用作有限 搜索區(qū)域。
而且，考慮到沿著x軸和y軸兩者的像素值的直方圖(Hy， Hx)，有限 搜索區(qū)域LSR可以被進一步限制到XLSR,如圖16所示。直方圖(Hy)是 行指數(shù)的y軸分布，所述行指數(shù)是沿著有P艮搜索區(qū)域LSR的每一個行布置、 并且具有像素值"l"或更大的像素值的像素的數(shù)目。根據(jù)圖13中的方案獲得 有限搜索區(qū)域LSR，或者，甚至根據(jù)圖14或圖15中描繪的方案獲得限制的 有限搜索區(qū)域FLSR,同樣，在這種情況下，直方圖(Hx)是列指數(shù)的分布， 所述列指數(shù)是沿著有限搜索區(qū)域LSR的每一個列布置、并且具有像素值"l" 或更大的像素值的像素的數(shù)目。位置估計裝置76以分別與預(yù)定的行閾值THR 和預(yù)定的列閾值THc相比較的方式分析直方圖(Hy， Hx)，以便選擇其中每 一個行都具有比行閾值THR大的行指數(shù)的連續(xù)行組Gy,以及其中每一個列 都具有比列閾值THC大的列指數(shù)的連續(xù)列組Gx。然后，位置估計裝置76將 有限搜索區(qū)域LSR限制到由所選擇的組Gy和Gx限界的區(qū)域XLSR，同時 消除任何可能的噪聲，以使著確檢測目標移動對象。
如果兩個或更多的連續(xù)行組由于具有大于行閾值THR的行指數(shù)而被選 擇，或者如果兩或更多的連續(xù)列組由于具有大于列閾值THc的列指數(shù)而被選 擇，如圖17和18所示，則位置估計裝置僅僅使更加接近于估計位置Pe的一 個組集(Gy2， Gx2)有效，因此將有P艮搜索區(qū)域限制到由有效的組所限定 的區(qū)域XLSR。
而且，在有限搜索區(qū)域LSR中可能有兩個或更多的連續(xù)行或列組的情 形中，在將有限搜索區(qū)域LSR進一步限制到XLSR時，為了減少計算的數(shù) 量，位置估計裝置76可以被配置用來首先獲得行指數(shù)和列指數(shù)中的一個， 并且基于所述行指數(shù)和列指數(shù)中的一個的分析，取消用于獲得行指數(shù)和列指 數(shù)中的另一個的不必要的計算。為《更于理解，首先參考圖17來說明在計算 列指數(shù)之前計算行指數(shù)的方案。在對有限搜索區(qū)域LSR的界限內(nèi)的每一個 行獲得行指數(shù)之后，位置估計裝置76選擇其中每一個行都具有大于行閾值 THR的行指數(shù)的兩個連續(xù)行組Gyl和Gy2，并且僅僅使得比另一個組Gyl 更加接近于估計位置PE的一個組Gy2有效。隨后，位置估計裝置76僅在由 有效的組Gy2所限界的范圍內(nèi)獲得列指數(shù)，選擇其中每一個列都具有大于列 閾值THc的列指數(shù)的連續(xù)列組Gx2,并且將有PIL搜索區(qū)域進一步限定到由所 選擇的連續(xù)列組Gx2和有效的連續(xù)行組Gy2所限界的區(qū)域XLSR。
可替選地，如圖18所示，可以首先關(guān)于列指數(shù)對有P艮搜索區(qū)域LSR進 行分析，以便使連續(xù)列組Gxl和Gx2中的一個有效。在使連續(xù)列組Gx2因 為比另一個組Gxl更加接近于估奸位置Pe而有效之后，進行計算，以便僅 M有效的連續(xù)列組Gx2所限制的范圍內(nèi)獲得行指數(shù)，并且選擇其中每一個 連續(xù)行都具有大于行閣值THR的行指數(shù)的連續(xù)行組Gy2。于是，位置估計裝 置76將有限搜索區(qū)域LSR進一步限制到由如此選擇的連續(xù)行組Gy2和有效 的連續(xù)列組Gx2所限制的區(qū)域XLSR。
在參考圖17和18說明的上述方案中，術(shù)語"連續(xù)行"或"連續(xù)列"在本發(fā) 明中不以嚴格的意義解釋，而是被定義為這樣的一系列的行或列，其中，具 有閾值以下的行指數(shù)或列指數(shù)的行或列的連續(xù)不超過預(yù)定數(shù)目，容許具有閾 值以下的行指數(shù)或列指數(shù)的行或列短暫插入，以便消除可能的噪聲或誤差而 實現(xiàn)移動對象的精確檢測。
盡管以上描述僅僅示例性公開并說明了各種特征，以便易于理解本發(fā)明 的基^念，但是，這里應(yīng)當注意的是，所述特征的任何組合也在本發(fā)明的 范圍內(nèi).
權(quán)利要求
1.一種目標移動對象跟蹤設(shè)備，包括畫面圖像存儲器(20)，其被配置用來存儲攝像機(10)關(guān)于覆蓋可能的目標移動對象的觀察區(qū)所拍攝的真實畫面圖像的時間序列；顯示器(30)，其被配置用來以所需的放大率顯示所述真實畫面圖像中的可選擇的一個或多個真實畫面圖像；輪廓圖像處理器(40)，其被配置用來分別根據(jù)所述真實畫面圖像提供輪廓圖像；模板存儲器(60)，其被配置用來存儲用于識別所述目標移動對象的模板圖像；移動對象定位器(70)，其被配置用來將所述輪廓圖像中的每一個輪廓圖像與所述模板圖像相比較，以檢測每個輪廓圖像中與所述模板圖像匹配的局部區(qū)域，所述移動對象定位器基于被檢測到與所述模板圖像匹配的所述局部區(qū)域，獲得所述目標移動對象在所述觀察區(qū)內(nèi)的位置數(shù)據(jù)；放大畫面生成裝置(80)，其被配置用來基于所述位置數(shù)據(jù)，從所述真實畫面圖像的與所述輪廓圖像的被檢測到與所述模板圖像匹配的所述局部區(qū)域相對應(yīng)的一部分提取放大的圖像，并且在所述顯示器上顯示所述放大的畫面圖像；其中，所述移動對象定位器(70)被配置用來從與被檢測到與所述模板圖像匹配的所述局部區(qū)域相對應(yīng)的所述輪廓圖像中的每一個提取移動對象輪廓圖像，并且提供模板更新裝置(62)，用來通過使用所述移動對象輪廓圖像中的當前的一個移動對象輪廓圖像與所述移動對象輪廓圖像中先前的一個或多個移動對象輪廓圖像的結(jié)合來替換所述模板圖像，從而更新所述模板圖像。
2. 如權(quán)利要求1所述的目標移動對象 設(shè)備，其中，所述輪廓圖像處理器(40 )被配置用來提供由二進制數(shù)據(jù)定義的所述 輪廓圖像。
3. 如權(quán)利要求1所述的目標移動對象 設(shè)備，其中， 所述輪廓圖像處理器(40 )被配置用來提供由離^JL級數(shù)據(jù)定義的 所述輪廓圖像。
4. 如權(quán)利要求1所述的目標移動對象i^J宗設(shè)備，其中，所述輪廓圖像處理器(40)被配置用來獲得所述模板圖像的對比度， 以便當所述對比度超過預(yù)定基準時提供由二進制數(shù)據(jù)定義的所述輪廓像。
5. 如權(quán)利要求4所述的目標移動對象^J宗設(shè)備，其中，所述輪廓圖像處理器(40)被配置用來檢測平均像素值，所述平均像 素值為分別賦給所述模板圖像的多個分區(qū)中的每一個分區(qū)內(nèi)的像素的像 素值的平均值，并且當所述分區(qū)中的任何一個被檢測到具有低于閾值的所述平均像素值時，或者當針對所述分區(qū)中的任何一個檢測到所述平均像素 值比所述分區(qū)中的另一個的所述平均〗象素值低的程度大于預(yù)定程度時，就 判定所^比度低于所逸基準。
6. 如權(quán)利要求2所述的目標移動對象i^設(shè)備，其中，所述輪廓圖像處理器(40 )被配置用來提供用于將所述真實畫面圖像 轉(zhuǎn)換成所述二進制數(shù)據(jù)的輪廓圖像的可變閾值，所述輪廓圖像處理器(40 ) 被配置用來獲得所述模板圖像的平均^JL級值，并且當所述平均^JL級值 低于預(yù)定限度時降低所述閾值。
7. 如權(quán)利要求1所述的目標移動對象g設(shè)備，進一步包括移動對象輪廓圖像存儲器(72),其用來存儲所述移動對象輪廓圖像 的時間序列；所i^^板更新裝置(62)被配置用"所述移動對象輪廓圖^^儲器 中讀取預(yù)定數(shù)目的先前的移動對象輪廓圖像，將這些輪廓圖像與當前的移 動對象輪廓圖l^目結(jié)合，并且通過用所述結(jié)合替換先前的模板圖像來更新 所述先前的模板圖像。
8. 如權(quán)利要求7所述的目標移動對象 設(shè)備，其中，所述模板更新裝置(62)被配置用來每當新的連續(xù)的一組所述移動對 象輪廓圖像累積達到預(yù)定數(shù)目時，更新所述模板圖像。
9. 如權(quán)利要求7或8所述的目標移動對象 設(shè)備，其中， 所述模板更新裝置(62 )被配置用來僅結(jié)合根據(jù)預(yù)定準則被確定為有 效的所述移動對象輪廓圖像。
10. 如權(quán)利要求9所述的目標移動對象,設(shè)備，其中，所述模板更新裝置(62)被配置用來計算像素指數(shù)，所述像素指數(shù) 為在所述移動對M廓圖像中的每一個中包括的、并且具有大于零的像素 值的像素的數(shù)目；并且提供所述準則，在當前的移動對象輪廓圖像的像素 指數(shù)與先前的移動對象輪廓圖像的像素指數(shù)的差異大于預(yù)定程度時，確定 當前的移動對象輪廓圖像為有效的。
11. 如權(quán)利要求9所述的目標移動對象,設(shè)備，其中，所述模板更新裝置(62 )被配置用來計算當前的移動對象輪廓圖像和 對應(yīng)的真實畫面圖像中的一個的像素值的標準偏差，并且提供所述準則， 所述準則在所述標準偏差與關(guān)于先前的移動對象輪廓圖^^計算的標準偏的差異大于預(yù)定程度時，確定當前的移動對IM^廓圖像為有效的。
12. 如權(quán)利要求9所述的目標移動對象,設(shè)備，其中，所述模板更新裝置(62 )被配置用來計算構(gòu)成所述移動對象輪廓圖像 中的每一個中的所述移動對象的輪廓的像素的數(shù)目，并且提供所述準則， 所述準則在關(guān)于當前的移動對象輪廓圖像的所述^^素的數(shù)目與關(guān)于先前 的移動對象輪廓圖像的像素的數(shù)目的差異大于預(yù)定程度時，確定當前的移 動對象輪廓圖像為有效的。
13. 如權(quán)利要求1所述的目標移動對象,設(shè)備，其中，所述移動對象定位器(70 )包括匹配裝置(71 )，所述匹配裝置(71) 被配置用來從所述輪廓圖像當中收集不同的局部區(qū)域，每個區(qū)域與所述 模板圖像具有相同的尺寸；計算關(guān)于所述不同區(qū)域中的每一個的相關(guān)性； 并且將具有最大相關(guān)性的所述局部區(qū)域確定為與所述模板圖像匹配的所 述移動對象輪廓圖像，并且所述模板更新裝置被配置用來獲得所述移動對 象輪廓圖像中的每個像素的像素值，以便將所述像素值加到先前的移動對 象輪廓圖像中的像素中的每一個對應(yīng)的像素上。
14. 如權(quán)利要求13所述的目標移動對象跟蹤設(shè)備，其中，所述匹配裝置(71)被配置用來將所勤目關(guān)性定義為關(guān)于被選擇來 與構(gòu)成所述輪廓圖像的所述局部區(qū)域中的每一個局部區(qū)域內(nèi)的輪廓的像 素相對應(yīng)的像素，從所述模板圖像中獲得的像素值之和。
15. 如權(quán)利要求13所述的目標移動對象跟蹤設(shè)備，其中，所述匹配裝置(71)被配置用來將所i^目關(guān)性定義為關(guān)于被選棒來 與構(gòu)成所述輪廓圖像的所述局部區(qū)域中的每一個局部區(qū)域內(nèi)的輪廓的像 素相對應(yīng)的像素，從所述模板圖像中獲得的像素值的冪和。
16. 如權(quán)利要求13所述的目標移動對象,設(shè)備，其中，所述輪廓圖像處理器(40)被配置用來給出二進制數(shù)據(jù)的輪廓圖像，其中，像素值'T，M給構(gòu)成輪廓圖像的輪廓的像素，而《象素值"0"則,給輪廓圖像的其余像素，所述匹配裝置(71)被配置用來從所述模板圖像 中選擇與構(gòu)成所述輪廊圖像的所述局部區(qū)域中的每一個局部區(qū)域內(nèi)的輪廓的像素相對應(yīng)的像素，并且獲得在每個被選擇像素周圍的具有大于"O" 的像素值的像素的數(shù)目，以便根據(jù)如此獲得的像素數(shù)目對每個被選擇像素 的像素值進行加權(quán)，所述匹配裝置(71)被配置用來將所述相關(guān)性定義為 所述模板圖像中被選擇像素的如此加權(quán)的像素值之和。
17. 如權(quán)利要求13所述的目標移動對象跟蹤設(shè)備，其中，所述輪廓圖像處理器(40)被配置用來給出二進制數(shù)據(jù)的輪廓圖像， 其中，像素值"1",給構(gòu)成輪廓圖像的輪廓的像素，而4象素值"0"則*^ 給輪廓圖像的其余像素，所述匹配裝置(71)被配置用來獲得所述局部 區(qū)域的每一個局部區(qū)域中滿足下述M的像素的第一數(shù)目，該M是所述 局部區(qū)域中的像素和所ii^板圖像中對應(yīng)的像素兩者都具有像素值"l"或 更大的像素值；以及所ii^板圖像中具有像素值"l"或更大的像素值的像 素的第二數(shù)目，所述匹配裝置(71)定義用于所述局部區(qū)域中的每一個局部區(qū)域中的 所i^目關(guān)性，其為所述第一數(shù)目對所述第二數(shù)目的比率。
18. 如權(quán)利要求13所述的目標移動對象跟蹤設(shè)備，其中，所述輪廓圖像處理器(40)被配置用來給出二進制數(shù)據(jù)的輪廓圖像， 其中，像素值"1",給構(gòu)成輪廓圖像的輪廓的像素，而4象素值"0"則M 給輪廓圖像的其余像素，所述匹配裝置(71)被配置用來獲得所it^部 區(qū)域的每一個局部區(qū)域的滿足下述條件的像素的第一數(shù)目，該*是所述 局部區(qū)域中的像素和所述模板圖像中對應(yīng)的像素兩者都具有像素值"l"或 更大的像素值；所述局部區(qū)域中的每一個局部區(qū)域的滿足下述條件的像素 的第二數(shù)目，該條件是所述局部區(qū)域中的像素和所述模板圖像中對應(yīng)的像 素兩者都具有像素值"O，，；以及所iM^板圖像中具有像素值"l，，或更大的像 素值的像素的第三數(shù)目，所述匹配裝置(71)定義用于所述局部區(qū)域中的每一個局部區(qū)域的所 W目關(guān)性，其為所述第一數(shù)目加上所述第二數(shù)目之后對所述第三數(shù)目的比 率。
19. 如權(quán)利要求13所述的目標移動對象跟蹤設(shè)備，其中，所述輪廓圖像處理器(40)被配置用來給出二進制數(shù)據(jù)的輪廓圖像， 其中，像素值"1，， 給構(gòu)成輪廓圖像的輪廓的像素，而像素值"0，，則 給輪廓圖像的其余像素，所述匹配裝置(71)被配置用來從圍繞所i^ 板圖像中的被選擇像素布置的像素集合中獲得所述像素值中的最大值，所 述被選擇像素對應(yīng)于構(gòu)成輪廓圖像的所述局部區(qū)域中每一個局部區(qū)域內(nèi) 的輪廓的像素中的每一個像素；并且將所i^目關(guān)性定義為分別針對各局部 區(qū)域獲得的所述最大值之和。
20. 如權(quán)利要求13所述的目標移動對象,設(shè)備，其中，所述輪廓圖像處理器(40)被配置用來給出二進制數(shù)據(jù)的輪廓圖像， 其中，像素值"1"WC給構(gòu)成輪廓圖像的輪廓的像素，而像素值"0， 給輪廓圖像的其余像素，所述匹配裝置(71)被配置用來獲得第一行指數(shù)，其為每個所述局部區(qū)域的每個行中布置的、并且具有大 于"O"的像素值的像素的數(shù)目；第一列指數(shù)，其為輪廓圖像的每個所述局部區(qū)域的每個列中布置的、 并且具有大于"O"的像素值的像素的數(shù)目；第二行指數(shù)，其為所述模板圖像的每個行中布置的、并且具有大于"0" 的像素值的像素的數(shù)目；第二列指數(shù),其為所述模板圖像的每個列中布置的、并且具有大于"0" 的《象素值的〗象素的數(shù)目；行數(shù)差，其為針對每個行的所述第一行指數(shù)和所述第二行指數(shù)之間的差；列數(shù)差，其為針對每個列的所述第 一列指數(shù)和所述第二列指數(shù)之間的差；總行值，其為分別關(guān)于各行獲得的所述行數(shù)差之和；以及總列值，其為分別關(guān)于各列獲得的所述列數(shù)差之和，所述匹配裝置(71)將所i^目關(guān)性定義為針對所述局部區(qū)域中的每一 個局部區(qū)域的所述總行值和所述總列值之和的倒數(shù)。
21. 如權(quán)利要求1所述的目標移動對象，設(shè)備，進一步包括位置估計裝置(76)，用于在所述輪廓圖像內(nèi)估計有限搜索區(qū)域，用 于所述目標移動對象的檢測，以及移動對象提取裝置(50)，其被配置用來基于所述連續(xù)的輪廓圖像中 的兩個或更多輪廓圖l象之間的與時間相關(guān)的差，檢測至少一個可能的移動 對象，并且提供覆蓋所述移動對象的尺寸減少的至少一個遮掩部分；所述位置估計裝置(76)被配置用來每當所述移動對象定位器給出 位置數(shù)據(jù)時，就獲得存儲在位置數(shù)據(jù)存儲器(74 )中的所述位置數(shù)據(jù)的時 間序列數(shù)據(jù)；基于所述位置數(shù)據(jù)的兩個或更多連續(xù)時間序列數(shù)據(jù)，計算目 標移動對象的估計位置(PE);在所述估計位置的周圍設(shè)置預(yù)定尺寸的探 測區(qū)(Z);以及提供所述有限搜索區(qū)域(LSR)，其為包括與所述探測區(qū) 重疊的至少一個所述遮掩部分的最小區(qū)域，所述移動對象定位器被配置用來僅在所述有限搜索區(qū)域內(nèi)選擇所述 局部區(qū)域。
22. 如權(quán)利要求21所述的目標移動對象^J宗設(shè)備，其中，所述位置估計裝置(76)被配置用來基于所述位置數(shù)據(jù)的兩個或更 多連續(xù)時間序列數(shù)據(jù)，計算移動對象的估計移動itJL;以及提供所述探測 區(qū)(Z)，所述探測區(qū)(Z)的尺寸與移動對象的所述估計速度成比例。
23. 如權(quán)利要求21所述的目標移動對象跟蹤設(shè)備，其中，所述位置估計裝置(76)被配置用來確定所述探測區(qū)的尺寸，該尺寸 為所述模板圖像的尺寸的函數(shù)。
24. 如權(quán)利要求22或23所述的目標移動對象,設(shè)備，其中， 所述位置估計裝置(76)被配置用來獲得行指數(shù)，其為沿著所述有限搜索區(qū)域的每一個行布置的、并且具 有像素值"l，，或更大的像素值的像素的數(shù)目；選捧連續(xù)行組，其每個行都具有大于預(yù)定行閾值的行指數(shù)；獲得列指數(shù)，其為沿著所述有PH^索區(qū)域的每一個列布置的、并且具 有像素值"l"或更大的像素值的像素的數(shù)目；選擇連續(xù)列組，其每個列都具有大于預(yù)定列閾值的列指數(shù)；以及進一步將所述有限搜索區(qū)域限定到由選擇的連續(xù)行組和選擇的連續(xù) 列組所限制的區(qū)域。
25. 如權(quán)利要求24所述的目標移動對象跟蹤設(shè)備，其中，所述位置估計裝置(76)被配置用來當選擇了兩個或更多的連續(xù)行 組時，僅僅使所述組中更加接近于目標移動對象的所述估計位置的一個組 有效；并且當選擇了兩個或更多的連續(xù)列組時，僅僅使所i^i且中更加接近 于目標移動對象的所述估計位置的一個組有效。
26. 如權(quán)利要求22或23所述的目標移動對象^Jf宗設(shè)備，其中， 所述位置估計裝置(76)被配置用來獲得行指數(shù)，其為沿著所述有限搜索區(qū)域的每一個行布置的、并且具 有像素值"l"或更大的像素值的像素的數(shù)目；選棒至少一個連續(xù)行組，其每個行都具有大于預(yù)定行閾值的行指數(shù)；當選擇了兩個或更多的連續(xù)行組時，僅僅使更加接近于目標移動對象 的所述估計位置的一個連續(xù)行組有效；獲得列指數(shù)，其為僅在由所述有效的連續(xù)行組所限制的范圍內(nèi)沿著所 述有限搜索區(qū)域的每一個列布置的、并且具有1象素值"1"或更大的〗象素值 的像素的數(shù)目；選擇連續(xù)列組，其每一個列都具有大于預(yù)定列閾值的列指數(shù)；以及進一步將所述有限搜索區(qū)域限定到由選擇的連續(xù)列組和所述有效的 連續(xù)行組所限制的區(qū)域，
27. 如權(quán)利要求22或23所述的目標移動對象^3宗設(shè)備，其中， 所述位置估計裝置(76)被配置用來獲得列指數(shù)，其為沿著所述有限搜索區(qū)域的每一個列布置的、并且具 有像素值"l"或更大的像素值的像素的數(shù)目；選擇至少一個連續(xù)列組，其每個列都具有大于預(yù)定列閾值的列指數(shù)；當選擇了兩個或更多的連續(xù)列組時，僅僅使更加接近于目標移動對象 的所述估計位置的 一個連續(xù)列組有效；獲得行指數(shù)，其為僅在由所述有效的連續(xù)列組所限制的范圍內(nèi)沿著所 述有限搜索區(qū)域的每一個行布置的、并且像素值"l"或更大的像素值的像 素的數(shù)目； 選擇連續(xù)行組，其每一個列都具有大于預(yù)定行閱值的行指數(shù)；以及進一步將所述有限搜索區(qū)域限定到由選擇的連續(xù)行組和所述有效的 連續(xù)列組所限制的區(qū)域。
全文摘要
一種目標移動對象跟蹤設(shè)備，其拍攝目標移動對象的畫面圖像的時間序列，并且跟蹤畫面圖像中的移動對象的移動，以便顯示移動對象的放大的視圖。該設(shè)備包括模板存儲器，其存儲模板圖像，所述模板圖像與從畫面圖像中給出的時間序列輪廓圖像中的每一個輪廓圖像進行比較，以便為所述輪廓圖像中的每一個確定與模板圖像匹配的局部區(qū)域，并且提取該局部區(qū)域作為移動對象輪廓圖像。通過用先前的移動對象輪廓圖像的結(jié)合來替換模板圖像而不斷地更新該模板圖像，以便準確反映移動對象。
文檔編號H04N7/18GK101170683SQ200710142598
公開日2008年4月30日 申請日期2007年8月29日 優(yōu)先權(quán)日2006年10月27日
發(fā)明者古川聰 申請人:松下電工株式會社