專利名稱：初始化運(yùn)動目標(biāo)模板的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于初始化運(yùn)動目標(biāo)沖莫^反的方法和系統(tǒng)以及相應(yīng)的計 算機(jī)程序產(chǎn) 品。
背景技術(shù)：
在圖像處理中，模板跟蹤用于例如跟蹤視頻中的面部或者用于衛(wèi)星 監(jiān)控。此外，在汽車應(yīng)用中的前視相機(jī)中，模板跟蹤用于跟蹤自身車輛 前的車輛運(yùn)動。這些模板通常通過手工或者通過分類來初始化，這是可 行的，因?yàn)樵谇耙晳?yīng)用中，視角并沒有發(fā)生改變。然而，在側(cè)視應(yīng)用或 者車輛盲點(diǎn)監(jiān)測中，視角發(fā)生改變并且不能進(jìn)行常用的分類。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種用于初始化運(yùn)動目標(biāo)才莫板的改進(jìn)方法和 改進(jìn)系統(tǒng)。
這個目的是通過依照權(quán)利要求1、 9和12的方法、系統(tǒng)和計算機(jī)程 序產(chǎn)品實(shí)現(xiàn)的。
在從屬權(quán)利要求中限定了其他的實(shí)施例。
通過考慮附圖和隨后的描述，本發(fā)明的其他細(xì)節(jié)將變得清楚明白。


圖la示出了本發(fā)明的一個實(shí)施例的主要步驟，其解釋了運(yùn)動估計 和分割步驟；
圖lb示出了初始化模板并且之后跟蹤該模板的組合的主要步驟； 圖2示出了本發(fā)明另一個實(shí)施例的框圖，其可以應(yīng)用于汽車計算機(jī) 牙見覺中；
圖3示出了本發(fā)明另一個實(shí)施例的框圖，其中僅當(dāng)更新有必要時觸 發(fā)初始化單元；
圖4示出了本發(fā)明另 一個實(shí)施例中所用的示范性模板； 圖5示出了一幅示范性圖像，其中跟蹤圖4的模板，圖6示出了本發(fā)明另一個實(shí)施例的框圖，其可以用于帶任意內(nèi)容/ 視頻序列的消費(fèi)電子產(chǎn)品中；
圖7示出了本發(fā)明另 一個實(shí)施例中所用的用于消費(fèi)電子產(chǎn)品的另一 個示范性模板；以及
圖8示出了帶圖7的被跟蹤模板的另一個示范性消費(fèi)電子產(chǎn)品的圖像。
具體實(shí)施例方式
在下文中，描述了本發(fā)明的實(shí)施例。值得注意的是，可以以任何方 式組合下文中描述的所有實(shí)施例，即不存在某些被描述的實(shí)施例不能與 其他實(shí)施例組合的限制。
在圖la中，在步驟SIOO,將序列的每幅圖像劃分成分塊(block)。 每個分塊可以包括8x8或16x16 Y象素，不過，不^f義方形分塊而且其他形 狀的分塊或者具有另外數(shù)量的像素的分塊也是可能的。圖像也可能被稱 為"幀，，或者"場，，。這些圖像是通過例如數(shù)字?jǐn)z像機(jī)攝取的并且按像 素(pixe卜wise)存儲在存儲器中。
在步驟S10 2,識別出在所述序列的連續(xù)圖像之間發(fā)生運(yùn)動的分塊。 這種分塊運(yùn)動可以通過計算針對可能的分塊位移的誤差準(zhǔn)則來檢測。例 如，可以《吏用纟色對差和(sum of absolute difference)、相關(guān)積 (correlation product)或者其4也方法4乍為匹配準(zhǔn)則。
在步驟S103,例如通過比較連續(xù)圖像中運(yùn)動分塊的位置來確定運(yùn)動 的距離和方向。也可以通過計算連續(xù)圖像的分塊之間的運(yùn)動矢量并且比 較所述運(yùn)動矢量來確定沿"相似，，方向的"相似"距離的運(yùn)動。
離區(qū)間內(nèi)的距離的那些鄰接分塊分組到第一分i。預(yù)定方向2間和預(yù)定 距離區(qū)間用于檢測沿基本上同 一方向的基本上同 一距離的運(yùn)動。這些預(yù) 定區(qū)間可以是固定的，或者可以適應(yīng)例如所述運(yùn)動分塊的實(shí)際方向或距離。
因此，將基本上沿同 一方向運(yùn)動同 一距離的運(yùn)動分塊分組在一起。 如果在所述圖像序列中存在另外的運(yùn)動目標(biāo)并且這些運(yùn)動目標(biāo)的 運(yùn)動不相同，那么可以如上所述通過對沿基本上同一方向和基本上同一在本說明書中，也使用措詞"分割"、"分段"或"聚類"，而非 措詞"分組"。
如果一個分塊是另一個分塊的4個(或8個)直接相鄰分塊中的至 少一個，那么該分塊可以視為與所述另一個分塊鄰接。
在步驟S106，利用所述第一分塊分組初始化用于所述運(yùn)動目標(biāo)的初 始模板。由于這個第一分塊分組"一起"運(yùn)動，因此將這樣的分塊分組 看作屬于一個運(yùn)動目標(biāo)。這樣，通過該第一分組定義了這樣一個運(yùn)動目
標(biāo)，并且通過使用該分塊分組建立了用于該運(yùn)動目標(biāo)的相應(yīng)初始才莫板。 所述分塊分組的像素值描述了該運(yùn)動目標(biāo)的外觀。
根據(jù)這種方法，使用整個目標(biāo)的良好匹配的分割輪廓作為初始模 板，而不是使用固定位置處的可能部分覆蓋背景的小分塊作為初始模 板。
在圖lb中，附加地執(zhí)行步驟S108,其中通過估算例如互相關(guān)或者 絕對差和(SAD)在所述圖像序列中跟蹤所述初始模板。
利用汽車計算機(jī)視覺中的本方法，可以檢測并隨后跟蹤障礙物(汽
車、卡車等等)。不需要進(jìn)行分類。在消費(fèi)電子產(chǎn)品中，該方法改善了 i者如巾貞率4爭才灸或者動態(tài)降p桑(temporal noise reduction)之類的基于 運(yùn)動估計的視頻處理應(yīng)用的性能。
在另一個實(shí)施例中，用另外的圖像對所述序列進(jìn)行擴(kuò)展。識別在所 述序列的所述另外的圖像的至少一部分之間發(fā)生運(yùn)動的運(yùn)動分塊，確定 所述運(yùn)動分塊的所述運(yùn)動的方向和距離，并且將已經(jīng)針對其確定出預(yù)定 方向區(qū)間內(nèi)的方向和預(yù)定距離區(qū)間內(nèi)的距離的那些鄰接運(yùn)動分塊分組 到第二分塊分組。因此，將例如通過估算分塊的相應(yīng)運(yùn)動矢量而檢測到 的在所述另外的圖像的至少一部分內(nèi)沿"相似"方向運(yùn)動了 "相似距離" 的分塊分組到第二分塊分組。之后，利用所述第二分塊分組對所述運(yùn)動 目標(biāo)更新模板。例如，在預(yù)定數(shù)量的幀之后，可能通過當(dāng)前匹配即第二 分塊分組來更新初始模板。
用于更新模板的本方法能夠容易處理目標(biāo)的尺度變化、形狀變化、 旋轉(zhuǎn)和遮擋(occlusion)，所述尺度變化在目標(biāo)接近或者離開時發(fā)生， 所述形狀變化在目標(biāo)變形時發(fā)生，所述旋轉(zhuǎn)在目標(biāo)沿任何方向旋轉(zhuǎn)時發(fā) 生，所述遮擋在新的像素^皮遮掩在運(yùn)動目標(biāo)之后或者在運(yùn)動目標(biāo)前顯露 時發(fā)生。根據(jù)本方法，沒有誤差隨著時間而累積，否則其將導(dǎo)致模板逐漸遠(yuǎn)離^^皮跟蹤目標(biāo)，直到該跟蹤丟失了目標(biāo)。
在另 一個實(shí)施例中，基于絕對差和和/或所述模板與其中應(yīng)當(dāng)跟蹤 該模板的圖像部分之間的互相關(guān)來跟蹤所述模板。
依照另一個實(shí)施例，在某個區(qū)域周圍設(shè)置搜索范圍，其中依照目標(biāo) 在所述序列的在前圖像中的運(yùn)動行為預(yù)計目標(biāo)在所述序列的后繼圖像
中；并且在所述后繼圖像中的所述搜索范圍內(nèi)執(zhí)行所迷跟蹤步驟。利用 這種方法，可以容易地減少用于跟蹤沖莫板的處理時間，因?yàn)椴槐匾谡?幅圖像中跟蹤模板。
在另 一個實(shí)施例中，計算模板與所述序列的所述圖像的部分之間的 相關(guān)，并且如果所述相關(guān)低于預(yù)定相關(guān)閾值，那么就檢測出所述跟蹤步
驟是失敗的。這樣，在所述序列中跟蹤正確模板出現(xiàn)這種失敗之后，可 能啟動模板的更新。
因此，可以基于例如流逝的預(yù)定時間間隔或者基于指示可以執(zhí)行進(jìn) 一步更新的測量值來連續(xù)地更新所述模板，因?yàn)樗媚０迮c所述序列的 圖像之間的相關(guān)性在降低。
在另一個實(shí)施例中，為所述圖像的相干(coherent)分塊(代表汽 車運(yùn)動目標(biāo))確定平均運(yùn)動矢量，并且也在后繼圖像中為所迷模板確定 模板運(yùn)動矢量。比較模板運(yùn)動矢量和所述平均運(yùn)動矢量，并且如果所述 平均運(yùn)動矢量與所述模板運(yùn)動矢量之間不匹配，那么丟棄(reject)所 述模板。
通過所提出的連續(xù)并行使用運(yùn)動估計，可以使用^t板跟蹤進(jìn)行交叉 驗(yàn)證。通過比較運(yùn)動估計結(jié)果和模板跟蹤結(jié)果，可以降低隨運(yùn)動估計出 現(xiàn)的虛警。如果這些結(jié)果匹配良好，那么可以依照運(yùn)動估計分割結(jié)果更 新模板。否則，這種失配意味著問題的出現(xiàn)并且可能導(dǎo)致丟棄該模板。
在另 一個實(shí)施例中，利用全局運(yùn)動估計和全局運(yùn)動補(bǔ)償來預(yù)處理所 述序列的所述圖像。在全局運(yùn)動估計和全局運(yùn)動補(bǔ)償中，考慮了例如因 為攝像機(jī)的搖動等等而影響圖像的所有像素的效應(yīng)。這種方法特別適用 于例如幀率轉(zhuǎn)換、動態(tài)降噪、去隔行等等的消費(fèi)電子產(chǎn)品的應(yīng)用。全局 運(yùn)動估計和補(bǔ)償用于分割所有的局部運(yùn)動目標(biāo)。
在另 一個實(shí)施例中，所述方法用于檢測車輛的盲點(diǎn)區(qū)域中的運(yùn)動目 標(biāo)，其中所述運(yùn)動目標(biāo)在所述盲點(diǎn)區(qū)域中相對于所述車輛的運(yùn)動向后運(yùn) 動。由于運(yùn)動估計方法在檢測后向運(yùn)動障礙物方面性能不佳，使用本方法初始化減速車輛的一莫板。這里，減速意味著車輛在開始時速度相對較 快，隨后速度下降到負(fù)的相對速度。于是，可以改善例如盲點(diǎn)區(qū)域檢測 的汽車安全應(yīng)用。
在圖2中，繪出了本發(fā)明另一個實(shí)施例的框圖。所繪出的用于跟蹤 運(yùn)動目標(biāo)的才莫板的系統(tǒng)200包括初始化單元202,該初始化單元202包 括局部運(yùn)動估計單元204和分割單元206。將由圖像序列組成的視頻輸 入208輸入到初始化單元202,并且局部運(yùn)動估計單元204將所述序列 的所述圖像中的每一個劃分成分塊并且識別出在所述序列的連續(xù)圖像 之間已經(jīng)發(fā)生運(yùn)動的運(yùn)動分塊。其后，分割單元206通過將鄰接的運(yùn)動 分塊分組來初始化所述運(yùn)動分塊的模板，對于這些鄰接的運(yùn)動分塊，如 前所述已經(jīng)確定出預(yù)定方向區(qū)間內(nèi)的方向和預(yù)定距離區(qū)間內(nèi)的距離。
跟蹤單元210使用該經(jīng)過初始化的才莫板，所述跟蹤單元210;故配置 成在由視頻輸入2 08給出的所.述圖像序列中跟蹤所述;f莫板。如果跟蹤了 這種才莫板，那么就將其輸出到模板跟蹤輸出212。
在圖3中繪出的跟蹤運(yùn)動目標(biāo)的沖莫板的系統(tǒng)200的另一個實(shí)施例 中，決策單元300附加地連接到跟蹤單元210的輸出。決策單元決定是 否應(yīng)該執(zhí)行對所述模板的更新。例如，在預(yù)定時間之后或者在估算模板 和該序列的圖像之間的相關(guān)性為低之后，決策單元可以觸發(fā)來自初始化 單元202的基于運(yùn)動的模板更新。
初始化單元202執(zhí)行運(yùn)動估計并且將沿"相似"方向運(yùn)動預(yù)定時間、 "相似，，距離的鄰接分塊分組到第二分組中，如上所述。該第二分組代 表初始;^莫板的"新的，，或者"更新的，，版本，從而使用該第二分組更新 隨后由跟蹤單元210使用的該模板。
在圖4中，繪出了經(jīng)過初始化的;f莫板400的示例，其顯示出大篷車 的前側(cè)，該模板在用安裝在車輛后視鏡上的照相機(jī)攝取圖像的同時由本 方法初始化，從而才全測出鄰近車道上的運(yùn)動目標(biāo)。
在圖5中繪出了由該照相機(jī)拍攝的整幅圖像，其中被跟蹤的模板
400用白色正方形標(biāo)記。利用本方法，可以容易地沖全測出鄰近車道上的
運(yùn)動目標(biāo)并且在車輛司機(jī)打算改變車道時可以使用其向該司機(jī)給出警 jM亡自
在圖6中繪出的非常適于應(yīng)用到消費(fèi)產(chǎn)品應(yīng)用的另一個實(shí)施例中， 全局運(yùn)動估計/補(bǔ)償單元被用于預(yù)處理由視頻輸入208給出的圖像序列。這個全局運(yùn)動估計/補(bǔ)償單元600用于補(bǔ)償例如因?yàn)閿z取該序列的圖像 的相機(jī)的運(yùn)動而發(fā)生的整幅圖像的運(yùn)動。利用這個全局運(yùn)動估計/補(bǔ)償 單元600，系統(tǒng)200可以在分割單元208內(nèi)分割所有的局部運(yùn)動目標(biāo)。
如果應(yīng)該使用所導(dǎo)出的一莫板的更新，那么可以如參照圖3所描述的 那樣使用決策單元300,不過這個決策單元300只是任選的，這在圖6 中以虛線繪出。
在圖7中繪出了在圖8中繪出的消費(fèi)電子產(chǎn)品序列的所提取的模板 700的示例。運(yùn)動估計通常在這種運(yùn)動方面存在問題，因?yàn)檫\(yùn)動目標(biāo)遮 掩背景中的其他運(yùn)動目標(biāo)。如圖7中所繪出的，目標(biāo)被很好地分割，并 且在相關(guān)中并沒有考慮圖像的其他部分或者將其用零或平均分布的噪 聲填充。
依照另 一個實(shí)施例，提供了 一種包括計算機(jī)程序代碼的計算機(jī)程序 產(chǎn)品，所述計算機(jī)程序代碼當(dāng)裝載到處理器中時執(zhí)行本方法以便跟蹤運(yùn) 動目標(biāo)。
利用本方法，在汽車安全應(yīng)用中可以檢測盲點(diǎn)檢測設(shè)備中的后向運(yùn) 動目標(biāo)，這是汽車制造商所希望的。本方法和系統(tǒng)使用基于運(yùn)動估計的 分割結(jié)果以便初始化和/或更新運(yùn)動目標(biāo)的模板跟蹤。甚至在基于運(yùn)動 估計的方法例如針對盲點(diǎn)區(qū)域片企測中的后向運(yùn)動目標(biāo)完全失效的情況 下，也可以4吏用上述方法和系統(tǒng)。
只要找到初始模板，就可以使用互相關(guān)或者絕對差和(SAD)在許 多幀上;(艮好地跟蹤前向和后向運(yùn)動目標(biāo)的才莫板。^t板跟蹤效果良好，但 是問題在于找到笫一初始遮掩模板。本方法和系統(tǒng)使用基于運(yùn)動估計的 分割結(jié)果作為初始模板。
通過在檢測到模板的地方用同一尺寸的模板替換在前模板，不時地 對所述模板進(jìn)行更新。模板的大小根據(jù)到盲點(diǎn)檢測應(yīng)用中的消失點(diǎn)的距 離而變化。為了方便起見并且為了更好的存儲器分配，可以將模板調(diào)節(jié) 到固定的大小。將互相關(guān)/絕對差和的搜索范圍限制到最后檢測周圍的 可行范圍并且可以包括預(yù)測。這個所提出的更新過程降低了 "漂移"問 題("模板更新問題")。
除了能夠跟蹤向后緩慢運(yùn)動車輛之外，模板跟蹤還能夠增強(qiáng)或者替 換固定不變的(permanent )運(yùn)動估計。曾經(jīng);險測出的才莫板可以^f艮好地 由模板跟蹤來跟蹤；只有在跟蹤失敗時才使用運(yùn)動估計。如果相關(guān)峰低于一定(固定或者自適應(yīng)的)閾值或者如果^^莫板位置跳到其他局部極大， 那么可以檢測到跟蹤的失敗。
這種方法改善了分割結(jié)果，降低了分割的"抖動"，并且在車輛檢 測過程中不受虛警的影響。
如果仍然并行地連續(xù)使用運(yùn)動估計，那么可以使用才莫板跟蹤進(jìn)行交 叉驗(yàn)證。比較運(yùn)動估計結(jié)果和模板跟蹤結(jié)果可以減少運(yùn)動估計期間發(fā)生 的虛警。如果這些結(jié)果匹配良好，那么可以依照運(yùn)動估計分割結(jié)果來更 新模板。否則，失配意味著出現(xiàn)了問題并且可能導(dǎo)致丟棄該模板。
權(quán)利要求
1. 用于初始化用于圖像序列中的運(yùn)動目標(biāo)的模板的方法，包括將所述序列的所述圖像中的每一個劃分成分塊；識別在所述序列的連續(xù)圖像之間已經(jīng)發(fā)生運(yùn)動的運(yùn)動分塊；確定所述運(yùn)動分塊的所述運(yùn)動的方向和距離；將已經(jīng)對其確定出預(yù)定方向區(qū)間內(nèi)的方向和預(yù)定距離區(qū)間內(nèi)的距離的那些鄰接運(yùn)動分塊分組到第一分塊分組；以及利用所述第一分塊分組初始化用于所述運(yùn)動目標(biāo)的模板。
2. 依照權(quán)利要求l的方法，進(jìn)一步包括 用另外的圖像擴(kuò)展所述序列；識別在所述序列的所述另外的圖像的至少 一 部分之間已經(jīng)發(fā)生運(yùn) 動的運(yùn)動分塊；確定所述運(yùn)動分塊的所述運(yùn)動的方向和距離；離的那些鄰接運(yùn)動分塊分組到第二分塊分組；以及利用所述第二分塊分組更新用于所述運(yùn)動目標(biāo)的所述模板。
3. 依照權(quán)利要求1或2的任一項(xiàng)權(quán)利要求的方法，進(jìn)一步包括基于所述模板與所述圖像的部分之間的誤差準(zhǔn)則在所述序列中跟 蹤所述模板。
4. 依照權(quán)利要求3的方法，進(jìn)一步包括在某區(qū)域周圍設(shè)置搜索范圍，其中依照目標(biāo)在所述序列的在前圖像 中的運(yùn)動行為預(yù)計目標(biāo)在所述序列的后繼圖像中；以及 在所述后繼圖像的所述搜索范圍內(nèi)執(zhí)行所述跟蹤步驟。
5. 依照權(quán)利要求1-4中任一項(xiàng)權(quán)利要求的方法，進(jìn)一步包括 計算所述模板與所述序列的所述圖像的部分之間的相關(guān)；以及 如果所述相關(guān)低于預(yù)定相關(guān)閾值，那么更新所述模板。
6. 依照權(quán)利要求1-5中任一項(xiàng)權(quán)利要求的方法，進(jìn)一步包括 為所述圖像的相干分塊分組確定平均運(yùn)動矢量；在后繼圖像中為所述模板確定模板運(yùn)動矢量； 比較所述平均運(yùn)動矢量和所述模板運(yùn)動矢量；以及 如果所述平均運(yùn)動矢量與所述模板運(yùn)動矢量之間不匹配，那么丟棄 所述模板。
7. 依照權(quán)利要求1-6中任一項(xiàng)權(quán)利要求的方法，進(jìn)一步包括 利用全局運(yùn)動估計和全局運(yùn)動補(bǔ)償來預(yù)處理所述序列的所述圖像。
8. 依照權(quán)利要求1-7中任一項(xiàng)權(quán)利要求的方法，其中所述方法用 于才全測車輛盲點(diǎn)區(qū)域中的運(yùn)動目標(biāo)，所述運(yùn)動目標(biāo)在所述盲點(diǎn)區(qū)域中相 對于所述車輛的運(yùn)動向后運(yùn)動.
9. 用于初始化用于圖像序列中的運(yùn)動目標(biāo)的模板的系統(tǒng)，包括 局部運(yùn)動估計單元，其被配置成將所述序列的所述圖像中的每一個劃分成分塊，識別在所述序列的連續(xù)圖像之間已經(jīng)發(fā)生運(yùn)動的運(yùn)動分塊 并且確定所述運(yùn)動分塊的所述運(yùn)動的方向和距離；以及分割單元，其被配置成通過將鄰接的運(yùn)動分塊分組來初始化用于所述運(yùn)動目標(biāo)的初始才莫板，對于該鄰接的運(yùn)動分塊，已經(jīng)確定出預(yù)定方向 區(qū)間內(nèi)的方向和預(yù)定距離區(qū)間內(nèi)的距離。
10. 依照權(quán)利要求8的系統(tǒng)，進(jìn)一步包括決策單元，其被配置成決定是否應(yīng)該執(zhí)行對所述模板的更新，所述 決策單元連接到所述局部估計單元。
11. 依照權(quán)利要求9-10中任一項(xiàng)權(quán)利要求的系統(tǒng)，進(jìn)一步包括 全局運(yùn)動估計單元，其被配置成對所述序列的所述圖像執(zhí)行全局運(yùn)動估計和全局運(yùn)動補(bǔ)償。
12. 計算機(jī)程序產(chǎn)品，包括計算機(jī)程序代碼，該計算機(jī)程序代碼當(dāng) 裝載到處理器中時執(zhí)行依照權(quán)利要求1-9中任一項(xiàng)權(quán)利要求的方法。
全文摘要
本發(fā)明涉及初始化運(yùn)動目標(biāo)模板的方法和系統(tǒng)。提供了用于跟蹤圖像序列中的運(yùn)動目標(biāo)的方法，包括將所述序列的所述圖像中的每一個劃分成分塊；識別出在所述序列的連續(xù)圖像之間已經(jīng)發(fā)生運(yùn)動的分塊；將沿同一方向運(yùn)動同一距離的鄰接分塊分組到第一分塊分組；利用所述第一分塊分組初始化用于所述運(yùn)動目標(biāo)的初始模板并且在所述圖像序列中跟蹤所述模板。還提供了用于跟蹤運(yùn)動目標(biāo)的相應(yīng)系統(tǒng)。
文檔編號G06T7/20GK101299272SQ200810092819
公開日2008年11月5日 申請日期2008年5月4日 優(yōu)先權(quán)日2007年5月3日
發(fā)明者F·弗里德里克斯, K·齊默曼, M·西迪奎 申請人:索尼德國有限責(zé)任公司