專利名稱：物件偵測(cè)與追蹤的方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是有關(guān)于物件偵測(cè)(object detection) 與追蹤(tracking)的方法與系統(tǒng)。
背景技術(shù)：
物件偵測(cè)與物件追蹤技術(shù)是非常重要的計(jì)算機(jī)視 覺 (computer vision) 技術(shù)，在視頻監(jiān)控 (video
s ur ve i11 an c e系統(tǒng)中扮演非?；A(chǔ)又關(guān)鍵的角色。
通過正確的物件偵測(cè)與追蹤，才能獲取正確的物體輪
廓與物體移動(dòng)軌跡object traj ec to ri e s )這匙資
訊是用為高階視頻判斷的主要依據(jù)，倘若這匙資訊不
正確，高階視頻監(jiān)控系統(tǒng)的穩(wěn)定性與正確性將會(huì)面臨
質(zhì)疑。
計(jì)算機(jī)視覺技術(shù)的急速發(fā)展，加上大眾對(duì)于人身
與資產(chǎn)安全的重視，促使智能型視覺監(jiān)控與相關(guān)管理
服務(wù)的需求大幅提升。協(xié)助管理人員，以最少的人
力來達(dá)成長(zhǎng)時(shí)間與遠(yuǎn)距離的監(jiān)控能力，并發(fā)展出穩(wěn)健的物體偵測(cè)與物體追蹤系統(tǒng)是愈來愈重要的 一 環(huán)。
美國專利公開號(hào)2 0 0 5 / 0 2 8 6 7 3 8 A 1的 文獻(xiàn)里，揭露了偵測(cè)與追蹤的圖形物件模型 (Graphical Object Models for Detection and Tracking )。此圖形物件模型揭露了 一種空間-時(shí)間模 式的物件偵測(cè)系統(tǒng)架構(gòu)，并依據(jù)欲偵測(cè)的特定物體(例 如行人或車輛)的特性，將物體拆解成多個(gè)微小的物 件(例如腳，手，軀干等)，通過各個(gè)微小物件的組合 模型來判斷單 一 影像中出現(xiàn)特定物體的位置與大小。 偵測(cè)到的資訊將傳遞到下 一 個(gè)影像，形成空間-時(shí)間模 式的物件偵測(cè)系統(tǒng)架構(gòu)。此文獻(xiàn)揭露的技術(shù)中，各個(gè) 微小物件的組合模型是事前學(xué)習(xí)特定物體的模型，并 且只維護(hù)特定物體模型去進(jìn)行偵測(cè)追蹤。
美國專利公開號(hào)2 0 0 5/0 0 0 2 5 7 2A1的
文獻(xiàn)里，揭露了空間-時(shí)間模式的物件偵測(cè)方法與系統(tǒng) (Methods and systems for Detecting Objects of
Interest in Spatio-temporal signals)。
如圖 1 所
示，傳感器 1 0 1 收集空間-時(shí)間資料 (spatio —temporal data)1 0 la， it匕空間一時(shí)間資
料1 0 1 a 經(jīng)色彩轉(zhuǎn)換 (color conversion) 及量化 (quantization)后，此物件偵測(cè)系統(tǒng)架構(gòu)1 0 0通
過 一 前景/背景分離模組 (foreground/backgroundseparation module) 1 0 4來分離目前所觀察至ij的空 間一時(shí)間ft號(hào) (spatio-temporal signals), 以為每—— 個(gè)位置點(diǎn)進(jìn)行前景與背景的分類標(biāo)記
(classification labeling)。 再通過空間的群聚模 組(spatial grouper) 1 0 5將相鄰的前景區(qū)域結(jié)合 為同一物體。由日寸間的追蹤模組(temporal tracker)
1 0 3來追蹤前景物件(foreground object)在日寸間 上的移動(dòng)。隨后由 一 物件分類 (object classification)模組1 0 6將前景物件歸類為不同 的語意上的物件，例如車輛、行人等。此分類資訊將 回饋到前景/背景分離模組1 0 4 ，以修正模型的參 數(shù)，使得新的前景模型與背景模型參數(shù)所分類出來的 前景與背景區(qū)域與物件分類的結(jié)果吻合。此文獻(xiàn)中， 沒有揭露物體追蹤與物體偵測(cè)的模組進(jìn)行資訊的分 享，前景與背景的偵測(cè)上，也沒有揭露或提及整體物 體形狀標(biāo)記的資訊。
美國專利公開號(hào)2 0 0 6/0 0 4 5 3 3 5A1的 文獻(xiàn)里，揭露了多空間尺寸 (multiple spatial scales ) 上的影像序列的背景維護(hù) (Background Maintenance of an Image Sequence)。 此多空間尺寸 包括了以像素為單元(pixel scale)、以區(qū)域?yàn)閱卧?br> (regional scale)、以及與影像為單元(frame scale)的不同的層次。以像素為單元(pixel scale)的運(yùn)算 通過背景相減法 (background subtraction) 的方式 求得初始的前景切割區(qū)域。以區(qū)域?yàn)閱卧?regional scale)的運(yùn)算將相鄰的前景像素作區(qū)域的結(jié)合，來求 取前景物體的完整性。以影像為單元(frame scale) 的運(yùn)算進(jìn) 一 步由判斷需要進(jìn)行背景模型更新的區(qū)域， 來改善(refine)目前的背景模型。此文獻(xiàn)中，揭露 了利用建立背景模型的概念來偵測(cè)物體。
美國專利公開號(hào)2 0 0 5/0 1 0 4 9 6 4A1的
文獻(xiàn)里，揭露了根據(jù)局部移動(dòng)來切割背景的方法與裝 置 ( Method and apparatus for Background Segmentation Based on Motion Localization)。 此 文獻(xiàn)中，揭露 一 種結(jié)合影像相減與背景建立的方法來 建立偵測(cè)系統(tǒng)，并可針對(duì)不預(yù)期的攝影機(jī)小幅度晃動(dòng) 進(jìn)行移云力補(bǔ)償 (motion compensation) 與偵觀!j。 通過 影像相減的方式偵測(cè)出大致的移動(dòng)物體邊界，通過群 聚(cluster)的方式找出物體的區(qū)塊，剩余的(rest) 影像區(qū)塊被判斷成背景，并用來更新與建立背景模型； 針對(duì)攝影機(jī)是否有移動(dòng)的部分，則通過偵測(cè)背景區(qū)域 的特征點(diǎn)，并持續(xù)觀察這些特征點(diǎn)是否有移動(dòng)來判斷。 此技術(shù)直接去估計(jì)隨機(jī)的攝影機(jī)移動(dòng)來進(jìn)行補(bǔ)償，因 此很耗費(fèi)完整的像素移動(dòng)量估測(cè)的運(yùn)算量。在上述或其它一些的已知技術(shù)中，當(dāng)有一張新的 影像輸入時(shí)，通過將觀察到的新影像以及前述的前景 外貌模型與背景外貌模型，可以由下列公式來估算出 每 一 個(gè)影像點(diǎn)為前景F或是背景B的觀察機(jī)率
(observation probability),
P(XIQB)=7 ￡ P(x - -----(la)
P(X|Q》=ax^ + (l-a)xH>(x->V,)-----(lfc)
其中，^與~為機(jī)率的正規(guī)劃參數(shù)，而")是 一 核心 密度函式(kernel density function), >^,^,分另ij是屬 于背景外貌模型與前景外貌模型的訓(xùn)練觀察點(diǎn)，分別 位于背景外貌模型儲(chǔ)存序列，與前景外貌模型儲(chǔ)存序 列中，QB ， ^分別代表背景，與前景的分類。'是 一 個(gè) 固定參數(shù)，代表均勻分布的機(jī)率值。n代表所有在背景 外貌模型影像序列中的背景訓(xùn)練個(gè)數(shù)點(diǎn)，m代表所有在 前景外貌模型影像序列中的前景訓(xùn)練個(gè)數(shù)點(diǎn)。《是 一 比 重參數(shù)。
通過將影像中某 一 未知位置，以及此位置的未知 色彩值視為 一 個(gè)多維度的隨機(jī)向量X ，其機(jī)率架構(gòu)模型 可以同時(shí)考慮特征空間與空間域上面的變異性。在觀察資料越充分的情況下，所估計(jì)出來的模型分布越具 可靠性。
如上述公式所示，一 個(gè)單純標(biāo)記影像點(diǎn)的判斷規(guī) 則，可以比較公式中前景F或背景B的機(jī)率大小，而
進(jìn)行一個(gè)強(qiáng)決策(hard decision)。 然而，這樣的方 法會(huì)造成偵測(cè)上的準(zhǔn)確率不足，例如，當(dāng)物體的外貌 特征和前景的外貌特征相似時(shí)，單純的.使用觀察機(jī)率 會(huì)產(chǎn)生混淆，明顯地，此時(shí)屬于前景和背景的機(jī)率相 當(dāng)，如果只仰賴目前的觀察機(jī)率來判斷，如高斯混合 模型(Gaussian Mixture Model, GMM)方式的物件偵 測(cè)，會(huì)有明顯的偵測(cè)錯(cuò)誤，不可能將物體精確的分類 出來。
許多過去如物件偵，，物追蹤等技術(shù)開發(fā)大都
著手于加強(qiáng)低階視頻分析的可罪性，低階視頻分析結(jié)
果越穩(wěn)健，往后的高階視頻分析才能更精確然而
已知的物件偵測(cè)與追蹤技術(shù)研允往往關(guān)注于單技術(shù)
的加強(qiáng)與改進(jìn)，例如物件偵測(cè)技術(shù)口維護(hù)背景資訊，
或是物件追蹤技術(shù)維護(hù)追蹤物體資訊，缺乏整體視
頻分析實(shí)是體的概念，物件偵測(cè)與物件追蹤應(yīng)該
相輔相成資訊互動(dòng)。在真實(shí)環(huán)境中的光影變化、天氣
變化、與動(dòng)態(tài)北 冃旦 眾等，都會(huì)影響視頻控判斷上的準(zhǔn)
確度影響了智臺(tái)f^ 冃匕型視頻控的成果效隱。低階的資訊應(yīng)提供高階判斷時(shí)的依據(jù)，高階的資訊應(yīng)該也要回
饋來提升低階處理的可靠性。

發(fā)明內(nèi)容
在一實(shí)施范例中，本揭露是關(guān)于種物件偵測(cè)與
追蹤的方法，用來偵測(cè)與追蹤 一 場(chǎng)景中物體運(yùn)動(dòng)而產(chǎn)
生的多個(gè)連續(xù)的影像，此方法可包含:根據(jù)輸入的
新影與前 一 時(shí)刻累積的外貌資訊-與■ 、 L 刖北 冃旦 盡標(biāo)記資
訊，更新 一 前背景外貌雙模型 (foreground and background appearance model) 的資訊；根據(jù)更新后
的前背景外貌雙模型的資訊與過去傳遞的時(shí)間軸資訊
如預(yù)測(cè)的標(biāo)記資訊，以及輸入的新影像，進(jìn)行 一 物件 偵測(cè)；利用物件偵測(cè)的程序產(chǎn)生的標(biāo)記結(jié)果，反復(fù)更
新前背景外貌雙模型的資訊，直到滿足 一 收斂條件為
止；將偵測(cè)結(jié)果視為 一 新的追蹤量測(cè)結(jié)果，來更新一 追蹤預(yù)測(cè)模型；利用此更新后的追蹤預(yù)測(cè)模型求得一 最后追蹤結(jié)果，此最后追蹤結(jié)果乃根據(jù)目前追蹤量測(cè)
與過去觀察的追蹤結(jié)果判斷而來；以及預(yù)下一個(gè)時(shí)
刻的追際物體的位置，并回傳預(yù)測(cè)的、/一 刖學(xué)物體的位置
與外貌appearance )資訊，作為該更新 、 / 目U背景夕卜貌
雙模型的步驟所需的資訊，以及預(yù)測(cè)的標(biāo)記資訊，作
為物件偵測(cè)時(shí)的時(shí)間軸資訊。在另 一 實(shí)施范例中，本揭露是關(guān)于 一 種物件偵測(cè)
與追蹤的方法，用來偵測(cè)與追蹤通過 一 場(chǎng)景中物體運(yùn) 動(dòng)而產(chǎn)生的多個(gè)連續(xù)的影像，此方法可包含將該場(chǎng)
景中物體的前景與背景外貌模型模擬成 一 前景與背景 機(jī)率模型；根據(jù)目前時(shí)刻的前景與背景外貌模型與時(shí) 間域上的資訊，如預(yù)測(cè)的標(biāo)記資訊，來進(jìn)行物體偵測(cè) 與該場(chǎng)景中物體的前景與背景的最佳化標(biāo)記；根據(jù)最 新量測(cè)到的該場(chǎng)景中物體的物體前景與背景標(biāo)記資
訊，以及過去存儲(chǔ)學(xué)習(xí)的物體動(dòng)資訊來決定該場(chǎng)旦 豕
中物體巨■ 、 /一 刖時(shí)刻的物體移動(dòng)位置，并更新物體運(yùn)動(dòng)禾旲
型與估計(jì)下一時(shí)刻的物體移動(dòng)位置以及根據(jù)過去時(shí)
刻物體偵測(cè)的結(jié)果與物體移動(dòng)資訊來更新刖景與北 冃景
外貌模型。
在另實(shí)施范例中，本揭露是關(guān)于種物件偵測(cè)
與追蹤的系統(tǒng)，用來偵測(cè)與追蹤通過場(chǎng)景中物體運(yùn)
動(dòng)而產(chǎn)生的多個(gè)連續(xù)的影像，此系統(tǒng)可包含、' :目U北 冃景
外貌雙模更新模組，根據(jù)輸入的新影像、、/ -刖一時(shí)刻
累積的外貌資訊與刖背景標(biāo)記資訊，來更新物體的-、/ -刖
學(xué)外貌模型與背旦 爾外貌模型物件偵測(cè)模組，根據(jù)該
輸入的新影像、更新后的.、/ 刖學(xué)外貌模型與該背景外貌
模型，以及過去傳遞的時(shí)間軸資訊如預(yù)測(cè)的標(biāo)記資
訊來進(jìn)行物件偵領(lǐng)lj與決定巨刖時(shí)刻的最好的分類標(biāo)記；以及追蹤預(yù)測(cè)更新模組，利用物件偵測(cè)模組的偵 測(cè)結(jié)果，如最佳化的分類標(biāo)記，更新前背景外貌雙模 型的資訊，直到滿足 一 收斂條件為止，并將此收斂的 偵測(cè)結(jié)果視為 一 新的追蹤量測(cè)結(jié)果，來更新 一 起始值， 進(jìn)而預(yù)測(cè)下 一 個(gè)時(shí)刻的追蹤物體的位置，并回傳預(yù)測(cè) 的前背景物體的標(biāo)記與外貌資訊給該前背景外貌雙模 更新模組，作為更新該前背景外貌雙模型所需的資訊。
在本揭露的實(shí)施范例中，其技術(shù)特征在于物體的 前景外貌模型與背景外貌模型的同步維持，以及物體 偵測(cè)與物體追蹤的資訊交流與回饋。


以下配合附圖、實(shí)施范例的詳細(xì)說明及權(quán)利要求 范圍，將上述及本發(fā)明的其它特征與優(yōu)點(diǎn)詳述于后， 其中
圖1是 一 種空間-時(shí)間模式的物件偵測(cè)方法與系
統(tǒng)的 一 個(gè)范例示意圖。
圖2說明 一 種物件偵測(cè)與追蹤的方法的運(yùn)作范例 示意圖，并且與本揭露中某些實(shí)施范例一致。
圖3是物件偵測(cè)中，采用的 一 個(gè)3 -層式機(jī)制的一 個(gè)范例示意圖，并且與本揭露中某些實(shí)施范例一致。
圖4是物件偵測(cè)的處理流程的 一 個(gè)范例示意圖，并且與本揭露中某些實(shí)施范例一致。
圖5描述空間事前資訊用到的 一 個(gè)處罰比重函式 的范例，并且與本揭露中某些實(shí)施范例 一 致。
圖6 a與圖6 b說明物件追蹤模組與物件偵測(cè)程序
的交互運(yùn)作，并且與本揭露中某些實(shí)施范例一致。
圖7說明物件偵測(cè)與追蹤系統(tǒng)的 一 個(gè)范例示意
圖，并且與本揭露中某些實(shí)施范例一致。
圖8說明 一 場(chǎng)景中，物件偵測(cè)模組與追蹤預(yù)測(cè)更
新模組相互運(yùn)作的 一 個(gè)范例示意圖，其中物件偵測(cè)模
組采用3 -層式機(jī)制來決定目前時(shí)刻的最好的分類標(biāo) 記，并且與本揭露中某些實(shí)施范例一致。
具體實(shí)施例方式
本揭露的下列的實(shí)施范例中 擬特征資訊與空間資訊的不確定 實(shí)世界中自然現(xiàn)象的變化，例如 震造成的攝影機(jī)晃動(dòng)，以及變動(dòng) 態(tài)噴泉等。另一方面，也由資訊 蹤兩處理程序之間相互分享，并 生的資訊提供物件可能出現(xiàn)的預(yù) 偵測(cè)的準(zhǔn)確度。物件偵測(cè)的結(jié)果 術(shù)，當(dāng)成所需的量測(cè)資訊，讓物
，由禾幾率模型架構(gòu)模
因素，來適應(yīng)外在真
光影變化、風(fēng)吹或地
背景如晃動(dòng)樹木、動(dòng)
在物件偵測(cè)與物件追
通過使用過去時(shí)間發(fā)
測(cè)資訊，來增強(qiáng)物件
也回々獸 頃給物件追蹤技
件追際的準(zhǔn)確性更加提高。再結(jié)合物件追蹤，物件偵測(cè)，與時(shí)間域，特征 域，空間域不確定性的模擬，完成同步維持前景模型 與背景模型的分析架構(gòu)。
一場(chǎng)景影像(video scene)可被分成由多個(gè)獨(dú)立 物體 (independent object) 來構(gòu)成。通過這些物體 的獨(dú)立運(yùn)動(dòng)產(chǎn)生 一 幕幕連續(xù)的影像(video)。本揭露 中，認(rèn)為如果要完善的偵測(cè)物體與追蹤物體也要回歸 這樣的本質(zhì)，這也是本揭露認(rèn)為一個(gè)場(chǎng)景基本上需要 由三類豐莫型，亦艮P夕卜貌模型(appearance model)、運(yùn) 動(dòng)模型(motion model)、 以及標(biāo)記模型(labeling model )，來組成。本實(shí)施例將獨(dú)立物體分為背景
(background) 物體與前景 (foreground) 物體來探 討。外貌模型提供的資訊例如是前景物體與背景的外 貌 (appearance)、 紋理 (texture)、 顏色 (color) 等。運(yùn)動(dòng)模型提供的資訊例如是前景物體移動(dòng)的速度
(velocity)、加速方向等。標(biāo)記模型提供的資訊例如 是每一物體的位置(location)標(biāo)記。
圖2說明 一 種物件偵測(cè)與追蹤的方法的運(yùn)作范例
示意圖，并且與本揭露中某些實(shí)施范例 一 致。此運(yùn)作 范例中，主要可包含物件偵測(cè)程序與物件追蹤程序兩 者之間的資訊相互分享與回饋。
在圖2的運(yùn)作范例中，根據(jù) 一 輸入的新影像2 11與過去時(shí)刻的累積資訊212 ，更新 一 前背景外貌
雙模型 (foreground and background appearance model )的資訊，如標(biāo)號(hào)2 0 1所示。根據(jù)此更新后的 前背景外貌雙模型的資訊2 1 3與過去傳遞的時(shí)間軸 資訊2 1 4 ，如預(yù)測(cè)的標(biāo)記資訊，進(jìn)行 一 物件偵測(cè)的 程序，如標(biāo)號(hào)2 0 2所示。在步驟2 0 3中，根據(jù)此 物件偵測(cè)的程序產(chǎn)生的偵測(cè)結(jié)果2 0 2 a ，例如前景背 景最佳化標(biāo)記分類的結(jié)果，判斷是否滿足 一 收斂條件， 如標(biāo)號(hào)2 0 3所示。不是的話，利用此偵測(cè)結(jié)果2 0 2 a去更新該前背景外貌雙模型的資訊，直到滿足 一 收 斂條件為止。此收斂條件例如是此前后的偵測(cè)結(jié)果相 似、或是滿足 一 先前設(shè)定的條件。如標(biāo)號(hào)2 0 4所示， 將收斂的偵測(cè)結(jié)果，如前景背景最佳化標(biāo)記分類的結(jié) 果，視為 一 新的追蹤量測(cè)結(jié)果，來更新 一 追蹤預(yù)測(cè)模 型2 1 5 。如標(biāo)號(hào)2 0 5所示，利用此更新后的追蹤 預(yù)測(cè)模型，求得 一 最后追蹤結(jié)果2 1 6 ，如物體的位 置，此最后追蹤結(jié)果2 1 6乃結(jié)合目前追蹤量測(cè)與過 去觀察的追蹤結(jié)果判斷而來。如標(biāo)號(hào)2 0 6所示，預(yù) 測(cè)下 一 個(gè)時(shí)刻的追蹤物體的位置。并回傳預(yù)測(cè)的前背 景物體的標(biāo)記與外貌資訊，如標(biāo)號(hào)2 0 7所示，作為 更新前背景雙模型時(shí)的輸入資訊。
由前景模型和背景外貌模型同步不斷維持的架構(gòu)下可以自覺因?yàn)椤? -刖旦 牙、的外貌資訊與扭旦 冃牙、外貌資訊極
為相似的小主 l冃況下，所造成物體偵測(cè)無法根據(jù)外貌資訊
正確分類的區(qū)域而這匙區(qū)域則可根據(jù)過去傳遞的時(shí)
間軸資訊，如預(yù)測(cè)的標(biāo)記資訊，來進(jìn)行正確的分類與
標(biāo)記，此預(yù)測(cè)的標(biāo)記資訊可由物件追蹤的預(yù)測(cè)模組提
供對(duì)于物件追蹤而曰，人'-刖旦 豕外貌模型和北 冃景外貌模
型可以相互比較與影響，進(jìn)而揀選出前景區(qū)域與北 冃旦 承
區(qū)域在外貌上辨別能力強(qiáng)健的區(qū)域，在進(jìn)行物件追l 示
時(shí)，加強(qiáng)倚賴這些辨別力強(qiáng)的區(qū)域資訊來進(jìn)行追蹤，
追蹤結(jié)果將更為穩(wěn)健。如此將物件追蹤與物件偵
測(cè)兩個(gè)程序巧妙地結(jié)合在起，通過此兩程序資訊互
相分與回饋的特性，同時(shí)提升物件偵測(cè)的準(zhǔn)確性
以及物件追蹤的可罪性
在本揭露中，提供了存儲(chǔ)學(xué)習(xí)過去物體運(yùn)動(dòng)型
態(tài)的機(jī)制，通過存儲(chǔ)物體運(yùn)動(dòng)模型的知識(shí)來預(yù)觀'J物
體的移動(dòng)，同時(shí)也整合物體偵測(cè)所得到的實(shí)時(shí)泖J資
訊來決定最后的物體位置與物體輪廓。另外，本揭露
也考慮到外在環(huán)境對(duì)于視頻分析產(chǎn)生的不確定性的現(xiàn)
象例如特征域的不確定特性空間域的不確定特性、時(shí)間域的不確定特性，這些不確定性則可通過機(jī)率模擬的方式來表不。
特征域的不確定特性例如，隨著外在光源的不同在同一區(qū)域不同的兩個(gè)時(shí)刻所到的影色彩特征
就會(huì)有變升性存在空間域的不確定特性來白于真實(shí)
世界的動(dòng)態(tài)環(huán)境，例如，搖晃的樹枝樹葉，轉(zhuǎn)動(dòng)的電
扇，不定時(shí)的噴泉，甚至強(qiáng)風(fēng)吹動(dòng)所造成的攝影機(jī)嚴(yán)
重晃動(dòng)這類晃動(dòng)的背旦 眾造成了在位置上的變幵性
時(shí)間域的不確定特性來白于時(shí)間上的不確定變化，例
如，某個(gè)像素點(diǎn)在此刻的位置為A ，在下 置為B ，但在量測(cè)時(shí)，卻無法準(zhǔn)確預(yù)估出 應(yīng)該移至B的位置，因而產(chǎn)生了時(shí)間軸
一
下 預(yù)
時(shí)刻 時(shí)刻
資
訊
的位 像素 上，
{象素對(duì)應(yīng)的不確定性
為了讓前景北旦 冃豕模型有效率的控制在特征空間、
時(shí)間域、與空間域上面的不確定現(xiàn)象，在本揭露中的
實(shí)施范例中，將整個(gè)架構(gòu)模擬為機(jī)率模型，并將場(chǎng)景
的物體分類成背景與.、/* 目IJ旦 眾，如此，當(dāng)?shù)玫絺€(gè)新的觀
值時(shí)機(jī)率模型架構(gòu)能提供此觀察值屬于背亭或是
前景的可能性
例如 來估
貌的
模 式
測(cè) 用
用參數(shù)式或是非 率模型的方法，
擬機(jī)率模型的方法 一 般分為使 兩大類。使用非參數(shù)式的模擬1
使用核心密度方法 (kernel density method) 不同類的機(jī)率分布的模型。此核心密度方法估 方程式(la)與(lb)的背景外貌與前景外
率模型。在本揭露的實(shí)施范例中，物件偵測(cè)采用 一 個(gè)3 -層 制
式機(jī)制來處理物件偵測(cè)的最佳化標(biāo)記。此3 -層式機(jī)制 的觀察資訊層、中間的隱藏標(biāo)記層、以及
儲(chǔ)估計(jì)層，如圖3所示。觀察資訊層3 0
觀察到的影像色彩資訊。隱藏標(biāo)記層3 0 2提供每 一 個(gè)像素點(diǎn)的最佳化分類標(biāo)記。存儲(chǔ)估計(jì)層 3 0 3提供由過去所傳遞過來的預(yù)估標(biāo)記。此3 -層式
系統(tǒng)化的方法，根據(jù) 3 0 3 、以及前述的
等三項(xiàng)已知信息來決定隱藏標(biāo)記層3 0 2 點(diǎn)的最佳化分類標(biāo)記
本揭露的 過 與
蹤
包含最上層
最下面的存
1提供目—、/ 目'J
2提供每
303提供機(jī)制提供
存儲(chǔ)估計(jì)層
的機(jī)率模型
中每個(gè)f象素
北
冃
察資訊層30
景外貌與前學(xué)
隱藏標(biāo)記層3
貌
外貌模型
百目IJ的前
通過物件
觀察到的
件偵測(cè)可
空間域上
間域上面
及巨前觀
起考慮并
度
站
追
影像色彩資訊，
通過
的先
的先前累積資訊 察的影像色彩資 且作最佳化決策
例中，可將背景外貌模型與、'-刖學(xué)
度方法來建立。并可根據(jù)(1
貌模型以及(2 )過去時(shí)間域上
的預(yù)測(cè)標(biāo)記資訊以及(3 )目—、/一 刖
訊，來進(jìn)行物件偵測(cè)程序。此物
前述的三層式貝式網(wǎng)路，將包含
資訊(通過前背景外貌模型)、時(shí)
(通過預(yù)測(cè)的標(biāo)記資訊)、以 訊資訊，有效率地整合在一 ，此會(huì)提升物件偵測(cè)的準(zhǔn)確圖4是物件偵測(cè)的處理流程的 一 個(gè)范例示意圖， 并且與本揭露中某些實(shí)施范例一致。參考圖4的處理
流程的范例，在物件偵測(cè)程序中，根據(jù)目前的前/背景 外貌模型，將隱藏標(biāo)記層302提供的前 一 時(shí)刻t- 1 的每 一 個(gè)像素點(diǎn)的分類標(biāo)記轉(zhuǎn)換到時(shí)刻t的預(yù)估位置，
并產(chǎn)生時(shí)刻t的存儲(chǔ)預(yù)估層3 0 3 。此時(shí)刻t的存儲(chǔ) 預(yù)估層3 0 3提供由過去所傳遞過來的預(yù)估標(biāo)記。
在標(biāo)號(hào)2 0 2或圖4的處理流程的范例中，進(jìn)行
物件偵測(cè)的程序可視為 一 個(gè)最佳化的問題。此最佳化
的問題的定義為，根據(jù)目前時(shí)刻觀察到的影像資訊、
更新后的前背景雙模型外貌資訊、以及前 一 個(gè)時(shí)刻所
傳遞過來的預(yù)估標(biāo)記，來決定目前時(shí)刻最好的分類標(biāo)
記。為了進(jìn)行最佳化的過程，此物件偵測(cè)的程序需要
目前的觀察資訊(即目前的影像輸入)，時(shí)刻t的存儲(chǔ)
預(yù)估層3 0 3 ，以及前景外貌機(jī)率模型^x^》與背景外
貌機(jī)率模型p(x|qb)。如此，在完成最佳化的過程后，時(shí) 刻t的隱藏標(biāo)記層3 0 2即可提供目前時(shí)刻t的最佳
隱藏標(biāo)記L 。
此最佳化的問題可以用下列式子來描述-其中L代表所要求取的整個(gè)影像每 一 點(diǎn)的分類標(biāo) 志，D代表觀察到的影像資訊，P(DID代表可能性機(jī)率
函式 (likelihoo d function), P(丄)代表事前( prior) 機(jī)率資訊。
將公式(2 )作log運(yùn)算，可得到公式(3 )，并 將所要求得的L描述成公式(4 )。
￡(丄ID) = ln(靜))《 lnOCD (丄))+ ln(p(") i = arg m,ax五(丄| ￡>)
換句話說，此最佳化的問題被描述成由 一 個(gè)可能 性機(jī)率函式與 一 事前機(jī)率資訊兩者組合而成的 一 個(gè)最 大化的問題。
以下說明此P("^)。假設(shè)《代表 一 影像中某 一 個(gè)像素
點(diǎn)色彩資訊標(biāo)記，整張影像有k個(gè)像素點(diǎn)，并假設(shè)在 分類標(biāo)志L已知的條件下，"'和《基本上可視為是條件 獨(dú)立的兩個(gè)隨機(jī)變量，而且《只與〖相關(guān)，因此P(^^司— 以改寫為公式(5 )
lnO(Z) 1丄))=Y ( 5 )
25^W")是標(biāo)號(hào)2 0 1中，可以利用公式(1 )建立出 來的前景(F )外貌模型與背景(B )外貌模型提供的 觀察機(jī)率資訊來求得。由于公式(1 )中的X代表著
(x， y， r， g， b)五個(gè)維度的隨機(jī)變量，而《代表著 某 一 位置點(diǎn)^"，力的條件下(r ， g ， b )的三維隨機(jī)變量， 因此，pW^與公式(1 )之間的關(guān)系可以用公式(6 )
來表示。
械l/,):々,g,，,w)-一'g，"，^。、^gr,V^(Q,，他^
p(x,yl。)
(6 )
在本揭露中，模擬的事前機(jī)率資訊(prior) ^"包 含了來自空間域的資訊和時(shí)間域的資訊，來自這兩方
面的資訊可以看成是獨(dú)立的，因此^")可以改寫為公式 (7 )。
7 )
其中，Ps(L)代表著整個(gè)影像的空間事前分類機(jī)率 (spatial posterior classification probability), 而Pt ( L )代表著整個(gè)影像的時(shí)間事前分類機(jī)率
C
temporal
posterior
classification
probability)。此空間事前分類機(jī)率Ps ( L )可以再描述成公式 (8 )。
A(丄)ocexp(-ZZl)(")).
'e"eW, (8 )
其中，/(代表在影像中第''個(gè)像素點(diǎn)的分類值(F ， B )，
尺代表整張影像點(diǎn)的集合，《""'。描述著影像空間中相 鄰兩點(diǎn)的關(guān)系，s意味著空間域事前的資訊。
影像空間中相鄰兩點(diǎn)的關(guān)系)"，?？梢栽賹懗晒?式(9 )。
( 9 )
公式(9 )描述著當(dāng)相鄰兩點(diǎn)的分類值A(chǔ) ， L不相 同時(shí)，系統(tǒng)給予這樣的空間關(guān)系 一 個(gè)『'——^g"))的處 罰比重(penalty weight),其中冗()可以圖5來表示。 圖5中，^g(0代表某i點(diǎn)影像值，當(dāng)i ， j兩點(diǎn)的影像
值差異為零，且、~的分類值不同^(/'，。=()，此時(shí)的處 罰比重將最重，定為 WS = Y 2 ，當(dāng)兩點(diǎn)的影像值差異很
大，超越系統(tǒng)設(shè)定的門檻值TH時(shí)，代表、。的分類值 不同是合理的，此時(shí)處罰比重Ws就轉(zhuǎn)為負(fù)值。最小的處罰比重定為W,Yl。其中^)為Dirac， sdelta函式。
在本揭露中，系統(tǒng)除了擁有空間的先前資訊，還 擁有過去存儲(chǔ)下來的時(shí)間軸標(biāo)記資訊。此時(shí)間軸的標(biāo) 記資訊主要是通過物體追蹤所傳遞過來的資訊。此資 訊代表著根據(jù)過去的物體追蹤存儲(chǔ)，預(yù)測(cè)出目前前景 物體可能出現(xiàn)的位置。本揭露的范例中，可通過公式 (1 0 )來描述時(shí)間域的事前分類機(jī)率Pt ( L )的資訊。
( 1 U J
其中，匸一二'代表著原本在t-1時(shí)刻，位置在)的影 像點(diǎn)的分類值，而且此點(diǎn)在t時(shí)刻(即現(xiàn)在時(shí)刻)被
預(yù)測(cè)會(huì)移動(dòng)到影像中點(diǎn)f ，而("《二')描述著先前時(shí)刻 t-1所傳遞的分類值7二'，對(duì)目前時(shí)刻t所想要求得的 第z'點(diǎn)分類值"的影響。
^v-')(or二')可以通過公式(i i)來描述。
r(:,廣,)(/;,/;-二,)-曙i-州'-/;-二,)),v^d ( i i )
其中，^是 一 個(gè)固定參數(shù)。當(dāng)現(xiàn)在時(shí)刻t所求知的 分類值/;和過去資訊所傳遞的分類值^二'違反時(shí)，系統(tǒng)給予 一 個(gè)固定的處罰比重^。此時(shí)間上的事前資訊結(jié)合 了空間的事前資訊以及現(xiàn)在時(shí)刻的觀察資訊和前背景 外貌模型， 一 起做整體的考量，并且用來作最后決定 分類值^的依據(jù)。這樣的考慮使得當(dāng)目前的外貌觀測(cè)資
訊難以分辨物體時(shí)，時(shí)間域的存儲(chǔ)資訊將提供合理的 決策依據(jù)。
從上述公式(5 )、公式(6 )、公式(8 )、以及
公式(1 0 )等，可看出整個(gè)公式(3 )所需要的資
訊皆已被詳盡描述。在 一 些動(dòng)態(tài)變景環(huán)境，例如動(dòng)態(tài) 噴泉和樹葉晃動(dòng)下的物件偵測(cè)實(shí)驗(yàn)中，根據(jù)本揭露的 實(shí)施例，展現(xiàn)了時(shí)間域存儲(chǔ)資訊對(duì)物體偵測(cè)準(zhǔn)確度的 效果。
接下來就是要求得讓公式(3 )最大化的Z 。解決
最大化的問題有許多的最佳化數(shù)值方法可以使用。例
如，圖形切斷(Graph Cuts)法、或是貝式信心傳遞 (Bayesian Belief Propagation) 法。本揭露的實(shí)施 范例中，采用圖形切斷法的圖形描述方式來推論整個(gè) 模型。并利alpha expansion的方法來選取最佳的丄， 以使公式(3 )近乎最佳化。
另 一 方面，在標(biāo)號(hào)2 0 3的物件追蹤程序中，本 揭露的實(shí)施范例中，除了使用現(xiàn)在時(shí)刻觀察到的資訊 進(jìn)行物件追蹤的依據(jù)外，也將過去物體運(yùn)動(dòng)的存儲(chǔ)資訊加以利用。具有存儲(chǔ)過去物體運(yùn)動(dòng)模型的能力的物 件追蹤技術(shù)有多種。本揭露的實(shí)施范例中，可采用貝
式濾波(Bayesian filter)這類的方法來進(jìn)行物體運(yùn) 動(dòng)模型的動(dòng)態(tài)系統(tǒng)的描述，著名的粒子濾波(Particle filter)與卡門濾波(Kalman filter)者卩屬于這 一 類 的方法。
基本上， 一 個(gè)具有存儲(chǔ)的物件追蹤模型可以通過 動(dòng)態(tài)系統(tǒng) (dynamic system) 中的狀態(tài)轉(zhuǎn)換 (state transition) 與量須'J程序 (measurement process) 兩 個(gè)階段來描述，以達(dá)到兼顧過去存儲(chǔ)資訊與目前觀察 資訊對(duì)物體追蹤的影響。此狀態(tài)轉(zhuǎn)換可用公式(1 2a) 來描述，而此量測(cè)程序可用公式(1 2b)來描述。
(12a) (12b)
公式(1 2a)說明利用過去的狀態(tài)資訊x'-i ，通過 乂0來預(yù)測(cè)目前的可能狀態(tài)x、其中V代表過去的狀態(tài)估 計(jì)的可能噪聲。公式(1 2b)說明假設(shè)目前的可能狀 態(tài)、為已知的條件下，可能量測(cè)到的目前觀察資訊A ， 其中"'代表量測(cè)的可能噪聲。
假設(shè)狀態(tài)、是 一 個(gè)隨機(jī)向量變量，而此隨機(jī)向量變量中的某一部份(elements)代表物體現(xiàn)在的位置， 則物件追蹤的問題可以描述成如公式(1 3 )的機(jī)率 最大化問題，其中？代表在現(xiàn)在時(shí)刻f時(shí)，最適當(dāng)?shù)臓?態(tài)估計(jì)，是 一 實(shí)際數(shù)值。
x'=argm"(x, (13)
其中P"k'-》代表著由過去所存儲(chǔ)下來的事前 (prior)機(jī)率函數(shù)，此事前機(jī)率函數(shù)可以通過動(dòng)態(tài)系 統(tǒng)的狀態(tài)轉(zhuǎn)換，即公式(1 2 a )，以及前 一 時(shí)刻的事 后(posterior)函數(shù)^"-' 1^-')來模擬趨近。
通過貝式定理(Bayesian Rule), 公式(13) 可拆解成公式(1 4 )。
|z1:,)"(z, (x, |;,—J (14)
其中，Kz' k)代表目前觀察資訊的可能性機(jī)率函數(shù)， 其對(duì)應(yīng)到動(dòng)態(tài)系統(tǒng)的量測(cè)程序，即公式(1 2 b )。
如前述，本揭露的實(shí)施范例中，采用卡門濾波來 模擬物件追蹤程序，如此，整個(gè)動(dòng)態(tài)系統(tǒng)可通過公式
(1 5 )來描述。z, = Z/(x, + /,w, (15)
其中， 與"'兩個(gè)噪聲隨機(jī)向量假設(shè)是高斯分布 (Gaussian distribution), 而前 一 日寸亥寸的事后函數(shù) P"一k'-')與現(xiàn)在時(shí)刻的事后函數(shù)^"h')也假設(shè)可視為高 斯分布，則最佳化公式(1 3 )的過程可以變成容易 處理的線性運(yùn)算。
如下列公式(1 6 )所示，P"k')為高斯分布，其 平均向量(mean vector) 代表讓公式(1 3 )最佳
化的？估計(jì)值， ^為多維度高斯分布的變異矩陣 (covariance matrix)。
pO, |z1:,) = W(m,i,，尸,卩) (16)
此 與々可以通過如公式(1 7 )的線性運(yùn)算來求
W《 " (17)<formula>formula see original document page 33</formula> (18)
其中，A代表動(dòng)態(tài)系統(tǒng)中噪聲隨機(jī)向量"'的變異矩陣。
公式(1 8 )中的"Vi與P*-'，可以由動(dòng)態(tài)系統(tǒng)根據(jù) 過去的存儲(chǔ)資訊來預(yù)測(cè)，可用如公式(19 )來預(yù)測(cè)。
<formula>formula see original document page 33</formula>(19)
其中，2"代表動(dòng)態(tài)系統(tǒng)中噪聲隨機(jī)向量v'-1的變異 矩陣。與可以由上個(gè)時(shí)刻的求解中得到。系統(tǒng)
中的z'代表目前觀察到的物體位置。,代表目前的系統(tǒng)
狀態(tài)，為一個(gè)維度四的向量，此向量包含物體目前的
位置(x， y)與物體目前的速度(u， v)。
公式(1 6 )中動(dòng)態(tài)系統(tǒng)所描述的《與A ，可以通
其中，A代表卡門增益(Kalman gain), -'意味 著系統(tǒng)根據(jù)過去的存儲(chǔ)資訊來預(yù)測(cè)目前所要求得的系
統(tǒng)狀態(tài)？，即w'"。卡門增益《是 一 個(gè)比重值，可動(dòng)態(tài)地 決定目前所觀察到的資訊z'，也可以用公式(1 8 )來過位置與速度的關(guān)系描述出來。此動(dòng)態(tài)系統(tǒng)中，可設(shè)
定s。
如此，標(biāo)號(hào)203的物件追蹤程序中，采用卡門
濾波來來模擬物體的運(yùn)動(dòng)模式，可讓系統(tǒng)將過去存儲(chǔ)
資訊與目前外貌觀察資訊結(jié)合起來起考慮當(dāng)目刖
外貌觀察資訊無法提供有效信息時(shí)，例如短暫遮蔽的
發(fā)生，時(shí)間軸的存儲(chǔ)資訊就可提供合適的物體追￡示估
本揭露的實(shí)施范例中，物件偵測(cè)與物件追5示的程
序是緊密而不可分割的圖6 a與圖6 b進(jìn)步說明物
件追蹤模組與物件偵測(cè)程序的交互運(yùn)作并且與本揭
露中某些實(shí)施范 過去 求
前的
有一
標(biāo)記
的位
體內(nèi)
假 過
些
設(shè) 程
—、、
目'J
對(duì)
在 中
訊
得
于 例
體
如物
L
也 地 設(shè)
已 假
么A
設(shè) 予 該
在先 已經(jīng) 分類
t- 1 決定 測(cè)的
時(shí)刻t- 1的分類標(biāo)記資 。在先前的分類過程中 己經(jīng)被偵測(cè)到，并且清 個(gè)被偵測(cè)到的前景物體
體重心點(diǎn)(QM(3")，對(duì)于位于此前景物 的每 一 像素點(diǎn)，指定 一 個(gè)前景物體標(biāo)記(FQ"')。 ，物件追蹤模組是要在現(xiàn)在時(shí)刻t ，根據(jù)過去時(shí)刻 資訊，OM^'和FQ;'，以及時(shí)刻t的追蹤量測(cè)，來 前景物體的位置，此處的追蹤量測(cè)則由物件偵 佳標(biāo)記結(jié)果得來。此物件追蹤程序與物件偵測(cè)程序的交互運(yùn)作如圖6 a所示，可以分成更新運(yùn)動(dòng)模型
(motion model) 6 0 1 、 傳遞時(shí)間域上的前背景標(biāo) 記資訊6 0 2 、前景與背景的標(biāo)記分類6 0 3 、以及 重復(fù)更新前景背景標(biāo)記與前背景雙模型外貌資訊6 0 4的四個(gè)步驟來完成。
在步驟6 0 1中，對(duì)于每 一 個(gè)前景物體，使用它
在時(shí)刻t- 1的物體位置，例如重心點(diǎn)(QMe")，來更新 物體運(yùn)動(dòng)模型，例如卡門濾波器(Kalman filter )。 并根據(jù)更新后的物體運(yùn)動(dòng)模型，預(yù)測(cè)在時(shí)刻t的前景 物體可能會(huì)出現(xiàn)的位置(PQMet)以及出現(xiàn)在此位置PQMG' 的外貌資訊。以此PGMe'當(dāng)成時(shí)刻t時(shí)，預(yù)測(cè)的前景物 體位置，的初始值。
在步驟6 0 2中，根據(jù)該前景物體預(yù)測(cè)位置初始 值，例如PGMGt，的位置資訊，將前一時(shí)刻t- l的前景 物體標(biāo)記(FQL")轉(zhuǎn)換到時(shí)刻t的預(yù)測(cè)位置，并產(chǎn)生時(shí) 刻t的存儲(chǔ)預(yù)估層3 0 3 ，如圖3所示，此預(yù)估層即
提供物件偵測(cè)時(shí)的時(shí)間域上的先前標(biāo)記分類資訊。
在步驟6 0 3中，在時(shí)刻t時(shí)，根據(jù)前面討論過 的物件偵測(cè)程序，并利用最佳化公式(3 )來求取隱 藏標(biāo)記層3 0 2 。如同前面討論，為了進(jìn)行最佳化的 過程，需要目前的觀察資訊(即目前的影像輸入)、時(shí) 刻t的存儲(chǔ)預(yù)估層3 0 3 ，以及前景外貌機(jī)率模型^xifV)與背景外貌機(jī)率模型p0c|Qb)。在最佳化的過程后，
將求出目前時(shí)刻t的最佳隱藏標(biāo)記(L )。
在步驟604中，利用求出的隱藏標(biāo)記(L )，重 新估算每一個(gè)前景物體的物體位置(GMet )，例如物體
重心點(diǎn) (object mass center, 0MC )。 如果每一個(gè)物
體位置，例如重心點(diǎn)(QMet )，落在以各自預(yù)測(cè)物體位 置(POMCt)，例如預(yù)湖ij物體重心點(diǎn)(predicted object
mass center, P0MC)，為中心的事先定義的附近位置，
則表示預(yù)測(cè)位置與最后的結(jié)果是 一 致的。此時(shí)判斷的
過程己經(jīng)穩(wěn)定，可結(jié)束時(shí)刻t的追蹤程序。如果兩個(gè)
結(jié)果不 一 致，則再以此物體位置(0Met )，例如重心點(diǎn)，
當(dāng)成新的測(cè)物體位置(PQMet )，例如重心點(diǎn)，并回到步 驟6 0 2 。
圖7說明物件偵測(cè)與追蹤系統(tǒng)的 一 個(gè)范例示意 圖，并且與本揭露中某些實(shí)施范例一致。參考圖7， 物件偵測(cè)與追蹤系統(tǒng)7 0 0可包含前背景外貌雙模更 新模組7 1 0 、物件偵測(cè)模組7 2 0 、以及追蹤預(yù)測(cè) 更新模組7 3 0 。
前背景外貌雙模更新模組7 1 0根據(jù)輸入的新影 像2 1 1 、過去時(shí)刻的累積資訊2 1 2 ，來更新物體
的前景外貌模型與背景外貌模型。物件偵測(cè)模組7 2 0根據(jù)輸入的新影像2 1 1 、更新后的該前景模型與該背景模型、以及過去傳遞的時(shí)間軸資訊2 1 3 ，來 進(jìn)行物件偵測(cè)與決定目前時(shí)刻的最好的分類標(biāo)記。追
蹤預(yù)測(cè)更新模組7 3 0利用該物件偵測(cè)的結(jié)果2 0 2
a，更新該前背景外貌雙模型的資訊，直到滿足 一 收斂
條件為止，并將該偵測(cè)結(jié)果2 0 2 a視為 一 新的追蹤量
測(cè)結(jié)果，進(jìn)而預(yù)測(cè)下 一 個(gè)時(shí)刻的追蹤物體的位置7 3
0 a ，并回傳預(yù)測(cè)的前背景物體的標(biāo)記與外貌資訊7 3 0 b給該前背景外貌雙模更新模組7 1 0 ，作為更新前 背景外貌雙模型所需的資訊。
如同前述揭露的 一 些實(shí)施范例，本揭露的物件偵
測(cè)與追蹤系統(tǒng)可將物體的前景外貌模型與背景外貌模
型模擬成 一 機(jī)率模型，對(duì)于每 一 新的觀察值，此機(jī)率
模型可提供該新的觀察值屬于前景或背景的可能性。 而物件偵測(cè)模組7 2 0可采用前述3 -層式機(jī)制來決
定目前時(shí)刻的最好的分類標(biāo)記，也可通過 一 最佳化標(biāo) 記運(yùn)算模組，利用前述的公式來進(jìn)行該最好的分類標(biāo) 記的判斷。于此不再重復(fù)描述。
圖8說明在 一 場(chǎng)景中，物件偵測(cè)模組與追蹤預(yù)測(cè) 更新模組相互運(yùn)作的 一 個(gè)范例示意圖，其中物件偵測(cè) 模組采用圖3的3 -層式機(jī)制來決定目前時(shí)刻的最好 的分類標(biāo)記，并且與本揭露中某些實(shí)施范例 一 致。假 設(shè)在過去時(shí)刻t- 1 ，此場(chǎng)景已存在多個(gè)獨(dú)立的物體，并且由外貌模型At- 1 、運(yùn)動(dòng)模型M t- 1 、以及標(biāo)記 模型Lt- 1來組成。
參考圖8 ，標(biāo)號(hào)8 1 0所示為時(shí)間域上的預(yù)估與
位置移動(dòng)。換言之，包括預(yù)測(cè)背景物體(記為b)與某
一前景物體(記為f i )在在時(shí)刻t的位置，符號(hào)表示
如下
標(biāo)號(hào)8 1 0中，使用時(shí)刻t- 1的物體位置'，來 更新物體運(yùn)動(dòng)模型，并根據(jù)更新后的物體運(yùn)動(dòng)模型， 預(yù)測(cè)在時(shí)刻t的物體會(huì)可能出現(xiàn)的位置 < ，以此當(dāng)成時(shí) 刻t時(shí)，預(yù)測(cè)物體位置的初始值。
標(biāo)號(hào)8 2 0所示為根據(jù)預(yù)測(cè)的位置 <來更新前背 景外貌模型與標(biāo)記模型，符號(hào)表示如下
《(x) —W) O) —W) >C)
標(biāo)號(hào)8 2 0中，根據(jù)此初始值的位置資訊，將前
38
—(C) 〉A(chǔ)fJ(x); d(x) 一(" >Lp(x)一時(shí)刻t - 1的物體標(biāo)記轉(zhuǎn)換到時(shí)刻t的預(yù)測(cè)位置，并 產(chǎn)生時(shí)刻t的存儲(chǔ)預(yù)估層。
標(biāo)號(hào)8 30所示為物件偵測(cè)模組7 2 0在時(shí)刻t 時(shí)，根據(jù)前面沐論過的物件偵測(cè)程序，在最佳化的過
程后，求出目前時(shí)刻t的最佳隱藏標(biāo)記Lt 。
標(biāo)號(hào)8 4 0 a與S 4 0 b所示為追蹤預(yù)測(cè)更新模組 7 3 Q根據(jù)目前時(shí)刻t的最佳隱藏標(biāo)記Lt的物件偵測(cè) 結(jié)果以及t_ 1時(shí)刻的外貌模型與運(yùn)動(dòng)模型，分別來更 新t時(shí)刻的外貌模型與運(yùn)動(dòng)模型。符號(hào)表示如下
標(biāo)號(hào)8 5 0所示為追蹤預(yù)測(cè)更新模組7 3 0利用 求出的隱藏標(biāo)記Lt ，重新估算每 一 個(gè)前景物體的物體 位置，來判斷是否可結(jié)束時(shí)刻t的追蹤程序，并將該 偵測(cè)結(jié)果視為 一 新的追蹤量測(cè)結(jié)果，來更新 一 起始值， 進(jìn)而預(yù)測(cè)下 一 個(gè)時(shí)刻的追蹤物體的位置。
因此，根據(jù)本揭露的實(shí)施范例，前景背景外貌模 型能不斷的被更新，能不斷的適應(yīng)外在變動(dòng)的環(huán)境。 并且在進(jìn)入物件偵測(cè)的處理程序前事先預(yù)測(cè)與更新前 背景外貌模型P(X|QJ ， ，例如，以 一 前景物體為
例，假設(shè)現(xiàn)在物體位在QMG ，而預(yù)期物體會(huì)移動(dòng)到PQMe ，則根據(jù)此預(yù)測(cè)位置來更新外貌模型。經(jīng)過更新后，前 景外貌模型~^)會(huì)反映出在0MC與P0MC兩個(gè)位置附 近具有前景物體出現(xiàn)的高機(jī)率可能性。如果現(xiàn)在此物 體剛好移動(dòng)到 一 個(gè)外貌特征與此物體相似的背景區(qū) 域，此時(shí)，前景模型^x^》與背景模型P(xPb)都會(huì)反映出 高可能性，這意味此混淆區(qū)域可能是前景也可能是背 景。因此，通過事前的更新前景模型，混淆的區(qū)域會(huì) 被辨識(shí)出來，而減少了錯(cuò)誤標(biāo)記的現(xiàn)象。并且，由前 一時(shí)刻所傳遞過來的存儲(chǔ)預(yù)估層包含過去的先前標(biāo)記 資訊，此資訊也可以有效地被利用來判斷例如前述混 淆的區(qū)域應(yīng)該屬于前景或背景的情況。
另外，本揭露的實(shí)施范例中，根據(jù)前景背景最佳 化標(biāo)記后的結(jié)果來更新背景模型，這些被標(biāo)記為背景 點(diǎn)的資訊可用來更新背景模型。在 一 些實(shí)際的狀況中，
前景物體可能會(huì)停留在場(chǎng)景中，最后成為背景的 一 部
分，例如， 一 輛停在停車場(chǎng) 一 段時(shí)間的車子。對(duì)于這 種情況，在本揭露的實(shí)施范例中，會(huì)判斷前景物體是
否已經(jīng)有 一 段長(zhǎng)時(shí)間沒有移動(dòng)，如果是，則這些前景 物體的資訊也會(huì)被更新到背景模型中，最后將此前景 物更新為背景的 一 部分。
在上述前背景雙模的架構(gòu)中，物件偵測(cè)與物件追 蹤的資訊可相互交流。例如，根據(jù)物件偵測(cè)的結(jié)果當(dāng)成追蹤量測(cè)來動(dòng)態(tài)維護(hù)物體運(yùn)動(dòng)模型。此運(yùn)動(dòng)模型的
預(yù)功能提供了傳遞過去、/ -刖學(xué)背旦 爾標(biāo)記資訊的機(jī)制，
而產(chǎn)生時(shí)間域上的先、/一 刖資訊另外，運(yùn)動(dòng)模型的預(yù)測(cè)
功能也提供了外貌模型的事先更新功能如此，可直
接地回饋并幫助物件偵測(cè)的程序所以，根據(jù)本揭露
的實(shí)施范例，物件追蹤模組與物件偵測(cè)程序父互運(yùn)作
所衍生的資訊在彼此之間可互相分享與回饋。進(jìn)而持
續(xù)維持.、/■ * 刖學(xué)模型與背里 尿模型的穩(wěn)健性，提升視頻分析
的可靠性
惟以上所述的僅為本發(fā)明的實(shí)施范例而已，當(dāng)
不能依此限定本發(fā)明實(shí)施的范圍即凡是依本發(fā)明權(quán)
利要求范圍所作的均等變化與修飾皆應(yīng)仍屬本明
專利涵生 rrn—的范圍內(nèi)。
權(quán)利要求
1、一種物件偵測(cè)與追蹤的方法，用來偵測(cè)與追蹤通過一場(chǎng)景中物體運(yùn)動(dòng)而產(chǎn)生的多個(gè)連續(xù)的影像，其特征在于，該方法包含根據(jù)一輸入的新影像與過去時(shí)刻的累積資訊，更新一前背景外貌雙模型的資訊；根據(jù)該更新后的前背景外貌雙模型的資訊與過去傳遞的時(shí)間軸資訊以及目前觀測(cè)的影像，進(jìn)行一物件偵測(cè)程序；利用該物件偵測(cè)程序產(chǎn)生的偵測(cè)結(jié)果，去更新該前背景外貌雙模型的資訊，直到滿足一收斂條件為止；將該收斂的偵測(cè)結(jié)果視為一新的追蹤量測(cè)結(jié)果，來更新一追蹤預(yù)測(cè)模型；利用該更新后的追蹤預(yù)測(cè)模型求得一最后追蹤結(jié)果，該最后追蹤結(jié)果為根據(jù)目前追蹤量測(cè)與過去觀察的追蹤結(jié)果而決定；以及預(yù)測(cè)下一個(gè)時(shí)刻的追蹤物體的位置，并回傳預(yù)測(cè)的前背景物體的標(biāo)記與外貌資訊，作為該更新前背景外貌雙模型的步驟所需的資訊。
2 、如權(quán)利要求1所追蹤的方法，用來偵測(cè)與追 而產(chǎn)生的多個(gè)連續(xù)的影像，與過去時(shí)刻的累積資訊，更 資訊；景外貌雙模型的資訊與過去前觀測(cè)的影像，進(jìn)行 一 物件產(chǎn)生的偵測(cè)結(jié)果，去更新該 ，直到滿足 一 收斂條件為止；視為 一 新的追蹤量測(cè)結(jié)果，預(yù)測(cè)模型求得 一 最后追蹤結(jié) 據(jù)目前追蹤量測(cè)與過去觀察蹤物體的位置，并回傳預(yù)測(cè) 貌資訊，作為該更新前背景 資訊。述的物件偵測(cè)與追蹤的方法，其特征在于， 其中該進(jìn)行該物件偵觀!l的程序是個(gè)最佳化的問題，該最佳化的問題的定義為，根據(jù)目前時(shí)刻觀察到的影像資訊、更新后的-、/ 目u背旦 豕外貌雙模型資訊、以及、/ * 目IJ——個(gè)時(shí)刻所傳遞過來的預(yù)估標(biāo)記，來決定目前時(shí)刻的最好的分類標(biāo)記。
3 、如權(quán)利要求2所述的物件偵測(cè)與追蹤的方法， 其特征在于，其中該物件偵測(cè)的程序采用 一 個(gè)3 -層式 機(jī)制來處理該物件偵測(cè)的最佳化標(biāo)記。
4 、如權(quán)利要求3所述的物件偵測(cè)與追蹤的方法， 其特征在于，其中該3 -層式機(jī)制包含觀察資訊層，提供目前時(shí)刻觀察到的影像色彩資訊；隱藏標(biāo)記層，提供每 一 個(gè)像素點(diǎn)的分類標(biāo)記；以及存儲(chǔ)估計(jì)層，提供由過去所傳遞過來的預(yù)估分類 標(biāo)記。
5 、如權(quán)利要求2所述的物件偵測(cè)與追蹤的方法， 其特征在于，其中該最佳化的問題被描述成由 一 個(gè)可 能性機(jī)率函式與 一 事前機(jī)率資訊兩者組合而成的 一 個(gè) 最大化的問題。
6 、如權(quán)利要求1所述的物件偵測(cè)與追蹤的方法， 其特征在于，其中該追蹤預(yù)測(cè)模型是以 一 貝式濾波器來描述-*物體運(yùn)動(dòng)模型的動(dòng)態(tài)系統(tǒng)。
7、如權(quán)利要求1所述的物件偵測(cè)與追蹤的方法，其特征在于，其中該物件偵測(cè)程序通過建立 一 貝式網(wǎng)路模型將包含空間域、時(shí)間域上面的先前累積資訊、以及巨刖觀察的機(jī)率資訊，整合在一起考慮并且作決策
8、如權(quán)利要求2所述的物件偵測(cè)與追蹤的方法，特征在于， 其中該物件追蹤模組與該物件偵測(cè)程序父互運(yùn)作，并且兩者衍生的資訊在彼此之間互相分享與回袖 頃
9、如權(quán)利要求8所述的物件偵測(cè)與追蹤的方法，特征在于，其中該交互運(yùn)作至少包括更新運(yùn)動(dòng)模型、傳遞時(shí)間域上的預(yù)估前背景標(biāo)記資訊、前景與背景的標(biāo)記分類、以及重復(fù)更新前景背景標(biāo)記與前背景外貌雙模型資訊的步驟
10、如權(quán)利要求9所述的物件偵測(cè)與追蹤的方法，其特征在于，中該更新運(yùn)動(dòng)模型至少包括-對(duì)于每——個(gè)物體，使用它在前 一 時(shí)刻的物體位置，來更新物體運(yùn)動(dòng)模型根據(jù)更新后的物體運(yùn)動(dòng)模型，預(yù)測(cè)在目前時(shí)刻的物體可能會(huì)出現(xiàn)的位置以及出現(xiàn)在該位置的外貌資訊；以及以該預(yù)測(cè)位置當(dāng)成目、/ -刖時(shí)刻時(shí)，預(yù)測(cè)物體的位置的初始值
11.如權(quán)利要求10所述的物件偵測(cè)與追蹤的方法，特征在于，中該傳遞時(shí)間域上的—、v— 刖北 冃旦 眾標(biāo)記資訊至少包括根據(jù)該初始的預(yù)測(cè)位置資訊，將j/一 刖時(shí)刻的物體標(biāo)記轉(zhuǎn)換到巨前時(shí)刻的預(yù)測(cè)位置，并生巨畫、l 目U時(shí)刻的存儲(chǔ)預(yù)估層，以提供該物件偵測(cè)時(shí)的時(shí)間域上的先-、/ -目IJ位置資訊在巨刖時(shí)刻時(shí)，利用最佳化過程求取隱藏標(biāo)記層，以提供每一個(gè)像素點(diǎn)、的分類標(biāo)記；:以及在該最佳化的過程后，求出目前時(shí)刻的最佳隱藏標(biāo)記
12.如權(quán)利要求11所述的物件偵測(cè)與追蹤的方法特征在于，中該重復(fù)更新、' 刖學(xué)北 冃景標(biāo)記至少包括:利用該最佳隱藏標(biāo)記，重新估算每個(gè)物體的物體位置以及如果每個(gè)物體位置落在以各自預(yù)測(cè)物體位置為中心的事先定義的附近位置，貝lj 結(jié)束巨刖時(shí)刻的追蹤程序，否則再以該物體位置當(dāng)成新的測(cè)物體位置，并重返該遞時(shí)間域上的標(biāo)記資訊的步驟
13 、 一種物件偵測(cè)與追蹤的方法，用來偵測(cè)與 追蹤通過一場(chǎng)景中物體運(yùn)動(dòng)而產(chǎn)生的多個(gè)連續(xù)的影 像，其特征在于，該方法包含-將該場(chǎng)景中物體的前景與背景外貌模型模擬成一 前景與背景外貌機(jī)率模型；根據(jù)目前時(shí)刻的前景與背景外貌模型與時(shí)間域上 的預(yù)測(cè)資訊，以及目前觀測(cè)到的影像資訊來進(jìn)行物體偵測(cè)與該場(chǎng)景中物體的前景與背景的最佳化標(biāo)記；根據(jù)最新量測(cè)到的該場(chǎng)景中物體的物體前景與背景標(biāo)記資訊，以及過去存儲(chǔ)學(xué)習(xí)的物體移動(dòng)資訊來決定該場(chǎng)景中物體目前時(shí)刻的物體移動(dòng)位置，并更新物 體運(yùn)動(dòng)模型與估計(jì)下 一 時(shí)刻的物體移動(dòng)位置；以及根據(jù)過去時(shí)刻物體偵泖J的結(jié)果與物體移動(dòng)資訊來更新.、L 刖景與背景外貌模型。
14 、如權(quán)利要求13所述的物件偵測(cè)與追蹤的方法，其特征在于，其中該方法的特征在于、/ 刖旦 界外貌模型與站雖 冃豕外貌模型的同步維持，以及物體偵測(cè)與物體追蹤的資訊交流與回饋。
15 、如權(quán)利要求13所述的物件偵測(cè)與追S示的方法，其特征在于， 其中該.、/ 目U景與背旦 豕的最佳化標(biāo)記是根據(jù)目前時(shí)刻觀察到的影像資訊，以、'-刖個(gè)時(shí)刻所傳遞過來的預(yù)估標(biāo)記，以及、'-刖背景外貌雙模型資訊來決定目前時(shí)刻的最好的分類標(biāo)記。
16、一種物件偵測(cè)與追蹤的系統(tǒng)，用來偵測(cè)與 追蹤通過 一 場(chǎng)景中物體運(yùn)動(dòng)而產(chǎn)生的多個(gè)連續(xù)的影 在于，該系統(tǒng)包含外貌雙模更新模組，根據(jù) 一 輸入的新影像、 累積資訊，來更新物體的前景外貌模型與 型；測(cè)模組，根據(jù)該輸入的新影像、更新后的 該前景外貌模型與該背景外貌模型、以及過去傳遞的 時(shí)間軸資訊，來進(jìn)行物件偵測(cè)與決定目前時(shí)刻的最好的分類標(biāo)記；以及追蹤預(yù)測(cè)更新模組，利用該物件偵測(cè)模組的偵測(cè) 結(jié)果，更新該前背景外貌雙模型的資訊，直到滿足一 收斂條件為止，并將該收斂的偵測(cè)結(jié)果視為 一 新的追蹤量測(cè)結(jié)果，來更新物體運(yùn)動(dòng)模型，進(jìn)而預(yù)測(cè)下 一 個(gè) 時(shí)刻的追蹤物體的位置，并回傳預(yù)測(cè)的物體位置與外 貌資訊給該前背景外貌雙模更新模組，作為更新該前 背景外貌雙模型所需的資訊。
17 、如權(quán)利要求1 6所述的物件偵測(cè)與追蹤的 系統(tǒng)，其特征在于，其中該物件偵測(cè)模組采用 一 個(gè)3 -層式機(jī)制來決定目前時(shí)刻的最好的分類標(biāo)記。
18 、如權(quán)利要求1 6所述的物件偵測(cè)與追蹤的像， 苴特征、/ 目IJ北旦冃牙、目IJ一時(shí)刻的背景外貌模物件偵系統(tǒng)，其特征在于，其中該物件偵測(cè)模組通過 一 最佳 化標(biāo)記運(yùn)算模組，來進(jìn)行該最好的分類標(biāo)記的判斷。
19.如權(quán)利要求1 6所述的物件偵測(cè)與追蹤的 系統(tǒng)，其特征在于，其中該系統(tǒng)將物體的前景外貌模型與背景外貌模型模擬成 一 機(jī)率模型，對(duì)于每 一 新的 觀察值，該機(jī)率模型提供該新的觀察值屬于前景或背 景的可能性。
全文摘要
一種物件偵測(cè)與追蹤的方法與系統(tǒng)。包含根據(jù)一輸入的新影像與前一時(shí)刻累積的外貌資訊與前背景標(biāo)記資訊，更新一前背景外貌雙模型的資訊；根據(jù)更新后的資訊與過去傳遞的時(shí)間軸資訊如預(yù)測(cè)的標(biāo)記資訊，以及輸入的新影像，進(jìn)行一物件偵測(cè)；利用偵測(cè)結(jié)果，反復(fù)更新前背景外貌雙模型的資訊，直到滿足一收斂條件為止；將結(jié)果視為一新的追蹤量測(cè)結(jié)果，更新一物體追蹤預(yù)測(cè)模型；求得一最后物體追蹤結(jié)果，此結(jié)果乃根據(jù)目前追蹤量測(cè)與過去觀察的追蹤結(jié)果判斷而來；預(yù)測(cè)下一時(shí)刻的追蹤物體的位置，并回傳前背景物體的預(yù)測(cè)外貌資訊，作為更新前背景外貌雙模型的輸入資訊，以及預(yù)測(cè)的標(biāo)記資訊，作為物件偵測(cè)時(shí)的時(shí)間軸資訊。
文檔編號(hào)H04N7/18GK101431665SQ20071016928
公開日2009年5月13日 申請(qǐng)日期2007年11月8日 優(yōu)先權(quán)日2007年11月8日
發(fā)明者張耀仁, 黃敬群 申請(qǐng)人:財(cái)團(tuán)法人工業(yè)技術(shù)研究院