使用指紋以在視頻中追蹤移動對象的系統(tǒng)和方法
【專利摘要】本發(fā)明提供了一種在序列圖像(110)中追蹤移動對象(155)的系統(tǒng)和方法。在一個示例實(shí)施例中，在序列圖像(110)中的當(dāng)前圖像(128)被分段為多個分段(138)。在多個分段(138)中屬于同一個運(yùn)動文件的分段被融合到一起以形成主分段組(142)。目標(biāo)分段組(154)被從所述主分段組(142)中確定。所述目標(biāo)分段組(154)表示在當(dāng)前圖像(128)中移動對象組(155)。指紋組(156)被創(chuàng)建，其用于在序列圖像(110)中的多個后續(xù)圖像(162)中追蹤所述移動對象組(155)。
【專利說明】使用指紋以在視頻中追蹤移動對象的系統(tǒng)和方法
[0001]本發(fā)明涉及下列專利申請:名為“用于使用指紋處理一序列圖像的方法和系統(tǒng)”，序列號:US13/631，705，以及律師案卷號為12-0178-US-NP的專利申請，轉(zhuǎn)讓給同一受讓人,其內(nèi)容通過引用并入本文。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明基本涉及圖像處理，更具體地，涉及檢測和追蹤圖像中移動的對象。更特別的，本發(fā)明涉及通過為所述移動的對象創(chuàng)建指紋用于檢測和追蹤圖像中移動的對象的系統(tǒng)和方法。
【背景技術(shù)】
[0003]現(xiàn)有不同的有效的技術(shù)用于在一序列圖像中檢測和追蹤移動的對象，所述一序列圖像，例如視頻。但是，現(xiàn)有這些有效地技術(shù)可不能夠在一定預(yù)期的精度水平下檢測和/或追蹤移動的對象。例如，現(xiàn)有這些有效的技術(shù)在所述移動的對象在所述圖像序列的一個或多個圖像中變得部分被遮擋時，可不能檢測和/或追蹤移動的對象。
[0004]另外，一些現(xiàn)有的技術(shù)在一定預(yù)期精度水平下可不能確定所述移動對象的輪廓。此處所用的對象的輪廓可為對象的輪廓線或?qū)ο蟮男螤睢Ｋ鲚喞€可為所述對象的外表面。
[0005]分段是用于確定圖像中對象的輪廓的過程的例子。此處所用的“分段”是將圖像分為多個段的過程。每個段包括一組像素，其被確定為分享相似的視覺特征。該視覺特性可為，例如但不限于，顏色、紋理、強(qiáng)度或一些其他類型的特性。這樣，彼此相連的分段在超過一些選定的閾值的所述特定的視覺特征方面是不同的。
[0006]分段可被用于簡化和/或改變圖像的表示，這樣所述分段圖像相比于原圖像而言更容易分析。例如，當(dāng)圖像被分段以形成分段圖像，所述分段圖像內(nèi)的特征相比于原圖像而言更容易辨別。特別的，在原圖像中被獲取的所述對象的輪廓和/或特征在所述分段圖像中更容易識別。
[0007]但是，一些現(xiàn)有的分段技術(shù)可不能按照預(yù)期精度確定單一移動的對象的輪廓的方式來分段圖像。例如，當(dāng)圖像被基于顏色分段以形成分段圖像，被所述圖像獲取的具有兩個或多于兩個顏色的對象，在所述分段圖像中可被多個分段展示。
[0008]所以，在所述分段圖像中的所述對象的輪廓可不能如描述的被簡單的辨別出來。進(jìn)一步的，分離所述特征的信息可產(chǎn)生不如描述的準(zhǔn)確的信息，所述特征是關(guān)于由不同類型的分段展示。所以，需要有一種方法和裝置，考慮到至少一些上面討論的問題，以及其他可能的問題。

【發(fā)明內(nèi)容】

[0009]在一個示例實(shí)施例中，圖像處理系統(tǒng)包括圖像分段器、連續(xù)性檢查器和指紋器。所述圖像分段器被配置為將一序列圖像中的當(dāng)前圖像分段為多個分段以形成分段化的圖像，并融合所述多個分段中屬于同一個運(yùn)動剖面的分段以形成主分段組。所述連續(xù)性檢查器被配置為從所述主分段組中識別目標(biāo)分段組。所述指紋器被配置為創(chuàng)建指紋組，其用于追蹤在所述一序列圖像中的多個后續(xù)圖像中所述移動對象組。
[0010]在另一個示例實(shí)施例中，一種用于計算機(jī)實(shí)施的方法被提供，其用于追蹤在一序列圖像中的移動的對象。所述圖像序列中的當(dāng)前圖像被分段為多個段。在所述多個段中的屬于同一個動作剖面的分段被融合到一起以形成主分段組。目標(biāo)分段組被從主分段中識另IJ。所述目標(biāo)分段組表示當(dāng)前圖像中一組正在移動的對象。指紋組被創(chuàng)建，其用于追蹤在所述圖像序列中多個后續(xù)圖像中的移動對象組。
[0011]在又一個示例實(shí)施例中，一種計算機(jī)實(shí)現(xiàn)的方法被提供，其用于在一序列圖像中追蹤移動的對象。在當(dāng)前圖像中，本地動作和全局動作被識別。所述全局動作被從所述本地動作中分離以形成動作圖像。所述動作圖像包括一組動作剖面。在所述圖像序列中的所述當(dāng)前圖像被分段為多個分段以形成分段化圖像。在所述多個分段中屬于同意動作剖面的分段融合在一起以形成具有主分段的主圖像。目標(biāo)分段組被從所述主分段中分離出來以形成目標(biāo)圖像。所述目標(biāo)分段組表示當(dāng)前圖像中移動對象組。指紋組被創(chuàng)建，以用于在所述序列圖像的多個后續(xù)圖像中追蹤所述移動對象組。
[0012]在本發(fā)明的多個實(shí)施例中特征和功能可被獨(dú)立完成，或其可被合并完成，在另外的實(shí)施例中，其中進(jìn)一步的細(xì)節(jié)可見帶參照的下列附圖和描述。
【專利附圖】

【附圖說明】
[0013]被認(rèn)為是示例實(shí)施例的特征的新穎特點(diǎn)在所附的權(quán)利要求書中被描述。所述示例實(shí)施例，其也是應(yīng)用的優(yōu)選方式，其進(jìn)一步的目標(biāo)和功能，通過參照本發(fā)明示例實(shí)施例的下列細(xì)節(jié)描述和附圖會更容易理解，對于所述附圖，其中:
[0014]圖1是方框圖形式的圖像處理環(huán)境的圖示，其中示例實(shí)施例可被實(shí)施；
[0015]圖2是根據(jù)本發(fā)明實(shí)施例的方框圖形式的指紋器的圖示；
[0016]圖3是根據(jù)本發(fā)明實(shí)施例的圖像的圖示；
[0017]圖4是根據(jù)本發(fā)明實(shí)施例的動作圖像的圖示；
[0018]圖5是根據(jù)本發(fā)明實(shí)施例的一部分的動作圖像放大圖的圖示；
[0019]圖6是根據(jù)本發(fā)明實(shí)施例的分段化圖像的圖示；
[0020]圖7是根據(jù)本發(fā)明實(shí)施例的一部分的分段化圖像的圖示；
[0021]圖8是根據(jù)本發(fā)明實(shí)施例的運(yùn)動分段圖像的圖示；
[0022]圖9是根據(jù)本發(fā)明實(shí)施例的主圖像的圖示；
[0023]圖10是根據(jù)本發(fā)明實(shí)施例的一部分的主圖像放大圖的圖示；
[0024]圖11是根據(jù)本發(fā)明實(shí)施例的圖像的圖示；
[0025]圖12是根據(jù)本發(fā)明實(shí)施例的主圖像的圖示；
[0026]圖13是根據(jù)本發(fā)明實(shí)施例的執(zhí)行圖像處理的過程的流程圖的圖示；
[0027]圖14是根據(jù)本發(fā)明實(shí)施例的從主分段組建立目標(biāo)分段組的流程圖的圖示；
[0028]圖15是根據(jù)本發(fā)明實(shí)施例的創(chuàng)建指紋的過程的流程圖的圖示；
[0029]圖16是根據(jù)本發(fā)明實(shí)施例的形成主分段組的過程的流程圖的圖示；
[0030]圖17是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)處理系統(tǒng)的圖示?！揪唧w實(shí)施方式】
[0031 ] 所述不同的示例實(shí)施例識別并考慮不同的情況。例如，所述不同的示例實(shí)施例識別并考慮一些現(xiàn)有可用的系統(tǒng)和方法，其用于檢測和追蹤目標(biāo)，特別是移動的目標(biāo)，可能無法執(zhí)行的像描述的一樣好。
[0032]特別的，一些用于檢測和追蹤視頻中目標(biāo)的現(xiàn)有可用的方法可能不能在預(yù)期的精確度下追蹤在來自所述視頻的一個或多于一個圖像的至少一部分被遮擋對象。進(jìn)一步的，這些現(xiàn)有的可用的方法在所述視頻的一些時間段內(nèi)可能不能追蹤對象，此時所述對象暫時移出所述視頻攝像機(jī)系統(tǒng)的視角范圍。更進(jìn)一步的，一些用于追蹤對象的現(xiàn)有可用方法可需要指令，基于所述指令，不同類型的對象可被尋找或追蹤。例如，在不知道要檢測或追蹤哪種類型的對象情況下，這些方法可不能追蹤對象，特別是移動對象。
[0033]所以，所述不同的示例實(shí)施例提供了用于為移動的對象產(chǎn)生指紋的系統(tǒng)和方法，所述移動的對象在序列圖像中的一幅圖像中已經(jīng)被檢測，以用于在整個圖像序列中檢測和追蹤所述移動的對象。特別的，所述指紋可被用于在序列圖像的一幅圖像中檢測和追蹤所述移動的對象，即使所述移動的對象被部分遮擋或不再處于所述圖像的范圍。
[0034]現(xiàn)在參照所述圖像，特別的，參照圖1，根據(jù)示例實(shí)施例，方框圖形式的圖像處理環(huán)境被描述。在圖1中，圖像處理環(huán)境100包括成像系統(tǒng)102和圖像處理系統(tǒng)104。
[0035]在這些圖示示例中，成像系統(tǒng)102可為任意類型的感知系統(tǒng)，其被配置為場景108產(chǎn)生圖像數(shù)據(jù)106。成像系統(tǒng)102可被從下列系統(tǒng)中選擇，例如但不限于，電光(EO)成像系統(tǒng)，紅外(IR)成像系統(tǒng)，雷達(dá)成像系統(tǒng)，熱成像系統(tǒng)，超聲成像系統(tǒng)，光探測和測距(LIDAR)系統(tǒng)，以及一些其它合適的類型的成像系統(tǒng)。這樣，由成像系統(tǒng)102產(chǎn)生的圖像數(shù)據(jù)106可包括電光圖像、紅外圖像、雷達(dá)圖像、熱圖像、光探測和測距圖像，或一些其他類型的圖像。電光圖像可為，例如，可見光圖像。
[0036]在這些圖示示例中，圖像數(shù)據(jù)106可表現(xiàn)為序列圖像110的形式。此處所用的“圖像”是數(shù)字二維圖像，其包括被組織為行和列的像素。每個像素可具有值，其表示該像素的顏色和/或亮度。進(jìn)一步的，“圖像序列”，此處所用的，是按照時間的連續(xù)順序產(chǎn)生的兩個或兩個以上圖像。
[0037]為場景108產(chǎn)生的圖像序列110可被稱作視頻112，在圖像序列110中的每個圖像可被稱為“幀”。
[0038]場景108可為物理區(qū)域，例如但不限于，城市區(qū)域、鄰近區(qū)域、海洋上的區(qū)域、森林中的區(qū)域、在沙漠中的一個區(qū)域、鎮(zhèn)、地理區(qū)域、生產(chǎn)設(shè)施內(nèi)的區(qū)域、在建筑物內(nèi)的地板、公路的一段、或一些其他合適類型的區(qū)域。
[0039]移動對象114可在場景108中顯示。此處所用的“移動的對象”，例如移動對象116，可為相對于成像系統(tǒng)102的視野移動的任意對象。移動對象116可為在場景108中移動的對象114的示例之一。
[0040]這樣，移動對象116可表現(xiàn)為不在場景108中保持靜止?fàn)顟B(tài)的任意對象。例如，移動對象116可表現(xiàn)為在場景108中走或跑的人、車輛、活動建筑、位于移動中的車輛中的對象、或一些其他合適類型的移動對象。在場景108中的車輛可表現(xiàn)為，例如但不限于，轎車、卡車、飛機(jī)、面包車、坦克、無人機(jī)、飛船、導(dǎo)彈、火箭或一些其他合適類型的車輛。[0041]在一些情況下，移動對象116可為兩個或多個對象一起移動。例如，移動對象116可包括互相連接在一起的兩個或多于兩個對象，其一起做同一種類型的運(yùn)動。
[0042]另外，移動對象116可表現(xiàn)為任意對象的形式，所述對象隨著成像系統(tǒng)102的直接朝向的角度和/或隨著成像系統(tǒng)102改變的位置關(guān)于成像系統(tǒng)102的視野移動。例如，移動對象116可為可為靜止對象，當(dāng)成像系統(tǒng)102移動的時候，其像是在圖像序列110中移動。
[0043]成像系統(tǒng)102被配置為使用多個通信鏈路120發(fā)送圖像數(shù)據(jù)106給圖像處理系統(tǒng)104。此處所用的“多個”條目意味著一個或多于一個條目。這樣，多個通信鏈路120可為一個或多于一個通信鏈路。多個通信鏈路120可包括至少一個，例如，有線通信鏈路、無線通信鏈路、光通信鏈路和一些其他類型的通信鏈路。
[0044]此處所用的短語“其中至少一個”，當(dāng)其與一個列表的物品一起用時，意味著一個或多于一個列表內(nèi)的物品的不同組合可被使用，并且列表內(nèi)的物品只有一個是被需要的。例如，“物品A、物品B以及物品C其中至少一個”可包括，例如但不限于，物品A或物品A與物品B的組合。這個示例也可包括物品A、物品B和物品C,或物品B與物品C。在其他的示例中，“其中至少一個”可為，例如但不限于，兩個物品A，一個物品B，和10個物品C ；4個物品B和7個物品C ；以及其他合適的組合。
[0045]圖像處理系統(tǒng)104可使用硬件、軟件或二者的結(jié)合被實(shí)施。在這些圖示示例中，圖像處理系統(tǒng)104可在計算機(jī)系統(tǒng)122中被實(shí)施。計算機(jī)系統(tǒng)122可包括多個計算機(jī)。當(dāng)多于一個計算機(jī)存在于計算機(jī)系統(tǒng)122中時，這些計算機(jī)可互相通信。
[0046]圖像處理系統(tǒng)104被配置為處理從成像系統(tǒng)102接收到的圖像數(shù)據(jù)106。在一些圖示示例中，當(dāng)所述圖像被從成像系統(tǒng)102產(chǎn)生時，圖像處理系統(tǒng)104可接收在圖像序列110中的所述圖像。例如，當(dāng)所述圖像被產(chǎn)生，圖像處理系統(tǒng)104可接收基本實(shí)時的圖像序列。在其他圖示示例中，在某些點(diǎn)，當(dāng)所述圖像序列被產(chǎn)生出來以后，圖像處理系統(tǒng)104可接收整個圖像序列110。
[0047]圖像處理系統(tǒng)104處理圖像序列110以檢測并追蹤圖像序列序列110中移動對象的存在。如所述，圖像處理系統(tǒng)104包括運(yùn)動檢測器124和對象追蹤器126。運(yùn)動檢測器被配置為在圖像序列110中檢測運(yùn)動的存在
[0048]例如，運(yùn)動檢測器124接收在圖像序列110中的當(dāng)前圖像128。運(yùn)動檢測器124被配置為在當(dāng)前圖像128中檢測運(yùn)動。在一個圖示示例中，運(yùn)動檢測器124使用當(dāng)前圖像128和之前的圖像134以形成運(yùn)動圖像136。之前圖像134是在圖像序列110中的圖像，其位于當(dāng)前圖像128之前，且沒有任何圖像位于當(dāng)前圖像128和之前圖像134之間。進(jìn)一步的，之前圖像134之前被運(yùn)動檢測器124處理過。
[0049]運(yùn)動檢測器124使用當(dāng)前圖像128和之前圖像134以在當(dāng)前圖像128中識別本地運(yùn)動和全局運(yùn)動。此處所用的在當(dāng)前圖像128中的“全局運(yùn)動”可為當(dāng)前圖像128的整體運(yùn)動。全局運(yùn)動可包括，例如，當(dāng)前圖像128中與之前圖像127的背景特征相關(guān)的背景特征的運(yùn)動。這些背景特征可包括，例如但不限于，樹木、天空、道路、灌木、綠地、草地、建筑物、人造結(jié)構(gòu)和/或其他類型的背景特征。這樣，相對于之前圖像134的整體場景108，當(dāng)前圖像128中的全局運(yùn)動是整個場景108的運(yùn)動。
[0050]此處所用的“本地運(yùn)動”包括與所述全局運(yùn)動不同的運(yùn)動。本地運(yùn)動可包括，例如地表特征的運(yùn)動，例如，相對于之前圖像134，在當(dāng)前圖像128運(yùn)動對象114。運(yùn)動檢測器124可將被識別在當(dāng)前圖像128中的所述全局運(yùn)動從識別在當(dāng)前圖像128中的所述本地運(yùn)動分離，以形成運(yùn)動圖像136。
[0051]在這些圖示示例中，運(yùn)動圖像136可包括一組運(yùn)動文件135。此處所用的“一組”條目可為零個或多于零個條目。也就是說，一組條目可為空的組或組。這樣，在一些情況下，運(yùn)動文件組可包括一個、兩個、三個、五個、十個或一些其他數(shù)量的運(yùn)動文件。也就是說，組運(yùn)動文件可為空組。
[0052]此處所用的“運(yùn)動文件”是一部分運(yùn)動圖像136，其在運(yùn)動圖像136中表示本地運(yùn)動。例如，運(yùn)動文件可為具有不同于運(yùn)動圖像136背景顏色的部分運(yùn)動圖像136。該顏色可表示，例如，移動的對象，例如在場景108中移動的對象116。
[0053]目標(biāo)追蹤器126被配置為接收當(dāng)前圖像128和運(yùn)動圖像136以處理。如所述，目標(biāo)追蹤器126包括圖像分段器130、多個數(shù)據(jù)結(jié)構(gòu)158、連續(xù)性檢查器132和指紋133。
[0054]圖像分段器130被配置為將當(dāng)前圖像128分段或分離為多個分段138以形成分段化圖像140。在這些圖示示例中，在多個分段138中的每個分段包括一個或多個像素。當(dāng)多于一個像素出現(xiàn)在分段中，這些像素是連續(xù)像素。也就是說，在所述分段中的每個像素是彼此互相挨著的，沒有不屬于該分段的任何其他像素位于這兩個像素之間。
[0055]在這些圖示示例中，圖像分段器130將當(dāng)前圖像128分段，這樣在多個分段138中的每個分段的全部像素分享共同的視覺特征。這些視覺特性可為，例如，顏色、亮度值、質(zhì)地或一些其他類型的視覺特性。例如，在多個分段138的特定分段中的所有像素可具有在一個選定范圍內(nèi)的值，其表示一種選定的顏色。
[0056]圖像分段器130考慮不同移動對象的不同部分，例如在場景108中的移動對象116，在當(dāng)前圖像128中可具有不同的視覺特征。例如，當(dāng)移動對象116是汽車時，車身在當(dāng)前圖像128中可為一種顏色,而車窗在當(dāng)前圖像128中可為另一種顏色。
[0057]所以，移動對象116可通過在多個分段138中的多個分段在分段化圖像140所被表現(xiàn)。辨別出在多個分段138中的哪個分段實(shí)際上表示移動對象116可不容易達(dá)到。
[0058]所以，圖像分段器130被配置為將在多個分段138中的多個分段組織在一起以形成主分段組142，其使用運(yùn)動圖像136。特別的，圖像分段器130將在多個分段138中的屬于同一個運(yùn)動圖像的多個像素融合在一起以形成主圖像143，其具有主分段組142。
[0059]更特別的，在多個分段138中的屬于同一個運(yùn)動文件的分段融合到一起以形成主分段，其位于主分段組142，所述運(yùn)動文件在運(yùn)動圖像136的運(yùn)動文件組中。在這些圖示示例中，當(dāng)所述多個像素在所述分段與特定的運(yùn)動文件重疊大于一個選定的閾值時，在多個分段138中的可被認(rèn)為是“屬于”在運(yùn)動文件組135中的特定的運(yùn)動文件。當(dāng)然，在其他實(shí)施例中，其他類別和/或原因可被用于檢測在哪些分段138中的分段能融合到一起以形成主分段組142。
[0060]在這些圖示示例中，圖像分段器130只可將連續(xù)的分段融合到一起。也就是說，在多個分段138中的兩個分段，只有當(dāng)著兩個分段彼此相鄰時，才能被融合到一起。這樣，在主分段組142中的每個主分段包括多個連續(xù)的分段。
[0061]在一些圖示示例中，圖像分段器130合并運(yùn)動圖像136和分段話圖像140以形成移動的分段圖像145。移動分段圖像145可被通過，例如但不限于，將運(yùn)動圖像136重疊在分段化圖像140上來創(chuàng)建。在多個分段138中與運(yùn)動文件組135重疊的部分可被認(rèn)為是“移動分段”。對每個運(yùn)動文件，與移動文件重合的所述移動分段被融合在一起以形成主分段。這樣，主分段組142可被以不同的方式形成。
[0062]其后，圖像分段器130為主分段組142產(chǎn)生主統(tǒng)計信息(或統(tǒng)計數(shù)據(jù)，即statistics) 144。如一個圖示示例，圖像分段器130為在主分段組142中的每個主分段識別分段數(shù)據(jù)146。對應(yīng)于特別的主分段的分段數(shù)據(jù)146可包括，例如但不限于，色度數(shù)據(jù)、亮度數(shù)據(jù)、像素位置的數(shù)據(jù)、熵數(shù)據(jù)和/或其他類型的數(shù)據(jù)。
[0063]色度數(shù)據(jù)可包括，例如，對應(yīng)于主分段每個像素的色度值。所述色度值可為顏色值或飽和度值。亮度數(shù)據(jù)可包括，例如，在所述主分段中每個像素的亮度值。所述亮度值(lumavalue)可為明亮程度值。像素位置數(shù)據(jù)可包括，例如，相對于主圖像143中的行和列，每個像素在所述主分段中的像素的位置。熵數(shù)據(jù)可包括用熵濾波器過濾過的色度數(shù)據(jù)。
[0064]在該圖示示例中，圖像分段器130通過填充分段數(shù)據(jù)到數(shù)據(jù)模型148來產(chǎn)生主統(tǒng)計信息144。在一些情況下，數(shù)學(xué)模型148可為線性回歸模型，例如但不限于，廣義線性模型(generalized linear model即GLM)。所述廣義線性模型可為,例如,全協(xié)方差的高斯模型。
[0065]圖像分段器130發(fā)送主圖像143和主統(tǒng)計信息144給連續(xù)性檢查器以進(jìn)一步處理。連續(xù)性檢查器132被配置為進(jìn)一步確定是否在主分段組142中的每個主分段實(shí)際表示一個移動對象。也就是說，連續(xù)性檢查器132確定是否在主分段組142中的主分段表示移動的對象或圖像異常。
[0066]在一個圖示示例中，連續(xù)性檢查器(consistency checker) 132將在主分段組142中的主分段152與之前識別的主分段進(jìn)行匹配，所述之前識別的主分段是為之前圖像134識別的。連續(xù)性檢查器確定是否對應(yīng)于主分段152的主統(tǒng)計信息144和為之前識別的主分段而識別的主統(tǒng)計信息之間的和差距大于一定閾值。
[0067]如果所述差距沒有大于選定閾值，主分段152就被加到目標(biāo)分段組154。這樣，連續(xù)性檢查器132為當(dāng)前圖像128創(chuàng)建目標(biāo)分段組。目標(biāo)分段組154可包括一些、零個或全部主分段組142。
[0068]在目標(biāo)分段組154中的每個目標(biāo)分段達(dá)標(biāo)一個在當(dāng)前圖像128中移動的對象。也就是說，目標(biāo)分段組154表示移動的對象組155。移動的對象組155可包括一些、零個或全部在場景108中移動的對象114，基于所述實(shí)施。例如，在一些情況下，移動對象組155可包括移動對象116。
[0069]在一些圖示示例中，連續(xù)性檢查器132可不能匹配主分段152到之前確定的主分段。在這些情況下，主分段152可被分析以確定是否主分段152表示異?；蛐碌闹皼]有檢測到的移動對象。當(dāng)主分段152被識別位表示新的移動對象時，主分不斷152被加到目標(biāo)分段組154。連續(xù)性檢查器132將目標(biāo)分段組154作為目標(biāo)圖像157發(fā)送到指紋器133。
[0070]指紋器133接收目標(biāo)圖像157并為在目標(biāo)圖像157中的目標(biāo)分段組154識別指紋組156。此處所用的對應(yīng)于目標(biāo)分段的指紋是對所述目標(biāo)分段所表示的移動對象的特別特征的描述。指紋組156被配置為用于追蹤在圖像序列110中多個后續(xù)圖像中的移動對象組
155。
[0071]指紋器133將指紋組156存儲在多個數(shù)據(jù)結(jié)構(gòu)158中。在多個數(shù)據(jù)結(jié)構(gòu)158中的數(shù)據(jù)結(jié)構(gòu)可表現(xiàn)為，例如但不限于，表、電子表格、圖表、數(shù)據(jù)庫、報告、相聯(lián)存儲器或一些其他類型的數(shù)據(jù)結(jié)構(gòu)。
[0072]如一個圖示示例，指紋組156可被存儲在多個數(shù)據(jù)結(jié)構(gòu)158的指紋數(shù)據(jù)庫160以備將來檢測和追S示移動對象。指紋數(shù)據(jù)庫160包括指紋，其為在場景108序列圖像110中檢測和追蹤的部分移動對象114創(chuàng)建。
[0073]目標(biāo)追蹤器126可使用存儲在指紋數(shù)據(jù)庫160中的指紋組156以增加移動對象組155可被追蹤的相似性，所述移動對象組155位于序列圖像110中的多個后續(xù)圖像162中。特別的，指紋組156可被用于追蹤在多個后續(xù)圖像162中的移動對象組155，即使在一個或多于一個這樣的移動對象變得部分或全部遮擋之后或當(dāng)一個或多于一個這樣的移動對象移出成像系統(tǒng)102的視野范圍。多個后續(xù)圖像162可為在序列圖像110中位于當(dāng)前圖像128之后的圖像。
[0074]在這些圖示示例中，在指紋組156中的每個指紋是輕量級指紋。如此處所用的，“輕量級指紋”是對應(yīng)目標(biāo)分段表示的移動對象特征的描述，考慮到事件和空間復(fù)雜度，所述描述被最小化。這樣，需要存儲指紋組的存儲空間的量就被減小了。
[0075]在一些圖示示例中，圖像分段器130可使用指紋以確定多個分段138中的哪一個將被融合到一起以形成主分段組142，作為運(yùn)動圖像136的附加或代替運(yùn)動圖像136。在一個圖示示例中，圖像分段器130發(fā)送分段化的圖像140給指紋器133。指紋器133為在分段化圖像140中的多個分段138創(chuàng)建多個分段指紋164。多個分段指紋164中的每一個是對應(yīng)于在多個分段138中的對應(yīng)分段的指紋。
[0076]指紋器133存儲多個分段指紋164在指紋數(shù)據(jù)庫160以備圖像分段器使用。圖像分段器130檢索多個分段指紋164和來自指紋數(shù)據(jù)庫160的先前分段指紋組166，并使用這些不同的指紋以形成主分段組142。
[0077]先前分段指紋組166可包括之前確定的所述指紋組，所述指紋組是之前為之前圖像134識別的，基于為之前圖像134識別的目標(biāo)分段。在該圖示示例中，圖像分段器130將在多個分段指紋164中的連續(xù)分段指紋組合到一起以形成主分段；所述連續(xù)分段指紋匹配在先前分段指紋組166中的特定的指紋。
[0078]先參照圖2，根據(jù)本發(fā)明實(shí)施例，以方框圖形式的指紋的圖示被描述。在圖2中，圖1中的指紋器133被更詳細(xì)的描述。
[0079]如所描述，指紋器133接收目標(biāo)圖像157以處理。指紋器133包括特征分析器202和指紋管理器204。特征分析器202被配置為在目標(biāo)分段執(zhí)行特征分析206以形成指紋組156,所述目標(biāo)分段在在目標(biāo)圖像157中的目標(biāo)分段組154中。在這些圖示示例中，執(zhí)行特征分析206可包括為在目標(biāo)分段組154中的每個目標(biāo)分段分離特征數(shù)據(jù)208并給多個數(shù)學(xué)模型210擬合特征數(shù)據(jù)208。
[0080]多個數(shù)學(xué)模型210可包括不同類型的模型。在多個數(shù)學(xué)模型210中的模型可為，例如但不限于，參數(shù)的或非參數(shù)的。如此處所用的，“參數(shù)模型”是可以用有限數(shù)量的參數(shù)來描述的族的分支。對比的，“非參數(shù)模型”，如此處所用，不依賴所述屬于任何分支的擬合數(shù)據(jù)。
[0081]進(jìn)一步的，在多個數(shù)學(xué)模型210中的模型可為，例如但不限于，空間可知的或空間不可知的?？臻g可知的模型可考慮位置、空間定位和/或校準(zhǔn)特征。但是，空間不可知的模型可不考慮位置、空間定位和/或校準(zhǔn)特征。[0082]空間廣義線性模型212和僅特征的廣義線性模型(feature-only generalizedlinear model) 214是參數(shù)模型220的示例?？沼驁D(spatiogram)和直方圖是非參數(shù)模型222的示例。進(jìn)一步的，空間廣義線性模型212和空域圖216是空間可知模型224的示例。僅特征的廣義線性模型214和直方圖是空間不可知模型226的示例。
[0083]對應(yīng)于目標(biāo)分段組154中每個特征分段的特征數(shù)據(jù)208可被擬合到一個或多于一個多個數(shù)學(xué)模型210，來為在目標(biāo)分段組154中的每個目標(biāo)分段形成適合的數(shù)據(jù)228。例如，特征數(shù)據(jù)208可將特征數(shù)據(jù)208擬合到在目標(biāo)分段組154中的目標(biāo)分段230到空間廣義線性模型212、僅特征的廣義線性模型214、空域圖216、直方圖218或以上的一些組合以對目標(biāo)分段230形成擬合數(shù)據(jù)228。
[0084]當(dāng)指紋器133如圖1描述的被配置為創(chuàng)建多個分段指紋164，特征數(shù)據(jù)208可為圖1中的多個分段138的每個分段被分離并以與如上所述的方式相似的方式擬合到多個數(shù)學(xué)模型210。特別的，對于多個分段138的特征數(shù)據(jù)208可被擬合到多個數(shù)學(xué)模型210以形成對多個分段138中的每個分段的擬合的數(shù)據(jù)228。
[0085]指紋管理器204被配置為接收擬合的數(shù)據(jù)228對目標(biāo)分段組154并創(chuàng)建指紋組
156。對應(yīng)目標(biāo)分段組154的每個目標(biāo)分段的擬合的數(shù)據(jù)228被用于在指紋組156中形成指紋。例如，對應(yīng)目標(biāo)分段230的擬合數(shù)據(jù)228被用于形成指紋232。在一個圖示示例中，目標(biāo)分段230表示圖1中的移動對象116。所以，指紋232是對應(yīng)移動對象116的指紋。
[0086]這樣，指紋組156是為圖1中的當(dāng)前圖像128被創(chuàng)建。指紋管理器204被配置為存儲指紋組156在多個數(shù)據(jù)結(jié)構(gòu)158以備處理圖1的序列圖像110中的多個后續(xù)圖像162時使用。例如，指紋組156可與其他指紋一起被存儲在指紋數(shù)據(jù)庫160。
[0087]當(dāng)指紋管理器204從特征分析器202接收到用于圖1中的多個分段138的擬合數(shù)據(jù)228時，指紋管理器204使用用于多個分段138的擬合數(shù)據(jù)228以創(chuàng)建多個分段指紋164。指紋管理器204可存儲多個分段指紋164在多個數(shù)據(jù)結(jié)構(gòu)158和/或發(fā)送多個分段指紋164給圖1中的圖像分段器130。
[0088]在處理圖1中的多個后續(xù)圖像162的過程中，圖1中的一組或多于移動對象組155可變的部分閉塞或不再可見。例如，圖1中的移動對象116可在一個或多于一個后續(xù)圖像162中部分閉塞。所以，移動對象116在這些后續(xù)圖像中可為不可檢測的。但是，對應(yīng)移動對象116的指紋232可被用于重新獲取移動對象的蹤跡。
[0089]例如，為圖1中在當(dāng)前圖像128之后的圖像而創(chuàng)建的新指紋可被用于與指紋組156和任何其他之前創(chuàng)建的存儲在指紋數(shù)據(jù)庫160中的指紋比較。該比較被用于確定是否所述新指紋對應(yīng)于指紋之前就被創(chuàng)建的移動對象。
[0090]如一個示例實(shí)施例，圖1的后續(xù)圖像162中的一個可被處理并且新指紋234可為該后續(xù)圖像而被創(chuàng)建。在該圖示示例中，指紋管理器204比較新指紋234和存儲在指紋數(shù)據(jù)庫中的不同的指紋以確定是否新指紋是對應(yīng)于指紋之前就被創(chuàng)建的移動對象。
[0091]例如，指紋管理器204可比較新指紋234和指紋232。如果新指紋234在選定的限度內(nèi)匹配指紋232，指紋管理器204確定新指紋234和指紋232是對應(yīng)同一個移動對象，即移動對象116。
[0092]在一些圖示示例中，指紋管理器204將新指紋234和指紋232平均以創(chuàng)建修改指紋，其取代指紋數(shù)據(jù)庫160中的指紋232。在其他圖示示例中，指紋管理器204在指紋數(shù)據(jù)庫160中用新指紋234取代指紋232。這樣，這樣，指紋可被用于追蹤移動對象并重新獲取圖1的序列圖像110中的移動對象的蹤跡。
[0093]在一些情況下，指紋管理器204可被配置為使用之前創(chuàng)建的指紋以追蹤靜止對象。例如，在一些情況下，指紋在之前已經(jīng)被創(chuàng)建的移動對象在序列圖像Iio被產(chǎn)生的這段時間可變靜止。該之前創(chuàng)建的指紋可被用于持續(xù)追蹤該對象，即使該對象不再移動。
[0094]圖1中的圖像處理環(huán)境100的圖示和圖2中的指紋器133并不意味著暗示給示例實(shí)施例可被實(shí)施的方式以物理的或結(jié)構(gòu)上的限制。其他附加組件或替代示出組件的組件可被實(shí)施。一些組件為可選的。而且，方框圖被展示以圖示一些功能組件。當(dāng)一個或多于一個這樣的框圖被實(shí)施在示例實(shí)施例中時，其可被組合、分離或合并被分成不同的框圖。
[0095]例如，圖像分段器130、連續(xù)性檢查器132和指紋器133在一些情況下可全部為相同模塊的一部分。在一些圖示示例中，其他數(shù)學(xué)模型可被使用，其作為圖2中的多個數(shù)學(xué)模型210的附加模型和/或替代的所述模型。在其他實(shí)施例中，連續(xù)性檢查器132可被配置為替代圖像分段器130產(chǎn)生主統(tǒng)計信息144。
[0096]現(xiàn)參照圖3，圖像的圖示的按照示例實(shí)施例被描述。圖像300是可被成像系統(tǒng)產(chǎn)生的圖像的示例，例如圖1中的成像系統(tǒng)102。
[0097]特別的，圖像300是圖1中序列圖像110的一幅圖像實(shí)施的示例。進(jìn)一步的，圖像300可為圖1中當(dāng)前圖像128的一個實(shí)施的示例。如所述，圖像300包括背景302和移動對象組304。圖像300中在移動對象組304中的移動對象的示例包但不限于，車輛306、308、310 和 312。
[0098]現(xiàn)參照圖4，根據(jù)示例實(shí)施例，運(yùn)動圖像的圖示被描述。運(yùn)動圖像400是圖1中運(yùn)動圖像136的一個實(shí)施的示例。圖3中的圖像300可被運(yùn)動檢測器處理，比如圖1中的運(yùn)動檢測器124，以形成運(yùn)動圖像400。
[0099]如所述，運(yùn)動圖像400包括背景402和運(yùn)動文件組404。進(jìn)一步的，來自圖3中圖像300的移動對象304在運(yùn)動圖像400中仍然可見。背景402表示對圖3中圖像300的全局運(yùn)動有幫助的部分。圖像300的全局運(yùn)動可為，例如，在圖像300中場景的全局運(yùn)動。
[0100]運(yùn)動文件組404是圖1中運(yùn)動文件組135的一個實(shí)施的示例。運(yùn)動文件組404中的每一個運(yùn)動文件表示來自圖3的圖像300中的本地運(yùn)動。本地運(yùn)動是與圖像300的全局運(yùn)動的差值超過了一些選定閾值的運(yùn)動。
[0101]在運(yùn)動文件組404中的運(yùn)動文件的示例包括但不限于運(yùn)動文件406、408、410、412、414和416。在該圖示示例中，運(yùn)動文件406、408、410和412表示本地運(yùn)動，其分別包括車輛306、308、310和312的運(yùn)動。這些運(yùn)動表示這些車輛的運(yùn)動與圖3中圖像300中獲取的所述場景的全局運(yùn)動不同。運(yùn)動圖像400的部分418在下圖5中被更加詳細(xì)描述。
[0102]現(xiàn)轉(zhuǎn)向圖5，根據(jù)本發(fā)明實(shí)施例，來自圖4的運(yùn)動圖像400的部分418的放大圖的圖示被描述。如所描述的，運(yùn)動文件408覆蓋運(yùn)動圖像400中車輛308的頂部。運(yùn)動文件408表示本地運(yùn)動包括車輛308的運(yùn)動。進(jìn)一步的，如所示，運(yùn)動文件408也表示本地運(yùn)動包括車輛308的影子。
[0103]現(xiàn)參照圖6，根據(jù)本發(fā)明實(shí)施例，分段化圖像的圖示被描述。分段化圖像600是圖1中分段化圖像140的一個實(shí)施的示例。圖3中的圖像300可被例如圖1中的圖像分段器130處理，以形成分段化圖像600。[0104]如所述，分段化圖像600包括多個分段602。多個分段602是圖1中多個分段138的一個實(shí)施的示例。多個分段602中的每個分段包括一個或多于一個連續(xù)像素。在多個分段602中形成特定的分段的連續(xù)像素對應(yīng)于圖3的圖像300中的連續(xù)像素，上述兩者分享相似的視覺特征。在多個分段602中形成分段的像素都被指定了相同的值，其表示視覺特征。
[0105]在多個分段602中的分段的不例包括但不限于分段604、606、608、610、612、614和616。這些分段中的每一個表示圖3的圖像300的特定的特征。例如，分段604表示圖3的圖像300中車輛306、308、310和312行駛的路。進(jìn)一步的，分段606和分段614表示圖3中圖像300的背景302中的草。
[0106]分段608表示圖3中車輛306的發(fā)動機(jī)罩。分段610表示圖3中車輛310的發(fā)動機(jī)罩，而分段612表示車輛310的前窗。分段616表示圖3中圖像300中的車輛312投下的影子。分段化圖像600的部分618在下圖7中被描述的更詳細(xì)。
[0107]現(xiàn)轉(zhuǎn)向圖7，根據(jù)本發(fā)明實(shí)施例分段化圖像600的部分618的圖示被描述。如所述，分段化圖像600的多個分段602中的分段702、704、706和708在該圖中看的更清楚。
[0108]分段702表示圖3的圖像300中車輛308車身的頂部。分段704表示圖3中車輛308發(fā)動機(jī)罩的至少一部分。分段706表示圖3的圖像300中車輛308的投影。進(jìn)一步的，分段708表示圖3中車輛308的右側(cè)門。
[0109]現(xiàn)參照圖8，根據(jù)示例實(shí)施例，移動分段圖像的圖示被描述。在圖8中，移動分段圖像800是圖1中移動分段圖像145的一個實(shí)施的示例。圖4中的運(yùn)動圖像400和圖6中的分段化圖像600已經(jīng)被；例如圖1中的圖像分段器130所整合，以形成移動分段圖像。
[0110]如所述，移動分段圖像800包括背景分段802和移動分段804。移動分段804是圖6中分段化圖像600的多個分段602與圖4中運(yùn)動圖像400的運(yùn)動文件組重疊的分段。被同一個運(yùn)動文件重疊的分段可被融合到一起以形成主分段。
[0111]現(xiàn)參照圖9，根據(jù)示例實(shí)施例，主圖像的圖示被描述。主圖像900是圖1中主圖像143的一個實(shí)施的示例。在該圖示的示例中，圖8中的移動分段圖像800中的移動分段804被相同的運(yùn)動文件重疊，所述運(yùn)動文件例如圖1中的圖像分段器，以在主圖像900中形成主分段組901。
[0112]主分段組901是圖1中主分段組142的一個實(shí)施的示例。在主分段組901中的主分段的不例包括但不限于主分段902、904、906、908和910。主分段中的每一個包括移動分段，其來自圖8中的移動分段圖像，屬于同一個運(yùn)動文件，所述運(yùn)動文件位于圖4中的運(yùn)動文件組404中。主圖像900的的部分912包括主分段904，其在線面的圖10中被更詳細(xì)的描述。
[0113]在主分段組901中的每個主分段可被與之前確定的主分段組作比較，所述之前確定的主分段組是在圖3中的圖像300之前被處理的圖像。該比較可被用于確定是否所述主分段實(shí)際表示移動對象、無關(guān)的特性或異常。
[0114]例如，主分段902可被與主分段組比較以確定是否主分段902表示移動屋體，所述主分段組是為之前的圖像確定的。如果主分段902不匹配任何一個之前確定的主分段，那分析可被執(zhí)行以確定是否主分段902表示之前為檢測到的移動對象、異常或是一些其他不相關(guān)特征。[0115]現(xiàn)轉(zhuǎn)向圖10，根據(jù)示例實(shí)施例，圖9中圖像900的部分912的放大圖的圖示被描述。在該圖示示例中，主分段904已經(jīng)被形成，這樣主分段904的輪廓1000在選定的容忍限度內(nèi)匹配圖3中圖像300中的車輛308的輪廓。
[0116]現(xiàn)參照圖11，根據(jù)示例實(shí)施例。一幅圖像的圖示被描述。在圖11中，圖像1100是可被成像系統(tǒng)產(chǎn)生的圖像的示例，所述成像系統(tǒng)例如圖1中的成像系統(tǒng)102。
[0117]特別的，圖像1100是圖1中序列圖像110的一個實(shí)施的示例。進(jìn)一步的，圖像1100可為圖1中當(dāng)前圖像128的一個實(shí)施的示例。如所述，圖像1100包括背景1102和移動對象組1104。圖像1100中移動對象組1104中的移動對象的示例包括但不限于，車輛1106、1108、1110、1112、1114 和 1116。
[0118]現(xiàn)參照圖12，根據(jù)示例實(shí)施例一幅主圖像的圖示被描述。主圖像1200是圖1中主圖像143的一個實(shí)施的示例。來自圖11的圖像1100可被圖1中的對象追蹤器126處理以形成主圖像1200。
[0119]如所述,主圖像1200包括背景分段1202和主圖像組1204。主圖像組1204包括主分段 1206、1208、1210、1212、1214 和 1216。在該圖示示例中，主分段 1206、1208、1210、1212、1214 和 1216 分別表示圖1 中的車輛 1106、1108、1110、1112、1114 和 1116。
[0120]在主分段組1204中的每個主分段通過融合來自多個分段化圖像的多個主分段而形成。關(guān)于哪個分段被融合以形成主分段組1204的選擇使用之前的指紋來執(zhí)行，所述之前的指紋對應(yīng)于圖11中在圖像1100之前被處理的圖像。
[0121]現(xiàn)參照圖13，根據(jù)示例實(shí)施例，流程圖形式的執(zhí)行圖像處理的過程的圖示被描述。在圖13中圖示的所述過程可被使用圖1中的圖像處理系統(tǒng)104而執(zhí)行。
[0122]所述過程由接收當(dāng)前圖像以處理而開始(操作1300)。所述當(dāng)前圖像可為，例如，圖1中的當(dāng)前圖像128。之后，當(dāng)前圖像中的全局運(yùn)動和當(dāng)前圖像中的本地運(yùn)動被識別(操作1302)。當(dāng)前圖像中的所述全局運(yùn)動隨后被從當(dāng)前圖像中的本地運(yùn)動分離以形成運(yùn)動圖像，其中所述運(yùn)動圖像包括運(yùn)動文件組(操作1304)。操作1302和操作1304可被使用例如圖1中的運(yùn)動檢測器124來執(zhí)行。
[0123]接下來，所述當(dāng)前圖像被分段為多個分段以形成分段化圖像(操作1306)。操作1306可被使用例如圖1中的圖像分段器130來執(zhí)行。在所述多個分段中屬于同一個運(yùn)動文件的分段被融合到一起以形成主分段組(操作1308)。之后，需要被加指紋的目標(biāo)分段組被從所述主分段組創(chuàng)建(操作1310)。在操作1310中，在目標(biāo)分段組中的一個目標(biāo)分段表示一個移動對象。
[0124]指紋隨后為目標(biāo)分段組中的每個目標(biāo)分段創(chuàng)建以在多個后續(xù)圖像中追蹤所述移動對象時使用(操作1312)，該過程隨后中止。操作1312可被例如圖1-2中的指紋器133執(zhí)行。所述指紋器133可通過執(zhí)行所述主分段的特征分析來執(zhí)行操作1310。
[0125]現(xiàn)參照圖14，根據(jù)示例實(shí)施例，流程圖形式的實(shí)施來自主分段組的的目標(biāo)分段組的的過程的圖示被描述。在圖14中被圖示的過程可為圖13中的操作1310可被執(zhí)行的一種方式的示例。該過程可被執(zhí)行，通過例如圖1中的圖像分段器130和連續(xù)性檢查器132。
[0126]該過程由為主分段組中的每個主分段產(chǎn)生主統(tǒng)計信息或主統(tǒng)計數(shù)據(jù)開始(操作1400)。之后，主分段被從主分段組中選定以處理(操作1402)。
[0127]所選定的主分段被鏈接到最靠近的匹配的為處理的先前圖像確定的主分段(操作1404)。所述最靠近的匹配的主分段可為，例如，之前確定的主分段具有在之前圖像中的位置，所述位置距離選定的主分段在當(dāng)前圖像中的位置最近。當(dāng)然，在其他圖示示例中，所述最靠近的匹配的主分段可基于對應(yīng)所述選定的主分段的主統(tǒng)計信息和對應(yīng)之前確定的主分段組的主統(tǒng)計信息，所述主分段組對應(yīng)所述之前圖像。
[0128]接下來，所述過程確定是否任何附加的未處理的主分段存在于主分段組(操作1406)。如果附加的未處理的主分段出現(xiàn)，所述過程如上所述回到操作1402。否則，所述過程計算鏈接在一起的每對分段對相似性分?jǐn)?shù)(操作1408)。該相似性分?jǐn)?shù)可為，例如但不限
Kullback-Leibler 差異值(Kullback-Leibler (KL) divergence value)。
[0129]在操作1408中，所述相似性分?jǐn)?shù)可被基于主統(tǒng)計信息計算，所述主統(tǒng)計信息被確定用于當(dāng)前圖像的主分段和為之前圖像的之前確定的主分段。在一些圖示示例中，被基于相對于當(dāng)前圖像，對于之前被處理的多個圖像計算所述相似性分?jǐn)?shù)。
[0130]之后，在一個選定的閾值內(nèi)具有相似性分?jǐn)?shù)的主分段被增加到目標(biāo)分段組(操作1410)，該過程隨后中止。這樣，只有與之前確定的主分段一致的主分段可選為目標(biāo)分段以備將來處理。
[0131]現(xiàn)參照圖15，根據(jù)示例實(shí)施例，流程圖形式的創(chuàng)建指紋的過程的圖示被示出。在圖15中所示的過程可為圖13中操作1312可被實(shí)施的一個方式的示例。該過程可被使用圖1-2中的指紋器133執(zhí)行。
[0132]所述過程可由為目標(biāo)分段組中的每個目標(biāo)分段識別目標(biāo)像素開始(操作1500)。目標(biāo)像素是位于目標(biāo)分段內(nèi)的像素。之后，對應(yīng)于在目標(biāo)分段組中的目標(biāo)分段內(nèi)的每個目標(biāo)像素的特征數(shù)據(jù)被識別(操作1502)。所述對應(yīng)于目標(biāo)像素的特征數(shù)據(jù)可為，例如，特征向量，其包括色度數(shù)據(jù)，像素位置的數(shù)據(jù)，熵的數(shù)據(jù)，其他的像素數(shù)據(jù)，或該目標(biāo)像素的以上組
[0133]基于為對應(yīng)每個目標(biāo)分段的目標(biāo)像素產(chǎn)生的特征數(shù)據(jù)，擬合數(shù)據(jù)隨后為目標(biāo)分段組中的每個目標(biāo)分段產(chǎn)生(操作1504)。接下來，基于所述擬合數(shù)據(jù)，對應(yīng)目標(biāo)分段組的每個目標(biāo)分段的指紋被創(chuàng)建(操作1506)，該過程隨后中止。在操作1506中，對應(yīng)所述目標(biāo)分段組的指紋機(jī)被創(chuàng)建。這些指紋被存儲以備將來在后續(xù)圖像中檢測和追蹤移動對象。
[0134]現(xiàn)參照圖16，根據(jù)示例實(shí)施例，流程圖形式的形成主分段組的過程的圖示被示出。圖16中所圖示的過程可為圖13中操作1308可被實(shí)施的一種方式的示例。該過程可被使用圖1-2中的指紋器133執(zhí)行。
[0135]該過程可由創(chuàng)建對應(yīng)分段化圖像中的多個分段的多個分段指紋而開始(操作1600)。在操作1600中，分段指紋為所述多個分段中的每個分段而被創(chuàng)建。
[0136]在一個圖示示例中，高斯協(xié)方差模型可被用于創(chuàng)建每個分段指紋。使用的模型可如下所示:
【權(quán)利要求】
1.一種圖像處理系統(tǒng)(104),其包括: 圖像分段器(130)，其被配置為將序列圖像(110)中的當(dāng)前圖像(128)分段為多個分段(138)以形成分段化圖像(140)，并將在多個分段(138)中屬于同一個運(yùn)動文件的分段融合在一起以形成主分段組(142); 連續(xù)性檢查器(132)，其被配置為從主分段組(142)中識別目標(biāo)分段組(154)，其中所述目標(biāo)分段組(154)表示在當(dāng)前圖像(128)中的移動對象組(155);以及 指紋器(133)，其被配置為創(chuàng)建用于在序列圖像(110)中的多個后續(xù)圖像(162)中追蹤所述移動對象組(155)的指紋組(156)。
2.根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng)(104)，進(jìn)一步包括: 運(yùn)動檢測器(124)，其被配置為使用當(dāng)前圖像(128)形成運(yùn)動圖像(136)，其中所述運(yùn)動圖像(136 )包括運(yùn)動文件組(135)。
3.根據(jù)權(quán)利要求2所述的圖像處理系統(tǒng)(104)，其中所述運(yùn)動檢測器(124)進(jìn)一步配置為:在當(dāng)前圖像(128)中識別本地運(yùn)動和全局運(yùn)動，并在當(dāng)前圖像(128)中將所述全局運(yùn)動從所述本地運(yùn)動中分離以形成所述運(yùn)動圖像(136 )。
4.根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng)(104)，其中所述連續(xù)性檢查器(132)進(jìn)一步配置為:根據(jù)為所述主分段(152)產(chǎn)生的主統(tǒng)計信息(144)，確定是否在主分段組中的主分段(152)要被增加到所述目標(biāo)分段組(154)。
5.根據(jù)權(quán)利要求4所述的圖像處理系統(tǒng)(104)，其中所述圖像分段器(130)被配置為:通過為所述主分段(152)產(chǎn)生分段數(shù)據(jù)(146)并將所述分段數(shù)據(jù)(146)擬合到數(shù)學(xué)模型(148)中，來為所述主分段(152)產(chǎn)生主統(tǒng)計信息(144)。
6.根據(jù)權(quán)利要求5所述的圖像處理系統(tǒng)(104)，其中所述數(shù)學(xué)模型(148)是廣義線性模型(212)。
7.根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng)(104)，其中所述指紋器(133)進(jìn)一步配置為:對所述目標(biāo)分段組(154 )中的目標(biāo)分段(230 )執(zhí)行特征分析(206 )，從而形成被增加到所述指紋組(156)的用于所述目標(biāo)分段的指紋(232)； 為在所述目標(biāo)分段組(154)中的每個目標(biāo)(230)分段識別特征數(shù)據(jù)(208)，將所述特征數(shù)據(jù)(208)擬合到多個數(shù)學(xué)模型(210)中以產(chǎn)生擬合數(shù)據(jù)(228)，并使用所述擬合數(shù)據(jù)(228)創(chuàng)建所述指紋組(156);并且 其中所述多個數(shù)學(xué)模型(210)包括空間廣義線性模型(212)、僅特征的廣義線性模型(214)、空域圖(216)和直方圖(218)之中的至少一個。
8.用于在序列圖像(110)中追蹤移動對象(155)的計算機(jī)實(shí)施的方法，所述計算機(jī)實(shí)施的方法包括: 將序列圖形(110)中的當(dāng)前圖像(128)分段為多個分段(138); 將在多個分段(138)中屬于同一個運(yùn)動文件的分段融合在一起以形成主分段組(142)； 從所述主分段組(142)識別目標(biāo)分段組(154)，其中所述目標(biāo)分段組(154)表示在當(dāng)前圖像(128)中的移動對象組(155);并且 創(chuàng)建用于在序列圖像(110)中的多個后續(xù)圖像(162)中追蹤移動對象組(155)的指紋組(156)。
9.根據(jù)權(quán)利要求8所述的計算機(jī)實(shí)施的方法，進(jìn)一步包括: 使用所述當(dāng)前圖像形成運(yùn)動圖像(136)，其中所述運(yùn)動圖像(136)包括運(yùn)動文件組(135);并且其中所述形成所述運(yùn)動圖像(136)的步驟包括: 識別當(dāng)前圖像(128)中的本地運(yùn)動和全局運(yùn)動；并且 從所述本地運(yùn)動中分離所述全局運(yùn)動以形成所述運(yùn)動圖像(136 )。
10.根據(jù)權(quán)利要求9所述的計算機(jī)實(shí)施的方法，其中所述將在多個分段(138)中屬于同一個運(yùn)動文件(135)的分段融合在一起以形成所述主分段組(142)的步驟包括: 將在多個分段(138)中屬于相同運(yùn)動文件的分段融合在一起以形成主分段組(142)，所述運(yùn)動文件在所述運(yùn)動圖像(136)的運(yùn)動文件組(135)中。
11.根據(jù)權(quán)利要求8所述的計算機(jī)實(shí)施的方法，其中從所述主分段組(142)中識別目標(biāo)分段組(154)的步驟包括: 為在主分段組(142)中的主分段(152)產(chǎn)生主統(tǒng)計信息(144)； 基于對應(yīng)所述主分段(152)的主統(tǒng)計信息(144)，確定是否所述主分段(152)要被增加到所述目標(biāo)分段組(154); 其中為在所述主分段組(142)中的主分段(152)產(chǎn)生主統(tǒng)計信息(144)的步驟包括: 為所述主分段(152)產(chǎn)生分段數(shù)據(jù)(146); 將所述分段數(shù)據(jù)(146)擬合到數(shù)學(xué)模型(148)，以為所述主分段(152)產(chǎn)生主統(tǒng)計信息(144);并且 其中擬合所述分段數(shù)據(jù)(146)到所述數(shù)學(xué)模型(148)以為所述主分段(152)產(chǎn)生所述主統(tǒng)計信息(144)包括: 擬合所述分段數(shù)據(jù)(146)到所述數(shù)學(xué)模型(148)為所述主分段(152)產(chǎn)生所述主統(tǒng)計信息(144)，其中所述數(shù)學(xué)模型(148)是廣義線性模型(212)。
12.根據(jù)權(quán)利要求8所述的計算機(jī)實(shí)施的方法，其中創(chuàng)建用于追蹤在序列圖像(110)的多個后續(xù)圖像(162)中的所述移動對象組(155)的指紋組(156)的步驟包括: 對在目標(biāo)分段組(154 )中的目標(biāo)分段(230 )執(zhí)行特征分析(206 )，以形成用于所述目標(biāo)分段(230)的所述指紋組(156)中的指紋(232)。
13.根據(jù)權(quán)利要求8所述的計算機(jī)實(shí)施的方法，其中創(chuàng)建用于追蹤在序列圖像(110)的多個后續(xù)圖像(162)中的所述移動對象組(155)的指紋組(156)的步驟包括: 識別用于目標(biāo)分段組(154)中的每個目標(biāo)分段(230)的特征數(shù)據(jù)(208)； 擬合所述特征數(shù)據(jù)(208)到多個數(shù)學(xué)模型(210)以產(chǎn)生擬合數(shù)據(jù)(228)； 使用所述擬合數(shù)據(jù)(228 )創(chuàng)建所述指紋組(156 );并且 其中擬合所述特征數(shù)據(jù)(208)到多個數(shù)學(xué)模型(210)以產(chǎn)生擬合數(shù)據(jù)(228)的步驟包括: 擬合所述特征數(shù)據(jù)(208)到多個數(shù)學(xué)模型(210)，以產(chǎn)生擬合數(shù)據(jù)(228)，其中所述多個數(shù)學(xué)模型(210)包括空間廣義線性模型(212)，僅特征的廣義線性模型(214)，空域圖(216)和直方圖(218)之中的至少一個。
14.根據(jù)權(quán)利要求5所述的圖像處理系統(tǒng)(104)，配置為執(zhí)行用于在序列圖像(110)中追蹤移動對象(155)的方法，包括: 在當(dāng)前圖像(128)中識別本地運(yùn)動和全局運(yùn)動；將所述全局運(yùn)動從本地運(yùn)動中分離以形成運(yùn)動圖像(136)，其中所述運(yùn)動圖像(136)包括運(yùn)動文件組(135)； 將在圖像序列(110)中的所述當(dāng)前圖像(128)分段為多個分段(138)以形成分段化圖像(140)； 將在多個分段(138)中屬于同一個運(yùn)動文件的分段融合到一起以形成具有主分段組(142)的主圖像； 從所述主分段組(142)的識別目標(biāo)分段組(154)以形成目標(biāo)圖像，其中所述目標(biāo)分段組(154)表示在所述當(dāng)前圖像(128)中的移動對象組(155);并且 創(chuàng)建用于在序列圖像(110)的多個后續(xù)圖像(162)中追蹤移動對象組(155)的指紋組(156)?！?br> 【文檔編號】G06K9/46GK103716687SQ201310461763
【公開日】2014年4月9日 申請日期:2013年9月30日 優(yōu)先權(quán)日:2012年9月28日
【發(fā)明者】T·N·蒙德亨克, K·科米, Y·歐威斯克 申請人:波音公司