專(zhuān)利名稱(chēng)：：識(shí)別視頻幀中的亂真區(qū)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及用于對(duì)視頻幀、特別是包括視頻序列的一部分的視頻幀中的亂真區(qū)(spuriousregion)進(jìn)行識(shí)別的方法和系統(tǒng)。
背景技術(shù)：
：數(shù)字視頻處理的應(yīng)用范圍很廣。例如，現(xiàn)代視頻監(jiān)視系統(tǒng)采用數(shù)字處理技術(shù)在視頻中提供與移動(dòng)對(duì)象有關(guān)的信息。這種系統(tǒng)典型地包括直接或經(jīng)由網(wǎng)絡(luò)鏈路連接至計(jì)算機(jī)系統(tǒng)的視頻攝像機(jī)。計(jì)算機(jī)系統(tǒng)運(yùn)行被設(shè)置用于處理并分析從攝像機(jī)提供的視頻數(shù)據(jù)的軟件。圖1是示出這種監(jiān)視系統(tǒng)的軟件級(jí)階段的框圖。在第一階段1中，從視頻數(shù)據(jù)的初始段獲知背景模型。該背景模型通常包括表示相對(duì)靜態(tài)背景內(nèi)容的統(tǒng)計(jì)信息。在這方面，應(yīng)當(dāng)明白，與前景中的對(duì)象相比，背景場(chǎng)景會(huì)保持相對(duì)靜止。在第二階段3中，對(duì)每個(gè)輸入視頻幀進(jìn)行前景提取和背景適應(yīng)。將當(dāng)前幀和背景模型進(jìn)行比較，來(lái)估計(jì)當(dāng)前幀的哪些像素表示前景區(qū)，而哪些像素表示背景區(qū)。還對(duì)背景模型中的微小變化進(jìn)行更新。在第三階段5中，從幀到幀跟蹤前景區(qū)，并且在當(dāng)前幀的前景區(qū)與之前幀中被跟蹤的前景區(qū)之間建立對(duì)應(yīng)。同時(shí)，更新軌跡數(shù)據(jù)庫(kù)，以使每個(gè)前景區(qū)的跟蹤歷史都可用于高級(jí)應(yīng)用7，高級(jí)應(yīng)用7例如可以對(duì)一個(gè)或更多個(gè)跟蹤對(duì)象進(jìn)行行為分析。處理了每個(gè)視頻幀之后，對(duì)背景模型進(jìn)行有效性驗(yàn)證9，以確定它是否仍舊有效。所采集的場(chǎng)景的顯著或突然變化可能需要返回第一階段1進(jìn)行新背景模型的初始化。美國(guó)專(zhuān)利申請(qǐng)公報(bào)No.2003/0053659Al中公開(kāi)了一種已知的智能視頻系統(tǒng)。Stauffer禾卩Grimson在"LearningPatternsofActivityusingReal-TimeTracking",IEEETransactionsonPatternAnalysisandMachineIntelligence,Volume22，No.8,August2000中公開(kāi)了-一種已知的前景提取和跟蹤方法。在前景提取階段3中，共同的是，要將一些圖像區(qū)分類(lèi)為前景對(duì)象，雖然事實(shí)上并非如此。例如，如果視頻場(chǎng)景包含重復(fù)性運(yùn)動(dòng)(如，樹(shù)上的樹(shù)葉前后擺動(dòng))，則前景提取階段3可以將移動(dòng)區(qū)分類(lèi)為前景，雖然事實(shí)上樹(shù)葉形成了背景場(chǎng)景的部分。另外，釆集、編碼以及解碼視頻數(shù)據(jù)的處理將不可避免地將噪聲引入系統(tǒng)。這種噪聲可能會(huì)通過(guò)前景提取階段3的固有操作而被檢測(cè)為前景?？紤]這種不正確分類(lèi)的圖像區(qū)，并且在此稱(chēng)為亂真區(qū)。人們希望識(shí)別出視頻幀中的這種亂真區(qū)。這樣，對(duì)于要在感興趣的真實(shí)區(qū)上進(jìn)行后續(xù)處理步驟的目的來(lái)說(shuō)，就可以忽視這些區(qū)域。例如，人們希望僅在真實(shí)前景區(qū)上運(yùn)行對(duì)象跟蹤階段5。由于嘗試跟蹤表示重復(fù)運(yùn)動(dòng)或噪聲的區(qū)域，視頻處理系統(tǒng)將有價(jià)值的處理和存儲(chǔ)器資源浪費(fèi)在了用戶(hù)不感興趣的數(shù)據(jù)上。
發(fā)明內(nèi)容本發(fā)明的第一方面提供了一種對(duì)出現(xiàn)在視頻序列中的對(duì)象進(jìn)行跟蹤的方法，該視頻序列包括多個(gè)幀，每個(gè)幀都包括多個(gè)像素，所述方法包括以下步驟(i)對(duì)所述視頻序列中的第一幀和第二幀進(jìn)行比較，以識(shí)別其中的像素表示進(jìn)行幀間運(yùn)動(dòng)的對(duì)象的區(qū)域；(ii)確定所述區(qū)域是否出現(xiàn)在預(yù)定數(shù)量的后續(xù)幀中，如果是，則為所述區(qū)域分配一表示其位置在所述預(yù)定數(shù)量的幀上的改變的運(yùn)動(dòng)參數(shù)；(iii)將所述運(yùn)動(dòng)參數(shù)與一閾值進(jìn)行比較，以確定是否要跟蹤所述區(qū)域；以及(iv)如果要跟蹤所述區(qū)域，則針對(duì)識(shí)別出所述區(qū)域的后續(xù)幀，記錄所述區(qū)域的幀位置。本發(fā)明的優(yōu)選特征在附加于此的從屬權(quán)利要求中限定。本發(fā)明的另一方面提供了一種對(duì)出現(xiàn)在視頻序列中的對(duì)象進(jìn)行跟蹤的方法，該視頻序列包括多個(gè)幀，每個(gè)幀都包括多個(gè)像素，所述方法包括以下步驟(i)對(duì)所述視頻序列的第一幀和第二幀進(jìn)行比較，以識(shí)別其中的像素表示進(jìn)行幀間運(yùn)動(dòng)的對(duì)象的區(qū)域；(ii)基于所述區(qū)域在所述多個(gè)視頻幀上的運(yùn)動(dòng)特征，向其分配一運(yùn)動(dòng)參數(shù)以及(iii)針對(duì)所述視頻序列的識(shí)別出所述區(qū)域的后續(xù)幀，只有當(dāng)所述區(qū)域的運(yùn)動(dòng)參數(shù)小于一預(yù)定閾值T《時(shí)才記錄所述區(qū)域的幀位置。本發(fā)明的另一方面提供了一種視頻處理系統(tǒng)，該視頻處理系統(tǒng)用于對(duì)出現(xiàn)在視頻序列中的對(duì)象進(jìn)行選擇性跟蹤，該視頻序列包括多個(gè)幀，每個(gè)幀都包括多個(gè)像素，所述視頻處理系統(tǒng)被設(shè)置用于(i)對(duì)所述視頻序列中的第一幀和第二幀進(jìn)行比較，以識(shí)別其中的像素表示進(jìn)行幀間運(yùn)動(dòng)的對(duì)象的區(qū)域；(ii)確定所述區(qū)域是否出現(xiàn)在預(yù)定數(shù)量的后續(xù)幀中，如果是，則為所述區(qū)域分配一表示其位置在所述預(yù)定數(shù)量的幀上的改變的運(yùn)動(dòng)參數(shù)；(iii)將所述運(yùn)動(dòng)參數(shù)與一閾值進(jìn)行比較，以確定是否要跟蹤所述區(qū)域；以及(iv)如果要跟蹤所述區(qū)域，則針對(duì)識(shí)別出所述區(qū)域的后續(xù)幀，記錄所述區(qū)域的幀位置。本發(fā)明的另一方面提供了一種對(duì)包括視頻序列的一部分的視頻幀中的對(duì)象進(jìn)行分類(lèi)的方法，該方法包括以下步驟(a)在第一幀中識(shí)別第一對(duì)象，并將該第一對(duì)象與具有多個(gè)預(yù)定狀態(tài)之一的狀況參數(shù)相關(guān)聯(lián)，每個(gè)狀態(tài)都具有與其相關(guān)聯(lián)的不同變換(transition)規(guī)則；(b)在后續(xù)幀中識(shí)別至少一個(gè)候選對(duì)象；(c)將該候選對(duì)象或每個(gè)候選對(duì)象與所述第一對(duì)象進(jìn)行比較，以確定其間是否存在對(duì)應(yīng)；以及(d)根據(jù)其關(guān)聯(lián)轉(zhuǎn)變規(guī)則對(duì)所述第一對(duì)象的狀況參數(shù)進(jìn)行更新，所述轉(zhuǎn)變規(guī)則表示取決于是否在步驟(c)中識(shí)別出對(duì)應(yīng)，應(yīng)該將所述狀況參數(shù)轉(zhuǎn)變?yōu)樗龆鄠€(gè)預(yù)定狀態(tài)中的哪一個(gè)。通過(guò)將對(duì)象分類(lèi)為處于特定狀態(tài)下，可以決定是否應(yīng)當(dāng)跟蹤該對(duì)象。應(yīng)用與該對(duì)象相關(guān)聯(lián)的預(yù)定規(guī)則，在與后續(xù)幀中的候選對(duì)象進(jìn)行比較之后來(lái)確定對(duì)象的更新后狀態(tài)。更新后狀態(tài)可以反映該對(duì)象為新、真實(shí)、遮蔽(occlude),或者已經(jīng)從后續(xù)幀中消失，從而在接收到下一幀時(shí)可以應(yīng)用適當(dāng)?shù)囊?guī)則。所述方法還可以包括針對(duì)所述視頻序列中的多個(gè)后續(xù)幀重復(fù)步驟(b)到(d)。如果在步驟(c)中沒(méi)有識(shí)別出對(duì)應(yīng)，則與狀態(tài)相關(guān)聯(lián)的轉(zhuǎn)變規(guī)則可以使?fàn)顩r參數(shù)維持其當(dāng)前狀態(tài)。狀況參數(shù)可以具有新?tīng)顟B(tài)或真實(shí)狀態(tài)，在步驟(C)中識(shí)別出對(duì)應(yīng)的情況下，與新?tīng)顟B(tài)相關(guān)聯(lián)的轉(zhuǎn)變規(guī)則使?fàn)顩r參數(shù)改變成真實(shí)狀態(tài)。所述方法還可以包括僅當(dāng)所述狀況參數(shù)處于真實(shí)狀態(tài)下時(shí)，才記錄所述第一對(duì)象與對(duì)應(yīng)候選對(duì)象之間的位置變化。只有當(dāng)在步驟(C)中在多個(gè)后續(xù)幀中識(shí)別出對(duì)應(yīng)時(shí)，才可以將所述狀況參數(shù)改變成真實(shí)狀態(tài)。只有當(dāng)(i)在步驟(C)中識(shí)別出對(duì)應(yīng)和(ii)對(duì)象的提取位置特征滿(mǎn)足一組預(yù)定標(biāo)準(zhǔn)時(shí)，才可以將所述狀況參數(shù)改變成真實(shí)狀態(tài)。步驟(ii)可以包括基于所述第一區(qū)在多個(gè)視頻幀上的位置特征，向其分配一運(yùn)動(dòng)因子^;并且如果運(yùn)動(dòng)因子小于預(yù)定閾值TV則將所述第一對(duì)象分類(lèi)為滿(mǎn)足所述預(yù)定標(biāo)準(zhǔn)。運(yùn)動(dòng)因子^可以如下給出其中，c^和c^分別是所述第一對(duì)象在x方向和y方向上的位置方差，^和^;分別是x方向和y方向的速度方差，而i:是一預(yù)定常量。所述方法還可以包括連同表示所記錄的所述第一對(duì)象與對(duì)應(yīng)候選對(duì)象之間的位置變化的覆蓋跡線(xiàn)一起，來(lái)顯示所述后續(xù)幀中的對(duì)應(yīng)候選對(duì)象。所述狀況參數(shù)還可以具有遮蔽狀態(tài)，在步驟(c)中沒(méi)有識(shí)別出對(duì)應(yīng)并且所述第一對(duì)象覆蓋了出現(xiàn)在同一幀中的感興趣的不同區(qū)域的情況下，與真實(shí)狀態(tài)相關(guān)聯(lián)的轉(zhuǎn)變規(guī)則使所述狀況參數(shù)改變成所述遮蔽狀態(tài)。所述方法還可以包括提供表示所述第一對(duì)象的外觀特征,的第一數(shù)據(jù)集，并且針對(duì)后續(xù)幀中的所述候選區(qū)或每個(gè)候選區(qū)提取表示該相應(yīng)對(duì)象的外觀特征/的第二數(shù)據(jù)集，步驟(c)包括在代價(jià)函數(shù)C&中對(duì)所述第一外觀數(shù)據(jù)集和所述第二外觀數(shù)據(jù)集或每個(gè)第二外觀數(shù)據(jù)集進(jìn)行組合，由此生成表示所述第一對(duì)象與所述新候選區(qū)或每個(gè)新候選區(qū)之間的對(duì)應(yīng)程度的數(shù)字參數(shù)。代價(jià)函數(shù)可以由下面的表達(dá)式給出、-仏^其中，"表示所述第一對(duì)象的外觀特征，/表示候選區(qū)的外觀特征,^是/T在預(yù)定數(shù)量幀上的方差，而"是第一數(shù)據(jù)集和第二數(shù)據(jù)集中的外觀特征的數(shù)量。所述第一對(duì)象和候選對(duì)象的外觀特征可以包括與該對(duì)象和候選對(duì)象的幀位置有關(guān)的特征，以及與該對(duì)象和候選對(duì)象的形狀有關(guān)的特征。如果在步驟(c)中識(shí)別出了對(duì)應(yīng)，則可以利用與該第一對(duì)象對(duì)應(yīng)的候選對(duì)象的外觀特征/對(duì)所述第一對(duì)象的外觀特征yr進(jìn)行更新。本發(fā)明的另一方面提供了一種存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括一指令集，使計(jì)算機(jī)執(zhí)行以下步驟，(a)在第一幀中識(shí)別第一對(duì)象，并將該第一對(duì)象與具有多個(gè)預(yù)定狀態(tài)之一的狀況參數(shù)相關(guān)聯(lián)，每個(gè)狀態(tài)都具有與其相關(guān)聯(lián)的不同轉(zhuǎn)變規(guī)則；(b)在后續(xù)幀中識(shí)別至少一個(gè)候選對(duì)象；(c)將該候選對(duì)象或每個(gè)候選對(duì)象與所述第一對(duì)象進(jìn)行比較，以確定其間是否存在對(duì)應(yīng)；以及(d)根據(jù)其關(guān)聯(lián)轉(zhuǎn)變規(guī)則對(duì)所述第一對(duì)象的狀況參數(shù)進(jìn)行更新，所述轉(zhuǎn)變規(guī)則表示取決于是否在步驟(c)中識(shí)別出對(duì)應(yīng)，應(yīng)該將所述狀況參數(shù)轉(zhuǎn)變?yōu)樗龆鄠€(gè)預(yù)定狀態(tài)中的哪一個(gè)。本發(fā)明的另一方面提供了一種視頻處理裝置，該視頻處理裝置包括輸入部，其用于接收視頻序列的幀；對(duì)象隊(duì)列部，其被設(shè)置用于存儲(chǔ)表示在一個(gè)或更多個(gè)幀中識(shí)別的對(duì)象的并且與每個(gè)對(duì)象相關(guān)聯(lián)的數(shù)據(jù)、表示多個(gè)預(yù)定狀態(tài)之一的狀況參數(shù)；視頻分析裝置，其被設(shè)置用于接收其中有一個(gè)或更多個(gè)候選對(duì)象的幀，并且確定該候選對(duì)象或每個(gè)候選對(duì)象是否與所述對(duì)象隊(duì)列中的對(duì)象相匹配；以及狀態(tài)變換控制器，其被設(shè)置用于根據(jù)與對(duì)象的狀況參數(shù)的狀態(tài)相對(duì)應(yīng)的轉(zhuǎn)變規(guī)則來(lái)更新對(duì)象隊(duì)列中的每一個(gè)對(duì)象的狀況參數(shù)，所述轉(zhuǎn)變規(guī)則指示所述多個(gè)預(yù)定狀態(tài)中的所述狀況參數(shù)應(yīng)當(dāng)被轉(zhuǎn)變成的那個(gè)預(yù)定狀態(tài)。根據(jù)本發(fā)明的另一方面，提供了一種狀態(tài)轉(zhuǎn)變數(shù)據(jù)庫(kù)，該狀態(tài)轉(zhuǎn)變數(shù)據(jù)庫(kù)供視頻處理系統(tǒng)使用，存儲(chǔ)表示視頻幀中識(shí)別的一個(gè)或更多個(gè)對(duì)象的信息，每一個(gè)對(duì)象都被分類(lèi)成多個(gè)預(yù)定對(duì)象狀態(tài)中的一個(gè)，所述數(shù)據(jù)庫(kù)針對(duì)每一個(gè)相應(yīng)對(duì)象狀態(tài)定義了多個(gè)不同轉(zhuǎn)變規(guī)則，所述轉(zhuǎn)變規(guī)則根據(jù)所述對(duì)象是否和后續(xù)幀中出現(xiàn)的對(duì)象匹配而定義了兩個(gè)或更多個(gè)將該對(duì)象轉(zhuǎn)換成的更新?tīng)顟B(tài)。下面參照附圖，通過(guò)實(shí)施例，對(duì)本發(fā)明進(jìn)行說(shuō)明，其中圖1是示出常規(guī)智能視頻系統(tǒng)的處理階段的框圖2是示出根據(jù)本發(fā)明一實(shí)施方式的智能視頻監(jiān)視系統(tǒng)的組件的框圖3是示出圖2所示監(jiān)視系統(tǒng)的處理階段的框圖4是監(jiān)視系統(tǒng)的前景提取階段中使用的背景模型的表示圖5是將視頻幀輸入至前景提取階段的表示圖6是前景提取階段生成的前景遮罩的表示圖7是示出監(jiān)視系統(tǒng)的陰影去除階段的功能部件的框圖8a-8h是按陰影去除階段的不同操作相態(tài)生成的遮罩圖像的表示圖圖9a-9e示意地示出了跟蹤多個(gè)視頻幀中出現(xiàn)的兩個(gè)不同對(duì)象的處理；圖IO是指示有多個(gè)提取位置特征的斑點(diǎn)遮罩的表示圖11是示出監(jiān)視系統(tǒng)的對(duì)象跟蹤階段的處理子階段的框圖12是表示用于對(duì)象跟蹤階段中的對(duì)象隊(duì)列的表；圖13是對(duì)象跟蹤階段中的匹配價(jià)值處理子階段的示意表示圖14是示出多個(gè)對(duì)象狀態(tài)和與每一個(gè)對(duì)象狀態(tài)關(guān)聯(lián)的轉(zhuǎn)變規(guī)則的流程圖15a-15c是在不同處理階段由監(jiān)視系統(tǒng)接收的圖像，該圖像可用于理解對(duì)象跟蹤階段的操作；圖16是示出涉及高級(jí)跟蹤方案的流程圖圖17是示出可以在匹配價(jià)值處理子階段中執(zhí)行的多個(gè)附加步驟的流程圖圖18是軌跡數(shù)據(jù)庫(kù)和顯示控制應(yīng)用的框圖19是示出跟蹤和對(duì)象類(lèi)別信息的后處理視頻幀的表示圖20a-20d示出了第一視頻序列的順序幀，這些幀可用于理解本發(fā)明；圖21a-21d示出了第二視頻序列的順序幀，這些幀可用于理解本發(fā)明；以及圖22a-22d示出了第一視頻序列的順序幀，這些幀可用于理解本發(fā)明。具體實(shí)施例方式參照?qǐng)D2，智能視頻監(jiān)視系統(tǒng)IO包括攝像機(jī)11、個(gè)人計(jì)算機(jī)(PC)13，以及視頻監(jiān)視器15。攝像機(jī)ll是web攝像機(jī)，例如，LogitecTMpro4000彩色web攝像機(jī)。可以使用能夠輸出數(shù)字圖像數(shù)據(jù)的任何類(lèi)型的攝像機(jī)，例如，數(shù)字?jǐn)z像放像機(jī)或具有模-數(shù)轉(zhuǎn)換裝置的模擬攝像機(jī)。Web攝像機(jī)11通過(guò)網(wǎng)絡(luò)14與PC13進(jìn)行通信，網(wǎng)絡(luò)14可以是諸如局域網(wǎng)(LAN)或互聯(lián)網(wǎng)的任何網(wǎng)絡(luò)。實(shí)際上，web攝像機(jī)11和PC13經(jīng)由各自的網(wǎng)絡(luò)連接(未示出)，如數(shù)字用戶(hù)線(xiàn)路(DSL)調(diào)制解調(diào)器，連接至網(wǎng)絡(luò)14。另選的是，web攝像機(jī)ll可以通過(guò)PC通用串行總線(xiàn)(USB)端口12直接連接至PC13。PC13可以包括任何標(biāo)準(zhǔn)計(jì)算機(jī)。在這種情況下，PC13是具有1GHz處理器、512兆字節(jié)隨機(jī)存取存儲(chǔ)器(RAM),以及40吉字節(jié)硬盤(pán)驅(qū)動(dòng)器的臺(tái)式計(jì)算機(jī)。視頻監(jiān)視器15是通過(guò)標(biāo)準(zhǔn)視頻連接器連接至PC13的17〃薄膜晶體管(TFT)監(jiān)視器。PC13的硬盤(pán)驅(qū)動(dòng)器上提供有視頻處理軟件。該軟件被設(shè)置用于對(duì)從web攝像機(jī)11接收到的視頻數(shù)據(jù)執(zhí)行多個(gè)處理操作。該視頻數(shù)據(jù)表示所采集的視頻的單獨(dú)幀，每個(gè)幀都由多個(gè)像素組成。在這個(gè)實(shí)施方式中，每個(gè)幀都具有320像素(寬度)乘以240像素(高度)的顯示格式?？梢愿鶕?jù)應(yīng)用而使用另選的顯示格式。因?yàn)閣eb攝像機(jī)11是彩色攝像機(jī)，所以每個(gè)像素都由表示像素在幀中的位置的數(shù)據(jù)，以及決定所顯示顏色的三個(gè)色彩成分(即，紅色成分、綠色成分，以及藍(lán)色成分)的相應(yīng)權(quán)重來(lái)表示。如在本領(lǐng)域中能夠理解的，給定像素的亮度Y可以近似為下式Y(jié)=a.R+|3.G+Y.B(1)其中，a=0.114，|3=0.587，而y-0.299。R、G和B分別表示紅色成分、綠色成分和藍(lán)色成分的值。盡管已知Y的另選表達(dá)式，但本申請(qǐng)人已經(jīng)發(fā)現(xiàn)上式是優(yōu)選的。如圖3所示，視頻處理軟件包括多個(gè)階段。圖3與圖1類(lèi)似，但是增加了陰影去除階段17和對(duì)象特征化階段18，這兩個(gè)階段都并入在前景提取階段3與對(duì)象跟蹤階段5之間。陰影去除階段17的目的是從每個(gè)視頻幀中去除陰影區(qū)和高亮區(qū)。這樣，識(shí)別前景區(qū)的形狀的后續(xù)處理階段就能夠以改進(jìn)的可靠性來(lái)運(yùn)行。包含陰影去除階段17并不是本發(fā)明的要點(diǎn)，而是用于提供改進(jìn)的運(yùn)行。對(duì)象特征化階段18的目的是針對(duì)在視頻幀中識(shí)別的每個(gè)前景區(qū)提取所謂的特征集。特征集包括多個(gè)預(yù)定特征，這多個(gè)預(yù)定特征在后續(xù)步驟中用于將當(dāng)前視頻幀中的對(duì)象和之前視頻幀中識(shí)別的對(duì)象匹配起來(lái)。背景獲知視頻處理軟件最初運(yùn)行在背景獲知階段1。這個(gè)階段的目的是根據(jù)視頻數(shù)據(jù)的初始段來(lái)建立背景模型。這個(gè)視頻段典型地包括一百個(gè)幀。因?yàn)槿魏螆D像的背景場(chǎng)景都可能保持相對(duì)靜止(與前景對(duì)象相比)，所以這個(gè)階段建立了其中應(yīng)當(dāng)看不到前景對(duì)象的背景模型。圖4示出了背景模型19。在這種情況下，將web攝像機(jī)11定向至停車(chē)場(chǎng)。在PC13的存儲(chǔ)器中，背景模型19由一組存儲(chǔ)的表示像素位置的數(shù)據(jù)，以及每個(gè)像素的紅色成分、綠色成分以及藍(lán)色成分的相應(yīng)權(quán)重來(lái)表示。建立了背景模型19后，通過(guò)PC13接收輸入視頻幀，并且通過(guò)視頻處理軟件處理這些視頻幀。隨后的前景提取階段3、陰影去除階段17、對(duì)象特征化階段18、對(duì)象跟蹤階段5以及高級(jí)應(yīng)用7實(shí)時(shí)地處理這些視頻幀。前景提取和背景適應(yīng)前景提取和背景適應(yīng)階段3(以下稱(chēng)為"前景提取階段")對(duì)當(dāng)前幀的每個(gè)像素進(jìn)行分析。將每個(gè)像素與背景模型19中占據(jù)相應(yīng)位置的像素進(jìn)行比較，來(lái)估計(jì)當(dāng)前幀的該像素是否表示前景對(duì)象或背景的一部分。動(dòng)態(tài)地更新背景模型19中的微小變化。背景模型19中的更劇烈或突然的變化需要再獲知操作，利用標(biāo)號(hào)9所表示的測(cè)試來(lái)執(zhí)行再獲知操作。盡管前景提取階段3的詳細(xì)說(shuō)明不是理解本發(fā)明的要點(diǎn)，但技術(shù)人員應(yīng)當(dāng)明白，存在執(zhí)行前景提取3的已知方法?；蛟S最簡(jiǎn)單的是，將每個(gè)像素的亮度與背景模型19中占據(jù)相應(yīng)位置的像素的亮度進(jìn)行比較。如果二者之間的差異大于預(yù)定閾值，則將當(dāng)前像素分類(lèi)為前景像素。一種特別有效的方法是所謂的高斯混合(MoG)方法，該方法由Stauffer&Grimson在"LearningPatternsofActivityUsingReal-TimeTracking",IEEETransactionsonPatternAnalysisandMachineIntelligence,Volume22,No.8August2000,pp.747-757中進(jìn)行了詳細(xì)說(shuō)明。美國(guó)專(zhuān)利申請(qǐng)公報(bào)No.2003/0053658中還描述了MoG方法的實(shí)現(xiàn)。本申請(qǐng)人的未決英國(guó)專(zhuān)利申請(qǐng)No.0425937.0中公開(kāi)了建立背景模型和執(zhí)行前景提取的另一種MoG方法。該英國(guó)申請(qǐng)的全部?jī)?nèi)容，或其國(guó)外等同物通過(guò)引用被并入于此。所有引用都描述了適于建立上述背景模型19的背景獲知方法?？傊琈oG'方法涉及將輸入視頻幀的每個(gè)像素都建模為不同高斯(或正態(tài))統(tǒng)計(jì)分布的混合。這反映了同一場(chǎng)景點(diǎn)的采樣有可能示出高斯噪聲分布的假定。正態(tài)分布的混合反映了可以隨時(shí)間而觀察一個(gè)以上處理的期望?；诨旌系拿總€(gè)分布的持久性(persistence)和方差，確定哪一個(gè)分布對(duì)應(yīng)于當(dāng)前背景。將與背景分布不相配的像素分類(lèi)為前景像素，直到存在不對(duì)應(yīng)并且由建立在多個(gè)幀上的一致證據(jù)支持的分布為止。對(duì)于此處所述實(shí)施方式的情況，前景提取階段3優(yōu)選地利用MoG方法進(jìn)行操作。然而，這絕非要點(diǎn)，也可以使用另選方法。通過(guò)參照?qǐng)D5將更好地理解前景提取階段3的操作，圖5示出了來(lái)自web攝像機(jī)11的輸入視頻幀21。視頻幀21描繪了(a)穿過(guò)停車(chē)場(chǎng)的人23，和(b)穿越停車(chē)場(chǎng)的下部的車(chē)輛25。將視頻幀21的每個(gè)像素與背景模型19中的相應(yīng)像素進(jìn)行比較，來(lái)確定應(yīng)該將像素分類(lèi)為前景像素還是分類(lèi)為背景像素。結(jié)果，前景提取階段3生成前景遮罩。遮罩是包括與每個(gè)像素的類(lèi)別有關(guān)的信息(即，它是表示前景還是表示背景)的圖像數(shù)據(jù)集。參照?qǐng)D6，該圖示出了前景遮罩27的視覺(jué)表示圖，其中，用白色示出前景像素，而用于黑色示出背景像素。前景遮罩27包括第一前景區(qū)29和第二前景區(qū)31。然而，前景區(qū)29、31在其形狀方面都沒(méi)有被特別好地限定，而且，僅利用前景遮罩27，難以確定實(shí)際表示的是哪一個(gè)前景對(duì)象。這是由如圖5所示通過(guò)人23和車(chē)輛25投射到背景上的陰影造成的。表示陰影的像素與背景模型19中占據(jù)相應(yīng)位置的像素相比具有更暗的強(qiáng)度。因此，這些像素被錯(cuò)誤地分類(lèi)為前景像素。高亮區(qū)的存在會(huì)造成類(lèi)似問(wèn)題。作為陰影和高亮的結(jié)果，隨后的處理階段中可能會(huì)出現(xiàn)問(wèn)題。例如，如果對(duì)象特征化階段18從前景提取階段3直接接收到前景遮罩27，則識(shí)別前景對(duì)象的確定特征可能會(huì)遇到困難。對(duì)象跟蹤階段5可能在形成當(dāng)前幀中的前景對(duì)象與之前幀中被跟蹤的前景對(duì)象之間的對(duì)應(yīng)時(shí)遇到困難。如果視頻監(jiān)視系統(tǒng)IO包括其中對(duì)象根據(jù)它們各自的遮罩輪廓與哪一個(gè)"真實(shí)世界"對(duì)象相似而進(jìn)行分類(lèi)的對(duì)象分類(lèi)階段，則可能出現(xiàn)類(lèi)似問(wèn)題。為了緩解上述問(wèn)題，視頻處理軟件包括陰影去除階段17。陰影去除圖7示出了陰影去除階段17的主要功能要件。采用了兩分支處理，包括弱陰影去除32和強(qiáng)陰影去除33。這兩個(gè)處理在前景遮罩27上并行運(yùn)行，并且據(jù)此分別生成更新遮罩和部分區(qū)域遮罩。應(yīng)當(dāng)理解，并行運(yùn)行不是本發(fā)明的要點(diǎn)。然而，對(duì)于這個(gè)實(shí)時(shí)視頻監(jiān)視系統(tǒng)10的目的，優(yōu)選為并行運(yùn)行。弱陰影去除32的目的是僅去除存在于當(dāng)前幀中的最嚴(yán)重的陰影。實(shí)際上，假定僅存在幾個(gè)高度可辨識(shí)陰影。然而，就弱陰影去除32本身來(lái)說(shuō)，因?yàn)槭聦?shí)上幀很可能具有多個(gè)強(qiáng)度變化的陰影，所以它是不夠的。結(jié)果，很可能的是，多個(gè)像素將仍舊被錯(cuò)誤地分類(lèi)為前景像素。與此相反，強(qiáng)陰影去除33的目的是充分去除存在于當(dāng)前幀中的每個(gè)陰影。結(jié)果，很可能的是，某些真實(shí)前景區(qū)將被不正確地檢測(cè)為陰影區(qū)。將陰影投影到其本身上的對(duì)象(所謂的自身陰影)特別易受影響。例如，示出人臉的幀可能包括由鼻子投射到臉頰上的自身陰影區(qū)。強(qiáng)陰影去除33將去除這種區(qū)域，而不管這個(gè)區(qū)域的像素實(shí)際上形成了前景對(duì)象(即，臉)的一部分。結(jié)果通常是其中同一對(duì)象的幾部分看上去彼此分離的碎片圖像，后續(xù)處理步驟會(huì)將每個(gè)碎片都解釋為單獨(dú)的對(duì)象。陰影去除階段17使用來(lái)自弱陰影去除29和強(qiáng)陰影去除30的輸出，來(lái)生成所謂的對(duì)象分類(lèi)遮罩。對(duì)象分類(lèi)遮罩包括部分區(qū)遮罩，部分區(qū)遮罩提供了前景對(duì)象形狀的改進(jìn)的表示，并具有附加分類(lèi)信息，以確保在恰當(dāng)?shù)那闆r下，將碎片對(duì)象部分識(shí)別為屬于同一對(duì)象。為此，在弱陰影去除32之后，在更新遮罩上采用連接區(qū)塊分析(CCA)操作34。CCA操作34生成發(fā)送至前景對(duì)象形成階段35的對(duì)象遮罩。下面對(duì)CCA階段34和前景對(duì)象形成階段35的操作進(jìn)行說(shuō)明。CCA操作34的目的是識(shí)別更新后的前景遮罩中的一簇或更多簇圖像像素。一簇可以包括兩個(gè)或更多個(gè)相鄰或相連的像素。此后，由軟件自動(dòng)建立限定圍住每一簇的最小矩形區(qū)的邊界。將每個(gè)矩形區(qū)在幀上的位置添加至第一更新遮罩，以形成對(duì)象遮罩。為了例示上述處理，我們假定圖6所示前景遮罩27是陰影去除階段17的當(dāng)前輸入。圖8a示出了根據(jù)弱陰影去除32所得的更新后的前景遮罩36。如預(yù)期的那樣，盡管已經(jīng)去除了一些陰影，但是每個(gè)對(duì)象29'、31'的形狀都保持較差的限定。圖8b示出了通過(guò)CCA階段34生成的對(duì)象遮罩37，其中，已經(jīng)添加了圍住相應(yīng)簇29'和31'的矩形邊界。圖8c示出了強(qiáng)陰影去除33之后的部分區(qū)遮罩38。應(yīng)注意到，每個(gè)對(duì)象29〃和31〃的形狀都被較好的限定。然而，強(qiáng)陰影去除33不可避免地造成一些前景像素被不正確地分類(lèi)為背景像素，并且每個(gè)對(duì)象都碎成多個(gè)分離部分。在前景對(duì)象形成階段35中，比較對(duì)象遮罩37和部分區(qū)遮罩38，以在部分區(qū)遮罩38中識(shí)別位置落入對(duì)象遮罩37的公共矩形區(qū)內(nèi)的前景像素。將落入公共矩形區(qū)的所有前景像素分類(lèi)為屬于同一前景對(duì)象。將兩個(gè)矩形區(qū)中的每一個(gè)都稱(chēng)為斑點(diǎn)遮罩。如上所述，將前景對(duì)象形成階段35生成的輸出稱(chēng)為對(duì)象分類(lèi)遮罩39。對(duì)象分類(lèi)遮罩39利用強(qiáng)陰影去除33提供前景對(duì)象的改進(jìn)的形狀表示。通過(guò)為落入尺寸由弱陰影去除32確定的給定邊界區(qū)內(nèi)的每個(gè)部分分配公共標(biāo)識(shí)而避免了因前景區(qū)的碎片造成的潛在問(wèn)題。圖8d示出了對(duì)象分類(lèi)遮罩39的包含由前景對(duì)象形成階段35得到的兩個(gè)斑點(diǎn)遮罩的視覺(jué)表不。參照?qǐng)D8e到8h將更好地理解CCA階段34和對(duì)象形成階段35的工作原理。圖8e示出了弱陰影去除32之后的前景遮罩的特寫(xiě)部分。呈現(xiàn)了單個(gè)簇的前景像素。圖8f示出了由CCA階段34生成的對(duì)象遮罩的特寫(xiě)部分。CCA階段34限定了正好大得足夠圍住每個(gè)前景像素的矩形邊界。圖8g示出了強(qiáng)陰影去除33之后的部分區(qū)遮罩的特寫(xiě)部分。除了呈現(xiàn)有單個(gè)簇的前景像素以外，還存在兩個(gè)分離的簇。圖8h示出了前景對(duì)象形成階段35之后的對(duì)象分類(lèi)遮罩的特寫(xiě)部分。將落入由CCA階段34限定的矩形邊界內(nèi)的部分區(qū)遮罩中的所有前景像素都分類(lèi)為表現(xiàn)公共前景區(qū)。在本申請(qǐng)人的未決英國(guó)專(zhuān)利申請(qǐng)No.0424030.5中公開(kāi)了陰影去除階段的包括軟件級(jí)操作在內(nèi)的進(jìn)一步細(xì)節(jié)。該英國(guó)申請(qǐng)的全部?jī)?nèi)容，或其國(guó)外等同物通過(guò)引用被并入于此。對(duì)象跟蹤直到現(xiàn)在，對(duì)視頻處理軟件的說(shuō)明都集中在被設(shè)置用于識(shí)別輸入視頻幀中的可能前景區(qū)并且被設(shè)置用于通過(guò)陰影去除階段17減輕陰影和高亮的影響的階段上。本部分要描述以下階段的操作，即，對(duì)象跟蹤階段5的操作。來(lái)自陰影去除階段17的輸出是表示對(duì)象分類(lèi)遮罩的視頻數(shù)據(jù)，其本身可以包括其中每一個(gè)都表示可能(或"候選")前景對(duì)象的形狀的一個(gè)或更多個(gè)斑點(diǎn)遮罩。圖8d所示的對(duì)象分類(lèi)遮罩39中呈現(xiàn)了分別表示人和車(chē)輛的形狀的兩個(gè)斑點(diǎn)遮罩29A、29B。對(duì)象跟蹤階段5被設(shè)置用于識(shí)別當(dāng)前幀中的斑點(diǎn)遮罩與己經(jīng)在一個(gè)或更多個(gè)之前幀中識(shí)別出的斑點(diǎn)遮罩之間的對(duì)應(yīng)。這樣，就可以計(jì)算該前景對(duì)象或每個(gè)前景對(duì)象所采取的路徑，并且可以將該路徑信息記錄在軌跡數(shù)據(jù)庫(kù)中。可以將該路徑信息顯示在視頻監(jiān)視器15上和/或設(shè)置成可用于高級(jí)應(yīng)用7，高級(jí)應(yīng)用7例如被設(shè)置用于基于對(duì)象所采取的路徑來(lái)進(jìn)行行為分析。圖9示出了對(duì)象跟蹤的原理。參照?qǐng)D9a，在第一幀中示出了第一對(duì)象130和第二對(duì)象132，每個(gè)單獨(dú)對(duì)象的幀位置都是由笛卡爾坐標(biāo)表示的。圖9b和9c分別在視頻序列的第二和第三后續(xù)幀中示出了第一對(duì)象130和第二對(duì)象132。要注意的是，對(duì)象130、132在每個(gè)幀中的位置都發(fā)生了變化，這表示對(duì)象運(yùn)動(dòng)。在下述的對(duì)象跟蹤階段5中，計(jì)算每個(gè)對(duì)象130、132所采取的軌跡矢量，并且顯示由該軌跡矢量表示的路徑。圖9d和9e分別示出了在接收到第二和第三幀之后與每個(gè)對(duì)象130、132相關(guān)聯(lián)的路徑，圖9e在此示出了針對(duì)所有三個(gè)幀的累積路徑。還示出了表示計(jì)算出的軌跡矢量的笛卡爾坐標(biāo)。為了跟蹤每一個(gè)斑點(diǎn)遮罩，首先必需在當(dāng)前幀中的斑點(diǎn)遮罩與之前幀中已識(shí)別的斑點(diǎn)遮罩之間建立對(duì)應(yīng)或匹配。為清楚起見(jiàn)，以下將在之前幀中已識(shí)別的斑點(diǎn)遮罩稱(chēng)為"對(duì)象"。如在下面詳細(xì)說(shuō)明的，為斑點(diǎn)遮罩和對(duì)象的每一個(gè)組合分配一匹配代價(jià)C。6，該代價(jià)表示每一對(duì)之間匹配的程度。利用基于特征的對(duì)應(yīng)度量來(lái)計(jì)算匹配代價(jià)C。6。如本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的，基于特征的對(duì)應(yīng)度量涉及從每個(gè)對(duì)象中提取多個(gè)特征，并且在代價(jià)函數(shù)中利用這些特征來(lái)識(shí)別與輸入斑點(diǎn)遮罩的匹配。作為另一種方案，可以使用基于模板的對(duì)應(yīng)度量，這種方法采用外觀模板，例如，采用直方圖或色塊的形式，并且將輸入斑點(diǎn)遮罩與每個(gè)模板進(jìn)行比較，來(lái)尋找匹配。隨著斑點(diǎn)遮罩和對(duì)象的數(shù)量增加，基于模板的方法趨于耗時(shí)，因此，出于這個(gè)原因，基于特征的方法是優(yōu)選的?；谔卣鞯膶?duì)應(yīng)方法中的第一階段是從輸入幀的每個(gè)斑點(diǎn)遮罩中提取預(yù)定特征。這是通過(guò)如圖3所示的對(duì)象特征化階段18來(lái)執(zhí)行的。多個(gè)特征包括與每個(gè)斑點(diǎn)遮罩相關(guān)聯(lián)的"特征集"。表1列出了該特征集的特征，這些特征是在大量試驗(yàn)之后選定的，用于識(shí)別給出在比較操作中得到的恰當(dāng)結(jié)果的那些特征。這些特征被分組成四個(gè)主要集合，即，位置、形狀、顏色河速度特征。右手列涉及在位置特征更新處理中采用的Kalman濾色器算法，下面將繼續(xù)進(jìn)一步說(shuō)明。<table>tableseeoriginaldocumentpage18</column></row><table>表1.對(duì)象特征化階段18所提取的特征集圖10示出了斑點(diǎn)遮罩41的位置特征。中心位置特征43是斑點(diǎn)遮罩41的質(zhì)心/重心。還示出了邊界框45和對(duì)象邊界橢圓47，后者在尺寸上足以圍住其周圓內(nèi)的所有像素。邊界框45是圍住斑點(diǎn)遮罩41的所有前景像素的最小矩形。特征的剩余部分無(wú)需解釋。已經(jīng)為每個(gè)斑點(diǎn)遮罩生成了特征集，此后通過(guò)對(duì)象跟蹤階段5來(lái)接收每個(gè)特征集。下面參照?qǐng)D11來(lái)說(shuō)明對(duì)象跟蹤階段5的操作。如圖11所示，對(duì)象跟蹤階段5包括多個(gè)子階段55、57、59、63、65。在第一子階段55中，針對(duì)(a)輸入斑點(diǎn)遮罩和(b)存儲(chǔ)在對(duì)象隊(duì)列中的對(duì)象的每一個(gè)組合，計(jì)算上述匹配代價(jià)C。6。對(duì)象隊(duì)列保持由與已經(jīng)在之前幀(或者更正確的說(shuō)，預(yù)定數(shù)量的之前幀)中識(shí)別的對(duì)象有關(guān)的數(shù)據(jù)。參照?qǐng)D12，其示出了對(duì)象隊(duì)列71的表示。要注意的是，不但存儲(chǔ)與每個(gè)對(duì)象相關(guān)聯(lián)的特征集，而且還呈現(xiàn)多個(gè)其它參數(shù)，包括狀況參數(shù)、跟蹤記錄參數(shù)(TR)以及丟失記錄參數(shù)(LR)。在第二子階段57中，識(shí)別斑點(diǎn)遮罩與對(duì)象之間的匹配。在第三子階段59中，基于前一階段的結(jié)果來(lái)更新對(duì)象隊(duì)列71。這涉及用匹配對(duì)象所匹配的斑點(diǎn)遮罩的相應(yīng)特征來(lái)代替它們的非位置特征。在第三子階段59處沒(méi)有對(duì)位置特征進(jìn)行更新。在第四子階段63中，可以利用狀態(tài)轉(zhuǎn)變對(duì)象管理方案來(lái)更新與對(duì)象隊(duì)列71中的每個(gè)對(duì)象相關(guān)聯(lián)的狀況參數(shù)。狀態(tài)轉(zhuǎn)變對(duì)象管理方案包括基于多個(gè)特征來(lái)確定對(duì)象的狀態(tài)的一套規(guī)則。對(duì)象的狀況決定了是否要跟蹤、刪除對(duì)象，或者使其狀況參數(shù)改變。作為狀態(tài)轉(zhuǎn)變對(duì)象管理方案的一部分，也可以檢查對(duì)象，以確定它們是否表示亂真對(duì)象，與此相反，真前景對(duì)象很可能是用戶(hù)感興趣的。在第五子階段65中，對(duì)象特征預(yù)測(cè)利用Kalman濾色器算法(下面要說(shuō)明)來(lái)更新匹配對(duì)象的位置特征。對(duì)象隊(duì)列71被反饋至第一子階段55，并且利用針對(duì)對(duì)象隊(duì)列中的每一個(gè)對(duì)象的更新后特征集，計(jì)算斑點(diǎn)遮罩的下一個(gè)集合的匹配代價(jià)。如上所述，在第五子階段65中，Kalman濾色器算法對(duì)匹配對(duì)象在對(duì)象隊(duì)列71中的位置特征進(jìn)行更新。更具體地說(shuō)，該算法預(yù)測(cè)下一個(gè)幀的三個(gè)位置特征的各自值。這反映了這樣的事實(shí)，g卩，為了成功地將對(duì)象隊(duì)列71中的對(duì)象與(由于運(yùn)動(dòng))可能占據(jù)了幀中不同位置的輸入斑點(diǎn)遮罩進(jìn)行匹配，在執(zhí)行第一子階段55中的匹配代價(jià)計(jì)算之前預(yù)測(cè)并更新位置特征是有利的。Kalman濾色器算法是在視覺(jué)處理系統(tǒng)中通常使用的遞歸算法，并且其概念本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解得很好。而且，關(guān)于Kalman濾色器的信息公開(kāi)在"AnIntroductiontotheKalmanFilter"byGregWelchandGrayBishop,SIGGRAPH2001Course8,ComputerGraphics,AnnualConferenceonComputerGraphics&InteractiveTechnicques，ACMPress,Addison-Wesley,LosAngeles,California,USA，August2001CoursePack中。這個(gè)文獻(xiàn)目前可以在http:〃www.cs.unc.edu/tracker/media/pdfSIGGRAPH2001CoursePark08.pdf處獲得。參照表1中的右手列，要注意的是，中心位置特征(xA》"是利用第二階Kalman濾色器預(yù)測(cè)的。這允許我們預(yù)測(cè)每個(gè)遮罩的速度特征(v/,v/)。速度特征(v/,v/)是中心位置特征的一階導(dǎo)數(shù)，并且用于第四子階段63中采用的狀態(tài)轉(zhuǎn)變對(duì)象管理方案中。在第三子階段59中，通過(guò)用特征集的剩余非位置特征所匹配的斑點(diǎn)遮罩的相應(yīng)特征值來(lái)替換其當(dāng)前值，來(lái)更新該非位置特征。因?yàn)镵alman濾色器處理是計(jì)算上的加強(qiáng)，所以它們可以節(jié)省存儲(chǔ)器和處理能力。下面對(duì)每一個(gè)上述子階段進(jìn)行更詳細(xì)的說(shuō)明。在第一子階段55中，利用下面的度量向每一個(gè)斑點(diǎn)遮罩分配一匹配代價(jià)函數(shù)C。<formula>formulaseeoriginaldocumentpage20</formula>(2)<formula>formulaseeoriginaldocumentpage20</formula>或<formula>formulaseeoriginaldocumentpage20</formula>這個(gè)度量公知為Mahalanobis距離度量，并且將來(lái)自斑點(diǎn)遮罩特征集#的所有特征和存儲(chǔ)在對(duì)象隊(duì)列71中的對(duì)象特征集r組合成一個(gè)合宜(convenient)代價(jià)函數(shù)C。6(其中，將協(xié)方差度量假定為單位矩陣(identitymatrix))。參數(shù)cJi是通過(guò)前面的觀察計(jì)算出的,的標(biāo)準(zhǔn)偏差。優(yōu)選的是，前面的觀察的數(shù)量為五十個(gè)幀，盡管在初始條件下，標(biāo)準(zhǔn)偏差將明顯地使用較少觀察，直到己經(jīng)接收到五十個(gè)幀為止。代價(jià)函數(shù)C。6的值越小，斑點(diǎn)遮罩與對(duì)象之間的匹配越好。針對(duì)(a)當(dāng)前幀中的斑點(diǎn)遮罩和(b)存儲(chǔ)在對(duì)象隊(duì)列71中的對(duì)象的每一個(gè)組合，計(jì)算代價(jià)函數(shù)C。6。在圖13中例示了這個(gè)操作，該圖示出了對(duì)象隊(duì)列71和與三個(gè)斑點(diǎn)遮罩相關(guān)聯(lián)的特征集列表72。斑點(diǎn)遮罩被標(biāo)注為A、B和C，而對(duì)象被標(biāo)注為D、E和F。如圖12所示，來(lái)自第一子階段55的輸出是可以表示為指示每一配對(duì)的結(jié)果的單元格(grid)的"對(duì)應(yīng)列表"。表2(下面)是示范性對(duì)應(yīng)列表，用于涉及具有三個(gè)斑點(diǎn)遮罩A、B和C的輸入幀和存儲(chǔ)有三個(gè)對(duì)象D、E和F的對(duì)象隊(duì)列的匹配代價(jià)計(jì)算。單元格中示出的數(shù)字是針對(duì)每個(gè)相應(yīng)配對(duì)的代價(jià)函數(shù)C。6。<table>tableseeoriginaldocumentpage20</column></row><table>表2.對(duì)應(yīng)列表對(duì)代價(jià)函數(shù)c。6的值設(shè)定閾值re。具體地說(shuō)，如果cu大于re，例如，12，則不將該值輸入對(duì)應(yīng)列表中。大的C。6值表示特征集之間較低的對(duì)應(yīng)，因此我們可以立即丟棄生成相對(duì)較大C。6值的任何配對(duì)。這就縮減了所需的處理量。從上述實(shí)施例可看到，針對(duì)斑點(diǎn)遮罩B和對(duì)象D的配對(duì)的代價(jià)函數(shù)C。6大于12,因此，沒(méi)有將該值輸入對(duì)應(yīng)列表中。為了進(jìn)一步縮減所需的處理量，采用了早期跳越策略，從而能夠漸進(jìn)地計(jì)算代價(jià)函數(shù)C&。當(dāng)C。b值隨著每一次新特征比較而增加時(shí)，將C。6與7;進(jìn)行比較。如果c。6〉rc，則計(jì)算立即停止，并且不將當(dāng)前配對(duì)輸入對(duì)應(yīng)列表中。在第二子階段57中，利用對(duì)應(yīng)列表進(jìn)行最佳匹配尋找。進(jìn)行全局搜索來(lái)識(shí)別具有最低代價(jià)函數(shù)C。6的配對(duì)。在上述實(shí)施例中，斑點(diǎn)遮罩A和對(duì)象E的配對(duì)得到了最低代價(jià)。這個(gè)配對(duì)被視為"匹配"，并且從對(duì)應(yīng)列表中去除包含斑點(diǎn)遮罩A或?qū)ο驟在內(nèi)的任何其它配對(duì)(即，A&D、A&F、B&E以及C&E)。重復(fù)該處理直到對(duì)應(yīng)列表為空為止。最終結(jié)果是所謂的"匹配列表"，其指示了哪個(gè)對(duì)象與每個(gè)斑點(diǎn)遮罩相對(duì)應(yīng)。表3示出了上述實(shí)施例所得的匹配列表。<table>tableseeoriginaldocumentpage21</column></row><table>表3.基于表2的對(duì)應(yīng)列表的匹配列表在上述實(shí)施例中，每個(gè)斑點(diǎn)遮罩都已經(jīng)和對(duì)象隊(duì)列中的對(duì)象進(jìn)行了匹配。然而，存在可以通過(guò)最佳匹配尋找階段57獲得的兩種其它情況。在斑點(diǎn)遮罩不能和對(duì)象隊(duì)列中的任何對(duì)象匹配的情況下(在該情況下，對(duì)于所有對(duì)象比較來(lái)說(shuō)，代價(jià)函數(shù)C。6都將大于7;)，可以假定斑點(diǎn)遮罩表示視頻序列中的"新"對(duì)象。如果對(duì)象隊(duì)列中存在不能匹配任何斑點(diǎn)遮罩的對(duì)象，則可以假定該對(duì)象已經(jīng)從視頻序列中"消失"。術(shù)語(yǔ)"新"和"消失"表示可以存儲(chǔ)在對(duì)象隊(duì)列中的狀況標(biāo)題下的兩種類(lèi)型的對(duì)象狀況。下面會(huì)變得清楚，我們可以對(duì)具有不同狀況的對(duì)象采用不同的跟蹤策略，以便更有效且更有效率地進(jìn)行跟蹤。具體地說(shuō)，我們使用對(duì)象的狀況來(lái)決定是否要記錄該對(duì)象的跟蹤歷史。在第三子階段59中，更新對(duì)象隊(duì)列。如前所述，這包括針對(duì)隊(duì)列中已經(jīng)匹配了輸入斑點(diǎn)遮罩的那些對(duì)象更新非位置特征。在第四子階段63中，對(duì)每個(gè)對(duì)象的狀況都進(jìn)行監(jiān)測(cè)，并且在需要時(shí)進(jìn)行更新。更具體地說(shuō)，每個(gè)對(duì)象都被分配了一狀況，取決于該狀況的值來(lái)確定是否要跟蹤該對(duì)象和/或是否要從對(duì)象隊(duì)列中刪除該對(duì)象。分配給對(duì)象的狀況是通過(guò)考慮了可能在視頻序列中出現(xiàn)的各種情況的狀態(tài)轉(zhuǎn)變對(duì)象管理方案來(lái)確定的。下面將說(shuō)明兩種不同狀態(tài)轉(zhuǎn)變對(duì)象管理方案。簡(jiǎn)單跟蹤方案如果我們假定我們的視頻序列包括沒(méi)有彼此遮蔽(遮蔽意指從一對(duì)象的角度看另一對(duì)象的全部或部分被隱藏)的多個(gè)對(duì)象，則可以采用相對(duì)簡(jiǎn)單的跟蹤方案。這個(gè)跟蹤方案由圖14所示狀態(tài)轉(zhuǎn)變對(duì)象管理方案來(lái)表示，并且在第四子階段63處應(yīng)用于存儲(chǔ)在對(duì)象隊(duì)列71中的每個(gè)對(duì)象。參照?qǐng)D14，對(duì)象隊(duì)列71中的每個(gè)對(duì)象都將占據(jù)兩個(gè)主要狀態(tài)(即，"新"和"真實(shí)")中的一個(gè)。"新"對(duì)象被定義未與輸入斑點(diǎn)匹配預(yù)定數(shù)量幀r。的對(duì)象。一旦"新"對(duì)象與輸入斑點(diǎn)匹配了r。幀，則將其視為"真實(shí)"，并且記錄其位置以進(jìn)行跟蹤。另一方面，如果對(duì)象未與輸入斑點(diǎn)匹配不同的預(yù)定數(shù)量幀r0^，則將其從對(duì)象隊(duì)列so中去除。在這個(gè)實(shí)施方式中，將r。設(shè)為十幀，而將7b^設(shè)為五幀。對(duì)象的當(dāng)前狀態(tài)由對(duì)象隊(duì)列71中其狀況參數(shù)來(lái)限定。依次進(jìn)行流程中的每一個(gè)步驟，在第一步驟75中，對(duì)象的狀況決定了在這個(gè)幀段內(nèi)哪一個(gè)附加步驟將被應(yīng)用至對(duì)象。如果對(duì)象當(dāng)前被分類(lèi)為"新"并且與輸入斑點(diǎn)遮罩相匹配，如步驟77A中所確定的，則在步驟77B中遞增TR參數(shù)。在隨后的步驟77C中，進(jìn)行測(cè)試來(lái)確定TR是否大于r。。如果是，則在步驟77D中應(yīng)用進(jìn)一步的測(cè)試來(lái)確定對(duì)象是否為亂真對(duì)象(該測(cè)試要在下面進(jìn)行說(shuō)明)。如果對(duì)象被視為亂真對(duì)象，則在步驟77E中從對(duì)象隊(duì)列中刪除該對(duì)象。如果對(duì)象沒(méi)有被視為亂真對(duì)象，則將對(duì)象隊(duì)列中的狀況參數(shù)改成"真實(shí)"。如果步驟84的結(jié)果為否，則將對(duì)象隊(duì)列71中的狀況參數(shù)保持為"新"。如果對(duì)象當(dāng)前被分類(lèi)為"真實(shí)"并且已經(jīng)與輸入斑點(diǎn)遮罩相匹配，則將其狀況參數(shù)保持為"真實(shí)"。如果在步驟79A中不存在匹配，則在步驟79B中遞增LR參數(shù)。在隨后的步驟79C中，確定LR是否大于r0M，其表示(在這種情況下)對(duì)象沒(méi)有與輸入斑點(diǎn)遮罩匹配5幀。如果是，則在步驟79D中從對(duì)象隊(duì)列中刪除該對(duì)象。如果否，則將對(duì)象隊(duì)列中的狀況參數(shù)保持為"真實(shí)"。跟蹤對(duì)象隊(duì)列71中被分類(lèi)為"真實(shí)"的任何對(duì)象。這是通過(guò)記錄幀內(nèi)的每個(gè)"真實(shí)"對(duì)象的坐標(biāo)并且計(jì)算隨著接收到越來(lái)越多的幀該對(duì)象所采取的軌跡來(lái)進(jìn)行的。將這個(gè)軌跡信息存儲(chǔ)在軌跡數(shù)據(jù)庫(kù)中，該軌跡數(shù)據(jù)庫(kù)使得軌跡信息可用于顯示或由高級(jí)應(yīng)用7進(jìn)行處理。優(yōu)選的是，具有"真實(shí)"狀態(tài)的對(duì)象被顯示在由邊界框包圍的視頻監(jiān)視器15上。軌跡信息用于標(biāo)繪表示對(duì)象所采取的累積路徑的蹤跡線(xiàn)。如果跟蹤多個(gè)對(duì)象，則可以用不同的相應(yīng)顏色來(lái)標(biāo)繪蹤跡線(xiàn)。亂真對(duì)象識(shí)別作為第四子階段63的一部分，對(duì)對(duì)象隊(duì)列中的每個(gè)"新"對(duì)象進(jìn)行亂真對(duì)象識(shí)別，如圖14中步驟77D所示。具體地說(shuō)，第四子階段63分析每個(gè)對(duì)象的運(yùn)動(dòng)特征，以確定該對(duì)象是否表示亂真前景區(qū)。在這一方面，前景提取階段3的操作可以得到被分類(lèi)為前景的特定圖像區(qū)，即使它們不表示用戶(hù)感興趣的前景對(duì)象也是如此。因此，值得識(shí)別出這些對(duì)象，從而不對(duì)它們進(jìn)行后續(xù)處理操作。前景提取階段3中可能生成亂真區(qū)的原因有多種。存在重復(fù)運(yùn)動(dòng)(如樹(shù)上的樹(shù)葉或樹(shù)枝的移動(dòng))是一個(gè)普通原因。因?yàn)闃?shù)葉相對(duì)于背景模型移動(dòng)，所以表示樹(shù)葉的像素可以被分類(lèi)為前景像素?？墒牵搮^(qū)域的像素不表示真實(shí)前景，因此，這種區(qū)域通常被視為亂真區(qū)。視頻處理軟件也可能將噪聲引入整個(gè)系統(tǒng)中。噪聲像素可能被前景提取階段3解釋為前景像素。在任一情況下，都不希望浪費(fèi)處理和記錄亂真區(qū)的軌跡的存儲(chǔ)器資源。出于這個(gè)原因，采用亂真對(duì)象識(shí)別來(lái)識(shí)別并隨后去除任何被視為亂真對(duì)象的對(duì)象。為了例示場(chǎng)景中噪聲和/或隨機(jī)運(yùn)動(dòng)的影響，參照?qǐng)D15a到15c進(jìn)行說(shuō)明。圖15a示出了在背景獲知階段1生成的背景模型。該背景模型示出了不存在移動(dòng)對(duì)象的停車(chē)場(chǎng)區(qū)。圖15b示出了存在三個(gè)前景對(duì)象的輸入視頻幀，三個(gè)前景對(duì)象為，穿越停車(chē)場(chǎng)的人、正離開(kāi)停車(chē)場(chǎng)的車(chē)輛以及在位于該幀的左手側(cè)的車(chē)輛附近行走的人。圖15c示出了前景提取之后的前景遮罩。表示三個(gè)上述對(duì)象的像素已經(jīng)被正確地分類(lèi)為前景區(qū)。這些區(qū)域是監(jiān)視目的所感興趣的，并且這些區(qū)域的軌跡應(yīng)當(dāng)由對(duì)象跟蹤階段5來(lái)跟蹤。然而，存在許多其它白色區(qū)域，特別是在樹(shù)到幀的右上方的區(qū)域中。這些白色區(qū)域表示已經(jīng)被分類(lèi)為前景的像素，即使它們不表示任何可見(jiàn)的前景對(duì)象。這些是亂真區(qū)的示例，它們的存在是由于噪聲和樹(shù)的隨機(jī)運(yùn)動(dòng)。很明顯，我們不希望對(duì)這些對(duì)象進(jìn)行跟蹤。為了識(shí)別亂真區(qū)，對(duì)由對(duì)象隊(duì)列80中的每個(gè)"新"對(duì)象展現(xiàn)的運(yùn)動(dòng)進(jìn)行監(jiān)視。應(yīng)注意到，某些運(yùn)動(dòng)特征，在多個(gè)幀上測(cè)量時(shí)，可能指示通常會(huì)引起亂真效果的隨機(jī)運(yùn)動(dòng)和/或噪聲影響。因此，在圖14的對(duì)象管理方案的步驟85中，視頻處理軟件可用于檢測(cè)具有這些運(yùn)動(dòng)特征的對(duì)象，從而可以采取恰當(dāng)?shù)膭?dòng)作，例如，從對(duì)象隊(duì)列80中刪除這些斑點(diǎn)遮罩。作為第一實(shí)施例，在多數(shù)監(jiān)測(cè)應(yīng)用中，展示很少或沒(méi)有運(yùn)動(dòng)的真實(shí)前景對(duì)象會(huì)突然出現(xiàn)在幀中是不太可能的。這很可能是指示由視頻編解碼器中的量化錯(cuò)誤造成的亂真區(qū)。由此，對(duì)象隊(duì)列中的具有近零運(yùn)動(dòng)并且被分類(lèi)為"新"的任何對(duì)象都被視為亂真對(duì)象。該對(duì)象被優(yōu)選地從對(duì)象隊(duì)列71中去除，或者至少被防止改變成"真實(shí)"對(duì)象，即使它已經(jīng)被跟蹤了足夠時(shí)段。為了測(cè)量對(duì)象所展示的運(yùn)動(dòng)的量，.軟件監(jiān)測(cè)器在多個(gè)幀上監(jiān)測(cè)對(duì)象的中心點(diǎn)y/)的位置。該信息可以從對(duì)象隊(duì)列80中的特征集信息中獲得。中心點(diǎn)Oc/,》"的運(yùn)動(dòng)還可以由中心點(diǎn)位置的方差來(lái)限定，該方差是從在之前幀上獲取的值導(dǎo)出的。在這種情況下，將中心點(diǎn)位置具有近零方差的"新"對(duì)象視為亂真對(duì)象。作為第二實(shí)施例，因隨機(jī)效應(yīng)(如噪聲或其它現(xiàn)象(例如，擺動(dòng)的樹(shù)葉))而生成的對(duì)象通常展示隨機(jī)運(yùn)動(dòng)。這種類(lèi)型的運(yùn)動(dòng)將展示中心點(diǎn)位置的大的方差，并且展示中心點(diǎn)位置的速度的甚至更大的方差。在這種情況下，步驟85需要同時(shí)計(jì)算中心點(diǎn)位置的變化(或方差)和速度在多個(gè)幀上的變化(或方差)。如果兩個(gè)值都大于各自的閾值級(jí)，則將該對(duì)象視為亂真對(duì)象并且從對(duì)象隊(duì)列71中去除。便利的是，可以利用基于位置方差與速度方差的比率的所謂運(yùn)動(dòng)因子U來(lái)檢測(cè)上述情形中的任一或兩者。為了同時(shí)考慮x和y坐標(biāo)，運(yùn)動(dòng)因子優(yōu)選地由下式給出「2cr2、、+r+"其中，《和《分別是x方向和y方向上的位置變化，oi和《分別是x方向和y方向上的速度方差，而T是一預(yù)定常量，其防止運(yùn)動(dòng)因子在對(duì)象保持整體靜止(由此使分母為零)的情況下發(fā)生突變。在本實(shí)施方式中，將值O.l用于i。優(yōu)選的是，在預(yù)定數(shù)量的之前采集的幀上相對(duì)于對(duì)象的位置和速度，在逐幀的基礎(chǔ)上計(jì)算對(duì)象的位置方差值和速度方差值。幀的數(shù)量可以根據(jù)幀采集速率而改變。對(duì)于每秒25幀的采集速率來(lái)說(shuō)，5到10幀之間的窗口是合適的。例如，如果我們使用5幀窗口，則我們通過(guò)用對(duì)象的當(dāng)前位置減去之前5個(gè)幀(t-l、t-2、t-3、t-4、t-5)上其平均位置來(lái)計(jì)算該對(duì)象在當(dāng)前幀t中的中心點(diǎn)位置的方差。同樣，我們通過(guò)用最近記錄的速度減去之前5個(gè)幀上的平均速度來(lái)計(jì)算速度方差。在這一方面，應(yīng)當(dāng)理解的是，速度表示位置在各個(gè)幀之間的變化。當(dāng)接收到下一幀t+l時(shí)，計(jì)算對(duì)象的相對(duì)于包括幀t、t-l、t-2、t-3和t-4的更新后窗口的位置方差和速度方差。將運(yùn)動(dòng)因子與預(yù)定閾值^進(jìn)行比較，以確定對(duì)象的移動(dòng)是否規(guī)則，從而如果^>^，則運(yùn)動(dòng)是規(guī)則的——不是亂真對(duì)象否則，運(yùn)動(dòng)是不規(guī)則的——是亂真對(duì)象在這個(gè)實(shí)施方式中，將^的值設(shè)為2.5。找到這個(gè)值，以保持針對(duì)每秒25幀的視頻釆集速率(包括監(jiān)測(cè)普通人和車(chē)輛運(yùn)動(dòng))的真實(shí)。對(duì)于包含相對(duì)恒定運(yùn)動(dòng)的慢運(yùn)動(dòng)情況來(lái)說(shuō)，可以將^的值設(shè)得更高，以去除更多噪聲。對(duì)于帶有突然運(yùn)動(dòng)變化的快運(yùn)動(dòng)情況來(lái)說(shuō)，應(yīng)當(dāng)將T;的值設(shè)得稍微低于2.5，以容忍大的速度變化。實(shí)際上，設(shè)置了兩個(gè)值范圍，第一個(gè)較低范圍表示不規(guī)則的對(duì)象運(yùn)動(dòng)，而較高范圍表示與真實(shí)前景對(duì)象相關(guān)聯(lián)的規(guī)則運(yùn)動(dòng)?？偲饋?lái)說(shuō)，該子階段被設(shè)置用于識(shí)別當(dāng)前幀與之前幀之間的運(yùn)動(dòng)表示亂真效果(如噪聲或隨機(jī)運(yùn)動(dòng))的前景對(duì)象。將該運(yùn)動(dòng)與在預(yù)定數(shù)量的之前幀上記錄的位置特征的滑動(dòng)窗口進(jìn)行比較，以確定x方向和y方向上的當(dāng)前位置方差和速度方差(如果超出預(yù)定限制，則表示存在可以從隨后的跟蹤階段中忽視的不希望的對(duì)象)。如果需要，所述系統(tǒng)可以通過(guò)顯示來(lái)自背景模型的像素而不是表示亂真對(duì)象的那些像素，來(lái)抑制所檢測(cè)到的亂真對(duì)象的顯示。高級(jí)跟蹤方案在簡(jiǎn)單跟蹤方案中，假定出現(xiàn)在幀序列中的對(duì)象沒(méi)有被其它對(duì)象遮蔽，或者臨時(shí)地從視野中消失。因此，圖14的狀態(tài)轉(zhuǎn)變管理方案僅需要兩個(gè)主要狀態(tài)，即，"新"狀態(tài)和"真實(shí)"狀態(tài)，以便決定是否要跟蹤對(duì)象或從對(duì)象隊(duì)列中刪除。然而，在多數(shù)實(shí)際監(jiān)視情形中，對(duì)象可以在任何位置或任何時(shí)間出現(xiàn)在場(chǎng)景中或者從場(chǎng)景中消失。對(duì)象在重新出現(xiàn)在別的地方之前可能僅消失幾幀。多個(gè)對(duì)象可以移過(guò)場(chǎng)景，彼此遮蔽，然后在某時(shí)分離。因此，在第四子階段63中提供了一種利用復(fù)雜狀態(tài)轉(zhuǎn)變管理方案的高級(jí)跟蹤方案。圖16中示出了該狀態(tài)轉(zhuǎn)變管理方案。參照?qǐng)D16，應(yīng)當(dāng)看到，對(duì)象隊(duì)列中的每個(gè)對(duì)象都將占據(jù)六個(gè)主要狀態(tài)，即，"新"100、"成熟"101、"暫時(shí)不可用"102、"遮蔽"103、"消失"104以及"重新出現(xiàn)"105中的一個(gè)。針對(duì)每個(gè)輸入幀，對(duì)象隊(duì)列中的對(duì)象可以保持它們的狀況、改變它們的狀況，或者從對(duì)象隊(duì)列中被刪除。與圖14的管理方案相同，每個(gè)狀態(tài)都采用不同的跟蹤策略，以確定是否應(yīng)當(dāng)跟蹤(即，記錄并顯示其運(yùn)動(dòng)軌跡)、刪除占據(jù)該狀態(tài)的對(duì)象，以及/或使其狀況改變，以反映在接收到新的幀時(shí)該對(duì)象的行為。下面依次對(duì)該管理方案的各個(gè)狀態(tài)進(jìn)行說(shuō)明。新100對(duì)象剛剛或不久之前出現(xiàn)在場(chǎng)景中。該對(duì)象可能是亂真對(duì)象，例如，因隨機(jī)噪聲造成的亂真對(duì)象，因此，必需在可能將該對(duì)象接受為真實(shí)前景對(duì)象之前累積該對(duì)象的置信度(confidence)。這種累積是以與圖13中描繪的簡(jiǎn)單管理方案類(lèi)似的方式，艮P，通過(guò)在步驟100a中執(zhí)行匹配操作并且在與輸入斑點(diǎn)遮罩相匹配的情況下遞增跟蹤記錄(TR)來(lái)執(zhí)行的。在步驟100c中，如果對(duì)象匹配了預(yù)定數(shù)量的連續(xù)幀r。，例如，10幀，則進(jìn)入其中執(zhí)行上述亂真識(shí)別測(cè)試的步驟100d。如果在步驟100a中沒(méi)有形成匹配，或者在步驟100d中對(duì)象被視為亂真對(duì)象，則將該對(duì)象從對(duì)象隊(duì)列80中去除。如果在步驟100d中該對(duì)象沒(méi)有被視為亂真對(duì)象，則更新該對(duì)象的特征集，使其狀況為"成熟"。成熟101對(duì)象已被接受為真實(shí)前景對(duì)象。在這種情況下，視頻處理軟件在視頻監(jiān)視器上顯示環(huán)繞該對(duì)象的邊界框。另外，隨著接收到其他幀而跟蹤對(duì)象的運(yùn)動(dòng)，并且存儲(chǔ)軌跡信息，將其顯示在視頻監(jiān)視器15上。假如在步驟101a中該對(duì)象繼續(xù)與輸入斑點(diǎn)遮罩相匹配，則其狀況保持"成熟"。然而，如果沒(méi)有形成匹配，則在步驟101b中進(jìn)行測(cè)試，以確定該對(duì)象是否與對(duì)象隊(duì)列80中的另一對(duì)象交疊。如果兩個(gè)對(duì)象的邊界框之間交疊，則這種情況就會(huì)出現(xiàn)。如果是這種情況，則更新該對(duì)象，使其狀況為"遮蔽"。如果不存在交疊，則在步驟101c中將丟失記錄(LR)參數(shù)設(shè)為"1"，并將對(duì)象狀況更新成"暫時(shí)不可用"。暫時(shí)不對(duì)象出于多種原因而可能暫時(shí)不可用。對(duì)象可能被噪聲破壞、可用102在另一對(duì)象后面消失，或者簡(jiǎn)單地退出場(chǎng)景。如果在步驟102a中對(duì)象再一次與輸入斑點(diǎn)遮罩匹配，則對(duì)象重新進(jìn)入場(chǎng)景，因此其狀況返回至"成熟"。如果不存在匹配，則在步驟102b中重復(fù)步驟101b的交疊測(cè)試，以針對(duì)遮蔽進(jìn)行測(cè)試。如果為否，則在步驟102c中遞增LR，并在步驟102d中與閾值r。/進(jìn)行比較。r。,是在將對(duì)象視為丟失之前可能錯(cuò)過(guò)成熟對(duì)象的幀的數(shù)量。因此，如果LR大于r。z，則將對(duì)象的狀況改變成"消失"。如果LR小于r。;，則將該狀況保持為"暫時(shí)不可用"。在這種情況下，仍舊跟蹤對(duì)象，以使其軌跡信息被存儲(chǔ)并且被顯示。遮蔽103在這種情況下，對(duì)象與對(duì)象隊(duì)列中的其它對(duì)象交疊。例如，如果對(duì)象表示討論中涉及的兩個(gè)或更多個(gè)人或者他們中的一個(gè)站在另一個(gè)后面，則這種情況可能出現(xiàn)。在這種情況下，可能無(wú)法提取并更新單獨(dú)的特征描述。然而，遮蔽了感興趣對(duì)象的對(duì)象邊界框特征提供了對(duì)于其位置的某些約束。如果在步驟103a中，對(duì)象與輸入斑點(diǎn)遮罩相匹配，則該對(duì)象的狀況再一次成為表示該對(duì)象己經(jīng)與遮蔽對(duì)象分離開(kāi)的"成熟"。如果不存在匹配，則步驟103b確定交疊是否仍然存在，在該情況下，保持對(duì)象的"遮蔽"狀況。如果不存在交疊，則在步驟103c中將LR設(shè)為1，并將狀況改變成"消失"。在"成熟"和"暫時(shí)不可用"狀態(tài)的情況下，仍然跟蹤該對(duì)象，以使其跟蹤信息被存儲(chǔ)并被顯示。消失104如果對(duì)象的狀況達(dá)到"消失"，則這將反映該對(duì)象已完全離開(kāi)場(chǎng)景，或者變得隱藏在背景對(duì)象后面，例如，走到樹(shù)后或穿過(guò)建筑物的門(mén)。如果在步驟104a中，對(duì)象再一次與輸入斑點(diǎn)遮罩相匹配，則在步驟104e中將TR設(shè)為1，并將狀況更新成"重新出現(xiàn)"。然而，這必須出現(xiàn)在由閾值7W設(shè)定的確定數(shù)量的幀之內(nèi)。如果在步驟104a中沒(méi)有形成匹配，則在步驟104b中遞增LR，并在步驟104c中與7bM進(jìn)行比較。如果LR大于r0M，則在步驟104d中從對(duì)象隊(duì)列中刪除該對(duì)象。否則，將該對(duì)象的狀況保持為"消失"。在這種情況下，不對(duì)該對(duì)象進(jìn)行跟蹤。重新出現(xiàn)在這種情況下，之前被分類(lèi)為"消失"的對(duì)象在相對(duì)短的時(shí)105間內(nèi)重新出現(xiàn)在場(chǎng)景中。如果例如已經(jīng)進(jìn)入建筑物門(mén)的對(duì)象稍后從門(mén)中再度出現(xiàn)，就會(huì)出現(xiàn)這種情況。希望在將該對(duì)象的狀況返回至"成熟"之前，累積其置信度。因此，除非在步驟105a中，重新出現(xiàn)的對(duì)象與輸入斑點(diǎn)遮罩相匹配，否則在步驟105e中該對(duì)象將被從對(duì)象隊(duì)列中刪除。如果出現(xiàn)了匹配，則在步驟105b中遞增TR，并在步驟105c中與另一參數(shù)r。r進(jìn)行比較。除非該對(duì)象建立了足夠的置信度使TR超過(guò)7V，否則其狀況保持"重新出現(xiàn)"。如果TR超過(guò)7^，則進(jìn)入其中執(zhí)行上述亂真識(shí)別測(cè)試的步驟105d。如果該對(duì)象被視為亂真對(duì)象，則從對(duì)象隊(duì)列80中刪除該對(duì)象。如果該對(duì)象沒(méi)有被視為亂真對(duì)象，則將該對(duì)象的狀況更新為"成熟"。在"消失"狀態(tài)下，不對(duì)該對(duì)象進(jìn)行跟蹤。高級(jí)跟蹤方案的額外匹配代價(jià)直到現(xiàn)在，對(duì)象跟蹤階段5的第一子階段55都釆用了如式(2)定義的單一匹配代價(jià)C。6，其生成了用于在最佳匹配尋找子階段57中進(jìn)行分析的單一對(duì)應(yīng)列表。該匹配代價(jià)C。6在簡(jiǎn)單和高級(jí)跟蹤方案下都起到了充分的作用。然而，給定在高級(jí)跟蹤方案提供的額外狀態(tài)，當(dāng)它們具有特定狀況時(shí)，提供考慮了對(duì)象特征的多個(gè)匹配代價(jià)是有利的。因此，在另選實(shí)施方式中，提供了三個(gè)匹配代價(jià)，即，(i)C。6，其與式(2)相同，(ii)C一，其與式(2)相同，但是沒(méi)有考慮特征集的"/特征，以及(iii)C,e,，其與式(2)相同，但是沒(méi)有考慮特征集的速度特征(v/，基于下列規(guī)則生成了四個(gè)對(duì)應(yīng)列表，而不是由第一子階段55生成一個(gè)對(duì)應(yīng)列表-i。w-包含所有斑點(diǎn)遮罩-對(duì)象對(duì)的對(duì)應(yīng)列表，其中，c。^;且狀況#"新";zew-包含所有斑點(diǎn)遮罩-對(duì)象對(duì)的對(duì)應(yīng)列表，其中，c。b〈7;且狀況="新"；丄M。-m諷;^-包含所有斑點(diǎn)遮罩-對(duì)象對(duì)的對(duì)應(yīng)列表，其中，C。.TOWpe/,<7;且狀況為"成熟"、"暫時(shí)不可用"或"遮蔽"；以及丄"?！獀e,-包含所有斑點(diǎn)遮罩-對(duì)象對(duì)的對(duì)應(yīng)列表，其中，^。，,<7;并且狀況為"成熟"、"暫時(shí)無(wú)用"或"遮蔽"。其中，i;優(yōu)選地具有和以前相同的值，即i2。在第一子階段57中，按照丄必、Z,、丄。-顯—和丄脂e,的順序?qū)γ總€(gè)對(duì)應(yīng)列表依次進(jìn)行全局搜索。這種依次確保了在對(duì)"新"對(duì)象進(jìn)行處理之前處理置信度更高的"成熟"對(duì)象。丄"。-畫(huà)—列表包括代價(jià)函數(shù)值，其由于Qz。-纖—不包括與"/特征有關(guān)的信息而不受斑點(diǎn)遮罩像素的數(shù)量上的突變的顯著影響。在這一方面，背景相減誤差，或局部遮蔽情形可能造成"/值的突變，這種突變進(jìn)而可能阻止有效匹配的形成。如果車(chē)輛部分地駛出場(chǎng)景接著馬上返回，則這種情形就會(huì)出現(xiàn)。使用^。-vd列表，因?yàn)樵?遮蔽"狀態(tài)下，將通過(guò)Kalman濾色處理來(lái)更新對(duì)象的特征。如果我們不忽略速度特征(v/,v/)，則在對(duì)象與遮蔽對(duì)象分離開(kāi)的情況下可以不跟蹤該對(duì)象。這是因?yàn)镵alman濾色器將基于遮蔽對(duì)象的特征來(lái)預(yù)測(cè)被遮蔽對(duì)象的速度。為了防止"w^^/,和丄。，/對(duì)應(yīng)列表受亂真對(duì)象和噪聲影響，我們限制針對(duì)具有"成熟"、"暫時(shí)不可用"以及"遮蔽"狀況的對(duì)象來(lái)計(jì)算代價(jià)函數(shù)G。額外匹配代價(jià)以及高級(jí)跟蹤方案的使用，提供了有效且強(qiáng)壯的操作。能夠以提高的可靠性來(lái)跟蹤被遮蔽或暫時(shí)消失的對(duì)象。圖17的流程圖中示出了對(duì)丄。w、Zew、Z以及4執(zhí)行的步驟序列。全局搜索包括獲取丄。w(步驟109)，識(shí)別對(duì)應(yīng)列表中的最低代價(jià)函數(shù)并且將匹配的斑點(diǎn)遮罩一對(duì)象配對(duì)傳遞至匹配列表(步驟111)，去除由匹配的斑點(diǎn)遮罩或?qū)ο蟮玫降娜魏问Ｓ啻鷥r(jià)函數(shù)(步驟113)，以及確定對(duì)應(yīng)列表是否為空(步驟115)。如果是，則在步驟117中獲取下一個(gè)對(duì)應(yīng)列表并且從步驟109起重復(fù)處理。如果否，則利用當(dāng)前對(duì)應(yīng)列表重復(fù)步驟111，直到其為空為止。當(dāng)四個(gè)對(duì)應(yīng)列表中的每一個(gè)都為空時(shí)，在第三子階段59中更對(duì)象隊(duì)列。初始條件以上對(duì)于對(duì)象跟蹤階段5的說(shuō)明假定了在對(duì)象隊(duì)列71中存在至少一個(gè)對(duì)象。然而，當(dāng)視頻處理軟件初次運(yùn)行時(shí)，或者視頻場(chǎng)景中不存在活動(dòng)性時(shí)，對(duì)象隊(duì)列71將為空。這意味著當(dāng)通過(guò)對(duì)象跟蹤階段5接收到斑點(diǎn)遮罩集時(shí)，將不存在與其進(jìn)行比較的對(duì)象。在這種情況下，將斑點(diǎn)遮罩輸入對(duì)象隊(duì)列71中作為"新"對(duì)象，但在第四子階段63中不經(jīng)狀態(tài)轉(zhuǎn)變管理方案處理。在第五子階段65中，Kalman濾色器算法針對(duì)每一個(gè)對(duì)象預(yù)測(cè)并更新位置特征。當(dāng)接收到下一個(gè)幀時(shí)，對(duì)象跟蹤階段5如前所述進(jìn)行操作，對(duì)象隊(duì)列71現(xiàn)在包括要與輸入斑點(diǎn)遮罩進(jìn)行比較的一個(gè)或更多個(gè)對(duì)象。軌跡信息對(duì)于那些被分類(lèi)為"真實(shí)"(在簡(jiǎn)單跟蹤方案中)或"成熟"、"暫時(shí)不可用"，或"遮蔽"(在高級(jí)跟蹤方案中)的斑點(diǎn)遮罩來(lái)說(shuō)，通過(guò)對(duì)象狀況更新子階段63生成軌跡信息。對(duì)于每個(gè)跟蹤對(duì)象來(lái)說(shuō)，該軌跡信息都可以包括其中心位置的笛卡爾坐標(biāo)，以及該信息涉及的對(duì)象身份?？梢陨闪磉x形式的軌跡信息，例如位移或矢量信息。參照?qǐng)D18，通過(guò)作為軌跡信息數(shù)據(jù)庫(kù)的第一高級(jí)應(yīng)用121來(lái)接收軌跡信息。軌跡數(shù)據(jù)庫(kù)121存儲(chǔ)軌跡信息并且根據(jù)其實(shí)時(shí)地計(jì)算場(chǎng)景上的每個(gè)對(duì)象所采取的路徑。軌跡數(shù)據(jù)庫(kù)121輸出由作為顯示控制應(yīng)用的第二高級(jí)應(yīng)用123接收的路徑數(shù)據(jù)。顯示控制應(yīng)用123對(duì)存儲(chǔ)在PC13的硬盤(pán)驅(qū)動(dòng)器上的視頻數(shù)據(jù)在視頻監(jiān)視器1上的顯示進(jìn)行控制。顯示控制應(yīng)用70能夠從圖3所示的所有處理階段接收視頻數(shù)據(jù)，并且被設(shè)置用于實(shí)時(shí)或以其它方式顯示由該視頻數(shù)據(jù)表示的任何視頻序列。操作員可以在單個(gè)屏幕上觀看多個(gè)圖像。例如，操作員可能希望同時(shí)觀看背景模型19和對(duì)象分類(lèi)遮罩39。操作員特別興趣的將是來(lái)自軌跡數(shù)據(jù)庫(kù)121的路徑數(shù)據(jù)。圖19示出了來(lái)自顯示控制應(yīng)用123的后處理幀125。與前景對(duì)象23、25相對(duì)應(yīng)的斑點(diǎn)遮罩已經(jīng)被識(shí)別為"真實(shí)"并且將它們的軌跡記錄在軌跡數(shù)據(jù)庫(kù)121中。所得路徑數(shù)據(jù)生成了分別表示在構(gòu)成當(dāng)前幀的視頻段過(guò)程中對(duì)象所采取的累積路徑的蹤跡線(xiàn)129、127。盡管圖19中不可見(jiàn)，但是軌跡數(shù)據(jù)庫(kù)還為每條蹤跡線(xiàn)129、127分配了不同顏色，以表示它們與不同對(duì)象相關(guān)聯(lián)。而且還可以提供高級(jí)應(yīng)用7。例如，對(duì)象分類(lèi)應(yīng)用可以將來(lái)自陰影去除階段7的斑點(diǎn)遮罩與"現(xiàn)實(shí)生活"對(duì)象的模板進(jìn)行比較。如果匹配，則對(duì)象分類(lèi)應(yīng)用可以顯示標(biāo)識(shí)與其邊界框相鄰的對(duì)象的標(biāo)簽，如圖19所示?？偲饋?lái)說(shuō)，上述對(duì)象跟蹤階段5通過(guò)提供將每個(gè)對(duì)象都分類(lèi)為具有特定狀態(tài)的狀態(tài)轉(zhuǎn)變對(duì)象管理方案，而提供了改進(jìn)的對(duì)象跟蹤。對(duì)象被分類(lèi)成的狀態(tài)決定了是否要跟蹤該對(duì)象，即，是否記錄其運(yùn)動(dòng)軌跡，以及基于對(duì)所述當(dāng)前狀態(tài)特定的預(yù)定規(guī)則是要維持當(dāng)前狀態(tài)還是改變。通過(guò)參照?qǐng)D20到22，將更好的理解智能視頻監(jiān)視系統(tǒng)19的性能，圖20到22示出了根據(jù)多種實(shí)際情形而得到的結(jié)果。在每一種情況下，都采用了上述高級(jí)跟蹤方案。參照?qǐng)D20a到20b，圖中示出了視頻序列中的四個(gè)幀。在圖20a中，在該幀的左手側(cè)識(shí)別了單個(gè)對(duì)象，g卩，汽車(chē)。這時(shí)，對(duì)象的狀況參數(shù)為"成熟"。通過(guò)圍住汽車(chē)的邊界框來(lái)確認(rèn)識(shí)別。在圖20b和20c中，該對(duì)象開(kāi)始從幀的邊緣消失。然而，利用代價(jià)函數(shù)進(jìn)行了匹配，因此像素?cái)?shù)量的突然減少并沒(méi)有嚴(yán)重地影響結(jié)果。將狀況保持為"成熟"，并且繼續(xù)跟蹤該對(duì)象。在圖20d中，該對(duì)象返回至視野中，并且仍然被參照?qǐng)D21a到21d，圖中示出了另一視頻序列中的四個(gè)幀。在圖21a中，第一和第二對(duì)象已經(jīng)被識(shí)別為朝向幀的左下側(cè)。這時(shí)，每個(gè)對(duì)象的狀況參數(shù)都為"成熟"。在圖21b和21c中，這兩個(gè)對(duì)象彼此靠近地移動(dòng)，致使它們各自的邊界框交疊。在這種情況下，較大對(duì)象的狀況參數(shù)被保持為"成熟"，而較小對(duì)象的狀況參數(shù)被改變成"遮蔽"。這是因?yàn)椴⑷氲恼谡峙c較大對(duì)象的邊界框更加相似。然而，Kalman濾色器基于較小對(duì)象的當(dāng)前特征集繼續(xù)預(yù)測(cè)其位置。而且，利用忽視了較小對(duì)象的速度特征的C"。^代價(jià)函數(shù)進(jìn)行匹配，因此利用后續(xù)幀形成了匹配，并且狀況參數(shù)重新進(jìn)入"成熟"狀態(tài)。跟蹤時(shí)刻不停，對(duì)兩個(gè)對(duì)象進(jìn)行正確跟蹤，直到它們的邊界框分離開(kāi)為止，如圖21d所示。最后，參照?qǐng)D22a到22d，圖中示出了又一視頻序列中的四個(gè)幀。在這種情況下，該視頻序列是利用帶有魚(yú)眼透鏡的攝像機(jī)來(lái)采集的，使用這種攝像機(jī)在現(xiàn)代視頻監(jiān)視系統(tǒng)中很普遍的。在圖21a中，第一對(duì)象被識(shí)別為朝向幀的左手側(cè)，即，移動(dòng)的車(chē)輛。第二對(duì)象，即，朝向幀的右手側(cè)定位的車(chē)輛已經(jīng)開(kāi)始移動(dòng)。然而，該對(duì)象被分類(lèi)為"新"，因?yàn)槠溥€未在10個(gè)連續(xù)幀中得到匹配。在圖21b中，第一對(duì)象繼續(xù)得到匹配，并因此被跟蹤，盡管其尺寸因魚(yú)眼透鏡的畸變而動(dòng)態(tài)地改變。在這個(gè)階段，第二對(duì)象在超過(guò)10個(gè)連續(xù)幀上得到了匹配，因此被分類(lèi)為"成熟"對(duì)象。第二對(duì)象的邊界框由此可見(jiàn)。在圖21c中，第一對(duì)象在幀中不再可見(jiàn)，因此其狀況被改變成"消失"。第二對(duì)象繼續(xù)移動(dòng)，因此其狀況被保持為"成熟"，并且其繼續(xù)被跟蹤。而并不顧及其運(yùn)動(dòng)因魚(yú)眼透鏡的畸變而呈現(xiàn)拋物線(xiàn)的事實(shí)。在圖lld中，和前面一樣繼續(xù)跟蹤第二對(duì)象，并且不受對(duì)象的改變形狀的影響。權(quán)利要求1、一種對(duì)出現(xiàn)在視頻序列中的對(duì)象進(jìn)行跟蹤的方法，該視頻序列包括多個(gè)幀，每個(gè)幀都包括多個(gè)像素，所述方法包括以下步驟(i)對(duì)所述視頻序列的第一幀和第二幀進(jìn)行比較，以識(shí)別其中的像素表示進(jìn)行幀間運(yùn)動(dòng)的對(duì)象的區(qū)域；(ii)確定所述區(qū)域是否出現(xiàn)在預(yù)定數(shù)量的后續(xù)幀中，如果是，則為所述區(qū)域分配一表示其位置在所述預(yù)定數(shù)量的幀上的改變的運(yùn)動(dòng)參數(shù)；(iii)將所述運(yùn)動(dòng)參數(shù)與一閾值進(jìn)行比較，以確定是否要跟蹤所述區(qū)域；以及(iv)如果要跟蹤所述區(qū)域，則針對(duì)識(shí)別出所述區(qū)域的后續(xù)幀，記錄所述區(qū)域的幀位置。2、根據(jù)權(quán)利要求1所述的方法，其中，所述步驟(ii)中的所述預(yù)定數(shù)量的后續(xù)幀是連續(xù)幀。3、根據(jù)權(quán)利要求1或2所述的方法，其中，如果要跟蹤所述區(qū)域，則該方法還包括以下步驟修改所述步驟(iv)中的所述后續(xù)幀的外觀，以提供所述區(qū)域在被跟蹤的視覺(jué)指示。4、根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述運(yùn)動(dòng)參數(shù)表示參考點(diǎn)在所述區(qū)域上的位置方差，如果所述運(yùn)動(dòng)參數(shù)指示所述位置方差小于所述預(yù)定閾值，則跟蹤所述區(qū)域。5、根據(jù)權(quán)利要求1到3中任一項(xiàng)所述的方法，其中，為所述區(qū)域分配第一運(yùn)動(dòng)參數(shù)和第二運(yùn)動(dòng)參數(shù)，該第一運(yùn)動(dòng)參數(shù)表示參考點(diǎn)在所述區(qū)域上的位置方差，而第二運(yùn)動(dòng)參數(shù)表示所述區(qū)域的幀移動(dòng)速度，如果所述第一運(yùn)動(dòng)參數(shù)大于預(yù)定的第一閾值并且所述第二運(yùn)動(dòng)參數(shù)大于預(yù)定的第二閾值，則跟蹤所述區(qū)域。6、根據(jù)權(quán)利要求5所述的方法，其中，所述第二閾值大于所述第一閾值。7、根據(jù)權(quán)利要求4到6中任一項(xiàng)所述的方法，其中，所述參考點(diǎn)是所述前景區(qū)中的近似中心。8、一種對(duì)出現(xiàn)在視頻序列中的對(duì)象進(jìn)行跟蹤的方法，該視頻序列包括多個(gè)幀，每個(gè)幀都包括多個(gè)像素，所述方法包括以下步驟-(i)對(duì)所述視頻序列的第一幀和第二幀進(jìn)行比較，以識(shí)別其中的像素表示進(jìn)行幀間運(yùn)動(dòng)的對(duì)象的區(qū)域；(ii)基于所述區(qū)域在所述多個(gè)視頻幀上的運(yùn)動(dòng)特征，向其分配一運(yùn)動(dòng)參數(shù)U;以及(iii)針對(duì)所述視頻序列的識(shí)別出所述區(qū)域的后續(xù)幀，只有當(dāng)所述區(qū)域的運(yùn)動(dòng)參數(shù)小于一預(yù)定閾值時(shí)才記錄所述區(qū)域的幀位置。9、根據(jù)權(quán)利要求8所述的方法，其中，在步驟(iii)之前，將表示所述區(qū)域的位置的數(shù)據(jù)存儲(chǔ)在對(duì)象隊(duì)列中，并且其中，在所述運(yùn)動(dòng)參數(shù)^大于所述預(yù)定閾值T《的情況下，擦除所述數(shù)據(jù)。10、根據(jù)權(quán)利要求8或權(quán)利要求9所述的方法，其中，所述運(yùn)動(dòng)因子；m被定義為1^+r"J其中，《和《分別是x方向和y方向上的位置方差，《和《分別是x方向和y方向上的速度方差，而T是一預(yù)定常量。11、根據(jù)權(quán)利要求IO所述的方法，其中，所述預(yù)定閾值T^被設(shè)定在2.5的范圍內(nèi)。12、一種存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括使計(jì)算機(jī)執(zhí)行根據(jù)任一前述權(quán)利要求所述的方法的一組指令。13、一種視頻處理系統(tǒng)，該視頻處理系統(tǒng)用于對(duì)出現(xiàn)在視頻序列中的對(duì)象進(jìn)行選擇性跟蹤，該視頻序列包括多個(gè)幀，每個(gè)幀都包括多個(gè)像素，所述視頻處理系統(tǒng)被設(shè)置用于(i)對(duì)所述視頻序列的第一幀和第二幀進(jìn)行比較，以識(shí)別其中的像素表示進(jìn)行幀間運(yùn)動(dòng)的對(duì)象的區(qū)域；(ii)確定所述區(qū)域是否出現(xiàn)在預(yù)定數(shù)量的后續(xù)幀中，如果是，則為所述區(qū)域分配一表示其位置在所述預(yù)定數(shù)量的幀上的改變的運(yùn)動(dòng)參數(shù)；(iii)將所述運(yùn)動(dòng)參數(shù)與一閾值進(jìn)行比較，以確定是否要跟蹤所述區(qū)域；以及(iv)如果要跟蹤所述區(qū)域，則針對(duì)識(shí)別出所述區(qū)域的后續(xù)幀，記錄所述區(qū)域的幀位置。14、一種視頻監(jiān)視系統(tǒng)，該視頻監(jiān)視系統(tǒng)包括根據(jù)權(quán)利要求13所述的視頻處理系統(tǒng)。全文摘要本發(fā)明涉及識(shí)別視頻幀中的亂真區(qū)。在數(shù)字視頻監(jiān)視系統(tǒng)中，采用多個(gè)處理階段在視頻序列中識(shí)別表示移動(dòng)對(duì)象的前景區(qū)。還設(shè)置了對(duì)象跟蹤階段5，以識(shí)別當(dāng)前幀中的候選對(duì)象與已經(jīng)在一個(gè)或更多個(gè)之前幀中標(biāo)識(shí)別出的候選對(duì)象之間的對(duì)應(yīng)。這樣，就可以計(jì)算出由該前景對(duì)象或每個(gè)前景對(duì)象采取的路徑，并且可以將該路徑信息記錄在軌跡數(shù)據(jù)庫(kù)中。為了提高跟蹤性能，對(duì)象跟蹤階段5采用確定是否要跟蹤特定對(duì)象的狀態(tài)轉(zhuǎn)變對(duì)象管理方案。作為對(duì)象管理方案的一部分，從系統(tǒng)中刪除基于亂真對(duì)象的運(yùn)動(dòng)特征而識(shí)別出的亂真對(duì)象。這確保了有價(jià)值的處理資源不被浪費(fèi)在跟蹤可能表現(xiàn)為例如噪聲或隨機(jī)運(yùn)動(dòng)的不希望的贗像上。文檔編號(hào)G06T7/20GK101116107SQ200680003955公開(kāi)日2008年1月30日申請(qǐng)日期2006年2月6日優(yōu)先權(quán)日2005年2月4日發(fā)明者許利群,雷幫軍申請(qǐng)人:英國(guó)電訊有限公司