專利名稱：使用行人檢測的改進的遺棄物體識別方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及電、電子和計算機領(lǐng)域，并且，具體地，涉及視頻圖像中的遺棄物體識別。
背景技術(shù)：
存在對于用于公共安全和保安增強的自動視頻監(jiān)控(AVS)系統(tǒng)的增長的需求。盡管傳統(tǒng)的視頻監(jiān)控方法需要持久的人為注意，但自動可視化分析執(zhí)行對人、車輛和其它物體的實時監(jiān)視，并在檢測到可疑人或異?；顒訒r生成警告。這樣的自動分析通過減小所需的人類操作員的數(shù)目，而顯著地增大了監(jiān)視的效力，由此，這對于設(shè)立了超過成千的攝像頭來監(jiān)視城市尺度上的大面積的城市監(jiān)控來說是重要的。遺棄物體檢測(AOD)技術(shù)檢測可能被無意留在諸如機場的公共場所的包、箱或其它物體。已提出或建議了用于遺棄物體檢測的一些技術(shù)。例如，參見Y.LTian等 人 的“Real-Time Detection of Abandoned and Removed Objects in ComplexEnvironments,，，IEEE Int，I Workshop on Visual Surveillance (2008),通過引用將其合并于此。然而，照明變化、遮擋(occlusion)以及雜亂的背景仍是技術(shù)挑戰(zhàn)。AOD系統(tǒng)一般使用背景建模和減消(BGS)來檢測場景中的靜止物體。然而，一些非威脅物體經(jīng)常被觀察為保持靜止(如在紅燈處停止的汽車)或在短期內(nèi)接近靜止(在街道上靜立的行人)。此外，如果不適當處理，則暫時靜止的物體可能對背景減消產(chǎn)生嚴重不利的影響。通常，諸如高斯混合模型的傳統(tǒng)BGS方法將逐步地把靜止站立或坐著的人調(diào)整到背景中，并且，因此，基于BGS的AOD技術(shù)可能將靜止的人與可疑物體混淆。由此，為了使遺棄物體的錯誤檢測最少，存在用于將物體分類為非威脅物體或可疑物體的改進技術(shù)的需要。存在采用行人檢測技術(shù)來將遺棄物體與人區(qū)分的改進的遺棄物體檢測器的需要。

發(fā)明內(nèi)容
一般地，提供了用于使用行人檢測的改進的遺棄物體識別的方法和裝置。根據(jù)本發(fā)明的一個方面，通過以下步驟來在一個或多個圖像中檢測遺棄物體:確定圖像的前景中的一個或多個檢測到的物體是否包括潛在的遺棄物體；將訓練過的行人檢測器應(yīng)用于潛在的遺棄物體，以確定潛在的遺棄物體是否包括行人的至少一部分；以及基于潛在的遺棄物體是否不是行人的至少一部分，將潛在的遺棄物體分類為遺棄物體。在一個實施例中，訓練過的行人檢測器是使用肯定(positive)訓練樣本和/或否定(negative)訓練樣本訓練的?？隙ㄓ柧殬颖景ㄔ谝粋€或多個姿勢中的人體的至少部分。否定訓練樣本包括遺棄物體的至少部分。根據(jù)本發(fā)明的另一個方面,通過確定潛在的遺棄物體是否已被人放下(put down)和/或潛在的遺棄物體是否已被人留下(left)，來在一個或多個圖像中檢測遺棄物體。如果潛在的遺棄物體被分類為遺棄物體，則可觸發(fā)警告。
可選的，可執(zhí)行附加的驗證測試來確定:(i)潛在的遺棄物體的尺寸是否滿足遺棄物體的預(yù)先確定的標準；(ii)潛在的遺棄物體是否滿足預(yù)先確定的遺棄時間標準；和/或(iii)潛在的遺棄物體在圖像中的遮擋是否超過了預(yù)先確定的閾值t。通過參照下面詳細的描述和附圖，將獲得本發(fā)明的更完整的理解、以及本發(fā)明的進一步的特征和優(yōu)勢。


圖1圖示了本發(fā)明采用的用于訓練行人檢測器的示例技術(shù)；圖2是描述示例的傳統(tǒng)遺棄物體檢測處理的流程圖；圖3是描述合并了本發(fā)明的方面的示例遺棄物體檢測處理的流程圖；以及圖4繪出了示例的遺棄物體檢測器，其可被用在實現(xiàn)本發(fā)明的一個或多個方面和/或元素中。
具體實施例方式本發(fā)明提供了使用行人檢測的改進的遺棄物體檢測。本發(fā)明認識到:圖像場景中的完全或部分靜止的人是遺棄物體的錯誤檢測的通常來源。由此，根據(jù)本發(fā)明的一個方面，在遺棄物體檢測器中采用行人檢測器，以改進遺棄物體的檢測。如下面進一步討論的，行人檢測器將遺棄物體與人相區(qū)分。訓練圖1圖示了用于訓練本發(fā)明采用的行人檢測器130的示例技術(shù)100。通常，通過對來自錯誤地找到(即，人體及其部分的否定訓練示例)、以及準確地找到(即，各種真實的遺棄物體的肯定訓練示例)遺棄物體的場景的圖像使用標準機器學習算法，來訓練行人檢測器。由此，在一個示例實現(xiàn)中，使用人體及其部分、以及遺棄物體及其部分來訓練行人檢測器。行人檢測器130是可基于任何標準機器學習分類器的分類器，如Adaboost或支持向量機(SVM)。如下面結(jié)合圖3進一步討論的，在背景減消算法已將前景的區(qū)域識別為暫時靜止之后，行人檢測器130運行。如圖1所示，根據(jù)本發(fā)明的訓練處理100應(yīng)用包括各種姿勢的人體及其部分的肯定訓練樣本110、以及包括各種遺棄物體及其部分的否定訓練樣本120，以訓練行人檢測器130。下面結(jié)合圖3來進一步討論行人檢測器130。使用背景分析的遺棄物體檢測通常，遺棄物體檢測器必須在場景中檢測靜止物體。然而，經(jīng)常在場景中觀察到在短時段內(nèi)保持靜止(如汽車在信號燈前停止)或接近靜止(街道上的靜止行人)的很多常規(guī)物體。如上所述，將物體區(qū)分為非威脅物體或者可疑物體是解決減小錯誤警告的重要問題。圖2是描述示例的傳統(tǒng)遺棄物體檢測處理200的流程圖。如圖2所示，在步驟210期間，示例的遺棄物體檢測處理200首先使用背景減消(BGS)技術(shù)來處理輸入視頻圖像。通常，背景減消技術(shù)檢測靜態(tài)背景中的運動物體例如，參見Ying-Li Tian等人的“Robustand Efficient Foreground Analysis for Real-Time Video Surveillance，，，Proc.0f the 2005 IEEE Computer Society Conference on Computer Vision and PatternRecognition(CVPR' 05), Vol.1(2005)或 Ying-Li Tian 等人的“Robust Detection ofAbandoned and Removed Objects in Complex Surveillance Videos,，，IEEE Trans.0nSystems, Man, and Cybernetics, Part C: Applications and Reviews (Sept.2011),通過弓I用將它們分別合并于此。為減少前景碎片(fragment),在步驟220期間應(yīng)用修復(fù)(healing)技術(shù)。例如,參見 Ying-Li Tian 等人的 “Robust and Efficient Foreground Analysis for Real-TimeVideo Surveillance, ” CVPR’05?！靶迯?fù)”針對呈現(xiàn)為靜止且可能準備好被送入當前的背景模型的像素。前景碎片對于很多背景減消方法來說是常見的。在高斯混合(mixtureof Gaussians)背景減消方法中，經(jīng)常基于靜態(tài)區(qū)域和背景模型之間的像素的相似度，以不同的速度將靜態(tài)區(qū)域的不同部分更新為背景模型。當靜態(tài)區(qū)域最大(即，在其開始收縮(shrinking)之前)時，修復(fù)將靜態(tài)區(qū)域送回到背景模型，以避免前景的碎片。在檢測并修復(fù)(S卩，送入到背景中)了靜態(tài)區(qū)域之后，示例的傳統(tǒng)遺棄物體檢測處理200在步驟230期間，對修復(fù)對應(yīng)于遺棄還是移除(removed)的物體事件進行分類?？刹捎酶咚够旌戏椒▉韺⒈尘拔矬w分類為遺棄物體或者移除的物體。例如，參見 Ying-Li Tian 等人的 “Robust Detection of Abandoned and Removed Objects inComplex Surveillance Videos,，，IEEE Trans.0n Systems, Man, and Cybernetics, PartC:Applications and Reviews (Sept.2011)。高斯混合方法可處理慢照明變化、來自雜亂背景的周期性運動、慢運動物體、長期場景變化、以及相機噪聲。在步驟230期間，在檢測背景時，可采用高斯混合方法來將前景分析為運動物體、遺棄物體、或者移除的物體(鬼影(ghost))。通常，結(jié)合強度(intensity)和紋理(texture)信息，來去除陰影，并使算法對快速照明變化起作用?！皡^(qū)域成長(regiongrowing)”方法考察幀和背景圖像兩者中的靜態(tài)區(qū)域與其周圍之間的相似度。也參見Y.L.Tian等人的“Real-Time Detection of Abandoned and Removed Objects in ComplexEnvironments，，，IEEE Int，IWorkshop on Visual Surveillance (2008)。通常，區(qū)域成長技術(shù)確定物體是否具有合理的輪廓，以構(gòu)造真實的物體(例如，與陰影相反)。在進一步的變型中，可應(yīng)用區(qū)域分割(region segmentation)方法來將像素分組為有意義的物體。區(qū)域成長和區(qū)域分割有助于忽略特定的照明變化，其以公知的方式影響像素的相對強度，但不產(chǎn)生與背景區(qū)分的結(jié)合區(qū)域(cohesive region)。如果物體在步驟230期間被分類為移除的物體，則其在本發(fā)明的范圍之外，并且，程序控制在步驟240期間終止，或針對移除的物體以傳統(tǒng)方式進行。例如，該決定可以基于區(qū)域分割或尺寸與行人檢測之間的融合(fusion)。如果物體在步驟230期間被分類為遺棄物體，則程序控制進行到步驟250，其中，執(zhí)行測試，以確定物體的尺寸是否滿足對于遺棄物體的預(yù)先確定的標準。例如，步驟250可確定檢測到的物體是否具有行李箱的合理尺寸。另外，在步驟250期間執(zhí)行的示例測試可確定檢測到的物體是否具有與平均人類高度相當?shù)母叨?暗示該物體是人，并應(yīng)被忽略)。在另一個變型中，在步驟250期間執(zhí)行的測試還可或者替代地確定檢測到的物體是否太大或太小、或者為另一不合理的尺寸外形。如果在步驟250期間確定該物體的尺寸不滿足對于遺棄物體的預(yù)先確定的標準，則該物體不被認為是遺棄物體，并且，程序控制在步驟255期間終止。
然而，如果在步驟250期間確定該物體的尺寸滿足遺棄物體的預(yù)先確定的標準，則在步驟260期間，執(zhí)行進一步的測試，以確定遺棄物體是否匹配預(yù)先確定的遺棄時間標準(即，該物體是否在該處足夠長的時間)。在被斷言為真正的遺棄物體之前，靜態(tài)物體通常需要在該場景中停留最小時間量(例如，半分鐘到幾分鐘)。這樣，模板匹配確保:在發(fā)起警告由人裁決之前該物體停留了至少最小時間量。如果在步驟260期間確定遺棄物體不匹配預(yù)先確定的遺棄時間標準，則在步驟270期間執(zhí)行進一步的測試，以確定圖像中的物體的遮擋(即,視覺合并(visual merging))是否超過了預(yù)先確定的閾值t。對于圖像中的遮擋的估計的更詳細的討論，例如，參見Ying-Li Tian 等人的 “Robust and Efficient Foreground Analysis for Real-TimeVideo Surveillance, ^Proc.0f the 2005 IEEE Computer Society Conference onComputer Vision and Pattern Recognition (CVPR' 05), Vol.1 (2005) ; Ying-Li Tian 等人的“Robust Detection of Abandoned and Removed Objects in Complex SurveillanceVideos,，，IEEE Trans.0n Systems, Man, and Cybernetics, Part C:Applications andReviews(Sept.2011),或 Q.Fan 的“Modeling of Temporarily Static Objects forRobust Abandoned Object Detection in Urban Surveillance,，，IEEE Int’ I Conf.0nAdvanced Video and Signal-Based Surveillance (AVSS) (2011),通過引用將它們分別合并于此。通常，確定遺棄物體不匹配預(yù)定的遺棄時間標準，則作出該物體被遮擋的假定。如果該物體僅被遮擋了短時間，則可繼續(xù)測試圖像中的物體的遮擋是否超過了預(yù)先確定的閾值t。如果在步驟270期間確定遮擋超過了預(yù)先確定的閾值t，則合并的物體是不可靠的(假定被遮擋)，且程序控制在步驟275期間終止。然而，如果在步驟270期間確定遮擋未超過預(yù)先確定的閾值t，則程序控制返回到步驟260，直到遺棄物體匹配預(yù)先確定的時間標準為止。在步驟280期間執(zhí)行最終測試，以確定在步驟290期間例如為了人為分辨而發(fā)起警告之前是否超過了第二時間閾值T，例如，90秒。這樣，用戶可以任意地定義在觸發(fā)警告之前物體應(yīng)被遺棄多久。 使用行人檢測器的遺棄物體檢測圖3是描述合并了本發(fā)明的方面的示例遺棄物體檢測處理300的流程圖。如圖3所示，示例的遺棄物體檢測處理300首先執(zhí)行幾個步驟310、320、330、340，以便以與圖2中的示例遺棄物體檢測處理200的對應(yīng)步驟類似的方式，執(zhí)行背景減消和靜態(tài)區(qū)域檢測和物體類型檢測(即，遺棄或移除的物體)。在根據(jù)本發(fā)明，在步驟350期間，示例的遺棄物體檢測處理300將訓練過的行人檢測器130 (圖1)應(yīng)用于潛在的遺棄物體，以改進遺棄物體的檢測。行人檢測器130將遺棄物體與人區(qū)分。如上面結(jié)合圖1所討論的，由包括遺棄物體的肯定示例和隨機背景場景的否定示例的訓練樣本的大集合構(gòu)造行人檢測器130。否定示例還可包括如由遺棄物體檢測系統(tǒng)生成的、并來自行人圖像數(shù)據(jù)集的典型的錯誤肯定的示例。使用完整身體的行人和部分行人圖像。如果在步驟350期間確定檢測到的物體是人，則在步驟355期間，將該區(qū)域分割。如果仍存在具有合理尺寸并通過區(qū)域測試(以及任意其它期望測試)的、行人檢測未解釋的區(qū)域，則程序控制返回到遺棄物體測試，以查看該物體是否保持足夠久且未被遮擋。如果在步驟350期間確定檢測到的物體不是人，則在步驟360期間執(zhí)行進一步的測試，以便以與圖2的示例的傳統(tǒng)遺棄物體檢測處理200類似的方式，確定遺棄物體是否匹配預(yù)先確定的遺棄時間標準(即，該物體在該處是否足夠久)。在被斷言為真正的遺棄物體之前，靜態(tài)物體通常需要在該場景中停留最小時間量(例如，半分鐘到幾分鐘)。如上面結(jié)合圖2所討論的，還可針對用于遺棄物體的預(yù)先確定的標準來評估檢測到的物體的尺寸。如果在步驟360期間確定遺棄物體不匹配預(yù)先確定的遺棄時間標準，則以與圖2的示例的傳統(tǒng)的遺棄物體檢測處理200類似的方式，在步驟370期間執(zhí)行進一步的測試，以確定圖像中的物體的遮擋(即，視覺合并)是否超過了預(yù)先確定的閾值t。如果在步驟370期間確定遮擋超過了預(yù)先確定的閾值t，則合并的物體是不可靠的，且程序控制在步驟375期間終止。然而，如果在步驟370期間確定遮擋未超過預(yù)先確定的閾值t，則程序控制返回到步驟360，直到遺棄物體匹配預(yù)先確定的時間標準為止。一旦在步驟360期間遺棄物體滿足預(yù)先確定的時間標準，則在步驟376期間執(zhí)行可選測試，以確定行人是否已丟棄檢測到的物體。通常，在步驟376期間執(zhí)行的測試通過緊挨在遺棄物體檢測之前檢測并跟蹤人，來確定物體是否被放下。如果在步驟376期間確定行人尚未丟下(drop)該物體，則程序控制返回到步驟360。然而，如果在步驟376期間確定行人已丟下該物體，則在步驟378期間執(zhí)行進一步的可選測試，以確定該行人現(xiàn)在是否已經(jīng)離開該區(qū)域。通常，在步驟378期間執(zhí)行的測試通過緊挨在遺棄物體檢測之后檢測并跟蹤人，來確定在檢測到的物體被放下之后是否有人離開。這樣，動作識別是用于改進遺棄物體檢測的另一機制。動作識別基于動作的檢測，如在放下物體時，或人在放下物體之后離開時。由此，通過語義上相關(guān)的事件(semantically relevant events),來證實遺棄物體檢測。在步驟380期間執(zhí)行最終測試，以確定在步驟390期間例如為了人為分辨而發(fā)起警告之前是否超過了第二時間閾值T，例如，90秒。這樣，用戶可以任意地定義在觸發(fā)警告之前物體應(yīng)被遺棄多久。如前所述，僅通過說明性的示例來呈現(xiàn)了本發(fā)明的上述實施例?？墒褂么罅孔兓推渌蛇x實施例。例如，如在這里討論的，遺棄物體檢測的重要方面是基于測定暫時靜止的物體的屬性，以確定真實肯定的可能性。盡管這里已陳述了一些示例屬性，但可采用附加或替代的屬性，如時間穩(wěn)定性、空間穩(wěn)定性、垂直運動、分布重量約束(distributionweight constraint)、尺寸和寬高比。這些度量設(shè)法驗證該區(qū)域是靜止了足夠久的真實的現(xiàn)實世界物體，且移除照明變化。示例系統(tǒng)和產(chǎn)品細節(jié)正如本領(lǐng)域的技術(shù)人員所理解的，本發(fā)明的方面可被具體化為系統(tǒng)、方法或計算機程序產(chǎn)品。因此，本發(fā)明可采取全部為硬件實施例、全部為軟件實施例(包括固件、駐留軟件、微碼等等)，或者組合硬件和軟件方面的實施例的形式，在此，它們?nèi)勘灰话愕胤Q作“電路”、“模塊”或“系統(tǒng)”。此外，本發(fā)明可采取在一個或多個計算機可用存儲介質(zhì)中實現(xiàn)的計算機程序產(chǎn)品的形式，該計算機可用存儲介質(zhì)具有在介質(zhì)上實現(xiàn)的計算機可讀程序代碼?？梢园ù鎯ζ饕约榜罱拥酱鎯ζ鞯闹辽僖粋€處理器、且可操作用于執(zhí)行示例方法步驟的裝置形式，實現(xiàn)本發(fā)明的一個或多個實施例或者其元素。一個或多個實施例可利用在通用計算機或工作站上運行的軟件。圖4繪出了示例的遺棄物體檢測器，其可被用于實現(xiàn)本發(fā)明的一個或多個方面和/或元素。參照圖4，例如，這樣的實現(xiàn)可利用例如處理器402、存儲器404、以及例如由顯示器406和鍵盤408形成的輸入/輸出接口。例如，存儲器404可存儲用來實現(xiàn)圖3的布局處理300的代碼。這里使用的術(shù)語“處理器”意欲包括任何處理裝置，如包括CPU (中央處理單元)和/或其它處理電路形式的處理裝置。此外，術(shù)語“處理器”可表示多于一個單獨的處理器。術(shù)語“存儲器”意欲包括與處理器或CPU相關(guān)聯(lián)的存儲器，如RAM (隨機存取存儲器)、R0M (只讀存儲器)、固定存儲裝置(例如，硬盤驅(qū)動器)、可移除存儲裝置(例如，磁盤)、閃存等。另外，如在這里使用的短語“輸入/輸出接口”意欲包括例如用于將數(shù)據(jù)輸入到處理單元的一個或多個機構(gòu)(例如，鼠標)、以及用于提供與處理單元相關(guān)聯(lián)的結(jié)果的一個或多個機構(gòu)(例如，打印機)。處理器402、存儲器404和諸如顯示器406和鍵盤408的輸入/輸出接口例如可經(jīng)由作為數(shù)據(jù)處理單元412的一部分的總線410互連。例如，經(jīng)由總線410的適當互連還可被提供到可被提供用來與計算機網(wǎng)絡(luò)對接的諸如網(wǎng)卡的網(wǎng)絡(luò)接口 414、以及可被提供用來與媒體418對接的諸如磁盤或CD-ROM驅(qū)動器的媒體接口 416。模數(shù)轉(zhuǎn)換器420可被提供用來接收諸如模擬視頻饋送的模擬輸入，并將其數(shù)字化。這樣的轉(zhuǎn)換器可與系統(tǒng)總線410互連。因而，如在這里描述的，包括用于執(zhí)行本發(fā)明的方法的指令或代碼的計算機軟件可被存儲在一個或多個關(guān)聯(lián)的存儲裝置(例如，ROM、固定或可移除存儲器)中，并且，在準備好利用時，被部分或全部加載(例如，到RAM中)，并由CPU使用。這樣的軟件可包括但不限于固件、駐留軟件、微代碼等。適于存儲和/或執(zhí)行程序代碼的數(shù)據(jù)處理系統(tǒng)將包括通過系統(tǒng)總線410直接或間接耦接到存儲元件404的至少一個處理器402。該存儲元件可包括在程序代碼的實際實現(xiàn)期間采用的本地存儲器、大容量存儲裝置、以及緩存，其提供至少一些程序代碼的臨時存儲，以便減少在實現(xiàn)期間必須從大容量存儲裝置檢索代碼的次數(shù)。輸入/輸出或I/O裝置(包括但不限于鍵盤408、顯示器406、打印裝置等)可直接(如經(jīng)由總線410)或通過中間I/O控制器(為了清楚起見而省略)耦接到系統(tǒng)。諸如網(wǎng)絡(luò)接口 414的網(wǎng)絡(luò)適配器也可被耦接到系統(tǒng)，以使數(shù)據(jù)處理系統(tǒng)能夠通過中間的私有或公共網(wǎng)絡(luò)耦接到其它數(shù)據(jù)處理系統(tǒng)或遠程打印機或存儲裝置。調(diào)制解調(diào)器、有線電視調(diào)制解調(diào)器、以及以太網(wǎng)卡僅為當前可用的網(wǎng)絡(luò)適配器的一些類型。如在這里和權(quán)利要求中所使用的，“服務(wù)器”包括物理數(shù)據(jù)處理系統(tǒng)(例如，如圖4所示的系統(tǒng)412)，其運行服務(wù)器程序。將理解，這樣的物理服務(wù)器可以或可以不包括顯示器和鍵盤。注意，本發(fā)明的方面可采用在具有其上實現(xiàn)計算機可讀程序代碼的一個或多個計算機可讀介質(zhì)中實現(xiàn)的計算機程序產(chǎn)品的形式。可使用一個或多個計算機可讀介質(zhì)的任意組合。計算機可讀介質(zhì)可為計算機可讀信號介質(zhì)或計算機可讀存儲介質(zhì)。例如，計算機可讀介質(zhì)可以是但不限于電子、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置、設(shè)備或前述的任意適當組合。媒體塊418是非限制性示例。計算機可讀存儲介質(zhì)的更具體示例(非詳盡的列表)將包括如下:具有一個或多個線路的電連接、便攜式計算機磁盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器(EPROM或閃存)、光纖、便攜式光盤只讀存儲器(CDR0M)、光存儲設(shè)備、磁存儲設(shè)備或前述的任意適當組合。在此文檔的上下文中，計算機可讀存儲介質(zhì)可為任何有形介質(zhì)，其可包含或存儲程序，其用于或與指令運行系統(tǒng)、設(shè)備或裝置結(jié)合。計算機可讀信號介質(zhì)可包括傳播其中實現(xiàn)計算機可讀程序代碼的數(shù)據(jù)信號，例如，在基帶中或作為載波的一部分。這樣的傳播信號可采用各種形式中的任一種，包括但不限于電磁、光或其任意適當組合。計算機可讀信號介質(zhì)可為不是計算機可讀存儲介質(zhì)且可通信、傳播或傳輸用于或與指令運行系統(tǒng)設(shè)備或裝置結(jié)合的程序的任意計算機可讀介質(zhì)?？墒褂冒ǖ幌抻跓o線、有線、光纖、RF等(或前述的任意適當組合)的任意適當介質(zhì)來傳送在計算機可讀介質(zhì)上實現(xiàn)的程序代碼?？梢砸砸粋€或多個編程語言的任何組合來編寫用于執(zhí)行本發(fā)明的方面的操作的計算機程序代碼，其中，所述編程語言包括諸如Java、Smalltalk、C++等的面向?qū)ο蟮木幊陶Z言、以及諸如“C”編程語言或類似編程語言的傳統(tǒng)過程編程語言。程序代碼可以完全在用戶的計算機上、或部分地在用戶的計算機上執(zhí)行，作為獨立軟件包，部分地在用戶的計算機上和部分地在遠程計算機上或完全在遠程計算機或服務(wù)器上執(zhí)行。在后一情形中，遠程計算機可通過任意類型的網(wǎng)絡(luò)連接到用戶的計算機，所述網(wǎng)絡(luò)包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)，或者，可使連接朝向外部計算機(例如，使用因特網(wǎng)服務(wù)提供商，通過因特網(wǎng))。下面通過參照根據(jù)本發(fā)明的實施例的方法、裝置(系統(tǒng))和計算機程序產(chǎn)品的流程圖示和/或框圖來描述本發(fā)明的方面。將理解，可以通過計算機程序指令來實現(xiàn)的流程圖示和/或框圖的每塊、以及流程圖示和/或框圖中的塊的結(jié)合。可以將這些計算機程序指令提供給通用計算機、專用計算機或其它可編程數(shù)據(jù)處理裝置的處理器以生產(chǎn)這樣的機器，使得經(jīng)由計算機或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行的指令創(chuàng)建用于實施流程圖和/或框圖的塊或多個塊中指定的功能/效果的裝置。還可以將這些計算機程序指令存儲在可以以特定方式指示計算機或其它可編程數(shù)據(jù)處理裝置實現(xiàn)功能的計算機可讀介質(zhì)中，使得存儲在計算機可讀介質(zhì)中的指令產(chǎn)生產(chǎn)品，其包括實施流程圖和/或框圖的塊或多個塊中指定的功能/效果的指令。還可以將計算機程序指令加載到計算機或其它可編程數(shù)據(jù)處理裝置上，以使得在計算機或其它可編程裝置上執(zhí)行一系列可操作步驟來產(chǎn)生計算機實施的處理，從而在計算機或其它可編程裝置上執(zhí)行的指令提供用于實施流程圖和/或框圖的塊或多個塊中指定的功能/效果的處理。所述圖中的流程圖和框示了根據(jù)本方面的不同實施例的系統(tǒng)、方法和計算機程序產(chǎn)品的可能實施的架構(gòu)、功能和操作。在這點上，流程圖或框圖中的每個塊可以代表代碼的模塊、分段或一部分，所述代碼包括一個或多個用于實施(多個)所指定的邏輯功能的可執(zhí)行指令。還應(yīng)當注意，在一些可選實施中，塊中注釋的功能可以不按圖中所注釋的順序發(fā)生。例如，事實上，取決于所涉及的功能，可以基本上并發(fā)地執(zhí)行連續(xù)顯示的兩個塊，或者某些時候可以以相反的順序執(zhí)行所述塊。還將注意到，可以通過執(zhí)行所指定的功能或效果的基于專用硬件的系統(tǒng)、或?qū)Ｓ糜布陀嬎銠C指令的結(jié)合，而實施框圖和/或流程示的每個塊、以及框圖和/或流程示中塊的結(jié)合。例如，可將這里描述的方法步驟綁定到被編程來執(zhí)行這樣的步驟的通用計算機、或用于執(zhí)行這里描述的步驟的硬件。此外，還可將這里描述的方法步驟(例如，包括獲得數(shù)據(jù)流和對流編碼)綁定到從其得到數(shù)據(jù)流的諸如相機或麥克風的物理傳感器。應(yīng)注意，這里描述的任何方法可包括提供系統(tǒng)的附加步驟，該系統(tǒng)包括在計算機可讀存儲介質(zhì)上實現(xiàn)的獨特軟件模塊。隨后，如上所述，可使用在一個或多個硬件處理器502上執(zhí)行的系統(tǒng)的獨特軟件模塊和/或子模塊來進行所述方法步驟。在某些情況下，可采用專用硬件來實現(xiàn)這里描述的一個或多個功能。此外，計算機程序產(chǎn)品可包括計算機可讀存儲介質(zhì)，其具有代碼，該代碼被適配為被實現(xiàn)用來執(zhí)行這里描述的一個或多個方法步驟，包括具有獨特軟件模塊的系統(tǒng)的提供。在任一情況下，應(yīng)理解，可以硬件、軟件或其組合的各種形式(例如，專用集成電路(ASIC)、功能電路、具有關(guān)聯(lián)的存儲器的一個或多個適當編程的通用數(shù)字計算機，等等)來實現(xiàn)這里示出的組成部分。給出這里提供的發(fā)明的教導(dǎo)，相關(guān)領(lǐng)域的技術(shù)人員將能夠構(gòu)思出本發(fā)明的組成部分的其它實施方式。此處使用的術(shù)語僅僅為了是描述特定實施例的目的，而并不作為對于本發(fā)明的限定。如同此處所使用的單數(shù)形式的“一個”、” “一”和“該”也包括復(fù)數(shù)形式，除非上下文清楚地表明另外的含義。進一步需要了解到，當在本說明書中使用術(shù)語“包括”和/或“包含”時，具體是指所述的特性、整體、步驟、操作、元件和/或組件的存在，而不是排除一個或多個其它特性、整體、步驟、操作、元件、組件和/或它們的組的出現(xiàn)或組合。下面的權(quán)利要求中的所有裝置或步驟以及功能元素的相應(yīng)結(jié)構(gòu)、材料、行為以及等同物意在包括用于如具體主張權(quán)利那樣與其它要求權(quán)利的元素組合地執(zhí)行功能的任何結(jié)構(gòu)、材料和行為。為了展示和說明的目的，已呈現(xiàn)了本發(fā)明的說明書，但并不意圖窮舉和將本發(fā)明限定為公開的形式。對于本領(lǐng)域技術(shù)人員而言，不脫離本發(fā)明的范圍和精神的情況下，任何修改和變化都是顯而易見的。為了最好的說明本發(fā)明的原理和實際應(yīng)用而選擇并描述了實施例，以使得本領(lǐng)域的其它技術(shù)人員理解具有適合于考慮的特定應(yīng)用的各種修改的各種實施例的本發(fā)明。
權(quán)利要求
1.一種用于在一個或多個圖像中檢測遺棄物體的方法，包括: 確定所述圖像的前景中的一個或多個檢測到的物體是否包括潛在的遺棄物體； 將訓練過的行人檢測器應(yīng)用于所述潛在的遺棄物體，以確定所述潛在的遺棄物體是否包括行人的至少一部分；以及 基于所述潛在的遺棄物體是否不是行人的至少一部分，將所述潛在的遺棄物體分類為遺棄物體，其中，由至少一個硬件裝置執(zhí)行所述確定、應(yīng)用和分類步驟中的至少一個。
2.根據(jù)權(quán)利要求1的方法，其中，所述訓練過的行人檢測器是使用肯定訓練樣本和否定訓練樣本中的一個或多個訓練的。
3.根據(jù)權(quán)利要求2的方法，其中，所述肯定訓練樣本包括在一個或多個姿勢中的人體的至少部分。
4.根據(jù)權(quán)利要求2的方法，其中，所述否定訓練樣本包括遺棄物體的至少部分。
5.根據(jù)權(quán)利要求1的方法，還包括如下步驟:確定所述潛在的遺棄物體是否已被人放下。
6.根據(jù)權(quán)利要求1的方法，還包括如下步驟:確定所述潛在的遺棄物體是否已被人留下。
7.根據(jù)權(quán)利要求1的方法，還包括如下步驟:如果所述潛在的遺棄物體被分類為遺棄物體，則觸發(fā)警告。
8.根據(jù)權(quán)利要求1的方法，還包括如下步驟:通過使用背景減消(BGS)技術(shù)來檢測靜態(tài)背景中的運動物體，處理所述一個或多個圖像。
9.根據(jù)權(quán)利要求1的方法，還包括如下步驟:應(yīng)用修復(fù)技術(shù)來減少前景碎片。
10.根據(jù)權(quán)利要求1的方法，其中，所述確定步驟應(yīng)用高斯混合方法來將背景物體分類為所述遺棄物體。
11.根據(jù)權(quán)利要求1的方法，還包括如下步驟:確定所述潛在的遺棄物體的尺寸是否滿足遺棄物體的預(yù)先確定的標準。
12.根據(jù)權(quán)利要求1的方法，還包括如下步驟:確定所述潛在的遺棄物體是否滿足預(yù)先確定的遺棄時間標準。
13.根據(jù)權(quán)利要求1的方法，還包括如下步驟:確定所述潛在的遺棄物體在所述圖像中的遮擋是否超過預(yù)先確定的閾值t。
14.一種用于在一個或多個圖像中檢測遺棄物體的裝置，所述裝置包括: 存儲器；以及 耦接到該存儲器的至少一個硬件裝置，其操作來: 確定所述圖像的前景中的一個或多個檢測到的物體是否包括潛在的遺棄物體； 將訓練過的行人檢測器應(yīng)用于所述潛在的遺棄物體，以確定所述潛在的遺棄物體是否包括行人的至少一部分；以及 基于所述潛在的遺棄物體是否不是行人的至少一部分，將所述潛在的遺棄物體分類為遺棄物體。
15.根據(jù)權(quán)利要求14的裝置，其中，所述訓練過的行人檢測器是使用肯定訓練樣本和否定訓練樣本中的一個或多個訓練的，所述肯定訓練樣本包括在一個或多個姿勢中的人體的至少部分，所述否定訓練樣本包括遺棄物體的至少部分。
16.根據(jù)權(quán)利要求14的裝置，其中，所述至少一個硬件裝置還被配置為確定所述潛在的遺棄物體是否已被人放下。
17.根據(jù)權(quán)利要求14的裝置，其中，所述至少一個硬件裝置還被配置為確定所述潛在的遺棄物體是否已被人留下。
18.根據(jù)權(quán)利要求14的裝置，其中，所述至少一個硬件器件還被配置為:如果所述潛在的遺棄物體被分類為遺棄物體， 則觸發(fā)警告。
全文摘要
提供了使用行人檢測的改進的遺棄物體識別方法和裝置。通過以下步驟來在一個或多個圖像中檢測遺棄物體確定圖像的前景中的一個或多個檢測到的物體是否包括潛在的遺棄物體；將訓練過的行人檢測器應(yīng)用于潛在的遺棄物體，以確定潛在的遺棄物體是否包括行人的至少一部分；以及基于潛在的遺棄物體是否不是行人的至少一部分，將潛在的遺棄物體分類為遺棄物體。訓練過的行人檢測器是使用肯定訓練樣本和/或否定訓練樣本訓練的，肯定訓練樣本包括在一個或多個姿勢中的人體的至少部分，否定訓練樣本包括遺棄物體的至少部分。
文檔編號G06K9/66GK103093246SQ201210405939
公開日2013年5月8日 申請日期2012年10月23日 優(yōu)先權(quán)日2011年10月31日
發(fā)明者L.M.布朗, R.S.費里斯, F.C.謝爾德森, K.謝爾鮑姆 申請人:國際商業(yè)機器公司