專利名稱：用于識別元數(shù)據(jù)中的結構以并行地自動分析可公開接入的數(shù)據(jù)組和報告控制實體的方法 ...的制作方法
技術領域：
本發(fā)明涉及用于觀察和分析大量實時數(shù)據(jù)組、尤其是來自可通過因特網(wǎng)公開接入 的因特網(wǎng)攝像頭-所謂的WebCam(網(wǎng)絡攝像頭)_的實時數(shù)據(jù)組以識別非典型狀況和/或 關鍵結構并將這樣識別的實時數(shù)據(jù)組通告給控制實體的一種方法和一種設備。
背景技術：
應該以如下方式使得能夠同時觀察和分析大量的公開實時數(shù)據(jù)組，例如由Webcam 提供的公開實時數(shù)據(jù)組危險時刻被識別出來并且可以自動通過所謂的“通知”要求主管機 關人工地觀察這些所識別的數(shù)據(jù)流、尤其是來自Webcam的數(shù)據(jù)流。這是所謂的自動的清理 中心功能(Clearing-Center-Function)，該自動的清理中心功能已經(jīng)可以通過常規(guī)方式來 實現(xiàn)。通過在世界范圍內(nèi)在不同的、也是國際的位置上使用因特網(wǎng)并且尤其是使用所謂 的Webcam，對這些位置的觀察并且因此也對人群和交通狀況的觀察變得非常簡單。許多這 樣的數(shù)據(jù)是可公開接入的，但是因為這些數(shù)據(jù)的數(shù)量巨大不是所有數(shù)據(jù)都能被主管機構分 析。同樣地，這些數(shù)據(jù)的質(zhì)量、尤其是圖像的質(zhì)量常常不足以能夠直接將模式識別方法應用 于分析。因此，雖然這樣的Webcam的信息可提供使用，但是該信息根本不被使用或分析或 者因此不被充分使用或分析。越來越多的Webcam可在因特網(wǎng)中自由接入，并且可由大量的個人使用。但是不存 在例如由主管機關已經(jīng)設立的自動分析。由于數(shù)據(jù)量，不可能同時人工地觀察大量在因特網(wǎng)中可用的與安全相關的公共場 所的視頻圖像。由于圖像的質(zhì)量較差并且算法的運行時間長，不可能通過圖像處理方法中 的經(jīng)典模式識別進行直接的自動分析。

發(fā)明內(nèi)容
本發(fā)明的任務是提供用于觀察和分析大量的實時數(shù)據(jù)組_尤其是來自可通過因 特網(wǎng)公開接入的因特網(wǎng)攝像頭的實時數(shù)據(jù)組-以識別非典型狀況和/或關鍵結構并且將這 樣識別的實時數(shù)據(jù)組通告給控制實體的一種方法和一種設備，其中所述數(shù)據(jù)組的質(zhì)量可以 為低。將使得能夠自動識別危險狀況，所述危險狀況例如可能由于人員或關鍵人流的聚集 或者由于不允許的行為模式造成。將使得能夠同時分析來自非常大量的網(wǎng)絡攝像頭或其他 可公開接入的傳感器的數(shù)據(jù)。這樣的數(shù)據(jù)通常以較差質(zhì)量存在。該任務通過根據(jù)獨立權利要求的方法和根據(jù)并列獨立權利要求的設備來解決。本發(fā)明與經(jīng)典的模式識別方案的區(qū)別在于，根據(jù)本發(fā)明被稱為結構識別的所述模 式識別已經(jīng)基于元數(shù)據(jù)-例如對象群密度，而不是直接基于視頻圖像。這樣生成的小的細 節(jié)深度首先允許并行觀察大量的因特網(wǎng)攝像頭。優(yōu)選的是，視頻圖像具有例如從俯視角度 (Vogelperspektive)生成的一定特性，使得這些圖像容易被分析。相反，來自許多具有重疊
4的角度的視圖難以被分析。然而，大多數(shù)常規(guī)的Webcam都被懸掛在高處。假設，數(shù)據(jù)被傳送到從視頻圖像中生成元數(shù)據(jù)的位置處。元數(shù)據(jù)應理解為尤其是 例如人群密度、人群密度分布以及人群的移動方向和速度。元數(shù)據(jù)導致額外的抽象層和相 對于對數(shù)據(jù)、尤其是對視頻圖像的直接分析的簡化。對視頻圖像的直接分析例如可以用常 規(guī)方式通過模式識別來進行或者是用常規(guī)方式對人進行跟蹤。元數(shù)據(jù)具有兩個顯著的優(yōu) 點。如果直接的模式識別方法由于數(shù)據(jù)的質(zhì)量而可能不能進行或者會持續(xù)得太長，則可以 對元數(shù)據(jù)進行收集。元數(shù)據(jù)是對狀況的簡化，因此減少了信息流并且因此使得能夠?qū)Ψ浅?多的數(shù)據(jù)流進行并行分析。從可能指示危險的非典型狀況和/或關鍵結構方面對元數(shù)據(jù)進行有針對性的分 析是本發(fā)明的第二步驟。如果識別出這樣的非典型狀況和/或關鍵結構，則報告控制實體， 例如將通告發(fā)送到控制中心中，在該控制中心中操作人員檢查所涉及的Webcam的圖像。數(shù) 據(jù)收集的各個層在圖1中示出。根據(jù)本發(fā)明，收集高度簡化的元數(shù)據(jù)-例如人員密度，在這些元數(shù)據(jù)中可以識別 出有說服力的結構，例如過度擁擠或環(huán)形成。如果識別出與安全有關的結構，則在控制中心 中轉換成人工監(jiān)控。從中得出許多優(yōu)點。元數(shù)據(jù)也可以在較差圖像質(zhì)量的情況下生成。元 數(shù)據(jù)被高度簡化并且允許對數(shù)據(jù)的快速分析。對觀察區(qū)的分類允許快速識別非典型結構和 狀況?，F(xiàn)在可以使用自由可用的關于交通的信息源，這例如是Webcam。數(shù)據(jù)可以被自動分 析。不尋常的測量結果可以被通告。只有在數(shù)據(jù)組被指示為“值得觀察”的情況下，才由人 觀察該特別指示的數(shù)據(jù)組。只有這樣的效率提高才使得有可能觀察許多自由的Webcam。此外得出下面的優(yōu)點?，F(xiàn)在，可以在有限的時間段中、即在多個時間步驟/時間脈 沖上來計算關于發(fā)展的預測。因此，可以更好的預見危機并且更快地引入措施。所述預測允 許在第一步驟中進行反應以便對人流進行前瞻性的控制。這為生命提供提高了的安全性。 安全預防措施的部分自動化是可能的。此外，可以提供針對經(jīng)濟和旅游業(yè)的更好的統(tǒng)計報
生 I=I O在懷疑有根據(jù)本發(fā)明應識別出的危險狀況時，自動向主管當局發(fā)送“通知”并且因 此請求由操作人員進行觀察，從而可以及時引入相應的措施?？梢栽趶膶贆嗬笾邪l(fā)現(xiàn)其他有利的擴展方案。根據(jù)一個有利的擴展方案，將元數(shù)據(jù)生成為對象群的特性，尤其是生成為對象群 的密度、密度分布、聚集、流、移動方向、速度、和/或行為模式、對象群的相關的最小值、最 大值、平均值、和/或?qū)ο笕旱倪^去的或預測的行為。在此，對于對象群、例如人群的每個類 型定義特定的特征。這例如可以借助于參數(shù)-人群的(典型的)密度、群的速度(典型的 最小平均速度/最大平均速度的確定)、移動方向以及典型的行為模式來進行。這樣的參數(shù) 可以分別是當前的時刻、過去的時刻或?qū)硇袨榈念A測。根據(jù)另一有利的擴展方案，根據(jù)觀察位置的類別和對象群的相關類型來確定數(shù)據(jù) 組的目標對象群特性?；诳山尤氲臄?shù)據(jù)源_例如Webcam，將這些源按照觀察位置和對象 群的相關類型來分類。下面對觀察位置和道路使用者流的分類提出更精確的建議。根據(jù)另一有利的擴展方案，觀察位置的類別例如是公共場所、體育場、體育場入場 區(qū)、街道和/或自然環(huán)境。類別“公共場所”例如可以具有如下特性場所的大小。該場所 只裝有人作為對象群。該場所中的人具有小的人員速度。這些人形成典型的方向/移動模式。另一類別例如是“體育場”。在此，體育場內(nèi)部具有如下特性人的最大數(shù)目。該體育場 在內(nèi)部只裝有人。這些人具有非常小的速度或沒有速度。類別“體育場入場區(qū)”例如具有 如下特性人的典型方向/移動模式。每面積存在最大人員密度。只存在時間有限的行為。 類別“街道”，類型高速公路高速公路是多車道的，機動車具有典型的方向/移動模式。每 面積單位存在最大機動車密度。類型交通干道交通干道最多是兩車道的。機動車具有相 對小的速度。存在機動車的典型方向/移動模式。每面積單位存在最大機動車密度。類型 支線道路支線道路是單車道的，機動車具有非常小的速度。機動車具有典型的方向/移動 模式。每面積單位存在最大機動車密度。同樣地，應該自動分析有或沒有人群的區(qū)域組合 并且通告非典型行為，例如a)在地鐵站臺上。在站臺上有人。在鐵軌區(qū)域沒有人。b)足球 場。在座位上有人。在到比賽場地的隔離柵欄的另一邊沒有人。c)警察封鎖/示威。在 障礙物前有人。在障礙物的另一邊沒有人。同樣應該被識別的是沒有道路使用者的自由區(qū) 域，也就是說“不存在人群”，即例如a)拍攝風景的Webcam。b)拍攝建筑物。c)觀測天氣 等等。類別“自然環(huán)境”自然環(huán)境具有以下特性。只存在非常少量的人。這些人的速度非 常小。這些人形成典型的方向/移動模式。根據(jù)另一優(yōu)選的擴展方案，借助于人、汽車、自行車和/或動物構成對象群。對不 同類型的對象群進行定義。其他類型的對象群例如可以是人群a)靜止的人群，例如在足 球比賽期間的足球場中的人群。b)有目標的和順暢移動的人群，例如去往足球場/從足球 場出來的人群。c)無目標的和以強列波動的速度和方向移動的人群，例如在十月節(jié)上的人 群。d)在地鐵站臺上以10分鐘為周期具有連續(xù)增長或突然下降的人群密度的周期性變化 的人群。公路交通a)可以想像高速公路上或堵車時具有非常結構化的汽車群模式以及相 應更高速度的汽車交通流，所述汽車群模式即例如一車道、兩車道或多車道。b)按照街道類 型進行劃分。根據(jù)另一優(yōu)選的擴展方案，借助于數(shù)據(jù)組的實際對象群特性與對象群的相關類別 和相關類型的目標對象群特性的比較來識別非典型狀況和/或關鍵結構。針對觀察位置或 區(qū)域識別所謂非典型狀況和/或關鍵結構原則上通過與通過所述分類所生成的常態(tài)數(shù)據(jù) 或允許數(shù)據(jù)的比較來進行。尤其是同樣可以定義每人群類型的非典型行為并且因此定義例 外行為，即該人群類型不應具有何種行為，以及可以對多種非典型行為模式進行定義。a)人 群的關鍵密度，過小和過大兩者。b)人群的過高速度。c)混亂的或突然的方向改變。可接 入的數(shù)據(jù)源_如Webcam-是起始點。利用關于典型密度以及典型的和允許的行為的信息根 據(jù)觀察位置和人群的相關類型對這樣的源進行分類。典型的和允許的行為例如是以特定速 度行走。此外，確定不允許的密度和行為方式。對當前看到的數(shù)據(jù)與常態(tài)數(shù)據(jù)或允許數(shù)據(jù) 進行比較。根據(jù)另一有利的擴展方案，尤其是將非典型狀況和/或關鍵結構識別為對象群中 的環(huán)形成、定期密集、清晰的邊緣、軌跡形成和/或突然散開的對象的非典型狀況和/或關 鍵結構。也就是說，除了非典型狀況之外，還應在元數(shù)據(jù)中識別根據(jù)本申請被稱為結構的特 定模式。這種特殊的群結構例如可以通過群中人員的跌倒或事故而造成。因此，這種特殊 的結構可能指示危險。為了識別這種結構，應將元數(shù)據(jù)理解為位置、即映射到觀察區(qū)上的 位置的函數(shù)和映射到觀察時段上的時間的函數(shù)。例如，在任何時刻的人員密度是位置的函 數(shù)。該函數(shù)隨觀察區(qū)而改變。人員密度中的結構現(xiàn)在可以通過圖像處理的經(jīng)典模式識別方法來識別，該方法不是本申請的主題。用于分析的元數(shù)據(jù)中的相關結構可以在特定時刻形 成。人們將其稱為隨著時間變化的純位置相關性，稱為純時間相關性或與位置和時間的相 關性。以下結構是特別重要的a)環(huán)形成。環(huán)形成例如表明人流中的事故。固定時刻的環(huán) 可以被識另U。同樣應該識別普遍的環(huán)結構，例如橢圓、不完全為圓的環(huán)、有人在中心的環(huán)。b) 數(shù)量上的定期密集，即有規(guī)律地出現(xiàn)密集。在固定時刻的有規(guī)律的密集指示數(shù)量上的波浪 形移動。這種波浪形結構、即騷動，是對恐慌開始的指示。然而，僅在時間上的定期密集可 能不是關鍵的，例如地鐵的定期到達。c)清晰的邊緣。群中的清晰邊緣指示界限，例如柵 欄。新出現(xiàn)的邊緣或者必然導致觀察區(qū)的重新分類，也就是說例如必須考慮建筑項目，或者 該新出現(xiàn)的清晰邊緣指示不允許的障礙。d)軌跡形成。在高人員密度的情況下形成相對的 人流、即所謂的軌跡，其中人一個接一個行走。這是對明顯提高的人員密度的指示，其中可 能出現(xiàn)關鍵性狀況。e)突然散開的人。到目前為止一直緊密地站在一起并且現(xiàn)在突然散開 的人表明事故或恐慌。這些模式應當被識別出來。根據(jù)本發(fā)明的另一優(yōu)選的擴展方案，借助于數(shù)據(jù)組的片段的實際對象群特性與該 片段的相關類別的目標對象群特性的比較來識別非典型狀況和/或關鍵結構。數(shù)據(jù)的允許 性不必適用于Webcam的全部觀察到的圖像，而是隨著觀察區(qū)而變化。這允許對數(shù)據(jù)組的特 別的、也是關鍵的子區(qū)域或片段-這例如是出口和入口-進行識別和特殊觀察，以及對數(shù)據(jù) 組中的特征性結構的識別。根據(jù)本發(fā)明的另一優(yōu)選的擴展方案，借助于對數(shù)據(jù)組進行過濾以便將元數(shù)據(jù)映射 為位置和/或時間的函數(shù)和/或借助于模式識別來識別狀況和/或結構。使用用于過濾/ 自動分析數(shù)據(jù)組的方法，所述數(shù)據(jù)組通過觀察場所處的Webcam生成。這些Webcam將例如 是人員密度或汽車密度的元數(shù)據(jù)映射為隨時間變化的位置的函數(shù)。根據(jù)本發(fā)明的另一優(yōu)選的擴展方案，自動識別觀察位置的類別和對象群的相關類 型。因此在一步驟中期望的是，已經(jīng)使觀察位置的分類自動化。起始點例如應當是來自因 特網(wǎng)的任意Webcam的數(shù)據(jù)/視頻流。目標是對這些數(shù)據(jù)的分析，從而對分類所需要的參數(shù) 進行自動的正確選擇。根據(jù)本發(fā)明的另一優(yōu)選的擴展方案，自動識別非典型狀況和/或關鍵結構和/或 自動向控制實體報告。一種可能的方法是，基于個人的預知和對Webcam圖像的固有圖形解 釋，將所觀察的人群的類型映射為先前定義的類型。此后，擁擠控制程序可以為該具體選擇 的類型設置相應的參數(shù)極限以及相應的行為模式。擁擠控制程序是使得能夠?qū)Φ湫蜖顩r和 /或關鍵結構進行自動識別的機制。相應的非典型行為并且因此例外行為和/或關鍵結構 可以被識別出來并且因此可以被通告(這對應于人工的類型預定)?？商鎿Q地可以進行自 動的類型選擇。也就是說，在通過先前的方法對Webcam的圖像執(zhí)行多次分析之后，可以為 該Webcam確定特征性的值，如道路使用者_例如人群_的密度、速度或者方向，并且如果所 觀察的道路使用者的行為在此之前不是關鍵性的，則所述值也同樣被分配給先前定義的類 型之一。對此，可以重新為該現(xiàn)在自動選擇的類型設置相應的參數(shù)極限以及相應的行為模 式，可以識別并且因此通告非典型行為以及例外行為和/或關鍵結構。對特定的行為模式 進行分配。如果現(xiàn)在已經(jīng)將Webcam的視頻流的數(shù)據(jù)分配給一種人群類型，則可以為該場景 加載相應的類型模式行為。這是a)參數(shù)的最小值/最大值以及平均值。b)人群的密度。 c)速度，其中確定典型的最小速度/最大速度、平均速度。d)環(huán)，以及e)群內(nèi)的典型模式以及f)群的過去的或預測的行為。對非典型的行為模式進行自動識別。通過剛描述的到 特定行為模式的分配并且通過實際狀況與所分配的模式的比較，可以自動識別非典型行為 或例外行為和/或關鍵結構。這可以向相應的站點通告，使得可以在那里采取措施。因此 可以自動分析例如人群的行為，并且在懷疑時發(fā)起人工觀察。


結合附圖借助于實施例進一步描述本發(fā)明。圖1示出數(shù)據(jù)收集的各個層；圖2示出根據(jù)本發(fā)明的方法的實施例。
具體實施例方式圖1示出數(shù)據(jù)收集的各個層。在此，層1對應于現(xiàn)實。借助于成像，例如借助于視 頻將現(xiàn)實轉化為現(xiàn)實的圖像2。借助于圖像識別的方法并且借助于特征提取，隨后是層3， 在層3中可以檢測到特性，例如人、汽車或箱子或其特性。借助于例如關于人員密度的計數(shù)算法、分析算法，基于層3的特征參量或元數(shù) 據(jù)_例如人員密度_可以被傳送到層4中?，F(xiàn)在根據(jù)優(yōu)選的實施方式，借助于結構識別、也就是說借助于對數(shù)據(jù)組進行過濾 以便將元數(shù)據(jù)映射為位置和/或時間的函數(shù)和/或借助于來自圖像處理的經(jīng)典模式識別來 從層4的元數(shù)據(jù)中生成結構層5，結構層5同樣可以稱為狀況層5?，F(xiàn)在，在層6中，檢測非典型狀況和/或關鍵結構。對非典型狀況和/或關鍵結構 的識別原則上借助于實際對象群特性與允許的對象群特性的比較來進行，例如借助于從數(shù) 據(jù)庫中查詢非典型狀況和/或關鍵結構來進行。在元數(shù)據(jù)中，可以通過這種方式來識別非 典型狀況和/或關鍵結構，這例如是例如作為人群密度分布形式生成的環(huán)。其他的非典型 狀況和關鍵結構同樣是可能的。非典型狀況和關鍵結構例如可以是對象群中的定期密集、 清晰的邊緣、軌跡和/或突然散開的對象。對于出現(xiàn)非典型狀況和關鍵結構的情況，作為最后一個步驟進行向控制實體7的 報告。從元數(shù)據(jù)中形成結構。通過比較確定關鍵結構。在存在關鍵結構的情況下報告控制 實體。在圖2中公開根據(jù)本發(fā)明的完整方法的一個簡單實施例。在可選的步驟1中，在 步行區(qū)的公共場所設置新的Webcam。在步驟S2中，或者用手或者已經(jīng)自動地借助于與模 式數(shù)據(jù)組的比較進行數(shù)據(jù)流的分類。例如分類為公共場所，在公共場所中行人是允許的道 路使用者，并且允許的人員密度例如是每平方米兩個人。利用第三步驟S3進行連續(xù)分析， 所通過的方式是執(zhí)行連續(xù)的密度測量。進行所確定的密度與允許范圍的連續(xù)比較。利用步 驟S4進行出現(xiàn)危險時的報告，這可以稱為“通知”。在離開允許范圍時，向主管機構或清理 中心進行自動通告。這樣的通告例如可以表示，該場所過度擁擠。現(xiàn)在，借助于操作人員來 觀察通過Webcam生成的數(shù)據(jù)流，該操作人員認識該Webcam的相應URL (UniformResource Locator,統(tǒng)一資源定位符)。在許多因特網(wǎng)攝像頭的情況下，例如在清理中心中首先對不同的觀察場景_即觀 察位置和對象群類型_進行分類并且根據(jù)該分類進行分析，并且在懷疑有危險的情況下將結果轉發(fā)到負責的主管機構。
權利要求
一種用于同時觀察和分析大量數(shù)據(jù)組、尤其是來自能通過因特網(wǎng)公開接入的因特網(wǎng)攝像頭或傳感器的數(shù)據(jù)組的方法，具有如下步驟 從所述數(shù)據(jù)組中生成元數(shù)據(jù)； 關于非典型狀況和/或關鍵結構來分析所述元數(shù)據(jù)； 如果檢測到非典型狀況和/或關鍵結構，則向控制實體報告；
2.根據(jù)權利要求1所述的方法， 其特征在于，將元數(shù)據(jù)生成為對象群的特性，尤其是生成為對象群的密度、密度分布、聚集、流、移動 方向、速度、和/或行為模式、對象群的相關的最小值、最大值、平均值、和/或?qū)ο笕旱倪^去 的、當前的或預測的行為。
3.根據(jù)權利要求2所述的方法， 其特征在于，根據(jù)觀察位置的類別和對象群的相關類型來確定數(shù)據(jù)組的目標對象群特性。
4.根據(jù)權利要求3所述的方法， 其特征在于，觀察位置的類別是公共場所、體育場、體育場入場區(qū)、街道，部分沒有或完全沒有道路 使用者的自由區(qū)域和/或自然環(huán)境。
5.根據(jù)權利要求3或4所述的方法， 其特征在于，對象群的類型是人群、汽車群、自行車群和/或動物群。
6.根據(jù)權利要求3至5之一所述的方法， 其特征在于，借助于數(shù)據(jù)組的實際對象群特性與目標對象群特性的比較來識別非典型狀況和/或 關鍵結構。
7.根據(jù)權利要求2至6之一所述的方法， 其特征在于，尤其是將非典型狀況和/或關鍵結構識別為對象群中的環(huán)形成、定期密集、清晰的邊 緣、軌跡形成和/或突然散開的對象。
8.根據(jù)權利要求3至7之一所述的方法， 其特征在于，借助于數(shù)據(jù)組的片段的實際對象群特性與該片段的目標對象群特性的比較來識別非 典型狀況和/或關鍵結構。
9.根據(jù)權利要求2至8之一所述的方法， 其特征在于，借助于對數(shù)據(jù)組進行過濾以便將元數(shù)據(jù)映射為位置和/或時間的函數(shù)和/或借助于模 式識別來識別狀況和/或結構。
10.根據(jù)權利要求3至9之一所述的方法， 其特征在于，自動識別觀察位置的類別和/或?qū)ο笕旱念愋汀?br> 11.根據(jù)權利要求1至10之一所述的方法， 其特征在于，自動識別非典型狀況和/或關鍵結構和/或自動向控制實體報告。
12.一種用于同時觀察和分析大量數(shù)據(jù)組、尤其是來自能通過因特網(wǎng)公開接入的因特 網(wǎng)攝像頭或傳感器的數(shù)據(jù)組的設備，具有用于執(zhí)行根據(jù)權利要求1至11之一所述的方法的直ο
全文摘要
本發(fā)明涉及一種用于同時觀察和分析許多數(shù)據(jù)組、尤其是來自可通過因特網(wǎng)公開接入的Webcam或傳感器的數(shù)據(jù)組的方法。應該可以從許多大多具有低質(zhì)量的數(shù)據(jù)組中檢測到非典型狀況。任務通過如下方式解決生成元數(shù)據(jù)，關于關鍵結構檢查這些元數(shù)據(jù)。此外，可以借助于數(shù)據(jù)組的實際對象群特性與數(shù)據(jù)組的目標對象群特性的比較來識別非典型狀況。通過這種方式，可以有效地監(jiān)控例如步行區(qū)、足球場或地鐵站中的人群，并且可以使用大量的自由可用的因特網(wǎng)攝像頭。
文檔編號G06K9/00GK101960501SQ200980108134
公開日2011年1月26日 申請日期2009年2月13日 優(yōu)先權日2008年3月7日
發(fā)明者G·克斯特, W·克萊因 申請人:西門子公司