專利名稱：用于場景分析的方法和圖像分析單元的制作方法
用于場景分析的方法和圖像分析單元本發(fā)明涉及一種根據(jù)權利要求1的特征部分的方法以及一種根據(jù)專利權利 要求7的前序部分的圖像M分析單元。本發(fā)明研，借助光學傳感器所記錄的信息的處理。本發(fā)明的主題是基于 專用的光學半導體傳感器的方法，該光學半導體傳感器具有到處理單元的異步 數(shù)字數(shù)據(jù)傳輸，在該處理單元中實施用于場景分析的特殊算法。該方法提供所 選擇的關于場景內容的信息，該信息可以被分析并且例如被用于機器或安裝等 的控制。所頓的傳感器以信號的形式異步地轉發(fā)戯送預處理后的場景信息，也就是說，只有當場景發(fā)生改變或者傳感器的^h像素檢測到場景中的某些特征 時，才進行轉發(fā)或發(fā)送。該原理與圖像顯示相比顯著降低所產生的數(shù)據(jù)量，并 且由于它已經提取了場景的特征而同時提高數(shù)據(jù)的信息內容。具有傳統(tǒng)的數(shù)字圖像處理的場景檢測基于對由圖像傳感器提供的圖像信息 的分析。在此，圖f繊常順序i4M像點地以預先給定的時鐘(同步地)從圖像 傳感器中每秒數(shù)次讀出，并且被包含在數(shù)據(jù)中的關于場景的信息被分析。該原 理即使在使用相應高效的處理器系統(tǒng)時也由于大的數(shù)據(jù)量以及昂貴的分析方法 而因如下困難而受限.-1) 數(shù)字傳輸信道的 速率是有限的，并且對于某些高性能圖像處理 任務來說不足夠高。2) 高效艦器對于許多(特別是移動)應用來說旨琉太高。3) 高效處理器需要主動冷卻。利用這種處理器工作的系統(tǒng)對于許多應用來說因此不能足夠緊湊地被構建。4) 高效處理器對于許多應用領域來i^l于昂貴。根據(jù)本發(fā)明，這纖點將艦在權利要求1的特征部分中所述的特征被消 除。 一種根據(jù)本發(fā)明的圖像分析單^131權利要求7的特征部分的特征來表征。 利用根據(jù)本發(fā)明的方法，實5，信號的快速處理以及對所觀察的場景中的重要 信息的相應快速的識別。所使用的統(tǒng)計方法在感興趣的場景參數(shù)或對象的識別方面進行精確的分析。下面例如借助附圖進一步闡明本發(fā)明。

圖1示意性地示出迄今常用的方法和根據(jù)本發(fā)明的方法之間的區(qū)別。圖2示出根據(jù)本發(fā)明的圖像分析單元的圖示。 圖3a和3b以及圖4和5借助于所記錄的圖像示意性地示出根據(jù)本發(fā)明的方法。在圖1中進一步闡述了現(xiàn)有技術和根據(jù)本發(fā)明的方法之間的區(qū)別。迄今， 由圖像傳感m供的信息或數(shù)據(jù)同步地被轉發(fā)，并且在數(shù)字圖像預處理和場景 分析之后，結果Mil設備的接口被傳送(圖la)。根據(jù)本發(fā)明，光學傳感器的圖像信號的處理以確定的方式進行，即，以在光學傳感器的像素中借助模擬電子電路對由光電傳/i^所記錄的亮度信息進行預處理的方式進行。完t般地，應注意，在一個像素中，多個相鄰的光電傳 感器的信號的處理可以被組合。像素的輸出信號皿傳感器的接口被異步地傳 輸?shù)綌?shù)字數(shù)據(jù)分析單元，在該數(shù)字 分析單元中進行場景分析，并且分析的 結果被提供給設備的接口 (圖lb)。借助于圖2，示意性地闡述根據(jù)本發(fā)明的方法。在這里，場景il31 (沒有顯 示出的)光學記^置被映射到光學傳感器1的像平面上。視覺信息由傳感器 的像素檢測，并且在像素的電子電路中連續(xù)地被處理。通皿種處理，場景內 容中的某些特征被實時地識別出。圖像內容中的要檢測的特征尤其可以是靜止 的邊緣、局部的強度變化、光流等等。特征的檢測在下文中被稱為"事件"。在事件每次出現(xiàn)時，由像素在異步數(shù) 據(jù)總線上實時地生皿字輸出信號。該信號包含像素的地址以及在圖像域中的 坐標，其中在該圖像域中特征被識別出。該數(shù)據(jù)在下文中被稱為"地址事件" (AE)。此外，特征的其它特性、特別是出現(xiàn)的時間點可以在數(shù)據(jù)中被編碼。 傳感器1將這些信息作為相關的,M異步f^信道發(fā)送給處理單元CPU。 總線控制器2防止傳輸信道上的翻沖突。在有些情況下可能有利的是，在傳 自和處理單元之間，緩沖存儲器3、例如先進先出存儲器(FIFO)，以便平 衡由于異步傳輸協(xié)議而皿的不規(guī)則的 速率(圖2)。根據(jù)本發(fā)明的方法基于專門構造的傳感器、數(shù)據(jù)傳輸和所設置的用于數(shù)據(jù) 處理的統(tǒng)計數(shù)學方法的組合。所設置的傳感器檢測光強的變化，并且因此例如 對場景中的移動邊緣或者亮暗分界線做出反應。該傳感器在旨像素中對光電 傳感器的光電流的變tt^行^1。這些變化針對^像素在積分器中被求和。當這^變化的總和皿閾值時，像素就立刻異步地通過數(shù)據(jù)總線發(fā)送該事件給 處理單元。在每一個事件之后，積分器的值被刪除。光電流的正和負變化被分 開處理，并生成不同極性的事件(所謂的"開"和"關"事件)。所使用的傳 不生成傳統(tǒng)意義上的圖像。然而在下文中為了更好的理解，〈柳二維的事4糊述。為此，在一個時間間隔中對齡像素的事件進，fi十數(shù)。 沒有事件的像素被分配白色像點。具有"開"或"關"事件的像素用灰色或黑 色像點來描述。針對以下實驗案引入齢，以便避免與數(shù)字圖像處理中的^T混淆AE幀被定義為被存儲在緩沖存儲器中的AE,這些AE是在所定義的時間 間隔內被生成的。AE圖像是在圖像中AE幀的描述，在該圖像中，事件的極性和頻率被分配 顏色^S值。圖3顯示(a)場景的視頻圖像和(b)由對光強的變化做出反應的傳感器 所產生的相同場景的AE圖。在,處理單元CPU中，來自于場景的特征借助 統(tǒng)計數(shù)學方法被研究，并且關于場景內容的更高價值的抽象信息被得到。這樣 的信息可以例如是某一場景中的人員的數(shù)目或者某一,上的車輛的速度和間 距。能夠容易地識別出，數(shù)據(jù)量明顯少于原始圖像中的數(shù)據(jù)量。與在數(shù)字圖像 處理的情況下相比，事件的處理需要更小的計算效率和存儲器，并且因此育灘 十分有效鵬行。通過將圖像傳感器例如安裝在房間中心的天花板上，房間人員計數(shù)器可以 被實現(xiàn)。各個事件被處理單元分配給圖像域中的大致具有一個人的大小的相應 正方形區(qū)域。ffiil簡單的統(tǒng)計方法和校正機制可以容易地估計被移動對象覆蓋 的面積。這與傳感器的+鵬內的人員的數(shù)目成比例。在這里，人員數(shù)目的計算 花費劍氏的，以致該系統(tǒng)能夠以簡單而低成本的微處理器來實現(xiàn)。如果在傳感 器的圖像域內沒有人員或對象移動，貝懷產生任何事件并且微處理器可以切換 到節(jié)電模式，這顯著地最小化系統(tǒng)的能耗。這在圖像處理系統(tǒng)中根據(jù)現(xiàn)有技術 是不可能的，因為在任何時候傳感器圖像都必須被處理并且在該傳感器圖像中 搜尋人員。對于門人員計數(shù)器來說，圖像傳感器被安裝在房間的門或者另一個入口或出口上。人員1^g視畫法不失真，并且當人員穿^H測區(qū)域時，AE被投影到軸(例如垂直軸)上，并且因此被添加戰(zhàn)方圖(圖4)中。如果人員在傳感器之下移動穿過門，則一個或多個在移動方向上延伸的最大值1在直方圖中被檢 測到。借助統(tǒng)計加權，可以使最大值和移動方向的計算相對于干擾變得穩(wěn)健。為每個AE幀，測定直方圖的索引，該索引包含最大事件數(shù)目，并且該索引與 最后一個AE幀的索引相比較。當索弓l發(fā)生偏移，則指示人員移動，并且相應 的移動方向的概率被提高。該概率上升直到達到閾值。在這種情況下，人員被 計數(shù)，并且兩個概率被重置到所定義的值。以這種方式，4M統(tǒng)可以區(qū)分駄 和外出的人員，并且在人員進入或離開房間時使計數(shù)器遞增或遞減。兩個概率 的重置被證實為有利于當在視野區(qū)內存在高活動性時使算法更穩(wěn)健。隨著選擇 負值，AX時間常數(shù)被引入，以便避免人員的鵬計數(shù)。多個荊亍行走的人員可以m,移動方向皿影區(qū)^u分為不同的"軌跡"來識別。許多人行橫道線通過提醒駕駛員注意行人的閃光信號燈來標識。這種警告 信號燈晝夜不停地閃爍并且經常被駕駛員所忽略，因為它們大多不指示實際的 危險。只有當行人橫越 或接近人行橫道線時才觸發(fā)報警信號的智能傳感器 可以有助于ilil更注意警告信號燈來改善交通安全。為了自動激活人行橫道線 旁的警告信號燈，使用圖像傳感器和數(shù)字處理器，該圖像傳感器和數(shù)字處理器 能夠監(jiān)控人行橫道線及其鄰近環(huán)境并且識別穿越 的對象(人員、騎自行車 的人...)。所提出的由圖像傳感器和簡單的數(shù)字處理單元構成的系統(tǒng)育,在數(shù)據(jù)流中 分害,跟蹤在人行橫道線Pf爐救人行橫道線上的人員和糊的AE (圖5)。 由系統(tǒng)識別的對象的大小和速度允許劃分為^ij "行人"和圖5顯示 在兩個時間點由傳lill附己錄的場景、相應的AE圖像和數(shù)學統(tǒng)計分析的結果， 其中該數(shù)學統(tǒng)計分析識別^t對象并測定其移動方向。在M觀測時間間隔后， 通過采用基于靜態(tài)概念的學習方法，系統(tǒng)可以識別街道、人^it和人行橫道線 的位置和方位。因此，于是可以提醒注意朝人行橫道線移動或在人行橫道線上 移動的行人。例如在人糊上與車道平行移動的行人由于他們已經被識別出的 移動方向而不觸發(fā)，。具有簡單傳 感器(例如紅外移動傳感器)的系統(tǒng)只冑辦識別在人行橫道線 附近人員的存在，然而不能檢測其移動方向，并且因此只能特另蝶醒注意直接在人行橫道線上移動的行人。
權利要求
1.用于場景分析的方法，其中場景信息利用光學傳感器來記錄，其中場景或場景中的對象與所述光學傳感器進行相對運動，并且所獲得的場景信息被分析，其特征在于，-場景的視覺信息由所述光學傳感器的各個像素來檢測，其中各個像素在確定所記錄的光的絕對強度變化或相對強度變化(對比度)超過預先給定的閾值時發(fā)出輸出信號，該輸出信號被視為對于在所記錄的場景點和所述光學傳感器之間進行的相對運動來說和/或對于場景內容變化來說是相關的，-測定或記錄所確定的強度變化的位置或像素坐標，-測定或記錄所確定的強度變化的時間相關性、特別是時間點和順序，-利用統(tǒng)計方法、特別是求平均值、直方圖、求重心、文件或命令形成方法、在時間上過濾等來測定像素的強度變化的局部積累，-利用統(tǒng)計方法、例如加權、有關數(shù)目和/或位置的閾值預先給定、數(shù)據(jù)區(qū)清除方法等特別是在積累密度的時間變化和/或局部分布的變化方面來評價局部積累，-所測定的值被視為所檢測的場景區(qū)域的參數(shù)、例如大小、速度、移動方向、形狀等，-將至少一個、優(yōu)選地多個參數(shù)與至少一個、優(yōu)選地多個預先給定的參數(shù)相比較，該預先給定的參數(shù)被視為對于對象來說是特有的，并且-在滿足預先給定的比較標準時，被分配給相應場景區(qū)域的并且被評價的局部積累被視為該對象的圖像。
2、 根據(jù)權利要求1所述的方法，其特征在于，在線性相關的在所記錄的場景上移動的強度變化方面研究所述局部積累，并且這種被評價為相關的或超過 予頁先給定的量的強度變化被視為相對于所述光學傳感器移動的對象的軌跡。
3、 根據(jù)權利要求1或2所述的方法，其特征在于，局部積累的大小的變化 豐 釋為對象接近傳感器自離傳自。
4、 根據(jù)權利要求1至3之一所述的方法，其特征在于，積累的結構中的時間和/或空間變化被視為對于場景區(qū)域的確定特征來說是特有的。
5、 根據(jù)權利要求1至4之一所述的方法，其特征在于，在每個像素中，特別是由于亮度變化而出現(xiàn)的光電流的變化被監(jiān)控并被生成或積分，在超過閾值 時，該像素立刻異步地向處理單元發(fā)出信號，并且特別是在每次信號發(fā)出之后重新開始^tl或積分。
6、 根據(jù)權利要求1至5之一所述的方法，其特征在于，光電流的正和負變 化被分開確定或檢測并且被處理或分析。
7、 用于記錄場景信息的圖像分析單元，其中場景或場景中的對象和光學傳 ^t皮JthiS行相對運動，并且具有用于所獲得的場景信息的處理單元，其中所 述光學傳 具有檢測場景的視覺信息的像素，特別是用于執(zhí)行根據(jù)權利要求1 至6之一所述的方法，，征在于，M像素在確定所記錄的光的絕對強度變 化或相對強度變化(對比度)超過預先給定的閾值時發(fā)出輸出信號，該輸出信 號對于^^記錄的場景點和所述光學傳 之間進行的相對運動來說和/^于 場景內容變 說是相關的，一設置有用于測定所確定的強度變化的位置或像素坐標以及用于測定所確 定的3鵬變化的時間相關性、特別是時間點和" 的單元，一設置有計算單元或給所述單元分配有計算單元，在該計算單元中利用統(tǒng) 計方法、特別是求平均值、直方圖、求重心、文件或命令形成方法、在時間上 過濾等來測定像素的強度變化的局部積累，一設置有評價單元，使用該評價單元利用統(tǒng)計方法、例如加權、有關數(shù)目 和/或位置的閾值預先給定、 區(qū)清除方法等特別是在積累密度的時間變化和/ 或局部分布的變化方面來評價所述局部積累，其中所測定的值描述所檢測的場 景區(qū)域的參數(shù)、例如大小、速度、移動方向、皿等，一設置有比較單元或給所述評價單元分配有比較單元，該比較單元將至少 一個、優(yōu)選地多個參數(shù)與至少一個、優(yōu)選地多個預先給定的參數(shù)相比較，該預 先給定的參數(shù)被視為對于對象來說是特有的，并且^在滿足預先給定的比較標準時，被分配被相應場景區(qū)域的并且被im的 局部積累被視為 象的圖像。
8、 具有程m戈碼體的計Ml禾辨產品，所述禾聘代碼裝置被存儲在計算 機可讀的 載體上，用于當該禾聘產品在計^ai:被執(zhí)行時執(zhí)行根據(jù)權利要 求1至6中任意一個權利要求所述的方法。
全文摘要
本發(fā)明涉及一種用于場景分析的方法，其中場景或場景中的對象和光學傳感器進行相對運動，并且所獲得的場景信息被分析。根據(jù)本發(fā)明規(guī)定，場景的視覺信息由光學傳感器的各個像素檢測；測定所確定的強度變化的像素坐標；測定所確定的強度變化的時間相關性；利用統(tǒng)計方法測定像素的強度變化的局部積累；利用有關數(shù)目和/或位置的統(tǒng)計方法、數(shù)據(jù)區(qū)清除方法來評價局部積累；所測定的值被視為所檢測的場景區(qū)域的參數(shù)；將至少一個參數(shù)與預先給定的參數(shù)相比較，該預先給定的參數(shù)被視為對于對象來說是特有的；以及在滿足預先給定的比較標準時，被分配給相應場景區(qū)域的并且被評價的局部積累被視為該對象的圖像。
文檔編號G06K9/60GK101258512SQ200680021254
公開日2008年9月3日 申請日期2006年6月14日 優(yōu)先權日2005年6月15日
發(fā)明者B·科恩, C·波什, M·利特詹伯格, M·霍夫斯塔特, N·多納思, N·米洛塞維克, P·肖恩 申請人:奧地利研究中心有限責任公司