亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

在異步傳感器觀測到的場景中追蹤形狀的方法與流程

文檔序號:12288323閱讀:348來源:國知局
在已知用于檢測圖像中物體的技術(shù)中,有搜索最近點(diǎn)的迭代算法,即ICP(迭代最近點(diǎn))型算法。此ICP算法因其在深度數(shù)據(jù)配準(zhǔn)、3維重構(gòu)、物體追蹤和運(yùn)動分析之類應(yīng)用中的有效性而眾所周知。例如,參見2001年6月第三屆三維數(shù)字成像及造型國際會議第145-152頁上由S.Rusinkiewicz和M.Levoy發(fā)布的文章《ICP算法的有效變體》。ICP算法的原則是利用一個點(diǎn)集,該點(diǎn)集被用作界定物體輪廓的模型,從而使其與作為采集數(shù)據(jù)一部分的點(diǎn)集相對應(yīng)。估算已知模型集與數(shù)據(jù)的點(diǎn)集之間的變換,從而通過使誤差函數(shù)最小化來表達(dá)其幾何關(guān)系。在提供該形狀模型的情況下,任意形狀的追蹤都可以通過ICP技術(shù)解決。在2012年《數(shù)學(xué)成像和視覺學(xué)報》(JournalofMathematicalImagingandVision)的第43卷,第1期,第1-9頁由M.Hersch等人發(fā)布的文章《剛體變換的迭代估算——應(yīng)用于魯棒物體追蹤和迭代最近點(diǎn)》(IterativeEstimationofRigidBodyTransformations–ApplicationtorobustobjecttrackingandIterativeClosestPoint)展示了執(zhí)行ICP算法的迭代方法。為了確定使之能夠在圖像中檢測由點(diǎn)集{xi}界定的圖案的剛性空間變換,圖像的點(diǎn){yi}分別與所述點(diǎn)集{xi}相對應(yīng),用迭代解代替經(jīng)典分析閉形解,該經(jīng)典分析閉形解在于通過使形狀誤差判據(jù)最小化來求變換T,其中求和關(guān)系到圖案的點(diǎn)集xi,在所述迭代解中,取變換T的初始估值,而且每次迭代都在于從圖案中隨機(jī)地取一個點(diǎn)xi、在圖像中找到其相應(yīng)的點(diǎn)yi,并在于通過減去相對于變化T的平移和旋轉(zhuǎn)參數(shù)與成梯度比例的一項(xiàng)而修正變換T。當(dāng)變換T從一次迭代到另一次迭代變得平穩(wěn)時,停止迭代,并將T保留作為使之能夠檢測圖像中的圖案的變換的最終估值。在以連續(xù)捕獲的圖像為基礎(chǔ)的傳統(tǒng)視景中,相機(jī)的圖像率(例如,約為60張圖像每秒)通常對于ICP技術(shù)而言是不夠的。連續(xù)圖像中相同信息的重復(fù)計算也限制了ICP算法的實(shí)時性能。實(shí)際上,其受限于檢測移動不是很快的簡單形狀的情況。與在定期取樣時刻記錄連續(xù)圖像的傳統(tǒng)相機(jī)相反,生物視網(wǎng)膜只傳遞很少關(guān)于待顯影的場景的冗余信息,而且這是異步的?;谑录漠惒揭曈X傳感器以事件的形式傳送壓縮的數(shù)字?jǐn)?shù)據(jù)??稍贒elbrück等人在2010年IEEE電路與系統(tǒng)國際會議(ISCAS)的會議錄第2426-2429頁發(fā)布的《基于事件的活動驅(qū)動式視覺傳感器(Activity-Driven,Event-BasedVisionSensors)》中查閱這種傳感器的介紹。與傳統(tǒng)相機(jī)相比,基于事件的視覺傳感器的優(yōu)點(diǎn)是去除冗余、縮短延遲時間并增加動態(tài)范圍。對于每個像素地址而言,這種視覺傳感器的輸出在于一系列異步事件,所述異步事件代表其發(fā)生時場景中反射率的變化。傳感器的每個像素都是獨(dú)立的,并且從發(fā)射最后的事件開始檢測大于閾值的強(qiáng)度的變化,(例如,關(guān)于強(qiáng)度的對數(shù)的15%的對比度)。在強(qiáng)度變化超出閾值集的情況下,由像素根據(jù)強(qiáng)度增加或減少生成打開(On)事件或關(guān)閉(OFF)事件。某些異步傳感器把檢測的事件與強(qiáng)度的測量值聯(lián)系在一起。因?yàn)閭鞲衅鞑幌駛鹘y(tǒng)相機(jī)那樣根據(jù)時鐘采樣,它可以按照非常高的時間精度(例如,約為1μs)把事件的排序考慮在內(nèi)。如果用這種傳感器重構(gòu)一系列圖像,可以達(dá)到數(shù)千赫的圖像幀頻,與傳統(tǒng)相機(jī)的幾十赫形成對比。基于事件的視覺傳感器具有很好的前景,并且適合提出了利用通過這種傳感器傳遞的信號來追蹤運(yùn)動物體的有效方法。在《NewOrleans》2007年5月27-30版ISCAS2007第845-848頁的《以基于事件的混合神經(jīng)形態(tài)程序化系統(tǒng)為基礎(chǔ)的快速感覺運(yùn)動控制》(Fastsensorymotorcontrolbasedonevent-basedhybridneuromorphic-proceduralsystem)中,T.Delbrück和P.Lichtsteiner描述了一種追蹤集群的算法(集群追蹤器),例如,可將其用于利用基于事件的視覺傳感器來控制足球的守門員機(jī)器人。每個集群使一個移動物體模仿一個事件源。進(jìn)入集群的事件改變集群的位置。僅在集群接收的事件的數(shù)量大于閾值的情況下,才將集群視為可見集群。在由Z.Ni等人在2012年第5期《IEEETransactionsonRobotics》第28卷,第1081-1089頁發(fā)布的《用于微型機(jī)器人的穩(wěn)定觸覺反饋的基于事件的異步視覺形狀追蹤》(Asynchronousevent-basedvisualshapetrackingforstablehapticfeedbackinmicrorobotics)中,提出了一種ICP算法的基于事件的版本,該版本以解析形式的代價函數(shù)最小化為基礎(chǔ)。需要一種迅速的、并且具有良好時間精度的追蹤形狀的方法。一種在場景中追蹤形狀的方法被提出,包括:-從光傳感器接收異步信息,所述光傳感器的像素矩陣與場景相對設(shè)置,其中,對于矩陣的每個像素而言,異步信息包括異步地源自所述像素的連續(xù)事件;以及,-在異步信息中檢測到歸于所述物體的事件之后,修正模型,所述模型包括點(diǎn)集,并代表追蹤的物體形狀。檢測到事件之后,修正包括:-把檢測到的事件與模型的一個點(diǎn)相關(guān)聯(lián),所述模型的點(diǎn)相對于矩陣的像素距離最小,檢測到的事件源自所述矩陣的像素;以及,-根據(jù)矩陣的像素和關(guān)聯(lián)點(diǎn)確定修正的模型,檢測到的事件源自所述矩陣的像素,這與檢測到所述事件之前執(zhí)行的關(guān)聯(lián)無關(guān)。采集完整圖像之后,乃至采集關(guān)于場景中追蹤形狀的充足數(shù)量的事件之后,不按照分組的方式進(jìn)行匹配觀測到的點(diǎn)與模型。隨著異步事件到達(dá),通過迭代算法進(jìn)行形狀追蹤要快得多。確定使之能夠修正模型的空間變換通常以下列形式的代價函數(shù)(costfunction)最小化為基礎(chǔ):∑D(p[ev],Ft(A[ev]))(1)其中:p[ev]是指像素矩陣中的位置,事件ev來源于該位置;A[ev]是指與事件ev關(guān)聯(lián)的模型的點(diǎn);Ft(.)是指空間變換;D(.,.)是矩陣平面中的距離測量值;而且,求和涉及到已經(jīng)執(zhí)行的一定數(shù)量的關(guān)聯(lián)在所提出的方法中,途徑有所不同,因?yàn)榭紤]到了當(dāng)前事件與已經(jīng)與之關(guān)聯(lián)的模型的點(diǎn)之間的關(guān)聯(lián),而不是之前的關(guān)聯(lián)。因?yàn)椴荒軉为?dú)根據(jù)這一點(diǎn)使代價函數(shù)最小化,每次迭代都能夠計算一個修正項(xiàng),這與梯度下降沒有什么不同,將此應(yīng)用于模型,從而把模型收斂到正確追蹤場景中的形狀的解。因?yàn)閯恿W(xué)緣故,以及因?yàn)檫\(yùn)動引起的事件數(shù)量高,所以即便在物體處于運(yùn)動的情況下,也能確保如此收斂。為了過濾采集噪聲,在模型點(diǎn)的位置相對于檢測到的事件所源自的像素的距離小于閾值的情況下,可以避免修正模型,在這種情況下,所述事件不歸于物體。該方法的一個令人關(guān)注實(shí)施例進(jìn)一步包括:-通過在當(dāng)前時刻結(jié)束的時間窗口期間使關(guān)于點(diǎn)集的距離判據(jù)最小化來估算物體的位移平面,其中,在三維空間中估算位移平面,所述三維空間就是與像素矩陣兩個方向相對應(yīng)的兩個空間維度以及一個時間維度,所述點(diǎn)集標(biāo)記歸于物體的檢測到的事件;以及,-檢測到事件之后,考慮估算的物體位移平面,從而決定是否把所述事件歸于物體。前述“位移平面”的屬性考慮到數(shù)塊有用的處理,尤其是在多個物體具有在場景中被追蹤的各自形狀的情況下,每個物體都具有在檢測到事件之后被修正的各自模型以及一個估算的位移平面,所述事件歸于所述物體。例如,檢測到可歸于其中至少兩個物體的事件之后,可以計算三維空間中標(biāo)記檢測到的事件的點(diǎn)與分別針對所述物體估算的位移平面之間的各個距離,并且可以把檢測到的事件歸于物體,對于所述物體而言,所計算的距離最小。這樣使之能夠把空間限制和時間限制相結(jié)合,以便消除多個物體之間的模糊性,檢測到的事件可歸于所述物體。另一種可能性是估算物體的位移平面之間的距離的統(tǒng)計分布以及標(biāo)記檢測到的事件的點(diǎn)的統(tǒng)計分布,所述檢測到的事件歸于物體,而且在檢測到事件之后,可能考慮估算的物體的位移平面以及估算的統(tǒng)計分布,從而決定是否把事件歸于物體。這樣在異步傳感器本身運(yùn)動的情況下,使之能夠考慮到場景背景的可能性運(yùn)動。尤其是,能夠確定基于所估算的統(tǒng)計分布的容許距離值的區(qū)間,而且,如果在三維空間中標(biāo)記這個檢測到的事件的點(diǎn)相對于估算的位移平面的距離在容許距離值的區(qū)間以外,則能夠不把檢測到的事件歸于物體。在多個具有在場景中被追蹤的各自形狀的物體,每個物體都具有在檢測到歸于物體的事件之后被修正的各自模型情況下,可提供其它特征。例如,如果在檢測到事件之后,只有其中一個物體滿足在模型中具有一個相對于矩陣像素的距離小于閾值的點(diǎn)的條件,所檢測到的事件源于所述矩陣的像素,則把檢測到的事件歸于所述其中一個物體。在檢測到可歸于至少其中兩個物體的事件之后,可以考慮空間限制,從而消除模糊性。對于每個物體而言,檢測到的事件可歸于每個物體,一種可能性是通過使相對于矩陣像素的距離判據(jù)最小化而把檢測到的事件與該物體的模型的點(diǎn)相關(guān)聯(lián),其中所檢測到的事件源自所述矩陣像素,并且可能把檢測到的事件歸于物體,對于該物體而言,最小化距離判據(jù)最低。一種選擇方案是把檢測到的事件不分配給任何一個物體。另一種選擇方案在于把檢測到的事件分配給每一個物體,檢測到的事件歸于所述每一個物體??赏ㄟ^權(quán)重進(jìn)行修正模型,檢測到的事件歸于所述物體,所述權(quán)重取決于針對所述物體分別最小化的距離判據(jù)。檢測到可歸于至少兩個物體的事件之后,可以考慮時間限制,從而消除模糊性。一種可能性是,對于每個物體而言,估算歸于該物體的事件率,并記住檢測到歸于所述物體的最后一個事件的時刻。然后把可歸于至少兩個物體的事件歸于其中一個物體,對于所述其中一個物體而言,按照記住的時刻與檢測到所述事件的時刻之間的時間間隔估算的事件率的乘積最接近1。該方法的一個實(shí)施例中,確定修正的模型包括估算通過一組參數(shù)界定的空間變換,以及把估算的空間變換應(yīng)用到模型。估算空間變換包括根據(jù)像素矩陣平面內(nèi)矩陣的像素與通過把空間變換應(yīng)用到與檢測到的事件相關(guān)的模型的點(diǎn)而得到的一個點(diǎn)之間的距離梯度來計算所述參數(shù),其中檢測到的事件源自所述矩陣的像素。一個特殊情況是空間變換是剛性變換,包括在像素矩陣的平面內(nèi)平移和旋轉(zhuǎn)。一種可能性是為平移取一個矢量ΔT,其等于為旋轉(zhuǎn)取一個角度Δθ,其等于其中,η1和η2是預(yù)定義的正收斂階,θ0和ΔT0是旋轉(zhuǎn)角度和平移矢量的特殊值。例如,取以及其中p是指矩陣的像素,檢測到的事件源自所述矩陣的像素,m是指與檢測到的事件關(guān)聯(lián)的模型的點(diǎn),c是指旋轉(zhuǎn)的中心,cp是指從c指向p的矢量,cm是指從c指向m的矢量,是中心c和角度Δθ0的旋度。另一種有益的情況是空間變換為仿射變換,進(jìn)一步包括按照像素矩陣中包含的兩條軸線應(yīng)用各自的比例因子??梢苑謩e根據(jù)sx=1+η3.(|px|–|mx|)以及sy=1+η3.(|py|–|my|)計算沿著兩條軸線x、y的比例因子sx、sy,其中,η3是預(yù)定義的正收斂階,px和py是沿著矩陣的像素的軸線x和y的坐標(biāo),檢測到的事件源自所述矩陣的像素,mx和my是沿著與檢測到的事件關(guān)聯(lián)的模型的點(diǎn)的軸線x和y的坐標(biāo)。本發(fā)明的另一方面涉及到一種在場景中追蹤形狀的裝置,包括計算機(jī),配置該計算機(jī)利用從光傳感器接收的異步信息執(zhí)行上文所定義的方法。在下文說明中,參考附圖,本發(fā)明的其它特征和優(yōu)點(diǎn)將顯而易見,其中:-圖1是一幅適合實(shí)施本發(fā)明的裝置的框圖;-圖2A是一幅顯示了關(guān)于異步傳感器像素的光強(qiáng)度分布的一個實(shí)例的圖表;-圖2B顯示了由異步傳感器響應(yīng)圖2A的強(qiáng)度分布而傳遞的信號的一個實(shí)例;-圖2C顯示了利用圖2B的信號重構(gòu)強(qiáng)度分布;-圖3A-3B是與圖2A-2B相似的圖表,顯示了一種本方法的另一個實(shí)施例所使用的光采集方法;-圖4是一幅ATIS型異步光傳感器的框圖;-圖5是一幅顯示了通過異步傳感器生成的事件的圖表;所述異步傳感器位于包含旋轉(zhuǎn)星形物的場景的對面;-圖6A是一件設(shè)備的視圖,該設(shè)備用于測試根據(jù)本發(fā)明追蹤形狀的方法的操作;-圖6B顯示了一個按照圖5A的配置所獲得的事件積累卡的實(shí)例;-圖7顯示了不同的圖像,從而顯示在旋轉(zhuǎn)星形物的實(shí)例中ICP算法的運(yùn)算;-圖8顯示了一幅可在本發(fā)明的一些實(shí)施過程中應(yīng)用的算法的實(shí)例的流程圖;-圖9和圖10是顯示了用于說明本發(fā)明的某些實(shí)施例的幾何要素的圖表;-圖11是一幅可在本發(fā)明其它實(shí)施過程中應(yīng)用的算法的實(shí)例的流程圖;-圖12是一幅圖表,顯示了在根據(jù)圖11的方法的一個實(shí)施例的迭代期間計算空間變換的方法;-圖13是一幅圖表,顯示了三維空間的點(diǎn),所述三維空間包括兩個空間維度和一個時間維度,其中,記錄了在異步傳感器視野內(nèi)歸于一條運(yùn)動邊的事件,以及記錄通過位移平面的插值;-圖14是一幅可用于圖11中步驟44的流程的一個示例的流程圖;-圖15和圖16是可用于圖14中步驟56的流程的實(shí)例的邏輯圖;-圖17是一幅圖表,顯示了事件與圖13中所示類型的位移平面之間的距離分布;-圖18是一幅可用于估算圖17中所示距離的允許值區(qū)間的流程的流程圖;-圖19是一幅圖表,表明了在圖6和圖7的條件下進(jìn)行的試驗(yàn)中應(yīng)用三種不同追蹤方法觀測到的追蹤誤差;-圖20是一幅圖表,顯示了在本發(fā)明一個實(shí)施例中對物體的三種形狀的追蹤;-圖21是一幅圖表,顯示了通過考慮應(yīng)用于本發(fā)明一個實(shí)施例的物體模型的空間變換中的比例因子sx、sy而進(jìn)行的試驗(yàn)的結(jié)果;-圖22顯示了在本發(fā)明另一個試驗(yàn)中獲得的圖像;-圖23和圖24表明了在圖22的試驗(yàn)中通過應(yīng)用兩種不同的追蹤方法觀測到的追蹤誤差的圖表;-圖25和圖26顯示了在本發(fā)明另一個試驗(yàn)中消除多個物體之間的模糊性的兩種可能性方法的圖表;-圖27-32表明了在圖25-26的相同試驗(yàn)中按照六種不同方法追蹤運(yùn)動物體形狀過程中觀測到的模型速度的圖表;-圖33是一幅顯示了根據(jù)圖13的兩個位移平面的圖表,用于決定是否把事件歸于如圖32所示的結(jié)果的追蹤框架中的物體;以及,-圖34和35是顯示了在本發(fā)明的兩次試驗(yàn)中得到的模型速度的圖表,其中異步傳感器本身處于運(yùn)動中。圖1中所示的裝置包括基于事件的異步視覺傳感器10,該傳感器的位置面對場景并通過用于采集的光學(xué)器件15接收場景的光流,所述用于采集的光學(xué)器件15包括一個或多個鏡頭。傳感器10位于用于采集的光學(xué)器件15的圖像平面內(nèi)。它包括組成像素矩陣的一組光敏元件。根據(jù)場景中光的變換通過連續(xù)事件產(chǎn)生與光敏元件相對應(yīng)的每個像素。計算機(jī)20處理源自傳感器10的異步信息,即從各個像素p異步收到的事件ev(p,t)的序列,以便從中提取關(guān)于在場景中變換的某些形狀的信息Ft。計算機(jī)20對數(shù)字信號起作用??梢酝ㄟ^為適當(dāng)處理器編程來實(shí)施。也可以利用專門的邏輯電路(ASIC,F(xiàn)PGA,…)進(jìn)行計算機(jī)20的硬件實(shí)施。對于每個矩陣像素p而言,傳感器10利用在場景中通過出現(xiàn)在傳感器視野中的像素所檢測到的光的變換來生成基于事件的異步信號序列。例如,異步傳感器按照圖2A-C所示的原則進(jìn)行采集。由傳感器傳遞的信息包括一系列時刻tk(k=0,1,2,…),通過所述時刻達(dá)到激活閾值Q。圖2A顯示了一個傳感器矩陣像素所見的光強(qiáng)度分布P1的實(shí)例。每次當(dāng)該強(qiáng)度增加與激活閾值Q相等的量時,所述激活閾值從時間tk開始,識別一個新的時刻tk+1,并且在時刻tk+1發(fā)送正尖峰(在圖2B中水平+1)。對稱地,每次當(dāng)像素強(qiáng)度減少量Q時,從所述量Q從時間tk開始,識別一個新的時刻tk+1,并且在該時刻tk+1發(fā)送負(fù)尖峰(在圖2B中水平–1)。于是像素的異步信號序列包括一系列位于時刻tk的正、負(fù)脈沖或尖峰,根據(jù)像素的光分布隨著時間推移??稍跀?shù)學(xué)上通過正、負(fù)狄拉克峰值顯示這些尖峰,并且這些尖峰分別以發(fā)射時刻tk和符號位為特征。然后,傳感器10的輸出的形式為地址-事件表達(dá)(AER)形式。圖2C顯示了能夠通過集成隨著時間推移的圖2B的異步信號而作為分布P1的近似值重構(gòu)的強(qiáng)度分布P2。在圖2A-C的情況下,可以設(shè)置激活閾值Q,或者在圖3A-B的情況下,可以根據(jù)光強(qiáng)度調(diào)整激活閾值Q。例如,可以把閾值±Q與生成事件±1的光強(qiáng)度對數(shù)的變化作比較。舉例來說,傳感器10可以是在2008年2月第2期《IEEE固態(tài)電路雜志》第43卷,第566-576頁由P.Lichtsteiner等人編寫的《128×128120dB15μs延遲異步時間對比視覺傳感器(A128×128120dB15sLatencyAsynchronousTemporalContrastVisionSensor)》中或者在專利申請書US2008/0135731A1中所描述的類型的動態(tài)視覺傳感器(DVS)。通過該類型的DVS可接近約為幾毫秒的視網(wǎng)膜動態(tài)(動作電位之間的最短時間)。動態(tài)性能在任何情況下都明顯比通過具有現(xiàn)實(shí)采樣頻率的傳統(tǒng)攝像機(jī)可實(shí)現(xiàn)的性能優(yōu)越。注意,由DVS10為像素提供的異步信號的形狀可以與一系列狄拉克峰值不同,所述異步信號的形狀構(gòu)成計算機(jī)20的輸入信號,因?yàn)樗@示的事件在基于事件的異步信號中可具有任何時間寬度或幅度或波形。另一個可方便地用于本發(fā)明的環(huán)境中的異步傳感器的實(shí)例是基于時間的異步圖像傳感器(ATIS),在2011年1月第1期《IEEE固態(tài)電路雜志(IEEEJournalofSolid-StateCircuits)》第46卷,第259-275頁中由C.Posch等人編寫的文章《AQVGA143dBDynamicRangeFrame-FreePWMImageSensorWithLosslessPixel-LevelVideoCompressionandTime-DomainCDS》中列出了關(guān)于所述異步圖像傳感器的描述。圖4顯示了ATIS的原則。構(gòu)成傳感器的矩陣的像素16包括比如光電二極管這樣的兩個光敏元件17a、17b,分別與電子檢測電路18a、18b相連。傳感器17a及其電路18a的操作與上述DVS相似。當(dāng)光電二極管17a接收的光強(qiáng)度按預(yù)定量變化時,其產(chǎn)生脈沖P0。標(biāo)記這種強(qiáng)度變化的脈沖P0觸發(fā)了與另一個光電二極管17b相連的電子電路18b。然后,只要光電二極管17b接收指定光量(光子數(shù)),該電路18b就產(chǎn)生第一脈沖P1,然后產(chǎn)生第二脈沖P2。脈沖P1與脈沖P2之間的時移δt與在脈沖P0剛剛出現(xiàn)之后由像素16接收的光強(qiáng)度成反比。源自ATIS的異步信息是另一種AER表達(dá)形式,包括針對每個像素的兩個脈沖序列:第一個脈沖序列P0表明光強(qiáng)度改變時的時刻超出檢測閾值,而第二個序列則由P1和脈沖P2構(gòu)成,所述脈沖的時移δt表明相應(yīng)的光強(qiáng)度,或者灰度。源自位置p在ATIS的矩陣中的像素16的事件ev(p,t)包括兩種類型的信息:通過脈沖P0的位置指定的時間信息以及通過脈沖P1和脈沖P2之間的時移δt指定的灰度信息,所述時間信息指定事件的時刻。在傳感器10是由二維像素矩陣構(gòu)成的情況下,可以按照三維空間-時間表達(dá)方式放置源自像素的事件,比如圖5所示。在該圖中,每個點(diǎn)都通過星形物的運(yùn)動標(biāo)記在時刻t在傳感器像素p上異步生成的事件ev(p,t),其位置為所述星形物以插圖A中顯示的恒定角速度旋轉(zhuǎn)。這些點(diǎn)大部分分布在大體為螺旋形的表面附近。此外,該圖顯示了與螺旋面相隔一定距離的一定數(shù)量的事件,測得所述事件不與星形物的有效運(yùn)動相對應(yīng)。這些事件是采集噪聲。ICP算法的原則是利用點(diǎn)集形成代表物體形狀的模型,例如,描述該物體的輪廓,從而使其與通過采集數(shù)據(jù)提供的點(diǎn)集相對應(yīng),然后通過使誤差函數(shù)最小化計算該點(diǎn)集與模型之間的幾何關(guān)系。圖6A顯示了本發(fā)明試驗(yàn)中所用的設(shè)備——傳感器10,例如,DVS型或ATIS型傳感器,所述傳感器設(shè)置于面對旋轉(zhuǎn)盤11的位置,旋轉(zhuǎn)盤中繪制了星形。傳感器10利用星形在平臺上旋轉(zhuǎn)采集數(shù)據(jù)。僅出于比較和闡釋性目的,圖6B概略地顯示了在約為幾微秒的時間間隔內(nèi)觀測到的事件,所述事件疊加在星狀物的黑色形狀上。圖7示意性地顯示了一個追蹤星形的實(shí)例。在該圖中,頂行是顯示了星狀物在其盤上旋轉(zhuǎn)的圖像的傳統(tǒng)序列,像圖6A中的情況一樣。中間行顯示了事件聚集地圖,也就是突出了在平面上在一個時間段內(nèi)已經(jīng)發(fā)生的所有事件,與在該時間段檢測事件的精確時刻無關(guān)。最后,底行顯示了通過采集點(diǎn)進(jìn)行的模型匹配(用實(shí)線顯示)。在左手欄(a)中,顯示了星形物開始旋轉(zhuǎn)的初始狀態(tài)。算法試圖使模型與最近的事件匹配。模型未過度遠(yuǎn)離事件的初始位置對于算法朝全局最小值收斂來說是有用的。在(b)欄中,星形物穿過模型初始位置附近,模型朝星形物的位置收斂。最后,在(c)欄和(d)欄,星形物繼續(xù)旋轉(zhuǎn),通過對模型應(yīng)用旋轉(zhuǎn)RΔθ和平移ΔT而修正模型,通過使誤差函數(shù)最小化計算所述旋轉(zhuǎn)RΔθ和平移ΔT的參數(shù)。在由基于事件的異步傳感器,而不是由傳統(tǒng)相機(jī)觀測場景的情況下,按照事件發(fā)生時的精確時間戳接收所述事件。ICP型算法無需等待擁有關(guān)于整個場景范圍的信息,從而能夠同時處理它所包含的所有事件。事件ev(p,t)描述了時空域內(nèi)的一項(xiàng)活動。在圖8所示的基于事件的版本的ICP算法中,與生物神經(jīng)元相似,認(rèn)為每個事件對其出現(xiàn)之后的一定時間間隔內(nèi)都產(chǎn)生影響??梢园凑粘志眯院瘮?shù)的形式引入事件的這種時間特性。然后,S(t)表示在一個時刻t活動的事件的時空集:S(t)={ev(p,t')/0<t–t'≤Δt}(2)其中,Δt是持續(xù)時間。在檢測到事件之后,時間間隔Δt消逝后,從集合S(t)排除該事件。模型與采集數(shù)據(jù)之間點(diǎn)的匹配在計算資源方面構(gòu)成要求最高的步驟。G(t)表示二維模型的點(diǎn)的位置的集合,所述二維模型在時刻t界定物體的形狀。從而進(jìn)行采集點(diǎn)與模型點(diǎn)之間的關(guān)聯(lián)。每次激活新事件時,使其與G(t)的元素匹配,最好與未曾與S(t)的事件關(guān)聯(lián)的G(t)的元素匹配。可以為該步驟增加距離判據(jù)的校驗(yàn),從而抑制噪聲或者不是所尋找的形狀部分的其它點(diǎn)。因?yàn)閭鞲衅魇钱惒絺鞲衅?,所以關(guān)聯(lián)點(diǎn)的數(shù)量大幅度變化。通常在持續(xù)時間Δt中有幾個點(diǎn)至幾百個點(diǎn)被關(guān)聯(lián)。這與傳統(tǒng)的基于幀的方法迥然不同。固定物體不產(chǎn)生任何刺激,所以不必修正其位置。在場景包括少量運(yùn)動的情況下,只使用一小部分計算資源,而在高度動態(tài)的情況下,算法則需要全容量,從而更新信息。在圖8的實(shí)例中,P(n)和T(n)表示為了修正模型位置信息而保留的第n個事件位置和檢測時間,M(n)表示與這第n個事件相關(guān)聯(lián)的模型的點(diǎn)。在算法(T(n)=+∞)開始之前,以任意大的值初始化檢測時間T(n)。當(dāng)在時間t檢測到事件ev(p,t)時,整數(shù)指數(shù)a是指S(t)中最早期的事件,而整數(shù)指數(shù)b是指S(t)中最新的事件,即S(t)={ev(P(a),T(a)),ev(P(a+1),T(a+1)),…,ev(P(b),T(b))}。把模型G(t)簡單地表示為G,M表示已經(jīng)與S(t)的事件相關(guān)聯(lián)的模型的點(diǎn)集,即M={M(a),M(a+1),…,M(b)}。當(dāng)初始化算法時(步驟20),整數(shù)指數(shù)a和b分別初始化為1和0。在圖8所示的算法版本中,通過解析形式的傳統(tǒng)解決方案,例如,通過分解為奇異值(SVD,“奇異值分解”),定期地估算使模型的點(diǎn)與檢測到的事件的點(diǎn)匹配的空間變換Ft。在步驟21中,只要空間變換的更新周期沒有過去,算法便等待源自傳感器10的新事件。在時間t接收源自在矩陣中的像素的位置p的事件ev(p,t)(步驟22)之后,進(jìn)行兩項(xiàng)操作:更新集合S(t)并使模型G的一個點(diǎn)與檢測到的事件相關(guān)聯(lián)。在循環(huán)23-24中,從S(t)中排除持續(xù)時間超過Δt的事件:測試23檢測時間T(a)是否大于t–Δt。如果T(a)不大于t–Δt,則在步驟23中把數(shù)字a增加一個單位,并重復(fù)測試23。測試23中T(a)>t–Δt時,則排除過早期的事件。然后,算法在步驟25中繼續(xù)進(jìn)行把G的點(diǎn)與新事件關(guān)聯(lián)。在未與集合S(t)中的點(diǎn)關(guān)聯(lián)的模型中的各點(diǎn)中,也就是在集合G–M的各點(diǎn)中,該關(guān)聯(lián)點(diǎn)是位置m最接近的像素p的關(guān)聯(lián)點(diǎn),事件ev(p,t)源自所述像素p:例如,在該步驟25中采用的距離判據(jù)d(.,.)是矩陣平面中的歐氏距離。決定是否把事件ev(p,t)包含在集合S(t)中之前,算法在步驟26中檢查最小距離是否小于閾值dmax。舉例來說,可以選擇閾值dmax,使其與6個像素相對應(yīng)。如果測試表明不同的閾值可以更好地適合特殊用途,當(dāng)然可以保留不同的閾值。如果d(p,m)≥dmax,則把事件放在一邊,算法回到等待下一個事件的步驟21。如果事件歸于所尋找的物體(在測試26中,d(p,m)<dmax),則在步驟27把指數(shù)b增加一個單位,然后在步驟28中把檢測時間t、該事件的位置p以及剛剛與其相關(guān)聯(lián)的模型的點(diǎn)m記作T(b),P(b)和M(b)。然后終止與檢測事件ev(p,t)相繼的處理,算法回到等待下一個事件的步驟21??臻g變換的更新周期終止時,進(jìn)行測試30,以確認(rèn)集合S(t)中存在足夠數(shù)量的事件,從而有助于更新,例如L=5事件。因此,如果b<a+L–1(測試30),則不進(jìn)行更新,而且算法回到等待下一個事件的步驟21。如果由足夠的事件(b≥a+L–1),則進(jìn)行最小化運(yùn)算31,從而在利用模型G尋找的空間變換Ft是角度Δθ的旋度RΔθ與平移矢量ΔT的組合的情況下,選擇旋轉(zhuǎn)角度Δθ和平移矢量ΔT。圖9顯示了其中所用的符號。H表示界定在場景中追蹤的各點(diǎn)的圖案,處于固定位置,O表示這個點(diǎn)集H的重心。在時刻t,根據(jù)平移矢量T與圍繞重心O旋轉(zhuǎn)角度θ,移動該圖案H的位置,由此指定,在時間t處理接收的事件過程中參考所述模型G=G(t)。處理導(dǎo)致估算旋轉(zhuǎn)角度θ和平移矢量T的變量Δθ、ΔT。最小化運(yùn)算31在于找到使距離判據(jù)最小的參數(shù)Δθ、ΔT,例如,為以下形式的和:這是表達(dá)式(1)的特殊情況,其中,待估算的參數(shù)是由矩陣定義的角度Δθ的旋度RΔθ以及矢量ΔT的坐標(biāo)。在表達(dá)式(4)中,符號cP(n)和cM(n)代表對于原點(diǎn)而言具有旋度RΔθ的中心c的矢量并分別指向P(n)和M(n)??梢韵鄬τ谀P虶(t)界定旋度RΔθ中心c的位置。例如,可以使點(diǎn)c位于模型G(t)各點(diǎn)的重心,如圖9所示(于是,全局平移的矢量T等于矢量Oc)。在這里,由旋度RΔθ和平移ΔT構(gòu)成的空間變換Ft是使模型G(t)移動,并使其盡可能接近檢測到剛剛考慮的事件的像素,即事件的集合S(t)。這便是圖10中所示的內(nèi)容,其中,符號+代表檢測到S(t)的事件的像素P(n)的位置,符號·代表與這些時間相關(guān)聯(lián)的模型G中的各點(diǎn)M(n)的位置,G’代表中心c’的下一個模型,其使點(diǎn)M(n)的位置盡可能接近像素P(n),并且是由根據(jù)旋度RΔθ和平移矢量ΔT的G的位移產(chǎn)生。使判據(jù)(4)最小化的旋度RΔθ和平移ΔT揭示了與模型G相對應(yīng)的形狀在空間變換的修正時刻與之前的修正時刻之間的運(yùn)動。在步驟32中,把相同的變換應(yīng)用到集合G和M的各點(diǎn),以便更新這兩個集合。用位置Y代替模型G(或集合M)的每個位置X,以至于cY=RΔθ[cX]+ΔT。在步驟32之后,算法回到等待下一個事件的步驟21。因此,以相繼估算的角度Δθ的旋度RΔθ以及以相應(yīng)平移矢量ΔT為特征的特殊變換Ft表現(xiàn)了在場景中視頻追蹤的形狀的運(yùn)動。其參數(shù)是圖1的計算機(jī)20的輸出值。可以累計所確定的連續(xù)值Δθ和ΔT,從而得到相對于形狀H的固定參照位置而界定的角度θ以及平移矢量T。圖8所示的實(shí)施例使之能夠控制在場景中尋找的形狀的追蹤信息的更新頻率,即空間變換Ft的參數(shù)。通常,這種更新頻率與10μs至1ms的周期性相對應(yīng)。因此,可以比傳統(tǒng)相機(jī)的幀頻更快。根據(jù)場景的動態(tài)內(nèi)容設(shè)定持續(xù)時間Δt。在以SVD運(yùn)算為基礎(chǔ)的實(shí)施方案中,需要使時間間隔Δt足夠長,以至于集合S(t)保留所尋找的移動物體的完整輪廓,其保留方式使得幾乎該輪廓的所有點(diǎn)與事件相對應(yīng)。另一方面,過長的持續(xù)時間Δt增加了計算量,而且不能使其正確地追蹤快速物體。持續(xù)時間Δt通常選自10μs至20ms。在異步傳感器10可見的場景中追蹤形狀的另一種方法如圖11所示。在該方法中,提供更好的動態(tài)特性,同時仍需要較少計算,根據(jù)矩陣的像素p以及關(guān)聯(lián)點(diǎn)m的像素確定使之能夠更新修正的模型的空間變換Ft,其中檢測到的事件ev(p,t)源自所述矩陣的像素p(就此程度而言,已經(jīng)把該事件歸于所尋找的物體),這與檢測到事件ev(p,t)之前進(jìn)行的關(guān)聯(lián)無關(guān)。在圖11的實(shí)施例中,認(rèn)為在由異步傳感器觀測的場景中尋找K個物體。用整數(shù)k(k=1,2,…,K)為這些物體編號,而且每個物體具有標(biāo)為Gk(t)或簡單地標(biāo)為Gk的各點(diǎn)的模型。通過取K=1,包含了追蹤單獨(dú)一個物體的常見情況。為了開始追蹤每個物體k,通過定位使其模型Gk初始化(步驟40),所述定位更接近傳感器10視野中該物體的位置。然后,在步驟41中,算法等待源自傳感器10的新事件。在時間t接收在矩陣中的源自位置p的像素的事件ev(p,t)(步驟42)之后,針對每個物體物體k(k=1,2,…,K)執(zhí)行把模型Gk的點(diǎn)mk與檢測到的事件相關(guān)聯(lián)的步驟43。對于每個物體k而言,步驟43與上文參考圖8所述的步驟25一樣,只是選擇使距離判據(jù)d(mk,p)最小化的模型Gk中的點(diǎn)mk時不排除之前已經(jīng)與事件關(guān)聯(lián)了的點(diǎn),因?yàn)樵撍惴ú⒉挥涀≈芭c事件ev(p,t)的關(guān)聯(lián)。在步驟44中,把在步驟42中檢測到的事件ev(p,t)歸于物體k,如果沒有的話,則將其排除,因?yàn)榕c在場景中追蹤的物體的運(yùn)動沒有關(guān)系。如果事件ev(p,t)不歸于任何物體,那么算法則回到等待下一個事件的步驟41。在歸于物體k的情況下,針對該物體的模型Gk在步驟45中計算空間變換Ft??稍诓襟E44中進(jìn)行幾次測試或過濾,從而決定是否把事件ev(p,t)歸于物體k。最簡單的是像上文參考圖8所述的步驟26那樣,通過比較距離d(mk,p)與閾值dmax。如果d(mk,p)<dmax,繼續(xù)進(jìn)行,確認(rèn)像素p與模型Gk的點(diǎn)mk之間的聯(lián)系,而且如果沒有物體滿足該條件,則不進(jìn)行歸屬。但是,會發(fā)生多個追蹤的物體滿足該條件的情況,同時一個追蹤的物體會遮掩另一個追蹤的物體。為了解決這些模糊的情況,包括物體之間遮掩的情況,可采用利用空間限制或時間限制的多種技術(shù)。下文會對這些技術(shù)進(jìn)行檢測??稍诓襟E44采取的另一項(xiàng)處理是考慮背景運(yùn)動的可能性。尤其是,異步傳感器10本身處于運(yùn)動中,固定的背景處于相對位移中,并導(dǎo)致檢測多個事件,要從關(guān)于追蹤感興趣的物體的處理中排除所述多個事件。下文將對一個把背景的運(yùn)動考慮在內(nèi)的方法進(jìn)行說明。一旦把事件ev(p,t)歸于物體k,便在步驟45中計算空間變換Ft的參數(shù),然后把該變換Ft應(yīng)用于模型Gk,從而在步驟46中修正所述模型。最后,在步驟47中估算用Πk表示的物體的位移平面k。然后,算法回到等待下一個事件的步驟41。限制于與模型Gk中的一個點(diǎn)m相關(guān)聯(lián)的當(dāng)前一個事件p,以便計算空間變換Ft,這導(dǎo)致了引入代價函數(shù)的一個分量:f=d[p,F(xiàn)t(m)](5)其中,d[.,.]是像素矩陣平面中的距離測量值。它具體可以是二次式距離。如果為修正模型Gk考慮剛性空間變換,則必須確定指定中心c的角度Δθ的旋度RΔθ以及平移的矢量ΔT,具有二次式距離的代價函數(shù)分量寫作:f=||cp-RΔθ[cm]-ΔT||2(6)其中,cp和cm是指關(guān)于原點(diǎn)具有旋度RΔθ中心c的矢量,分別指向點(diǎn)p和點(diǎn)m??舍槍o窮多對(Δθ,ΔT)使分量f最小化,因?yàn)閷τ谌魏谓嵌圈う榷?,選擇ΔT=cp–RΔθ[cm]使得f=0。目的是使f僅為其一個分量的全局代價函數(shù)最小化。但是,該分量f考慮到關(guān)于旋轉(zhuǎn)角度θ(或Δθ)以及平移矢量T(或ΔT)的梯度項(xiàng)的估算,從而在修正模型Gk過程中,進(jìn)行一種梯度下降。換言之,針對空間變換Ft保留參數(shù)的值:其中η1和η2是預(yù)定義的正收斂階。舉例來說,取η1=0.25以及η2=0.025,以便得到良好的敏感性。針對每次應(yīng)用調(diào)整η1和η2的適當(dāng)值,如有必要,通過進(jìn)行某些模擬或試驗(yàn)而進(jìn)行調(diào)整。在(7)和(8)中,針對旋轉(zhuǎn)角度和平移矢量的適當(dāng)值Δθ0、ΔT0,取偏導(dǎo)數(shù)f的偏導(dǎo)數(shù)的表達(dá)式為:其中,(.)T代表換位運(yùn)算,且針對ΔT0和Δθ0的特殊值計算這些偏導(dǎo)數(shù)。然后把結(jié)果帶入(7)和(8),從而得到步驟46中所用的參數(shù)ΔT和Δθ,以便修正模型Gk。在該方法的一個實(shí)施例中,通過取Δθ0為角度取ΔT0為矢量cp–cm,令cm’=RΔθ0[cm],根據(jù)(9)和(10)計算偏導(dǎo)數(shù)。如果把該旋轉(zhuǎn)角度Δθ0和該平移矢量ΔT0應(yīng)用于點(diǎn)m,所述旋轉(zhuǎn)角度Δθ0和該平移矢量ΔT0則會與事件ev(p,t)的位置一致,如圖12所示。在該方法的這個實(shí)施例中,步驟45因此包括在根據(jù)(8)-(9)計算梯度然后根據(jù)(6)-(7)計算空間變換Ft的參數(shù)ΔT、Δθ時,取以及ΔT0=cp–RΔθ0[cm]。計算式(9)-(10)可有其它選擇,例如Δθ0=0以及ΔT0=mp(使m到p的簡單平移),或者Δθ0=ΔT0=0。因?yàn)閮纱蔚g的基本位移幅度較低,所以如果在(0,0)選擇,或者相對于m和p之間的距離選擇計算偏導(dǎo)數(shù)(9)-(10)的精確點(diǎn)(ΔT0,Δθ0),那么該精確點(diǎn)的影響可能極小。此外,該選擇隨著選擇旋轉(zhuǎn)中心c的傳統(tǒng)選擇而變化。旋轉(zhuǎn)中心通常是模型Gk各點(diǎn)的重心,但這不是必須的。在該方法的很多應(yīng)用中,可以用如上所述的旋轉(zhuǎn)與平移的組合來表示空間變換Ft。但是,通過考慮物體模型Gk的變形,可能有選擇性方案。尤其是,可以考慮仿射變換Ft。這樣能夠考慮到所尋找的物體的三維運(yùn)動,而不僅限于圖像平面的運(yùn)動。通過應(yīng)用沿著兩條軸線的比例因子sx、sy,2D仿射矩陣來源于旋度RΔθ的矩陣。這樣恢復(fù)到根據(jù)形式的關(guān)系尋找點(diǎn)m和點(diǎn)p的匹配,其中,點(diǎn)c可以再次取模型Gk各點(diǎn)的重心。通過關(guān)于比例因子sx、sy計算代價函數(shù)分量f的偏導(dǎo)數(shù),可以應(yīng)用梯度下降的相同原則,以便估算這些比例因子。作為第一近似值,可以利用另一個收斂步驟η3,并且?。簊x=1+η3.(|px|–|mx|)(11)sy=1+η3.(|py|–|my|)(12)以便根據(jù)(6)和(7)完成ΔT和Δθ的估算。在表達(dá)式(11)和(12)中,|px|和|py|是矢量cp坐標(biāo)的絕對值,|mx|和|my|是矢量cm坐標(biāo)的絕對值。在傳感器異步信號中追蹤的物體k僅僅是等速位移的一條邊的情況下,圖13表明了在三維空間中歸于這條邊的事件,所述三維空間即與2D像素矩陣的兩個方向相對應(yīng)的兩個空間維度x、y以及時間維度t。所述邊根據(jù)平面Πk(t)中包含的、與成比例的速度矢量V仔細(xì)掃描所述平面Πk(t)。實(shí)際上,采集噪聲以及把事件歸于物體的可能性誤差使得平面Πk(t)周圍的事件有一定的分散性,所述平面Πk(t)隨著最近歸于物體的事件所穿過的平均平面而延伸??捎芍付ㄆ矫娣ň€方向的平面的任何點(diǎn)gk(t)或gk以及矢量nk(t)或nk界定平面Πk(t),或者如果省略時間指數(shù)t,以簡化符號,則為平面Πk。在圖13的表達(dá)式中,點(diǎn)gk與在時刻t–Δt和t之間歸于物體k的事件的重心重合,其中令Δt=40ms。可以通過使平面Πk與在時刻t–Δt和t之間歸于物體k的事件之間總距離最小化,尤其是通過主分量分析(PCA)的平均數(shù)量,利用最小二乘擬合估算矢量nk以及平面Πk的點(diǎn)gk。在步驟47中執(zhí)行這種最小化運(yùn)算,以估算代表物體k時刻位移的平面Πk。關(guān)于確定位移平面Πk的方法的更多細(xì)節(jié),可以參考2013年9月第2期《IEEETransactionOnNeuralNetworksandLearningSystems》第25卷的第407-417頁中由R.Benosman等人撰寫的文章《Event-basedVisualFlow》,或者參考專利申請書WO2013/093378A1。在追蹤的物體不是簡單邊線,而是其形狀由傳感器可見按照兩個維度延伸的物體的情況下,可以通過使最近分配給物體k的事件與由其參數(shù)nk、gk界定的平面之間的總距離最小化而確定位移平面Πk。按照三維時空表示,該平面Πk總體上揭示了物體k的總位移??梢园凑請D11的步驟44中的多種方式使用針對物體k估算的位移平面Πk,從而決定是否把新事件ev(p,t)歸于物體k?;氐讲襟E44,在追蹤多個物體的情況下(K>1),尤其是可以包括遮掩的情況的分辨率,或者更普遍而言,事件歸屬的多個物體之間模糊的情況的分辨率。在步驟43中,計算了事件ev(p,t)與離所追蹤的不同物體的模型Gk最近的各點(diǎn)mk之間的各自距離d(mk,p)。如果這些距離d(mk,p)中只有一個距離小于閾值dth,例如dth=3個像素,那么事件則歸于該物體。相反,則將其視為可歸于多個不同物體的模糊事件。在圖14中顯示了這個處理過程。在步驟50中,從把指數(shù)k和j分別初始化到1和0開始。在測試51中檢查在步驟43中最小化的距離d(mk,p)是否小于閾值dth,如果是肯定的,則在步驟52中把指數(shù)j增加一個單位,在步驟53中取表k(j)中的第j條等于k。步驟53之后,或者當(dāng)測試51中d(mk,p)≥dth時,在測試54中檢查是否已經(jīng)檢查了所有物體(k=K)。如果k<K,測試54之后是在步驟55中把指數(shù)k增加一個單位,然后回到下一次測試51。如果在測試54中k=K,則估算整數(shù)j。如果j=0,則認(rèn)為沒有物體的模型足夠接近檢測到的事件ev(p,t),并否定事件(回到圖11的步驟4)。如果j=1,則把事件ev(p,t)歸于物體k=k(1)(轉(zhuǎn)到圖11的步驟45)。如果j>1,則必須在物體k(1),…,k(j)之間消除模糊性56。消除模糊性56過程中考慮空間限制可以按照以下幾項(xiàng)策略進(jìn)行:·歸于最近:一個新事件ev(p,t)歸于模型Gk最近的物體k(在k(1),…,k(j)之中),也就是使d(mk,p)最小化的物體。理論上,如果新事件完全與模型Gk相對應(yīng),并且數(shù)據(jù)不包含任何噪聲,而且在沒有因?yàn)檎谘诙嬖诘哪:缘那闆r下,該策略運(yùn)作正確;·否定全部:該方法簡單地忽略模糊事件,也就是不針對事件ev(p,t)執(zhí)行圖11的步驟45-47。該方法似乎合乎邏輯,因?yàn)閮?yōu)先順序無法做出明確的決定。但是,追蹤會失敗,因?yàn)榇嬖趤G失形狀動態(tài)的風(fēng)險;·修正全部:修正與模糊事件ev(p,t)相鄰的所有模型Gk。換言之,針對每個物體k執(zhí)行圖11的步驟45-47,使d(mk,p)≤dth;·加權(quán)更新:利用加權(quán)使模糊事件ev(p,t)歸于每個相鄰的模型Gk,所述加權(quán)按照與距離相反的方向變化。換言之,利用各個加權(quán)系數(shù)αk,針對每個物體k執(zhí)行圖11的步驟45-47,使d(mk,p)≤dth,所述加權(quán)系數(shù)是作為距離d(mk,p)的遞減函數(shù)計算的,例如與d(mk,p))成反比,并使Σαk=1?;谑录牟杉^程的較高時間分辨率為模糊情況的分辨率提供額外信息??梢葬槍ψ粉櫟拿總€形狀Gk確定當(dāng)前事件率rk,這包含物體k的信息,并且部分地編碼該物體的動態(tài)。其中,tk,0,tk,1,…,tk,N(k)表示編號為N(k)+1的最新的事件的時間標(biāo)簽,所述事件已經(jīng)在時間窗口歸于物體k,所述時間窗口的長度Δt可約為幾毫秒至幾十毫秒,令tk,0<tk,1<…<tk,N(k)(因此,在tk,N(k)檢測到的事件對于物體k而言是最新的)。這些時間標(biāo)簽使之能夠針對每個物體k計算事件率rk的移動平均數(shù),rk是由下式定義的:在時刻tk,N(k)檢測到事件之后,一旦該事件歸于物體k(步驟44),就可以執(zhí)行當(dāng)前事件率rk的這個運(yùn)算。然后,在下一個事件ev(p,t)導(dǎo)致多個追蹤的物體之間的模糊性的情況下,步驟44可包括根據(jù)以下表達(dá)式計算每個物體k的分?jǐn)?shù)Ck,模糊事件ev(p,t)可歸于所述物體k:Ck=(t–tk,N(k))rk(14)該分?jǐn)?shù)Ck使之能夠估算模糊事件ev(p,t)與每個物體k之間的時間一致性??梢灶A(yù)期,如果事件ev(p,t)屬于物體k,那么持續(xù)時間t–tk,N(k)則接近當(dāng)前率rk的倒數(shù)。在步驟44考慮時間的限制在于根據(jù)(14)計算分?jǐn)?shù)Ck之后,從事件ev(p,t)可歸于的多個物體k中選擇分?jǐn)?shù)最接近1的一個物體。一旦做出該選擇,便可以針對所選擇的物體更新率rk,而且控制可轉(zhuǎn)到圖11的步驟45。在圖15中顯示了考慮時間限制消除模糊性的這個處理過程,而且所述處理過程構(gòu)成執(zhí)行圖14的步驟56的方式。在步驟60中,從把指數(shù)i初始化為1、把物體k的指數(shù)初始化為k(1)以及把分?jǐn)?shù)C初始化為(t–tk(1),N(k(1)))rk(1)開始。執(zhí)行循環(huán)61-65,從而估算事件ev(p,t)可歸于其的不同物體的分?jǐn)?shù)Ck(i)。在步驟61中,指數(shù)i增加一個單位。在步驟62中,根據(jù)C’=(t–tk(i),N(k(i)))rk(i)計算物體k(i)的分?jǐn)?shù)Ck(i)。如果|C’–1|≥|C–1|(測試63),則執(zhí)行循環(huán)出口測試65,從而比較指數(shù)i與候選物體的數(shù)量j。如果測試63中|C’–1|<|C–1|,則執(zhí)行步驟64,從而用k(i)代替指數(shù)k,并且在轉(zhuǎn)到循環(huán)出口測試65之前更新C=C’。只要在測試65中i<j,程序就回到步驟61,進(jìn)行下一次迭代。如果i=j(luò),就完成了把事件歸于物體k,而且算法移到針對所選擇的物體k更新數(shù)量N(k)和時間標(biāo)簽tk,0,tk,1,…,tk,N(k)的步驟66。然后,按照步驟67中的(12)更新率rk,而且算法移到圖11的步驟45。在步驟56中消除模糊性的另一種方式是通過引用事件ev(p,t)可歸于其的不同物體k(1),…,k(j)的位移平面Πk(1),…,Πk(j),把空間限制與時間限制相結(jié)合。尤其是,可以針對事件ev(p,t)的歸屬保持物體k,所述物體k在k(1),…,k(j)之中使得在三維時空表達(dá)式中測得的事件ev(p,t)與每個平面Πk(1),…,Πk(j)之間的距離最小化。然后,把事件歸于物體k,使得:使得:D(i)=|egk(i).nk(i)|(16)其中,“.”是指三維空間中兩個矢量之間的標(biāo)積,nk(i)是指定平面Πk(i)法線的方向的矢量,egk(i)是從點(diǎn)e指向平面Πk(i)各點(diǎn)gk(i)的矢量,所述點(diǎn)e標(biāo)記三維空間中檢測到的事件ev(p,t)。在圖16中顯示了把空間限制與時間限制相結(jié)合以消除模糊性,并形成圖14的步驟56的另一個實(shí)施例的處理過程。在步驟70中,從把指數(shù)i初始化為1、把物體k的指數(shù)初始化為k(1)并把距離D初始化為|egk(1)。nk(1)|開始。執(zhí)行循環(huán)71-75,從而估算事件ev(p,t)可歸于其的不同物體的距離D(i)。在步驟71中,指數(shù)i增加一個單位。在步驟72中,根據(jù)D=|egk(i)。nk(i)|計算物體k(i)的距離D(i)。如果D’≥D(測試73),則執(zhí)行循環(huán)出口測試75,從而比較與指數(shù)i與候選物體的數(shù)量j。如果在測試73中D’<D,則執(zhí)行步驟74,從而用k(i)代替指數(shù)k,并且在轉(zhuǎn)到測試75之前更新D=D’。只要在測試75中i<j,程序就回到步驟71,進(jìn)行下一次迭代。如果i=j(luò),就完成了把事件歸于物體k,并且算法移到圖11的步驟45。異步傳感器10處于運(yùn)動時,場景的固定背景也生成事件。圖17顯示了屬于所追蹤的物體k的事件與針對該物體估算的位移平面Πk之間距離的典型分布(曲線78),以及屬于固定背景的事件與物體的位移平面之間距離的典型分布(曲線79)。這表明平均位移平面Πk可以提供識別判據(jù),以便把關(guān)于追蹤的物體k的事件與關(guān)于包括背景在內(nèi)的未被追蹤的物體的事件分開。簡單地忽略與追蹤的物體不相干的事件,或者同等地,忽略離位移平面Πk“太遠(yuǎn)”的事件。過濾源自場景的背景的事件的一個方式在于估算追蹤的物體位移平面Πk(在圖11的步驟47中估算的)與標(biāo)記在時間窗口Δt過程中在步驟44歸于該物體的檢測到的事件ev(p,t)的各點(diǎn)之間距離的統(tǒng)計分布。該統(tǒng)計分布與圖17的曲線78相對應(yīng)。這樣能夠估算位移平面Πk與歸于物體的事件之間的平均距離dk,以及分布的標(biāo)準(zhǔn)偏差σk。利用這些參數(shù),確定了容許距離值的區(qū)間Ik。在必須關(guān)于是否把新檢測到的事件ev(p,t)分配給追蹤的物體做出決定時,根據(jù)(16)計算在三維空間中標(biāo)記事件ev(p,t)的點(diǎn)與平面Πk之間的距離D=|egk.nk|。如果該距離D在區(qū)間Ik以外,事件則不歸于物體k。相反,事件則歸于物體k,或進(jìn)行其它過濾,尤其是為了考慮上文參考圖14-16所述的任何遮掩。例如,區(qū)間Ik以平均距離dk的值為中心,而且其寬度是標(biāo)準(zhǔn)偏差σk的倍數(shù)。為了考慮背景的可能性運(yùn)動,圖11的步驟44可包括圖18中所示的處理過程(在追蹤單獨(dú)一個物體k的特殊情況下;這種情況很容易推廣到K>1的情況)。在步驟42中檢測到事件ev(p,t)之后,在步驟80中計算距離D=|egk.nk|,然后執(zhí)行測試81,從而確定距離D是否在區(qū)間Ik內(nèi)。如果D在Ik以外,程序回到圖11的步驟41。如果D在Ik內(nèi),事件ev(p,t)則歸于物體k,而不是背景的運(yùn)動。然后在步驟82中通過距離D更新相對于物體k的位移平面Πk的距離分布(曲線78),然后,在步驟83中計算區(qū)間Ik。然后,程序移到圖11的步驟45。在根據(jù)圖11的本發(fā)明實(shí)施例的背景下展示了參考圖14-18所描述的處理過程。但是,會發(fā)現(xiàn),用于考慮多個被追蹤物體之間可能存在的遮掩以及場景的背景可能存在的運(yùn)動的這個處理過程也可以用于追蹤形狀方法的其它實(shí)施例,尤其是在求助于參考圖8所述的SVD型技術(shù)的情況下,更是如此。進(jìn)行了數(shù)字試驗(yàn),以揭示其中公開的方法的性能。這些試驗(yàn)涵蓋在下列實(shí)例中。實(shí)例1如上文參考圖6A和圖7所示,在轉(zhuǎn)盤上所畫的星形物的情況下通過尋找剛性空間變換Ft進(jìn)行了試驗(yàn),所述空間變換Ft包括在圖像平面中平移和旋轉(zhuǎn)。轉(zhuǎn)盤按照每分鐘670轉(zhuǎn)的速度旋轉(zhuǎn)。通過從快照中選擇星形物每條邊的6個點(diǎn),手動生成指定模型G形狀的圖案H。用6個像素的距離閾值消除噪聲的影響,并減少計算量。如圖7所示,即使旋轉(zhuǎn)速度很高,算法也以有效的方式成功追蹤旋轉(zhuǎn)的形狀。圖19使之能夠比較通過三種追蹤方法得到的追蹤星形物的精確度:·處理傳統(tǒng)相機(jī)圖像的ICP算法,所述傳統(tǒng)相機(jī)的輸出信號是由幀構(gòu)成的(圖19中的曲線85)。為了使比較準(zhǔn)確,ICP算法僅考慮在區(qū)分幀之后保留的像素的位置;·形狀追蹤方法,按照參考圖8所示的方法(曲線86)、通過考慮在50μs的時間周期內(nèi)收集的事件,使用基于事件的異步傳感器10,并基于SVD方法的分析形式的進(jìn)行估算;·形狀追蹤方法,通過根據(jù)矩陣的像素p與模型的點(diǎn)m之間的當(dāng)前聯(lián)系估算修正的模型,按照參考圖11所示的方式(曲線87),使用基于事件的異步傳感器10,事件ev(p,t)源自所述矩陣的像素,所述連續(xù)與檢測到該事件之前進(jìn)行的關(guān)聯(lián)無關(guān)。為了評估形狀追蹤的精確度,每200μs計算一次模型集與活動事件的位置之間的平均距離。對于曲線85、86和87而言,平均誤差分別是2.43、1.83和0.86個像素,各自標(biāo)準(zhǔn)偏差為0.11、0.19和0.20個像素??紤]傳感器的異步信號能夠明顯改進(jìn)形狀追蹤方法,尤其是在圖11的情況下,更是如此。超高的時間精度致使更精確的追蹤。誤差曲線顯示了由于刺激物重復(fù)旋轉(zhuǎn)導(dǎo)致的振動(圖19中的插圖)。追蹤誤差表明了算法的良好復(fù)現(xiàn)性和可靠性。殘留誤差是因?yàn)榕c傳感器有限空間分辨率相結(jié)合的方塊像素矩陣的幾何結(jié)構(gòu),這樣不能相對于形狀的角度位置提供各向同性響應(yīng)。為模型G保留的點(diǎn)的數(shù)量對計算的費(fèi)用和精確度有影響。在根據(jù)圖11的實(shí)施例情況下,可以把等值圖效率定義為處理一個事件所需要的計算時間的倒數(shù)。在實(shí)例中,在具有“英特爾酷睿i5”型中央處理器(CPU)的計算機(jī)上執(zhí)行追蹤程序,時鐘頻率為2.8GHz,并占該CPU容量的25%。通過這種配置看來,模型90個點(diǎn)的大小可以提供與200kHz等值圖像率相對應(yīng)的檢測頻率。在模型中到達(dá)大約2000個點(diǎn)時,可用通過至少為11kHz的等值圖效率修正所述模型。經(jīng)驗(yàn)表明,對于具有60至70個點(diǎn)的模型,算法能夠?qū)崟r追蹤位移速度高達(dá)1250轉(zhuǎn)每分鐘的形狀。通常,人們關(guān)心把物體輪廓的角包含在模型中。沿著物體形狀的一條直邊,無論如何都可以減少點(diǎn)的數(shù)量,而不會對追蹤的最終精確度產(chǎn)生負(fù)面影響。在點(diǎn)的數(shù)量增加的情況下,追蹤誤差不趨于零,而且趨于約為0.84個像素的值,這與異步傳感器的空間分辨限度相關(guān)。在邏輯上,模型包含的點(diǎn)越多,追蹤的精確度越高,但是計算成本也越高。模型的60至100個點(diǎn)的大小是很好的折衷方案,以便通過保持較高的追蹤頻率(約200kHz)得到合理的精確度(約0.90個像素)。實(shí)例2通過考慮利用根據(jù)圖11的實(shí)施例中的表達(dá)式(6)、(7)、(11)和(12)計算的仿射空間變換,在多個形狀(H形、汽車形和星形)的情況下進(jìn)行了試驗(yàn)。在該試驗(yàn)中,物體的形狀變形,并按照圖20所示的方式調(diào)整其大小(H形狀的a-d,汽車形的e-h,星形的i-l)。圖21顯示了在追蹤汽車形狀過程中(分別為曲線90和91),有關(guān)形狀原始大小的比例因子sx、sy。比例關(guān)系沿著兩條軸線不同,因?yàn)樵谠囼?yàn)過程中沿著垂直軸直觀地發(fā)生的變化比沿著水平軸發(fā)生的變化更頻繁。追蹤誤差(標(biāo)為92)揭示了0.64個像素的平均值以及0.48個像素的標(biāo)準(zhǔn)偏差。因此,參考圖11其中所述的方法在搜索仿射變換過程中具有良好性能。實(shí)例3在該實(shí)驗(yàn)中,通過異步傳感器采集了汽車交通數(shù)據(jù)。如圖22所示,在四個連續(xù)的時刻,多輛車同時沿著多排車道移動。圖22的(a)欄顯示了由異步傳感器生成的,并在數(shù)毫秒內(nèi)累計的事件,同時,(b)欄顯示了相應(yīng)的灰度圖像??梢娝x擇的場景具有關(guān)鍵時刻,在所述關(guān)鍵時刻具有由于靜態(tài)物體(樹、路燈柱……)產(chǎn)生的高遮掩性以及對于魯棒追蹤構(gòu)成重大挑戰(zhàn)的移動物體(車輛)。按照圖11所示的方法,通過尋找仿射變換Ft,追蹤了分別與汽車和卡車相對應(yīng)的兩種形狀95、96。把表達(dá)式(6)、(7)、(11)和(12)的收斂階η1、η2和η3分別設(shè)為0.1、0.002和10-5。汽車的模型G1包含67個點(diǎn),卡車的模型G2包含102個點(diǎn)。通過手動指向所采集圖像的像素生成這些模型。圖23顯示了通過按照圖11的方法以及基于事件的異步傳感器觀測到的追蹤誤差,圖24顯示了通過傳統(tǒng)方法觀測到的相同誤差,所述傳統(tǒng)方法利用源自以幀為基礎(chǔ)的相機(jī)的圖像。為了使比較具有相關(guān)性,把傳統(tǒng)的基于幀的ICP技術(shù)用于灰度圖像,所述灰度圖像是以100幀每秒的頻率重構(gòu)的。對每個圖像進(jìn)行預(yù)處理,以便通過計算連續(xù)幀之間的差值,并通過閾值操作得到移動邊緣?;谑录姆椒ǖ臅r間精度約為1μs。根據(jù)圖11(圖23)的基于事件的方法的平均追蹤誤差是0.86像素,其標(biāo)準(zhǔn)偏差為0.19像素,而傳統(tǒng)的基于幀的方法產(chǎn)生的平均追蹤誤差是5.70像素,其標(biāo)準(zhǔn)偏差為2.11像素(圖24)。圖23中的縮略圖(a1)-(a5)以及圖24中的縮略圖(b1)-(b5)顯示了“卡車”物體遇到遮掩的情況,該情況產(chǎn)生追蹤誤差的最大值。值得注意的是,通過按照本發(fā)明的方法獲得的出眾的時間精度伴有比傳統(tǒng)基于幀的方法更佳的追蹤穩(wěn)定性。在傳統(tǒng)方法中,在于增加采集頻率的(高成本)解決方案不一定總是足以準(zhǔn)確地處理遮掩的情況。相反,由異步傳感器產(chǎn)生的基于事件的信號的動態(tài)內(nèi)容獲得關(guān)于算法的更穩(wěn)定的輸入數(shù)據(jù)。靜態(tài)障礙物不生成任何事件,所以實(shí)際上對追蹤過程沒有影響。實(shí)例4對消除模糊性的幾種策略進(jìn)行了測試,以追蹤有遮掩的多個物體。在包括汽車交通的實(shí)際場景中,同步追蹤按照相同方向、但是以不同速度移動位置的“汽車”物體和“卡車”物體的形狀。一段時間后,卡車的形狀和汽車的形狀在傳感器10的視野中重疊在一起,直到卡車超過汽車。除卡車和汽車以外的其它物體作為背景噪聲處理。圖25顯示了:·在源自“卡車”物體的事件與“卡車”物體重心之間觀測到的距離(曲線100);·在源自“汽車”物體的事件與“汽車”物體重心之間觀測到的距離(曲線101);·在源自“卡車”物體的事件與“汽車”物體重心之間觀測到的距離(曲線102);以及·在源自“卡車”物體的事件與“汽車”物體重心之間觀測到的距離(曲線103)。這些曲線通過相似值時產(chǎn)生模糊性,意味著兩輛車的形狀在視野中重疊(大約2.2秒至2.9秒)。在這種情況下,除非公用區(qū)域的尺寸非常小,否則,空間信息的利用會不充足。圖26顯示了“卡車”物體(曲線105)和“汽車”物體(曲線106)的平均事件率rk。在該試驗(yàn)中,可以看到兩條曲線是分離的,所以在整個序列中,兩輛車的形狀保持可以分離,所述整個序列是指汽車約為每秒3000個事件的事件率以及卡車每秒約為5000個事件的事件率。但是,不一定保證任何序列都有能夠分開的這種性能。普遍而言,通常認(rèn)為把時間限制與附加限制相結(jié)合比較好,例如所述附加限制為空間限制。圖27-32顯示了通過把“卡車”物體模型和“汽車”物體模型的速度與實(shí)際速度(分別為虛線曲線112和113)作比較,在執(zhí)行根據(jù)圖11的方法過程中估算的“卡車”物體模型(曲線110)與“汽車”物體模型(曲線111)的速度,所述實(shí)際速度是通過識別連續(xù)圖像上的相應(yīng)點(diǎn)手動確定的。平均速度分別為卡車42.0像素/秒、汽車24.3像素/秒。六幅圖與消除模糊性的六個不同策略相對應(yīng):“歸于最近”(圖27);“否定全部”(圖28);“修正全部”(圖29);“加權(quán)更新”(圖30);“基于率rk的時間限制”(圖31);以及“利用位移平面Πk組合空間限制和時間限制”(圖32)。圖27-32中包含的縮略圖顯示了對于研究方法之間的差別而言最令人關(guān)注的時刻。只要沒有發(fā)生遮掩,每條曲線的開頭就相同。圖表右手部分所示的百分比一方面與曲線110和112之間的平均相對偏差相對應(yīng),另一方面與曲線111和113之間的平均相對偏差相對應(yīng)。在圖27中可以看到“歸于最近”的策略產(chǎn)生相當(dāng)差的結(jié)果,因?yàn)樵诳ㄜ嚹P捅黄嚹P驼谘谥?,丟失了卡車模型?!胺穸ㄈ俊钡牟呗?圖28)更不盡如人意,這次是在遮掩之后丟失了汽車模型。“修正全部”的策略(圖29)看似更可取,因?yàn)楸3肿粉檭奢v車的形狀,沒有丟失。在序列末端,卡車生成的事件吸引了汽車模型,所產(chǎn)生的汽車軌跡輕微地向卡車軌跡偏離,而且在估算的汽車速度上升時,估算的卡車速度下降(見圖29中的(c3))。“加權(quán)更新”的策略在具有依賴距離的加權(quán)的不同物體之間分配由模糊事件引入的動態(tài)。圖30顯示了在沒有丟失的情況下追蹤卡車和汽車,而且速度曲線更好地對應(yīng)實(shí)際速度。出于與“修正全部”的策略相同的原因,在序列末端仍有差異,但是這些誤差的幅度較小。在多個物體交叉或碰撞的情況下,在以空間限制為基礎(chǔ)的策略中,認(rèn)為這種“加權(quán)更新”策略比較好。“基于率rk的時間限制”的策略(圖31)在該試驗(yàn)的框架上有良好的效果。但是,當(dāng)目標(biāo)物體具有相似的事件率時,不保證其可靠性。“利用位移平面Πk組合空間限制與時間限制”的策略使用了3秒時間段Δt,以便估算“卡車”物體的位移平面Π1和“汽車”物體的位移平面Π2(圖33)。如圖32所示,該策略是使得追蹤兩輛車的誤差最低的策略??赏ㄟ^下一事實(shí)來解釋這一點(diǎn),即通過消除不當(dāng)歸屬并通過獲得更好的噪聲魯棒性,局部時空平面Π1、Π2基本上限制了周邊區(qū)域。要注意到因?yàn)闅w屬過程更可靠,所以在卡車與汽車之間的誤差以更均勻的方式分布,這是有趣的。實(shí)例5通過應(yīng)用參考圖16所描述的移除由背景產(chǎn)生的事件的方法對由移動傳感器生成的異步信號的兩個序列進(jìn)行測試,在第一序列中,在內(nèi)部環(huán)境中移動星形的位置,與此同時手持并同步地移動異步傳感器。圖34顯示了的場景(a1)-(a5)的幾個剪影。為了計算結(jié)果,通過圖34中的曲線116顯示了根據(jù)圖11的方法計算的星形物的速度(把星形物的運(yùn)動與傳感器的運(yùn)動相結(jié)合),并將其與手動取的用虛線117表示的實(shí)際速度作比較。估算數(shù)據(jù)與實(shí)際數(shù)據(jù)之間的平均誤差估計為6%。盡管場景包括背景中的很多條邊,追蹤過程仍具有魯棒性。第二序列再次來自于具有汽車交通的外部場景。利用手動移位的異步視覺傳感器10追蹤汽車形狀。圖35顯示了估算汽車速度的結(jié)果(曲線118),并將其與手動確定的實(shí)際速度(曲線119)作比較。盡管要處理的情況比較困難(例如,在人行道或人行橫道接近汽車或重疊汽車的情況下),但是算法的良好時空性能也會提供可接受的結(jié)果。關(guān)于速度的平均估計誤差是15%。當(dāng)汽車的視野發(fā)生巨大的變化時,追蹤的質(zhì)量從大約3.5秒開始下降(圖35中的b5)總之,即使比如在傳感器和追蹤的物體處于運(yùn)動狀態(tài)的情況下,上文所披露的基于事件的追蹤也具有魯棒性。上述實(shí)施例是本發(fā)明的說明。在不脫離源于所附權(quán)利要求的本發(fā)明范圍的情況下,可以進(jìn)行各種修改。當(dāng)前第1頁1 2 3 當(dāng)前第1頁1 2 3 
當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1