本發(fā)明涉及圖像處理
技術(shù)領(lǐng)域：
，尤其涉及一種基于事件驅(qū)動的實(shí)時(shí)處理算法，自動精確地捕獲有用信息，具有低數(shù)據(jù)量，高處理速度，高識別精度的優(yōu)勢，實(shí)現(xiàn)多物體識別追蹤的智能視覺圖像應(yīng)用。具體涉及基于AER圖像傳感器的實(shí)時(shí)多物體追蹤方法和裝置。
背景技術(shù)：
：隨著通信、網(wǎng)絡(luò)、計(jì)算機(jī)和微電子技術(shù)的發(fā)展，計(jì)算機(jī)視覺技術(shù)被應(yīng)用在各個(gè)領(lǐng)域，監(jiān)控系統(tǒng)在生產(chǎn)生活中的應(yīng)用也逐漸增大，傳統(tǒng)的監(jiān)控系統(tǒng)需要人員值守，耗費(fèi)人力且存在一定的局限性，因此研究智能化監(jiān)控系統(tǒng)就顯得尤為重要。在智能化監(jiān)控系統(tǒng)領(lǐng)域中，對運(yùn)動目標(biāo)實(shí)現(xiàn)無人檢測、監(jiān)控是當(dāng)今研究的熱點(diǎn)問題，涉及到圖像獲取、圖像處理、模式識別和人工智能等多領(lǐng)域的核心技術(shù)，其在交通監(jiān)控、周界防護(hù)、虛擬現(xiàn)實(shí)、人機(jī)交互及移動機(jī)器人導(dǎo)航等領(lǐng)域都有著廣泛的應(yīng)用。而智能監(jiān)控系統(tǒng)中，運(yùn)動物體追蹤算法的性能直接影響著目標(biāo)追蹤的準(zhǔn)確性和魯棒性。傳統(tǒng)運(yùn)動物體追蹤是通過分析視頻中每一幀圖像信息，進(jìn)行數(shù)據(jù)挖掘，對目標(biāo)行為進(jìn)行大量的動作捕捉，通過一系列的信息處理后，計(jì)算并標(biāo)記出所追蹤目標(biāo)在圖像中相應(yīng)的位置。傳統(tǒng)運(yùn)動物體追蹤研究算法主要分為兩類：自底向上和自頂向下。自底向上的方法有很多，如光流場法、幀間差分法、背景差法，先將目標(biāo)物體部分分割出來，找出追蹤算法中所需要使用的部分建立目標(biāo)物體模型，再對模型進(jìn)行追蹤，參考圖1。分割主要由純外部因素決定，如顏色、方向、紋理、二維或三維空間中物體的連接特征等。自頂向下的方法則是使用圖片的內(nèi)容，根據(jù)當(dāng)前視覺行為有關(guān)的先驗(yàn)知識來預(yù)測和感知目標(biāo)，通過評估的方法判斷物體的位置。追蹤方法依靠定位目標(biāo)在每幀圖像中的位置，可以生成物體的長期運(yùn)動軌跡，并將檢測到的物體和每幀圖片中的目標(biāo)實(shí)例一一對應(yīng)。傳統(tǒng)的運(yùn)動物體追蹤系統(tǒng)往往存在一些不足。如：圖像傳感器將采集的大量原始圖像數(shù)據(jù)傳送到處理系統(tǒng)中進(jìn)行追蹤，由于是串行傳送，導(dǎo)致存在嚴(yán)重的帶寬限制，處理速度無法滿足高速實(shí)時(shí)性需求。并且，面對復(fù)雜目標(biāo)和背景噪聲干擾大的圖像時(shí)，會產(chǎn)生大量冗余信息，導(dǎo)致追蹤結(jié)果不夠理想。此外，被追蹤的物體本身形狀具有多樣性，在運(yùn)動過程中可能伴隨一系列變化，如形變，顏色變化、運(yùn)動方向變化等，都會影響追蹤結(jié)果，使得運(yùn)動物體追蹤算法在很多方面的研究存在著一定的挑戰(zhàn)。因此，設(shè)計(jì)一種高識別率，低復(fù)雜度的運(yùn)動物體追蹤算法是非常必要的。技術(shù)實(shí)現(xiàn)要素：為克服現(xiàn)有技術(shù)的不足，解決傳統(tǒng)圖像采集及運(yùn)動物體追蹤算法所存在的問題，本發(fā)明旨在提供一種基于AER圖像傳感器的實(shí)時(shí)多物體追蹤算法。該算法實(shí)時(shí)處理從AER圖像傳感器采集的圖像信息，實(shí)現(xiàn)多目標(biāo)同時(shí)檢測并能準(zhǔn)確提供各目標(biāo)位置參數(shù)等信息。本發(fā)明采用的技術(shù)方案是，基于AER圖像傳感器的實(shí)時(shí)多物體追蹤方法，利用地址—事件表示(Address-EventRepresentation,AER)的圖像傳感器采集數(shù)據(jù)并進(jìn)行實(shí)時(shí)處理，監(jiān)測光強(qiáng)變化，當(dāng)變化達(dá)到指定閾值即會輸出，同時(shí)利用傳感器濾除無用的背景信息，減少傳輸數(shù)據(jù)量和冗余信息；利用傳感器仲裁機(jī)制判斷傳輸?shù)南群箜樞虿⑿纬蓵r(shí)間標(biāo)簽，其中包含時(shí)間t，極性pol及位置信息p＝(x,y)T，pol取值+1或-1；追蹤算法對時(shí)間標(biāo)簽進(jìn)行處理，實(shí)現(xiàn)實(shí)時(shí)追蹤。通過地址—事件表示的圖像傳感器進(jìn)行數(shù)據(jù)采集，其像素尺寸為M×M，根據(jù)經(jīng)驗(yàn)設(shè)定追蹤目標(biāo)的個(gè)數(shù)n，即追蹤器個(gè)數(shù)，當(dāng)算法檢測到追蹤器不足時(shí)，會自動添加追蹤器個(gè)數(shù)；設(shè)置各追蹤器初始位置p1,p2…pn；在圖像傳感器M×M的位置均勻分布，防止各追蹤器之間距離過近。對時(shí)間標(biāo)簽進(jìn)行處理的具體步驟如下：依次接收由AER圖像傳感器傳輸?shù)臅r(shí)間標(biāo)簽ei(pi，ti，poli)，ei為第i個(gè)時(shí)間標(biāo)簽，計(jì)算每個(gè)追蹤器與時(shí)間標(biāo)簽ei的高斯分布概率密度函數(shù)：fi(pm)=12π|Σm|-12e-12(pi-pm)TΣt-1-1(pi-pm)---(1)]]>Σm=σxm2σxmymσxmymσym2---(2)]]>其中pm＝[xm,ym]T為第m個(gè)追蹤器的坐標(biāo)位置，xm為橫坐標(biāo)，ym為縱坐標(biāo)，pi＝[xi,yi]T第i個(gè)時(shí)間標(biāo)簽的坐標(biāo)位置，xi為橫坐標(biāo),yi縱坐標(biāo)，∑m∈R2×2，為第m個(gè)追蹤器的協(xié)方差矩陣,∑t-1為最近一次時(shí)間標(biāo)簽被判定為屬于該追蹤器的協(xié)方差矩陣，當(dāng)?shù)趇個(gè)時(shí)間標(biāo)簽之前無時(shí)間標(biāo)簽被判定為屬于該追蹤器時(shí)，∑t-1為∑0。判斷各追蹤器正態(tài)分布概率分布是否大于概率δf，即fi(pm)是否大于δf，若大于δf，則說明第i個(gè)時(shí)間標(biāo)簽屬于第m個(gè)追蹤器，反之則不屬于，若屬于第m個(gè)追蹤器，則更新第m個(gè)追蹤器的位置：pt＝α1pt-1+(1-α1)pi(3)Σt＝α2Σt-1+(1-α2)ΔΣ(4)ΔΣ=(xi-xm)2(xi-xm)(yi-ym)(xi-xm)(yi-ym)(yi-ym)2---(5)]]>其中，α1和α2為更新參數(shù)，與AER圖像傳感器產(chǎn)生的事件率和被測場景復(fù)雜度有關(guān)，pt為此時(shí)第m個(gè)追蹤器的位置，即目標(biāo)此時(shí)所處位置，pt-1為目標(biāo)未移動前的位置，∑t為目標(biāo)移動后該追蹤器的協(xié)方差矩陣，Δ∑則為協(xié)方差差值。若時(shí)間標(biāo)簽不屬于任何一個(gè)追蹤器，則第m個(gè)追蹤器的位置及協(xié)方差矩陣均保持不變，新建一個(gè)追蹤器，位置為該時(shí)間標(biāo)簽的位置，新建追蹤器協(xié)方差矩陣為∑0，若有時(shí)間標(biāo)簽屬于多個(gè)追蹤器，則根據(jù)概率密度函數(shù)fi的大小判斷，時(shí)間標(biāo)簽歸屬于函數(shù)值較大的追蹤器，更新后的追蹤器位置即為運(yùn)動物體位置。更新第m個(gè)追蹤器壽命:其中，τ為壽命衰減時(shí)間，Δt為兩個(gè)相鄰時(shí)間標(biāo)簽的時(shí)間差，當(dāng)壽命將為0時(shí)，該追蹤器將被刪除。基于AER圖像傳感器的實(shí)時(shí)多物體追蹤裝置，包括：利用地址—事件表示的圖像傳感器，用于采集數(shù)據(jù)，通過監(jiān)測光強(qiáng)變化，當(dāng)變化達(dá)到指定閾值即會按一定順序輸出，從而濾除無用的背景信息，減少傳輸數(shù)據(jù)量和冗余信息；AER圖像傳感器以時(shí)間標(biāo)簽的形式輸出，包含時(shí)間t，極性pol及位置信息p＝(x,y)T，pol取值+1或-1；將傳感器其與FPGA處理模塊連接，用于對時(shí)間標(biāo)簽進(jìn)行處理，實(shí)現(xiàn)實(shí)時(shí)追蹤。處理模塊用于：依次接收由AER圖像傳感器傳輸?shù)臅r(shí)間標(biāo)簽ei(pi，ti，poli)，ei為第i個(gè)時(shí)間標(biāo)簽，計(jì)算每個(gè)追蹤器與時(shí)間標(biāo)簽ei的高斯分布概率密度函數(shù)：fi(pm)=12π|Σm|-12e-12(pi-pm)TΣt-1-1(pi-pm)---(1)]]>Σm=σxm2σxmymσxmymσym2---(2)]]>其中pm＝[xm,ym]T為第m個(gè)追蹤器的坐標(biāo)位置，xm為橫坐標(biāo)，ym為縱坐標(biāo)，pi＝[xi,yi]T第i個(gè)時(shí)間標(biāo)簽的坐標(biāo)位置，xi為橫坐標(biāo),yi縱坐標(biāo)，∑m∈R2×2，為第m個(gè)追蹤器的協(xié)方差矩陣,∑t-1為最近一次時(shí)間標(biāo)簽被判定為屬于該追蹤器的協(xié)方差矩陣，當(dāng)?shù)趇個(gè)時(shí)間標(biāo)簽之前無時(shí)間標(biāo)簽被判定為屬于該追蹤器時(shí)，∑t-1為∑0。判斷各追蹤器正態(tài)分布概率分布是否大于概率δf，即fi(pm)是否大于δf，若大于δf，則說明第i個(gè)時(shí)間標(biāo)簽屬于第m個(gè)追蹤器，反之則不屬于，若屬于第m個(gè)追蹤器，則更新第m個(gè)追蹤器的位置：pt＝α1pt-1+(1-α1)pi(3)Σt＝α2Σt-1+(1-α2)ΔΣ(4)ΔΣ=(xi-xm)2(xi-xm)(yi-ym)(xi-xm)(yi-ym)(yi-ym)2---(5)]]>其中，α1和α2為更新參數(shù)，與AER圖像傳感器產(chǎn)生的事件率和被測場景復(fù)雜度有關(guān)，pt為此時(shí)第m個(gè)追蹤器的位置，即目標(biāo)此時(shí)所處位置，pt-1為目標(biāo)未移動前的位置，∑t為目標(biāo)移動后該追蹤器的協(xié)方差矩陣，Δ∑則為協(xié)方差差值。若時(shí)間標(biāo)簽不屬于任何一個(gè)追蹤器，則第m個(gè)追蹤器的位置及協(xié)方差矩陣均保持不變，新建一個(gè)追蹤器，位置為該時(shí)間標(biāo)簽的位置，新建追蹤器協(xié)方差矩陣為∑0，若有時(shí)間標(biāo)簽屬于多個(gè)追蹤器，則根據(jù)概率密度函數(shù)fi的大小判斷，時(shí)間標(biāo)簽歸屬于函數(shù)值較大的追蹤器，更新后的追蹤器位置即為運(yùn)動物體位置。更新第m個(gè)追蹤器壽命:其中，τ為壽命衰減時(shí)間，Δt為兩個(gè)相鄰時(shí)間標(biāo)簽的時(shí)間差，當(dāng)壽命將為0時(shí)，該追蹤器將被刪除。其中，處理模塊集成于FPGA上。本發(fā)明的特點(diǎn)及有益效果是：在圖像信息采集及目標(biāo)追蹤基礎(chǔ)上提出基于AER圖像傳感器的實(shí)時(shí)多目標(biāo)追蹤算法，突破了原有圖像處理基于“幀”的處理模式，減少了處理數(shù)據(jù)量并消除了冗余信息，解決了背景復(fù)雜、識別速度慢、多人交互等問題。大幅度提升了視覺系統(tǒng)的等效處理幀頻，滿足了高速實(shí)時(shí)性的需求。AER圖像傳感器與聚類算法相組合，僅輸出少量物體特征數(shù)據(jù)，便可識別出多個(gè)物體的位置，智能化程度高，魯棒性好。附圖說明：圖1傳統(tǒng)運(yùn)動物體追蹤系統(tǒng)自底向上算法流程圖。圖2傳統(tǒng)圖像傳感器與AER圖像傳感器采集數(shù)據(jù)對比圖。圖3基于AER圖像傳感器的實(shí)時(shí)多目標(biāo)追蹤算法流程圖。圖4追蹤結(jié)果示意圖。具體實(shí)施方式本發(fā)明的構(gòu)思是：減小采集數(shù)據(jù)量并引入“聚類”的概念，以提高追蹤的精準(zhǔn)度并達(dá)到實(shí)時(shí)性需求。本發(fā)明對地址—事件表示的圖像傳感器所采集的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。AER圖像傳感器產(chǎn)生的數(shù)據(jù)與傳統(tǒng)傳感器不同，不存在“幀”的概念，參考圖2，傳感器內(nèi)各個(gè)像素點(diǎn)獨(dú)立工作，監(jiān)測該位置的光強(qiáng)變化，當(dāng)變化達(dá)到指定閾值即會輸出。傳感器可濾除無用的背景信息，減少傳輸數(shù)據(jù)量和冗余信息，數(shù)據(jù)并行傳輸?shù)絺鞲衅鞯闹俨脵C(jī)制中，通過仲裁機(jī)制判斷傳輸?shù)南群箜樞虿⑿纬蓵r(shí)間標(biāo)簽，包含時(shí)間t，極性pol(+1或-1)及位置信息p＝(x,y)T，極性pol取值由光強(qiáng)變化決定，光強(qiáng)增加取+1，減少取-1；然后運(yùn)動物體追蹤模塊將對時(shí)間標(biāo)簽進(jìn)行處理，實(shí)現(xiàn)實(shí)時(shí)追蹤。該目標(biāo)追蹤的算法步驟如下，參考圖3：步驟1：設(shè)定追蹤器個(gè)數(shù)n。根據(jù)經(jīng)驗(yàn)設(shè)定追蹤器的個(gè)數(shù)，如設(shè)置過多會導(dǎo)致一個(gè)物體同時(shí)被兩個(gè)追蹤器追蹤。若較少，追蹤器個(gè)數(shù)會自動添加。AER圖像傳感器固定采集指定區(qū)域內(nèi)物體的運(yùn)動過程，并且僅選用一臺圖像傳感器，追蹤器個(gè)數(shù)及初始位置是人為設(shè)定的，分布在與圖像傳感器像素尺寸相同的區(qū)域上，即對傳感器采集到的范圍進(jìn)行追蹤。追蹤器僅表示一個(gè)位置信息，隨著時(shí)間標(biāo)簽的輸入和實(shí)時(shí)處理而發(fā)生變化，該位置信息記錄了AER圖像傳感器采集到的目標(biāo)物體的運(yùn)動位置，同一追蹤器所顯示出的所有位置即為物體運(yùn)動的軌跡。步驟2：設(shè)置各追蹤器初始位置p1,p2···pn。注意：各追蹤器位置最好均勻分布在圖像上，防止追蹤器之間距離過近。步驟3：依次接收由AER圖像傳感器傳輸?shù)臅r(shí)間標(biāo)簽ei(pi，ti，poli)，ei為第i個(gè)時(shí)間標(biāo)簽，計(jì)算每個(gè)追蹤器與時(shí)間標(biāo)簽ei的高斯分布概率密度函數(shù)：fi(pm)=12π|Σm|-12e-12(pi-pm)TΣt-1-1(pi-pm)---(1)]]>Σm=σxm2σxmymσxmymσym2---(2)]]>其中pm＝[xm,ym]T為第m個(gè)追蹤器的坐標(biāo)位置，xm為橫坐標(biāo)，ym為縱坐標(biāo)，pi＝[xi,yi]T第i個(gè)時(shí)間標(biāo)簽的坐標(biāo)位置，xi為橫坐標(biāo),yi縱坐標(biāo)，∑m∈R2×2，為第m個(gè)追蹤器的協(xié)方差矩陣,∑t-1為最近一次時(shí)間標(biāo)簽被判定為屬于該追蹤器的協(xié)方差矩陣，當(dāng)?shù)趇個(gè)時(shí)間標(biāo)簽之前無時(shí)間標(biāo)簽被判定為屬于該追蹤器時(shí)，∑t-1為∑0。步驟4：判斷各追蹤器正態(tài)分布概率分布是否大于概率δf，即fi(pm)是否大于δf，若大于δf，則說明第i個(gè)時(shí)間標(biāo)簽屬于第m個(gè)追蹤器，反之則不屬于，若屬于第m個(gè)追蹤器，則更新第m個(gè)追蹤器的位置：pt＝α1pt-1+(1-α1)pi(3)Σt＝α2Σt-1+(1-α2)ΔΣ(4)ΔΣ=(xi-xm)2(xi-xm)(yi-ym)(xi-xm)(yi-ym)(yi-ym)2---(5)]]>其中，α1和α2為更新參數(shù)，與AER圖像傳感器產(chǎn)生的事件率和被測場景復(fù)雜度有關(guān)，pt為此時(shí)第m個(gè)追蹤器的位置，即目標(biāo)此時(shí)所處位置，pt-1為目標(biāo)未移動前的位置，∑t為目標(biāo)移動后該追蹤器的協(xié)方差矩陣，Δ∑則為協(xié)方差差值。若時(shí)間標(biāo)簽不屬于任何一個(gè)追蹤器，則第m個(gè)追蹤器的位置及協(xié)方差矩陣均保持不變，新建一個(gè)追蹤器，位置為該時(shí)間標(biāo)簽的位置，新建追蹤器協(xié)方差矩陣為∑0，若有時(shí)間標(biāo)簽屬于多個(gè)追蹤器，則根據(jù)概率密度函數(shù)fi的大小判斷，時(shí)間標(biāo)簽歸屬于函數(shù)值較大的追蹤器，更新后的追蹤器位置即為運(yùn)動物體位置。步驟5：更新追蹤器壽命。其中，τ為壽命衰減時(shí)間，Δt為兩個(gè)相鄰時(shí)間標(biāo)簽的時(shí)間差。當(dāng)壽命將為0時(shí)，該追蹤器將被刪除。本發(fā)明所提出的實(shí)時(shí)多物體追蹤算法支持AER圖像傳感器長時(shí)間采集，將本發(fā)明的算法應(yīng)用于車輛追蹤，首先利用AER圖像傳感器捕獲光強(qiáng)變化的像素點(diǎn)，像素陣列選用128×128分辨率，初始追蹤器設(shè)為3～5個(gè)，當(dāng)為5個(gè)時(shí)，初始位置分別設(shè)為p1(32，32)，p2(96，32)，p3(64，64)，p4(32，96)，p5(96，96)。δf＝0.1，追蹤器僅是算法追蹤運(yùn)動目標(biāo)位置的形象化的名字，是一個(gè)根據(jù)時(shí)間變化的坐標(biāo)點(diǎn)。AER圖像傳感器僅有一個(gè)，在傳感器固定的采集范圍內(nèi)，傳感器可采集多個(gè)運(yùn)動目標(biāo)，因此可包含多個(gè)追蹤器。更新參數(shù)α1和α2在0.1到1之間。壽命衰減時(shí)間τ等于10～20個(gè)時(shí)間差Δt。軟件上可選用MATLAB或C語言進(jìn)行編寫，也可在FPGA硬件上實(shí)現(xiàn)。追蹤結(jié)果可快速的找到多個(gè)移動車輛的中心位置，參考圖4。當(dāng)前第1頁1 2 3