相關(guān)申請(qǐng)的交叉引用本申請(qǐng)根據(jù)35u.s.c.§119(e)要求于2014年9月16日提交的題為“eventbasedspatialtransformation(基于事件的空間變換)”的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)?zhí)?2/051,187的權(quán)益，其公開(kāi)通過(guò)引用整體明確地納入于此。背景領(lǐng)域本公開(kāi)的某些方面一般涉及神經(jīng)系統(tǒng)工程，尤其涉及用于基于事件的下采樣的系統(tǒng)和方法。
背景技術(shù)：
：機(jī)器視覺(jué)使得機(jī)器能夠看見(jiàn)和感知。在常規(guī)系統(tǒng)中，傳感器(諸如攝像機(jī))被用于機(jī)器視覺(jué)。攝像機(jī)可被稱(chēng)為基于幀的視覺(jué)傳感器，因?yàn)閿z像機(jī)從光敏元件的二維陣列周期性地采樣視覺(jué)數(shù)據(jù)。相反，人類(lèi)視網(wǎng)膜是基于事件的視覺(jué)傳感器的示例。也就是說(shuō)，視網(wǎng)膜中的個(gè)體神經(jīng)元對(duì)視場(chǎng)的一部分是靈敏的以使得在視場(chǎng)的該部分存在變化時(shí)，每個(gè)神經(jīng)元向大腦發(fā)送信號(hào)。與常規(guī)的基于幀的攝像機(jī)不同，不存在對(duì)視網(wǎng)膜中的所有神經(jīng)元的周期性采樣。相反，每當(dāng)存在瞬態(tài)視覺(jué)事件時(shí)，視覺(jué)數(shù)據(jù)就由視網(wǎng)膜傳送。與視網(wǎng)膜類(lèi)似，動(dòng)態(tài)視覺(jué)傳感器(dvs)包括檢測(cè)和傳送視覺(jué)事件的光敏元件陣列。當(dāng)視覺(jué)場(chǎng)景的一部分處的亮度存在變化時(shí)，動(dòng)態(tài)視覺(jué)傳感器的個(gè)體光敏元件傳送信號(hào)。作為示例，事件驅(qū)動(dòng)的對(duì)象檢測(cè)系統(tǒng)可使用動(dòng)態(tài)視覺(jué)傳感器來(lái)檢測(cè)移動(dòng)的對(duì)象(諸如面部或汽車(chē))，并且基于先前訓(xùn)練來(lái)實(shí)時(shí)地對(duì)檢測(cè)到的對(duì)象進(jìn)行分類(lèi)。在一些情形中，基于事件的采樣被指定成提高時(shí)間靈敏度。也就是說(shuō)，基于幀的傳感器可被限于以基于幀的傳感器能藉以讀取圖像數(shù)據(jù)幀的速度為基礎(chǔ)來(lái)采樣視覺(jué)信息。相反，動(dòng)態(tài)視覺(jué)傳感器內(nèi)的光敏元件可基于該光敏元件能藉以檢測(cè)視場(chǎng)的一部分的變化的速度來(lái)采樣視覺(jué)信息。除了提高的時(shí)間靈敏度以外，光敏元件與基于幀的傳感器相比可平均上消耗更少的功率，因?yàn)楣饷粼谝曈X(jué)場(chǎng)景不存在變化時(shí)保持不活躍。盡管如此，提高的時(shí)間靈敏度和更低的功耗尚未在常規(guī)的基于事件的視覺(jué)系統(tǒng)中完全實(shí)現(xiàn)。具體地，用于基于事件的傳感器輸出的已知處理技術(shù)的數(shù)目小于用于基于幀的視覺(jué)傳感器的機(jī)器視覺(jué)技術(shù)的數(shù)目。為基于幀的傳感器開(kāi)發(fā)的常用技術(shù)包括高效下采樣、亞采樣、內(nèi)插、快速傅里葉變換、以及基于神經(jīng)網(wǎng)絡(luò)的對(duì)象分類(lèi)。在一些情形中，為了改進(jìn)已為基于幀的機(jī)器視覺(jué)系統(tǒng)開(kāi)發(fā)出的技術(shù)，動(dòng)態(tài)視覺(jué)傳感器的輸出可被用于周期性地重構(gòu)圖像幀。此外，常規(guī)圖像處理技術(shù)可被應(yīng)用于結(jié)果所得的幀。然而，向圖像幀的轉(zhuǎn)換可能降低基于事件的視覺(jué)系統(tǒng)的性能。由此，將基于幀的技術(shù)轉(zhuǎn)換成基于事件的系統(tǒng)而不降低基于事件的傳感器的性能是合乎期望的。概述在本公開(kāi)的一個(gè)方面，公開(kāi)了一種計(jì)算空間傅里葉變換以用于基于事件的系統(tǒng)的方法。該方法包括從傳感器接收包括一個(gè)或多個(gè)事件的異步事件輸出流。該方法還包括基于傳感器的維度來(lái)計(jì)算離散傅里葉變換(dft)矩陣。該方法進(jìn)一步包括基于dft矩陣來(lái)計(jì)算輸出。該方法再進(jìn)一步包括將輸出應(yīng)用于事件處理器。本公開(kāi)的另一方面涉及一種包括用于從傳感器接收包括一個(gè)或多個(gè)事件的異步事件輸出流的裝置的設(shè)備。該設(shè)備還包括用于基于傳感器的維度來(lái)計(jì)算dft矩陣的裝置。該設(shè)備進(jìn)一步包括用于基于dft矩陣來(lái)計(jì)算輸出的裝置。該設(shè)備再進(jìn)一步包括用于將輸出應(yīng)用于事件處理器的裝置。在本公開(kāi)的另一方面，公開(kāi)了一種其上記錄有非瞬態(tài)程序代碼的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)。用于計(jì)算空間傅里葉變換以用于基于事件的系統(tǒng)的該程序代碼由處理器執(zhí)行并且包括用于從傳感器接收包括一個(gè)或多個(gè)事件的異步事件輸出流的程序代碼。該程序代碼還包括用于基于傳感器的維度來(lái)計(jì)算dft矩陣的程序代碼。該程序代碼進(jìn)一步包括用于基于dft矩陣來(lái)計(jì)算輸出的程序代碼。該程序代碼再進(jìn)一步包括用于將輸出應(yīng)用于事件處理器的程序代碼。本公開(kāi)的另一方面涉及一種用于計(jì)算空間傅里葉變換以用于基于事件的系統(tǒng)的裝置。該裝置具有存儲(chǔ)器以及耦合至該存儲(chǔ)器的一個(gè)或多個(gè)處理器。該(諸)處理器被配置成從傳感器接收包括一個(gè)或多個(gè)事件的異步事件輸出流。該(諸)處理器還被配置成基于傳感器的維度來(lái)計(jì)算dft矩陣。該(諸)處理器被進(jìn)一步配置成基于dft矩陣來(lái)計(jì)算輸出。該(諸)處理器被再進(jìn)一步配置成將輸出應(yīng)用于事件處理器。本公開(kāi)的附加特征和優(yōu)點(diǎn)將在下文描述。本領(lǐng)域技術(shù)人員應(yīng)該領(lǐng)會(huì)，本公開(kāi)可容易地被用作修改或設(shè)計(jì)用于實(shí)施與本公開(kāi)相同的目的的其他結(jié)構(gòu)的基礎(chǔ)。本領(lǐng)域技術(shù)人員還應(yīng)認(rèn)識(shí)到，這樣的等效構(gòu)造并不脫離所附權(quán)利要求中所闡述的本公開(kāi)的教導(dǎo)。被認(rèn)為是本公開(kāi)的特性的新穎特征在其組織和操作方法兩方面連同進(jìn)一步的目的和優(yōu)點(diǎn)在結(jié)合附圖來(lái)考慮以下描述時(shí)將被更好地理解。然而，要清楚理解的是，提供每一幅附圖均僅用于解說(shuō)和描述目的，且無(wú)意作為對(duì)本公開(kāi)的限定的定義。附圖簡(jiǎn)要說(shuō)明在結(jié)合附圖理解下面闡述的詳細(xì)描述時(shí)，本公開(kāi)的特征、本質(zhì)和優(yōu)點(diǎn)將變得更加明顯，在附圖中，相同附圖標(biāo)記始終作相應(yīng)標(biāo)識(shí)。圖1解說(shuō)了根據(jù)本公開(kāi)的某些方面的使用片上系統(tǒng)(包括通用處理器)來(lái)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。圖2解說(shuō)了根據(jù)本公開(kāi)的各方面的系統(tǒng)的示例實(shí)現(xiàn)。圖3解說(shuō)了根據(jù)本公開(kāi)的某些方面的事件驅(qū)動(dòng)的對(duì)象檢測(cè)系統(tǒng)的組件的示例。圖4和5是解說(shuō)根據(jù)本公開(kāi)的各方面的用于計(jì)算空間傅里葉變換以用于基于事件的系統(tǒng)的方法的流程圖。詳細(xì)描述以下結(jié)合附圖闡述的詳細(xì)描述旨在作為各種配置的描述，而無(wú)意表示可實(shí)踐本文中所描述的概念的僅有的配置。本詳細(xì)描述包括具體細(xì)節(jié)以便提供對(duì)各種概念的透徹理解。然而，對(duì)于本領(lǐng)域技術(shù)人員將顯而易見(jiàn)的是，沒(méi)有這些具體細(xì)節(jié)也可實(shí)踐這些概念。在一些實(shí)例中，以框圖形式示出眾所周知的結(jié)構(gòu)和組件以避免湮沒(méi)此類(lèi)概念?；诒窘虒?dǎo)，本領(lǐng)域技術(shù)人員應(yīng)領(lǐng)會(huì)，本公開(kāi)的范圍旨在覆蓋本公開(kāi)的任何方面，不論其是與本公開(kāi)的任何其他方面相獨(dú)立地還是組合地實(shí)現(xiàn)的。例如，可以使用所闡述的任何數(shù)目的方面來(lái)實(shí)現(xiàn)裝置或?qū)嵺`方法。另外，本公開(kāi)的范圍旨在覆蓋使用作為所闡述的本公開(kāi)的各個(gè)方面的補(bǔ)充或者與之不同的其他結(jié)構(gòu)、功能性、或者結(jié)構(gòu)及功能性來(lái)實(shí)踐的此類(lèi)裝置或方法。應(yīng)當(dāng)理解，所披露的本公開(kāi)的任何方面可由權(quán)利要求的一個(gè)或多個(gè)元素來(lái)實(shí)施。措辭“示例性”在本文中用于表示用作“示例、實(shí)例或解說(shuō)”。本文中描述為“示例性”的任何方面不必被解釋為優(yōu)于或勝過(guò)其他方面。盡管本文描述了特定方面，但這些方面的眾多變體和置換落在本公開(kāi)的范圍之內(nèi)。雖然提到了優(yōu)選方面的一些益處和優(yōu)點(diǎn)，但本公開(kāi)的范圍并非旨在被限定于特定益處、用途或目標(biāo)。相反，本公開(kāi)的各方面旨在能寬泛地應(yīng)用于不同的技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié)議，其中一些作為示例在附圖以及以下對(duì)優(yōu)選方面的描述中解說(shuō)。詳細(xì)描述和附圖僅僅解說(shuō)本公開(kāi)而非限定本公開(kāi)，本公開(kāi)的范圍由所附權(quán)利要求及其等效技術(shù)方案來(lái)定義。事件驅(qū)動(dòng)的對(duì)象檢測(cè)系統(tǒng)如先前所討論的，事件驅(qū)動(dòng)的對(duì)象檢測(cè)系統(tǒng)可使用動(dòng)態(tài)視覺(jué)傳感器(dvs)來(lái)檢測(cè)移動(dòng)的對(duì)象(諸如面部或汽車(chē))，并且基于先前訓(xùn)練來(lái)實(shí)時(shí)地對(duì)檢測(cè)到的對(duì)象進(jìn)行分類(lèi)。系統(tǒng)中的計(jì)算可由傳感器事件來(lái)觸發(fā)。事件驅(qū)動(dòng)的對(duì)象檢測(cè)系統(tǒng)可被稱(chēng)為檢測(cè)系統(tǒng)。根據(jù)本公開(kāi)的一方面，當(dāng)事件被生成時(shí)，檢測(cè)系統(tǒng)處理視覺(jué)輸入。也就是說(shuō)，當(dāng)事件未從動(dòng)態(tài)視覺(jué)傳感器輸出時(shí)，檢測(cè)系統(tǒng)不執(zhí)行處理。例如，動(dòng)態(tài)視覺(jué)傳感器可以是監(jiān)視系統(tǒng)的一部分并且可被指向走廊和門(mén)。如果場(chǎng)景中不存在變化，則動(dòng)態(tài)視覺(jué)傳感器將不發(fā)送任何輸出，并且因此，檢測(cè)系統(tǒng)將不執(zhí)行任何計(jì)算。當(dāng)場(chǎng)景中存在變化時(shí)，動(dòng)態(tài)視覺(jué)傳感器可產(chǎn)生輸出，并且基于事件的檢測(cè)系統(tǒng)可執(zhí)行計(jì)算。例如，當(dāng)人穿過(guò)門(mén)時(shí)，聚焦在門(mén)道上的動(dòng)態(tài)視覺(jué)傳感器可產(chǎn)生輸出。信號(hào)變換(諸如傅里葉變換)可被指定用于信號(hào)處理。變換可被用于圖像處理，諸如圖像分析、圖像濾波、圖像重構(gòu)、和/或圖像壓縮。在一個(gè)示例中，傅里葉變換可被指定成將圖像分解成其正弦和余弦分量。也就是說(shuō)，輸入圖像在空間域中而變換的輸出表示頻域中的圖像。由此，傅里葉變換可被指定成檢測(cè)圖像的空間頻率。在常規(guī)系統(tǒng)中，對(duì)于基于幀的圖像處理，傅里葉變換可基于幀的矩陣乘法來(lái)執(zhí)行。盡管如此，如先前所討論的，基于事件的系統(tǒng)不生成幀。相反，一個(gè)或多個(gè)像素可響應(yīng)于事件而發(fā)放尖峰。由此，常規(guī)信號(hào)變換不可用于基于事件的變換。因此，期望向基于事件的系統(tǒng)提供圖像變換技術(shù)(諸如傅里葉變換)。圖1解說(shuō)了根據(jù)本公開(kāi)的某些方面的使用片上系統(tǒng)(soc)100的前述基于事件的變換的示例實(shí)現(xiàn)，soc100可包括通用處理器(cpu)或多核通用處理器(cpu)102。變量(例如，神經(jīng)信號(hào)和突觸權(quán)重)、與計(jì)算設(shè)備相關(guān)聯(lián)的系統(tǒng)參數(shù)(例如，帶有權(quán)重的神經(jīng)網(wǎng)絡(luò))、延遲、頻率槽信息、以及任務(wù)信息可被存儲(chǔ)在與神經(jīng)處理單元(npu)108相關(guān)聯(lián)的存儲(chǔ)器塊、與cpu102相關(guān)聯(lián)的存儲(chǔ)器塊、與圖形處理單元(gpu)104相關(guān)聯(lián)的存儲(chǔ)器塊、與數(shù)字信號(hào)處理器(dsp)106相關(guān)聯(lián)的存儲(chǔ)器塊、專(zhuān)用存儲(chǔ)器塊118中，或者可跨多個(gè)塊分布。在通用處理器102處執(zhí)行的指令可從與cpu102相關(guān)聯(lián)的程序存儲(chǔ)器加載或可從專(zhuān)用存儲(chǔ)器塊118加載。soc100還可包括為具體功能定制的附加處理塊(諸如gpu104、dsp106、連通性塊110(其可包括第四代長(zhǎng)期演進(jìn)(4glte)連通性、無(wú)執(zhí)照wi-fi連通性、usb連通性、藍(lán)牙連通性等))以及例如可檢測(cè)和識(shí)別姿勢(shì)的多媒體處理器112。在一種實(shí)現(xiàn)中，npu實(shí)現(xiàn)在cpu、dsp、和/或gpu中。soc100還可包括傳感器處理器114、圖像信號(hào)處理器(isp)、和/或?qū)Ш?20(其可包括全球定位系統(tǒng))。soc100可基于arm指令集。在本公開(kāi)的一方面，加載到通用處理器102中的指令可包括用于從基于事件的傳感器接收異步事件輸出流的代碼。加載到通用處理器102中的指令還可包括用于以基于事件的傳感器的維度為基礎(chǔ)來(lái)計(jì)算離散傅里葉變換(dft)矩陣的代碼。另外，加載到通用處理器102中的指令可包括用于基于dft矩陣來(lái)計(jì)算輸出的代碼。此外，加載到通用處理器102中的指令可包括用于將輸出應(yīng)用于事件處理器的代碼。圖2解說(shuō)了根據(jù)本公開(kāi)的某些方面的系統(tǒng)200的示例實(shí)現(xiàn)。如圖2中所解說(shuō)的，系統(tǒng)200可具有可執(zhí)行本文所描述的方法的各種操作的多個(gè)局部處理單元202。每個(gè)局部處理單元202可包括局部狀態(tài)存儲(chǔ)器204和可存儲(chǔ)神經(jīng)網(wǎng)絡(luò)的參數(shù)的局部參數(shù)存儲(chǔ)器206。另外，局部處理單元202可具有用于存儲(chǔ)局部模型程序的局部(神經(jīng)元)模型程序(lmp)存儲(chǔ)器208、用于存儲(chǔ)局部學(xué)習(xí)程序的局部學(xué)習(xí)程序(llp)存儲(chǔ)器210、以及局部連接存儲(chǔ)器212。此外，如圖2中所解說(shuō)的，每個(gè)局部處理單元202可與用于為該局部處理單元的各局部存儲(chǔ)器提供配置的配置處理器單元214對(duì)接，并且與提供各局部處理單元202之間的路由的路由連接處理單元216對(duì)接。根據(jù)本公開(kāi)的各方面，檢測(cè)系統(tǒng)包括用于處理數(shù)據(jù)的各種組件。作為示例，如圖3中所示，檢測(cè)系統(tǒng)可包括動(dòng)態(tài)視覺(jué)傳感器(dvs)組件、事件驅(qū)動(dòng)的短時(shí)空間離散傅里葉變換(dft)組件、事件驅(qū)動(dòng)的特征提取組件、以及事件驅(qū)動(dòng)的分類(lèi)組件。在一種配置中，動(dòng)態(tài)視覺(jué)傳感器是檢測(cè)事件的傳感器。如先前所討論的，事件是從光電傳感器元件處接收到的強(qiáng)度的變化生成的。例如，動(dòng)態(tài)視覺(jué)傳感器可以是來(lái)自inilabs的dvs128傳感器。傳感器陣列可具有nxn(n＝128)的大小，其中每個(gè)像素是時(shí)間上的亮度對(duì)數(shù)的等級(jí)跨越采樣器。像素的時(shí)間分辨率在10微秒的數(shù)量級(jí)上。動(dòng)態(tài)視覺(jué)傳感器的輸出可以是極化的、坐標(biāo)尋址的事件序列{(tk；pk；μk；vk)}，其中tk和pk是事件的時(shí)間戳和極性且(μk；vk)是事件k在時(shí)間tk處的像素坐標(biāo)。此處，pk∈{-1,1}且μk,νk∈{1,…,128}。像素響應(yīng)函數(shù)可被定義為：其中(μ,ν)∈{1,…,128}2為對(duì)像素進(jìn)行索引，δ是克羅內(nèi)克(kroenecker)△，且δ()是狄拉克(dirac)△函數(shù)。該矩陣還可被寫(xiě)為：x(t)＝[xμ,ν](t)。(2)事件驅(qū)動(dòng)的短時(shí)空間dft(estsdft)組件可以接收事件序列{(tk；pk；μk；vk)}作為輸入并且輸出實(shí)時(shí)復(fù)數(shù)nxn(n＝128)矩陣。事件序列可在一個(gè)或多個(gè)數(shù)據(jù)分組中被接收。短時(shí)空間dft矩陣可被計(jì)算為：其中第n階dft矩陣sn可被計(jì)算為[發(fā)明人：什么是sn以及什么是w？]：其中是n次單位根且是sn的第(n+1)列。此外，w(-t)＝θ(t)exp(-w0t)是指數(shù)短時(shí)窗函數(shù)。事件驅(qū)動(dòng)的短時(shí)空間dft模塊可計(jì)算每個(gè)傳感器事件{tk}處的的值。在一種配置中，傳感器事件首先被相應(yīng)地下采樣，并且事件驅(qū)動(dòng)的短時(shí)空間dft模塊一旦接收到每個(gè)下采樣出的事件就計(jì)算短期空間dft的值事件驅(qū)動(dòng)特征提取(efe)組件可進(jìn)一步將經(jīng)處理事件流的維度從事件驅(qū)動(dòng)的短時(shí)空間dft模塊的nxnx2維度(如果未被空間下采樣，則n＝128)減小至l＝64維特征向量(例如，從128128個(gè)復(fù)數(shù)減小至64個(gè)實(shí)數(shù))。具體地，l個(gè)特征可以是的分檔瞬時(shí)頻譜功率，其中*是共軛轉(zhuǎn)置且是對(duì)數(shù)線(xiàn)性變換函數(shù)。可被寫(xiě)為128x128維向量x，且線(xiàn)性函數(shù)可被表達(dá)為矩陣乘法，繼之以對(duì)數(shù)其中是大小為64x(128x128)的二進(jìn)制矩陣，其可包含大小為32x(128x128)的兩個(gè)分量，對(duì)應(yīng)于32個(gè)半徑和32個(gè)角度功率分檔。這些矩陣被常數(shù)賦值并且被在先計(jì)算。例如，可從對(duì)所收集的訓(xùn)練數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)算法來(lái)生成矩陣。替換地，這些矩陣可以是用戶(hù)指定的。事件驅(qū)動(dòng)特征提取(efe)組件可按照基于事件的方式計(jì)算y(t)的值。例如，可計(jì)算每個(gè)傳感器事件分組或包括多個(gè)事件的分組群的結(jié)束處的y(t)。分類(lèi)組件(諸如事件驅(qū)動(dòng)的支持向量分類(lèi)(esvm)組件)藉由具有高斯徑向基函數(shù)(rbf)作為內(nèi)核的支持向量機(jī)基于由efe組件提取的實(shí)時(shí)特征向量y(t)來(lái)計(jì)算時(shí)變類(lèi)標(biāo)簽函數(shù)z(t)(例如，z(t)＝ψ(y(t)))。事件驅(qū)動(dòng)的支持向量分類(lèi)組件可計(jì)算在自上一分類(lèi)起至少δtmin發(fā)生的每個(gè)傳感器事件分組或分組群的結(jié)束處的z(t)的值。如以下所述，表1指定到系統(tǒng)的組件的輸入對(duì)象/從系統(tǒng)的組件的輸出對(duì)象的數(shù)學(xué)描述。在本申請(qǐng)中，組件可被稱(chēng)為模塊。盡管表1中的更新調(diào)度指示事件驅(qū)動(dòng)的短時(shí)空間dft模塊可對(duì)每個(gè)事件進(jìn)行更新，但是本公開(kāi)并不如此限定。根據(jù)本公開(kāi)的各方面，事件驅(qū)動(dòng)的短時(shí)空間dft模塊可在每個(gè)下采樣出的事件之后或者在接收到多個(gè)下采樣出的事件之后進(jìn)行更新。表1表2和3提供了用于事件驅(qū)動(dòng)的短時(shí)空間dft的常數(shù)和狀態(tài)變量。表4是用于檢測(cè)系統(tǒng)的單次迭代的偽代碼，在該單次迭代期間來(lái)自動(dòng)態(tài)視覺(jué)傳感器的長(zhǎng)度為k的事件分組被處理。表2常數(shù)變量類(lèi)型維度描述w0實(shí)數(shù)1x1窗函數(shù)參數(shù)(設(shè)為10hz)s128復(fù)數(shù)128x128128階dft矩陣φ稀疏二進(jìn)制64x(128x128)特征矩陣δtmin實(shí)數(shù)1x1最小分類(lèi)間隔(設(shè)為100ms)表3表4基于事件的空間變換本公開(kāi)的各方面涉及將圖像處理技術(shù)應(yīng)用于基于事件的傳感器的輸出。圖像處理技術(shù)可以執(zhí)行基本上類(lèi)似于應(yīng)用于基于幀的視覺(jué)系統(tǒng)的技術(shù)的功能。更具體地，本公開(kāi)的各方面涉及改進(jìn)事件驅(qū)動(dòng)的對(duì)象檢測(cè)的基于事件的處理技術(shù)。在一種配置中，變換(諸如傅里葉變換)被應(yīng)用于動(dòng)態(tài)視覺(jué)傳感器的輸出。根據(jù)本公開(kāi)的一方面，空間變換被指定成用于基于事件的圖像處理系統(tǒng)。在一種配置中，生成二維矩陣(諸如離散傅里葉變換(dft)矩陣)，其中矩陣的維度以基于事件的傳感器的維度為基礎(chǔ)。例如，如果傳感器被用于捕獲具有128x128大小的區(qū)域，則矩陣的大小也為128x128。由此，在一種配置中，接收與傳感器維度相關(guān)聯(lián)的基于異步事件的輸出流并且以基于事件的傳感器的維度為基礎(chǔ)來(lái)計(jì)算離散傅里葉變換矩陣。在計(jì)算該矩陣之后，初始輸出被初始化為一值(諸如零)。在初始化該輸出之后，循環(huán)被初始化以執(zhí)行變換。具體地，選擇與dft矩陣中基于事件的x坐標(biāo)的行相對(duì)應(yīng)的第一向量(dft_x)。此外，選擇與dft矩陣中基于事件的y坐標(biāo)的列相對(duì)應(yīng)的第二向量(dft_y)。此外，基于第一和第二向量的外積來(lái)計(jì)算輸出。最后，系統(tǒng)將衰退輸出并且遞增，隨后重復(fù)用于選擇第一和第二向量并且確定輸出的過(guò)程。在一種配置中，生成孔口的像素處的所估計(jì)的變換如下計(jì)算：vx,y_new＝vx,y_old+|e|xdft_xxdft_y’(5)在上式中，|e|是所生成的事件的幅度值(例如，極性)，dft_x是與dft矩陣中基于事件的x坐標(biāo)的行相對(duì)應(yīng)的向量，dft_y’是向量dft_y的轉(zhuǎn)置，vx,y_new是像素(x,y)的傅里葉變換，且vx,y_old是先前估計(jì)的值。在一種配置中，事件的幅度|e|具有值1或-1。盡管如此，事件的幅度|e|并不限于1或-1并且可以是其他值。另外，vx,y_old的初始值為零。作為示例，具有地址(2,3)的像素可響應(yīng)于事件而發(fā)放尖峰。響應(yīng)于該尖峰，選擇dft矩陣中與像素的y地址(3)相對(duì)應(yīng)的行。另外，響應(yīng)于該尖峰，選擇dft矩陣中與像素的x地址(2)相對(duì)應(yīng)的列。轉(zhuǎn)置所選擇的列和行并且基于式5來(lái)計(jì)算該像素處的所估計(jì)變換?？墒褂盟烙?jì)變換來(lái)檢測(cè)像素的空間頻率。另外，可將所估計(jì)變換的值用于事件處理(諸如事件分析、事件濾波、事件重構(gòu)、和/或事件壓縮)。該變換提高了事件處理的速度并且減小了處理器負(fù)載。此外，如表4中所示，在應(yīng)用變換之后，可將變換的值輸入到特征提取器中以在分類(lèi)過(guò)程中使用。也就是說(shuō)，在一種配置中，變換在事件分類(lèi)中是基于所提取的事件特征來(lái)使用的。在一種配置中，vx,y_new可以乘以指數(shù)函數(shù)t(α)，其中t是時(shí)間且α是衰退速率。在一些情形中，像素可在第一時(shí)間(t0)處發(fā)放尖峰并且針對(duì)第一時(shí)間處的尖峰來(lái)計(jì)算vx,y_new。此外，在初始尖峰之后，像素可以周期性速率發(fā)放尖峰。例如，像素可在第二時(shí)間(t5)、第三時(shí)間(t10)、第四時(shí)間(t15)處發(fā)放尖峰。相應(yīng)地，vx,y_new響應(yīng)于周期性尖峰發(fā)放而持續(xù)生長(zhǎng)。因此，由于vx,y_new正持續(xù)生長(zhǎng)，所以可能期望使用指數(shù)函數(shù)來(lái)衰減該值。在一個(gè)方面，基于表4的偽代碼來(lái)執(zhí)行變換。如表4中所示，從傳感器(諸如dvs傳感器)接收事件分組。該分組包括時(shí)間戳向量、極性向量、水平坐標(biāo)向量、以及垂直坐標(biāo)向量。此外，如表4中所示，針對(duì)事件數(shù)目(k)初始化循環(huán)。此外，在該循環(huán)內(nèi)，變換如下計(jì)算：在式6中，tk是事件的時(shí)間，tcurrent是當(dāng)前時(shí)間，tlast是上一事件。此外，是計(jì)算出的變換。圖4解說(shuō)了根據(jù)本公開(kāi)的各方面的用于計(jì)算空間傅里葉變換以用于基于事件的系統(tǒng)的框圖400。如圖4中所示，在框402，該系統(tǒng)從傳感器接收異步事件輸出流。此外，在框404，該系統(tǒng)基于傳感器的維度計(jì)算dft矩陣。此外，在框406，該系統(tǒng)基于dft矩陣計(jì)算輸出。此外，在框408，該系統(tǒng)將輸出應(yīng)用于事件處理器。圖5解說(shuō)了根據(jù)本公開(kāi)的各方面的用于計(jì)算空間傅里葉變換以用于基于事件的系統(tǒng)的框圖500。如圖5中所示，在框502，生成二維矩陣(諸如離散傅里葉變換(dft)矩陣)，其中矩陣的維度以基于事件的傳感器的維度為基礎(chǔ)。在框504，具有地址(x,y)的像素響應(yīng)于事件而發(fā)放尖峰。另外，響應(yīng)于該尖峰，在框506，選擇dft矩陣中與像素的y地址相對(duì)應(yīng)的行。另外，響應(yīng)于該尖峰，在框508，選擇dft矩陣中與像素的x地址相對(duì)應(yīng)的列。在框510，轉(zhuǎn)置所選擇的列和行并且計(jì)算該像素處的所估計(jì)變換。在框512，可使用所估計(jì)變換來(lái)檢測(cè)像素的空間頻率。此外，在框514，可將所估計(jì)變換的值用于事件處理。在一種配置中，模型(諸如基于事件的模型或機(jī)器學(xué)習(xí)模型)被配置成用于從傳感器接收一個(gè)或多個(gè)事件，基于該傳感器的維度計(jì)算離散傅里葉變換矩陣，基于該dft矩陣計(jì)算輸出，以及將該輸出應(yīng)用于事件處理器。該模型包括接收裝置、計(jì)算裝置、和/或應(yīng)用裝置。在一個(gè)方面，接收裝置、計(jì)算裝置、和/或應(yīng)用裝置可以是配置成執(zhí)行所敘述功能的通用處理器102、與通用處理器102相關(guān)聯(lián)的程序存儲(chǔ)器、存儲(chǔ)器塊118、局部處理單元202、和/或路由連接處理單元216。在另一配置中，前述裝置可以是被配置成執(zhí)行由前述裝置所敘述的功能的任何模塊或任何裝置。根據(jù)本公開(kāi)的某些方面，每個(gè)局部處理單元202可被配置成基于模型的一個(gè)或多個(gè)期望功能特征來(lái)確定模型的參數(shù)，以及隨著所確定的參數(shù)被進(jìn)一步適配、調(diào)諧和更新來(lái)使這一個(gè)或多個(gè)功能特征朝著期望的功能特征發(fā)展。以上所描述的方法的各種操作可由能夠執(zhí)行相應(yīng)功能的任何合適的裝置來(lái)執(zhí)行。這些裝置可包括各種硬件和/或(諸)軟件組件和/或(諸)模塊，包括但不限于電路、專(zhuān)用集成電路(asic)、或處理器。一般而言，在附圖中有解說(shuō)的操作的場(chǎng)合，那些操作可具有帶相似編號(hào)的相應(yīng)配對(duì)裝置加功能組件。如本文所使用的，術(shù)語(yǔ)“確定”涵蓋各種各樣的動(dòng)作。例如，“確定”可包括演算、計(jì)算、處理、推導(dǎo)、研究、查找(例如，在表、數(shù)據(jù)庫(kù)或其他數(shù)據(jù)結(jié)構(gòu)中查找)、探知及諸如此類(lèi)。另外，“確定”可包括接收(例如接收信息)、訪(fǎng)問(wèn)(例如訪(fǎng)問(wèn)存儲(chǔ)器中的數(shù)據(jù))、及類(lèi)似動(dòng)作。而且，“確定”可包括解析、選擇、選取、確立及類(lèi)似動(dòng)作。如本文中所使用的，引述一列項(xiàng)目中的“至少一個(gè)”的短語(yǔ)是指這些項(xiàng)目的任何組合，包括單個(gè)成員。作為示例，“a、b或c中的至少一個(gè)”旨在涵蓋：a、b、c、a-b、a-c、b-c、以及a-b-c。結(jié)合本公開(kāi)所描述的各種解說(shuō)性邏輯框、模塊、以及電路可用設(shè)計(jì)成執(zhí)行本文所描述功能的通用處理器、數(shù)字信號(hào)處理器(dsp)、專(zhuān)用集成電路(asic)、現(xiàn)場(chǎng)可編程門(mén)陣列信號(hào)(fpga)或其他可編程邏輯器件(pld)、分立的門(mén)或晶體管邏輯、分立的硬件組件或其任何組合來(lái)實(shí)現(xiàn)或執(zhí)行。通用處理器可以是微處理器，但在替換方案中，處理器可以是任何市售的處理器、控制器、微控制器、或狀態(tài)機(jī)。處理器還可以被實(shí)現(xiàn)為計(jì)算設(shè)備的組合，例如dsp與微處理器的組合、多個(gè)微處理器、與dsp核心協(xié)同的一個(gè)或多個(gè)微處理器、或任何其它此類(lèi)配置。結(jié)合本公開(kāi)描述的方法或算法的步驟可直接在硬件中、在由處理器執(zhí)行的軟件模塊中、或在這兩者的組合中實(shí)施。軟件模塊可駐留在本領(lǐng)域所知的任何形式的存儲(chǔ)介質(zhì)中?？墒褂玫拇鎯?chǔ)介質(zhì)的一些示例包括隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、閃存、可擦除可編程只讀存儲(chǔ)器(eprom)、電可擦除可編程只讀存儲(chǔ)器(eeprom)、寄存器、硬盤(pán)、可移動(dòng)盤(pán)、cd-rom等。軟件模塊可包括單條指令、或許多條指令，且可分布在若干不同的代碼段上，分布在不同的程序間以及跨多個(gè)存儲(chǔ)介質(zhì)分布。存儲(chǔ)介質(zhì)可被耦合到處理器以使得該處理器能從/向該存儲(chǔ)介質(zhì)讀寫(xiě)信息。在替換方案中，存儲(chǔ)介質(zhì)可以被整合到處理器。本文所公開(kāi)的方法包括用于達(dá)成所描述的方法的一個(gè)或多個(gè)步驟或動(dòng)作。這些方法步驟和/或動(dòng)作可以彼此互換而不會(huì)脫離權(quán)利要求的范圍。換言之，除非指定了步驟或動(dòng)作的特定次序，否則具體步驟和/或動(dòng)作的次序和/或使用可以改動(dòng)而不會(huì)脫離權(quán)利要求的范圍。所描述的功能可在硬件、軟件、固件或其任何組合中實(shí)現(xiàn)。如果以硬件實(shí)現(xiàn)，則示例硬件配置可包括設(shè)備中的處理系統(tǒng)。處理系統(tǒng)可以用總線(xiàn)架構(gòu)來(lái)實(shí)現(xiàn)。取決于處理系統(tǒng)的具體應(yīng)用和整體設(shè)計(jì)約束，總線(xiàn)可包括任何數(shù)目的互連總線(xiàn)和橋接器。總線(xiàn)可將包括處理器、機(jī)器可讀介質(zhì)、以及總線(xiàn)接口的各種電路鏈接在一起?？偩€(xiàn)接口可用于尤其將網(wǎng)絡(luò)適配器等經(jīng)由總線(xiàn)連接至處理系統(tǒng)。網(wǎng)絡(luò)適配器可用于實(shí)現(xiàn)信號(hào)處理功能。對(duì)于某些方面，用戶(hù)接口(例如，按鍵板、顯示器、鼠標(biāo)、操縱桿，等等)也可以被連接到總線(xiàn)?？偩€(xiàn)還可以鏈接各種其他電路，諸如定時(shí)源、外圍設(shè)備、穩(wěn)壓器、功率管理電路以及類(lèi)似電路，它們?cè)诒绢I(lǐng)域中是眾所周知的，因此將不再進(jìn)一步描述。處理器可負(fù)責(zé)管理總線(xiàn)和一般處理，包括執(zhí)行存儲(chǔ)在機(jī)器可讀介質(zhì)上的軟件。處理器可用一個(gè)或多個(gè)通用和/或?qū)Ｓ锰幚砥鱽?lái)實(shí)現(xiàn)。示例包括微處理器、微控制器、dsp處理器、以及其他能執(zhí)行軟件的電路系統(tǒng)。軟件應(yīng)當(dāng)被寬泛地解釋成意指指令、數(shù)據(jù)、或其任何組合，無(wú)論是被稱(chēng)作軟件、固件、中間件、微代碼、硬件描述語(yǔ)言、或其他。作為示例，機(jī)器可讀介質(zhì)可包括隨機(jī)存取存儲(chǔ)器(ram)、閃存、只讀存儲(chǔ)器(rom)、可編程只讀存儲(chǔ)器(prom)、可擦式可編程只讀存儲(chǔ)器(eprom)、電可擦式可編程只讀存儲(chǔ)器(eeprom)、寄存器、磁盤(pán)、光盤(pán)、硬驅(qū)動(dòng)器、或者任何其他合適的存儲(chǔ)介質(zhì)、或其任何組合。機(jī)器可讀介質(zhì)可被實(shí)施在計(jì)算機(jī)程序產(chǎn)品中。該計(jì)算機(jī)程序產(chǎn)品可以包括包裝材料。在硬件實(shí)現(xiàn)中，機(jī)器可讀介質(zhì)可以是處理系統(tǒng)中與處理器分開(kāi)的一部分。然而，如本領(lǐng)域技術(shù)人員將容易領(lǐng)會(huì)的，機(jī)器可讀介質(zhì)或其任何部分可在處理系統(tǒng)外部。作為示例，機(jī)器可讀介質(zhì)可包括傳輸線(xiàn)、由數(shù)據(jù)調(diào)制的載波、和/或與設(shè)備分開(kāi)的計(jì)算機(jī)產(chǎn)品，所有這些都可由處理器通過(guò)總線(xiàn)接口來(lái)訪(fǎng)問(wèn)。替換地或補(bǔ)充地，機(jī)器可讀介質(zhì)或其任何部分可被集成到處理器中，諸如高速緩存和/或通用寄存器文件可能就是這種情形。雖然所討論的各種組件可被描述為具有特定位置，諸如局部組件，但它們也可按各種方式來(lái)配置，諸如某些組件被配置成分布式計(jì)算系統(tǒng)的一部分。處理系統(tǒng)可以被配置為通用處理系統(tǒng)，該通用處理系統(tǒng)具有一個(gè)或多個(gè)提供處理器功能性的微處理器、以及提供機(jī)器可讀介質(zhì)中的至少一部分的外部存儲(chǔ)器，它們都通過(guò)外部總線(xiàn)架構(gòu)與其他支持電路系統(tǒng)鏈接在一起。替換地，該處理系統(tǒng)可以包括一個(gè)或多個(gè)神經(jīng)元形態(tài)處理器以用于實(shí)現(xiàn)本文所述的神經(jīng)元模型和神經(jīng)系統(tǒng)模型。作為另一替換方案，處理系統(tǒng)可以用帶有集成在單塊芯片中的處理器、總線(xiàn)接口、用戶(hù)接口、支持電路系統(tǒng)、和至少一部分機(jī)器可讀介質(zhì)的專(zhuān)用集成電路(asic)來(lái)實(shí)現(xiàn)，或者用一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)、可編程邏輯器件(pld)、控制器、狀態(tài)機(jī)、門(mén)控邏輯、分立硬件組件、或者任何其他合適的電路系統(tǒng)、或者能執(zhí)行本公開(kāi)通篇所描述的各種功能性的電路的任何組合來(lái)實(shí)現(xiàn)。取決于具體應(yīng)用和加諸于整體系統(tǒng)上的總設(shè)計(jì)約束，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到如何最佳地實(shí)現(xiàn)關(guān)于處理系統(tǒng)所描述的功能性。機(jī)器可讀介質(zhì)可包括數(shù)個(gè)軟件模塊。這些軟件模塊包括當(dāng)由處理器執(zhí)行時(shí)使處理系統(tǒng)執(zhí)行各種功能的指令。這些軟件模塊可包括傳送模塊和接收模塊。每個(gè)軟件模塊可以駐留在單個(gè)存儲(chǔ)設(shè)備中或者跨多個(gè)存儲(chǔ)設(shè)備分布。作為示例，當(dāng)觸發(fā)事件發(fā)生時(shí)，可以從硬驅(qū)動(dòng)器中將軟件模塊加載到ram中。在軟件模塊執(zhí)行期間，處理器可以將一些指令加載到高速緩存中以提高訪(fǎng)問(wèn)速度。隨后可將一個(gè)或多個(gè)高速緩存行加載到通用寄存器文件中以供處理器執(zhí)行。在以下述及軟件模塊的功能性時(shí)，將理解此類(lèi)功能性是在處理器執(zhí)行來(lái)自該軟件模塊的指令時(shí)由該處理器來(lái)實(shí)現(xiàn)的。如果以軟件實(shí)現(xiàn)，則各功能可作為一條或多條指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上或藉其進(jìn)行傳送。計(jì)算機(jī)可讀介質(zhì)包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)兩者，這些介質(zhì)包括促成計(jì)算機(jī)程序從一地向另一地轉(zhuǎn)移的任何介質(zhì)。存儲(chǔ)介質(zhì)可以是能被計(jì)算機(jī)訪(fǎng)問(wèn)的任何可用介質(zhì)。作為示例而非限定，此類(lèi)計(jì)算機(jī)可讀介質(zhì)可包括ram、rom、eeprom、cd-rom或其他光盤(pán)存儲(chǔ)、磁盤(pán)存儲(chǔ)或其他磁存儲(chǔ)設(shè)備、或能用于攜帶或存儲(chǔ)指令或數(shù)據(jù)結(jié)構(gòu)形式的期望程序代碼且能被計(jì)算機(jī)訪(fǎng)問(wèn)的任何其他介質(zhì)。任何連接也被正當(dāng)?shù)胤Q(chēng)為計(jì)算機(jī)可讀介質(zhì)。例如，如果軟件是使用同軸電纜、光纖電纜、雙絞線(xiàn)、數(shù)字訂戶(hù)線(xiàn)(dsl)、或無(wú)線(xiàn)技術(shù)(諸如紅外(ir)、無(wú)線(xiàn)電、以及微波)從web網(wǎng)站、服務(wù)器、或其他遠(yuǎn)程源傳送而來(lái)，則該同軸電纜、光纖電纜、雙絞線(xiàn)、dsl或無(wú)線(xiàn)技術(shù)(諸如紅外、無(wú)線(xiàn)電、以及微波)就被包括在介質(zhì)的定義之中。如本文中所使用的盤(pán)(disk)和碟(disc)包括壓縮碟(cd)、激光碟、光碟、數(shù)字多用碟(dvd)、軟盤(pán)、和碟，其中盤(pán)(disk)常常磁性地再現(xiàn)數(shù)據(jù)，而碟(disc)用激光來(lái)光學(xué)地再現(xiàn)數(shù)據(jù)。因此，在一些方面，計(jì)算機(jī)可讀介質(zhì)可包括非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)(例如，有形介質(zhì))。另外，對(duì)于其他方面，計(jì)算機(jī)可讀介質(zhì)可包括瞬態(tài)計(jì)算機(jī)可讀介質(zhì)(例如，信號(hào))。上述的組合應(yīng)當(dāng)也被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。因此，某些方面可包括用于執(zhí)行本文中給出的操作的計(jì)算機(jī)程序產(chǎn)品。例如，此類(lèi)計(jì)算機(jī)程序產(chǎn)品可包括其上存儲(chǔ)(和/或編碼)有指令的計(jì)算機(jī)可讀介質(zhì)，這些指令能由一個(gè)或多個(gè)處理器執(zhí)行以執(zhí)行本文中所描述的操作。對(duì)于某些方面，計(jì)算機(jī)程序產(chǎn)品可包括包裝材料。此外，應(yīng)當(dāng)領(lǐng)會(huì)，用于執(zhí)行本文中所描述的方法和技術(shù)的模塊和/或其它恰適裝置能由用戶(hù)終端和/或基站在適用的場(chǎng)合下載和/或以其他方式獲得。例如，此類(lèi)設(shè)備能被耦合至服務(wù)器以促成用于執(zhí)行本文中所描述的方法的裝置的轉(zhuǎn)移。替換地，本文所述的各種方法能經(jīng)由存儲(chǔ)裝置(例如，ram、rom、諸如壓縮碟(cd)或軟盤(pán)等物理存儲(chǔ)介質(zhì)等)來(lái)提供，以使得一旦將該存儲(chǔ)裝置耦合至或提供給用戶(hù)終端和/或基站，該設(shè)備就能獲得各種方法。此外，可利用適于向設(shè)備提供本文所描述的方法和技術(shù)的任何其他合適的技術(shù)。將理解，權(quán)利要求并不被限定于以上所解說(shuō)的精確配置和組件?？稍谝陨纤枋龅姆椒ê脱b置的布局、操作和細(xì)節(jié)上作出各種改動(dòng)、更換和變形而不會(huì)脫離權(quán)利要求的范圍。當(dāng)前第1頁(yè)12