本發(fā)明涉及AER圖像傳感器圖像處理領(lǐng)域，尤其涉及一種以AER為信息載體的特殊圖像卷積實(shí)時特征提取方法。具體講,涉及用于AER圖像傳感器的實(shí)時特征提取方法。

背景技術(shù)：

AER(Address-Event Representation,AER，地址-事件表示)圖像傳感器可以有效地降低數(shù)據(jù)冗余，具有超高速，高實(shí)時性等特點(diǎn)，研究與AER圖像傳感器相適應(yīng)的特殊圖像后端處理芯片，可以擺脫“幀”的限制，以事件為研究對象，對前端傳感器產(chǎn)生的事件流進(jìn)行實(shí)時接收和運(yùn)算。

參考圖1，圖的上半部分表示傳統(tǒng)圖像傳感器的圖像采集傳輸過程，其以“幀”為單位，只有達(dá)到一幀的周期才會輸出圖像，很難實(shí)現(xiàn)圖像的實(shí)時處理。圖的下半部分為AER圖像傳感器的圖像采集傳輸過程，AER圖像傳感器并沒有幀的概念，當(dāng)任何一個像素感受到光強(qiáng)發(fā)生變化時，就立刻輸出一個事件，可以實(shí)現(xiàn)事件的實(shí)時輸出。

在基于幀的圖像處理算法中，卷積處理算法是其中比較常用的一種，通過對每一幀圖像的卷積操作來實(shí)現(xiàn)特征的抽取和增強(qiáng)。由于AER圖像傳感器的上述特點(diǎn)，因此需要采用與其相適應(yīng)的卷積算法來實(shí)現(xiàn)事件的處理。

參考圖2，是一種以AER為信息載體的卷積處理過程，在圖2最上方的圖中，假設(shè)只有兩個事件輸出，AER圖像傳感器輸出的事件信息中包含事件的地址和時間信息，分別是100ns時(3,3)處和200ns時(2,3)處。圖2中間兩圖是假定的卷積核矩陣，是一個3×3的矩陣。圖2最下方的四張圖中，以事件所指示的地址為中心，卷積核被累加到了卷積陣列中，實(shí)現(xiàn)了事件的卷積過程。

技術(shù)實(shí)現(xiàn)要素：

為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在提出圖像傳感器的實(shí)時特征提取方法，該方法具有高速，實(shí)時性的特點(diǎn)，提取出的特征包含很好的尺度和角度信息。為此，本發(fā)明采用的技術(shù)方案是，用于AER圖像傳感器的實(shí)時特征提取方法，AER圖像傳感器的輸出事件作為特征提取的輸入，經(jīng)過卷積層S1的卷積操作，再經(jīng)過類最大化操作C1層的最大化操作，即能夠提取出相應(yīng)的特征信息；其中，實(shí)現(xiàn)事件的卷積操作的S1層中包含N1個卷積模塊，每個卷積模塊都配置一種卷積核，采用Gabor函數(shù)來計(jì)算生成卷積核，Gabor函數(shù)的計(jì)算如公式(1)所示：

μ₀＝μcosθ+νsinθ

ν₀＝-μsinθ+νcosθ (1)

其中μ和ν分別代表生成的卷積核的橫縱坐標(biāo)，λ代表正弦函數(shù)波長；θ代表Gabor核函數(shù) 的方向，σ代表高斯函數(shù)的標(biāo)準(zhǔn)差，γ代表空間長寬比，決定Gabor函數(shù)的形狀，μ₀是橫坐標(biāo)的轉(zhuǎn)向坐標(biāo)，ν₀是縱坐標(biāo)的轉(zhuǎn)向坐標(biāo)。

C1層對S1層的卷積結(jié)果進(jìn)行最大化操作來進(jìn)一步提取特征，最大化操作是采用兩級的MAX操作來提取特征，第一級的最大化操作是在每個卷積特征圖map1中，每個點(diǎn)的值都與其相鄰的Q個點(diǎn)的值相比較，如果中心點(diǎn)的值不是最大值，則該點(diǎn)未贏得最大化；如果中心點(diǎn)是最大值，則該點(diǎn)贏得最大化操作；第二級的最大化操作是在不同卷積模塊的卷積特征圖map2之間進(jìn)行，如果某一位置贏得了第一級的最大化操作，該位置的卷積結(jié)果需要跟相同尺度，不同角度卷積核的卷積結(jié)果再進(jìn)行最大化操作，以此得到角度特征信息，類似的相同角度，不同尺度卷積核的卷積結(jié)果也要進(jìn)行最大化操作，以得到尺度特征信息，經(jīng)過兩級的最大化操作，得到提取出包含角度和尺度信息的特征信息，用于后續(xù)的識別。

本發(fā)明的特點(diǎn)及有益效果是：

本發(fā)明提出的包含多卷積，兩級最大化操作的特征提取方法，充分利用了AER圖像傳感器輸出事件的特點(diǎn)，具有高速，實(shí)時性的特點(diǎn)，經(jīng)過兩級的最大化操作，提取出的特征包含了很好的尺度和角度信息。

附圖說明：

圖1傳統(tǒng)圖像傳感器與AER圖像傳感器對比。

圖2 AER事件卷積過程。

圖3實(shí)時特征提取結(jié)構(gòu)圖。

圖4不同角度和尺度的MAX操作。

具體實(shí)施方式

本發(fā)明提出的實(shí)時特征提取方法，其結(jié)構(gòu)如圖3所示。該結(jié)構(gòu)是一個兩層結(jié)構(gòu)，AER圖像傳感器的輸出事件作為特征提取模塊的輸入，經(jīng)過卷積層(S1)的卷積操作，再經(jīng)過類最大化操作(C1)層的最大化操作，就可以提取出相應(yīng)的特征信息。

S1層實(shí)現(xiàn)事件的卷積操作，該層中包含N1個卷積模塊，每個卷積模塊都配置一種卷積核，本發(fā)明中采用Gabor函數(shù)來計(jì)算生成卷積核，Gabor函數(shù)的計(jì)算如公式(1)所示：

μ₀＝μcosθ+νsinθ

ν₀＝-μsinθ+νcosθ (1)

其中μ和ν分別代表生成的卷積核的橫縱坐標(biāo)，λ代表正弦函數(shù)波長；θ代表Gabor核函數(shù)的方向，σ代表高斯函數(shù)的標(biāo)準(zhǔn)差，γ代表空間長寬比，決定Gabor函數(shù)的形狀，μ₀是橫坐標(biāo)的轉(zhuǎn)向坐標(biāo)，ν₀是縱坐標(biāo)的轉(zhuǎn)向坐標(biāo)。

C1層對S1層的卷積結(jié)果進(jìn)行最大化(MAX)操作來進(jìn)一步提取特征。采用兩級的MAX操作來提取特征，第一級的最大化操作是在每個卷積特征圖(map1)中，每個點(diǎn)的值都與其相 鄰的Q個點(diǎn)的值相比較，如果中心點(diǎn)的值不是最大值，則該點(diǎn)未贏得最大化；如果中心點(diǎn)是最大值，則該點(diǎn)贏得最大化操作。第二級的最大化操作是在不同卷積模塊的卷積特征圖(map2)之間進(jìn)行，如果某一位置贏得了第一級的最大化操作，該位置的卷積結(jié)果需要跟相同尺度，不同角度卷積核的卷積結(jié)果(map)再進(jìn)行最大化操作，以此得到角度特征信息，類似的相同角度，不同尺度卷積核的卷積結(jié)果(map)也要進(jìn)行最大化操作，以得到尺度特征信息。經(jīng)過兩級的最大化操作，就可以得到提取出包含角度和尺度信息的特征信息，可以用于后續(xù)的識別等。

本發(fā)明的具體實(shí)例是，S1層采用Gabor公式計(jì)算的值作為卷積核，公式(1)中的λ＝5，σ＝2.8，卷積核的尺度分別設(shè)為3×3，,5×5，,7×7，9×9，每種尺度下又分別設(shè)置4個不同角度分別為0°，45°，90°和135°，因此S1層一共包括16個卷積模塊實(shí)現(xiàn)卷積功能。C1層實(shí)現(xiàn)兩級的MAX操作，根據(jù)S1的卷積結(jié)果(maps)C1層實(shí)現(xiàn)相應(yīng)的操作，提取出包含尺度和角度信息的特征，如圖4所示，代表了對S1層16種卷積核的卷積結(jié)果的兩級MAX操作，垂直方向?yàn)?種不同的尺度，水平方向?yàn)?種角度，虛線部分給出了該兩級MAX操作的一種示例。