基于脈沖神經(jīng)網(wǎng)絡的圖像特征描述和記憶方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，特別涉及一種基于脈沖神經(jīng)網(wǎng)絡的圖像特征描 述和記憶方法。
【背景技術(shù)】
[0002] 計算機視覺是使用計算機及相關(guān)設(shè)備模擬生物視覺，其最終研究目標是使計算機 能像人一樣通過視覺觀察和理解世界，對環(huán)境具有自主適應能力。目前，計算機視覺廣泛應 用于工業(yè)、軍事等領(lǐng)域，具體應用包括機器人路徑規(guī)劃、無人機偵查、自主戰(zhàn)斗等。然而，要 實現(xiàn)上述應用，其中一項最基本且重要的研究內(nèi)容是計算機視覺中的圖像分類與識別。其 研究思路是：首先，設(shè)計一種圖像特征的描述和記憶方法；然后，用該方法描述和記憶訓練 圖像，并記錄描述和記憶結(jié)果；最后，用同樣的方法描述和記憶測試圖像，并記錄描述和記 憶結(jié)果，將訓練圖像和測試圖像的描述和記憶結(jié)果進行比較，最終實現(xiàn)圖像分類與識別?？?以看出，從很大程度上說，圖像特征的描述和記憶方法決定了圖像分類與識別的效果。
[0003] 傳統(tǒng)的圖像分類和識別算法是將圖像分解為一系列局部區(qū)域，提取局部區(qū)域中的 圖像特征，用所有局部特征集合來描述和記憶圖像。在上述方法中，特征的選擇與提取較為 繁瑣，且計算復雜。后來，有研究者將卷積神經(jīng)網(wǎng)絡應用于圖像描述和記憶，一定程度上改 善了傳統(tǒng)的圖像描述和記憶方法中特征提取的復雜度。卷積神經(jīng)網(wǎng)絡借鑒了人類視覺系統(tǒng) 的層級結(jié)構(gòu)和局部感受野特性，網(wǎng)絡中每個神經(jīng)元表示一種特征，上層特征由下層某一局 部區(qū)域內(nèi)的特征經(jīng)線性組合及非線性變換后得到。通過反向傳播算法訓練該網(wǎng)絡可自動提 取對分類最有影響的特征，因而這類方法在很大程度上提高了圖像分類準確率。
[0004] 然而，無論是采用集合方法還是線性組合方法來描述圖像局部特征的組合，都會 丟失特征之間的相對位置信息，導致無法根據(jù)記憶對圖像進行較完整的恢復，即現(xiàn)有的這 些方法對于圖像的描述和記憶還不夠完整。此外，上述這些方法大多屬于監(jiān)督學習的范疇， 且規(guī)模不大，雖然經(jīng)過訓練后能夠較好地描述訓練樣本集中圖像的特征，但是對于訓練樣 本集外的其他類別的圖像通常不能較好地描述，需要重新訓練。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。
[0006] 有鑒于此，本發(fā)明需要提供一種基于脈沖神經(jīng)網(wǎng)絡的圖像特征描述和記憶方法， 該方法能同時描述記憶多種類別的圖像，并能夠完整地恢復圖像，同時還具有圖像分類功 能。
[0007] 根據(jù)本發(fā)明的一個實施例，提出了一種基于脈沖神經(jīng)網(wǎng)絡的圖像特征描述和記憶 方法，包括以下步驟：
[0008] 輸入Μ張歸一化的圖像；
[0009] 根據(jù)所述圖像的大小確定脈沖神經(jīng)網(wǎng)絡的層數(shù)Ν，其中，Ν為大于1的整數(shù)；
[0010] 對所述圖像進行預處理，獲得所述圖像中每個像素點處的梯度方向，并將所述梯 度方向離散化為預設(shè)值個值；
[0011] 根據(jù)離散化后的所述梯度方向確定所述脈沖神經(jīng)網(wǎng)絡中第一層每所述預設(shè)值個 神經(jīng)元中的一個發(fā)放；
[0012] 根據(jù)所述第一層神經(jīng)元的發(fā)放情況計算第二層神經(jīng)元的膜電位，以確定所述第二 層神經(jīng)元的發(fā)放情況，進而得到所有層神經(jīng)元的發(fā)放情況；
[0013] 根據(jù)所述所有層神經(jīng)元發(fā)放的時序關(guān)系和STDP(Spike-Timing-Dependent Plasticity，脈沖時間依賴的突觸可塑性）規(guī)則調(diào)整所述脈沖神經(jīng)網(wǎng)絡各層之間的連接權(quán) 重，以所述連接權(quán)重的形式描述和記憶所述圖像特征。
[0014] 根據(jù)本發(fā)明的一個實施例，根據(jù)所述圖像的大小和所述層數(shù)確定所述脈沖神經(jīng)網(wǎng) 絡各層感受野的大小，其中，所述脈沖神經(jīng)網(wǎng)絡中第一層神經(jīng)元的感受野大小為一個像素。
[0015] 根據(jù)本發(fā)明的一個實施例，所述對所述圖像進行預處理，獲得所述圖像中每個像 素點處的梯度方向的方法采用Prewitt算子、Sobel算子、Kirsch算子和羅盤算子中的一 種。
[0016] 根據(jù)本發(fā)明的一個實施例，所述預設(shè)值是4。
[0017] 根據(jù)本發(fā)明的一個實施例，所述N層的網(wǎng)絡中包含N-1種類型的單元網(wǎng)絡，其中， 所述單元網(wǎng)絡為由所述N層網(wǎng)絡位于連續(xù)的兩層中的部分神經(jīng)元構(gòu)成的網(wǎng)絡。
[0018] 根據(jù)本發(fā)明的一個實施例，所述發(fā)放神經(jīng)元按泊松過程發(fā)放。
[0019] 根據(jù)本發(fā)明的一個實施例，所述根據(jù)所述第一層神經(jīng)元的發(fā)放情況計算第二層神 經(jīng)元的膜電位，以確定所述第二層神經(jīng)元的發(fā)放情況，具體步驟如下：
[0020] 將獨立同分布的指數(shù)分布的隨機數(shù)作為發(fā)放時間間隔；
[0021] 根據(jù)所述發(fā)放時間間隔得到發(fā)放時刻；
[0022] 以一_秒為時間步長，將所述發(fā)放時刻尚散化；
[0023] 根據(jù)所述離散化后的發(fā)放時刻，生成所述第一層神經(jīng)元的發(fā)放脈沖yi (t);
[0024] 根據(jù)所述yi (t)通過以下公式計算所述第二層神經(jīng)元的所述膜電位uk(t):
[0026]
，wkl為所述第一層神經(jīng)元與所述第二層 神經(jīng)元的連接權(quán)重，y;為所述第一層神經(jīng)元，1 <i<η，η為所述第一層神經(jīng)元的個數(shù)，Κk<Κ，Κ為所述第二層神經(jīng)元的個數(shù)，〇為所述yi發(fā)放時向?qū)牡诙由窠?jīng)元發(fā)出 的單位脈沖寬度；
[0027] 通過為所述第一層神經(jīng)元發(fā)放對應的第二層神經(jīng)元附加WTA(Winner-Take_All， 贏者通吃）約束，選出膜電位最高的所述第二層神經(jīng)元即為所述第二層發(fā)放的神經(jīng)元。
[0028] 根據(jù)本發(fā)明的一個實施例，所述根據(jù)所述所有層神經(jīng)元發(fā)放的時序關(guān)系和STDP 規(guī)則調(diào)整所述脈沖神經(jīng)網(wǎng)絡各層之間的連接權(quán)重，具體步驟如下：
[0029] 當一個上層神經(jīng)元發(fā)放時，發(fā)放時刻記作tf，按照STDP規(guī)則調(diào)整所有下層神經(jīng)元 與上層神經(jīng)元的連接權(quán)重：
[0030] 判斷上層神經(jīng)元在[tf_ 0，tf]內(nèi)是否有發(fā)放；
[0031] 若是，則增大所述連接權(quán)重，若否，則減小所述連接權(quán)重。
[0032] 本發(fā)明實施例的基于脈沖神經(jīng)網(wǎng)絡的圖像特征描述和記憶方法，根據(jù)輸入圖像的 大小確定脈沖神經(jīng)網(wǎng)絡的層數(shù)，并根據(jù)離散化后的圖像梯度方向確定脈沖神經(jīng)網(wǎng)絡中第一 層每預設(shè)值個神經(jīng)元中的一個發(fā)放，根據(jù)第一層神經(jīng)元的發(fā)放情況計算第二層神經(jīng)元的膜 電位，以確定第二層神經(jīng)元的發(fā)放情況，得到所有層神經(jīng)元的發(fā)放情況，根據(jù)所有層神經(jīng)元 發(fā)放的時序關(guān)系和STDP規(guī)則調(diào)整脈沖神經(jīng)網(wǎng)絡各層之間的連接權(quán)重，以連接權(quán)重的形式 描述和記憶圖像特征。本發(fā)明的方法能同時描述記憶多種類別的圖像，并能夠完整地恢復 圖像，同時還具有圖像分類功能。
[0033] 本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0034] 本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變 得明顯和容易理解，其中：
[0035] 圖1為根據(jù)本發(fā)明一個實施例的基于脈沖神經(jīng)網(wǎng)絡的圖像特征描述和記憶方法 的流程圖；
[0036] 圖2為根據(jù)本發(fā)明一個實施例的單元網(wǎng)絡結(jié)構(gòu)示意圖；
[0037] 圖3為根據(jù)本發(fā)明一個實施例的根據(jù)上層神經(jīng)元的發(fā)放情況確定下層神經(jīng)元的 發(fā)放情況的方法的流程圖；
[0038] 圖4為根據(jù)本發(fā)明一個實施例的脈沖神經(jīng)網(wǎng)絡第三層對輸入圖像的描述示意圖；
[0039]圖5為根據(jù)本發(fā)明一個實施例的調(diào)整鏈接權(quán)重的方法的流程圖；
[0040]圖6為根據(jù)本發(fā)明一個實施例的單元網(wǎng)絡中神經(jīng)元的連接和發(fā)放示意圖；
[0041] 圖7為根據(jù)本發(fā)明一個實施例的圖像特征描述和記憶的脈沖神經(jīng)網(wǎng)絡結(jié)構(gòu)示意 圖；
[0042] 圖8為根據(jù)本發(fā)明一個實施例的脈沖神經(jīng)網(wǎng)絡對人臉圖像的記憶示意圖。
【具體實施方式】
[0043] 下面參考附圖描述根據(jù)本發(fā)明實施例的基于脈沖神經(jīng)網(wǎng)絡的圖像特征描述和記 憶方法，其中相同或類似的標號自始至終表示相同或類似的元件或具有相同或類似功能的 元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本 發(fā)明的限制。
[0044] 本發(fā)明的實施例提出了一種基于脈沖神經(jīng)網(wǎng)絡的圖像特征描述和記憶方法。
[0045] 圖1為根據(jù)本發(fā)明一個實施例的基于脈沖神經(jīng)網(wǎng)絡的圖像特征描述和記憶方法 的流程圖。
[0046] 如圖1所示，本發(fā)明實施例的基