本公開的實施例涉及計算機,具體涉及應用于尖峰神經(jīng)網(wǎng)絡模型的模型優(yōu)化信息生成方法和裝置。
背景技術:
1、目前,尖峰神經(jīng)網(wǎng)絡(spiking?neural?networks,snn)正在成為傳統(tǒng)人工神經(jīng)網(wǎng)絡(artificial?neural?networks,ann)的節(jié)能替代品。然而,隨著尖峰神經(jīng)網(wǎng)絡越來越多地部署在邊緣設備中,安全問題也隨之出現(xiàn)。目前,在對尖峰神經(jīng)網(wǎng)絡的安全性進行處理時,通常采用的方式為:通過控制輸入噪聲引發(fā)的對抗性攻擊的方式,以提高尖峰神經(jīng)網(wǎng)絡的安全性。
2、然而,發(fā)明人發(fā)現(xiàn),當采用上述方式對尖峰神經(jīng)網(wǎng)絡的安全性進行處理時,經(jīng)常會存在如下技術問題:
3、第一,當神經(jīng)元的脈沖活動增加時,通常會導致更多的內存訪問操作,從而大幅提升能耗,因此傳統(tǒng)的方法在處理尖峰神經(jīng)網(wǎng)絡的能效和準確性平衡時存在不足,即難以在模型精度穩(wěn)定的條件下,實現(xiàn)針對尖峰神經(jīng)網(wǎng)絡模型的能耗攻擊模擬。
4、第二,現(xiàn)有的安全性研究主要集中在輸入擾動上,對尖峰神經(jīng)網(wǎng)絡參數(shù)的安全性關注較少,因此使得尖峰神經(jīng)網(wǎng)絡在面對基于內存的攻擊方式時,容易出現(xiàn)參數(shù)被惡意操控的風險。
5、該背景技術部分中所公開的以上信息僅用于增強對本發(fā)明構思的背景的理解,并因此,其可包含并不形成本國的本領域普通技術人員已知的現(xiàn)有技術的信息。
技術實現(xiàn)思路
1、本公開的內容部分用于以簡要的形式介紹構思,這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征,也不旨在用于限制所要求的保護的技術方案的范圍。
2、本公開的一些實施例提出了應用于尖峰神經(jīng)網(wǎng)絡模型的模型優(yōu)化信息生成方法和裝置,來解決以上背景技術部分提到的技術問題中的一項或多項。
3、第一方面,本公開的一些實施例提供了一種應用于尖峰神經(jīng)網(wǎng)絡模型的模型優(yōu)化信息生成方法,該方法包括:對尖峰神經(jīng)網(wǎng)絡模型進行模型初始化,以生成模型文件,其中,上述模型文件包括:神經(jīng)元層描述信息集合和準確率損失上限值,上述神經(jīng)元層描述信息集合中的神經(jīng)元層描述信息包括:神經(jīng)元描述信息集合、初始閾值變化量和高活躍度神經(jīng)元百分比,神經(jīng)元描述信息集合中的神經(jīng)元描述信息包括:初始神經(jīng)元閾值。對于神經(jīng)元層描述信息集合中的每個神經(jīng)元層描述信息,執(zhí)行以下處理步驟:確定上述神經(jīng)元層描述信息包括的神經(jīng)元描述信息集合中的每個神經(jīng)元描述信息對應的神經(jīng)元活躍度。根據(jù)上述神經(jīng)元層描述信息包括的高活躍度神經(jīng)元百分比和神經(jīng)元描述信息對應的神經(jīng)元活躍度,對上述神經(jīng)元層描述信息包括的、神經(jīng)元描述信息集合中的神經(jīng)元描述信息進行神經(jīng)元活躍度劃分,得到高活躍度神經(jīng)元描述信息集合和低活躍度神經(jīng)元描述信息集合。根據(jù)上述神經(jīng)元層描述信息包括的初始閾值變化量、上述高活躍度神經(jīng)元描述信息集合和上述低活躍度神經(jīng)元描述信息集合,生成更新后神經(jīng)元描述信息集合?;诟潞笊窠?jīng)元描述信息集合,生成子優(yōu)化信息。根據(jù)得到的子優(yōu)化信息集合,生成針對上述尖峰神經(jīng)網(wǎng)絡模型的模型優(yōu)化信息。
4、第二方面,本公開的一些實施例提供了一種應用于尖峰神經(jīng)網(wǎng)絡模型的模型優(yōu)化信息生成裝置,裝置包括:模型初始化單元,被配置成對尖峰神經(jīng)網(wǎng)絡模型進行模型初始化,以生成模型文件,其中,上述模型文件包括:神經(jīng)元層描述信息集合和準確率損失上限值,上述神經(jīng)元層描述信息集合中的神經(jīng)元層描述信息包括:神經(jīng)元描述信息集合、初始閾值變化量和高活躍度神經(jīng)元百分比,神經(jīng)元描述信息集合中的神經(jīng)元描述信息包括:初始神經(jīng)元閾值。處理單元,被配置成對于神經(jīng)元層描述信息集合中的每個神經(jīng)元層描述信息,執(zhí)行以下處理步驟:確定上述神經(jīng)元層描述信息包括的神經(jīng)元描述信息集合中的每個神經(jīng)元描述信息對應的神經(jīng)元活躍度;根據(jù)上述神經(jīng)元層描述信息包括的高活躍度神經(jīng)元百分比和神經(jīng)元描述信息對應的神經(jīng)元活躍度,對上述神經(jīng)元層描述信息包括的、神經(jīng)元描述信息集合中的神經(jīng)元描述信息進行神經(jīng)元活躍度劃分,得到高活躍度神經(jīng)元描述信息集合和低活躍度神經(jīng)元描述信息集合;根據(jù)上述神經(jīng)元層描述信息包括的初始閾值變化量、上述高活躍度神經(jīng)元描述信息集合和上述低活躍度神經(jīng)元描述信息集合,生成更新后神經(jīng)元描述信息集合;基于更新后神經(jīng)元描述信息集合,生成子優(yōu)化信息。生成單元,被配置成根據(jù)得到的子優(yōu)化信息集合,生成針對上述尖峰神經(jīng)網(wǎng)絡模型的模型優(yōu)化信息。
5、第三方面,本公開的一些實施例提供了一種電子設備,包括:一個或多個處理器;存儲裝置,其上存儲有一個或多個程序,當一個或多個程序被一個或多個處理器執(zhí)行,使得一個或多個處理器實現(xiàn)上述第一方面任一實現(xiàn)方式所描述的方法。
6、第四方面,本公開的一些實施例提供了一種計算機可讀介質,其上存儲有計算機程序,其中,程序被處理器執(zhí)行時實現(xiàn)上述第一方面任一實現(xiàn)方式所描述的方法。
7、本公開的上述各個實施例具有如下有益效果:通過本公開的一些實施例的應用于尖峰神經(jīng)網(wǎng)絡模型的模型優(yōu)化信息生成方法可以在模型精度穩(wěn)定的條件下,實現(xiàn)針對尖峰神經(jīng)網(wǎng)絡模型的能耗攻擊模擬。具體來說,造成難以在模型精度穩(wěn)定的條件下,實現(xiàn)針對尖峰神經(jīng)網(wǎng)絡模型的能耗攻擊模擬的原因在于:當神經(jīng)元的脈沖活動增加時,通常會導致更多的內存訪問操作,從而大幅提升能耗,因此傳統(tǒng)的方法在處理尖峰神經(jīng)網(wǎng)絡的能效和準確性平衡時存在不足,即難以在模型精度穩(wěn)定的條件下,實現(xiàn)針對尖峰神經(jīng)網(wǎng)絡模型的能耗攻擊模擬。基于此,本公開的一些實施例的應用于尖峰神經(jīng)網(wǎng)絡模型的模型優(yōu)化信息生成方法,首先,對尖峰神經(jīng)網(wǎng)絡模型進行模型初始化,以生成模型文件,其中,上述模型文件包括:神經(jīng)元層描述信息集合和準確率損失上限值,上述神經(jīng)元層描述信息集合中的神經(jīng)元層描述信息包括:神經(jīng)元描述信息集合、初始閾值變化量和高活躍度神經(jīng)元百分比,神經(jīng)元描述信息集合中的神經(jīng)元描述信息包括:初始神經(jīng)元閾值。為尖峰神經(jīng)網(wǎng)絡模型的參數(shù)設置初始值,加速訓練進程。其次,對于神經(jīng)元層描述信息集合中的每個神經(jīng)元層描述信息,執(zhí)行以下處理步驟:第一步,確定上述神經(jīng)元層描述信息包括的神經(jīng)元描述信息集合中的每個神經(jīng)元描述信息對應的神經(jīng)元活躍度。由此,可以為后續(xù)劃分高神經(jīng)元描述信息和低活躍度描述信息做準備。第二步,根據(jù)上述神經(jīng)元層描述信息包括的高活躍度神經(jīng)元百分比和神經(jīng)元描述信息對應的神經(jīng)元活躍度,對上述神經(jīng)元層描述信息包括的、神經(jīng)元描述信息集合中的神經(jīng)元描述信息進行神經(jīng)元活躍度劃分,得到高活躍度神經(jīng)元描述信息集合和低活躍度神經(jīng)元描述信息集合。實踐中,由于攻擊高活躍度神經(jīng)元和攻擊低活躍度神經(jīng)元對模型準確度的影響不同,因此從神經(jīng)元活躍度角度,對神經(jīng)元進行劃分。第三步,根據(jù)上述神經(jīng)元層描述信息包括的初始閾值變化量、上述高活躍度神經(jīng)元描述信息集合和上述低活躍度神經(jīng)元描述信息集合,生成更新后神經(jīng)元描述信息集合。由于攻擊低活躍度神經(jīng)元對模型準確度的影響較小,能耗增加較少,因此對高活躍度神經(jīng)元和低活躍度神經(jīng)元進行不同策略的更新。第四步,基于更新后神經(jīng)元描述信息集合,生成子優(yōu)化信息。最后,根據(jù)得到的子優(yōu)化信息集合,生成針對上述尖峰神經(jīng)網(wǎng)絡模型的模型優(yōu)化信息。通過減小神經(jīng)元閾值,影響神經(jīng)元的狀態(tài),使得其在相同的條件下脈沖激發(fā)頻率更頻繁,從而在不降低模型準確度的情況下增加尖峰神經(jīng)網(wǎng)絡模型的能耗攻擊效果,以此有效實現(xiàn)在模型精度穩(wěn)定的條件下的、針對尖峰神經(jīng)網(wǎng)絡模型的能耗攻擊模擬。