某一節(jié)點的響應(yīng)值，是輸入第一特征圖中對 應(yīng)空間區(qū)域內(nèi)的各個位置上所有節(jié)點的響應(yīng)值構(gòu)成的向量，與對應(yīng)的卷積核中各個位置上 所有連接權(quán)重構(gòu)成的向量的內(nèi)積之和，由公式（1)可知：
[0040] 其中，G是輸出的第一特征圖，G (ct，wt，ht)為其中第Ct個第一特征圖上空間位置為 (wt, ht)的節(jié)點，W為卷積核，胃e,，wk, hk為該卷積核中的第C/h卷積核，對應(yīng)輸出的第一特 征圖G中的第Ct個第一特征圖中空間位置為（wk，hk)的參數(shù)向量，F(xiàn)是輸入的第一特征圖，F(xiàn)、、，hs表示其中的空間位置為（ws，hs)的特征向量。
[0041] 這些內(nèi)積可以拆分為多個子向量的內(nèi)積之和，即將多個第一特征子向量分別與每 組對應(yīng)的第一子碼本中的多個第一碼字進行內(nèi)積運算得到多個第一運算結(jié)果，將所述多個 第一運算結(jié)果進行求和得到輸出的第一特征圖，具體由公式（2)可知：并將多個第一運算 結(jié)果存儲在第一查找表中，第一查找表的大小SWsXHsXMXK。 CN 105184362 A 說明書 4/5 頁
[_]其中，礦;1:%為第一參數(shù)子向量，^，Ai中的第m個子向量，為第一 特征子向量P1w 中的第m個子向量；Cw為第m個第一子碼本，第一參數(shù)子向 量l^im) ^的量化索引值，;)為對第一參數(shù)子向量PF(m) 1進行量化時 句為美 ^ V WtA rr CnWk 所用的第一碼字。
[0044] 進一步地，所述深度卷積神經(jīng)網(wǎng)絡(luò)為所述多個全連接層，所述根據(jù)所述多個子碼 本和所述多個子碼本分別對應(yīng)的索引值獲取所述深度卷積神經(jīng)網(wǎng)絡(luò)的輸出的特征圖包括， 重復執(zhí)行以下處理，直至多個全連接層都被遍歷：
[0045] 輸入第二特征圖；
[0046] 將所述第二特征圖分割為M組，所述每組包括第二特征子向量；
[0047] 將所述第二特征子向量與所述每組對應(yīng)的第二子碼本中的多個第二碼字進行內(nèi) 積運算得到多個第二運算結(jié)果，并將所述多個第二運算結(jié)果存儲在第二查找表中；
[0048] 將所述多個第二運算結(jié)果進行求和得到輸出的第二特征圖。
[0049] 這里，輸入第二特征圖，第二特征圖可以是，但不限于，具體SCsXl的列向量。將 Cs所在維度均勻地分為M組，每段的維度為[C S/M](若維度不足，則在最后一段中補零），這 樣就可以將全連接層中的第二特征圖分為M組，每組包含1個第二特征子向量。
[0050] 在劃分完的M組特征子向量中，分別計算每個特征子向量與對應(yīng)子碼本中所有碼 字的內(nèi)積，保存在一個查找表中。對于全連接層，該查找表的大小為MX K。
[0051 ] 對于全連接層，第二特征圖中的某一節(jié)點的響應(yīng)值是第二特征圖中所有節(jié)點的響 應(yīng)值構(gòu)成的向量，與對應(yīng)的連接權(quán)向量的內(nèi)積，具體由公式（3)可知：
[0053] 其中，G為輸出的第二特征圖，G(Ct)為第(^個節(jié)點，W為連接權(quán)矩陣，胃^為該矩 陣中的第(^行（對應(yīng)輸出特征圖中的第c t個節(jié)點），即第二參數(shù)子向量，F(xiàn)為第二特征圖， 即特征向量。
[0054] 這個內(nèi)積可以拆分為多個子向量的內(nèi)積之和，即將所述第二特征子向量與所述每 組對應(yīng)的第二子碼本中的多個第二碼字進行內(nèi)積運算得到多個第二運算結(jié)果，并將所述多 個第二運算結(jié)果存儲在第二查找表中；將所述多個第二運算結(jié)果進行求和得到輸出的第二 特征圖，具體由公式⑷可知：
[0056] 其中，為第二參數(shù)子向量中的第m個第二參數(shù)子向量，F(xiàn)w為第二特 ? m 征子向量F中的第m個第二特征子向量，Cm為第m個第二子碼本為第二參數(shù)子向量 ^的量化索引值，em(m)為對第二參數(shù)子向量進行量化時所用的第二碼字。
[0057] 對于卷積層和全連接層，近似后的計算過程都可按照參數(shù)子向量的量化索引值， 直接從查找表中獲得對應(yīng)的內(nèi)積值，而不需要重復計算內(nèi)積，因此可以顯著地降低運算開 銷，提尚運彳丁速度。
[0058] 以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何 熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵 蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以所述權(quán)利要求的保護范圍為準。
【主權(quán)項】
1. 一種基于參數(shù)量化的深度卷積神經(jīng)網(wǎng)絡(luò)的加速與壓縮方法，其特征在于，所述方法 包括： 對深度卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進行量化得到多個子碼本和所述多個子碼本分別對應(yīng)的 索引值； 根據(jù)所述多個子碼本和所述多個子碼本分別對應(yīng)的索引值獲取所述深度卷積神經(jīng)網(wǎng) 絡(luò)的輸出的特征圖。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述深度卷積神經(jīng)網(wǎng)絡(luò)為多個卷積層，所 述對深度卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進行量化得到多個子碼本和所述多個子碼本分別對應(yīng)的索 引值包括，重復執(zhí)行以下處理，直至所述多個卷積層都被遍歷： 將所述卷積層的參數(shù)分割成M組，每組包括多個第一參數(shù)子向量，其中，M為正整數(shù)； 對所述每組的多個第一參數(shù)子向量分別進行K均值聚類得到所述每組對應(yīng)的第一子 碼本，所述第一子碼本包括多個第一碼字； 分別計算所述多個第一參數(shù)子向量與所述多個第一碼字的歐氏距離； 獲取所述歐氏距離最小的第一參數(shù)子向量和第一碼字，并記錄所述歐氏距離最小的第 一碼字的索引值。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述深度卷積神經(jīng)網(wǎng)絡(luò)為多個全連接層， 所述對深度卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進行量化得到多個子碼本和所述多個子碼本分別對應(yīng)的 索引值包括，重復執(zhí)行以下處理，直至所述多個全連接層都被遍歷： 將所述全連接層的參數(shù)分割成M組，每組包括多個第二參數(shù)子向量； 對所述多個第二參數(shù)子向量分別進行K均值聚類得到所述每組對應(yīng)的第二子碼本，所 述第二子碼本包括多個第二碼字； 分別計算所述多個第二參數(shù)子向量與所述多個第二碼字的歐氏距離； 獲取所述歐氏距離最小的第二參數(shù)子向量和第二碼字，并記錄所述歐氏距離最小的第 二碼字的索引值。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述深度卷積神經(jīng)網(wǎng)絡(luò)為所述多個卷積 層，所述根據(jù)所述多個子碼本和所述多個子碼本分別對應(yīng)的索引值獲取所述深度卷積神經(jīng) 網(wǎng)絡(luò)的輸出的特征圖包括，重復執(zhí)行以下處理，直至所述多個卷積層都被遍歷： 輸入第一特征圖； 將所述第一特征圖分割為M組，所述每組包括多個第一特征子向量； 將所述多個第一特征子向量分別與所述每組對應(yīng)的第一子碼本中的多個第一碼字進 行內(nèi)積運算得到多個第一運算結(jié)果，并將所述多個第一運算結(jié)果存儲在第一查找表中； 將所述多個第一運算結(jié)果進行求和得到輸出的第一特征圖。5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述深度卷積神經(jīng)網(wǎng)絡(luò)為所述多個全連 接層，所述根據(jù)所述多個子碼本和所述多個子碼本分別對應(yīng)的索引值獲取所述深度卷積神 經(jīng)網(wǎng)絡(luò)的輸出的特征圖包括，重復執(zhí)行以下處理，直至所述多個全連接層都被遍歷： 輸入第二特征圖； 將所述第二特征圖分割為M組，所述每組包括第二特征子向量； 將所述第二特征子向量與所述每組對應(yīng)的第二子碼本中的多個第二碼字進行內(nèi)積運 算得到多個第二運算結(jié)果，并將所述多個第二運算結(jié)果存儲在第二查找表中； 將所述多個第二運算結(jié)果進行求和得到輸出的第二特征圖。
【專利摘要】本發(fā)明提供的基于參數(shù)量化的深度卷積神經(jīng)網(wǎng)絡(luò)的加速與壓縮方法，包括：對深度卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進行量化得到多個子碼本和多個子碼本分別對應(yīng)的索引值；根據(jù)多個子碼本和多個子碼本分別對應(yīng)的索引值獲取所述深度卷積神經(jīng)網(wǎng)絡(luò)的輸出的特征圖。本發(fā)明可以實現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)的加速與壓縮。
【IPC分類】G06N3/02
【公開號】CN105184362
【申請?zhí)枴緾N201510518900
【發(fā)明人】程健, 吳家祥, 冷聰, 盧漢清
【申請人】中國科學院自動化研究所
【公開日】2015年12月23日
【申請日】2015年8月21日