本發(fā)明屬于人工神經(jīng)網(wǎng)絡(luò)
技術(shù)領(lǐng)域：
，特別涉及一種參數(shù)化可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)全連接層多層互連結(jié)構(gòu)。
背景技術(shù)：
：全連接層在神經(jīng)網(wǎng)絡(luò)算法中是必不可少的一部分，其構(gòu)造一般是多層互連，每一層的輸出作為下一層的輸入。全連接層是神經(jīng)網(wǎng)絡(luò)中計(jì)算量最大，參數(shù)最多的部分，在整個(gè)算法中具有決定性的作用。隨著神經(jīng)網(wǎng)絡(luò)的應(yīng)用越來越廣泛，需求不斷增加，神經(jīng)網(wǎng)絡(luò)的深度逐步加深，全連接層的層數(shù)也會(huì)相應(yīng)增加。目前比較流行神經(jīng)神經(jīng)網(wǎng)絡(luò)算法中都用到了全連接層，而這些網(wǎng)絡(luò)對(duì)全連接層的層數(shù)和每層輸入輸出的節(jié)點(diǎn)數(shù)目的配置都各有不同，以下列舉一些目前常用的卷積神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)中全連接層網(wǎng)絡(luò)的結(jié)構(gòu)：1)主要用于手寫數(shù)字體識(shí)別的經(jīng)典網(wǎng)絡(luò)lenet-5中采用了三層卷積層和兩層全連接層，全連接層共有214個(gè)神經(jīng)元節(jié)點(diǎn)，包含一萬多個(gè)參數(shù)；2)在主要用于imagenet數(shù)據(jù)庫識(shí)別分類的經(jīng)典結(jié)構(gòu)alexnet網(wǎng)絡(luò)中采用了五層卷積層和三層全連接層，第一層全連接層有4096個(gè)神經(jīng)元節(jié)點(diǎn)，第二層有4096個(gè)神經(jīng)元節(jié)點(diǎn)，第三層有1000個(gè)神經(jīng)元節(jié)點(diǎn)，共包含約兩千萬個(gè)參數(shù)；3)在2014年出現(xiàn)的另一種同樣識(shí)別imagenet庫的更深的網(wǎng)絡(luò)vgg-net網(wǎng)絡(luò)中共采用了十五層的卷積層和三層全連接層，前兩層全連接層各有4096個(gè)神經(jīng)元節(jié)點(diǎn)，第三層有1000個(gè)神經(jīng)元節(jié)點(diǎn)，共包含參數(shù)一億多個(gè)參數(shù)。隨著計(jì)算網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大，參與計(jì)算的數(shù)據(jù)越來越多，而全連接層因?yàn)楣δ苄枰鶗?huì)占用整個(gè)系統(tǒng)參數(shù)的較大比例，訓(xùn)練一個(gè)網(wǎng)絡(luò)需要成千上萬次的迭代運(yùn)算，用傳統(tǒng)計(jì)算機(jī)cpu/gpu計(jì)算時(shí)數(shù)據(jù)會(huì)頻繁在處理器和存儲(chǔ)器間傳遞，存儲(chǔ)帶寬的限制和數(shù)據(jù)搬移造成過多的能耗，，采用專用計(jì)算架構(gòu)實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)來提高計(jì)算效率成為目前的研究熱點(diǎn)，而一種參數(shù)化可擴(kuò)展的全連接層的設(shè)計(jì)是通用卷積神經(jīng)網(wǎng)絡(luò)加速平臺(tái)的關(guān)鍵模塊。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的在于提供一種參數(shù)化可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)全連接層多層互連結(jié)構(gòu)，以解決上述技術(shù)問題。為了實(shí)現(xiàn)上述的目的，本方案采用了如下的技術(shù)方案：一種參數(shù)化可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)全連接層多層互連結(jié)構(gòu)，包括若干層全連接層，每層全連接層例化了若干個(gè)基本單元；一個(gè)基本單元連接一個(gè)路由器，同一全連接層中的基本單元經(jīng)過路由器相連，形成全連接環(huán)；全連接環(huán)的路由器上下相連形成一種參數(shù)化可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)全連接層多層互連結(jié)構(gòu)。進(jìn)一步的，基本單元包括存儲(chǔ)模塊、地址計(jì)數(shù)器模塊和若干基本列模塊；若干基本列模塊并列設(shè)置，每個(gè)基本列模塊的輸入端均連接基本單元的數(shù)據(jù)輸入端和存儲(chǔ)模塊的輸出端，每個(gè)基本列模塊的輸出端均連接基本單元的數(shù)據(jù)輸出端；地址計(jì)數(shù)器模塊的輸入端連接一個(gè)基本列模塊，地址計(jì)數(shù)器模塊的輸出端連接存儲(chǔ)模塊；地址計(jì)數(shù)器模塊用于采集基本列模塊的計(jì)算次數(shù)；存儲(chǔ)模塊包括權(quán)重sram和偏置sram；基本列模塊用于根據(jù)存儲(chǔ)模塊輸入的權(quán)重和偏置對(duì)接收的輸入數(shù)據(jù)與權(quán)重進(jìn)行相乘，然后與偏置相加獲得輸出數(shù)據(jù)進(jìn)行輸出。進(jìn)一步的，每層全連接層中的每個(gè)基本單元都從上一層接收數(shù)據(jù)，正向數(shù)據(jù)由卷積層和池化層輸出到全連接的第一層f1；該層實(shí)例化了k1個(gè)基本模塊，第一層f1中每個(gè)基本模塊都從池化層接收數(shù)據(jù)，在f1層計(jì)算后傳入下一層全連接f2，f2層也是根據(jù)輸出的參數(shù)例化了k2個(gè)基本模塊互連構(gòu)成，數(shù)據(jù)在f2層計(jì)算完成后又傳入f3(包含k3個(gè)基本模塊)，一直傳到最后一層全連接層fn層(包含kn個(gè)基本模塊)，其中，ki代表第i層的基本模塊個(gè)數(shù)，計(jì)算后傳入最后的分類輸出層輸出。進(jìn)一步的，全連接層各個(gè)基本單元接收到的數(shù)據(jù)后在本層內(nèi)進(jìn)行計(jì)算和傳輸?shù)木唧w過程：在第一個(gè)時(shí)鐘周期，第i+1層全連接層各個(gè)基本單元先對(duì)自己接收到的數(shù)據(jù)進(jìn)行計(jì)算；在第二個(gè)時(shí)鐘周期的時(shí)候這些數(shù)據(jù)同時(shí)以同一個(gè)方向移動(dòng)到下游的基本單元；第二個(gè)時(shí)鐘周期每個(gè)基本單元接收到的數(shù)據(jù)為自己前一個(gè)基本單元上一個(gè)時(shí)鐘周期接收到的數(shù)據(jù)；第三個(gè)時(shí)鐘周期每個(gè)基本單元仍重復(fù)上一個(gè)周期的操作，直到ki個(gè)時(shí)鐘周期后，每個(gè)基本單元都接收到了ki次數(shù)據(jù)，正好對(duì)應(yīng)了由上層傳下來d1～dki所有的數(shù)據(jù)，既同一個(gè)數(shù)據(jù)包遍歷該層所有基本單元；由此，該結(jié)構(gòu)實(shí)現(xiàn)了全連接層基本單元輸入數(shù)據(jù)的共享。進(jìn)一步的，儲(chǔ)模塊是兩個(gè)sram，一個(gè)按順序存放著該基本單元計(jì)算需要權(quán)重值，另外一個(gè)存放著每個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)的偏置值；讀地址模塊由列模塊輸出的有效信號(hào)控制，輸出當(dāng)前兩個(gè)sram的讀地址；數(shù)據(jù)在全連接基本單元進(jìn)行計(jì)算的過程是：從上層網(wǎng)絡(luò)結(jié)構(gòu)或本層其它基本單元處接收到的數(shù)據(jù)包進(jìn)入該基本單元輸入端口，該數(shù)據(jù)包的大小等于全連接基本單元輸入端口的個(gè)數(shù)乘以端口的數(shù)據(jù)位寬；該數(shù)據(jù)包同時(shí)輸入多個(gè)基本列模塊，在每個(gè)列模塊中拆分為單獨(dú)的數(shù)據(jù)送入該列模塊中的基本神經(jīng)元模塊中；在數(shù)據(jù)輸入的同時(shí)，地址計(jì)數(shù)器模塊將這些數(shù)據(jù)對(duì)應(yīng)的權(quán)重所存的地址讀入存儲(chǔ)模塊，將對(duì)應(yīng)的一行權(quán)重?cái)?shù)據(jù)包讀入列模塊，該權(quán)重?cái)?shù)據(jù)包的大小也為全連接基本單元的輸入端口乘以數(shù)據(jù)位寬，該權(quán)重?cái)?shù)據(jù)包在列模塊中進(jìn)行拆分分配，送入不同的基本神經(jīng)元中進(jìn)行計(jì)算；每個(gè)基本神經(jīng)元模塊計(jì)算出一個(gè)數(shù)據(jù)，這些數(shù)據(jù)在基本列模塊里進(jìn)行相加、存儲(chǔ)，等待下一次計(jì)算的結(jié)果出來繼續(xù)累加、直到所有輸入基本單元的數(shù)據(jù)包都參與了運(yùn)算，隨后由基本列模塊輸出最終結(jié)果，多個(gè)基本列模塊將數(shù)據(jù)打包輸出，輸出數(shù)據(jù)包的大小為輸出端口數(shù)乘以數(shù)據(jù)位寬。進(jìn)一步的，若上一層全連接環(huán)中的路由器數(shù)量小于下一層環(huán)中的路由數(shù)器數(shù)量，將下一層全連接環(huán)中的路由器等間隔與上一層環(huán)中的路由器相連；若上一層路由器數(shù)量大于下一層路由器數(shù)量，則將下一層環(huán)中已有的路由器等間隔增加路由器，路由器負(fù)責(zé)同層及層間的數(shù)據(jù)傳輸。。進(jìn)一步的，支持雙向的數(shù)據(jù)傳遞(前向推理，反向?qū)W習(xí))，同一層全連接環(huán)中傳遞同一類型數(shù)據(jù)包時(shí)，基本單元的發(fā)送數(shù)據(jù)包的方向一致。相對(duì)于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：1、根據(jù)實(shí)際應(yīng)用需求，可以通過參數(shù)配置生成不同層數(shù)和不同規(guī)模的神經(jīng)網(wǎng)絡(luò)全連接層。卷積神經(jīng)網(wǎng)絡(luò)算法中是由n層全連接互連構(gòu)成的全連接網(wǎng)絡(luò)，每層例化了ki個(gè)全連接基本單元，ki個(gè)基本單元兩兩相連形成一個(gè)閉合環(huán)路，每一層的ki值可以不同的數(shù)值。2、全連接層每一層中的基本單元都可以從上層對(duì)應(yīng)的基本單元或本層與之相鄰的基本單元處接收數(shù)據(jù)，也可以將數(shù)據(jù)傳輸至下層基本單元或本層與之相鄰的基本單元中。每層包含的全連接基本單元在各自收到上層傳來的數(shù)據(jù)包后先在該單元中存儲(chǔ)，第二個(gè)時(shí)鐘周期將推理使用的數(shù)據(jù)包順時(shí)針(學(xué)習(xí)使用的數(shù)據(jù)包逆時(shí)針)傳入與之相鄰的基本單元再次存儲(chǔ)，之后一直將這種數(shù)據(jù)包按照同一個(gè)時(shí)鐘方向傳遞，直到同一個(gè)數(shù)據(jù)包遍歷該層所有基本單元，這樣就實(shí)現(xiàn)了全連接的輸入?yún)⑴c每個(gè)基本計(jì)算單元的功能要求。3、構(gòu)成全連接層的基本單元內(nèi)部結(jié)構(gòu)可根據(jù)參數(shù)進(jìn)行配置。全連接基本單元的輸入數(shù)據(jù)位寬、個(gè)數(shù)和數(shù)據(jù)批次數(shù)可配置，基本單元中負(fù)責(zé)計(jì)算操作的基本模塊個(gè)數(shù)(本設(shè)計(jì)中稱為基本列模塊和基本神經(jīng)元)以及每個(gè)基本模塊里的結(jié)構(gòu)可配置，輸出數(shù)據(jù)位寬、個(gè)數(shù)和輸出時(shí)刻可配置，這樣就可以通過參數(shù)配置實(shí)現(xiàn)不同算法結(jié)構(gòu)的全連接層網(wǎng)絡(luò)硬件架構(gòu)。本發(fā)明采用可配置的全連接基本單元作為全連接層硬件實(shí)現(xiàn)的基礎(chǔ)，用戶可以根據(jù)實(shí)際使用的神經(jīng)網(wǎng)絡(luò)的需求通過設(shè)置參數(shù)控制生成多個(gè)基本單元并互連的方式完成其網(wǎng)絡(luò)中全連接層的設(shè)計(jì)實(shí)現(xiàn)和并行加速。附圖說明圖1為本發(fā)明一種參數(shù)化可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)全連接層多層互連結(jié)構(gòu)的結(jié)構(gòu)圖；圖2為本發(fā)明全連接層各基本單元收發(fā)數(shù)據(jù)流向示意圖；圖3為本發(fā)明全連接層基本單元設(shè)計(jì)功能圖；圖4為本發(fā)明全連接層基本單元硬件架構(gòu)圖。具體實(shí)施方式下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)的描述請(qǐng)參閱圖1所示，本發(fā)明一種參數(shù)化可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)全連接層多層互連結(jié)構(gòu)，是由n層全連接層互連構(gòu)成的全連接網(wǎng)絡(luò)，每層分別例化了若干個(gè)基本單元，每層中的每個(gè)基本單元都從上一層接收數(shù)據(jù)，黑色實(shí)線箭頭描述的是全連接層正向網(wǎng)絡(luò)的數(shù)據(jù)流向，黑色虛線箭頭描述的是全連接層反向網(wǎng)絡(luò)的數(shù)據(jù)流向，正向數(shù)據(jù)由卷積層和池化層輸出到全連接的第一層f1，該層實(shí)例化了k1個(gè)基本模塊，在圖1中分別表示為f11～f1k1，第一層f1中每個(gè)基本模塊都從池化層接收數(shù)據(jù)，在f1層計(jì)算后傳入下一層全連接f2，f2層也是根據(jù)輸出的參數(shù)例化了k2個(gè)基本模塊互連構(gòu)成，數(shù)據(jù)在f2層計(jì)算完成后又傳入f3，就這樣一直傳到fn層，計(jì)算后傳入最后的輸出分類層輸出。請(qǐng)參閱圖2所示，全連接層各個(gè)基本單元接收到的數(shù)據(jù)后在本層內(nèi)進(jìn)行計(jì)算和傳輸?shù)木唧w過程，假設(shè)fi+1,1收到上層傳來的數(shù)據(jù)為di,1，fi+1,2接收到的數(shù)據(jù)為di,2,，以此類推，fi+1,ki接收到數(shù)據(jù)di,ki，那么在第一個(gè)時(shí)鐘周期，fi+1層各個(gè)基本單元先對(duì)自己接收到的數(shù)據(jù)進(jìn)行計(jì)算，在第二個(gè)時(shí)鐘周期的時(shí)候這些數(shù)據(jù)同時(shí)以同一個(gè)方向移動(dòng)到下游的基本單元，圖2中的順時(shí)針方向的箭頭表示此時(shí)的數(shù)據(jù)流向，如圖所示，fi+1,1原先接收到的數(shù)據(jù)di,1移動(dòng)至fi+1,2，而fi+1,2原先接收到的數(shù)據(jù)di,2移動(dòng)至fi+1,3，fi+1.k(i+1)原先接收到的數(shù)據(jù)di,k移動(dòng)至fi+1,1，以此類推，所以第二個(gè)時(shí)鐘周期每個(gè)基本單元接收到的數(shù)據(jù)即為自己前一個(gè)基本單元上一個(gè)時(shí)鐘周期接收到的數(shù)據(jù)，第三個(gè)時(shí)鐘周期每個(gè)基本單元重復(fù)上一個(gè)周期的操作，直到k個(gè)時(shí)鐘周期后，每個(gè)基本單元都接收到了ki次數(shù)據(jù)，正好對(duì)應(yīng)了由上層傳下來的包括d1～dki所有的數(shù)據(jù)，由此，該結(jié)構(gòu)便實(shí)現(xiàn)了全連接層基本單元輸入數(shù)據(jù)的共享。請(qǐng)參閱圖3所示，每一個(gè)基本單元的邏輯功能，假設(shè)一個(gè)基本單元有i個(gè)輸入和j個(gè)輸出，則可以構(gòu)成圖3中的類似于交叉開關(guān)的結(jié)構(gòu)，數(shù)據(jù)從水平方向進(jìn)入，豎直方向輸出。交叉開關(guān)橫縱交錯(cuò)的節(jié)點(diǎn)稱為基本神經(jīng)元?；旧窠?jīng)元中可以實(shí)現(xiàn)多個(gè)數(shù)據(jù)的乘加運(yùn)算。全連接基本單元有i個(gè)輸入，每個(gè)對(duì)應(yīng)交叉結(jié)構(gòu)的一行，需要計(jì)算的數(shù)據(jù)從該行的輸入口傳入該行每一個(gè)基本神經(jīng)元中與每個(gè)基本神經(jīng)元中的參數(shù)進(jìn)行計(jì)算，所以j個(gè)輸出端口的每一列都會(huì)計(jì)算出i個(gè)值，將每列的基本神經(jīng)元合起來看做一個(gè)基本列模塊，因?yàn)樵摶締卧瓿扇B接的乘加功能，全連接的每個(gè)輸出結(jié)果由所有輸入數(shù)據(jù)和權(quán)重值的積相加而成，因此將基本列模塊中所有基本神經(jīng)元計(jì)算的結(jié)果相加作為輸出。請(qǐng)參閱圖4所示為全連接基本單元的設(shè)計(jì)架構(gòu)；基本單元包括存儲(chǔ)模塊、地址計(jì)數(shù)器模塊和若干基本列模塊。若干基本列模塊并列設(shè)置，每個(gè)基本列模塊的輸入端均連接基本單元的數(shù)據(jù)輸入端和存儲(chǔ)模塊的輸出端，每個(gè)基本列模塊的輸出端均連接基本單元的數(shù)據(jù)輸出端；地址計(jì)數(shù)器模塊的輸入端連接一個(gè)基本列模塊，地址計(jì)數(shù)器模塊的輸出端連接存儲(chǔ)模塊；地址計(jì)數(shù)器模塊用于采集基本列模塊的計(jì)算次數(shù)。存儲(chǔ)模塊包括權(quán)重sram和偏置sram?；玖心K用于根據(jù)存儲(chǔ)模塊輸入的權(quán)重和偏置對(duì)接收的輸入數(shù)據(jù)與權(quán)重進(jìn)行相乘，然后與偏置相加獲得輸出數(shù)據(jù)進(jìn)行輸出。一個(gè)基本單元連接一個(gè)路由器，同一全連接層中的基本單元經(jīng)過路由器相連，形成全連接環(huán)。將全連接環(huán)的路由器上下相連，形成一種參數(shù)化可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)全連接層多層互連結(jié)構(gòu)。若上一層環(huán)中的路由器數(shù)量小于下一層環(huán)中的路由數(shù)器數(shù)量，將下一層環(huán)中的路由器等間隔與上一層環(huán)中的路由器相連；若上一層路由器數(shù)量大于下一層路由器數(shù)量，則將下一層環(huán)中已有的路由器等間隔增加路由器，路由器負(fù)責(zé)同層及層間的數(shù)據(jù)傳輸?；玖心K主要用于數(shù)據(jù)的運(yùn)算，具體數(shù)目由參數(shù)決定，每個(gè)列模塊中又根據(jù)配置參數(shù)實(shí)例化相應(yīng)的基本神經(jīng)元，這些基本神經(jīng)元就對(duì)應(yīng)了圖3交叉開關(guān)的節(jié)點(diǎn)，其數(shù)量等于該全連接基本單元的輸入的端口數(shù)。存儲(chǔ)模塊是兩個(gè)sram，一個(gè)按順序存放著該基本單元計(jì)算需要權(quán)重值(weight)，另外一個(gè)存放著每個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)的偏置值(bias)。讀地址模塊由列模塊輸出的有效信號(hào)控制，輸出當(dāng)前兩個(gè)sram的讀地址。數(shù)據(jù)在全連接基本單元進(jìn)行計(jì)算的過程是：從上層網(wǎng)絡(luò)結(jié)構(gòu)或本層其它基本單元處接收到的數(shù)據(jù)包進(jìn)入該基本單元輸入端口，該數(shù)據(jù)包的大小等于全連接基本單元輸入端口的個(gè)數(shù)乘以端口的數(shù)據(jù)位寬。該數(shù)據(jù)包同時(shí)輸入多個(gè)基本列模塊，在每個(gè)列模塊中拆分為單獨(dú)的數(shù)據(jù)送入該列模塊中的基本神經(jīng)元模塊中。在數(shù)據(jù)輸入的同時(shí)，地址計(jì)數(shù)器模塊將這些數(shù)據(jù)對(duì)應(yīng)的權(quán)重所存的地址讀入存儲(chǔ)模塊，將對(duì)應(yīng)的一行權(quán)重?cái)?shù)據(jù)包讀入列模塊，該權(quán)重?cái)?shù)據(jù)包的大小也為全連接基本單元的輸入端口乘以數(shù)據(jù)位寬，該權(quán)重?cái)?shù)據(jù)包在列模塊中進(jìn)行拆分分配，送入不同的基本神經(jīng)元中進(jìn)行計(jì)算。每個(gè)基本神經(jīng)元模塊計(jì)算出一個(gè)數(shù)據(jù)，這些數(shù)據(jù)在基本列模塊里進(jìn)行相加、存儲(chǔ)，等待下一次計(jì)算的結(jié)果出來繼續(xù)累加、直到所有輸入基本單元的數(shù)據(jù)包都參與了運(yùn)算，隨后由基本列模塊輸出最終結(jié)果，多個(gè)列模塊將數(shù)據(jù)打包輸出，輸出數(shù)據(jù)包的大小為輸出端口數(shù)乘以數(shù)據(jù)位寬。表1為圖4中英文變量對(duì)應(yīng)的中文解釋：表1：全連接基本單元配置參數(shù)表參數(shù)名稱參數(shù)意義datawidth數(shù)據(jù)位寬num_datain輸入數(shù)據(jù)個(gè)數(shù)num_f_out輸出數(shù)據(jù)個(gè)數(shù)add_times每獲得一次輸出結(jié)果需要接收數(shù)據(jù)的次數(shù)num_nrn_everycol每個(gè)基本列模塊含有基本神經(jīng)元的個(gè)數(shù)para_row_num存儲(chǔ)模塊存儲(chǔ)的權(quán)重值行數(shù)para_column_num存儲(chǔ)模塊每行存儲(chǔ)的權(quán)重值個(gè)數(shù)當(dāng)前人工神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢(shì)是定制專用的嵌入式人工智能芯片，以加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和運(yùn)行速度；本發(fā)明主要針對(duì)的是卷積神經(jīng)網(wǎng)絡(luò)的全連接部分在硬件上的實(shí)現(xiàn)方式提出一種參數(shù)化可擴(kuò)展的多層全連接互連結(jié)構(gòu)：利用參數(shù)配置生成不同規(guī)模的全連接網(wǎng)絡(luò)；每層例化出多個(gè)全連接基本單元，每層中的全連接基本單元互連構(gòu)成一個(gè)閉合回路用來分時(shí)傳遞需要計(jì)算的數(shù)據(jù)；每個(gè)基本單元的輸入、輸出數(shù)據(jù)個(gè)數(shù)可配置，基本列模塊和基本神經(jīng)元數(shù)目可配置。本發(fā)明的設(shè)計(jì)充分考慮了數(shù)據(jù)流水線，縮短了系統(tǒng)運(yùn)行時(shí)鐘周期，靈活配置全連接層的結(jié)構(gòu)和規(guī)模，便于系統(tǒng)的快速部署實(shí)現(xiàn)。當(dāng)前第1頁12