技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明公開了一種用于執(zhí)行batch?normalization運算的裝置，包括指令存儲單元、控制器單元、數(shù)據(jù)訪問單元、運算單元。使用該裝置可以實現(xiàn)多層人工神經(jīng)網(wǎng)絡(luò)中的batch?normalization運算。對于batch?normalization運算來說，在正向過程中，用輸入減去均值除以方差與極小量定值eps和的平方根。之后乘以學(xué)習(xí)參數(shù)alpha加上學(xué)習(xí)參數(shù)beta得到該層輸出。在反向訓(xùn)練過程中，將輸入梯度向量減去梯度向量的均值向量之后再減去梯度向量與正向得到的輸出的乘積的均值乘以輸出，得到的差值除以正向中的方差與極小定值和的平方根，得到該層的輸出梯度向量。本發(fā)明有效提高了對人工神經(jīng)網(wǎng)絡(luò)中batch?normalization正反向運算的支持。

技術(shù)研發(fā)人員：劉少禮;于涌;陳云霽;陳天石
受保護的技術(shù)使用者：北京中科寒武紀(jì)科技有限公司
技術(shù)研發(fā)日：2016.04.29
技術(shù)公布日：2017.11.10