技術(shù)編號(hào)：40455303
提示：您尚未登錄，請(qǐng)點(diǎn) 登 陸 后下載，如果您還沒(méi)有賬戶請(qǐng)點(diǎn) 注 冊(cè) ，登陸完成后，請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本發(fā)明涉及大模型推理?，尤其涉及一種模型推理方法及裝置。背景技術(shù)、目前，在transformer類大模型結(jié)構(gòu)中，主要包括注意力（attention）和前饋神經(jīng)網(wǎng)絡(luò)（feed?forward?neural?network，ffn）兩部分計(jì)算，而且transformer類大模型一般為多層實(shí)現(xiàn)，每一層主要包括attention和ffn單元。通常在推理時(shí)，對(duì)于每個(gè)輸入的推理對(duì)象（token）都要經(jīng)過(guò)attention計(jì)算和ffn計(jì)算，這樣在上下文比較長(zhǎng)時(shí)，對(duì)于每一層的attention，都需要存儲(chǔ)之前...
注意：該技術(shù)已申請(qǐng)專利，請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識(shí)儲(chǔ)備，不適合論文引用。
請(qǐng)注意，此類技術(shù)沒(méi)有源代碼，用于學(xué)習(xí)研究技術(shù)思路。