技術(shù)編號:40385651
提示:您尚未登錄,請點 登 陸 后下載,如果您還沒有賬戶請點 注 冊 ,登陸完成后,請刷新本頁查看技術(shù)詳細(xì)信息。本發(fā)明涉及人工智能,尤其涉及一種減少算力損耗的多模態(tài)大模型緩存系統(tǒng)及方法。背景技術(shù)、隨著人工智能技術(shù)的飛速發(fā)展,大模型(large?models)在自然語言處理、圖像識別、推薦系統(tǒng)等領(lǐng)域得到了廣泛應(yīng)用。大模型通常指的是參數(shù)量達(dá)到億級甚至十億級的深度學(xué)習(xí)模型,如openai的gpt-、谷歌的transformer等。這些模型能夠處理復(fù)雜的任務(wù),提供高質(zhì)量的預(yù)測結(jié)果,但隨之而來的是對計算資源的巨大需求。、在大模型的推理應(yīng)用中,每當(dāng)用戶提出一個查詢或者輸入一個提示語(prompt),模型就需要進...
注意:該技術(shù)已申請專利,請尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專利權(quán)人授權(quán)前,僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán),增加技術(shù)思路,做技術(shù)知識儲備,不適合論文引用。
請注意,此類技術(shù)沒有源代碼,用于學(xué)習(xí)研究技術(shù)思路。