您現在的位置是:騰博tb9887娛樂官網 > 時尚

放棄Softmax,首個線性注意力Transformer大模型:1750億參數,速度、精度更優

騰博tb9887娛樂官網2024-02-16 08:54:21【時尚】9人已圍觀

簡介新利體育在線官網【實名注冊有禮】  大家好,最近大家比較關注阿德巴約30+15方面的信息,小編今天收集了一些這方面的內容分享給大家,希望大家喜歡這篇文章哦。摘要:  在今日的東部決賽中,熱火客場109-103力克凱爾特人,大比分2-

放棄Softmax,放棄首個線性注意力Transformer大模型:1750億參數,首數速速度、個線精度更優 2023年07月28日 16:11 機器之心Pro 新浪財經APP 縮小字體 放大字體 收藏 微博 微信 分享 騰訊QQ QQ空間

GPT 等大型語言模型(LLM)的性注成功離不開 Softmax 注意力機制,但這一機制也存在著成本高等一些缺點。意力億參優

近日,大度精度更上海人工智能實驗室和 OpenNLPLab 的模型一個研究團隊提出了一種新的大型語言模型 TransNormerLLM,其中完全拋棄了基于 Softmax 的放棄注意力機制,而是首數速使用了新提出的線性注意力。據介紹,個線TransNormerLLM 是性注首個基于線性注意力的大型語言模型(LLM),其在準確度和效率方面的意力億參優表現優于傳統的基于 Softmax 注意力的模型。研究者也將發布其預訓練模型的大度精度更開源版本。

模型

很贊哦!(212)

青青青国产精品一区二区