您的当前位置:首页 > 焦点 > 比Transformer更好,无Attention、MLPs的BERT、GPT反而更强了 正文
时间:2024-12-25 16:18:17 来源:网络整理 编辑:焦点
本文探究了 Monarch Mixer (M2) ,这是一种在序列长度以及模子维度上都是次二次的新架构,而且在今世减速器上具备很高的硬件功能。从 BERT、GPT 以及 Flan-T5 等语言模子到
本文探究了 Monarch Mixer (M2) ,更好更强这是更好更强一种在序列长度以及模子维度上都是次二次的新架构,而且在今世减速器上具备很高的更好更强硬件功能。
从 BERT 、更好更强GPT 以及 Flan-T5 等语言模子到 SAM 以及 Stable Diffusion 等图像模子,更好更强Transformer 正以所向无敌之势席卷这个天下,更好更强但人们也不禁会问:Transformer 是更好更强仅有抉择吗 ?
斯坦福大学以及纽约州立大学布法罗分校的一个钻研团队不光为这一下场给出了招供谜底,而且还提出了一种新的更好更强替换技术:Monarch Mixer 。克日,更好更强该团队在 arXiv 宣告了相关论文以及一些魔难点模子及磨炼代码。更好更强顺带一提 ,更好更强该论文已经落选 NeurIPS 2023 并取患上 Oral Presentation 资历。更好更强
论文地址