AI资讯新闻榜单内容搜索-Infini-Tra

关键词: AI,Transformer,模型训练,模型训练

Transformer 的强大实力已经在诸多大型语言模型（LLM）上得到了证明，但该架构远非完美，也有很多研究者致力于改进这一架构，比如机器之心曾报道过的 Reformer 和 Infini-Transformer。

关键词: 谷歌,AI大模型,上下文,LLM,模型训练

为解决大模型（LLMs）在处理超长输入序列时遇到的内存限制问题，本文作者提出了一种新型架构：Infini-Transformer，它可以在有限内存条件下，让基于Transformer的大语言模型（LLMs）高效处理无限长的输入序列。实验结果表明：Infini-Transformer在长上下文语言建模任务上超越了基线模型，内存最高可节约114倍。

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。