AI资讯新闻榜单内容搜索-Transforme

关键词: Transformer,AI框架,Mamba 2,模型训练

自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。

关键词: Mamba-2,AI框架,注意力机制,Transforme,模型训练

Transformer挑战者、新架构Mamba，刚刚更新了第二代：

关键词: Mamba-2,AI框架,注意力机制,Transforme,模型训练

在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？

关键词: Transformer,DCFormer,AI框架,模型训练

改进Transformer核心机制注意力，让小模型能打两倍大的模型！

关键词: LLM,Llama 2,大语言模型,Transformer,token

在以英语为主的语料库上训练的多语言LLM，是否使用英语作为内部语言？对此，来自EPFL的研究人员针对Llama 2家族进行了一系列实验。

关键词: GPU,Transformer,AI,模型训练,大模型

乘法和排序也有效。

关键词: 扩散模型,ViT,Transformer,CNN,计算机视觉

用卷积能做出一样好的效果。

关键词: Transformer,AI框架,AI论文,LLM,模型训练

即使最强大的 LLM 也难以通过 token 索引来关注句子等概念，现在有办法了。

关键词: AI机器人,八爪鱼,Octo,Transformer,机器人基础模型

一位优秀的相声演员需要吹拉弹唱样样在行，类似地，一个优秀的机器人模型也应能适应多样化的机器人形态和不同的任务，但目前大多数机器人模型都只能控制一种形态的机器人执行一类任务。现在 Octo（八爪鱼）来了！这个基于 Transformer 的模型堪称当前最强大的开源机器人学习系统，无需额外训练就能完成多样化的机器人操控任务并能在一定程度适应新机器人形态和新任务，就像肢体灵活的八爪鱼。

关键词: Transformer,LLM,大语言模型,pLM,蛋白质语言模型

科学家们把Transformer模型应用到蛋白质序列数据中，试图在蛋白质组学领域复制LLM的成功。本篇文章能够带你了解蛋白质语言模型（pLM）的起源、发展，以及那些尚待解决的问题。