AI资讯新闻榜单内容搜索-Transforme

关键词: Mamba,Transformer,AI,大模型,Codestral Mamba

“欧洲OpenAI”和“Transformer挑战者”强强联合了！

关键词: LLM,AI,GPT-4,大模型,Transformer

把因果链展示给 LLM，它就能学会公理。

关键词: GPT-4,AI,Transformer,GenAI

来自微软、MIT等机构的学者提出了一种创新的训练范式，攻破了大模型的推理缺陷。他们通过因果模型构建数据集，直接教模型学习公理，结果只有67M参数的微型Transformer竟能媲美GPT-4的推理能力。

关键词: Mamba,Transformer,AI框架,AI,模型训练

Mamba模型由于匹敌Transformer的巨大潜力，在推出半年多的时间内引起了巨大关注。但在大规模预训练的场景下，这两个架构还未有「一较高低」的机会。最近，英伟达、CMU、普林斯顿等机构联合发表的实证研究论文填补了这个空白。

关键词: 大模型,AI,模型训练,Transformer

生成式模型原本被设计来模仿人类的各种复杂行为，但人们普遍认为它们最多只能达到与其训练数据中的专家相当的水平。不过，最新的研究突破了这一限制，表明在特定领域，如国际象棋，通过采用低温采样技术，这些模型能够超越它们所学习的那些专家，展现出更高的能力。

关键词: MoE,AI,Transformer ,LLM

释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。

关键词: AI,AI架构,TTT,Transformer

超越Transformer和Mamba的新架构，刚刚诞生了。斯坦福UCSD等机构研究者提出的TTT方法，直接替代了注意力机制，语言模型方法从此或将彻底改变。

关键词: RNN,Transformer,大模型,AI,TTT

新架构，再次向Transformer发起挑战！

关键词: Transformer,AI框架,AI,注意力机制,大模型,模型训练

只要将注意力切块，就能让大模型解码提速20倍。

关键词: Transformer,AI,AI蛋白质,AI生物,AI科研

糖类是自然界中最丰富的有机物质，对生命至关重要。了解糖类如何在生理和病理过程中调节蛋白质，可以为解决关键的生物学问题和开发新的治疗方法提供机遇。