AI资讯新闻榜单内容搜索-Transforme

关键词: Transformer,AI,Character.AI,人工智能,AI公司

AI 初创者的归宿还是大厂？

关键词: 大模型,AI,Transformer,AI框架,CNN,模型训练

Transformer大模型尺寸变化，正在重走CNN的老路！

关键词: Transformer,AI框架,模型训练,位置编码,AI

RNN每个step的隐状态都取决于上一个step的输出，这种连续的状态转移方式使得RNN天然带有位置信息。

关键词: Transformer,AI框架,模型训练,AI,大模型

Transformer中的信息流动机制，被最新研究揭开了：

关键词: 时间序列大模型,AI,AI框架,模型训练

大模型在语言、图像领域取得了巨大成功，时间序列作为多个行业的重要数据类型，时序领域的大模型构建尚处于起步阶段。近期，清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练，获得了任务通用的时序分析模型，展现出大模型特有的泛化性与可扩展性

关键词: AI,AI框架,Transformer,陈丹琦

好家伙！为了揭秘Transformer内部工作原理，陈丹琦团队直接复现——

关键词: Mamba,Transformer,AI,大模型,Codestral Mamba

“欧洲OpenAI”和“Transformer挑战者”强强联合了！

关键词: LLM,AI,GPT-4,大模型,Transformer

把因果链展示给 LLM，它就能学会公理。

关键词: GPT-4,AI,Transformer,GenAI

来自微软、MIT等机构的学者提出了一种创新的训练范式，攻破了大模型的推理缺陷。他们通过因果模型构建数据集，直接教模型学习公理，结果只有67M参数的微型Transformer竟能媲美GPT-4的推理能力。

关键词: Mamba,Transformer,AI框架,AI,模型训练

Mamba模型由于匹敌Transformer的巨大潜力，在推出半年多的时间内引起了巨大关注。但在大规模预训练的场景下，这两个架构还未有「一较高低」的机会。最近，英伟达、CMU、普林斯顿等机构联合发表的实证研究论文填补了这个空白。