Transformer上限触顶,Mobius能否引发下一代模型架构的革命?
Transformer上限触顶,Mobius能否引发下一代模型架构的革命?Transformer 的上限在哪里?这个问题从 2022 年 ChatGPT 问世起,就开始被广泛讨论。
来自主题: AI技术研报
6891 点击 2026-08-06 09:36
搜索
Transformer 的上限在哪里?这个问题从 2022 年 ChatGPT 问世起,就开始被广泛讨论。
近期,DiT(Diffusion Transformer)论文的作者谢赛宁在朋友圈分享了他对 Sora 的看法,其中核心资源的排序是——人才第一、数据第二、算力第三,其他都没有什么是不可替代的。