「未来，99% 的 attention 将是大模型 attention，而不是人类 attention。」这是 AI 大牛 Andrej Karpathy 前段时间的一个预言。这里的「attention」可以理解为对内容的需求、处理和分析。也就是说，他预测未来绝大多数资料的处理工作将由大模型来完成，而不是人类。
Attention 还在卷自己。
晚点：过去将近 6 个月，AI 领域最重要的两件事，一是 OpenAI 去年 9 月 o1 发布，另一个是近期 DeepSeek 在发布 R1 后掀起全民狂潮。我们可以从这两个事儿开始聊。你怎么看 o1 和 R1 分别的意义？
就在刚刚，2024 ACM计算奖出炉！苏黎世联邦理工学院Torsten Hoefler教授获奖，理由是对高性能计算HPC及持续推进的AI革命的贡献。在20多岁时，他就完成了许多重要工作，这证明年龄绝非在CS取得突破的障碍！
本期我们邀请到了沈振宇作为访谈嘉宾。这位曾被张一鸣直接招募、亲历字节跳动崛起的产品人，如今已经完成了从图虫到千岛的两次创业蜕变。
开发者工具正在随着 AI 的快速发展而改变。因此，那些在其工作流程中更容易采用 AI 的公司正受到广泛关注。2022 年，一家名为 n8n（发音为“enay-ten”）的初创公司将其工作流自动化平台转向更加 AI 友好，该公司表示其收入增长了 5 倍，仅在过去两个月就翻了一番。
大模型同样的上下文窗口，只需一半内存就能实现，而且精度无损？ 前苹果ASIC架构师Nils Graef，和一名UC伯克利在读本科生一起提出了新的注意力机制Slim Attention。
在 ChatGPT 爆火两年多的时间里，大语言模型的上下文窗口长度基准线被拉升，以此为基础所构建的长 CoT 推理、多 Agent 协作等类型的高级应用也逐渐增多。
DeepSeek-R1 作为 AI 产业颠覆式创新的代表轰动了业界，特别是其训练与推理成本仅为同等性能大模型的数十分之一。多头潜在注意力网络（Multi-head Latent Attention, MLA）是其经济推理架构的核心之一，通过对键值缓存进行低秩压缩，显著降低推理成本 [1]。
当DeepSeek引发业界震动时，元始智能创始人彭博正专注于一个更宏大的愿景。
