
与真格戴雨森聊 Agent:各行业都会遭遇 “李世石时刻”,Attention is not all you need
与真格戴雨森聊 Agent:各行业都会遭遇 “李世石时刻”,Attention is not all you need晚点:过去将近 6 个月,AI 领域最重要的两件事,一是 OpenAI 去年 9 月 o1 发布,另一个是近期 DeepSeek 在发布 R1 后掀起全民狂潮。我们可以从这两个事儿开始聊。你怎么看 o1 和 R1 分别的意义?
晚点:过去将近 6 个月,AI 领域最重要的两件事,一是 OpenAI 去年 9 月 o1 发布,另一个是近期 DeepSeek 在发布 R1 后掀起全民狂潮。我们可以从这两个事儿开始聊。你怎么看 o1 和 R1 分别的意义?
就在刚刚,2024 ACM计算奖出炉!苏黎世联邦理工学院Torsten Hoefler教授获奖,理由是对高性能计算HPC及持续推进的AI革命的贡献。在20多岁时,他就完成了许多重要工作,这证明年龄绝非在CS取得突破的障碍!
本期我们邀请到了沈振宇作为访谈嘉宾。这位曾被张一鸣直接招募、亲历字节跳动崛起的产品人,如今已经完成了从图虫到千岛的两次创业蜕变。
开发者工具正在随着 AI 的快速发展而改变。因此,那些在其工作流程中更容易采用 AI 的公司正受到广泛关注。2022 年,一家名为 n8n(发音为“enay-ten”)的初创公司将其工作流自动化平台转向更加 AI 友好,该公司表示其收入增长了 5 倍,仅在过去两个月就翻了一番。
大模型同样的上下文窗口,只需一半内存就能实现,而且精度无损? 前苹果ASIC架构师Nils Graef,和一名UC伯克利在读本科生一起提出了新的注意力机制Slim Attention。
在 ChatGPT 爆火两年多的时间里,大语言模型的上下文窗口长度基准线被拉升,以此为基础所构建的长 CoT 推理、多 Agent 协作等类型的高级应用也逐渐增多。
DeepSeek-R1 作为 AI 产业颠覆式创新的代表轰动了业界,特别是其训练与推理成本仅为同等性能大模型的数十分之一。多头潜在注意力网络(Multi-head Latent Attention, MLA)是其经济推理架构的核心之一,通过对键值缓存进行低秩压缩,显著降低推理成本 [1]。
当DeepSeek引发业界震动时,元始智能创始人彭博正专注于一个更宏大的愿景。
YOLO 系列模型的结构创新一直围绕 CNN 展开,而让 transformer 具有统治优势的 attention 机制一直不是 YOLO 系列网络结构改进的重点。这主要的原因是 attention 机制的速度无法满足 YOLO 实时性的要求。
该篇文章为:100% HWC(Human-Written Content)100% 人类创作内容。(没有任何人工智能生成的内容)自从开始了 Easier Life 这个项目后,我每天都有很多新奇的想法。说好每两周要做一个产品,没想到第二个就“失败”了。