大模型推理速度飙升3.6倍,「美杜莎」论文来了,贾扬清:最优雅加速推理方案之一
大模型推理速度飙升3.6倍,「美杜莎」论文来了,贾扬清:最优雅加速推理方案之一去年,在加速大语言模型推理层面,我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今,关于 Medusa 终于有了完整技术论文,还提供了新的版本。
搜索
去年,在加速大语言模型推理层面,我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今,关于 Medusa 终于有了完整技术论文,还提供了新的版本。
疫情复苏之后的第二年,CES再次成为了观察未来趋势的最佳窗口,AI应用成为一条观察CES 2024新趋势的天然主线。
根据消息人士曝料,微软调集了各组中的精英,组建了一支新的AI团队,专攻小模型,希望能够摆脱对于OpenAI的依赖。
前两天,一个来自小红书的大佬发了个新项目——InstantID,是用一张你的随意角度的照片,就能生成一个 AI 头像。
前几天的 2024 达沃斯世界经济论坛上,Sam Altman 谈到了 GPT 发展的一些新的方向及可能性,对于当下大模型的一些现状的分析。
绝大多数AI生图模型在训练的时候侧重的是文本和图形之间的关联,并不擅长语义分析和复杂元素处理。
1月16日,AI知识智能技术开发商智谱AI举办了首届技术开放日(Zhipu DevDay),全面展示了其投身大模型事业三年多以来所积累的技术成果,并发布了新一代基座大模型GLM-4。
“AI 是否会取代软件工程师”是自大模型爆火以来程序员们最为关心的一大话题,事关编程的未来与我们每一位程序员。本文作者 Babel CEO、多年的资深程序员张海龙深入技术本质,为我们进行了答疑解惑。
AI应用开发者都在替平台打工,平台在替显卡厂打工,最后钱都到了英伟达。