字节Seed团队PHD-Transformer突破预训练长度扩展!破解KV缓存膨胀难题
字节Seed团队PHD-Transformer突破预训练长度扩展!破解KV缓存膨胀难题最近,DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后训练阶段探索了长度扩展(length scaling),通过强化学习(比如 PPO、GPRO)训练模型生成很长的推理链(CoT),并在奥数等高难度推理任务上取得了显著的效果提升。
最近,DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后训练阶段探索了长度扩展(length scaling),通过强化学习(比如 PPO、GPRO)训练模型生成很长的推理链(CoT),并在奥数等高难度推理任务上取得了显著的效果提升。
继吴永辉担任字节 AI 研发部门 Seed 的负责人后,Seed 组织正在陆续调整。
我们了解到,近期字节 AI 产品部门 Flow 旗下发生产品调整:社交陪伴类 AI 产品猫箱原负责人梁琛奇已离开字节跳动;猫箱负责人由原星绘产品负责人西原(花名)接任;同时,星绘团队计划并入豆包,将由豆包 App 端负责人陆游(花名)一起管理。
“字节版Manus”有多能打?量子位实测在此。
最近也是好起来了,上周四去杭州参加了字节火山的线下meetup开发者大会。在会议现场亲自体验了他们这次新发布的大模型和产品,整个过程还挺有意思的。视觉模型Doubao-1.5-vision-pro也非常nice
在Ola Friend的基础上推出智能眼镜,简直就是顺理成章的事情。
4 月 18 日晚间,字节跳动扣子空间开启内测,定位通用 Agent。与其他类似产品如 manus 一样,扣子空间采用了邀请码制。平台上,用户可以选择精通各项技能的「通用实习生」,也可以选择行业的「领域专家」,通过与 AI 的互动完成工作任务。
基于Transformer的自回归架构在语言建模上取得了显著成功,但在图像生成领域,扩散模型凭借强大的生成质量和可控性占据了主导地位。
经历了 2025 年初 DeepSeek、Manus 们的冲击,大厂正在重新明确自己下一步的战略。
今天,字节发布了一整套 AI 全家桶,深度思考模型、视觉推理、文生图、AI Agent……几乎涵盖了最近 AI 圈关注度最高的产品。字节发布的产品和亮点有哪些:1. 豆包 1.5 · 深度思考模型,2. 文生图 3.0