搜索
几乎所有 Transformer 都在做一件反常的事：把大量注意力集中到少数几个特定 Token 上。这不是 bug，而是 Transformer 固有的「注意力汇聚」（Attention Sink）。首篇系统性综述，带你从利用、理解到消除，全面掌握这一核心现象。
五周前老黄亲自站台封神的OpenClaw，现在连自家大厂都不敢装最新版。疯狂迭代、系统频崩、下载腰斩，甚至连「一键跑路」代码都被端了上来。
刚刚，混元的 Hy3 Preview 也正式亮相，这是腾讯首席 AI 科学家姚顺雨主导的一个模型。姚顺雨表示，Hy3 preview是混元大模型重建的第一步。他希望通过这次开源和发布，不断提升 Hy3 正式版的实用性，以及模型在真实场景中的综合表现，并开始探索特色模型能力。
一位接近DeepSeek的一线机构投资人士告诉我们，这些数字都不准确，DeepSeek融前估值是3000亿人民币，约合440亿美元。这一估值超过当前已经上市的大模型公司Minimax的2400亿（4月23日），接近智谱的3800亿元。
让AI理解人的想法，而不是让人适应AI。
成立不到一年，跻身“百亿估值俱乐部”。
最近，苹果又整了个活儿，很工程、也挺关键： 把又贵又强的 Transformer，改造成又便宜又差不多强的 Mamba。而且，性能基本没怎么掉。
浙江大学团队开源了一个基于多智能体技术的演化叙事系统OpenStory，不仅还原了经典《红楼梦》中的角色和场景，实验结果也揭示了AGI下系统脆弱性，引发对智能演化的深刻思考。
在推理后训练里，多数方法仍依赖奖励模型、验证器或额外教师信号。如果不依赖这些外部信号，只使用模型自身生成的答案进行自训练，是否仍然能够提升推理能力？是的！SePT（Self-evolving Post-Training）给出肯定答案，简洁的自训练方法，可在数学推理任务准确率直升10个点！
对 AI 数据中心持续不断的需求正在蔓延到为冷却芯片服务器等关键任务提供组件的鲜为人知的公司。