拿捏了!A社假装看不见Grok蒸馏,原来是怕被老马断电
拿捏了!A社假装看不见Grok蒸馏,原来是怕被老马断电彭博社披露,Anthropic以“客户B”身份向SpaceX租用Colossus及Colossus II算力,第三季度贡献SpaceX营收的34.5%,并受SpaceX断电权约束,故未公开指责Grok蒸馏Claude。
搜索
彭博社披露,Anthropic以“客户B”身份向SpaceX租用Colossus及Colossus II算力,第三季度贡献SpaceX营收的34.5%,并受SpaceX断电权约束,故未公开指责Grok蒸馏Claude。
清华大学研究团队提出动作级在线蒸馏ActionOPD,在学生实际访问状态下以语义动作监督策略优化,使轻量Agent学习教师决策而非模仿Token,并支持黑盒接口、跨家族蒸馏及Self-ActionOPD自蒸馏。
LLM智能体如何在部署过程中,通过自身执行持续进化?
王琰在 TraceForge 技术报告中提出用同族模型合成原生思维链,在 Qwen3.5-9B-Base 实验中超过直接蒸馏 Claude Fable 5 思维链的方案,动摇闭源模型以隐藏思维链构筑的能力护城河。
今年春天,一台台黄色飞机停在机场,它们的公司 Spirit Airline 宣布破产,这些飞机将永远不再起飞。 这是一家廉价航空,已经连续几年经营不善,直到伊朗战争及霍尔木兹海峡运输受阻,令航空燃油价
普林斯顿大学陈丹琦团队在arXiv发布约4B参数模型QUEEN,通过门控交叉注意力连接Leela与SmolLM3-3B,并引入四阶段课程和迭代搜索蒸馏,使其棋力接近特级大师且能用自然语言解释着法。
亚马逊公司与杜克大学的研究表明,在大模型后训练的在线策略蒸馏(OPD)中,仅保留万分之一的极端稀疏监督信号即可显著提升学生模型的推理能力,且性能可匹配甚至超越密集全信号训练。
LinkedIn 公开其 AI 职位搜索的多教师蒸馏训练基础设施,通过基于 SGLang 的定制框架结合在线与离线蒸馏方案,并叠加 LiGer、多节点训练、FSDP2 及 H200 集群等优化,实现约 8 倍训练加速,将 80 亿参数相关性模型和 17 亿参数互动模型的知识压缩至 6 亿参数排序模型,使职位搜索 NDCG@10 提升 24.48%。
北京大学、清华大学与阿里巴巴等机构联合提出SparkDiffusion视频生成加速系统,通过融合稀疏注意力、少步蒸馏与FP8量化,在单卡RTX 5090上实现最高720倍推理加速,可在18秒内生成5秒720P视频,并已完整开源权重与训练代码。
浙江大学、清华大学与新加坡国立大学团队推出TurboT2VA,采用分布蒸馏与轨迹蒸馏联合方案将音视频生成速度提升54.67倍,在单张H20上将1024×1792分辨率121帧的生成耗时从318.74秒降至5.83秒。