近年来，大语言模型（LLM）的能力越来越强，但它们的“饭量”也越来越大。这个“饭量”主要体现在计算和内存上。当模型处理的文本越来越长时，一个叫做“自注意力（Self-Attention）”的核心机制会导致计算量呈平方级增长。这就像一个房间里的人开会，如果每个人都要和在场的其他所有人单独聊一遍，那么随着人数增加，总的对话次数会爆炸式增长。
在人工智能模型规模持续扩大的今天，数据集蒸馏（Dataset Distillation,DD）方法能够通过使用更少的数据，达到接近完整数据的训练效果，提升模型训练效率，降低训练成本。
还在为 LoRA 训练不稳定、模型融合效果差、剪枝后性能大降而烦恼吗？来自香港城市大学、南方科技大学、浙江大学等机构的研究者们提出了一种简单的渐进式训练策略，CoTo，通过在训练早期随机失活一部分适配器，并逐渐提高其激活概率，有效缓解了层级不均衡问题，并显著增强了模型在多任务融合和剪枝等操作上的鲁棒性和有效性。该工作已被机器学习顶会 ICML 2025 接收。
CostFilter-AD通过构建异常代价体并滤波来优化异常检测，能精准识别微小缺陷，无需缺陷样本训练。可作为通用插件提升现有检测系统，帮助工厂提前发现缺陷，提高产品质量。
大语言模型（Large Language Model, LLM）在复杂推理任务中表现卓越。借助链式思维（Chain-of-Thought, CoT），LLM 能够将复杂问题分解为简单步骤，充分探索解题思路并得出正确答案。LLM 已在多个基准上展现出优异的推理能力，尤其是数学推理和代码生成。
大语言模型（Large Language Models，LLMs）技术的迅猛发展，正在深刻重塑医疗行业。医疗领域正成为这一前沿技术的 “新战场” 之一。大模型具备强大的文本理解与生成能力，能够快速读取医学文献、解读病历记录，甚至基于患者表述生成初步诊断建议，有效辅助医生提升诊断的准确性与效率。
如何让AI像人一样，仅凭少量演示，就能稳健适应复杂多变的真实场景？ 美国东北大学和波士顿动力RAI提出了HEP（Hierarchical Equivariant Policy via Frame Transfer）框架，首创“坐标系转移接口”，让机器人学习更高效、泛化更灵活。
大模型有苦恼，记性太好，无法忘记旧记忆，也区分不出新记忆！基于工作记忆的认知测试显示，LLM的上下文检索存在局限。在一项人类稳定保持高正确率的简单检索任务中，模型几乎一定会混淆无效信息与正确答案。
自 Stable Diffusion、Flux 等扩散模型 (Diffusion models) 席卷图像生成领域以来，文本到图像的生成技术取得了长足进步。但它们往往只能根据精确的文字或图片提示作图，缺乏真正读懂图像与文本、在多模 态上下文中推理并创作的能力。能否让模型像人类一样真正读懂图像与文本、完成多模态推理与创作，一直是学术界和工业界关注的热门问题。
深度学习界的传奇论文，终于等来了它的“封神”时刻！
