2023 年的秋天，当全世界都在为 ChatGPT 和大语言模型疯狂的时候，远在澳大利亚悉尼的一对兄弟却在为一个看似简单的问题发愁：为什么微调一个开源模型要花这么长时间，还要用那么昂贵的 GPU？
近日，来自普渡大学、德克萨斯大学、新加坡国立大学、摩根士丹利机器学习研究、小红书 hi-lab 的研究者联合提出了一种对离散扩散大语言模型的后训练方法 —— Discrete Diffusion Divergence Instruct (DiDi-Instruct)。经过 DiDi-Instruct 后训练的扩散大语言模型可以以 60 倍的加速超越传统的 GPT 模型和扩散大语言模型。
自回归（AR）大语言模型逐 token 顺序解码的范式限制了推理效率；扩散 LLM（dLLM）以并行生成见长，但过去难以稳定跑赢自回归（AR）模型，尤其是在 KV Cache 复用、和 可变长度 支持上仍存挑战。
Viven 的核心创新在于，它为每个员工创建了一个个性化的大语言模型，实质上就是一个数字分身。这个分身通过访问员工的内部电子文档，包括邮件、Slack 消息、Google Docs、会议记录等，学习这个人如何思考、如何沟通、拥有什么知识。关键是，这个学习过程是自动进行的，不需要员工做任何额外工作。你只需正常工作，你的数字分身就会不断更新和进化。
香港科技大学KnowComp实验室提出基于《欧盟人工智能法案》和《GDPR》的LLM安全新范式，构建合规测试基准并训练出性能优异的推理模型，为大语言模型安全管理提供了新方向。
近年来，大语言模型（LLMs）以及多模态大模型（MLLMs）在多种场景理解和复杂推理任务中取得突破性进展。
大语言模型（LLM）不仅在推动通用自然语言处理方面发挥了关键作用，更重要的是，它们已成为支撑多种下游应用如推荐、分类和检索的核心引擎。尽管 LLM 具有广泛的适用性，但在下游任务中高效部署仍面临重大挑战。
在代码层面，大语言模型已经能够写出正确而优雅的程序。但在机器学习工程场景中，它离真正“打赢比赛”仍有不小差距。
从ChatGPT到DeepSeek，强化学习（Reinforcement Learning, RL）已成为大语言模型（LLM）后训练的关键一环。
近年来，多模态大语言模型（Multimodal Large Language Models, MLLMs）在图文理解、视觉问答等任务上取得了令人瞩目的进展。然而，当面对需要精细空间感知的任务 —— 比如目标检测、实例分割或指代表达理解时，现有模型却常常「力不从心」。
