Sebastian Raschka长文：DeepSeek-R1、o3背后，RL推理训练正悄悄突破上限
Sebastian Raschka长文：DeepSeek-R1、o3背后，RL推理训练正悄悄突破上限只靠模型尺寸变大已经不行了？大语言模型（LLM）推理需要强化学习（RL）来「加 buff」。
来自主题: AI技术研报
8412 点击 2025-04-22 16:58
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
只靠模型尺寸变大已经不行了？大语言模型（LLM）推理需要强化学习（RL）来「加 buff」。
当前，强化学习（RL）方法在最近模型的推理任务上取得了显著的改进，比如 DeepSeek-R1、Kimi K1.5，显示了将 RL 直接用于基础模型可以取得媲美 OpenAI o1 的性能不过，基于 RL 的后训练进展主要受限于自回归的大语言模型（LLM），它们通过从左到右的序列推理来运行。
「一位顶尖科学家，有数千亿美元的资源，却仍然能把Meta搞砸了！」最近，圈内对LeCun的埋怨和批评，似乎越来越压不住了。有人批评说，Meta之所以溃败，LeCun的教条主义就是罪魁祸首。但LeCun却表示，自己尝试了20年自回归预测，彻底失败了，所以如今才给LLM判死刑！
Hyper-RAG利用超图同时捕捉原始数据中的低阶和高阶关联信息，最大限度地减少知识结构化带来的信息丢失，从而减少大型语言模型（LLM）的幻觉。
Two Heads are Better Than One"（两个脑袋比一个好/双Agent更优）源自英语中的一句古老谚语。MAS-TTS框架的研究者将这一朴素智慧应用到LLM中，创造性地让多个智能体协同工作，如同专家智囊团。
4 月 14 日，谷歌首席科学家 Jeff Dean 在苏黎世联邦理工学院举办的信息学研讨会上发表了一场演讲，主题为「AI 的重要趋势：我们是如何走到今天的，我们现在能做什么，以及我们如何塑造 AI 的未来？」
近年来，大模型（Large Language Models, LLMs）在数学、编程等复杂任务上取得突破，OpenAI-o1、DeepSeek-R1 等推理大模型（Reasoning Large Language Models，RLLMs）表现尤为亮眼。但它们为何如此强大呢？
开源语音模型Orpheus让LLM涌现出人类情感！在A100 40GB显卡上，30亿参数模型的流式推理速度甚至超过了音频播放速度。甚至可以zero-shot克隆声音。
多模态大语言模型（MLLM）在具身智能和自动驾驶“端到端”方案中的应用日益增多，但它们真的准备好理解复杂的物理世界了吗？
移动GUI自动化智能体V-Droid采用「验证器驱动」架构，通过离散化动作空间并利用LLM评估候选动作，实现了高效决策。在AndroidWorld等多个基准测试中任务成功率分别达到59.5%、38.3%和49%，决策延迟仅0.7秒，接近实时响应。