为什么Qwen能自我改进推理，Llama却不行？斯坦福找到了原理
为什么Qwen能自我改进推理，Llama却不行？斯坦福找到了原理虽然 Qwen「天生」就会检查自己的答案并修正错误。但找到原理之后，我们也能让 Llama 学会自我改进。
来自主题: AI技术研报
7016 点击 2025-03-06 09:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
虽然 Qwen「天生」就会检查自己的答案并修正错误。但找到原理之后，我们也能让 Llama 学会自我改进。
国家网络安全通报中心昨天扔了个"炸弹"：大模型工具Ollama有安全漏洞！ 相信不少人用ollama来跑DeepSeek、Llama等模型，确实很方便。可通报里说，它默认开放的11434端口跟没锁的大门似的，谁都能进。今天就和你就说一下 这到底是怎么回事？顺便手把手教你几招，保住你的算力和隐私。
由UCLA等机构共同组建的研究团队，全球首次在20亿参数非SFT模型上，成功实现了多模态推理的DeepSeek-R1「啊哈时刻」！就在刚刚，我们在未经监督微调的2B模型上，见证了基于DeepSeek-R1-Zero方法的视觉推理「啊哈时刻」！
o1/DeepSeek-R1背后秘诀也能扩展到多模态了！
本文构建了新的多轮组合图像检索数据集和评测基准FashionMT。其特点包括：（1）回溯性：每轮修改文本可能涉及历史参考图像信息（如保留特定属性），要求算法回溯利用多轮历史信息；（2）多样化：FashionMT包含的电商图像数量和类别分别是MT FashionIQ的14倍和30倍，且交互轮次数量接近其27倍，提供了丰富的多模态检索场景。
DeepSeek MoE“变体”来了，200美元以内，内存需求减少17.6-42%！ 名叫CoE（Chain-of-Experts），被认为是一种“免费午餐”优化方法，突破了MoE并行独立处理token、整体参数数量较大需要大量内存资源的局限。
基于内置思维链的思考方法为解决多轮会话中存在的问题提供了研究方向。按照思考方法收集训练数据集，通过有监督学习微调大语言模型；训练一个一致性奖励模型，并将该模型用作奖励函数，以使用强化学习来微调大语言模型。结果大语言模型的推理能力和计划能力，以及执行计划的能力得到了增强。
随着R1等先进推理模型展现出接近人类的推理能力，多代理系统（Multi-Agent Systems，MAS）的发展也出现了前所未有的机遇。然而，随着我们尝试构建越来越复杂的多代理系统，一个核心问题日益凸显：如何在保持系统灵活性的同时，降低开发和维护的复杂度？
要知道，过去几年，各种通用评测逐渐同质化，越来越难以评估模型真实能力。GPQA、MMLU-pro、MMLU等流行基准，各家模型出街时人手一份，但局限性也开始暴露，比如覆盖范围狭窄（通常不足 50 个学科），不含长尾知识；缺乏足够挑战性和区分度，比如 GPT-4o 在 MMLU-Pro 上准确率飙到 92.3%。
基础模型竞争又紧张刺激起来了！GPT-4.5刚登顶竞技场且全任务分类第一名，6小时后总榜就被马斯克的新版Grok-3反超。两者都是获得3000+票数，总分1412：1411只差一分。