Llama模仿Diffusion多模态涨分30%！不卷数据不烧卡，只需共享注意力分布
Llama模仿Diffusion多模态涨分30%！不卷数据不烧卡，只需共享注意力分布这次不是卷参数、卷算力，而是卷“跨界学习”——
来自主题: AI技术研报
7266 点击 2025-02-17 14:43
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
这次不是卷参数、卷算力，而是卷“跨界学习”——
近年来，大语言模型（LLMs）取得了突破性进展，展现了诸如上下文学习、指令遵循、推理和多轮对话等能力。目前，普遍的观点认为其成功依赖于自回归模型的「next token prediction」范式。
知乎直答默默掏出了自己的“底牌”。为啥这么说呢？因为知乎不仅有自己的AI模型，还攒了十多年的中文高质量知识库，再加上真实的问答场景作为AI的“实战训练场”，简直就是AI界的“学霸”。有了DeepSeek-R1的加持，知乎直答的推理能力直接拉满，传统搜索看了直呼“内行”，妥妥成了AI时代的“搜索界天花板”。
自然语言 token 代表的意思通常是表层的（例如 the 或 a 这样的功能性词汇），需要模型进行大量训练才能获得高级推理和对概念的理解能力，
问题挺严重，大模型说的话可不能全信。
人类智慧的一大特征是能够分步骤创造复杂作品，例如绘画、手工艺和烹饪等，这些过程体现了逻辑与美学的融合。
最新大语言模型推理测试引众议，DeepSeek R1常常在提供错误答案前就“我放弃”了？？ Cursor刚刚参与了一项研究，他们基于NPR周日谜题挑战（The Sunday Puzzle），构建了一个包含近600个问题新基准测试。
7B大小的视频理解模型中的新SOTA，来了！
近日，微软和剑桥大学公布推理新方法：多模态思维可视化MVoT。新方法可以边推理，边「想象」，同时利用文本和图像信息学习，在实验中比CoT拥有更好的可解释性和稳健性，复杂情况下甚至比CoT强20%。还可以与CoT组合，进一步提升模型性能。
史上最大规模视觉语言数据集：1000亿图像-文本对！