3710亿数学tokens，全面开放！史上最大高质量开源数学预训练数据集MegaMath发布
3710亿数学tokens，全面开放！史上最大高质量开源数学预训练数据集MegaMath发布在大模型迈向推理时代的当下，数学推理能力已成为衡量语言模型智能上限的关键指标。
来自主题: AI技术研报
3730 点击 2025-04-14 09:01
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在大模型迈向推理时代的当下，数学推理能力已成为衡量语言模型智能上限的关键指标。
千亿参数内最强推理大模型，刚刚易主了。32B——DeepSeek-R1的1/20参数量；免费商用；且全面开源——模型权重、训练数据集和完整训练代码，都开源了。这就是刚刚亮相的Skywork-OR1 (Open Reasoner 1)系列模型——
OpenAI o1/o3-mini级别的代码推理模型竟被抢先开源！UC伯克利和Together AI联合推出的DeepCoder-14B-Preview，仅14B参数就能媲美o3-mini，开源代码、数据集一应俱全，免费使用。
本文主要描述了具身合成数据两条主要技术路线之争：“视频合成+3D重建”or “端到端3D生成”。参考自动驾驶的成功经验，前者模态转换链路过长导致误差累积，'直接合成3D数据'理论上有信息效率优势，但需要克服“常识欠缺”等挑战。
大规模数据集和标准化评估基准显著促进了自然语言处理和计算机视觉领域的发展。然而，机器人领域在如何构建大规模数据集并建立可靠的评估体系方面仍面临巨大挑战。
如何让大模型更懂「人」？
当我们遇到新问题时，往往会通过类比过去的经验来寻找解决方案，大语言模型能否如同人类一样类比？在对大模型的众多批判中，人们常说大模型只是记住了训练数据集中的模式，并没有进行真正的推理。
幻觉（Hallucination），即生成事实错误或不一致的信息，已成为视觉-语言模型 (VLMs）可靠性面临的核心挑战。随着VLMs在自动驾驶、医疗诊断等关键领域的广泛应用，幻觉问题因其潜在的重大后果而备受关注。
继昨天《RAG太折磨人啦，试下pip install rankify，检索、重排序、RAG三合一，完美》发布之后，有许多朋友向我询问Rankify的具体使用方法和部署细节，尤其是生产环境如何处理自定义数据集和本地数据集。
作为一家公司，我们专注于三件事：预训练、微调和对齐。我们使用自有数据集进行预训练，这一点非常关键，而很多公司并不具备这样的能力。然后，我们用专家手工整理的数据进行微调。最有趣、最重要的部分在于对齐，这与简单地寻找“当前最优解”是截然不同的。