NeurIPS 2024 | 数学推理场景下，首个分布外检测研究成果来了
NeurIPS 2024 | 数学推理场景下，首个分布外检测研究成果来了本文将介绍数学推理场景下的首个分布外检测研究成果。
来自主题: AI技术研报
2783 点击 2024-12-02 14:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
本文将介绍数学推理场景下的首个分布外检测研究成果。
AtomThink 是一个包括 CoT 注释引擎、原子步骤指令微调、政策搜索推理的全流程框架，旨在通过将 “慢思考 “能力融入多模态大语言模型来解决高阶数学推理问题。量化结果显示其在两个基准数学测试中取得了大幅的性能增长，并能够轻易迁移至不同的多模态大模型当中。
大模型不会照搬训练数据中的数学推理，回答事实问题和推理问题的「思路」也不一样。
自从 OpenAI 发布展现出前所未有复杂推理能力的 o1 系列模型以来，全球掀起了一场 AI 能力 “复现” 竞赛。近日，上海交通大学 GAIR 研究团队在 o1 模型复现过程中取得新的突破，通过简单的知识蒸馏方法，团队成功使基础模型在数学推理能力上超越 o1-preview。
大型语言模型（LLM）最近在各种数学benchmark上疯狂刷分，动辄90%以上的正确率，搞得好像要统治数学界一样。然而，Epoch AI看不下去了，联手60多位顶尖数学家，憋了个大招——FrontierMath，一个专治LLM各种不服的全新数学推理测试！结果惨不忍睹，LLM集体“翻车”，正确率竟然不到2%！
就在刚刚，The Information曝出：OpenAI的草莓将于两周内上线！收费疑似200刀一个月，最大的特色就是比其他模型多思考10到20秒。然而因为「狼来了」太多回，网友们忍不住吐槽：OpenAI现在就是个炒作公司。
OpenAI又憋大招了！据悉，下一代旗舰模型GPT-5或名为「猎户座」，由「草莓」合成的数据训练。而草莓具有极强的复杂推理（数学、编程）和语言能力，或将超越当前的任何模型的推理和生成的能力。
LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。
Mistral AI两款全新7B模型宣战OpenAI，对标更长的代码分析和更高效的数学推理。
大型语言模型（LLMs）在解决问题方面的非凡能力日益显现。最近，一个值得关注的现象是，这些模型在多项数学推理的基准测试中获得了惊人的成绩。以 GPT-4 为例，在高难度小学应用题测试集 GSM8K [1] 中表现优异，准确率高达 90% 以上。同时，许多开源模型也展现出了不俗的实力，准确率超过 80%。