GPT-4o举步维艰、Claude 3.7险胜，《超级马里奥》成为了检验大模型的新试金石？
GPT-4o举步维艰、Claude 3.7险胜，《超级马里奥》成为了检验大模型的新试金石？一直以来，AI 领域的研究者都喜欢让模型去挑战那些人类热衷的经典游戏，以此来检验 AI 的「智能程度」。
来自主题: AI资讯
7111 点击 2025-03-09 15:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
一直以来，AI 领域的研究者都喜欢让模型去挑战那些人类热衷的经典游戏，以此来检验 AI 的「智能程度」。
你能让 ChatGPT 画一朵玫瑰吗？
在知名AI排行榜LM Arena中，曾全班垫底的GPT-4.5竟一度拿下第一？甚至在数学、编程等领域表现优异，这反常的表现让网友们一度质疑：大模型竞技场莫非被LLM操纵了？不过网友们在实测后却惊讶发现，GPT-4.5的确情商爆表，不用推理就能理解人类的深层意图！
要知道，过去几年，各种通用评测逐渐同质化，越来越难以评估模型真实能力。GPQA、MMLU-pro、MMLU等流行基准，各家模型出街时人手一份，但局限性也开始暴露，比如覆盖范围狭窄（通常不足 50 个学科），不含长尾知识；缺乏足够挑战性和区分度，比如 GPT-4o 在 MMLU-Pro 上准确率飙到 92.3%。
基础模型竞争又紧张刺激起来了！GPT-4.5刚登顶竞技场且全任务分类第一名，6小时后总榜就被马斯克的新版Grok-3反超。两者都是获得3000+票数，总分1412：1411只差一分。
Karpathy发出灵魂拷问，评估AI究竟该看哪些指标？答案或许就藏在经典游戏里！最近，加州大学圣迭戈分校Hao AI Lab用超级马里奥等评测AI智能体，Claude 3.7结果令人瞠目结舌。
我先给大家道个歉，上一篇讲的不太对：《GPT-4.5 一手实测：垃圾》，是我喷得保守了，觉得 GPT-4.5 只是贵&慢，但模型总归是素质在线。 没想到，经过实际数万轮实测：GPT-4.5 不如 GPT-4
几乎所有人都已经发现，我们正生活在一场前所未有的信息革命之中。
Phi-4系列模型上新了！56亿参数Phi-4-multimodal集语音、视觉、文本多模态于一体，读图推理性能碾压GPT-4o；另一款38亿参数Phi-4-mini在推理、数学、编程等任务中超越了参数更大的LLM，支持128K token上下文。
GPT-4.5正式发布，号称OpenAI最大和最好的聊天模型。