ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键大型语言模型（LLMs）在上下文知识理解方面取得了令人瞩目的成功。
来自主题: AI技术研报
7094 点击 2025-05-06 14:52
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大型语言模型（LLMs）在上下文知识理解方面取得了令人瞩目的成功。
即便是最强大的语言模型（LLM），仍会偶尔出现推理错误。除了通过提示词让模型进行不太可靠的多轮自我纠错外，有没有更系统的方法解决这一问题呢？
宾夕法尼亚大学苏炜杰教授团队在ICML 2023会议中进行实验显示，经过作者自评校准后，审稿分数的误差降低超过20%。
大模型对现实世界，可以形成自己的理解！
仅需15秒即可搞定随机规划问题，速度比传统方法快了1440倍！
该论文的第一作者和通讯作者均来自北京大学王选计算机研究所的 MIPL实验室，第一作者为博士生徐铸，通讯作者为博士生导师刘洋。MIPL 实验室近年来在 IJCV、CVPR、AAAI、ICCV、ICML、ECCV 等顶会上有多项代表性成果发表，多次荣获国内外 CV 领域重量级竞赛的冠军奖项，和国内外知名高校、科研机构广泛开展合作。
没有算法没有实验，从2610篇收录论文中脱颖而出，成为唯一一篇纯理论入选2024 ICML Spotlight的论文。
DeepMind最近被ICML 2024接收的一篇论文，完完全全暴露了他们背靠谷歌的「豪横」。一篇文章预估了这项研究所需的算力和成本，大概是Llama 3预训练的15%，耗费资金可达12.9M美元。
大语言模型 (LLM) 是如何解数学题的？是通过模板记忆，还是真的学会了推理思维？
近年来，针对单个物体的 Text-to-3D 方法取得了一系列突破性进展，但是从文本生成可控的、高质量的复杂多物体 3D 场景仍然面临巨大挑战。之前的方法在生成场景的复杂度、几何质量、纹理一致性、多物体交互关系、可控性和编辑性等方面均存在较大缺陷。