思维链不存在了？纽约大学最新研究：推理步骤可「省略」
思维链不存在了？纽约大学最新研究：推理步骤可「省略」红极一时的思维链技术，可能要被推翻了！
来自主题: AI技术研报
5347 点击 2024-05-14 10:49
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
红极一时的思维链技术，可能要被推翻了！
AI教父Hinton的担心，不是没有道理。
关于大模型分词（tokenization），大神Karpathy刚刚推荐了一篇必读新论文。
猛然间，大模型圈掀起一股“降价风潮”。
随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。
本文基于数势科技创始人&CEO黎科峰博士，百川智能联合创始人焦可，腾讯研究院副院长刘琼，蓝驰创投投资合伙人、TGO鲲鹏会学员石建平以及实在智能联合创始人、CMO张俊九等五位行业大咖在InfoQ主办的QCon全球软件开发大会的圆桌讨论整理。
多模态 AI 无疑是今年大模型的发展重点之一，Sora、Midjourney、Suno 等文生视频、文生图、文生音乐赛道的代表产品也是用户的关注热点。
众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性，导致训练大模型存在着独特的系统性挑战。
大模型回答如何更可靠？MIT研究团队设计出「共识博弈」，将数学家常用的博弈论引入LLM改进中。没想到，LLaMA-7B的表现，击败了LLaMA-65B，甚至与PaLM-540B相媲美。
中国AIGC产业峰会上，金山办公副总裁、研发中台事业部总经理姚冬分享了金山办公拥抱AI的思考与实践。