苹果研究员质疑大模型，我们测试了6款，发现了4大真相
苹果研究员质疑大模型，我们测试了6款，发现了4大真相别信忽悠，信实测。
来自主题: AI资讯
4311 点击 2024-10-15 10:32
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
别信忽悠，信实测。
多模态AI是一种将不同形式的数据(如文本、图像、音频等)融合在一起的技术，旨在让模型从多个维度感知和理解信息。这种融合使得AI系统能够从每种模态中获取独特的但互补的信息，从而构建出更全面的世界观。例如，在一个自动驾驶场景中，图像数据可以帮助系统识别道路上的行人，而雷达数据则能够感知车距，两者结合能够显著提升决策准确性。
随着对现有互联网数据的预训练逐渐成熟，研究的探索空间正由预训练转向后期训练（Post-training），OpenAI o1 的发布正彰显了这一点。
自从 Transformer 模型问世以来，试图挑战其在自然语言处理地位的挑战者层出不穷。 这次登场的选手，不仅要挑战 Transformer 的地位，还致敬了经典论文的名字。 再看这篇论文的作者列表，图灵奖得主、深度学习三巨头之一的 Yoshua Bengio 赫然在列。
在用模拟环境训练机器人时，所用的数据与真实世界存在着巨大的差异。为此，李飞飞团队提出「数字表亲」，这种虚拟资产既具备数字孪生的优势，还能补足泛化能力的不足，并大大降低了成本。
是什么让纽约大学著名研究者谢赛宁三连呼喊「Representation matters」？他表示：「我们可能一直都在用错误的方法训练扩散模型。」即使对生成模型而言，表征也依然有用。基于此，他们提出了 REPA，即表征对齐技术，其能让「训练扩散 Transformer 变得比你想象的更简单。」
传统的歌声任务，如歌声合成，大多是在利用输入的歌词和乐谱生成高质量的歌声。随着深度学习的发展，人们希望实现可控和能个性化定制的歌声生成。
1%的合成数据，就让LLM完全崩溃了？ 7月，登上Nature封面一篇论文证实，用合成数据训练模型就相当于「近亲繁殖」，9次迭代后就会让模型原地崩溃。
计算资源并非性能提升的唯一途径：Arvind Narayanan 认为，仅仅增加计算资源并不总是能带来模型性能的等比提升。目前，数据量正逐渐成为限制AI发展的主要瓶颈。
5 大证据显示，LLM 在推理复杂问题时非常脆弱。