大模型「强崩溃」！Meta新作：合成数据有「剧毒」，1%即成LLM杀手
大模型「强崩溃」！Meta新作：合成数据有「剧毒」，1%即成LLM杀手1%的合成数据，就让LLM完全崩溃了？ 7月，登上Nature封面一篇论文证实，用合成数据训练模型就相当于「近亲繁殖」，9次迭代后就会让模型原地崩溃。
来自主题: AI技术研报
6540 点击 2024-10-14 10:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
1%的合成数据，就让LLM完全崩溃了？ 7月，登上Nature封面一篇论文证实，用合成数据训练模型就相当于「近亲繁殖」，9次迭代后就会让模型原地崩溃。
多模态大语言模型（MLLM）如今已是大势所趋。 过去的一年中，闭源阵营的GPT-4o、GPT-4V、Gemini-1.5和Claude-3.5等模型引领了时代。
2024年的诺贝尔化学奖一半授予大卫·贝克（David Baker），“以表彰在计算蛋白质设计方面的贡献”；另一半则共同授予德米斯·哈萨比斯（Demis Hassabis）和约翰·M·詹珀（John M. Jumper），“以表彰他们在蛋白质结构预测方面的成就”。
OpenAI好不容易开源了一次，却被曝出剽窃？ 就在昨天，OpenAI应用AI研究员Shyamal Anadkat ，放出了全新多智能体框架——Swarm，瞬间在全网爆火。
器官芯片结合AI技术推动药物开发进步。
三个月前我在硅谷沉浸式泡了两个多月把产品上的整体感受和几个趋势简短写在了这里，在和不同的创业者交流研究了 40 多个产品后，最终回归到了“语音”这个方向，写下“Voice is a big thing”，语音产品是我认为 AI 在 C 端领域的核心变革点。
教育大模型是真刚需。
在中国移动全球合作伙伴大会“移动爱家”展台中，用一部手机，链接AI科技、AI健康、AI学习等六个家庭场景，人们关于智慧家居的理想画面在这里被实现了。
虽然还没有 super-app 的出现，但今天的 AI，已经在很多方面开始重塑人类创作的过程，影响内容创作者与消费者之间的关系，甚至开始和人类谈恋爱了。
计算资源并非性能提升的唯一途径：Arvind Narayanan 认为，仅仅增加计算资源并不总是能带来模型性能的等比提升。目前，数据量正逐渐成为限制AI发展的主要瓶颈。