Scaling Law 持续见效，让算力就快跟不上大模型的膨胀速度了。「规模越大、算力越高、效果越好」成为行业圭皋。主流大模型从百亿跨越到 1.8 万亿参数只用了1年，META、Google、微软这些巨头也从 2022 年起就在搭建 15000 卡以上的超大集群。「万卡已然成为 AI 主战场的标配。」
在 2024 年世界人工智能大会的现场，很多人在一个展台前排队，只为让 AI 大模型给自己在天庭「安排」一个差事。
AI基本盘，牢牢把握在苹果手里
Meta的文生3D模型或将给3D创作生态带来剧变。
随着 AI 工具的不断增多，各家模型的能力也日益提升，现在无论哪款大模型几乎都能够处理各种翻译难题。
AI基础设施的巨额投资，和实际的AI生态系统实际收入之间，差距已经到了不可思议的地步。曾经全球AI面临的2000亿美元难题，如今已经翻成了6000亿美元。
只有10亿参数的xLAM-1B在特定任务中击败了LLM霸主：OpenAI的GPT-3.5 Turbo和Anthropic的Claude-3 Haiku。上个月刚发布的苹果智能模型只有30亿参数，就连奥特曼都表示，我们正处于大模型时代的末期。那么，小语言模型（SLM）会是AI的未来吗？
GPT-4o或许还得等到今年秋季才对外开放。不过，由法国8人团队打造的原生多模态Moshi，已经实现了接近GPT-4o的水平，现场演示几乎0延迟，AI大佬纷纷转发。
最近，公司全体同事都在疯狂沉迷这款《大闹天宫MBTI》测试！各种直击打工人的灵魂拷问，让所有i人和e人在职场极限场景中反复拉扯。国产黑马和上影打造的原汁原味《大闹天宫》画风，简直让人一秒穿越回童年。
开源大语言模型（LLM）百花齐放，为了让它们适应各种下游任务，微调（fine-tuning）是最广泛采用的基本方法。基于自动微分技术（auto-differentiation）的一阶优化器（SGD、Adam 等）虽然在模型微调中占据主流，然而在模型越来越大的今天，却带来越来越大的显存压力。
