AI资讯新闻榜单内容搜索-DiLoCo

关键词: AI新闻,模型训练,Decoupled DiLoCo,人工智能

弹性 AI 预训练已经推进到了下一个前沿！没有意外：来自谷歌。据介绍，他们提出的 Decoupled DiLoCo 是一种革命性的分布式训练技术，能够利用全球各地的异构硬件进行训练，并且即使当硬件发生故障时，系统也不会停止运行！

关键词: AI,模型训练,Scaling Law,DiLoCo

谷歌团队发现了全新Scaling Law！新方法DiLoCo被证明更好、更快、更强，可在多个数据中心训练越来越大的LLM。