拆掉英伟达护城河,细节曝光!世界最快超算用3072块AMD GPU训完超万亿参数LLM
拆掉英伟达护城河,细节曝光!世界最快超算用3072块AMD GPU训完超万亿参数LLM世界上最快超算集群Frontier,用8%的GPU训练出了一个万亿级规模的大模型,而且是在AMD硬件平台之上完成。研究人员将训练的细节和克服的困难写成了一篇论文,展示了如何用非英伟达的生态完成大模型训练的技术框架和细节。
搜索
世界上最快超算集群Frontier,用8%的GPU训练出了一个万亿级规模的大模型,而且是在AMD硬件平台之上完成。研究人员将训练的细节和克服的困难写成了一篇论文,展示了如何用非英伟达的生态完成大模型训练的技术框架和细节。
近日,CMU Catalyst 团队推出了一篇关于高效 LLM 推理的综述,覆盖了 300 余篇相关论文,从 MLSys 的研究视角介绍了算法创新和系统优化两个方面的相关进展。
自动驾驶中的大模型处理作为当前 AI 领域最为火热的前沿趋势之一,可赋能自动驾驶领域的感知、标注、仿真训练等多个核心环节。同时,也可以有效的提升感知精确度,有利于后续规划控制算法的实施,促进端到端自动驾驶框架的发展。
以人类语言为研究对象的「自然语言处理」是人工智能最重要的研究方向之一。在自然语言处理领域,ACL 是世界上影响力最大、也最具活力的国际学术组织,成立至今已有 60 多年历史,会员遍布世界 60 多个国家和地区,代表了自然语言处理领域的世界最高水平。
数据获取最新解,便是从生成模型中学习。获取高质量数据,已经成为当前大模型训练的一大瓶颈。
今年初,OpenAI的崛起似乎预示着Google的厄运。但这家科技巨头已经平息了其AI研究人员之间的争吵,并且终于以其最新的AI技术Gemini开始进攻。现在,困难的部分开始了。
《经济学人》上曾刊登过一篇题为《人工智能如何影响外语学习?》文章指出,人工智能可以降低学习外语的必要性。前不久,英国文化教育协会近日发布了一份独具前沿洞察力的研究报告《人工智能与英语教学:为未来做好准备》引起了广泛关注。
近日,艾伦人工智能研究所发布了Unified-IO 2,——第一代Unified-IO曾预测了GPT-4等模型的能力,所以我们可以从新一代的模型中一窥GPT-5的真面目
这项综述性研究报告批判性地分析了生成式AI的发展现状和发展方向,并探究了谷歌Gemini和备受期待的OpenAI Q*等创新成果将如何改变多个领域的实际应用。
当大家都在研究大模型(LLM)参数规模达到百亿甚至千亿级别的同时,小巧且兼具高性能的小模型开始受到研究者的关注。