【深度】通向AGI的钥匙：10万H100超级AI算力集群
【深度】通向AGI的钥匙：10万H100超级AI算力集群10万张H100卡构成的超级AI算力集群就像是现代人类文明的奇观，是人类通向AGI的钥匙。AI时代的军备竞赛已经拉开帷幕，赌注是天量的Capex支出，胜者则有机会成为AI时代的造物主。
来自主题: AI技术研报
10969 点击 2024-07-02 14:58
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
10万张H100卡构成的超级AI算力集群就像是现代人类文明的奇观，是人类通向AGI的钥匙。AI时代的军备竞赛已经拉开帷幕，赌注是天量的Capex支出，胜者则有机会成为AI时代的造物主。
在英伟达市值猛涨、各家科技巨头囤芯片的热潮中，我们往往会忽视GPU芯片是如何转变为数据中心算力的。最近，一篇SemiAnalysis的技术文章就深入解读了10万卡H100集群的构建过程。
最近，许久没有新动向的马斯克放出了大消息——他旗下的人工智能初创公司xAI将投入巨资建造一个超算中心，以保证Grok 2及之后版本的训练。这个「超级计算工厂」预计于2025年秋季建成，规模将达到目前最大GPU集群的四倍。
最近几年，随着大语言模型的飞速发展与迭代，科技巨头们都竞相投入巨额财力打造超级计算机（或大规模 GPU 集群）。他们认为，更强大的计算能力是实现更强大 AI 的关键。
算力基础设施建设，北京市有了最新的大动作—— 《北京市算力基础设施建设实施方案（2024-2027年）》
Llama 3诞生整整一周后，直接将开源AI大模型推向新的高度。
大模型发展至今，还能带给开发者哪些惊喜呢？ 在 4 月 16 日举办的 2024 百度 Create AI 开发者大会上，百度智能云扔下一颗「重磅炸弹」，重新定义了计算机的核心系统软件 —— 操作系统。
【新智元导读】GPT-5还未发布，GPT-6已经在路上了？微软工程师曝出，为GPT-6搭建10万个H100训练集群，整个电网却被搞崩。通往AGI大关，还需要破解电力难题。
LLM开源从Infra做起！Meta公布了自己训练Llama 3的H100集群细节，看来Llama 3快来了。
刚刚，Meta 宣布推出两个 24k GPU 集群（共 49152 个 H100），标志着 Meta 为人工智能的未来做出了一笔重大的投资。