LLM省钱大测评！48块GH200，首个百亿级参数量实证
LLM省钱大测评！48块GH200，首个百亿级参数量实证EfficientLLM项目聚焦LLM效率，提出三轴分类法和六大指标，实验包揽全架构、多模态、微调技术，可为研究人员提供效率与性能平衡的参考。
来自主题: AI技术研报
6874 点击 2025-05-29 17:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
EfficientLLM项目聚焦LLM效率，提出三轴分类法和六大指标，实验包揽全架构、多模态、微调技术，可为研究人员提供效率与性能平衡的参考。
关税对算力产业链的影响正在产业链传导，H200终端涨价已成定局。之前英伟达设备是美禁止出口，并不是中国禁止进口，很多美国法律法规，中国根本不需要去遵守，所以H200 这些设备是正常报关，清关的。
通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
DeepSeek-R1掀起新一轮购卡潮的同时，AMD的含金量也上升了。
继首台DGX H200之后，OpenAI再次收到了英伟达的首批工程版DGX B200。外媒爆料称，由于微软提供算力不足，OpenAI正与甲骨文开始谈判了。
两天前，马斯克得意自曝：团队仅用122天，就建成了10万张H100的Colossus集群，未来还会扩展到15万张H100和5万张H200。此消息一出，奥特曼都被吓到了：xAI的算力已经超过OpenAI了，还给员工承诺了价值2亿期权，这是要上天？
AMD在Computex主题演讲上大出风头，推出了首批Zen 5处理器，包括台式机用Ryzen 9000 CPU和笔记本电脑用Ryzen AI 300「Strix Point 」APU。除此之外，AMD还宣布了芯片年更计划以及备受期待的第五代EPYC Turin处理器。
英伟达正在宣传其Grace Hopper的异构计算框架正在被分布于世界各地的9台超算系统所使用，共同实现了惊人的 200 exaflops的AI计算能力。这表明英伟达正在为世界上一些更强大的人工智能系统供货，已经开始取代AMD和英特尔在高性能计算领域的地位。
全球首台，黄仁勋亲自送货上门，OpenAI首发，DGX H200算是把流量拉满了。
昨天，黄仁勋亲自为 OpenAI 送来了全球第一台 Nvidia DGX H200 超级计算机，三人合影（老黄、奥特曼、Greg Brockman ）引得大家津津乐道。