NVIDIA DGX GB200 超级计算集群数据中心部署指南解读，NVIDIA AI 工厂部署与 Broadcom AI 计算 ASIC 光学连接技术
继首台DGX H200之后，OpenAI再次收到了英伟达的首批工程版DGX B200。外媒爆料称，由于微软提供算力不足，OpenAI正与甲骨文开始谈判了。
32GB GDDR7内存，CUDA核心数21760个——
英伟达最强芯片B200被迫推迟三个月，传闻闹的沸沸扬扬。
马斯克官宣xAI建造的世界最大超算集群，由10万块H100搭建，预计本月末开始投入训练。另一边，OpenAI再次加码，将打造由10万块GB200组成的超算，完全碾压xAI。
史上最快Transformer芯片诞生了！用Sohu跑Llama 70B，推理性能已超B200十倍，超H100二十倍！刚刚，几位00后小哥从哈佛辍学后成立的公司Etached，宣布再融资1.2亿美元。
生成式 AI 推理性价比是 GPU 的 140 倍。
基于 Transformer架构的大型语言模型在各种基准测试中展现出优异性能，但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数，采用FP16存储，模型大小约为350GB，而即使是英伟达最新的B200 GPU 内存也只有192GB ，更不用说其他GPU和边缘设备。
【新智元导读】老黄新GPU深夜炸场，超高规格的背后也付出了不小的代价，小编带大家深入了解一下新架构的硬件细节和成本，新显卡的售价究竟高不高？英伟达也不得不开始卷了
8年时间，英伟达AI芯片的算力增长了1000倍。当地时间3月18日，英伟达在2024 GTC大会上发布了多款芯片、软件产品。 创始人黄仁勋表示：“通用计算已经失去动力，现在我们需要更大的AI模型，更大的GPU，需要将更多GPU堆叠在一起。这不是为了降低成本，而是为了扩大规模。”
