首席分析师揭秘爆火Groq,每小时要烧168美元!10倍H100拥有成本,老黄笑而不语
首席分析师揭秘爆火Groq,每小时要烧168美元!10倍H100拥有成本,老黄笑而不语SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解,测算出其持有成本依然高达现有H100的10倍,看来要赶上老黄的步伐,初创公司还有很多要做。
SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解,测算出其持有成本依然高达现有H100的10倍,看来要赶上老黄的步伐,初创公司还有很多要做。
英伟达的产能上不来,很大程度上是因为HBM(高带宽内存)不够用了。每一块H100芯片,都会用到6颗HBM。当下,SK海力士、三星供应了90%的HBM,并且技术领先美光整整一个代际。
印度土豪们一出手就是5亿!直接预订英伟达上千块高价GPU。
刚刚公布业绩的meta,业绩和指引均超预期,还破天荒地发股息,把回购金额上调到500亿美元,盘后股价上涨15%。财报会上,公司高管表示,Meta的总体预期是,未来几年需要投资更多来支持人工智能业务,今年的情况就会有所反映。
Meta的第二代自研芯片正式投产!小扎计划今年部署Artemis AI芯片为AI提供算力,以减少对英伟达GPU的依赖。
因为台积电的先进封装工艺产能太低,英伟达准备寻求英特尔来生产AI芯片了。据报道,英特尔一个月最多能提供30万片的H100产能。
最近,外媒曝出Sam Altman正计划筹集数十亿美元,为OpenAI建起全球性的半导体晶圆厂网络。GPT-5训练严重缺芯,OpenAI誓不让英伟达掌握主动权,干脆自己做新的AI芯片霸主?
今天,小扎正式宣战「开源AGI」!下一代大模型Llama 3正在训练,年底将拥有35万块H100,届时算力总和达60万块H100。为了追赶OpenAI,成立十年的FAIR团队纳入GenAI,全力奔赴AGI。
算力不足仍然是制约通用人工智能发展的重要因素。GPU Utils 今年 8 月的一份数据显示,全球目前 H100 等效算力的供给缺口达到 43 万张。在解决算力不足的问题上,除了抢购和囤积英伟达,更多的方案正在浮出水面。
最近,两位哈佛辍学生共同创立的AI芯片公司,估值已达3400万美元,并计划明年交付一款名为「Sohu」的AI推理加速芯片——其LLM推理性能达到H100的10倍,而单价吞吐量更是高达140倍。