OpenAI在LangSmith用户群中继续稳居最常使用的大语言模型供应商宝座，其使用率是排名第二的Ollama的六倍以上。开源模型的采用率有了显著增长，特别是Ollama和Groq两家公司，它们支持用户运行开源模型，并在今年成功跻身行业前五。
Groq又双叒给英伟达上压力了！不仅之前展现了每秒1256个token的破纪录输出速度，最新获得的一轮6.4亿美元融资更提供了在AI芯片领域挑战英伟达的底气。
2024 年 4 月 20 日，即 Meta 开源 Llama 3 的隔天，初创公司 Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800。
Llama 3诞生之后便艳压群雄，开源界已无「模」能敌。
今年GTC大会上，英伟达推出了地表最强Blackwell计算平台、NIM推理微服务、Omniverse Cloud API等惊喜新品。其中Blackwell GPU具有2080亿个晶体管，AI算力直接暴涨30倍。单芯片训练性能（FP8）是Hopper架构的2.5 倍，推理性能（FP4）是Hopper架构的5倍。具有第5代NVLink互连，并且可扩展至576个GPU。
在英伟达市值超过2万亿位居全球第三之后，谁能挑战它赖以生存的GPU芯片？
2月19日以来，这款LPU持续成为热点，担当起英伟达GPU挑战者的角色。英伟达的主力芯片H100一卡难求，这给Groq公司带来了机会。
Groq一夜爆火的背后，是自研的语言处理单元硬件LPU，近日，Substack的专栏作家Abhinav Upadhyay为我们一步步揭示了LPU底层架构的奥秘
在如今的人工智能领域，「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU，连 OpenAI 都不能轻易升级 ChatGPT。
SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解，测算出其持有成本依然高达现有H100的10倍，看来要赶上老黄的步伐，初创公司还有很多要做。
