
AI 推理竞赛正在升温
AI 推理竞赛正在升温虽然英伟达的GPU在AI训练领域的主导地位仍然难以撼动,但似乎有迹象表明,在AI推理方面,竞争对手正在迎头赶上这家科技巨头,尤其是在能效方面。
虽然英伟达的GPU在AI训练领域的主导地位仍然难以撼动,但似乎有迹象表明,在AI推理方面,竞争对手正在迎头赶上这家科技巨头,尤其是在能效方面。
GPU功耗高,不适边缘计算;多种AI硬件适应边缘应用。
大摩认为,GPU供应仍然比较紧张,需求继续超过供应。过去6个月中H100租赁价格有所下降,但价格的绝对水平表明硬件的投资回报率非常高,回本期在一年以内。
围攻英伟达
最近,Meta的多个工程团队联合发表了一篇论文,描述了在引入基于GPU的分布式训练时,他们如何为其「量身定制」专用的数据中心网络。
智东西8月28日消息,AI芯片独角兽Cerebras Systems于8月27日宣布推出AI推理服务Cerebras Inference,号称“全球最快”。该服务已经在云端上线。
LLM若以每秒1000+token高速推理,当前最先进的GPU根本无法实现!Cerebras Inference一出世,推理速度赶超英伟达GPU,背靠自研的世界最大芯片加持。而且,还将推理价格打了下来。
马斯克xAI建超算集群,以太网助AI云迅猛发展。
本期我们邀请到了 纽约大学计算机科学院博士 童晟邦 带来【多模态大模型:视觉为中心的探索】的主题分享。
AI市场迎来又一位新玩家。