买不起英伟达“特供”,中国创业者偏爱4090
买不起英伟达“特供”,中国创业者偏爱4090大模型进入推理阶段,性价比压过算力。
来自主题: AI资讯
8317 点击 2024-08-14 10:43
大模型进入推理阶段,性价比压过算力。
一半以上的故障都归因于 GPU 及其高带宽内存。
大模型训练推理神作,又更新了!
「无问芯穹」Infini-AI云平台已集成大模型异构千卡混训能力,是全球首个可进行单任务千卡规模异构芯片混合训练的平台。
全美TOP 5的机器学习博士痛心发帖自曝,自己实验室里H100数目是0!这也引起了ML社区的全球网友大讨论。显然,相比普林斯顿、哈佛这样动辄三四百块H100的GPU大户,更常见的是GPU短缺的「穷人」。同一个实验室的博士,甚至时常会出现需要争抢GPU的情况。
AI PC的竞争,越来越火热了!
LLM开源从Infra做起!Meta公布了自己训练Llama 3的H100集群细节,看来Llama 3快来了。
全新消费级显卡,专为提速笔记本大模型应用而生。
这两年,程前式的成功学采访很流行,要是给TK做一期,标题写《00后身价过亿》都保守了。
今年的CES大会上,NVIDIA依然给全世界震撼不停。正式下场AI PC,性能直接飙涨60倍;40系SUPER显卡,已全面碾压上代旗舰;AI NPC甚至能跟屏幕外的玩家直接开启实时对话,这也太科幻了……