
拿CPU搞AI推理,谁给你的底气?
拿CPU搞AI推理,谁给你的底气?大模型的训练阶段我们选择GPU,但到了推理阶段,我们果断把CPU加到了菜单上。
大模型的训练阶段我们选择GPU,但到了推理阶段,我们果断把CPU加到了菜单上。
AIGC的这把火,燃起来的可不只是百模大战的热度和雨后春笋般的各式AI应用。更是由于算力与通信需求的爆发式增长,使得底层的专用加速芯片、以及配备这些芯片的AI加速服务器再次被拉到了大众的聚光灯下。
今年GTC大会上,英伟达推出了地表最强Blackwell计算平台、NIM推理微服务、Omniverse Cloud API等惊喜新品。其中Blackwell GPU具有2080亿个晶体管,AI算力直接暴涨30倍。单芯片训练性能(FP8)是Hopper架构的2.5 倍,推理性能(FP4)是Hopper架构的5倍。具有第5代NVLink互连,并且可扩展至576个GPU。
作为大模型的「记忆体」,向量数据库重要性不言而喻。GTC 2024上,全球首个GPU加速向量数据库诞生了,由英伟达CUDA加持,性能实现50倍提升。5年前上海厂房里的一行代码,竟开启了一个时代。
8年时间,英伟达AI芯片的算力增长了1000倍。当地时间3月18日,英伟达在2024 GTC大会上发布了多款芯片、软件产品。 创始人黄仁勋表示:“通用计算已经失去动力,现在我们需要更大的AI模型,更大的GPU,需要将更多GPU堆叠在一起。这不是为了降低成本,而是为了扩大规模。”
如今炙手可热的AI PC之战,英伟达也下场了!RTX GPU给1亿打工人加持的算力,已经破了纪录,生图、视频、会议、直播,统统被RTX AI史诗级升级;《黑神话:悟空》《永劫无间》的玩家,更是双厨狂喜!
本文介绍了英伟达发布的最新AI芯片B200,该芯片在性能和成本方面都有显著的突破。然而,尽管英伟达在技术上领先,但市场分析师对其股价的持续上涨表示担忧。
整个AI圈最想知道的秘密,被老黄在PPT某页的小字里写出来了?
「这才是我理想中的 GPU。」—— 黄仁勋。
2024年3月18日的GTC上,黄仁勋正式成了新的乔布斯。