拿CPU搞AI推理，谁给你的底气？
拿CPU搞AI推理，谁给你的底气？大模型的训练阶段我们选择GPU，但到了推理阶段，我们果断把CPU加到了菜单上。
来自主题: AI资讯
9148 点击 2024-03-27 17:27
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型的训练阶段我们选择GPU，但到了推理阶段，我们果断把CPU加到了菜单上。
AIGC的这把火，燃起来的可不只是百模大战的热度和雨后春笋般的各式AI应用。更是由于算力与通信需求的爆发式增长，使得底层的专用加速芯片、以及配备这些芯片的AI加速服务器再次被拉到了大众的聚光灯下。
今年GTC大会上，英伟达推出了地表最强Blackwell计算平台、NIM推理微服务、Omniverse Cloud API等惊喜新品。其中Blackwell GPU具有2080亿个晶体管，AI算力直接暴涨30倍。单芯片训练性能（FP8）是Hopper架构的2.5 倍，推理性能（FP4）是Hopper架构的5倍。具有第5代NVLink互连，并且可扩展至576个GPU。
作为大模型的「记忆体」，向量数据库重要性不言而喻。GTC 2024上，全球首个GPU加速向量数据库诞生了，由英伟达CUDA加持，性能实现50倍提升。5年前上海厂房里的一行代码，竟开启了一个时代。
8年时间，英伟达AI芯片的算力增长了1000倍。当地时间3月18日，英伟达在2024 GTC大会上发布了多款芯片、软件产品。 创始人黄仁勋表示：“通用计算已经失去动力，现在我们需要更大的AI模型，更大的GPU，需要将更多GPU堆叠在一起。这不是为了降低成本，而是为了扩大规模。”
如今炙手可热的AI PC之战，英伟达也下场了！RTX GPU给1亿打工人加持的算力，已经破了纪录，生图、视频、会议、直播，统统被RTX AI史诗级升级；《黑神话：悟空》《永劫无间》的玩家，更是双厨狂喜！
本文介绍了英伟达发布的最新AI芯片B200，该芯片在性能和成本方面都有显著的突破。然而，尽管英伟达在技术上领先，但市场分析师对其股价的持续上涨表示担忧。
整个AI圈最想知道的秘密，被老黄在PPT某页的小字里写出来了？
「这才是我理想中的 GPU。」—— 黄仁勋。
2024年3月18日的GTC上，黄仁勋正式成了新的乔布斯。