刚刚,中国台湾大学体育场,欢呼阵阵如同演唱会,但这次“摇滚巨星”,其实是英伟达创始人黄仁勋,再次回到学校,带来Computex重磅演讲,以及英伟达的新一代GPU。
是的,英伟达新架构Blackwell宣布不过3个月,老黄就把后三代路线图全公开了:
2025年Blackwell Ultra,2026年新架构Rubin,2027年Rubin Ultra。
好好好,像做iPhone一样造芯片。
到这一代Blackwell为止,英伟达已经把AI模型有效扩展到万亿参数。(还给token定了个译名:词元)。
1.8万亿参数GPT4的训练能耗,8年降低至原来的1/350。
推理能耗,8年降低至原来的1/45000。
看着这一波亮相和剧透,网友真相了:英伟达没有竞争对手,而是选择将摩尔定律放在地上摩擦……
老黄是在书写自己的定律。
所以应该叫老黄定律?还是英伟达定律?
ComputeX前夜,老黄一开场就展开了一波隐形卖货,他自称不太准确的“CEO数学”:
买得越多,省得越多……
The more you buy, the more you save.
经典语录依然引发现场欢呼大笑:虽然不太准确,但好像有些道理……
除此之外,还有一些新产品亮相,包括能够模拟气冲的天气预测模型CorriDiff、数字人微服务、BlackWell系统、Spectrum-X、机器人平台Isaac……
好了话不多说,这就来看看老黄这次到底搞了哪些事情
谈到当前新的产业革命,老黄表示:新的计算时代正在开始;而AI Factory正在诞生。
他在现场展示了BlackWell系统。
3月份GTC大会上还遮遮掩掩地说是GPT-MoE-1.8T模型,这下彻底摊牌了:GPT-4参数就是1.8T。
跟DGX Hopper相比。
现场还看到了它的真身,大概有两米那么高吧…
而真正的AI Factory大概会长这样,大概有32000GPU。
AI对于企业的影响,老黄认为AI加速每一个应用程序。他首先谈到了NIM推理微服务,这是一个帮助开发者或者企业轻松构建AI应用,简化大模型部署程序。
不管是聊天机器人、还是生活/驾驶助手等,部署时间都能从几周缩短到几分钟。
运行Meta Llama 3-8B的NIM可以产生比不使用NIM多3倍的tokens。
企业和开发者可以使用NIM运行生成文本、图像、视频、语音和数字人类的应用程序。
而背后源于丰富的技术合作生态——
近200家技术合作伙伴,包括Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI和Synopsys等,正在将NIM集成到他们的平台中。
此次在这个NIM中还有上新,也就是ACE 生成式AI微服务,数字人AI技术套件。
除了原有自动语音识别、文本到语音的转换和翻译、Nemotron语言模型、 Audio2Face等套件,还增加了两个技术:
一个是可以基于音轨生成身体姿势Audio2Gesture;
一个Nemotron-3 4.5B,这是英伟达首款SLM(小爱语言模型),专为低延迟端侧设备而生。
∂接下来,这一数字人微服务将部署在一亿台RTX AI PC上面。
当前英伟达在新的合作伙伴,比如华硕、MSI的加入下,已经拥有超过200种RTX AI PC型号。
还推出了RTX AI Toolkit,一个工具和SDK集合,帮助Windows开发者定制优化本地部署模型。
同Mac相比,部署了RTX的Windows的Stable Diffusion推理速度是Mac的7倍。
每一台带有RTX的PC,都是一台RTX AIPC。
这次一同亮相的,还有用于机器人开发的技术平台,NVIDIA Isaac。
为啥搞这玩意儿呢,老黄给出的理由是这样的:
机器人时代已经到来。
有朝一日,所有会移动的东西,都将实现自主化。
这个Isaac平台具体长啥样呢?
Isaac平台提供一系列英伟达加速库、AI基础模型和仿真技术,供机器人制造商集成到自己的技术栈中。
注意,平台是模块化的,允许公司单独或一起采用多种技术。
具体而言,其中包括:
NVIDIA Isaac ROS:一系列模块化的ROS 2包,为ROS社区开发者带来NVIDIA加速和AI模型
NVIDIA Isaac Perceptor:一个参考工作流程,提供基于AI的自主移动机器人的多摄像头3D环视能力
NVIDIA Isaac Manipulator:一个简化AI启用机械臂开发的参考工作流程
NVIDIA Isaac Sim:一款参考应用程序,用于在基于NVIDIA Omniverse平台的物理环境中模拟、测试和验证机器人,并生成合成数据
NVIDIA Isaac Lab:Isaac Sim中的参考应用程序,针对AI机器人基础模型训练的强化、模仿和迁移学习进行了优化
据介绍,目前,包括比亚迪电子、西门子、泰瑞达机器人和Intrinsic(Alphabet的子公司)在内,全球超多名列前茅的机器人开发团队,都在采用Isaac平台。
这些团队用上Isaac,一边提高制造工厂、仓库和配送中心的效率,同时确保人类同事的安全;一边也能充当重复劳动和超精确任务的执行者。
现场放出了很多demo,很多工厂在英伟达Omniverse里建造了一个完全模拟现实的自助工厂,以及基于Isaac平台开发的AI机器人。
除了现场老黄亲自发布的上述内容外,我们在英伟达官网还找到了一个彩蛋,一个巨久远的call back。
Project G-Assist。
时间回到2017年愚人节,英伟达官网开了个大玩笑:
宣称自家发布了一款支持10080款游戏的USB人工智能超算卡GeForce GTX G-Assist。
重点在于它很AI。
GeForce GTX G-Assist像是个AI游戏助手,可以帮助玩家自动完成游戏操作,甚至代打击败Boss。
今天,英伟达真的将这个愚人节玩笑变为现实——
英伟达官网上线Project G-Assist,一套工具和模型的集合而成的AI Agent系统,供游戏和应用程序开发者使用。
通过前后剧情,Project G-Assist利用大模型对游戏输出响应,能够检查游戏性能和系统设置,建议用户优化以充分利用可用硬件,或者适当升级角色。
玩家这边呢,还可以通过Project G-Assist找到最好的武器,也可以查询到最牛的攻略,然后就可以或制作武器材料,或一路杀怪通关。
总而言之,Project G-Assist可以让人有个Agent外挂,但是不会让你完全挂机,
官网还贴心表示:
G-Assist 项目不会像我们在2017年愚人节预言视频中那样完全替代您玩游戏,但它可以帮助您从您最喜欢的游戏中获得更多收益。
游戏体验再上大分!
据介绍,Project G-Assist支持各种模态的输入。
可以是来自玩家的文本提示,或声音指令;可以是屏幕上显示框架的上下文;可以是来自应用程序或系统本身的API。
这些数据都通过连接了游戏知识数据库的大模型处理,然后使用RAG(检索增强生成)生成和用户相关的查询结果——没错,Project G-Assist允许玩家使用PC或云端RTX AI驱动的知识库。
Project G-Assist开发工具将出现在即将推出的RTX AI开发套件中,具体会用在哪些游戏上,还需要游戏开发商来决定并提供支持。
为了让大家更好地使用Project G-Assist,英伟达贴心地附上视频教学大礼包,需要可自取。
整场发布会,老黄还整了不少活儿。
比如AI老黄似乎已经成了发布会常客。
在介绍天气预测模型时,他坦白承认在视频中那么流利讲普通话的那位是AI生成的,因为自己中文不太好。
而本场重磅的BlackWell系统、AI Factory的核心构成,也被他各种搬来搬去……
除了下一代GPU取名Rubin,我们还看到 Vera CPU,他们共同出现在新的Vera Rubin加速器上。而这一名称来源,实际上是来自美国一位女天文学家Vera Rubin,她是研究暗物质先驱。
以及,COMPUTEX 2024不愧是6月开头就炸场的AI终端大戏。
除了黄院士外,英特尔、AMD、高通等老板都悉数到场,接下来几天会挨个发表演讲。
这些主题演讲,绝大部分都跟AIPC有关。
大家一起蹲一蹲吧~
文章来源于“凹非寺”,作者“白交 衡宇”
【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。
项目地址:https://github.com/n8n-io/n8n
在线使用:https://n8n.io/(付费)
【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。
项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。
项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用:https://vectorvein.ai/(付费)
【开源免费】Fay开源数字人框架是一个AI数字人项目,该项目可以帮你实现“线上线下的数字人销售员”,
“一个人机交互的数字人助理”或者是一个一个可以自主决策、主动联系管理员的智能体数字人。
项目地址:https://github.com/xszyou/Fay
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】FASTGPT是基于LLM的知识库开源项目,提供开箱即用的数据处理、模型调用等能力。整体功能和“Dify”“RAGFlow”项目类似。很多接入微信,飞书的AI项目都基于该项目二次开发。
项目地址:https://github.com/labring/FastGPT
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。
项目地址:https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目
项目地址:https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。
项目地址:https://github.com/TaskingAI/TaskingAI
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales