英伟达新显卡发布，笔记本AI画图提速14倍，轻薄本也能当AI工作站
英伟达新显卡发布，笔记本AI画图提速14倍，轻薄本也能当AI工作站全新消费级显卡，专为提速笔记本大模型应用而生。
来自主题: AI技术研报
7511 点击 2024-02-28 16:25
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
全新消费级显卡，专为提速笔记本大模型应用而生。
英伟达在2024年2月14号的时候推出了这么一个产品，叫做Chat with RTX。顾名思义，就是和英伟达的显卡聊天。简单来说Chat with RTX是一个本地部署的大语言模型工具，可以实现和大语言模型对话，还支持处理多种文件类型，用户可以与其进行文本、PDF、Word文档等多种格式内容的交互。
英伟达发布了一个对话机器人 ——「Chat with RTX」，面向 GeForce RTX 30 系列和 40 系列显卡用户（至少有 8GB VRAM）。有人开玩笑说，Sam Altman 进军芯片领域，黄仁勋进入聊天机器人的领域，这是 Sam vs Jensen 的时代。
这两年，程前式的成功学采访很流行，要是给TK做一期，标题写《00后身价过亿》都保守了。
一款名为Vary-toy的“年轻人的第一个多模态大模型”来了！模型大小不到2B，消费级显卡可训练，GTX1080ti 8G的老显卡轻松运行。
AI应用开发者都在替平台打工，平台在替显卡厂打工，最后钱都到了英伟达。
此次发布的猎户星空大模型专为企业应用而生，该模型通过140亿参数实现了千亿参数大模型才能实现的效果，面向七大应用领域进行微调，可以在千元显卡算力上运行。 用傅盛的说法是，用的好，用的起，用的安全。
今年的CES大会上，NVIDIA依然给全世界震撼不停。正式下场AI PC，性能直接飙涨60倍；40系SUPER显卡，已全面碾压上代旗舰；AI NPC甚至能跟屏幕外的玩家直接开启实时对话，这也太科幻了……
英伟达正式发布针对中国市场的4090 D，性能砍了10%，价格却没降。不过重要的是，又能买到英伟达的旗舰显卡了。
大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗？可以的话，最低多少显存？70B大语言模型仅参数量就有130GB，仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。