中国首个网络大模型，pick了CPU
中国首个网络大模型，pick了CPU当电信网络用上了大模型，会是一种什么体验？
来自主题: AI资讯
8508 点击 2024-09-13 21:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
当电信网络用上了大模型，会是一种什么体验？
本期我们邀请到了 纽约大学计算机科学院博士 童晟邦 带来【多模态大模型：视觉为中心的探索】的主题分享。
T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。
有CPU就能跑大模型，性能甚至超过NPU/GPU！
是时候用CPU通用服务器跑千亿参数大模型了！
千亿参数规模的大模型推理，服务器仅用4颗CPU就能实现！
英特尔用“光”，突破了大模型时代棘手的算力难题—— 推出业界首款全集成OCI（光学计算互连）芯片。
AI一天，人间一年。
AI对计算栈的改变远超过去50年各种变化的总和。
今日，英特尔推出英特尔® 至强® 6能效核处理器，每个 CPU 拥有多达 144 个内核，机架密度提高达3倍1，以高性能、高密度、高能效和低TCO，满足多样的云级工作负载，是数据中心高效能之选。