手机跑大模型提速4-5倍！微软亚研院开源新技术，有CPU就行
手机跑大模型提速4-5倍！微软亚研院开源新技术，有CPU就行有CPU就能跑大模型，性能甚至超过NPU/GPU！
来自主题: AI技术研报
9766 点击 2024-08-09 14:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
有CPU就能跑大模型，性能甚至超过NPU/GPU！
一场未完成的投资改变了什么？
AI重新定义游戏体验的时代。
a16z的氧气计划
谷歌TPU核心团队创立，要做世界最快推理。
Groq又双叒给英伟达上压力了！不仅之前展现了每秒1256个token的破纪录输出速度，最新获得的一轮6.4亿美元融资更提供了在AI芯片领域挑战英伟达的底气。
Llama 3.1刚发布不久，Llama 4已完全投入训练中。 这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。
英伟达最强芯片B200被迫推迟三个月，传闻闹的沸沸扬扬。
因设计缺陷，英伟达最强AI芯片Blackwell，真的要延期发货了。金主爸爸们哀声一片，所有预定计划预计要拖延至少三个月。
英伟达摊上大事儿了。 据《The Information》报道，英伟达的最新杀手锏——采用Blackwell架构的AI GPU从原定的今年Q3推迟到2025年Q1推出。据称，这款 GPU 存在设计缺陷，因此需要推迟发布产品以解决问题。