“两次 CPU 飙升的背后有个巧合，那就是——‘我们 CEO 登录了账号。’于是，我们把 CEO 的账号给封了，继续排查原因......” 听起来像段子，但这真是 Sketch.dev 的工程师亲口写下的“事故总结”。而这一切的起因，只是因为一段由 AI 生成的代码。
是的，秘塔AI搜索推出了全新“极速”模型。通过在GPU上进行kernel fusion，以及在CPU上进行动态编译优化，我们在单张H800 GPU上实现了最高400 tokens/秒的响应速度，大部分问题2秒内就能答完。
微软研究院开源的原生1bit大模型BitNet b1.58 2B4T，将低精度与高效能结合，开创了AI轻量化的新纪元。通过精心设计的推理框架，BitNet不仅突破了内存的限制，还在多项基准测试中表现出色，甚至与全精度模型不相上下。
众所周知，大语言模型（LLM）往往对硬件要求很高。
本文介绍了英特尔®至强®处理器在AI推理领域的优势，如何使用一键部署的镜像进行纯CPU环境下基于AMX加速后的DeepSeek-R1 7B蒸馏模型推理，以及纯CPU环境下部署DeepSeek-R1 671B满血版模型实践。
2月26日，美光宣布已率先向生态系统合作伙伴及特定客户出货专为下一代CPU设计的 1γ(1-gamma) 第六代 (10纳米级) DRAM节点DDR5内存样品。
国产AI几何模型性能达IMO金牌水平，打平谷歌DeepMind最新AlphaGeometry系列——
DeepSeek的含金量还在上升，一个半个周末过去发生这些大事：国家超算互联网平台上线DeepSeek-R1，最高支持671B的满血版。达摩院玄铁芯片成功适配DeepSeek-R1系列蒸馏模型，在RISC-V架构CPU和端侧平台打开新的应用空间。
为啥性能最好的开源CPU是中国的？
CPU+GPU，模型KV缓存压力被缓解了。 来自CMU、华盛顿大学、Meta AI的研究人员提出MagicPIG，通过在CPU上使用LSH（局部敏感哈希）采样技术，有效克服了GPU内存容量限制的问题。
