拿20年前的苹果“古董”笔记本跑模型推理：九分之一现代CPU速度，但成功了
拿20年前的苹果“古董”笔记本跑模型推理：九分之一现代CPU速度，但成功了众所周知，大语言模型（LLM）往往对硬件要求很高。
来自主题: AI资讯
2461 点击 2025-04-09 08:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
众所周知，大语言模型（LLM）往往对硬件要求很高。
今年年初，OpenAI 上线 Deep Research，开启了智能体又一新阶段，其能根据用户需求自主进行网络信息检索、整合多源信息、深度分析数据，并最终为用户提供全面深入的解答。
号称地表最强的M3 Ultra，本地跑满血版DeepSeek R1，效果到底如何？
从今天这个视角来看，DeepSeek 等国内外大模型能力是越来越强大了，大家都说 2025 年 AI 应用还会持续爆发。但对于企业来说，有了大模型，那场景都有啥，应用又长啥样？
仅仅过了一天，阿里开源的新一代推理模型便能在个人设备上跑起来了！昨天深夜，阿里重磅开源了参数量 320 亿的全新推理模型 QwQ-32B，其性能足以比肩 6710 亿参数的 DeepSeek-R1 满血版。
国家网络安全通报中心昨天扔了个"炸弹"：大模型工具Ollama有安全漏洞！ 相信不少人用ollama来跑DeepSeek、Llama等模型，确实很方便。可通报里说，它默认开放的11434端口跟没锁的大门似的，谁都能进。今天就和你就说一下 这到底是怎么回事？顺便手把手教你几招，保住你的算力和隐私。
满血版DeepSeek R1部署A100，基于INT8量化，相比BF16实现50%吞吐提升！ 美团搜推机器学习团队最新开源，实现对DeepSeek R1模型基本无损的INT8精度量化。
本文介绍了英特尔®至强®处理器在AI推理领域的优势，如何使用一键部署的镜像进行纯CPU环境下基于AMX加速后的DeepSeek-R1 7B蒸馏模型推理，以及纯CPU环境下部署DeepSeek-R1 671B满血版模型实践。
DeepSeek-R1及其蒸馏版本模型突破了AI Reasoning和大规模AI性能的新基准，其中DeepSeek-R1-Zero和DeepSeek-R1，已经在推理和问题求解上树立了新的标准。本次研究聚焦于如何利用已有的机器进行模型部署，使用这些先进的模型进行开发和研究。
黑科技来了！开源LLM微调神器Unsloth近期更新，将GRPO训练的内存使用减少了80%！只需7GB VRAM，本地就能体验AI「啊哈时刻」。