苹果大模型最大动作：开源M芯专用ML框架，能跑70亿大模型
苹果大模型最大动作：开源M芯专用ML框架，能跑70亿大模型苹果M系列芯片专属的机器学习框架，开源即爆火！现在，用上这个框架，你就能直接在苹果GPU上跑70亿参数大模型、训练Transformer模型或是搞LoRA微调。
来自主题: AI资讯
10679 点击 2023-12-07 16:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
苹果M系列芯片专属的机器学习框架，开源即爆火！现在，用上这个框架，你就能直接在苹果GPU上跑70亿参数大模型、训练Transformer模型或是搞LoRA微调。
大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗？可以的话，最低多少显存？70B大语言模型仅参数量就有130GB，仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。
国产大模型刚刚出了一位全新选手：参数670亿的DeepSeek。它在近20个中英文的公开评测榜单上直接超越了同量级、700亿的Llama 2。
“欧洲版OpenAI”最新估值，逼近20亿美元！总部位于巴黎的大模型初创公司Mistral AI最新一轮融资，4.87亿美元。
今年 4 月 7 日，斯坦福大学发表的《Generative Agents: Interactive Simulacra of Human Behavior》论文出来之后的几天内，其中提到了一个很有趣的细节是信息的传递：一个 agent 想要举办情人节派对的消息会在小镇中逐渐扩散开来。
通义千问开源全家桶正式上线！业界最强72B模型直接超越开源标杆Llama 2-70B，还有1.8B模型、音频大模型全部开源，阿里云这次真的把家底都掏出来了。
目前，通义千问开源全家桶已经有了 18 亿、70 亿、140 亿、720 亿参数量的 4 款基础开源模型，以及跨语言、图像、语音等多种模态的多款开源模型。
谷歌DeepMind全新提示技术「Step-Back Prompting」，让LLM性能拉满！
只用了 17 天，人工智能（AI）便独自创造了 41 种新材料，每天超过两种。相比之下，人类科学家可能需要几个月的尝试和实验，才能创造出一种新材料。
备受AI“折磨”的火山并不是个例。打开小红书，话题#AI面试目前总浏览量已上千万，你可以看到各种各样的AI面经分享，有的提醒网友“AI面试一定要洗脸”，有的吐槽秋招面试还没见过真人，还有不少求职者发现AI面试“变智能”了：