大模型训练开销还能更小！微软推出首个FP4训练框架，训练效果与BF16相当
大模型训练开销还能更小！微软推出首个FP4训练框架，训练效果与BF16相当首个FP4精度的大模型训练框架来了，来自微软研究院！
来自主题: AI技术研报
8204 点击 2025-01-30 15:11
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
首个FP4精度的大模型训练框架来了，来自微软研究院！
他们急了！特朗普的AI沙皇和微软纷纷指控DeepSeek「偷窃」数据，DeepSeek不断遭受来自美国IP的不间断大规模攻击。Anthropic CEO更是发出檄文：再不加强对中国的芯片管制，就来不及了！
一个5000亿美元的大动作，让微软不再是OpenAI独家云计算供应商了。
该技术报告的主要作者 Lu Wang, Fangkai Yang, Chaoyun Zhang, Shilin He, Pu Zhao, Si Qin 等均来自 Data, Knowledge, and Intelligence (DKI) 团队，为微软 TaskWeaver, WizardLLM, Windows GUI Agent UFO 的核心开发者。
在科技飞速发展的当下，AI如汹涌浪潮席卷而来。从认知过载到焦虑情绪，AI催生了一种新型的「疲劳症」。
AI编程蓝皮书火了，发布3天，阅读量超过3万！
本期《智者访谈》邀请到著名开源语音识别项目 Kaldi 的创始人、小米集团语音首席科学家 Daniel Povey 博士。作为推动全球智能语音处理产业化的关键人物，他见证了语音识别技术从实验室走向大规模应用的全过程。十多年前，他在微软研究院的实习生，如今已成为 Google Gemini 等标志性项目的负责人。
在人工智能快速发展的今天，大型语言模型（LLM）在各类任务中展现出惊人的能力。然而，当面对需要复杂推理的任务时，即使是最先进的开源模型也往往难以保持稳定的表现。现有的模型集成方法，无论是在词元层面还是输出层面的集成，都未能有效解决这一挑战。
近日，微软又有了新的重磅动作。微软 CEO 萨蒂亚・纳德拉（Satya Nadella）在官方博客上宣布，微软将组建一个全新的 AI 团队 ——CoreAI 。这一消息瞬间引发了科技圈的广泛关注，毕竟在 AI 领域，微软的每一次举动都可能预示着行业的发展方向。
AI大模型正从仅会聊天的LLM进化为能够执行任务的大型行动模型LAM。它不仅能理解用户的指令，还能在软件环境中自主执行任务。