华为中科大联创大模型低比特量化算法，1‰数据实现昇腾无损压缩7倍
华为中科大联创大模型低比特量化算法，1‰数据实现昇腾无损压缩7倍大模型巨无霸体量，让端侧部署望而却步？华为联手中科大提出CBQ新方案，仅用0.1%的训练数据实现7倍压缩率，保留99%精度。
来自主题: AI技术研报
8424 点击 2025-05-26 15:21
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型巨无霸体量，让端侧部署望而却步？华为联手中科大提出CBQ新方案，仅用0.1%的训练数据实现7倍压缩率，保留99%精度。
部署超大规模MoE这件事，国产芯片的推理性能，已经再创新高了—— 不仅是“英伟达含量为0”这么简单，更是性能全面超越英伟达Hopper架构！
在当前大模型推理愈发复杂的时代，如何快速、高效地产生超长文本，成为了模型部署与优化中的一大核心挑战。
打破科技巨头算力垄断，个人开发者联手也能训练超大规模AI模型？
医疗大模型快速渗透医院，2025年百强医院部署率达98%，专科垂直模型达55个，面临数据安全挑战。
E2B 的愿景很大，CEO 的目标是成为 AI Agent 时代的 AWS，成为一个自动化的 infra 平台，未来可以提供 GPU 支持，满足更复杂的数据分析、小模型训练、游戏生成等需求，并可以托管 agent 构建的应用，覆盖 agent 从开发到部署的完整生命周期。
今年3月，DeepSeek迅速席卷全国医疗机构。据不完全统计，短短一个月内全国已经有 超300家 医院完成DeepSeek的本地部署，遍布北京、上海、安徽、四川、广东、河北、湖南、江苏等二十多个省市和自治区。
过去一年，AI 领域在开源力量的推动下呈现爆发式增长。大模型不再是少数巨头专属的技术高地，而是在社区协作与开放共享中不断演化，覆盖基础架构、算法优化、推理部署等多个层面。开源，让 AI 更快、更平、更广，也让越来越多的开发者、研究者、创业者拥有了参与下一代智能系统构建的机会。
Mixture-of-Experts（MoE）在推理时仅激活每个 token 所需的一小部分专家，凭借其稀疏激活的特点，已成为当前 LLM 中的主流架构。然而，MoE 虽然显著降低了推理时的计算量，但整体参数规模依然大于同等性能的 Dense 模型，因此在显存资源极为受限的端侧部署场景中，仍然面临较大挑战。
近日，以色列宣布与以色列AI“数字化身”制作平台eSelf、以色列最大的K12教科书出版商CET（Center for Educational Technology）合作，在全国范围内铺开AI辅导。