模型压缩到70%，还能保持100%准确率，无损压缩框架DFloat11来了
模型压缩到70%，还能保持100%准确率，无损压缩框架DFloat11来了大型语言模型（LLMs）在广泛的自然语言处理（NLP）任务中展现出了卓越的能力。
来自主题: AI技术研报
6744 点击 2025-04-28 15:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大型语言模型（LLMs）在广泛的自然语言处理（NLP）任务中展现出了卓越的能力。
大规模数据集和标准化评估基准显著促进了自然语言处理和计算机视觉领域的发展。然而，机器人领域在如何构建大规模数据集并建立可靠的评估体系方面仍面临巨大挑战。
过去十年，自然语言处理领域经历了从统计语言模型到大型语言模型（LLMs）的飞速发展。
近年来，深度学习技术在自动驾驶、计算机视觉、自然语言处理和强化学习等领域取得了突破性进展。然而，在现实场景中，传统单目标优化范式在应对多任务协同优化、资源约束以及安全性 - 公平性权衡等复杂需求时，逐渐暴露出其方法论的局限性。
2025年2月27日，由前扩散模型领域顶尖研究者创立的Inception Labs正式发布了全球首个商业级扩散大语言模型（dLLM）——“Mercury”。这一里程碑式产品不仅在生成速度、硬件效率和成本控制上实现突破，更标志着自然语言处理技术从自回归（Autoregressive）范式向扩散（Diffusion）范式的重大跃迁。
大语言模型（LLMs）在当今的自然语言处理领域扮演着越来越重要的角色，但其安全性问题也引发了广泛关注。
本文是对亚马逊AWS研究团队最新发表的APO（自动提示词优化）技术综述的深度解读。该研究由Kiran Ramnath、Kang Zhou等21位来自AWS的资深研究者共同完成，团队成员来自不同技术背景，涵盖了机器学习、自然语言处理、系统优化等多个专业领域。
Transformer 架构在过去几年中通过注意力机制在多个领域（如计算机视觉、自然语言处理和长序列任务）中取得了非凡的成就。然而，其核心组件「自注意力机制」 的计算复杂度随输入 token 数量呈二次方增长，导致资源消耗巨大，难以扩展到更长的序列或更大的模型。
本文作者为北京邮电大学网络空间安全学院硕士研究生倪睿康，指导老师为肖达副教授。主要研究方向包括自然语言处理、模型可解释性。该工作为倪睿康在彩云科技实习期间完成。联系邮箱：ni@bupt.edu.cn, xiaoda99@bupt.edu.cn
当谷歌在 2018 年推出 BERT 模型时，恐怕没有料到这个 3.4 亿参数的模型会成为自然语言处理领域的奠基之作。