AI资讯新闻榜单内容搜索-大模型压缩

关键词: AI新闻,Hy-MT1.5-1.8B-1.25bit,翻译模型,腾讯混元

腾讯混元团队刚刚开源了一份硬核解决方案：推出极致量化压缩版本翻译模型Hy-MT1.5-1.8B-1.25bit，把支持33种语言的翻译大模型压缩至440MB。无需联网，下载后即可在手机本地运行 。官方测试显示，其翻译质量优于谷歌翻译。

关键词: AI,模型训练,人工智能,EFFIVLM-BENCH

在金融科技智能化转型进程中，大语言模型以及多模态大模型（LVLM）正成为核心技术驱动力。尽管 LVLM 展现出卓越的跨模态认知能力

关键词: AI,工业AI,vLLM,Ada-KV,模型训练

改进KV缓存压缩，大模型推理显存瓶颈迎来新突破—— 中科大研究团队提出Ada-KV，通过自适应预算分配算法来优化KV缓存的驱逐过程，以提高推理效率。

关键词: 模型部署,AI,Llama 3.1 405B,AI工具,模型训练

单卡搞定Llama 3.1（405B），最新大模型压缩工具来了！

关键词: 大模型,模型训练,Qllm-Eval,无问芯穹

基于 Transformer架构的大型语言模型在各种基准测试中展现出优异性能，但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数，采用FP16存储，模型大小约为350GB，而即使是英伟达最新的B200 GPU 内存也只有192GB ，更不用说其他GPU和边缘设备。

关键词: 大模型训练,大模型压缩,OneBit

近期，清华大学和哈尔滨工业大学联合发布了一篇论文：把大模型压缩到 1.0073 个比特时，仍然能使其保持约 83% 的性能！