
清华、哈工大把大模型压缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!
清华、哈工大把大模型压缩到了1bit,把大模型放在手机里跑的愿望就快要实现了!近期,清华大学和哈尔滨工业大学联合发布了一篇论文:把大模型压缩到 1.0073 个比特时,仍然能使其保持约 83% 的性能!
来自主题: AI技术研报
7997 点击 2024-03-03 18:06
近期,清华大学和哈尔滨工业大学联合发布了一篇论文:把大模型压缩到 1.0073 个比特时,仍然能使其保持约 83% 的性能!
大规模语言模型(LLMs)在很多关键任务中展现出显著的能力,比如自然语言理解、语言生成和复杂推理,并对社会产生深远的影响。然而,这些卓越的能力伴随着对庞大训练资源的需求(如下图左)和较长推理时延(如下图右)。因此,研究者们需要开发出有效的技术手段去解决其效率问题。
联想发布首款AI PC!AI PC能够创建个性化的本地知识库,通过模型压缩技术运行个人大模型,实现AI自然交互。这意味着AI PC不仅可以自动化完成许多繁琐的任务,提高工作效率,还能根据用户的需求和习惯进行个性化定制,让工作变得更加智能、便捷。