让大模型“瘦身”90%！清华&哈工大提出极限压缩方案：1bit量化，能力同时保留83%
让大模型“瘦身”90%！清华&哈工大提出极限压缩方案：1bit量化，能力同时保留83%对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。
来自主题: AI技术研报
6322 点击 2024-03-09 14:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。
模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开销并加快推理速度。对于具有海量参数的大语言模型而言，模型量化显得更加重要。
Midjourney 把 Stability AI 拉入黑名单了，禁止后者所有员工使用其软件，直至另行通知。
虽然 AI 生图领域，看似百花齐放，但论资排辈，Midjourney、Stability AI 还是很受用户欢迎的。就算是竞争对手，Midjourney 也不至于禁止 Stability AI 员工使用其软件吧。
Stability AI放出了号称能暴打闭源模型的Stable Diffusion 3的技术报告，采用DiT构架的新模型在灵活性和性能上都达到了新的高度。
春节期间，“黄龙江文学”意外走红互联网，这段掺杂着大量高级专业名词、又宛如乱码的语句一跃成为新晋抽象顶流，并迅速点燃了用户的玩梗热情。在大量二创作品中，全网粉丝超百万的艺术博主@曾bobi 却惨遭“翻车”。
最近，文生视频模型 Sora 掀起了新一轮生成式 AI 模型浪潮，模型的多模态能力引起广泛关注。
最近谷歌DeepMind的CEO Hassabis接受了多个播客主播的专访，向大众透露很多谷歌最近发布模型的内幕，以及他理解的如何通向AGI的道路。
近期，清华大学和哈尔滨工业大学联合发布了一篇论文：把大模型压缩到 1.0073 个比特时，仍然能使其保持约 83% 的性能！
Google 最近在大模型上动作不断，先是发布了性能更强大的多模态 Gemini 1.5 Pro，然后是开源的小模型 Gemma，评测结果超过了 7b 量级的 Llama 2。