挑战 1 比特！ETH Zürich 秦浩桐：如何把大模型「塞进」小设备？| IJCAI 2026

面对大模型规模与硬件内存之间高达20倍的算力鸿沟，不重训的“1比特量化”如何把千亿参数的硅基大脑塞进微型设备？

在 AGI 的狂飙之路上，大语言模型（LLM）正以一种近乎野蛮的“规模法则（Scaling Law）”吞噬着算力与数据。然而，当这些拥有千百亿参数的硅基大脑试图从云端降临到手机、汽车甚至植入式医疗设备时，却撞上了一堵难以逾越的“内存墙”：过去几年，模型参数规模的暴涨速度，惊人地达到了底层硬件内存容量增长速度的 20 倍。

在刚刚于德国不莱梅开幕的 IJCAI 2026 大会上，AI科技评论注意到，学术界与工业界正在达成共识：寄希望于摩尔定律或下一代芯片的发布来填平这 20 倍的算力鸿沟，已是痴人说梦。唯一的出路，是向模型的数据表示方式“动刀”。

来自苏黎世联邦理工学院Center for Project-Based Learning 的博士后、即将履新香港理工大学的秦浩桐，在首日的“Generalizing from Limited Resources in the Open World”主题 Workshop 中，给出了一个创新解法：挑战无需重新训练的“后训练量化（PTQ）”极限，将庞大的 LLM 强行压缩至极端的 1 比特与 2 比特。

作为近年来在模型压缩领域的代表性学者，秦浩桐团队的名字因 BiLLM 与 SqueezeLLM 两项里程碑式的工作而广为人知。在此之前，后训练量化在降至 3 比特以下时，往往伴随着模型智力的“断崖式崩溃”。而秦浩桐团队彻底打破了这一魔咒。他们敏锐地捕捉到了大模型权重深处的“物理规律”：绝大多数权重呈现死寂的“钟形分布”，而真正决定模型生死存亡的“长尾敏感度”，却像遗传基因一样高度集中在极少数的通道中。

这场演讲的重大现实意义在于，它向全行业展示了量化技术从“粗暴砍树”向“精准微雕”的范式跃迁。

通过 BiLLM，他们不仅摒弃了动辄数十小时的重新训练，仅用半小时单卡算力，就将关键权重单独抽离，把剩余庞大权重极限量化至 1 比特，让原本注定报废的模型依然能连贯对话；而通过 SqueezeLLM，他们进一步确立了以“128 个权重为一组”的动态分配法则，成功把 2 比特量化下困惑度飙升的大模型拉回了工业可用状态。这意味着，大模型在资源受限设备上的普及，终于有了一套突破内存与带宽封锁的“终极压缩算法”。

同时，秦浩桐也毫不避讳地指出了极低比特量化驶入深水区后的三大终极挑战：低于 2 比特时复杂逻辑指令的隐性折损、底层硬件对极低比特原生通路的缺失，以及庞大 Activation（激活值）与 KV Cache 的量化坚冰。当全球科技巨头都在为端侧 AI 的入口争得头破血流时，如何越过这最后三座大山，将决定着数百亿美元的端侧大模型市场何时迎来真正的爆发。

以下是秦浩桐的演讲实录，AI科技评论做了不改原意的解读：

▎演讲标题：Extreme Quantization for Efficient LLMs （面向高效大语言模型的极限量化）

01

填平20倍算力鸿沟：

量化已非边缘课题

首先做个自我介绍。我是秦浩桐，曾在工业界担任研究员，目前即将在香港理工大学（Hong Kong Polytechnic University）担任校长特设助理教授。我的研究长期聚焦于高效深度学习、基础模型压缩，以及探索如何让这些庞然大物在现实世界的软硬件系统上真正跑起来。

这背后所有工作的终极目标非常纯粹：让大模型能够在更小的设备上运行。

据预测，到2030年，大语言模型（LLM）的市场规模将达到350亿美元。但剥开这串数字，行业的真正痛点在于：如果这些模型最终要从云端走向手机、汽车、机器人或是便携式医疗设备，运行它们的计算成本将成为生死攸关的设计瓶颈。我们的使命，就是让计算变得足够廉价，直到它能无缝落地。

当前我们正面临一个残酷的算力瓶颈。模型尺寸的膨胀速度呈数量级飙升，远远甩开了硬件内存的增长曲线，现在的差距大约是 20倍。每一代硬件的内存提升不过百分之几十，我们显然不能指望靠等待下一代芯片的发布来填平这道鸿沟。

破局的关键在于：必须改变模型的数据表示方式。 这就是基础模型量化（Quantization）的意义所在。

通过改变权重（Weight）和激活值（Activation）等数据的精度，你可以清晰地看到：低精度模型在运行速度上对高精度（如FP16）模型形成了降维打击。以一个 FP16 的 LLaMA 7B 模型为例，其体积大约为 14GB，在进行矩阵乘法时，内存延迟和能耗占据了绝对主导。但如果改变数据表示精度，模型体积可以瞬间缩小4倍，各类内存流量也大幅跳水。本质上，我们是在放弃部分数值精度，去换取宝贵的内存、带宽和功耗。

▎在这个赛道上，目前有三种标准的数据格式：

1.均匀量化（如INT4）： 采用统一步长将数值舍入到最近的层级，硬件支持极度友好。

2.非均匀量化（如NF4）： 步长随数值分布变化，在靠近零的区域密集，在两端稀疏。这完美契合了模型权重呈现的“钟形（正态）分布”特点。

3.极低比特量化（如1-bit）： 也是最极端的做法，只保留符号位，或者在非均匀配置下进行极限推断。

放眼整个学术界，量化已经成为绝对的显学。相关论文从2010年的百余篇，暴增至今年的3000多篇。这种狂热的趋势印证了一个事实：随着模型越来越庞大，模型压缩已经从一个边缘课题，成为了大模型时代的基建工程。

02

BiLLM：在不重训的绝境下，

挑战1比特极限

我们团队发表在2024年的第一项代表性工作是 BiLLM。当时，我们向自己抛出了一个极其激进的问题：我们能不能在完全不重新训练（Retraining）的前提下，将预训练大模型直接“榨干”到 1比特？

为什么要死磕“不重训”？因为通过重新训练来进行量化虽然精度有保障，但在庞大的 GPU 集群上往往需要耗费数十甚至上百小时。而我们坚持的“后训练量化（PTQ）”路线，不需要梯度更新，仅需一个微小的校准数据集。这意味着，在一张普通的单张 GPU 上，只需大约半小时到一个小时就能完成整个压缩过程。

但 PTQ 的阿喀琉斯之踵在于精度崩溃。这种方法在 8比特 和绝大多数 4比特 下表现尚可，但在 3比特 时开始出现性能损耗。到了 2比特，模型性能会遭遇“断崖式崩溃”（困惑度飙升到成百上千）；而一旦探底到 1比特，模型基本就彻底罢工了。

因此，我们的破局思路转变为：权重的内部究竟隐藏着什么结构特征，可以被我们用来消除这种断崖式崩溃？

▎我们在这座“数据矿山”中挖掘出了两个关键事实：

• 第一，权重的敏感度存在“长尾效应”。 如果你通过干扰权重来观察损失函数的波动，你会发现，绝大部分的敏感度，其实高度集中在极小一部分“关键权重”上。
• 第二，权重分布呈现“钟形分布”。 绝大多数权重的大小都死死地聚拢在0附近，尾部极细。

这两个事实指明了方向：一小部分“极其敏感”的权重必须被当成大熊猫一样小心呵护，而剩下的汪洋大海般的普通权重，则可以进行粗暴压缩。

这便是 BiLLM 的核心解法：解耦处理。 首先，找出那些敏感的特征并加以保留。如果不加优化，保存这些不规则的索引会带来巨大的内存开销，反而抵消了量化带来的加速。但我们在剪枝时惊喜地发现：敏感度在网络层中是具有“遗传性”的。 它们并非随机散布，而是集中在少数几个通道（Channels）中。这意味着我们可以直接保留 Top-1 的结构化权重，而几乎不占用额外的存储空间。

接下来处理剩下那符合“钟形分布”的庞大权重。如果在整个分布上采用一刀切的量化标准，极易误伤尾部数据。因此，我们将其一分为二：设定一个阈值，阈值上下分为两组，每组采用独立的量化标准和缩放系数（Scale）。寻找这个能让量化误差最小化的阈值，在计算上极其廉价，却能挽救巨大比例的精度损失。

来看最终的战绩： 结合上述策略，模型平均被压缩至每权重约 1.08 比特。在这个极限预算下，LLaMA-2 70B 模型在 WikiText-2 测试集上达到了 8.41 的优异困惑度。作为对比，早期的 GPTQ 等后训练方法在 2比特 时困惑度就已经飙破了100。

更重要的是，这个在 1比特 压缩率下的模型，依然是一个“活”的模型。 它生成的文本连贯且切题，虽然锐利度不及 FP16，但完全可用。这项突破性的工作也获得了《IEEE Spectrum》杂志的高亮报道，被誉为大幅降低 AI 能源需求的代表作。

03

SqueezeLLM：

拯救2比特量化的“组级”博弈

接下来是我们的第二项工作：SqueezeLLM。 如果说 BiLLM 是在探索“精度能降到多低”，那么 SqueezeLLM 则是要回答另一个工程问题：如果固定平均比特位（比如2比特），有没有更完美的分配法则？

传统的2比特量化有两条老路。要么是“均匀精度”（大家平分比特），虽然又快又简单，但在 GPU 上困惑度会直接崩坏到 150 以上；要么是“细粒度混合精度”，精度保住了，但需要额外的位图（Bitmap）来做标记，不仅吃存储，还会彻底破坏底层快速计算内核所依赖的规则内存读取机制。

我们的解法是走第三条路：以 128个权重为一个“组（Group）”来动态分配比特位。这个颗粒度极度讨巧。它既足够规整，能在硬件上保持常规的高效计算；又足够精细，能精准追踪到重要数据的藏身之处。

为什么“128个权重”是合理的划分单位？ 这就回到了之前提到的那个洞察——权重的敏感度在空间上是有严密组织的结构，绝非随机噪声。 敏感度高度集中在少数几个通道中，并在不同层之间保持一致性。这使得我们在“组级别（Group-level）”做出的决策，变得异常安全可靠。

▎我们在 SqueezeLLM 中设计了两个层级的精密处理：

1.组间博弈： 按敏感度对组进行排序。给最重要的组“奖励”1个比特，同时从最不重要的组那里“扣除”1个比特（维持整体2比特平均值不变）。

2.组内校准： 在组内进行基于“敏感度加权”的校准，确保那些极其少数但至关重要的权重，不会被大量平庸的权重给“平均”掉。

成果同样令人振奋： 在 WikiText 基准测试上，面对 LLaMA 7B 的 2比特量化，基线方法（如GPTQ）的困惑度均在数百级别（处于损坏状态）。而 SqueezeLLM 成功将困惑度一把拉回了正常区间，将一个原本“坏掉”的模型救回了“可用状态”。并且，由于该方法在核算时每一行是独立的，它完美适配现有的计算内核，无需额外开销。在视觉语言模型（VLM）的测试中，当 2比特的 GPTQ 和 AWQ 已经变成只会输出乱码的废铁时，SqueezeLLM 依然保持了极高的精度。

04

未来展望：

量化领域的“三大未解之谜”

最后，让我们跳出具体的算法，审视一下全貌。

大模型的权重内存正在经历疯狂的“跳水”：从 FP16 的约 14GB，到 4比特的 3.3GB，再到 1比特的约 1GB。 在目前的节点上，我认为 4比特量化已经基本达到了“开箱即用”的成熟阶段。而 2比特工作（如SqueezeLLM）攻克了分组量化的难题，1比特工作（如BiLLM）则捅破了敏感权重处理的天花板。

但是，这场战争远未结束。目前我们的狂欢，主要仍局限在“仅针对权重（Weight-only）”的量化上。

许多系统在运行时，依然保留着高精度的激活值（Activation）以及庞大如山怪的 KV Cache。这意味着，进一步压榨模型体积和计算量的空间依然极其广阔。

▎在通往极致轻量化的道路上，我们仍需翻越三座大山：

• 挑战一：低于2比特时，复杂生成质量的“隐性折损”。 虽然困惑度（Perplexity）的指标被拉下来了，但在指令遵循（Instruction Following）和长文本对齐（如 HHH 原则）等复杂任务上，模型依然存在明显的智力损失。这些隐性折损，是简单的困惑度指标无法侦测的。
• 挑战二：底层硬件并不懂“低比特的语言”。 目前市面上的 GPU 并没有原生支持 INT2 或 1比特 数据通路的计算架构。这导致了一个尴尬的局面：我们在算法上实现了惊人的压缩比例，但实际跑在硅片上的运行速度提升，却远远落后于这个比例。
• 挑战三：激活值与 KV Cache 的量化深水区。 就像我刚提到的，如何在保持精度的前提下，将流动性极强、体量巨大的激活值和 KV Cache 也降到极低比特？这是量化领域目前最硬核的关键战役。

以上就是我今天的分享。这两项工作的代码均已完全开源。非常感谢大家的聆听，接下来期待与各位进行深入的交流。

文章来自于"AI科技评论"，作者 "AI科技评论"。