从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26
7729点击    2026-09-04 15:48

深度神经网络已广泛应用于图像识别、自动驾驶等领域,但其对对抗样本的脆弱性,仍制约着可靠部署。


对抗净化能在分类前利用生成模型去除潜在扰动,是提升模型鲁棒性的重要路径。然而,如何在充分抑制对抗扰动的同时,最大限度保留输入样本的原始语义信息,是对抗净化亟需解决的关键问题。


针对这一问题,本文介绍发表于TPAMI 2026的工作《Adversarial Purification by Consistency-aware Latent Space Optimization on Data Manifolds》。该工作从隐空间流形优化的视角重新思考对抗净化过程,提出基于一致性模型的对抗净化方法(CMAP),利用预训练生成模型的隐空间先验,将对抗样本映射回干净数据流形,从源头消除扰动;同时通过感知一致性恢复与隐分布一致性约束,实现像素与隐空间双重对齐,在分类器架构或攻击类型未知的条件下仍能高效防御。


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


研究背景:从“加噪—去噪”到数据流形恢复


现有基于扩散模型的对抗净化方法通常先向输入注入噪声,再利用反向扩散恢复图像。但高斯噪声与对抗扰动在分布和作用机制上并不一致,固定噪声尺度也难以适应不同攻击类型和强度,因而加剧鲁棒性与语义保持之间的权衡。


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


CMAP的设计源于一个关键观察:生成模型产生的样本与干净数据分布距离较近,而对抗样本存在更明显的分布偏移。这说明生成模型能够刻画干净数据流形,其隐空间可作为恢复可信样本的重要先验。由此,CMAP将传统“输入空间去噪”转化为“隐空间优化与干净数据流形恢复”。


CMAP:在一致性模型隐空间中寻找“干净答案”


CMAP选择一致性模型作为生成先验。相较需要多步采样的扩散模型,一致性模型能够以极少步甚至单步完成生成,从而降低隐空间优化开销;其基于ODE的确定性映射也减少了生成随机性对梯度优化的干扰。


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


上图展示了完整检测流程。检测框架包含三个模块:


  • 感知一致性恢复模块


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


  • 隐分布一致性约束模块


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


最终,CMAP联合优化:


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


  • 隐向量一致性预测模块


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


,并通过投票获得最终预测:


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


  • 理论保障


论文进一步从隐空间分布偏移和重建误差两个角度理论分析CMAP。


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


Theorem 1表明,即使输入空间中的对抗扰动幅度很小,其沿ODE轨迹映射至隐空间后仍可能引起显著的均值偏移,说明限制隐空间分布对于避免重新拟合对抗扰动具有必要性。


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


Proposition 1进一步表明,CMAP的联合优化目标能够收紧生成结果相对于原始干净样本的重建误差上界。感知一致性负责保留输入语义,隐分布一致性则限制优化结果进入异常区域,两者共同推动样本回归可信数据流形。


实验验证:跨生成模型与数据场景的性能分析


作者在CIFAR-10和ImageNet-100上进行了系统评估,覆盖不同分类器,以及PGD、AutoAttack、BPDA和自适应攻击等多种威胁模型。


白盒攻击下的卓越性能


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


在CIFAR-10上,CMAP在PGD+EOT和AutoAttack下均显著优于已有净化方法,其中PGD+EOT下相较最强基线的鲁棒准确率最高提升18.73%,AutoAttack下最高提升6.54%


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


在更加复杂的ImageNet-100上,CMAP同样保持稳定优势,PGD+EOT下提升6.47%–8.79%


高强度攻击下的稳定恢复能力


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


提高攻击强度后,传统扩散净化方法的鲁棒性能下降更明显,而CMAP的衰减相对缓慢,在高强度攻击下优势可扩大至43.43%–46.93%


这进一步反映了CMAP与传统方法在机制上的本质差异。传统方法通常依赖预设噪声尺度来覆盖并削弱对抗扰动,当攻击强度发生显著变化时,原有噪声不再适用,防御性能快速退化。而CMAP无需显式估计对抗扰动的幅度,而是通过隐空间优化寻找与输入语义一致且符合干净隐分布的表示,因此对攻击强度变化具有更强的适应性。


自适应攻击下的稳健性


从像素空间走向数据流形:生成模型的对抗净化新范式 | TPAMI'26


此外,针对隐空间优化设计的Consistency-Disruption Attack表明,即使攻击直接破坏隐向量与干净数据流形之间的一致性,CMAP仍能保持较稳定的鲁棒性能。


总结与展望


CMAP提出了一种区别于传统“加噪—去噪”的对抗净化范式:面对幅度微小且难以显式分离的对抗扰动,无需在像素空间中准确估计攻击噪声,而可借助生成模型学习到的数据先验,在隐空间中寻找与原始语义一致、同时符合干净数据分布的可信表示。


这一思路将对抗净化从“删除扰动”转化为“恢复数据流形”,并通过感知一致性、隐分布一致性和多候选集成实现稳定恢复。实验表明,CMAP在不同分类器、攻击类型、高强度及自适应攻击场景下均表现出较强鲁棒性,为生成模型驱动的对抗防御提供了新的研究视角。


论文链接:https://arxiv.org/abs/2412.08394

代码链接:https://github.com/ZSHsh98/CMAP


文章来自于微信公众号 “量子位”,作者 “量子位”

AI转型,免费服务,就找AITNT
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
RAG

【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。

项目地址:https://github.com/microsoft/graphrag

【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。

项目地址:https://github.com/langgenius/dify


【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。

项目地址:https://github.com/infiniflow/ragflow/tree/main


【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目

项目地址:https://github.com/phidatahq/phidata


【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。

项目地址:https://github.com/TaskingAI/TaskingAI