清华给电子显微镜加上Agent，DeepSeek V3全程调度，数天流程缩短至几分钟

AI Agent又解锁了一个领域！

清华大学牵头，与西北工业大学以及上海AI lab等机构推出了电镜领域的AI agent——AutoMat。

它相当于一位精准的“地图翻译官”，把原子级 STEM 图像自动转成标准 CIF 结构，并一步到位给出形成能等关键物性。

过去的人工流程被缩短到几分钟，真正打通了“显微成像 → 结构重建 → 性质预测”的断层。

此外，团队还专门构建了二维材料数据集 STEM2Mat‑Bench（450 余个样本）进行验证—选择二维材料是因为其单层结构减少多重散射与投影歧义，更便于精确成像与评测。

结果显示，AutoMat在重建精度与能量预测上全面超越现有多模态大模型与AtomAI等专用工具，首次让“看到原子”真正等同于“理解材料”，为材料发现和实验流程的自动化闭环开启了高速通道。

电镜领域的AI Agent

电子显微技术的快速发展已达到亚原子级的成像效果，但解析表征图像的原子结构仍然需要专家逐像素判读、手动建模，对应模板结构，这样才能得到可供计算的晶体结构文件，这一过程往往耗时数小时甚至数天，还容易因噪声或元素重叠出错，就像拿着古地图却无法快速生成GPS导航一样令人沮丧。

为了解决这个问题，团队首先从数据开始着手。

现有STEM公开数据集较少、且“图像+结构+性质”成套数据稀缺，为此团队从 C2DB / Materials Project / OpenCrystal 挑选高质量二维晶体，最终锁定450 个样本、67 种元素。

然后依据元素多样性与电子束剂量 将任务分为三档难度梯度：

• Tier 1：单元素 + 高剂量 → “入门关”Tier 

• 2：二元或中剂量 → “进阶关”Tier 

• 3：三元素 + 低剂量 → “地狱关”

三元组齐备，闭环验证。每条样本自带带噪 STEM 图像、对应 CIF 结构、DFT级形成能等物性，让模型在“图像→结构→性质”全链路上一站式考核。

借助 STEM2Mat-Bench，AutoMat首次展示了在全难度段稳定重建与精准预测的能力，也为后续算法提供了统一、公正的比拼赛道。

作为桥接显微镜与计算模拟的智能 Agent，AutoMat主要分为四步形成闭环。

第一步，图像降噪 | MOEDIVAESR，模式自适应混合专家网络，按噪声/结构动态选择父类和子类专家，去噪+锐化一次到位。

第二步，结构先验 | 模板检索，像素和样式特征 × 元素对比，秒级锁定候选晶体模板。

第三步，原子重建 | STEM2CIF，无监督聚类定位原子峰 → 晶格拟合 → 元素分配，直接输出标准 CIF 文件，可即刻用于计算。

第四步，性质预测 | MatterSim，机器学习势能快速松弛优化结构，输出形成能等关键物性。

其中DeepSeek-V3 LLM Agent 全程调度、实时质检。

从原始 STEM 图像出发，四步直达优化后的原子结构与物性数据，同时保留每阶段中间结果，便于衍生下游任务。AutoMat 将“像素级观察”即时转化为“材料级洞察”，大幅缩短实验发现到理论验证的周期。

性能评估

为评估 AutoMat，团队设置三条基准线：一是多模态视觉‑语言模型（GPT‑4.1 mini、Qwen 2.5‑VL‑32B、LLama 4V‑17B、ChemVLM‑8B），输入固定提示与 STEM 图像直接推断材料性质，用于衡量“图像→性质”推理水平；二是 AtomAI，仅通过分割网络定位原子中心并结合分辨率拟合晶格，专门考察结构重建精度；三是“真值 CIF + MatterSim MLIP”，即将真实 CIF 喂入机器学习势能模型，给出形成能误差的理论最优上限。

AutoMat在形成能预测上的平均绝对误差（MAE）为332 ± 12 meV/atom（分层级为 344、320 和 333 meV），虽仍高于理论最佳值（48 meV），但远低于视觉-语言模型普遍数 eV 级别的误差，且后者误差随任务难度显著增加，验证了基准设计的合理性。进一步提升结构重建精度后，AutoMat 有望逼近理论误差范围，充分满足下游性质预测需求。

整体看，AutoMat的剩余误差主要源于结构重建而非势能模型，所重建结构足以支撑可靠的下游性质预测。

对于结构重建，AutoMat实现了大约0.11 A的平均投影RMSDxy，比AtomAI（43-44 A）低两个数量级，大多数偏差可通过最终松弛校正。在成分正确性方面，AutoMat在各层级上平均达到83%（具体为88.9%、85.9%、73.1%），而AtomAI仅在简单的Tier 1情况下达到不到2.7%。在结构成功率方面，考虑空间和成分一致性，AutoMat总体达到83.2%（各层级为85.0%、84.0%、73.1%），而AtomAI几乎不能产生有效结构。

总结来说，AutoMat不仅优于所有现有基线，而且在具有挑战性的Tier 3场景中保持高性能，这些场景涉及多元素组成和低成像剂量，展示了其在整个基准范围内的稳健性和泛化能力。

不过实验过程中也有两大瓶颈尚待解决。

比如，模板检索失灵（39.3 %）。检索未命中正确晶体，导致原子排布与元素完全错位，形成能误差最高飙至 3130meV / atom（典型案例：U-F-O结构被错配为 P-系模板）。

还有下游重建崩溃（60.7 %），模板虽正确，但 2D 投影重叠或 C/O 等近似元素对比度过低，触发原子混淆、结构松弛失真，CIF 直接输出失败。

接下来，团队将朝着两个方面进行优化：

• 不确定性检索 + 多候选融合：先扩宽匹配范围，再用置信度筛选，提高模板命中率。

• 3D-aware&多模态融合：补足z轴深度信息，强化复杂体系的结构保真度与性质预测准确性。

实验‑模拟‑AI 三位一体，AutoMat 将把“观测、建模、验证”闭环成可迭代流程。下一阶段，他们将扩展至 3D 体相、缺陷/界面体系及更多模态，进一步提升复杂材料的结构保真度与性质预测能力。

代码：https://github.com/yyt-2378/AutoMat

数据集： https://huggingface.co/datasets/yaotianvector/STEM2Mat

论文： https://arxiv.org/abs/2505.12650

文章来自于微信公众号“量子位”。