港大×复旦×上交：视触觉融合+闭环纠错，让机器人双臂协作不再「盲操」

在具身智能快速发展的今天，高质量数据已成为驱动能力提升的关键基础，然而一个核心问题也随之而来：

如何让机器人数据采集更快、更稳、更有效？

港大联合复旦、上交大近期提出的TAMEn（Tactile-Aware Manipulation Engine for Closed-Loop Data Collection in Contact-Rich Tasks）给出的核心答案是：

在UMI框架基础上做了全方位升级——不是只给一个采集设备或训练代码，而是构建了视触感知融合+精度与便携兼顾+数据可靠性增强+持续进化的数据闭环。

从数据采集、策略训练，到部署纠错、再训练，整条链路被打通，让机器人学得更快、更准、更高效。

TAMEN视触觉闭环数据引擎总体流程

上图对应TAMEN的三层闭环：

1. Data Collection Hardware（数采硬件层）：数采设备、传感器、灵活兼容的采集方式。

2. Data Recipe（人在环数据层）：在线可行性检查，数据金字塔体系。

3. Data Flywheel（价值推理与训练层）：AR触觉反馈遥操作、介入纠错、闭环采集。

三者串联，形成了真实场景中的“数采-训练-部署-纠错-再训练”持续迭代闭环。

TAMEN的技术闭环

可行性在线验证：

• 带拓扑约束的marker追踪，提升遮挡与复杂交互下的跟踪稳定性。

• 融合运动学与动态约束的在线可达性验证（关节限制、速度约束等），确保数据可重播，告别数据后处理清洗。

双模式数据采集：

• 高精度动捕，实现亚毫米精度数采

• 便携VR，实现in-the-wild低成本采集

• 高精度与便携性间实现灵活切换

持续进化闭环：

• 推理中AR介入，自研tAmeR APP，赋予遥操作者实时触觉反馈

• 记录recovery状态下的视觉、触觉、位姿信息，采集珍贵“纠错数据”

金字塔式数据体系：

• 从大规模单臂触觉预训练→双臂任务微调→失败恢复数据闭环优化

双臂协作任务验证

在多项双臂协作任务中，TAMEn将平均成功率从34%提升至75%，这些任务并非简单堆叠，而是覆盖了接触丰富操作中的几类典型难点：从中草药倾倒中对可变形物体的协调控制，到线缆装配中的柔性物体的适应性抓握与插入判断，再到弹簧夹收纳中的多阶段协同时序配合，以及擦盘子中的持续接触。

触觉输入、预训练和闭环纠错三者分别带来持续性能提升，且提高泛化性与鲁棒性。这标志着机器人数据采集正从“可用”迈向“可持续优化”的新阶段。

TAMEn，让机器人不再“盲操作”，而是“有触觉、可进化”的协作伙伴。

项目主页：
https://opendrivelab.com/TAMEn
论文：
https://arxiv.org/abs/2604.07335
Github：
https://github.com/OpenDriveLab/TAMEn

文章来自于"量子位"，作者 "TAMEn团队"。