基于图像点云跨模态融合与动作分块Transformer的机械臂控制方法及系统

本发明属于具身智能领域，涉及一种基于图像点云跨模态融合与动作分块Transformer的机械臂控制方法及系统，包括：根据多视角RGB图像和对应的深度图构建场景点云；利用场景点云在机械臂工作空间周围生成多视角融合图像‑点云信息的虚拟视图；将多视角融合图像‑点云信息的虚拟视图输入到特征提取网络中，得到特征图；获取机械臂中各个关节状态和历史动作序列，并将关节状态进行投影；将特征图、投影后的关节状态以及历史动作序列输入到编码器中，得到编码特征；将编码特征输入到解码器中，基于动作分块策略预测机械臂动作序列；根据机械臂动作序列对机械臂进行控制；本发明将点云图像多模态感知数据整合为统一的特征表示，并结合动作分块Transformer实现机械臂的智能动作规划，从而提升机器人对复杂任务的全局理解和决策能力。