摘要
本发明公开了一种基于多智能体协同的机械臂运动控制方法,首先,通过子任务生成智能体接收RGB图像及对其应自然语言任务指令,生成结构化子任务序列;其次,通过3D感知智能体将任务文本与场景图像联合建模,定位目标对象在三维空间中的具体坐标,同时结合环境感知器基于机器人历史状态信息推理当前环境的动态特征,生成环境感知向量;最后,动作生成智能体根据子任务文本、子任务目标坐标、机器人当前状态与环境感知向量进行融合建模,生成连续动作向量,驱动机械臂完成各子任务动作,并由控制器和判别器构建闭环反馈,实现任务执行状态判断与自动流转。本发明可有效生成精准动作控制指令,显著提升机械臂任务执行的精细度。