一种基于扩散模型的多模态手术机器人控制方法及装置

本申请提供了一种基于扩散模型的多模态手术机器人控制方法及装置，所述方法包括：获取多模态控制信息，所述多模态控制信息包括视频信息和语言信息；将所述多模态控制信息输入预训练的机器人控制大模型，得到机器人控制信息；基于机器人控制信息，对机器人进行控制；所述机器人控制大模型包括动作生成模块和语言理解模块，所述动作生成模块是基于扩散模型训练得到的。本申请中，通过获取多模态控制信息的方式，可以灵活获取控制指令；通过预设机器人控制大模型的方式，可以对多种形式的控制指令生成对应的控制信息，实现控制，适用范围广泛，大大增加控制指令的处理方式。