基于多模态扩散模型的具身机器人控制方法及装置

本发明提供了一种基于多模态扩散模型的具身机器人控制方法及装置，涉及智能机器人的技术领域，包括：获取用户端输入的指令文本，以及机器人采集的图像特征集合；利用单模态文本编码器和多模态文本编码器，对指令文本进行特征提取处理，分别得到指令文本的单模态文本特征和多模态文本特征，并通过对单模态文本特征和多模态文本特征进行特征融合处理，确定目标文本特征；基于图像特征集合，确定目标图像特征，并通过预设模态筛选模型，对目标文本特征和目标图像特征进行权重分配及融合处理，确定目标图文融合特征。本发明可以显著提升机器人控制的准确性。