机器人感知方法、系统及相关设备

本申请实施例公开了机器人感知方法、系统及相关设备，该方法包括：将当前环境感知数据和当前任务指令作为提示词输入机器人多模态大模型，机器人多模态大模型根据提示词的要求，输出当前环境感知数据对应所属的知识领域；将当前环境感知数据对应所属的知识领域输入形式化知识引擎，生成对应的形式化知识多模态样本；将形式化知识多模态样本、当前环境感知数据和当前任务指令合并作为多模态提示词，输入机器人多模态大模型，得到机器人本体的行为规划。本申请在感知阶段直接获取数学/物理先验知识，不依赖大语言模型的缓慢训练和推理。由此机器人多模态大模型可以生成更合理的动作行为规划，避免模型幻觉，有效提高机器人安全性和响应速度。