一种面向机器人的物品识别与抓取系统及方法

本发明公开了一种面向机器人的物品识别与抓取系统及方法，属于人工智能技术领域，包括多源数据输入模块、图像识别模块、语义生成模块、任务导向评估模块以及视觉反馈模块，其中，多源数据输入模块包括获得目标3D点云数据的RGB‑D相机以及用于接收自然语言指令FI的自然语言指令接口；图像识别模块包括双流卷积神经网络和改进的Transformer网络；语义生成模块包括大语言模型LLM；任务导向评估模块包括面向任务的抓取评估器TGE和点云编码器；视觉反馈模块用于在抓取任务结束后判断是否抓取成功，本发明能够精确识别目标物体，优化机械臂对目标物体的抓取性能。