一种基于多模态视觉信息的人机交互式目标识别与定位系统及其载体

本发明涉及机器人感知与智能人机交互领域，设备平台与感知模块，系统安装有Intel RealSense D435i深度相机，用于实时采集包含深度信息的RGB‑D图像序列，同时，嵌入先进的YOLOv8‑Pose深度学习模型，实现对前方场景中人类上半身骨骼关键点的高精度检测、自然交互、手势指引机制、方向推断与目标候选聚合、交互式目标筛选与判定、稳健性增强策略、深度缺失与噪声鲁棒性、残缺目标补全机制，主要实现基于深度视觉、姿态估计和语义理解的人机协作式目标物体识别与定位方法。该技术可适用于服务机器人、智能助理机器人等对自主感知与自然交互有较高要求的实际应用场景，进一步促进了人机共融与智能环境的建设。