视触结合的多模态机械手抓取性能测试方法

一种视触结合的多模态机械手抓取性能测试方法，在仿真环境下使用包含若干阵列化触觉传感单元的夹爪并采样得到场景点云及其抓取位姿后，进一步在仿真环境下通过二指夹爪模拟抓取并记录视触结合多模态数据作为训练集，对构建的神经网络进行训练；通过训练后的神经网络在实际抓取场景下根据输入的物体点云、夹爪抓取位姿以及抓取性能推理矩阵，预测得到抓取性能量化指标。本发明通过在仿真环境中生成大量视触结合的多模态物体抓取数据，根据场景点云与接触力学信息，计算抓取性能推理矩阵，训练神经网络模型预测抓取性能等级。