一种车辆自动驾驶视听觉信息融合方法及装置

本发明公开一种车辆自动驾驶视听觉信息融合方法及装置，包括：获取车辆采集的视觉信息以及听觉信息；听觉信息包括声源方向；将听觉信息投影到视觉信息的坐标系中；通过注意力机制将在同一坐标系中的视觉信息与听觉信息融合，得到融合特征；将听觉信息投影到视觉信息的视觉坐标系中包括：获取车辆摄像头的内参矩阵；根据声源方向得到车辆摄像头到声源的距离值；根据内参矩阵以及距离值将声源方向转化为视觉坐标系下的坐标。通过获取车辆的视觉信息以及听觉信息后，将听觉信息投影到视觉信息的坐标系中，使得听觉信息和视觉信息能够在同一坐标系下进行有效地融合，从而通过融合特征进行目标检测和定位提高车辆对复杂场景的感知精度和鲁棒性。