用于自主驾驶的具有逐代理学习的视觉语言规划(VLP)模型

用于训练自主驾驶的、以代理为中心的视觉语言规划(VLP)机器学习模型的方法和系统。图像数据从车载摄像机获得，包括关于位于外部环境中的代理的细节。通过图像处理，系统识别环境内的这些代理。然后生成周围环境的鸟瞰图(BEV)表示，封装BEV特征，所述BEV特征包括链接到载具和所识别的代理的时空信息。执行VLP模型开始于首先从BEV中提取逐代理BEV特征，其中逐代理BEV特征与环境中的相应代理相关联。从自然语言文本提示中提取逐代理文本特征。对比学习模型推导出逐代理BEV特征和逐代理文本特征之间的相似性。基于相似性细化BEV特征，并且细化的BEV特征用于各种模型中以生成载具的修改的预测轨迹。