视觉和激光雷达多模融合占据栅格检测方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
视觉和激光雷达多模融合占据栅格检测方法及系统
申请号:CN202410849060
申请日期:2024-06-27
公开号:CN118747879A
公开日期:2024-10-08
类型:发明专利
摘要
本发明公开了一种视觉和激光雷达多模融合占据栅格检测方法及系统。其中,方法包括:获取图像数据的2D图像特征和点云数据的3D体素特征;将2D图像特征和3D体素特征与初始稀疏体素查询向量分别进行特征交互,得到图像模态的稀疏体素查询向量和雷达模态的稀疏体素查询向量,对图像模态的稀疏体素查询向量和雷达模态的稀疏体素查询向量进行融合,得到一维稀疏体素查询向量,并对一维稀疏体素查询向量进行上采样处理,以获得多模态稀疏体素查询向量和对应的特征向量的查询坐标;对多模态稀疏体素查询向量中的特征向量进行处理,以根据特征向量的查询坐标,得到占据栅格检测结果。如此,降低计算成本,部署简单,适用处理大规模场景。
技术关键词
激光雷达 栅格 多模态 多层感知器 图像 视觉 稀疏特征 特征金字塔网络结构 上采样 坐标 多尺度特征金字塔 深度学习模型 特征提取模块 稀疏编码器 数据 采样点 点云 更新模型参数