一种基于融合视觉特征的RGB-D快速无监督配准方法

本发明公开了一种基于融合视觉特征的RGB‑D快速无监督配准方法，针对室内场景RGB‑D数据的特点，能够准确快速的进行配准。此方法总体框架如图1所示，首先，选用公开数据集ScanNet，并从数据集得到所需场景的相应颜色图和深度图作为原始RGB‑D数据，再基于该原始RGB‑D数据划分训练集和验证集；其次，利用颜色图和深度图生成相应场景的颜色点云，并将颜色点云作为深度学习模型的输入提取特征，特征提取的具体过程为：将颜色点云分别输入到几何编码器和视觉编码器中，其中几何编码器由两个多层感知机和池化层组成，视觉编码器包含两个卷积层、一个池化层和一个全连接层；接着，对提取到的几何特征和视觉特征进行融合得到融合特征，将融合特征分别进行计算特征度量投影误差得到变换g，输入到解码器中恢复点云形状；最后将变换g应用到恢复的点云中并替代之前的颜色点云作为新的输入，迭代进行后续步骤，直到输出最终的g。与现有方法相比，我们的方法更充分利用到室内场景RGB‑D数据的特征并且更快速。该方法在三维重建、自动驾驶、虚拟现实等领域具有广泛应用前景。