一种基于文本提示的室内点云场景开放式语义分割方法

本发明涉及一种基于文本提示的室内点云场景开放式语义分割方法。本发明基于大规模室内场景点云数据，采用基于Mamba块的3D U‑Net网络结构提取点云场景局部特征，并通过多级Mamba块和降采样提取场景点云数据全局特征，再通过上采样和跳跃连接恢复场景细节信息以融合点云数据局部‑全局特征；生成场景多视角视图的文本标题提示，并借助2D视图与3D场景之间的投影矩阵与点云场景关联，使得文本提示特征与对应点云数据特征进行特征对齐，再将类别文本嵌入的权重加载到场景分割头中以进行语义分割任务；网络训练中在语义分割损失的基础上增加二分类损失，以平衡场景语义分割网络对基础类别和新类别的识别理解能力；最终实现室内点云场景的开放式语义分割。