一种基于多模态感知的腔道环境实时监测方法及相关装置

本申请公开了一种基于多模态感知的腔道环境实时监测方法及相关装置。该方法包括：同步采集腔道视觉、接触力与电磁定位数据；对三类数据分别进行精炼处理；对精炼后的视觉数据提取YOLO特征，对接触力数据利用mamba模型输出动态触觉特征，对定位数据经扩展卡尔曼滤波精炼为定位特征；基于三类特征分别生成分类结果，经加权投票融合，并将视觉与触觉特征映射至统一三维坐标进行关联标记；最终依据判断及关联结果生成环境状态决策。本发明实现腔道环境多模态实时感知与风险预警，提升手术安全与效率。