一种基于多模态大模型的图像特征匹配与融合方法及系统
申请号:CN202511452778
申请日期:2025-10-13
公开号:CN120932053B
公开日期:2025-12-23
类型:发明专利
摘要
本发明公开了一种基于多模态大模型的图像特征匹配与融合方法及系统,涉及图像处理技术领域,包括,获取不同模态数据和成像设备的内外参数,提取各模态数据的初始特征,生成先验信息;在统一坐标系内构建几何偏置矩阵和空间尺度,基于各模态数据的初始特征和先验信息,计算跨模态相关性图与乘性注入系数,更新后得到各模态数据优化后的特征,归一化生成初步融合特征;在初步融合特征上构建信息隐藏掩码,沿几何结构优化特征的几何主方向进行解耦,采用双判据筛选通道获取任务精选描述。本发明通过引入几何引导计算与空间约束建模,实现了多模态数据在统一坐标系下的方向对齐与空间一致,保证了融合过程的稳定性和可靠性。
技术关键词
融合特征
融合方法
多模态
跨模态
数据
细粒度特征
成像设备
通道
冗余度
矩阵
坐标系
语义特征
接收可见光
投影残差
可见光图像
数值
残差信息
图像处理技术
邻域