摘要
本发明公开了OVER‑NAV视觉‑语言联合导航系统及其方法，属于智能导航技术领域，系统包括导航服务器、用户手持终端和导航终端，其中导航服务器包含视觉模块、语言获取模块、视觉地图模块、语义地图模块和多模态特征跨模态交互模块，本发明的核心在于多模态特征跨模态交互模块，其包括拓扑感知的异构模态表征统一框架、微分几何启发的动态注意力引导机制和异构知识整合与协同优化框架，实现了视觉信息、语言指令和语义地图三种模态的深度融合，本发明显著提高了导航准确率，自然语言指令理解准确率达92%，在光照变化和嘈杂环境中仍保持高识别准确率，特别适用于复杂商场环境以及户外‑室内无缝过渡导航等场景。
