一种多模态异构模型检索增强方法及系统

本发明提供了一种多模态异构模型检索增强方法及系统，包括：基于用户多模态查询，构建知识与应用示例双语料库，设计联合检索机制得结果集；经文本、图像、音频专用处理渠道及分段梯形拓扑结构的Spiking神经网络，映射调度得特征表示；构建基础模型、高级模型和人类专家的三级级联架构，结合递延与弃权决策机制，得决策路径与答案候选集；用哈密顿图网络表示多模态关系，以无梯度下降法快速训练优化模型参数；通过跨模态语义对齐及动态检索窗口调整，得增强检索结果；经上下文感知排序与检索增强推理，得高质量响应。该发明提升了多模态信息检索处理效率与异构模型推理响应质量。