摘要
本发明提出一种双模态知识图谱的汽车异响诊断系统和方法，所述方法包括：根据从汽车异响音频提取的音频特征向量和从汽车异响描述文本提取的语义特征，定义知识图谱的节点和节点间的关系；融合音频特征向量与语义特征，生成通过节点和节点间的关系，得到根据异响音频或异响描述文本对汽车异响进行诊断的双模态知识图谱；根据用户输入的音频或文本信息，通过融合检索算法在所述双模态知识图谱中检索匹配的故障原因、历史诊断案例、诊断方案；根据检索结果得到诊断结论及解决方案。本发明通过双模态融合、精准特征提取、结构化检索及闭环反馈，解决了现有技术中模态单一、诊断精度低、依赖高成本模型等缺陷，实现了汽车异响的全面、精准、高效诊断。
