基于多模态视角感知和深度神经网络的知识图谱补全方法

本发明涉及知识图谱补全领域，提出了一种基于多模态视角感知和深度神经网络的知识图谱补全方法，旨在解决现有技术中多模态信息表达能力弱、融合方式粗糙及结构推理能力不足的问题。该方法通过获取知识图谱中实体的结构信息、文本描述和视觉图像信息，分别构建结构、文本和图像模态输入，采用图神经网络、预训练语言模型和视觉编码器进行特征编码；通过视角融合机制和层次化注意力处理实现多模态特征的加权融合与语义增强；引入跨模态对比学习提升模态一致性；利用统一的Transformer编码器进行三元组推理，得分验证补全结果。本发明有效整合多模态语义，提升实体表示能力与三元组预测准确性，增强模型鲁棒性，适用于智能问答、推荐系统等应用场景，具有显著的实用价值和推广前景。