一种数据增强的图学习多模态虚假信息检测方法及系统

本发明公开了一种数据增强的图学习多模态虚假信息检测方法及系统，本发明的方法包括采集多元信息，构建树状结构存储评论内容，基于OCR技术扫描嵌入文字的图像样本，抽取后拼接在文本内容后；基于文本周边区域颜色均值进行图像掩防止文本对图像特征学习进行干扰；基于相似度计算补全图结构节点之间的潜在边。基于BERT和ResNet50实现对文本和图像的特征学习，对于图结构，采用正负注意力机制的GAT学习图特征；采用cross‑attention将三个模态两两进行学习实现三个模态融合，将最终向量输入到分类器中实现信息真伪检测。本发明不仅对信息不同模态分别进行数据增强，还基于正负注意力机制充分权衡了正负向评论的影响，基于多模态特征学习来提升检测结果的准确性。