摘要
本发明涉及自然语言处理技术领域，可应用于金融科技、医疗健康等业务系统平台中，公开了多模态数据检索方法、装置、设备及介质，对预先获取的多模态数据进行多模态融合，得到融合数据；对融合数据进行多尺度特征提取，得到融合数据特征；根据融合数据特征构建跨模态关联矩阵，并对跨模态关联矩阵进行粗粒度注意力熵值评估，得到评估结果；根据评估结果对融合数据特征进行细粒度注意力对齐，得到对齐特征向量；通过预设的用户历史偏好参数对对齐特征向量进行加权匹配，得到目标模态检索结果。通过粗粒度和细粒度综合捕捉跨模态关联，提升跨模态语义一致性。
