多模态数据处理方法、设备、介质及计算机程序产品

本发明涉及数据处理技术领域，公开了一种多模态数据处理方法、设备、介质及计算机程序产品，该方法包括：对视觉数据和文本数据进行特征提取，将提取的视觉模态特征写入主机扩展内存中，并将提取的文本模态特征写入设备内存中；对视觉模态特征进行切分，得到视觉特征片段并写入设备内存中；将文本模态特征与视觉特征片段进行融合，并将融合后的特征经切分和相应计算后输出的中间结果写入片上静态内存中；将最终得到的目的结果写入设备内存中。这样可以减少显存占用，保障特征对齐的正确性，避免多模态特征文本注意力的缺失。