图文多模态情感分类方法、装置、计算机设备及存储介质
申请号:CN202411618832
申请日期:2024-11-13
公开号:CN119474985A
公开日期:2025-02-18
类型:发明专利
摘要
本申请涉及一种图文多模态情感分类方法、装置、计算机设备及存储介质,其中方法包括:获取初始图像和初始文本,并对初始图像转换为描述性文本;通过双向长短期记忆网络分别提取描述性文本和初始文本的特征,生成第一特征和第二特征;通过注意力模型对第一特征和第二特征进行特征融合处理,生成目标融合特征;基于目标融合特征进行特征分类,生成目标情感类别。本发明将图像从高维信息转化为文本表述,降低了维度复杂性,使得模型能够更精准地捕捉图像情感特征;同时采用双向长短期记忆网络将文本转化为连续向量,并引入注意力机制实现图像与文本特征的深度融合,动态调整权重以充分利用图像信息,进而有利于提高情感分类的准确性。
技术关键词
情感类别
融合特征
文本
长短期记忆网络
注意力模型
图文
Softmax函数
图像
计算机设备
引入注意力机制
特征提取单元
可读存储介质
预训练模型
情感特征
分类装置
处理器
多模态