一种基于多模态的消息总结方法、装置、设备及存储介质
申请号:CN202411867218
申请日期:2024-12-18
公开号:CN119807493A
公开日期:2025-04-11
类型:发明专利
摘要
本发明实施例涉及人工智能技术领域,公开了一种基于多模态的消息总结方法、装置、设备及存储介质。该方法包括:获取多模态的待总结消息,对各模态的待总结消息进行消息重要性识别;根据消息重要性识别结果以及待总结消息的模态重要性,生成各模态的待总结消息的模态特征权重;对各模态的待总结消息进行特征提取,并根据特征提取结果以及对应的模态特征权重,生成多模态的特征融合结果;将特征融合结果输入至预先训练生成的摘要提取模型中,得到多模态的待总结消息的消息摘要。该方法通过对多模态的消息进行以消息重要性为依据的特征赋权,对多模态消息进行特征融合,进而进行消息摘要生成,可提高消息总结质量以及全面性。
技术关键词
多模态
摘要
模态特征
卷积神经网络提取图像特征
消息主体
文本
语音信号特征
语音信号处理
均值滤波器
处理器
可读存储介质
权重算法
高通滤波器
人工智能技术
关键词
计算机
低通滤波器
电子设备