基于多模态融合的直播间内容识别与智能分发方法及系统
申请号:CN202411942937
申请日期:2024-12-27
公开号:CN119377895B
公开日期:2025-04-01
类型:发明专利
摘要
本发明提供基于多模态融合的直播间内容识别与智能分发方法及系统,涉及机器学习技术领域,包括采集直播间视频、音频和弹幕数据,分别进行特征提取;利用多模态特征融合模型,对多模态特征进行跨模态交互、特征对齐及特征重构,生成跨模态融合特征;并基于预训练的内容分类模型进行内容识别,得到类别标签和时序特征。进一步,构建直播间内容画像及关联网络,并结合用户历史观看行为数据和深度强化学习模型,生成直播间实时评分,动态调整直播间展示权重及推送策略。本发明通过多模态数据融合及深度强化学习,实现了直播间内容的精准识别和个性化推荐,有效提升用户体验和平台运营效率。
技术关键词
跨模态融合特征
深度强化学习模型
视频特征向量
文本特征向量
交互特征
多层注意力
多模态特征融合
主题特征
注意力机制
智能分发方法
内容分类
语义
弹幕数据
动态规划算法
画像
时序
长短期记忆网络