基于蒸馏提升BERT的财经新闻情感分析方法和装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于蒸馏提升BERT的财经新闻情感分析方法和装置
申请号:CN202411081248
申请日期:2024-08-08
公开号:CN118607511B
公开日期:2024-11-26
类型:发明专利
摘要
本发明公开了一种基于蒸馏提升BERT的财经新闻情感分析方法和装置,方法包括以下步骤:利用大语言模型构建情感感知摘要数据集;对BERT模型进行领域自适应预训练;构建包括预训练后的BERT模型、双向GRU网络和基于注意力机制的指针网络的情绪语句摘要任务模型,对情感语句摘要任务模型进行微调;利用大语言模型对预训练后的BERT模型进行知识蒸馏;利用微调后的情感语句摘要任务模型和知识蒸馏后的BERT模型进行情感类别分析。本发明能够将大语言模型的情感分析能力迁移到训练硬件需求更小、更易部署、计算效率更高的BERT模型上,提高财经新闻情感分析的效率和准确性,为用户提供更有价值的情感分析结果。
技术关键词
情感类别 情感分析方法 摘要 大语言模型 BERT模型 语句 蒸馏 注意力机制 Softmax函数 情感分析装置 指针 网络 数据 分析模块 逻辑 标签 超参数