一种基于微调BERT的对疑似恶意信息进行分类的方法
申请号:CN202510632202
申请日期:2025-05-16
公开号:CN120561678A
公开日期:2025-08-29
类型:发明专利
摘要
本发明公开了一种基于微调BERT的对疑似恶意信息进行分类的方法,包括以下步骤:数据预处理:首先对原始数据进行预处理,以适配深度学习模型的输入要求,将文本数据转换为BERT模型所需的输入格式;模型构建:构建基于预训练BERT模型的分类模型;训练过程:使用标注好的数据集对模型进行微调,使用Adam优化器和学习率调度策略进行训练,定期保存最佳模型;应用实施:根据需求调整模型的分类阈值。本发明的一种基于微调BERT的对疑似恶意信息进行分类的方法,通过对模型训练添加一系列优化,添加的MLP可以增加模型的非线性能力,能够更好地捕捉复杂的特征关系。
技术关键词
BERT模型
深度学习模型
分类阈值
多层感知机
注意力机制
数据
编码
格式
动态
文本
策略
矩阵
非线性
分词
标签
样本
定义
基础
关系