基于领域信息和自定义门控网络的网络谣言实时检测方法
申请号:CN202410884338
申请日期:2024-07-03
公开号:CN118839667A
公开日期:2024-10-25
类型:发明专利
摘要
本发明属于检测方法技术领域,尤其涉及一种基于领域信息和自定义门控网络的网络谣言实时检测方法。本发明提供一种基于领域信息和自定义门控网络的网络谣言实时检测方法。本发明包括以下步骤:步骤一:采用以词为单位的模型对文本进行编码;通过正则表达式清除文本中的特殊字符,将表情符号转换成对应的文字,添加句首标志[CLS]和分句标志[SEP],得到纯文本;步骤二:对纯文本使用结巴分词进行预分词操作,得到词序列[token1,token2,...,tokeni];遍历该序列,如果tokeni存在于词汇表中则保留,否则使用BERT模型的分词器将其切分为字;将每个tokeni的分词结果按照预分词的词序列顺序拼接起来传入BERT模型,编码后得到一组词向量W=[w[CLS],w1,...,wn,w[SEP]]作为专家模型的输入。
技术关键词
实时检测方法
谣言
BERT模型
通道
编码
文本特征向量
分词
序列
标志
尺寸
网络结构
分类器
单层
数据
关系
参数