脉冲语言模型训练方法、文本分类方法及装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
脉冲语言模型训练方法、文本分类方法及装置
申请号:CN202411060741
申请日期:2024-08-05
公开号:CN118569339B
公开日期:2025-02-25
类型:发明专利
摘要
本发明提供了一种脉冲语言模型训练方法、文本分类方法及装置,可以应用于数据处理和计算机技术领域。该脉冲语言模型训练方法包括:根据预定语料库和经过预训练的预定教师模型,对脉冲语言模型进行预训练,得到第一脉冲语言模型,其中,脉冲语言模型包括的每个层结构包括M个模块,每个模块依次包括二进制转化单元、脉冲计算单元和归一化单元,预定语料库包括多个第一训练语句,M为正整数;根据预定训练集,对预定教师模型进行微调训练,得到微调教师模型,其中,预定训练集包括多个第二训练语句;根据预定训练集和微调教师模型,对第一脉冲语言模型进行微调,得到目标脉冲语言模型。
技术关键词
语言模型训练方法 二进制特征 语句 融合特征 教师 脉冲特征 文本分类方法 模块 训练集 蒸馏 降维特征 适配器 数据 标签 注意力 文本分类装置 参数