基于偏差自纠偏校准的文本广义意图发现方法及相关装置
申请号:CN202411636364
申请日期:2024-11-15
公开号:CN119577577B
公开日期:2025-09-26
类型:发明专利
摘要
本发明公开了一种基于偏差自纠偏校准的文本广义意图发现方法及系统,包括:获取预测文本样本并输入至预设广义意图发现模型中得到模型原始输出;采用Softmax函数对模型原始输出进行分类,将Softmax最大值所属类别作为文本样本的样本预测类别。其中,广义意图发现模型内部设置有偏分支和可训练分支,首先通过预训练得到一个存在偏差的有偏分支,并固定模型参数。然后,将训练文本样本分别输入到预训练好的有偏分支和可训练分支,输出两个原始输出,利用有偏分支输出的原始输出,对可训练分支的原始输出进行调整,利用模型对已知类别的偏差来缓解类别偏差和类别混淆,对类别偏差和类别混淆都起到了缓解作用,有效提高了模型对新类别的识别准确率。
技术关键词
文本
样本
标签
Softmax函数
BERT模型
意图
分支
广义
原型
预测类别
偏差
校准
矩阵
参数
代表
因子
可读存储介质
发现系统
处理器
计算机设备