模型训练及文本处理方法、计算机程序产品、设备、介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
模型训练及文本处理方法、计算机程序产品、设备、介质
申请号:CN202410882270
申请日期:2024-07-03
公开号:CN118410854B
公开日期:2024-09-13
类型:发明专利
摘要
本发明公开了模型训练及文本处理方法、计算机程序产品、设备、介质,涉及人工智能技术领域,获取有标签的第一文本,第一文本的长度大于设定长度值,标签用于标记文本中相似的句子;将第一文本切分成文本块;确定文本块对应的文本向量值;对文本向量值进行聚类,得到聚类结果;基于第一文本和聚类结果对文本处理模型进行训练,且文本处理模型用于将文本转换为对应的向量。由于聚类是将相似的对象聚合在一起,所以聚类结果反映了文本向量值间的相似关系,相当于应用第一文本、文本向量值和文本向量值间的相似关系对文本处理模型进行训练,可以避免模型训练时不相干内容的噪音干扰,提高向量空间表征范围,提高文本处理模型对长文本的处理准确性。
技术关键词
文本处理模型 模型训练方法 文本处理方法 聚类 注意力 计算机程序产品 标签 分类器 多层感知机层 可读存储介质 存储计算机程序 人工智能技术 处理器 标记 标识 电子设备