一种基于大模型微调的电信业务问答方法、系统和服务器

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于大模型微调的电信业务问答方法、系统和服务器
申请号:CN202411673450
申请日期:2024-11-21
公开号:CN119513266A
公开日期:2025-02-25
类型:发明专利
摘要
本发明公开了一种基于大模型微调的电信业务问答方法、系统和服务器,在对客服历史聊天记录数据进行打标形成第一数据集;采集内部电信业务知识库中的问题数据构成第二数据集;通过构建提示文本输入文本模型进行模型数据构建形成第三数据集后,将三个数据集整合清洗成json数据格式的训练数据集,并通过引入低秩矩阵、采用分布式训练对初始大语言模型进行微调训练,得到训练好的大语言模型,最后对用户发送的待回答文本进行问题改写并向量化后与电信业务知识库中向量进行计算,寻找相似度最高的句子并通过重排模型进行相关性评估,将相关性低于设定值的改写语句输入训练好的大语言模型获得对应的答复文本,以提高电信业务问答的效率和准确度。
技术关键词
大语言模型 问答方法 分布式训练 处理器 文本 线性变换矩阵 问答系统 初始化方法 预训练模型 数据格式 语句 注意力机制 深度学习训练 算法 客服 优化器 可读存储介质