一种长期对话记忆压缩与对话模型适配方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种长期对话记忆压缩与对话模型适配方法
申请号:CN202511126326
申请日期:2025-08-12
公开号:CN120633872B
公开日期:2025-10-24
类型:发明专利
摘要
本发明公开了一种长期对话记忆压缩与对话模型适配方法,包括以下步骤:S1、基于记忆模型的对话历史压缩:记忆模型采用Transformer架构,使记忆的更新通过重新分配注意力分配的方式进行,结合记忆与新对话信息的交叉注意力和记忆之间的全局自注意力决定注意力分配情况;S2、对话模型的记忆感知适配:在不改变原模型参数前提下,接入交叉注意力线性映射层,进行不同语义空间之间的适配;S3、注意力输出计算:结合自注意力和适配后的交叉注意力计算结果,得出最终注意力输出;该方法在对话场景中,使用压缩模型将对话内容压缩为固定尺寸的记忆,使记忆随着对话轮次增加动态地更新,可降低计算复杂度,减轻内存开销。
技术关键词
注意力 记忆模型 标识 矩阵 参数 序列 编码器 动态地 元素 语义 线性 复杂度 内存 索引 机制 场景 尺寸