一种面向深度学习网络的上下文压缩方法和深度学习网络
申请号:CN202510652581
申请日期:2025-05-20
公开号:CN120597940A
公开日期:2025-09-05
类型:发明专利
摘要
一种用于上下文压缩的深度学习网络,包括用于从输入的文本序列中学习上下文表示的上下文学习网络;用于对所述上下文表示进行压缩处理的压缩网络;以及,用于基于压缩后的所述上下文表示生成目标文本序列的生成网络;其中,所述压缩网络包括用于对所述上下文表示进行局部压缩处理,得到保留所述上下文表示的局部语义的第一压缩上下文表示的第一压缩网络;以及,用于对所述上下文表示进行全局压缩处理,得到保留所述上下文表示的全局语义的第二压缩上下文表示的第二压缩网络。
技术关键词
深度学习网络
文本
序列
信息编码
混合专家网络
面向深度学习
分类网络
标签
语义
交叉注意力机制
指标
指令
计算机程序产品
处理器
误差
参数
教师