一种基于门控TCN-attention的高效语言注意力机制的方法及装置
申请号:CN202410735501
申请日期:2024-06-07
公开号:CN118627544A
公开日期:2024-09-10
类型:发明专利
摘要
本发明提出了一种基于门控TCN‑attention的高效语言注意力机制的方法及装置,解决了现有神经网络模型的运算速度慢、感受野太小、模型在进行运算时性能不稳定、运行内存占用大的问题。通过神经网络模型的合理规划,提升了神经网络模型的感受野、模型的运算速度,降低了模型运算时的运行内存、模型的运算时间,进而实现了神经网络模型对于数据的高效处理。
技术关键词
矩阵
注意力机制
上下文特征
子模块
Sigmoid函数
数据获取模块
数据编码
卷积神经网络模型
可读存储介质
处理器
内存
存储器
计算机
电子设备
规划