一种数据处理方法、装置、设备和介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种数据处理方法、装置、设备和介质
申请号:CN202411865325
申请日期:2024-12-17
公开号:CN119721125A
公开日期:2025-03-28
类型:发明专利
摘要
本申请涉及数据处理的领域,特别是涉及一种数据处理方法、装置、设备和介质,方法包括:将注意力机制模块进行调整,具体为将参数矩阵中的K矩阵的转置矩阵转换为第一卷积层,以及,将参数矩阵中的C矩阵转换为第二卷积层;将第一卷积层与参数矩阵中的Q矩阵对应的q张量进行卷积运算,得到第一张量;并将第一张量和第二卷积层进行卷积运算得到第二张量;将第二张量进行reshape操作得到目标矩阵;利用包含注意力机制模块的具有至少两段子模型的训练模型进行模型训练,得到数据处理模型。通过等效替换注意力机制中大计算量的算子,使得一些性能强劲的算子计算量简化,能够在小算力芯片上部署。
技术关键词
数据处理模型 预训练模型 数据处理方法 注意力机制 矩阵 积层 参数 模块 数据处理装置 训练集 处理器 队列 可读存储介质 存储器 理论 芯片 电子设备 程序