用于神经网络模型的数据处理方法、服务器、设备及介质
申请号:CN202411643350
申请日期:2024-11-18
公开号:CN119167991B
公开日期:2025-03-21
类型:发明专利
摘要
本申请涉及人工智能技术领域,具体提供一种用于神经网络模型的数据处理方法、服务器、设备及介质,旨在解决如何基于移动设备的CPU对神经网络模型进行注意力计算的问题。本申请提供的方法包括根据神经网络模型的模型文件获取第一计算图,第一计算图用于描述神经网络模型的所有算子以及各算子之间的连接关系;获取第一计算图中的多个目标算子,多个目标算子为用于Transformer模块进行注意力计算的多个算子;对多个目标算子对应的计算操作进行融合,以形成一个融合算子,融合算子用于移动设备的CPU执行计算操作;将多个目标算子替换为融合算子得到第二计算图。通过上述方法可以基于CPU执行融合算子对应的计算操作,提高注意力计算的速度,从而提高模型推理速度。
技术关键词
神经网络模型
数据处理方法
矩阵
移动设备
内存
排布方式
注意力机制
通道
处理器通信
服务器
人工智能技术
存储器
元素
关系
进程
数据存储
可读存储介质