面向神经网络推理的流控存算架构设计方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
面向神经网络推理的流控存算架构设计方法
申请号:CN202411882496
申请日期:2024-12-19
公开号:CN119918597A
公开日期:2025-05-02
类型:发明专利
摘要
本申请涉及一种面向神经网络推理的流控存算架构设计方法,其中,方法包括:利用RRAM阵列大的存储密度存储更多的权重参数,并配置较少的存内计算资源进行精度需求不算太高的权重量化与反量化等数据预处理。权重参数由存算一体系统搬移至计算单元,计算单元将复用的权重暂存,并接收特征图数据或变量矩阵数据进行乘累加运算,运算操作直接由数据流控制,不需要复杂的控制指令,保证了数据的匹配与完整。本申请支持各种神经网络推理需求,提高了算力利用率和矩阵计算效率,减少了数据搬移的消耗。由此,解决了目前针对推理任务的异构计算架构难以满足各种参数量规模的神经网络的计算需求,矩阵计算效率和算力利用率较低,数据搬移的消耗较大等问题。
技术关键词
矩阵 移位寄存器 神经网络推理 变量 架构设计方法 内存模块 中间层 异构计算架构 存储阵列 片上系统 参数 数据读写操作 功能模块 大语言模型 收发模块 数据存储 通道