一种算子执行方法、设备、存储介质及程序产品

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种算子执行方法、设备、存储介质及程序产品
申请号:CN202510031673
申请日期:2025-01-08
公开号:CN119416826B
公开日期:2025-06-13
类型:发明专利
摘要
本申请提供了一种算子执行方法、设备、存储介质及程序产品,涉及人工智能技术领域,在该方法中,在第二线程束组采用矢量算子对第n批次任务进行矢量计算时,第一线程束组采用第一矩阵算子对第n+1批次任务进行矩阵计算,同时第三线程束组采用第二矩阵算子对第n‑1批次任务进行矩阵计算,由于第一线程束组和第三线程束组均由张量计算单元组成,因此,张量计算单元可以同时处理两个批次任务。由于张量计算单元和矢量计算单元可以同时对不同批次任务进行处理,避免了互相等待时间,进而可以降低Attention算子处理多个批次任务所带来的时间开销。
技术关键词
人工智能芯片 矩阵 计算机设备 计算机程序产品 注意力机制 指令 可读存储介质 人工智能技术 存储器 标识 依序
系统为您推荐了相关专利信息
害虫识别 监测方法 害虫图像 多尺度 序列特征
像素点 颜色 计算机程序指令 图片 文件头信息
跟踪控制方法 移动机器人 时延系统 动力学建模方法 误差
隐蔽通信方法 反射单元 隐蔽通信系统 调制技术 噪声功率