注意力计算优化方法、电子设备、存储介质和程序产品

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
注意力计算优化方法、电子设备、存储介质和程序产品
申请号:CN202511213548
申请日期:2025-08-28
公开号:CN120725070B
公开日期:2025-11-14
类型:发明专利
摘要
本发明涉及人工智能技术领域,提供一种注意力计算优化方法、电子设备、存储介质和程序产品,其中方法包括:基于注意力计算的掩码信息,生成注意力矩阵的边界框列表,所述边界框列表中包括至少一个有效边界框,所述有效边界框用于界定所述注意力矩阵中待执行注意力计算的目标数据块的空间范围;基于所述边界框列表中的各有效边界框,从查询矩阵、键矩阵和值矩阵中加载所述各有效边界框对应的目标数据块,并对加载的所述目标数据块执行注意力计算,得到所述各有效边界框对应的注意力输出。本发明通过生成边界框列表,并仅对边界框列表中有效边界框内的数据块进行加载和执行注意力计算,避免了无效计算和算力资源浪费,提高了整体计算性能。
技术关键词
注意力 矩阵 分块 列表 非暂态计算机可读存储介质 参数 数据 电子设备 处理器 人工智能技术 计算机程序产品 滑动窗口 存储器 资源