面向多类神经网络协同场景的张量感知片上缓存系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
面向多类神经网络协同场景的张量感知片上缓存系统
申请号:CN202411638006
申请日期:2024-11-15
公开号:CN119719018A
公开日期:2025-03-28
类型:发明专利
摘要
本发明提出了一种面向多类神经网络协同场景的张量感知片上缓存系统。该片上缓存架构面向多人工智能加速器协同执行多类神经网络负载下面临的片上缓存资源竞争问题,通过构建虚拟地址‑张量地址‑物理地址三级地址空间,并设计张量注册、张量注销、张量查询等指令,实现张量数据的片上缓存状态感知。同时,本发明提出基于张量数据感知的片上缓存分配算法,通过感知片上缓存状态,动态将虚拟地址映射至张量地址,优化张量数据在片上缓存中的分布,有效减少张量数据间的缓存竞争现象,进一步提升多模型协同处理的性能。
技术关键词
片上缓存系统 人工智能加速器 神经网络模型 映射方法 多模型协同 操作系统 动态 指令 贪心算法 地址映射 索引 布局 数据分布 场景 资源 关系 标签 组织