张量拆分结果验证方法、装置、计算机设备和存储介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
张量拆分结果验证方法、装置、计算机设备和存储介质
申请号:CN202411374309
申请日期:2024-09-29
公开号:CN119357541A
公开日期:2025-01-24
类型:发明专利
摘要
本申请涉及一种张量拆分结果验证方法、装置、计算机设备和存储介质,所属领域为计算机技术领域,所述方法包括:基于预设量化位数,对深度学习模型中目标层级的目标权重进行量化处理,得到量化处理结果;对量化处理结果进行压缩处理,并对压缩处理结果进行张量拆分,以生成预设格式的文件;响应于检测到张量拆分结果验证请求时,对预设格式的文件进行解析,得到解析结果;基于解析结果,确定深度学习模型的第一推理结果,并基于第一推理结果和第二推理结果,对张量拆分结果进行验证,第二推理结果为基于未进行权重张量拆分处理的深度学习模型确定的推理结果。本申请可以有效地提高int4量化模型张量并行推理的开发效率。
技术关键词
深度学习模型 验证方法 格式 计算机设备 层级 多层感知机 验证装置 处理器 注意力机制 精度 可读存储介质 模块 存储器 定义 数据