数据处理方法、装置、设备及可读存储介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
数据处理方法、装置、设备及可读存储介质
申请号:CN202411598030
申请日期:2024-11-11
公开号:CN119149241B
公开日期:2025-03-11
类型:发明专利
摘要
本申请公开了一种数据处理方法、装置、设备及可读存储介质,该方法包括:获取M个初始芯片组;基于初始模型中单个网络层对应的学习参数量,对每个初始芯片组内的芯片分别进行分组,得到P个流水线并行组;基于负载均衡条件、P个流水线并行组的平均算力系数、初始模型的网络层数和P个流水线并行组分别对应的组算力系数,对P个流水线并行组进行分组组合,得到D个数据并行组以及D个数据并行组分别对应的样本输入量;D个样本输入量所指示的输入样本,用于对在对应的数据并行组上所配置的初始模型并行进行模型训练。采用本申请,可以提高混合部署的芯片集群的计算资源的利用率,以及提高模型的训练效率。
技术关键词
参数 样本 芯片 数据处理方法 计算机设备 计算机程序产品 可读存储介质 生成流水线 处理器 数据通信功能 网络接口 内存 列表 存储计算机程序 数据处理装置 生成业务 数值 存储器