一种基于算力网络的模型分布式训练方法和系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于算力网络的模型分布式训练方法和系统
申请号:CN202411376651
申请日期:2024-09-30
公开号:CN119167093B
公开日期:2025-08-29
类型:发明专利
摘要
本发明公开了一种基于算力网络的模型分布式训练方法,包括:获取用户上传的模型信息及模型文件,获取数据集的信息,判断得到的模型信息中的模型名称是否存在于预先建立的字典中,如果不是则创建主进程,利用该主进程、并根据分布式调用服务请求中的模型名称与数据集名称分别从预先建立的模型仓库和数据集仓库中加载对应的模型与数据集;使用加载的数据集对模型进行分布式训练,以得到分布式训练后的模型,通过主进程将分布式训练后的模型保存到分布式训练结果仓库中。本发明能够解决现有分布式系统用户自己搭建的模型传播范围小的技术问题,以及对不匹配的模型与数据集进行分布式训练,造成计算资源浪费的技术问题。
技术关键词
分布式训练方法 进程 数据 仓库 子模块 参数 深度神经网络模型 深度学习框架 字典 分布式训练系统 周期 列表 训练集 分布式系统 样本 种子
系统为您推荐了相关专利信息
功能检测装置 体感手套 主控系统 运动 手掌
工艺参数优化方法 蒙皮 拉伸机 遗传算法 BP神经网络
工程新材料 序列 数据处理方法 方差贡献率 指数
储能系统 调度优化方法 功率分配模型 指数 风险
密度分布特征 路径规划方法 数据预测模型 形态 大数据