大模型训练的网络流量模拟方法、装置、设备及介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
大模型训练的网络流量模拟方法、装置、设备及介质
申请号:CN202510223771
申请日期:2025-02-27
公开号:CN119728454B
公开日期:2025-07-04
类型:发明专利
摘要
本发明涉及计算机技术领域,提供一种大模型训练的网络流量模拟方法、装置、设备及介质,该方法包括:获取用户的配置信息;根据所述配置信息定义网络拓扑结构和待训练大模型的训练参数;基于所述训练参数和所述网络拓扑结构生成通信负载矩阵;所述通信负载矩阵用于表征所述网络拓扑结构中各网络节点的计算时间和数据传输需求;根据所述通信负载矩阵执行流量仿真,模拟所述待训练大模型的模型训练过程中的网络流量。通过用户的配置信息定义网络拓扑结构和模型的训练参数,可供用户灵活调整网络结构,以适应不同规模和结构的训练集群的网络流量的模拟仿真,提高了对模型训练的网络流量的模拟仿真的灵活性和适用性。
技术关键词
网络流量模拟方法 网络拓扑结构 网络节点 流水线调度器 数据传输需求 矩阵 并行策略 参数 网络配置信息 性能评价信息 非暂态计算机可读存储介质 拥塞控制算法 负载均衡算法 定义 批量 网络吞吐量 阶段 处理器