基于异构混合并行与通信的联合优化分布式训练方法

本发明涉及模型训练技术领域，尤其是提供了一种基于异构混合并行与通信的联合优化分布式训练方法。该方法包括通过异构并行优化算法HPO，构建异构并行优化策略；通过动态双异构同步策略DHS，构建动态双异构同步通信机制；根据异构并行优化策略和动态双异构同步通信机制，构建双异构环境下的混合并行与通信的分布式训练框架，以进行联合优化分布式训练，该方法在优化计算资源调度的同时，合理动态的应对了通信延迟问题，提升了分布式训练的效率。