语言模型并行推理方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
语言模型并行推理方法及系统
申请号:CN202411580652
申请日期:2024-11-07
公开号:CN119089901B
公开日期:2025-03-21
类型:发明专利
摘要
本发明涉及自然语言处理技术领域,尤其涉及语言模型并行推理方法及系统,获取并标准化处理语言数据,生成特征数据;在边缘计算节点进行特征提取和初步推理,生成初步推理结果数据;将初步推理结果数据划分为自适应数据组,并进行高效并行计算,生成并行计算结果数据;将并行计算结果数据转化为图表示数据,利用自适应图神经网络进行训练和推理,生成最终推理结果;通过高效异步传输协议和流控机制优化数据传输性能,并应用高级任务调度算法确保各计算节点的高效运行。通过本发明,实现了高效的数据传输、资源利用率最大化、负载均衡和数据依赖性处理,显著提高了语言模型的计算效率和推理准确性。
技术关键词
并行推理方法 高效并行计算 任务调度算法 神经网络模型 复杂度 特征提取算法 生成特征 节点 分布式训练 资源利用率最大化 多级缓存机制 故障恢复机制 并行计算框架 任务分配策略 动态 数据传输延迟 分词 协议 数据处理模块