大语言模型性能优化方法、装置、计算机设备、可读存储介质和程序产品
申请号:CN202510209806
申请日期:2025-02-25
公开号:CN119990265A
公开日期:2025-05-13
类型:发明专利
摘要
本申请涉及一种大语言模型性能优化方法、装置、计算机设备、可读存储介质和程序产品,深度学习模型编译器技术领域。所述方法包括:获取大语言模型对应的语言数据的数据参数和处理参数;处理参数根据大语言模型对应的待部署硬件的参数确定;响应于针对预设的编程原语的编程操作,得到表征大语言模型的运算逻辑的目标函数;根据数据参数和处理参数,对目标函数进行编译操作,得到目标函数对应的计算图;根据计算图和待部署硬件的参数,生成多个目标算子,基于多个目标算子更新大语言模型,得到优化后的大语言模型。采用本方法能够提高大语言模型的性能。
技术关键词
大语言模型
参数
性能优化方法
编程
中间层
计算机设备
数据
性能优化装置
编译器技术
可读存储介质
深度学习模型
计算机程序产品
处理器
模型更新
逻辑
模块
存储器
节点