等变扩散模型的量化训练方法、装置、设备和存储介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
等变扩散模型的量化训练方法、装置、设备和存储介质
申请号:CN202411587430
申请日期:2024-11-07
公开号:CN119647532A
公开日期:2025-03-18
类型:发明专利
摘要
本申请实施例提供等变扩散模型的量化训练方法、装置、设备和存储介质,涉及神经网络技术领域。该方法将校准样本输入初始等变扩散模型中进行数据处理,获取初始等变扩散模型中注意力模块的初始输出数据,基于校准样本的样本长度和时间步长生成浮点权重序列对应的量化权重序列,根据量化权重序列更新注意力模块得到更新等变扩散模型,将校准样本输入更新等变扩散模型进行数据处理,获取量化注意力模块对应的量化输出数据,根据量化输出数据、初始输出数据、浮点权重序列和量化权重序列计算总损失值,根据总损失值得到训练后的量化等变扩散模型。基于样本长度和时间步长生成量化权重,在保持等变性的前提下提升量化模型的数据生成质量。
技术关键词
量化训练方法 注意力 噪声数据 序列 样本 校准 网络模块 参数 神经网络技术 坐标 训练装置 电子设备 处理器 基础 重构 存储器 级联 氨基