多模态大模型分层自适应冻结微调方法及装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
多模态大模型分层自适应冻结微调方法及装置
申请号:CN202510877655
申请日期:2025-06-27
公开号:CN120781879A
公开日期:2025-10-14
类型:发明专利
摘要
本申请涉及人工智能技术领域,公开了一种多模态大模型分层自适应冻结微调方法及装置,具体公开了:根据全量数据集子集对预训练多模态大模型进行训练,获得领域专家模型;将领域专家模型划分为多个结构层,对于每个结构层按照贡献度分配全局解冻参数配额;在每个结构层中,对各参数进行自适应重要性排序,并按照重要性排序顺序筛选出与对应的全局解冻参数配额数量一致的参数生成二进制掩码,其他参数冻结。最后根据二进制掩码对领域专家模型进行稀疏化训练。该方法克服了传统数据回放对旧任务数据或生成伪数据的依赖,且无需预设任务边界或人工干预,在保护预训练模型泛化能力的同时,实现高效、轻量化且隐私安全的持续学习。
技术关键词
微调方法 配额 多模态 分层 参数更新模块 可读存储介质 预训练模型 人工智能技术 微调装置 处理器 数据 存储器 计算机 电子设备 标记 程序