摘要
本申请涉及人工智能技术领域,公开了一种多模态大模型分层自适应冻结微调方法及装置,具体公开了:根据全量数据集子集对预训练多模态大模型进行训练,获得领域专家模型;将领域专家模型划分为多个结构层,对于每个结构层按照贡献度分配全局解冻参数配额;在每个结构层中,对各参数进行自适应重要性排序,并按照重要性排序顺序筛选出与对应的全局解冻参数配额数量一致的参数生成二进制掩码,其他参数冻结。最后根据二进制掩码对领域专家模型进行稀疏化训练。该方法克服了传统数据回放对旧任务数据或生成伪数据的依赖,且无需预设任务边界或人工干预,在保护预训练模型泛化能力的同时,实现高效、轻量化且隐私安全的持续学习。