基于知识蒸馏的领域大模型轻量化自适应方法及系统

本发明涉及大模型算法技术领域，尤其涉及一种基于知识蒸馏的领域大模型轻量化自适应方法及系统，该方法获取知识蒸馏参数与学生模型性能参数，建立两者非线性映射关系；基于映射关系优化求解最佳参数组合，生成目标知识蒸馏参数；将目标参数下发至训练引擎，实时监控性能偏移并触发再优化；在推理过程中，监控性能波动并管控模型特性；采集目标领域数据特性，结合大数据分析修正映射关系，提升领域适配能力；构建历史蒸馏数据的知识库与案例库，形成标准化调节方案，实现自适应匹配。本方案通过精准建模、动态优化、实时监控与知识复用，显著提升知识蒸馏效率、模型鲁棒性与领域适应性，为大模型轻量化提供系统性技术支撑。