基于小波变换的大模型微调方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于小波变换的大模型微调方法
申请号:CN202510553436
申请日期:2025-04-29
公开号:CN120471135A
公开日期:2025-08-12
类型:发明专利
摘要
本发明提出的基于小波变换的大模型微调方法,通过结合小波变换与低秩矩阵适应方法,显著提升了视觉语言模型在小样本学习任务中的性能。适用于医学影像分析、卫星纹理识别等需要细粒度特征适应的场景中。其核心在于利用小波变换的局部化特性,将模型参数更新分解为低频分量和高频分量,并通过逆小波变换融合多尺度信息,从而实现对复杂视觉任务的高效适配。实验结果表明,该方法相较于其他方法在准确率上得到了明显的提升。其创新点包括:首次将小波变换引入低秩矩阵适应方法框架,通过多分辨率分解实现全局‑局部特征优化,增强对复杂信号的自适应能力。这些创新使得基于小波变换的大模型微调方法在大模型微调领域具有显著的优势与应用潜力。
技术关键词
微调方法 矩阵 小波变换技术 融合多尺度信息 数据分布 离散小波变换 细粒度特征 注意力 预训练模型 作业场景 多分辨率 视觉 有效性 纹理 核心 样本 阶段