一种面向模态缺失场景的动态解耦提示生成与调优方法

本发明涉及计算机视觉与自然语言处理技术，提出了一种面向模态缺失场景的动态解耦提示生成与调优方法。通过多通道机制分离模态特征学习与对齐过程，有效解决了现有多模态模型在模态缺失场景下性能显著下降的问题。设计了轻量化多模态提示生成器，通过轻量级残差网络生成缺失模态补偿提示，显著提升了计算效率，同时通过动态提示融合策略实现了模态特征的高效整合，显著增强了模型对多模态信息的利用效率和贡献能力。基于单通道冻结‑优化策略与非强耦合对齐通道联合调优机制实现了动态解耦的多通道提示调优，独立优化不同模态的特性且对模态间的信息进行非强耦合融合，显著降低了模型对单一模态信息的过度依赖，实现了模态间的信息平衡。