基于大模型驱动的多模态交互系统

本发明公开基于大模型驱动的多模态交互系统，涉及多模态交互领域。所述系统包括：交互代理终端，配置为接收用户输入的多模态原始数据，并输出融合反馈结果；多模态网关，与所述交互代理终端通信连接，用于将所述融合反馈结果转换为低维特征向量，并通过预训练的注意力机制消除所述低维特征向量的模态间语义间隙；大模型驱动引擎，与所述多模态网关耦合，包括支持联合推理的动态加载的多模态大模型基座和用于挂载垂直领域微调适配器的领域知识插件接口；意图决策中心，配置为解析所述大模型驱动引擎的输出并生成可执行指令。本发明能够达成工业级多模态交互系统的高精度、强鲁棒与可扩展性统一。