一种多模态数据输入的处理方法及其相关设备

本申请公开一种多模态数据输入的处理方法及其相关设备，属于数据处理领域。本申请通过对多模态输入数据进行特征提取，将多模态输入特征输入到意图识别模型，得到用户操作意图，从预设的智能实体库中获取与用户操作意图适配的目标智能实体，其中，智能实体库中预先存储有基于大语言模型训练生成的若干个智能实体，基于多模态输入特征，使用目标智能实体生成用户操作对应的服务调用指令，响应服务调用指令，生成数据处理结果。本申请以较低成本将大语言模型集成至现有系统，避免了系统接口设计僵化难以应对多模态数据输入的问题，提高了系统灵活性，在不改变既有架构的基础上，降低了接口修改或重新设计的成本，减少了技术债务累积和系统维护成本。