多模态数据对话机器人交互方法、配置方法、终端、介质及产品

本申请提供一种多模态数据对话机器人交互方法、配置方法、终端、介质及产品。该方法应用于包括交互层、处理层及模型层的对话机器人，包括：所述交互层响应于当前对话节点输入的用户对话信息，与所述处理层建立会话连接；所述处理层与所述模型层之间完成初始化配置，并将所述用户对话信息发送至所述模型层；所述模型层基于所述当前对话节点预设的提示信息和所述用户对话信息，向所述处理层返回交互信息和多模态扩展信息；所述处理层对所述交互信息和所述多模态扩展信息分别进行格式拼装后，流式发送至所述交互层。本申请扩展了对话机器人多模态数据交互能力边界，可以支持多种类别的数据的交互，满足不同的交互场景的需求。