一种基于多模态通信的交互方法、装置、设备及存储介质

本发明涉及展览技术领域，本发明公开了一种基于多模态通信的交互方法、装置、设备及存储介质，包括对参观者进行行为分析，以得到多模态输入信息；将多模态输入信息输入多模态大模型，使多模态大模型对每位参观者的行为特征进行独立提取，得到参观者身份信息和参观者意图信息；根据参观者身份信息建立多模态大模型与参观者之间的独立通信链路；根据参观者意图信息生成虚拟交互角色；根据独立通信链路和虚拟交互角色开展交互活动，以生成交互结果；通过准确区分每个参观者的操作行为和问题内容，控制虚拟交互角色及时给予反馈，避免了信息传递混乱和交互冲突，有效解决了传统交互系统在多人参观时难以处理大量并发交互请求的问题。