基于多模态感知的AI智能体数字人交互系统及方法

本申请涉及人工智能技术领域，公开了基于多模态感知的AI智能体数字人交互系统及方法，系统包括：多模态感知与编码模块、模态图构建与路径优化模块、融合表达生成模块、策略响应生成模块、数字人驱动模块，方法包括：对采集感知信息进行预处理，得到感知特征；进行特征编码，得到多个模态特征向量；构建模态信息图，确定模态特征索引集合；选取对应的模态特征进行融合，生成压缩表达表示；生成交互响应动作信号；接收交互响应动作信号，并进行解析；根据解析的控制参数，实现多模态交互。本发明通过构建模态信息图并动态选择最优特征索引，达到了自动选择信息量最充分模态组合的效果，解决了模态冗余高、有效特征易被稀释的问题。