一种基于多模态融合的即时通讯AI辅助方法、系统及其介质

本发明涉及即时通讯技术领域，尤其涉及一种基于多模态融合的即时通讯AI辅助方法、系统及其介质，包括：通过双触发机制激活系统，所述双触发机制包括消息长按触发和悬浮按钮触发；采用改进的消息关联度算法动态识别相关对话内容，构建包含数据接入层、特征处理层、模型计算层的智能分析引擎；实施动态双因素授权机制，生成时效性加密令牌；自动生成结构化沟通总结报告，本方案通过创新的多模态融合技术和动态交互机制，显著提升了即时通讯场景下的沟通辅助效果。系统采用改进的消息关联度算法实现上下文精准分析，结合BERT‑GRU混合模型和自适应频谱分析技术，使跨模态特征识别准确率提升15％以上，在VOiCES测试集上达到92.4％的语音识别准确率。