一种基于云计算的多模态异构数据实时融合与智能决策方法及其系统

本发明公开了一种基于云计算的多模态异构数据实时融合与智能决策方法及其系统，适用于工业互联网场景。该方法通过采集物理传感器、音视频、生理信号等多模态数据，进行统一预处理与特征提取，并构建协方差矩阵表征模态间耦合关系；进一步将多时段状态构建为图结构，利用图神经网络与自监督学习实现高鲁棒性的状态建模；通过黎曼几何分类方法识别运行状态，结合情感状态与环境指标，进行风险评分与等级判定。系统支持AR可视化提示与控制联动，提升了工业场景下的人机协同智能决策能力。