一种基于多模态历史动作数据的协助式决策系统

本发明涉及人工智能领域，公开了一种基于多模态历史动作数据的协助式决策系统，包括：多模态数据采集模块，通过RGB相机、深度相机和传感器组收集用户的多模态数据；数据预处理模块：对收集到的数据进行预处理，包括数据清洗、标注和特征提取；行为预测模型模块，根据用户历史动作数据，通过SN‑GCN模型对其行为模式进行特征值识别并建立模型；通过Transformer模型多注意力机制实现动作预测；预警决策模块，根据传感器数据计算得到用户异常风险系数，综合行为预测模型的预测结果对用户行为状态进行判断，若判断异常，则立即启动自我决策，将决策信号发送至可穿戴设备进行报警。