结合人体关键点特征的CSI多模态动作识别方法及看护系统

本发明提供一种结合人体关键点特征的CSI多模态动作识别方法及其看护系统。该方法同步采集视频数据和CSI数据；将人体关键点数据和CSI数据作为数据集；建立CSI人体关键点检测预训练网络；建立融合关键点特征的多模态动作识别网络，该网络使用特征融合模块对CSI振幅、相位、多普勒频移多模态特征以及关键点特征进行融合；该网络包括的时空建模网络由多层时空建模模块级联而成，每个时空建模模块均由TCN网络和空间自注意力机制组成。本发明可有效提升动作识别的鲁棒性与准确性。本发明还提供一种结合人体关键点特征的CSI多模态动作识别方法的看护系统，能够同时可视化人体骨架以及动作分类结果，并在用户交互与功能实现模块中实现健康看护功能。