摘要
本申请提供了一种多模态协同感知的电站高风险作业巡检方法及系统，涉及视频识别技术领域，该方法包括：在电站作业任务启动后，激活无人机和四足机器人；启动视频采集单元，建立同步视频流；并通过外部同步信号与全局参考坐标系进行融合对齐；将融合视角的视频序列输入至多视角动作行为识别网络，建立危险行为等级评分；获取四足机器人的听觉数据和嗅觉数据，建立联动异常；根据联动异常、危险行为等级评分报出巡检异常。通过本申请解决了由于单一感知模态的局限性，在动态环境下难以全面识别潜在危险，导致巡检效率低下的技术问题，通过融合多模态数据，及时发现并处理潜在风险，提升视频音频识别的准确度，从而提高电站的巡检效率。
