一种基于多模态模型驱动的音视频监控与预警方法和系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于多模态模型驱动的音视频监控与预警方法和系统
申请号:CN202510559404
申请日期:2025-04-30
公开号:CN120378577A
公开日期:2025-07-25
类型:发明专利
摘要
本发明涉及大数据技术领域,公开一种基于多模态模型驱动的音视频监控与预警方法和系统,方法包括:S1:采集监控场景中的音视频信号,并提取音视频信号的能量分布特征,其中能量分布特征至少包括音频信号的频率能量分布和视频信号的亮度和色彩的变化率;S2:基于音视频信号进行能量分布特征的多模态特征提取,并结合环境背景信息构建环境背景特征向量;S3:基于环境背景特征向量,动态调整音频信号和视频信号的异常检测阈值;S4:将实时提取的音视频信号能量分布特征与异常检测阈值进行比较,当超出异常检测阈值范围时,判定为异常事件,得到预警信息;S5:通过低带宽通信协议将预警信息从边缘设备发送至监控中心。
技术关键词
能量分布特征 音视频 预警方法 音频 异常事件 监控中心 信号 环境光照强度 校准 亮度 高灵敏度麦克风 多模态深度学习 色彩 关键字 MQTT协议 融合特征 动态 随机梯度下降